Например, критерий оценки знаний, умений и навыков по инженерной подготовке студентов может быть представлен совокупностью следующих показателей и определяется степенью (уровнями и качеством) их освоения:

- знания теории конструирования и изготовления изделий и умение применять эти знания в практической работе;

- знание технологического оборудования, инструментов, материалов и умение подготовить их к работе;

- овладение приемами выполнения работы;

- знание и выполнение требований безопасности, производственной санитарии и гигиены;

- умение пользоваться графической документацией и разрабатывать чертежи и технологические карты;

- умение организовать рабочее место и поддерживать порядок при выполнении работ и экономно расходовать материалы;

- умение качественно и быстро выполнять работу.

Первая и важнейшая задача статистической обработки результатов исследования состоит в установлении валидности разработанных тестов.

Существует несколько подходов к валидизации тестов, различающихся в зависимости от используемых критериев [7], [8], [9].

В педагогической практике наибольшее распространение получили такие тесты, валидность которых не требуется доказывать эмпирически: в таких тестах критерием их пригодности является само содержание тестов, одобренное опытными преподавателями-экспертами. При этом у преподавателей должна быть уверенность в том, что:

- вопросы теста находятся в соответствии с программой;

- вопросы теста охватывают не один какой-либо раздел, а всю программу курса;

- высока вероятность того, что студент, успешно ответивший на вопросы теста, знает предмет в соответствии с полученной оценкой.

Перечисленные все три пункта объединяются общей идеей - содержит ли тест вопросы, пригодные для оценки знаний по конкретной учебной дисциплине?

Если в результате статистической проверки выявляется, что ответы на вопросы теста вполне позволяют обоснованно судить о знаниях студентов, то тест содержит валидные вопросы, он валиден по содержанию.

Требования валидности по содержанию предъявляются к каждому вопросу теста. Мерой валидности является коэффициент корреляции ответов по вопросу с критерием.

При создании теста в качестве критерия обычно берутся оценки, выставленные студентам группой преподавателей-экспертов без тестов. Результаты оценки студентов по вопросам теста и по оценкам экспертов коррелируются. Высокая согласованность (конкордация) у экспертов указывает и на высокую валидность теста.

Обычно педагогические тесты имеют достаточную содержательную валидность, если к их составлению привлекались опытные педагоги.

Вместе с тем, при практической валидизации возникает ряд трудностей, связанных с недостаточной согласованностью мнений экспертов.

Требования валидности по содержанию предъявляются к каждому вопросу теста, мерой валидности является коэффициент корреляции ответов по вопросу с критерием. В связи с чем нами определялись коэффициенты корреляции оценок по каждому тесту между собой и по отношению к сумме баллов по всем тестам, причем с 1 по 5 курсы.

При создании теста в качестве критерия обычно берутся оценки, выставленные студентам группой преподавателей-экспертов без тестов. Результаты оценки студентов по вопросам теста и по оценкам экспертов коррелируются.

В дальнейшем, когда отобраны валидные вопросы теста, в качестве критерия можно брать суммарный балл испытуемых по всем вопросам. Вновь вводимые в тест вопросы можно коррелировать с суммарным критерием.

В тестовой практике для валидизации чаще всего применяется метод известных или контрольных групп. Например, нужно создать тест для выявления студентов с высоким уровнем творческих способностей. Подбираются две группы студентов (по 30 - 100 человек), не имеющих выраженных способностей к творческой деятельности и активно занимающихся творческой деятельностью и имеющих реальные творческие достижения. Затем подбираются такие вопросы, чтобы группы в своих ответах четко различались. Если на какое-либо утверждение (вопрос) ответы в обеих группах статистически различаются, это означает, что вопрос (задание) обладает хорошей различающей способностью.

Вопросы для самопроверки: