При разработке тестов важно, насколько они соответствуют запроектированным целям обучения, образования, развития обучаемых. Важнейшими критериями диагностических тестов обученности являются:

1. действенность (валидность, показательность),

2. надежность (вероятность, правильность),

3. дифференцированность (различимость).

Действенность теста по своему содержанию близка к требованию полноты , всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений. Составитель теста обязан тщательно изучить все разделы учебной программы, учебной книги, хорошо знать цель и конкретные задачи обучения. Лишь тогда он сможет составить тесты, которые будут действенными для определенной категории обучаемых. Четкая и ясная постановка вопроса в пределах освоенных знаний – неотъемлемое условие действенности теста. Если тест выходит за пределы освоенного содержания или же не достигает этих пределов, превышает запроектированный уровень обучения, то он не будет действенным для тех обучаемых, которым он адресован. Действенность теста определяется статистическими методами.

Степень надежности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью того же теста или его равноценного заменителя. Количественно этот показатель характеризуется вероятностью достижения запланированных результатов (правильностью значений).

Грамотно составленные и апробированные тесты обученности позволяют достигнуть коэффициента надежности 0,9. Установлено, что надежность повышается при увеличении количества тестовых заданий.

Установлено также, что чем выше тематическое, содержательное разнообразие тестовых заданий, тем ниже надежность теста.

Надежность тестов обученности значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или же наоборот, неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45 – 80% обучаемых.

Характеристика дифференцированности связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных альтернатив. Если, скажем, все учащиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить на другой, то это сигнал для совершенствования теста в целом. Его необходимо дифференцировать, сделать различимым.

Кроме рассмотренных критериев используется и показатель эффективности теста. Тест, обеспечивающий при прочих равных условиях большее количество ответов за единицу времени, считается более эффективным.