Некоторые основные ошибки, допускаемые при формулировке тестовых заданий
Что такое тестовое задание
Компьютерный тест (структурно) состоит из заданий и схемы перехода (между этими заданиями). Каждое задание создает некоторую микроситуацию, требующую принятия некоторого четкого или размытого решения. Схема переходов между заданиями описывает некоторую более общую "предметную область теста". В классической теории тестирования, схема переходов предполагается по принципу "от постого к сложному". При адаптивном тестировании на компьютере требования к такой схеме другие. Так для обучающего теста, требуется, чтобы порядок предъявления заданий был наилучшим с точки зрения некоторой психологической теории, например, с точки зрения "прочности запонимания". Для контрольеого теста требуется, чтобы порядок следования заданий "исключал подсказки" и др. То есть, требования к схеме в зависимости от назначения теста могут меняться даже на прямо противоположные. Например, требование "исключение подсказок" математически предполагает построение "непересекающихся тестовых заданий", в то время как "прочность запонимания" предполагает, что последующие задания "базируются на предыдущих", а также повторяются с определенной периодичностью. И это только два вида тестов (по целям применения). Фактически, попытки формирования "единой базы тестовых заданий" из которой потом "будут случайно выбираться вопросы" в общепринятой постановке утопичны. То, что большинстве своем создают (без всякого обсуждения и апробации) практикующие тестирование преподаватели скорее похоже на большую мусорную кучу, чем на ту самую идеальную базу тестов из которой затем ..... и тд. Система "Chopin" и язык TDL потому до сих пор и не реализуют схему "10 out of 100" ("задать 10 вопросов из 100"), что теоретически не прояснены аспекты формирования их некоторого набора тестовых заданий теста целиком (то есть некоторого подмножества заданий и схемы переходов) с заранее заданными (хотя бы приблизительно) валидностью, адекватностью и экономичностью. Сопоставительную валидность, надежность и экономичность оставим пока в покое - это серьезные вопросы требующие математической проработки. Поговорим ,для начала, о том как научиться создавать (или руководить созданием) тестовых заданий, объединенных в небольшие (10-20 вопрсов) группы, имеющих некоторую гарантированную очевидную валидность. Проблему рассмотрим на примерах.
Структура тестового задания (вопроса)
Задание состоит из общей информации (внутреннего идентификационного номера, ограничений времени), одного иили нескольниз стимулов, одного или нескольких элементов фиксации ответа, одной или нескольких процедур обработки и интерпретации ответов. Существуют некоторые основные типы элементарных стимулов, например "текст", "картинка", "звук" и др., и несколько десятков типов элементов фиксации ответа. Большая часть наиболее важных типов элементарных стимулов и элементов фиксации ответа реализована в языке TDL. Дальнейшее изложение посвящено некоторым наиболее простым из этих конструкций.
Ошибки в формулировке текстовых стимулов (BeginText .... EndText)
К основным ошибкам при формировании вопроса текстом следует отнести:
- Формирование вопроса не на основе реальной проблематики предметной области, описываемом в некотором источнике теста (например учебнике или справочнике), а на основе "точности" формулировок источника.
- Формирование многозначного вопроса, допускающего множество решений (не отраженных в элементах ответа)
- Формирование неполной микроситуации, не позволяющей сформировать единственное решение (набор правильных решений)
Все три ошибки ежедневно встречаются в реальной жизни. Наиболее опасная из них - первая. Дело в том, что любой источник (если это только не текст государственного стандарта) отражает только некоторую точку зрения на предметную область. Так, например, два разных источника могут оперировать разной терминологией, разными названиями для одних и тех же вещей. Поэтому текст "текстового стимула" должен содержать подробные пояснения и синонимы, достаточно краткие, но позволяющие любому практикующему эксперту в данной области "понять о чем идет речь". Для отработки этого требования полезно показать свои стимулы нескольким незнакомым с Вашей точкой зрения на предметную область экспертам.