Построение адаптивных тестов в среде "Шопен"

Д.В. Смолин
 

Проблемы построения адаптивных тестов

Современный этап развития теории и практики тестирования характеризуется практически полной заменой тестов в их традиционном понимании так называемыми "адаптивными тестами" или тестами с "изменяющейся структурой". В принципе, сам термин "адаптивный тест" далеко не нов. Описание тестов, предъявление стимулов в которых различно в зависимости от предыдущих реакций тестируемого можно найти в классическом труде А. Анастази "Психологическое тестирование". Адаптивные тесты обычно много экономичнее традиционых, то есть требуют меньшнего числа шагов (машинного времени, количества консультантов и т.п.).

Широкое распространение адаптивных тестов до недавнего времени сдерживалось возможностями вычислительной техники, поскольку без использования ЭВМ ("слабой" ЭВМ) такое тестирование гораздо более затратно, чем традиционное. Возможности современных компьютеров таковы, что можно смело забыть "о пределе их возможностей", поэтому вопрос о переходе к "адаптивному тестированию" актуален.

Что же сегодня сдерживает развитие теории и практики "адаптивного тестирования"? Имеется как ряд фундаментальных, научных, требующих исследования проблем, таких как способы расчета показателей качества адаптивных тестов, так и практических, таких как создание универсального языка описания тестов и его применение к решению практически важных задач.

Настоящая статья посвящена практическим аспектам - примеру применения языка описания тестов TDL для создания относительно простого адаптивного теста.

Описание адаптивного теста на языке TDL

Итак, имеется некоторый тест, в котором номер стимула, который следует предъявить тестируемому (или обучаемому) вычисляется в процессе тестирования и неизвестен заранее. Например, если обучаемый правильно ответил на вопросы номер 1 и 2, то следует сразу перейти к вопросам 4 и 5, в противном случае к вопросам 3 и 4. Такой переход обеспечивается конструкцией <если <условие> then <точка перехода>>. В языке TDL эта кострукция имеет вид:

if <логическое выражение> then goto <номер вопроса>
например, if Q1>1 then goto 3

В приведенном примере описан переход теста к вопросу номер 3, в случае, если оценка за первый вопрос превысила 1. В противном случае, произойдет переход к вопросу 2.Выражение после if может быть и более сложным, например: перейти на вопрос 10 если средний балл за первые три вопроса не превысил значения 3,5. На языке TDL такое выражение запишется:

R1=(Q1+Q1+Q3)/3;
if R1>3,5 then goto 10

Во многих случаях требуется многократное повторение одних и тех же стимулов (вопросов). В этом случае используется команда goto <номер вопроса>, которая обеспечивает "безусловный переход" к нужному вопросу. Например, требуется сравнить 2-х человек по некоторой характеристике. Для этого каждому их них предъявляется тест-опросник (оба опросника идентичны). Обработка результатов подразумевает кодирование ответов и подсчет баллов, а затем их сравнение при помощи некоторой шкалы или алгоритма.Схема теста могла бы быть выражена так:

i:=i+1;
Вопрос №1
if I=1 then R1:=Q1;
.......
Вопрос № N
Инструкция: "следующие вопросы должен отвечать другой респондент"
безусловный переход на вопрос № 1

Разница в ответах одного и того же респондента на разные вопросы может быть найдена как разность Q1-Q2 (первый и второй вопросы). Разницу в ответах различных респондентов можно выразить через переменные, например: R1-Q1 - это разница в ответах на первый вопрос первого и последнего респондентов теста.Конструкции TDL просты и понятны, поэтому удобнее и быстрее рассмотреть их на практическом примере. (электронная документация доступна по адресу http://altnet.ru/~mcsmall/tdl.htm)

Тест для влюбленных

Предположим, что имеется некоторый тест, который позволяет установить совместимость пары. Текст теста приведен ниже:

  1. Вы больше всего цените в человеке доброту и деликатность?
  2. Любите ли Вы делиться впечатлениями о причитанной книге или совершенном Вами путешествии?
  3. Доставляет ли Вам удовольствие покупать и выбирать цветы?
  4. Нравяться ли Вам продолжительные прогулки или другие виды активности на свежем воздухе?
  5. Вы предпочитаете действовать, а не раздумывать?
  6. Как Вы думаете, есть вещи, которые важнее материального благополучия?
  7. Вы предпочитаете жизнь со взлетами и падениями, а не спокойное, однообразное существование?
  8. Правда ли, что в еде Вы гурман?
  9. Вы предпочитаете спросить кого-нибудь об интересующем Вас предмете, чем искать информацию в справочнике?
  10. Думаете ли Вы, что близкому человеку можно доверить свои самые сокровенные мысли?
  11. Любите ли Вы подшутить над человеком, который оказался глупее Вас?
  12. Стремитесь ли Вы заводить выгодные знакомства?
  13. Верно ли, что для Вас важно лишь мнение лишь близких людей?
  14. Действительно ли Вы нетерпимы к небрежности и халатности?
  15. Считаете ли Вы, что люди добросовестно выполняют работу лишь в случае постоянного контроля?
  16. По Вашему мнению, человеческое достоинство - это признак ума?

Тест поочередно проходят оба партнера, причем фиксируются ответы трех типов: "Да" - 2 балла, "трудно сказать" - 1 балл, "Нет" - 0 баллов. По каждому из респондентов отдельно подсчитываются суммы баллов по вопросам 1-8 и 9-16. Затем находят разность между суммой ответов на вопросы 1-8 двух партнеров (обозначим за X) , и разность по вопросам 9-16 (Y) . В зависимости от значений X и Y возможны 9 различных выводов:

число X лежит в интервале от 0 до 5, но при этом значение Y:

  • от 0 до 5. Из Вас получится замечательная пара. Вы удивительно похожи по характеру;
  • от 6 до 10. Вам повезло, что Вы встретились. Вы как две половинки яблока дополняете друг друга;
  • более 10. Вы можете составить гармоничную пару, если преодолеете разногласия из-за небольших различий в харктере;

число X лежит в интервале от 6 до 10, но при этом значение Y:

  • от 0 до 5. Можно сказать, что Вы совместимы по характеру, а возможные сложности в Ваших отношениях при желании легко можно преодолеть;
  • от 6 до 10. Вам надо просто проявить друг к другу больше терпения, и результат не заставит себя ждать;
  • более 10. Возможно, Вам потребуется потрудиться над преодолением разногласий. А на это нужно время.;

число X - в интервале от 10 и выше, а Y:

  • от 0 до 5. Вы сможете сохранить Ваш союз, если возьмете за правило идти на уступки друг другу.;
  • от 6 до 10. Вы вместе только потому, что у Вас есть общность интересов и взглядов на жизнь.;
  • более 10. У Вас мало шансов быть вместе.;

Фрагмент описания теста на языке TDL будет выглядеть следующим образом: (полный тест можно скачать по адресу: http://altnet.ru/~mcsmall/TST/ENT/for-lovers/MATCH.ZIP)

 

Title:
TestName: Подходите ли Вы друг другу?;
Questions: 18;
RandomChoice: OFF;
Random: OFF;
Gradation:
0: Из Вас получится замечательная пара. Вы удивительно похожи по характеру;
1: Вам повезло, что Вы встретились. Вы как две половинки яблока дополняете друг друга;
2: Вы можете составить гармоничную пару, если преодолеете разногласия из-за небольших различий в харктере;
3: Можно сказать, что Вы совместимы по характеру, а возможные сложности в Ваших отношениях при желании легко можно преодолеть;
4: Вам надо просто проявить друг к другу больше терпения, и результат не заставит себя ждать;
5: Возможно, Вам потребуется потрудиться над преодолением разногласий. А на это нужно время.;
6: Вы сможете сохранить Ваш союз, если возьмете за правило идти на уступки друг другу.;
7: Вы вместе только потому, что у Вас есть общность интересов и взглядов на жизнь.;
8: У Вас мало шансов быть вместе.;
EndGrad;
EndTitle.
StartTest:
# наборщик Смолин Д.В. 24.04.2001
# источник "Тесты для влюбленных" Минск Харвест 1998

Question: 1;
Weight: 0;
BeginText:
Внимание, этот тест может КОРРЕКТНО выполняться только версией light.exe не ранее 12.12.01. Обновите версию на сайте http://altnet.ru/~mcsmall

Внимание, этот тест состоит из двух частей. Один из партнеров отвечает на вопросы, пока не появится инструкция, о смене респондента. Остаток теста отвечает только второй партнер.
Пожалуйста, уберите второго респондента от экрана.
EndText;
Ask;

I1:=0; // счетчик - "номер респондента"
Question: 2;
Weight: 1;
BeginText: Вы больше всего цените в человеке доброту и деликатность?
EndText;
SoftChoice: AtX: 110; AtY: 8; Height: 100; Width: 500;
2: да endcase;
0: нет endcase;
1: трудно сказать endcase;
EndChoice;
Ask;

Question: 3;
Weight: 1;
BeginText: Любите ли Вы делиться впечатлениями о причитанной книге или совершенном Вами путешествии?
EndText;
SoftChoice: AtX: 110; AtY: 8; Height: 100; Width: 500;
2: да endcase;
0: нет endcase;
1: трудно сказать endcase;
EndChoice;
Ask;

..................

Question: 16;
Weight: 1;
BeginText: По Вашему мнению, человеческое достоинство - это признак ума?
EndText;
SoftChoice: AtX: 110; AtY: 8; Height: 100; Width: 500;
2: да endcase;
0: нет endcase;
1: трудно сказать endcase;
EndChoice;
Ask;

# зона ответов второго партнера
if I1=0 then R1:=Q1+Q2+Q3+Q4+Q5+Q6+Q7+Q8; // ответы первого респондента
if I1=0 then R2:=Q9+Q10+Q11+Q12+Q13+Q14+Q15+Q16; // ответы первого респондента
I1:=I1+1;
if i1=2 then goto 18;

Question: 17;
Weight: 0;
BeginText: Внимание, в это месте респондент должен поменяться. Дальнейшие ответы вносит второй партнер.
EndText;
Ask;

if I1<2 then goto 2;

Question: 18;
Weight: 0;
BeginText: Спасибо за ваши ответы. сейчас будут произведены расчеты и получен вывод ... Если Вы действительно любите друг друга .... стоит отнестись к нему с улыбкой
EndText;
Ask;

X:=0; Y:=0; Fx1:=0; Fx2:=0; Fx3:=0; Fy1:=0; Fy2:=0; Fy3:=0; Gr:=0;
X:=R1-(Q1+Q2+Q3+Q4+Q5+Q6+Q7+Q8);
Y:=R2-(Q9+Q10+Q11+Q12+Q13+Q14+Q15+Q16);
if X<=5 then Fx1:=1;
if X>10 then Fx3:=1;
if (Fx1+Fx3)=0 then Fx2:=1;
if Y<=5 then Fy1:=1;
if Y>10 then Fy3:=1;
if (Fy1+Fy3)=0 then Fy2:=1; //двойные сравнения (0<Fy2<1) не поддерживаются в TDL
if (Fx1+Fy1)=2 then Gr:=1;
if (Fx1+Fy2)=2 then Gr:=2;
if (Fx1+Fy3)=2 then Gr:=3;
if (Fx2+Fy1)=2 then Gr:=4;
if (Fx2+Fy2)=2 then Gr:=5;
if (Fx2+Fy3)=2 then Gr:=6;
if (Fx3+Fy1)=2 then Gr:=7;
if (Fx3+Fy2)=2 then Gr:=8;
if (Fx3+Fy3)=2 then Gr:=9;
TotalResult:=Gr;

EndTest.

 

Подробнее http://altnet.ru/~mcsmall/index.htm

 

Сайт управляется системой uCoz