Образовательные информационные технологии. Часть 2. Педагогические измерения. Морев И.А. - 48 стр.

       02.04. Артефакты


                                       Норма – это то, что встречается лишь изредка
                                                Сомерсет МОЭМ, aforizm.kaminplus.ru
Большое влияние на результаты тестового контроля оказывает так называемый эффект
«привыкания». Он выражается в начале сеанса тестирования, где применяется тестовый
комплекс с непривычным для претендента интерфейсом: замедление реакции, повышение
суетливости, повышение вероятности арифметических и орфографических ошибок, не-
верные манипуляции. Это может быть связано и с тем, что претендент
   •   не знаком с инструкций и порядком проведения процедуры;
   •   участвует в тестированиях часто, но с использованием иных комплексов, и ему
       требуется некоторое время для освоения нового интерфейса;
   •   уже тестировался с использованием данного комплекса, но база тестовых заданий
       изменилась – создана другими авторами, оформлена в другом литературном стиле
       или содержит непривычные жаргонные выражения.
Исключить влияние «привыкания» на результаты тестирования несложно – нужно про-
вести предварительное тестирование, дать претендентам освоиться. Согласно нашим из-
мерениям, для этого достаточно от 5 до 10 минут.
Кроме этого, результаты могут быть искажены по приведенным ниже причинам.
   •   Группа претендентов предварительно ознакомилась с заданиями теста. Это может
       произойти случайно, когда им просто «попалась» книга с подобной информацией
       или репетитор провел тренировку, опираясь на сыгравшую нужную роль интуи-
       цию, и намеренно, когда произошла утечка информации. В обоих случаях на кри-
       вой распределения результатов тестирования может «вырасти» удивительный
       «горб». Методы дезавуирования этого артефакта известны и приведены ниже в
       главе посвященной информационной безопасности.
   •   Тест не вариативен и правила допускают повторные сеансы. В этом случае, пре-
       тендент, прошедший сеанс два-три раза, да с основательными перерывами на об-
       щение с книгой и преподавателем, находится в выигрышной ситуации. Кривая рас-
       пределения «оживет», с каждым сеансом в конце ее будет увеличиваться «горб».
       Для устранения перекоса, следует поставить всех претендентов в равные условия:
       все тестируются вместе, варианты теста меняются, желательно с применением
       процедур случайного выбора. В росте «горба» должны иметь возможность принять
       участие все претенденты. Такой многосеансный «марафон» может принести и по-
       ложительные плоды, естественным образом дифференцировав претендентов на
       «упорных», «безразличных» и «середнячков».
   •   Среди претендентов оказалась достаточно большая группа, для которой этот тест
       не предназначен. Это могут быть ученики специальной школы «с уклоном», или,
       наоборот, ученики школы, где данная дисциплина не изучалась. В первом случае
       «горб» на кривой распределения вырастет в ее конце, в области высших рейтингов,
       во втором – в начале, в области «случайного тыка».
   •   Среди претендентов есть неспособные выдержать достаточно длительное напряже-
       ние в течение сеанса. Увеличение длительности сеанса действует угнетающе на
       всех претендентов и по-разному на степень объективности их результатов. А для
       обеспечения требуемого уровня качества измерений необходимо включение в тест
       достаточно большого количества заданий, для выполнения которых необходимо
                                          48