Образовательные информационные технологии. Часть 2. Педагогические измерения. Морев И.А. - 136 стр.

   06.10. Вес тестового задания. Полдюжины факторов
          снижающих ценность понятия веса ТЗ


        Независимо от единиц измерения, используемых поставщиком или покупателем,
 производитель будет использовать свои собственные произвольные единицы измерения,
  переводимые в единицы поставщика или покупателя с помощью странных и неестест-
                                                  венных коэффициентов пересчета.
                                     Теорема Вышковского (Артур Блох. Мерфология)
Можно «взвесить» задания относительно друг друга внутри каждого уровня, если это не-
обходимо. Однако здесь следует иметь в виду следующие соображения.
Вычисление относительного веса заданий, т. е. их относительной трудности для учащихся
– довольно сложная задача. Она требует проведения большого количества тестирований с
участием многих учащихся. При этом на величины вычисляемых Вами весов могут не-
предсказуемо повлиять следующие факторы:
   •   Разные учащиеся в разное время могут пользоваться при подготовке к тестирова-
       нию разными учебниками, где один и тот же вопрос освещен с разной степенью
       подробности и ясности;
   •   Смена (или временная подмена) преподавателя дисциплины приводит к освеще-
       нию разных вопросов в разных учебных группах с разной степенью подробности и
       ясности. Поэтому при взвешивании можно вес одного и того же вопроса для одних
       избрать чересчур высоким, для других – низким;
   •   Учащиеся, прошедшие тестирование первыми неизбежно передадут почерпнутую
       информацию следующим, и те придут тестироваться более подготовленными. Не-
       одновременность сеансов тестирования и неконтролируемость распространения
       информации среди учащихся о тестовых заданиях сделают Ваши попытки «скру-
       пулезного взвешивания» бессмысленными;
   •   Учащиеся, лучше всех знающие учебный материал, лучше всех прогнозируют для
       себя время, необходимое для выполнения заданий. Поэтому они выполнят в пер-
       вую очередь простые задания, а сложные оставят на «потом». Это приведет к оши-
       бочному пониманию сложности заданий – за «сложные» Вы ошибочно примете
       «долгие»;
   •   Рабочие учебные программы по дисциплинам иногда меняются, в соответствии со
       взглядами руководства. Каждая такая смена будет разрушать Ваши результаты
       «взвешиваний» и заставлять Вас приниматься за эту решение этой задачи вновь.
   •   Величины весов ТЗ, вычисленные на разных выборках претендентов, получатся
       разные. Следовательно, претендент, результаты тестирования которого учитыва-
       лись в совокупности с разными выборками, будет иметь разный результат.
Таким образом, для учащихся, учившихся в разных учебных группах и в разные периоды
времени, веса заданий, вычисленные по результатам тестирований других групп, будут
относительно необъективны. Кроме того, опыт работы жюри олимпиад говорит, что, по
какой бы системе веса не вычислялись, дополнительной объективности решению жюри
это никогда не придает и список призеров от этого меняется мало.
Поэтому «сложность» заданий надо учитывать по-другому. Например, путем перехода к
многомерной векторной оценке, векторному рейтингу. Компоненты вектора – рейтинга
характеризуют относительный успех претендента в выполнении конкретных групп ТЗ.


                                         136