Образовательные информационные технологии. Часть 2. Педагогические измерения. Морев И.А. - 99 стр.

       05.05. Систематические ошибки в тестировании


                                                                           Не верю!
                                                              К. С. СТАНИСЛАВСКИЙ
Систематическая ошибка называется систематической потому, что она присутствует в ре-
зультате всегда, систематически, при наступлении определенных условий. Она не являет-
ся случайной, вызванной неконтролируемыми изменениями внешних параметров. Это –
характеристика теста, которую можно контролировать и учитывать.
Иногда бывает так, что проще определить и учесть величину систематической ошибки,
возникающей в конкретных ситуациях, чем исправить тест. Ведь исправленный тест тоже
может характеризоваться систематическими ошибками, которые еще не определены.
Систематическая ошибка теста – это важная его характеристика, связанная, например, с:
   •   различием валидности теста, измеренной для разных групп претендентов (ошибка
       наклона) и
   •   соотношением между групповыми значениями измеренных характеристик по тесту
       и по критерию (ошибка интерцепта).
Эти понятия используются для акцентирования того, что заложено в тесте, – в противопо-
ложность возможной случайной ошибке. Это в значительной степени связано со специфи-
кой выборки, на которой адаптируется тест. Рассмотрим эти понятия более подробно.
   •   Систематическая ошибка наклона. Различие коэффициента валидности теста для
       двух групп обследуемых может быть связано с использованием в роли критерия
       субъективных оценок. Систематическая ошибка наклона теста может возникать и
       при сравнении выводов об эффективности его применения на представителях раз-
       ных этнокультурных, социальных и профессиональных групп. Зависит она и от ве-
       личины их выборки. Необходимо устанавливать различия между коэффициентами
       валидности для разных выборок. Если такие различия существенны (например, в
       тесте по химии в русскоязычных и национальных группах), то лучше всего прове-
       рить тест еще раз на двух независимых выборках, для того чтобы выяснить, дейст-
       вительно ли эти различия столь существенны. Если отклонения вызваны специфи-
       кой данного контингента обследуемых, то следует, просчитав эту систематическую
       ошибку наклона, учитывать ее при анализе полученных тестовых данных и при
       принятии педагогами решений об отсеве, распределении учащихся.
   •   Систематическая ошибка интерцепта означает, что тест систематически завы-
       шает или занижает значения критерия для части претендентов. Обнаружить ее
       можно, когда результаты анализируются по подгруппам обследованного контин-
       гента, что особенно необходимо на стадии выверки нового теста. Возможно, что
       она будет обнаружена даже при одинаковой валидности теста для двух групп.
       Следствием бывают разные прогностические значения теста для этих групп (на-
       пример, этнического большинства и меньшинства). Если к этим группам мы нач-
       нем применять единый нормальный показатель, одна из них может оказаться в бо-
       лее, а другая в менее благоприятных условиях. Требуется расчет систематической
       ошибки интерцепта для тестов, ориентированных на обследование групп с сущест-
       венными различиями по образовательному и социоэкономическому уровням.
Причиной систематической ошибки интерцепта может быть не только содержание знаний
и умений, заложенных в заданиях теста, но и семантика теста – степень привычности или
сложности формулировки его заданий. Для различий в национальных группах могут быть

                                          99