Образовательные информационные технологии. Часть 2. Педагогические измерения. Морев И.А. - 60 стр.

UptoLike

Составители: 

60
Для повышения надежности тестологи рекомендуют провести предварительный опрос
претендентов. Можно ли поверить, что большинство «претендентов» правдиво ответят
перед сеансом на вопросы:
Не знает ли он из каких-либо источников верных вариантов выполнения заданий?
Не проходил ли он это тестирование ранее и сколько раз?
Будет ли он проходить тест как следует, или просто потыкает в клавиши?
Нет. Они не заинтересованы в правдивом ответе по разным причинам. Такой опрос имеет
лишь умозрительный интерес, его результату нельзя доверять.
Человекне машина. Результат измерения свойств человека зависит от применяемого ин-
струмента и самого процесса измерения. А свойства человека
меняются в зависимости от
количества и последовательности измерений. Следовательно, теряется смысл скрупулез-
ного взвешивании сложности и трудоемкости заданий применительно к группам претен-
дентов с неизвестной предысторией.
Есть ли смысл в изменении свойств инструмента измерения применительно к разным
группам претендентов? Да. Во всяком случае, физики часто так поступают, измеряя свой-
ства
разнородных веществ. Но при этом должны быть адекватными процедуры пересчета
результатов, чего, как мы видим, добиться довольно сложно в массовых тестированиях.
Интуитивно ясно, что наличие ошибки в программе
не скажется на результатах тестирования;
если содержащая ошибку программная компонента
при тестировании не выполнялась.
Дж. ХУАНГ
Измерения надежности в тестологии напоминают квантовомеханические эксперименты,
где прибор неизбежно взаимодействует с системой в процессе измерения и меняет систе-
му. И чем точнее прибортем сильнее он систему меняет. Физики наработали неплохой
опыт, и им нужно пользоваться. Например, понятия дуальности характеристик и соотно-
шения неопределенностей, вероятно, могли бы сослужить хорошую службу
тестологии.
Подобно квантовой механике, тестологическая теория должна объединить в рамках изу-
чаемой системы и тест, и технологию тестирования, и проходящих сеанс тестирования
претендентов, и тех претендентов, которые ожидают своей очереди, и окружение претен-
дентов (учителей и иных советчиков, продавцов шпаргалок и пр.). Нельзя адекватно опи-
сать поведение урезанной системы, рассматривая
только совокупность невзаимодейст-
вующих претендентов и теста.
Поскольку сложность и трудоемкость тестовых заданий необходимо учитывать при под-
ведении итогов тестирований, а существующие понятия «надежности» и «веса задания»
не выдерживают критики, надо от парадигмы, связанной со странной «надежностью» и
частым «перевзвешиванием» заданий, перейти к иной, более объективной и более адек-
ватно соответствующей
реальности.
Для повышения надежности тестологи рекомендуют провести предварительный опрос
претендентов. Можно ли поверить, что большинство «претендентов» правдиво ответят
перед сеансом на вопросы:
   •   Не знает ли он из каких-либо источников верных вариантов выполнения заданий?
   •   Не проходил ли он это тестирование ранее и сколько раз?
   •   Будет ли он проходить тест как следует, или просто потыкает в клавиши?
Нет. Они не заинтересованы в правдивом ответе по разным причинам. Такой опрос имеет
лишь умозрительный интерес, его результату нельзя доверять.
Человек – не машина. Результат измерения свойств человека зависит от применяемого ин-
струмента и самого процесса измерения. А свойства человека меняются в зависимости от
количества и последовательности измерений. Следовательно, теряется смысл скрупулез-
ного взвешивании сложности и трудоемкости заданий применительно к группам претен-
дентов с неизвестной предысторией.
Есть ли смысл в изменении свойств инструмента измерения применительно к разным
группам претендентов? Да. Во всяком случае, физики часто так поступают, измеряя свой-
ства разнородных веществ. Но при этом должны быть адекватными процедуры пересчета
результатов, чего, как мы видим, добиться довольно сложно в массовых тестированиях.
                                    Интуитивно ясно, что наличие ошибки в программе
                                           не скажется на результатах тестирования;
                                    если содержащая ошибку программная компонента
                                                    при тестировании не выполнялась.
                                                                         Дж. ХУАНГ
Измерения надежности в тестологии напоминают квантовомеханические эксперименты,
где прибор неизбежно взаимодействует с системой в процессе измерения и меняет систе-
му. И чем точнее прибор – тем сильнее он систему меняет. Физики наработали неплохой
опыт, и им нужно пользоваться. Например, понятия дуальности характеристик и соотно-
шения неопределенностей, вероятно, могли бы сослужить хорошую службу тестологии.
Подобно квантовой механике, тестологическая теория должна объединить в рамках изу-
чаемой системы и тест, и технологию тестирования, и проходящих сеанс тестирования
претендентов, и тех претендентов, которые ожидают своей очереди, и окружение претен-
дентов (учителей и иных советчиков, продавцов шпаргалок и пр.). Нельзя адекватно опи-
сать поведение урезанной системы, рассматривая только совокупность невзаимодейст-
вующих претендентов и теста.
Поскольку сложность и трудоемкость тестовых заданий необходимо учитывать при под-
ведении итогов тестирований, а существующие понятия «надежности» и «веса задания»
не выдерживают критики, надо от парадигмы, связанной со странной «надежностью» и
частым «перевзвешиванием» заданий, перейти к иной, более объективной и более адек-
ватно соответствующей реальности.




                                          60