ВУЗ:
Составители:
Число экспертов, входящих в комиссию, зависит от
требуемой точности средних оценок, трудоемкости
оценочных процедур, возможностей управления
комиссией, но в группе должно быть не менее 7-12 человек.
При необходимости повышения точности оценок качества
состав экспертной комиссии может быть увеличен до 15-20
человек.
Для организационного оформления деятельности
экспертной комиссии издается приказ (или распоряжение).
В нем
указываются цели проводимой работы, состав
экспертной комиссии и ее руководитель, сроки заполнения
экспертами анкет, срок окончания работы.
После образования экспертной комиссии весьма
полезно их предварительное специальное обучение и
совершенно необходим инструктаж.
На завершающем этапе формирования экспертной
комиссии целесообразно провести тестирование, с
решением тестовых задач, тождественных реальным,
самооценку, взаимооценку экспертов и
проверку
согласованности мнений экспертов.
Тестирование состоит в решении экспертами задач,
подобных реальным, с известными (но не экспертам)
ответами. На основании результатов тестирования по
критерию Р.А.Фишера проверяется равноточность отсчетов,
даваемых экспертами, если нужно, измеряется рассеяние
отсчета у каждого члена экспертной комиссии и
устанавливается компетентность и профессиональная
пригодность экспертов.
Самооценка
состоит в том, что каждый из них в строго
ограниченное время отвечает на вопросы специально
составленной анкеты, в результате чего быстро и просто
проверяет свои профессиональные знания и деловые
качества.
Оценка их дается каждым экспертом по балльной
системе. При всей субъективности такой оценки опыт
показывает, что экспертные группы с высокими
показателями самооценки редко ошибаются.
Весьма показательной является взаимная оценка
экспертами друг друга (также по балльной системе). Для
этого, разумеется, необходим опыт совместной работы. При
наличии сведений о результатах работы эксперта в других
экспертных группах критерием его квалификации может
стать показатель или степень надежности – отношение
числа случаев, когда мнение эксперта совпало с
результатами экспертизы, к общему числу экспертиз, в
которых он участвовал. Использование этого подхода к
отбору экспертов требует накопления и анализа большого
объема информации, но открывает возможность
непрерывного совершенствования качественного состава
экспертной комиссии.
На заключительном этапе подготовки экспертной
комиссии согласованность мнений экспертов, включенных
в ее состав, определяется по общему для всей
комиссии
показателю качества – коэффициенту конкордации
)(
12
32
mmn
S
W
−
=
(92)
где S – сумма квадратов отклонений суммы рангов каждого
объекта экспертизы от среднего арифметического ранга; n –
число экспертов; m – число объектов экспертизы.
В зависимости от степени согласованности мнений
экспертов коэффициент конкордации может принимать
значения от единицы (при полном единодушии) до нуля
(при отсутствии согласованности).
143
144
Число экспертов, входящих в комиссию, зависит от Оценка их дается каждым экспертом по балльной
требуемой точности средних оценок, трудоемкости системе. При всей субъективности такой оценки опыт
оценочных процедур, возможностей управления показывает, что экспертные группы с высокими
комиссией, но в группе должно быть не менее 7-12 человек. показателями самооценки редко ошибаются.
При необходимости повышения точности оценок качества Весьма показательной является взаимная оценка
состав экспертной комиссии может быть увеличен до 15-20 экспертами друг друга (также по балльной системе). Для
человек. этого, разумеется, необходим опыт совместной работы. При
Для организационного оформления деятельности наличии сведений о результатах работы эксперта в других
экспертной комиссии издается приказ (или распоряжение). экспертных группах критерием его квалификации может
В нем указываются цели проводимой работы, состав стать показатель или степень надежности – отношение
экспертной комиссии и ее руководитель, сроки заполнения числа случаев, когда мнение эксперта совпало с
экспертами анкет, срок окончания работы. результатами экспертизы, к общему числу экспертиз, в
После образования экспертной комиссии весьма которых он участвовал. Использование этого подхода к
полезно их предварительное специальное обучение и отбору экспертов требует накопления и анализа большого
совершенно необходим инструктаж. объема информации, но открывает возможность
На завершающем этапе формирования экспертной непрерывного совершенствования качественного состава
комиссии целесообразно провести тестирование, с экспертной комиссии.
решением тестовых задач, тождественных реальным, На заключительном этапе подготовки экспертной
самооценку, взаимооценку экспертов и проверку комиссии согласованность мнений экспертов, включенных
согласованности мнений экспертов. в ее состав, определяется по общему для всей комиссии
Тестирование состоит в решении экспертами задач, показателю качества – коэффициенту конкордации
подобных реальным, с известными (но не экспертам) 12 S
W = 2 (92)
ответами. На основании результатов тестирования по n (m 3 − m )
критерию Р.А.Фишера проверяется равноточность отсчетов, где S – сумма квадратов отклонений суммы рангов каждого
даваемых экспертами, если нужно, измеряется рассеяние объекта экспертизы от среднего арифметического ранга; n –
отсчета у каждого члена экспертной комиссии и число экспертов; m – число объектов экспертизы.
устанавливается компетентность и профессиональная В зависимости от степени согласованности мнений
пригодность экспертов. экспертов коэффициент конкордации может принимать
Самооценка состоит в том, что каждый из них в строго значения от единицы (при полном единодушии) до нуля
ограниченное время отвечает на вопросы специально (при отсутствии согласованности).
составленной анкеты, в результате чего быстро и просто
проверяет свои профессиональные знания и деловые
качества.
144
143
