Квалиметрия. Варжапетян А.Г. - 84 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

84
– каждый эксперт располагал одинаковой информацией, доста
точной для осуществления оценки;
– оценка по каждому вопросу была обоснована экспертом;
– поставленные вопросы допускали возможность оценки в виде
числа.
Структура опросных анкет от тура к туру претерпевает изменения
и становится более конкретной.
В классической форме метода анкета первого тура может вообще
ставить бесструктурные вопросы, относящиеся к началу эксперти
зы, связанные с целями и проблематикой экспертизы. В этом случае
полагают, что эксперты знают проблемную область лучше, чем орга
низаторы экспертизы. Однако такой подход связан с большими не
достатками и возможными ошибками, которые более подробно рас
смотрены в подразд. 4.2. Во втором туре экспертам предлагают их
коллективное мнение, прошедшее через обработку группой аналити
ков, и просят высказать мнение по правильности ранжировки, после
чего аналитики могут оценить статистические характеристики. По
лученные статистики доводятся до сведения всех экспертов. Подоб
ная процедура с уточнением вопросов анкеты и определением тенден
ции к росту согласованности мнений (коэффициент конкордации)
оканчивается, как только достигается заданный уровень коэффици
ента конкордации. При анализе промежуточных результатов проис
ходит формирование группового решения, выделяются группы экс
пертов с близким мнением, выявляются причины разброса мнений,
оценивается качество оценок и компетентность оценок. Некоторые
из возможных методов обработки, полученных в ходе экспертизы
статистических результатов, представлены в подразд. 4.3.
При анализе сложных систем используются методы решающих
матриц, метод проблемных сетей, методы ПАТТЕРН и КУЭСТ [10].
Эти методы заслуживают отдельного рассмотрения, но в силу направ
ленности учебного пособия не рассматриваются.
По мере усложнения оцениваемых систем технологии экспертно
го оценивания претерпевают изменение, и нарастает необходимость
обращения к возможностям информационных технологий (разд. 5).
4.2. Недостатки и возможные ошибки экспертного оценивания
При появлении нового метода исследования часто наступает ощу
щение эйфории и все стараются использовать его в самых неожидан
ных областях. При этом выясняется, что применение метода приво
дит к большим ошибкам или просто к неверным результатам. В этом
случае начинается критика и отторжение метода. Так, например,

Страницы