Организация проведения экспертного оценивания альтернативных решений

Методика подбора экспертов для осуществления процедур экспертного оценивания альтернатив

В настоящее время накоплен достаточно солидный опыт организации различного рода процедур, связанных с экспертным оцениванием. Ряд процедур такого рода, как, например, метод Делфи, получили международное признание и широкое распространение [36].

Несмотря на большое распространение процедур экспертного опроса, их обязательным элементом является этап (или алгоритм) подбора экспертов для осуществления соответствующего оценивания. Это вполне понятно, так как качество получаемых на основе экспертизы решений в конечном счете определяется степенью эрудированности привлекаемых экспертов, что вполне очевидно и не требует доказательства.

Существует ряд подходов (методов) к осуществлению подбора экспертов. Приближенно эти методы можно разбить на две большие группы: документационные и взаимооценки [36, 37]. Исходя из специфики рассматриваемой в настоящей работе прикладной области, задачу подбора экспертов целесообразно решать на основе комбинированного применения методов документационного и взаимооценки.

При документационном методе оценка качества экспертов производится на основе документальных данных, таких как:

  • — уровень образования (специальной подготовки);
  • — стаж работы по специальности;
  • —- наличие научных работ (публикаций) по тематике и т. д.

Метод взаимооценки предполагает численную оценку общей эрудированности эксперта в данной прикладной области, осуществляемую аналитической группой, которой поручена организация и проведение экспертизы. Эта оценка может играть роль дополнения к основным факторам документационного метода. Количественные значения этих факторов также определяются аналитической группой.

Таким образом, задача подбора и оценки экспертов возлагается на аналитическую группу. В ее состав (2-4 человека) обычно входят лица, назначенные руководством ответственными за проведение исследований.

В задачу аналитической группы при подборе экспертов входит:

  • —- оценка общей эрудированности рассматриваемых кандидатов в экспертную группу;
  • —- отбор оцениваемых факторов документального характера;
  • —- определение “весов” всех рассматриваемых факторов;
  • — проведение необходимых расчетов и вычисление итоговых “весов” экспертов;
  • — формирование группы экспертов для проведения оценивания.

Оценка общей эрудированности рассматриваемых кандидатов в состав экспертной группы осуществляется на основе опыта общения с конкретными специалистами (в том числе и в процессе проведения исследований). На основе коллективного обсуждения кандидатов аналитической группой каждый из них получает оценку из интервала [0,1], характеризующую его “вес” по данной номинации. Для этой цели может быть использован МАИ, как это определено выше.

Примерный состав оцениваемых факторов документального характера представлен ниже. В зависимости от потребностей экспертизы этот состав может уточняться и корректироваться.

Определение относительных “весов” всех рассматриваемых факторов также осуществляется на основе коллективного обсуждения членами аналитической группы (в том числе на базе МАИ). Типичный набор “весов” (ненормированных) такого рода представлен в таблице 3.3.

С учетом изложенного общая процедура расчетов выглядит следующим образом. Пусть рассматриваются М кандидатов в экспертную группу.

Таблица 3.3 — Факторы и их “веса

Фактор

Уровень

подготов

ки

Стаж

работы

Занимае

мая

должность

Общая

эрудиро

ванность

Публикации

Вес фактора

0,8

1,0

0,9

0,8

0,6

1 На основе анализа документальных данных и личного опыта общения с каждым из кандидатов аналитическая группа дает оценки кандидатам:

где М и N, соответственно, количество кандидатов и количество рассматриваемых факторов.

  • 2 Определяются “веса” факторов г..
  • 3 Строятся приведенные оценки кандидатов по всем факторам на основе соотношения

4 Рассчитываются нормированные “веса” кандидатов по следующей формуле:

5 Перечень кандидатов упорядочивается по убыванию значений их нормированных “весов”. В состав экспертной группы отбираются кандидаты, имеющие наиболее высокий рейтинг.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >