Меню
Главная
Авторизация/Регистрация
 
Главная arrow Прочие arrow Квалиметрия и системный анализ

Проверка согласованности мнений экспертов

Поскольку усредненное решение экспертов является окончательным, важно знать, насколько оно единодушно. Согласованность мнений экспертов можно проверить отдельно по каждому виду продукции (и аналогично по каждому единичному показателю), но можно и интегрально, по окончательному результату ранжирования.

В первом случае определяют среднеквадратическое отклонение результатов экспертных оценок по каждому показателю а* и каждому продукту as, используя табл. 4.2, 4.3 и выражения

Затем убеждаются, что для всех экспертов выполняются условия

Более точные результаты согласованности экспертных оценок можно получить, если вместо рангов (Rip, Rsp, Rt ср и Rs ср) использовать величины Qip (Qsp) и ср (Qs ср), которые рассчитываются по формулам (4.1), (4.2) на основании табл. 4.1 (и ей подобных для видов продукции). Тогда вместо (4.6) получим значения Аг и As среднеквадратических отклонений по каждому показателю и каждому продукту:

Условия отсутствия грубых ошибок р-эксперта (4.7) запишутся в виде

Если последние соотношения не выполняются, то определяется р-й эксперт, допустивший грубые ошибки по какому-либо показателю или продукту. Эти ошибки обсуждаются в группе экспертов, а затем снова проводится ранжирование. В определенных случаях отдельных экспертов приходится отстранять от экспертизы.

Согласованность групповой экспертной оценки определения ранга для каждого i-го показателя (s-ro продукта) определяют на основании соотношений (4.6), (4.7) с помощью коэффициента вариации:

Эмпирически согласованность экспертных оценок считается: высокой, если если 8* < 0,1; выше средней, если 0,1 < 8* < 0,2; средней, если 0,2 < 8* < 0,3; ниже средней, если 0,3 < 8* < 0,5; низкой, если 8j > 0,5.

Интегральная согласованность оценок экспертов при ранжировании всей группы показателей качества и/или типов продукции определяется с помощью коэффициента конкордации W (англ, concordance — согласие):

> для показателей (при использовании табл. 4.2):

> для типов продукции (при использовании табл. 4.3):

Коэффициент конкордации в литературе часто называют коэффициентом Кендалла — по фамилии ученого, который первым предложил и обосновал этот коэффициент. Вывод выражения для расчета коэффициента конкордации W, например (4.8), производится из следующих соображений. В режиме полной рассогласованности мнений экспертов (режим «хаоса») значение W должно равняться нулю. В этом режиме для всех показателей i = l,K средний ранг по экспертной оценке в группе будет одинаков:

Учтем, что сумма всех рангов в каждой строке и в целом табл. 4.2 есть величина постоянная:

Тогда

В режиме частичной несогласованности: Д ср &RjCр, i,j = 1 ,К, мерой несогласованности может служить сумма квадратов отклонений вида

где А — нормирующий множитель, А > 0.

Нетрудно убедиться, что для такого выражения при полной несогласованности W= 0, что и требовалось получить.

При полной согласованности, когда ранги всех экспертов совпадают, средний ранг каждого столбца табл. 4.2 будет равен одному из рангов в интервале от 1 до К, при этом сумма рангов по столбцу будет изменяться от 1- N до KN, принимая дискретные значения N, 2N, SN, ..., iN, ... KN. В этом случае коэффициент конкордации будет максимальным: W = Жтах, где

Полагая Wmах=1, находим Затем, учитывая, что

уточняем значение множителя А и приходим к окончательной формуле (4.8). Выражение (4.9) выводится аналогично.

Согласованность мнений экспертов считается: отличной, если W > 0,7; хорошей, если W > 0,5; удовлетворительной, если 0,2 < W < 0,4; неудовлетворительной, если W < 0,1.

Отметим, что в литературе и на практике применяют и другие критерии согласованности экспертных оценок. Так, при строгом ранжировании согласованность ранжировок двух экспертов определяется коэффициентом ранговой корреляции Спирмена р, который строится по схеме:

где Rti, Rl2 — ранг i-й характеристики (показателя, продукции) в ранжировке соответственно первого и второго эксперта, i = 1 ; т — число ранжируемых характеристик. Постоянные коэффициенты а и b определяются из условия, чтобы коэффициент корреляции изменялся в пределах от -1 до +1.

Если коэффициент корреляции равен +1, то это означает, что ранжировки экспертов одинаковы (Ra = Ri2 для всех г = 1 ,т). Тогда 1 = р = аиа=1. Если р = -1, то это означает, что ранжировки противоположны (обратны друг другу). В этом случае имеем

Можно показать, что для противоположных ранжировок справедливо

Тогда формула для коэффициента ранговой корреляции Спирмена имеет окончательный вид:

При нестрогой ранжировке допускается присваивать некоторым элементам группы одинаковые ранги. Чтобы сохранить преемственность с оценками, полученными при строгом ранжировании, каждому продукту (показателю), который в группе из t одинаковых по предпочтению продуктов разделяет ранги с г-го по (i + t - 1)-й ранг, присваивается одинаковый ранг, равный среднеарифметическому Rt = [i+(i +1) +...+(i +1 -1)]: t.

Например, три продукта, которые при ранжировке разделяют ранги с 3-го по 5-й, получают одинаковый ранг 4 ((3 + 4 + 5) : 3), а два продукта, которые разделяют ранги с 6-го по 7-й, — соответственно ранг 6,5 [(6 + 7) : 2]. В этом случае коэффициент ранговой корреляции Спирмена вычисляется по формуле

где р определяется непосредственно по (4.10);

где Тг и Т2 — число различных групп нестрогих рангов в первой и второй ранжировках (первого и второго эксперта) соответственно; tj — число одинаковых рангов в j-й группе.

Пусть для одной и той же 6-элементной группы продуктов (показателей) первый эксперт указал ранги 1; 5,5; 2,5; 2,5; 5,5 и 4, а второй эксперт — соответственно R^'. 1;6;4,5;2;4,5и 3. Вычисляя по (4.10), имеем

Учитывая (4.12): окончательно из (4.11) получаем

Решение о допустимости (или недопустимости) полученной оценки согласованности р (или рЛ) требует, строго говоря, статистической проверки гипотезы о значимости коэффициента корреляции. Изложение этой процедуры приводится в специальной литературе. На практике согласованность ранжировок двух экспертов считается удовлетворительной при р > 0,8.

Для нестрогих ранжировок в группе из N экспертов, оценивающих М объектов, коэффициент конкордации Кендалла W* рассчитывается по формуле

где W определяется для строгой ранжировки, например, по (4.9);

где Тр — число различных групп нестрогих рангов в ранжировке p-то эксперта; ?у- — число одинаковых рангов в каждой у'-й группе, j = l,Tp.

Вышеизложенную методику определения результата групповой экспертизы можно отразить алгоритмом, приведенным на рис. 4.1.

Алгоритм определения относительного уровня качества образцов однородной продукции методом групповой экспертизы

Рис. 4.1. Алгоритм определения относительного уровня качества образцов однородной продукции методом групповой экспертизы

(окончание см. на с. 98)

Окончание (начало см. на с. 97)

Рис. 4.1. Окончание (начало см. на с. 97)

 
Посмотреть оригинал
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >
 

Популярные страницы