Метод альтернатив как способ измерения предпочтений эксперта в интервальной шкале

Л. Заде, основатель теории нечетких множеств, в работе [ 114J писал: «Обычные количественные методы анализа не эффективны при анализе гуманистических систем, то есть систем, в которых существенная роль принадлежит суждениям и знаниям человека. Как правило, такие системы являются слабо структурируемыми и гораздо более сложны, чем механистические системы, поведение которых допускает численное описание».

В результате проведенного анализа установлено, что существующие методы квалиметрии по сбору экспертных данных имеют как системные, так и специфические недостатки, связанные с природой экспертных суждений и особенностями количественных оценок как таковых. Очевидна необходимость в ином подходе к сбору и формализации эвристических суждений экспертов, основанном на понятиях и принципах принятия решений в отношении риска, среди которых ключевым является теория ожидаемой полезности фон Неймана — Моргенштсрна [58].

Нами предложен и экспериментально проверен способ альтернативного оценивания функции полезности. Такой способ мы будем называть методом альтернатив [25-А].

Среди особенностей оценки функции полезности методом альтернатив можно выделить следующие [26-А, 27-А, 28-А]:

• ? получение информации от эксперта в вербальном виде;
• ? альтернативные оценки функции полезности одним и тем же экспертом;
• ? проверка на совпадение альтернативных оценок функции полезности.

Выбор шкалы. Первый вопрос, который возникает перед экспертом: существует ли способ измерить функцию полезности и если способ существует, то в какой шкале следует производить измерения. По этому поводу имеются самые разнообразные точки зрения [103].

Для представления значений функции полезности экспертной системы управления рисками стандартизации нами предлагается вариант половинного деления интервальной шкалы, близкий к варианту шкалы Т. Саати [107], — обобщенная дихотомическая шкала (табл. 3.7, А). Варианты такой шкалы с вербальной расшифровкой уровней Vi, соответствующих числовым оценкам щ, представлены в табл. 3.7, Б. Интервальная шкала допускает положительные линейные преобразования: g(x) = ах + b (а > 0).

Таблица 3.7

Обобщенная дихотомическая шкала сравнительной оценки уровня полезности

Преимущество такой шкалы состоит в адаптивном выборе количества уровней исходя из сложности решаемой задачи и квалификации экспертов.

Организация процесса оценивания. Определим аксиоматику предпочтений эксперта в интервальной шкале. Пусть существует множество, на котором определена функция полезности U = 11 (х_ь х₂,..., х_п), где Х, х₂,..., х„ — факторы, влияющие па полезность. Рассмотрим конечное число точек М подпространства Каждую из точек множества Q_M обозначим со' = (х[,х₂,..., х'„), где г = 1, 2, ..., М, а соответствующее ей значение функции — If = (со'), i = 1, 2, ..., М. Назовем U = (С/¹, [/, ..., II^м) вектором полезности для точек Будем считать, что множество точек эксперимента Q_M упорядочено с помощью алгоритма сортировки, например слиянием:

и1

В процессе оценивания значений вектора полезности U = (U¹, U²,..., II^м) эксперт в общем случае не способен точно оценить численные значения уровней U¹, U²,..., II^м. Вместе с тем при сравнении двух альтернативных вариантов он обычно способен определить, какой из рассматриваемых признаков выражен сильнее, и вербально оценить различие между рассматриваемыми альтернативами.

Естественно предположить, что оценивать различие можно, сравнивая отношения а '¹ = U'/и³ или разности г³' = U^l - U³ уровней. При этом эксперту можно задавать соответствующие вопросы: «Во сколько раз уровень полезности U¹ превосходит уровень полезности U³?» или «На сколько уровень полезности U¹ превосходит уровень полезности U?».

С этих позиций наиболее распространенными являются два метода экспертного оценивания значений уровней полезности tr, U², ..., U^M:

? Метод оценивания отношений а³¹ - U^l /и³, известный как метод иерархий Саати, включающий вариант конструирования вербальной шкалы для оценки отношений а³¹ = U^l /U³ и соответствующие числовые оценки уровней [107].

Примечание. Для данного метода характерны еущеетвеппые для практического использования недостатки, например невозможность проверки на непротиворечивость количественной оценки функции полезности. Некоторые ситуации не поддаются интерпретации, например, если уровень U² слабо превосходит уровень U^x (U²/U¹ = 3), а уровень U³, в свою очередь, слабо превосходит уровень U² (U²/U^x = 3), то уровень U³ абсолютно превосходит уровень II^х (U³/U^x - 9).

? Метод оценивания разности г³¹ = U¹ - U³, известный как метод непосредственного оценивания U^{, U²,..., U^M, представляющий собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них.

Примечание. Как было отмечено выше, для данного метода, считающегося базовым, также характерны существенные для практического использования недостатки: высокая несогласованность мнений экспертов, низкий уровень достоверности, точности экспертных оценок. Кстати, именно неспособность эксперта точно оценить непосредственно численные значения уровней полезности объектов подвигли Саати на разработку своего метода иерархий.

Известно, что измерение любым методом, в том числе и при помощи непосредственного оценивания, является, по сути, сравнением. Выбрав, например, самый высокий уровень ?/_тах, мы можем получить вербальную оценку для остальных уровней U' путем их сравнения с максимальным уровнем ?/_тах, задавая эксперту вопрос

«Насколько уровень полезности U¹ превосходит уровень полезности t/_max?». Мы считаем, что метод оценивания разности — наиболее перспективный с позиций точности, обоснованности и достоверности экспертных оценок и развития экспертных систем.

Для его совершенствования в рамках разработанного нами метода альтернатив предлагается новый способ оценивания функции полезности, основанный на оценке разностей r^ji = U^l - UK

Пусть U^l - t/^; = h ? r^jt, где г^;г определяется на основании шкалирования вербальных ответов эксперта; i,j е {1, 2,..., М), М — натуральное число, h — константа шкалы. Для нахождения С/¹, U²,..., U^M рассмотрим два плана эксперимента.

План А. Оцениваются значения г*¹ для {(i,j): i=p,j= 1,2,..., М}, при этом уровни t/^; сравниваются с некоторым фиксированным уровнем U¹³, р е {1, 2, ..., М) (см. рис. 3.11):

где h_A — константа, которая зависит только от данного альтернативного плана эксперимента.

Вектор полезности, полученный решением системы линейных уравнений (3.5), соответствующей первому альтернативному плану эксперимента, обозначим 0_А.

План В. Оцениваются значения г^;г для {(i,j): i = 1, 2, ..., М - 1; j = i + 1}, при этом сравниваются между собой пары идущих друг за другом уровней U U^l+1 (см. рис. 3.11):

где h_B — константа, которая зависит только от данного альтернативного плана.

Вектор полезности, полученный решением системы линейных уравнений (3.6), соответствующей второму альтернативному плану эксперимента, обозначим О_в.

Рис. 3.11. Экспертное оценивание в рамках метода альтернатив по плану А и плану В

Критерий достоверности и точности экспертных оценок. Альтернативные оценки вектора полезности 0_А и О_в, полученные па основании решения систем уравнений (3.5) и (3.6), определены с точностью до линейного преобразования, так как константы h_A и h_B неизвестны. Относительно полученных оценок (U^lA, U_B), i = 1, 2,..., М полагаем, что U'_A = щ + w₂ ? U'_B + e,, где г = 1,2, ..., M; e_t, е₂,..., г_м — независимые, одинаково распределенные случайные величины, W, w₂ — константы. Сформулируем критерий устойчивости предпочтений эксперта К.

Критерий К. Экспертные оценки полезности устойчивы, если альтернативные оценки связаны статистически значимой адекватной возрастающей линейной зависимостью.

Пример. Рассмотрим практическую реализацию метода альтернатив на примере решения задачи шкалирования исходных данных — уровней фактора «Актуальность разработки стандарта», используемого в экспертной системе оценки, анализа и управления рисками стандартизации. По результатам анкетирования группы экспертов было установлено, что фактор имеет пять значимых уровней. Соответствующие им лингвистические значения и оценки приведены в табл. 3.8.

Таблица 3.8

Уровни фактора «Актуальность разработки стандарта»

Обозначим оценки предпочтений экспертов по каждому уровню фактора г⁴ = (u¹q - u-q^/Hq, где i, j — индексы сравниваемых уровней фактора; Hq — константы масштаба, Q — метод опроса экспертов (план А или план В). Результаты оценивания уровней фактора группой экспертов с применением двух методов приведены в табл. 3.9.

Таблица 3.9

Сравнительные оценки уровней фактора «Актуальность разработки стандарта»

Проверка выполнения критерия адекватности сводится к проверке существования линейной связи нормализованных альтернативных оценок уровней фактора щ, полученных преобразованием сравнительных оценок г^ при решении систем уравнений (3.5) и (3.6) (рис. 3.12).

В качестве критерия линейности логично принять коэффициент детерминации регрессионной модели R². Поскольку коэффициент детерминации R² = 0,88 достаточно высок, при этом критерий Фишера F( 1, 3) = 22,8 и /^-уровень р = 0,017, можно сделать

Рис. 3.12. Проверка критерия адекватности К для уровней фактора «Актуальность разработки стандарта»: и_А — оценки экспертов первым методом (план А); и_в — оценки экспертов вторым методом (план В) вывод об устойчивости предпочтений экспертов и доверии к экспертным оценкам.

После проверки оценивания предпочтений экспертов по критерию К в качестве оцифрованных значений каждого уровня шкалы принимаем среднее . Шкала готова к использованию.

Полный алгоритм проведения этапа шкалирования для целей построения экспертной системы оценки риска стандартизации приведен в 3.3.2.

Примечание. Сравнительные оценки г®, приведенные в табл. 3.10, являются результатом консенсуса группы экспертов — профессиональных работников Государственного комитета по стандартизации Республики Беларусь. Корректность такого подхода обоснована тем, что экспертные оценки г ^ каждого эксперта также были получены методом альтернатив и проверялись по критерию К. Это автоматически обеспечивало однородность массивов экспертных оценок всей группы.

В табл. 3.10 и 3.11 представлены нормированные шкалы уровней факторов риска, полученные при помощи специально разработанного экспертного метода — метода альтернатив, в совокупности с критерием устойчивости предпочтений эксперта и обобщенной дихотомической шкалой, согласно алгоритму проведения эксперимента.

Шкалы, представленные в табл. 3.10, считаются достоверными, так как были проверены по критерию устойчивости К — коэффициенту детерминации регрессионной модели R². Проверка устойчивости полученных экспертных данных сводится к проверке существования линейной связи нормализованных альтернативных оценок уровней фактора по «плану А» (оценки экспертов первым методом ?/д) и по «плану В» (оценки экспертов вторым методом Ur).

Таблица 3.10

Результаты шкалирования этапа «Планирование разработки стандарта»

Продолжение табл. 3.10

Продолжение табл. 3.10

Окончание табл. 3.10

Таблица 3.11

Результаты шкалирования этапа «Разработать стандарт»

Окончание табл. 3.11