Методика проверки адекватности математической модели ядра информационной составляющей экспертной системы

На множестве, где определена функция полезности, генерируем случайным образом заданное число точек М — значения уровней факторов. Для проверки экспериментальной модели получаем множество точек Q.M = {со1: сог = (и[, и12,..., uln),i = 1,..., М}, в которых проводим эксперимент по экспертному оцениванию функции полезности методом альтернатив. Дополнительно выбираем базовую точку о/ g {со7: i = 1,2, ..., М).

Результаты эксперимента проверяем на точность и достоверность с помощью критерия К. Если адекватность альтернативного оценивания доказана, уточняем оценки функции полезности в точках эксперимента Q.M по формуле U' = (U'A + U)/2, i = 1,2, ..., М. Далее в точках Q.M вычисляем теоретические значения функции полезности /7(оУ), i = 1, 2, ..., М как квази-копулу, используя формулу (3.21).

Для полученных оценок (?/(оУ), O'), i = 1, 2,..., М полагаем, что /7(оУ) = W + w2Ul + 8/, где i = 1, 2, ..., М; еь ..., независимые

одинаково распределенные случайные величины; W, w2 — константы.

Сформулируем критерий К2 адекватности модели функции связи экспертного оценивания показателя результативности и влияющих факторов.

Критерий К2. Модель функции полезности адекватна, если экспертные и теоретические оценки связаны статистически значимой адекватной возрастающей линейной зависимостью.

Пример. В рамках проекта по созданию экспертной системы оценивания и управления рисками стандартизации для построения функций полезности — частного риска первого этапа процесса стандартизации «Оцепить заявку, проанализировать и включить в план государственной стандартизации» — использовалась мультипликативная модель квази-копулы U = U(U[, и2,..., ип) в предположении независимости факторов х2, ..., Хц.

План эксперимента посредством опроса экспертов с целью определения параметров мультипликативной модели вида (3.7) представлен в табл. 3.26. Множество точек определено как Q12 = {со0, со1, ..., со12}. Дополнительные точки — со12 = (1, 1,..., 1), со0 = (0, 0, ..., 0). Поскольку, по мнению экспертов, U° « U12, то произойдет «зашкаливание», если метод альтернатив применить непосредственно для оценки значений U°, U1, U2, ..., С/12. Поэтому уровни функции полезности были разбиты па две анкеты: Ah В — (U°, U С/12) и Л2, В2 (U U2, ..., ?/12). В табл. 3.24 строки 1-2 относятся к первой анкете, 3-14 — ко второй. Для каждой из анкет применялся метод альтернативного оценивания. Проверка достоверности экспертного оценивания факторов, влияющих па риск стандартизации, в соответствии с критерием К показала, что коэффициент детерминации регрессионной связи альтернативных оценок R2 = 0,98, что свидетельствует об их устойчивости. Параметры модели квази-копулы найдем по формулам (3.22).

Таблица 3.24

Сравнительные оценки уровней функции полезности — частного риска первого этана процесса стандартизации

План А

План В

п.п.

а

i

j

Q

i

j

&

1

12

1

3

12

1

3

2

0

1

-7

1

0

7

3

а2

12

7

6

В2

12

11

1

4

11

7

5

11

10

2

5

10

7

5

10

9

2

6

9

7

3

9

8

2

7

8

7

2

8

7

2

8

7

7

0

7

6

2

9

6

7

-2

6

5

2

10

5

7

-3

5

4

2

11

4

7

-5

4

3

2

12

3

7

-6

3

2

2

13

2

7

-7

2

1

2

14

1

7

-7

-

-

-

Проверим теперь адекватность модели квази-копулы. С помощью датчика случайных чисел генерируем 16 точек и проводим эксперимент по экспертному оцениванию частных рисков в данных точках. Далее в этих точках вычисляем теоретические значения функции полезности. Применим критерий адекватности модели К2 (рис. 3.29).

Коэффициент детерминации линейной связи R2 = 0,78 признан достаточно высоким, что свидетельствует об адекватности модели и возможности использования ее в экспертной системе оценивания и управления рисками стандартизации.

Полный алгоритм проведения этапа проверки адекватности математической модели для целей построения экспертной системы оценки риска стандартизации приведен в 3.3.4.

Проверка адекватности модели функции полезности для первого этапа разработки стандарта по критерию К

Рис. 3.29. Проверка адекватности модели функции полезности для первого этапа разработки стандарта по критерию К2:

U — теоретические значения функции полезности;

U — экспериментальные значения функции полезности

Результаты проверки адекватности полученной математической модели. Анализ адекватности полученной математической модели заключается в сравнении теоретических значений функции связи и экспериментальных результатов, получаемых непосредственно от эксперта. В табл. 3.25-3.27 представлены оценивания 16 сгенерированных случайным образом точек.

Для того чтобы непосредственно осуществить проверку адекватности функций полезности для каждого процесса в отдельности, а также функции полезности верхнего уровня, необходимо реализовать повторный эксперимент с уже имеющимися экспериментальными точками для каждого процесса (см. табл. 3.25-3.27), подставив их в уравнения функции полезности, и получить тем самым расчетные (теоретические) данные выстроенной математической модели.

Полученные теоретические данные необходимо сравнить с результатами экспериментальных данных (см. табл. 3.25-3.27). Под сравнением подразумевается проверка адекватности математической модели по критерию К2, в качестве которого выступает коэффициент детерминации линейной связи.

Таблица 3.25

Результаты экспертного оценивания 16 сгенерированных случайным образом экспериментальных точек I процесса

Номер

точки

Значение фактора (Ф,)

Полезность U1 (эксперимент)

Ф1

(J>2

ф3

ф4

Ф5

Ф6

ф7

ф8

Ф9

Фю

Фп

Точка 7

0,465

0,000

0,000

0,000

0,000

0,66

1,000

0,437

0,000

0,226

0,000

1,0000

Точка 11

1,000

0,000

1,000

0,598

0,000

0,000

0,110

0,437

0,000

0,423

0,000

0,9260

Точка 4

0,757

0,000

0,000

0,000

0,000

0,660

0,670

0,378

0,000

0,423

0,522

0,8335

Точка 8

0,465

0,732

1,000

0,598

1,000

0,000

1,000

0,798

0,757

0,423

0,708

0,7595

Точка 5

0,757

0,732

0,000

1,000

0,000

0,351

0,374

0,798

0,293

1,000

0,374

0,7415

Точка 9

0,757

0,732

0,000

0,000

0,000

0,000

0,670

0,378

1,000

0,226

0,522

0,6855

Точка 10

1,000

0,732

0,000

1,000

0,000

0,660

1,000

0,437

0,757

1,000

1,000

0,6495

Точка 14

0,465

0,732

0,000

0,000

1,000

0,660

0,374

0,798

0,000

1,000

1,000

0,5370

Точка 3

0,465

0,000

1,000

1,000

1,000

1,000

0,670

0,798

0,757

0,423

0,000

0,4245

Точка 6

0,757

1,000

0,000

0,598

1,000

0,000

0,110

0,798

0,757

1,000

0,708

0,4070

Точка 13

0,757

0,000

1,000

1,000

0,000

0,660

0,110

0,798

0,757

1,000

1,000

0,3505

Точка 15

0,465

0,000

0,000

0,000

1,000

0,660

0,110

0,378

0,293

0,226

0,522

0,3325

Точка 16

0,465

1,000

1,000

0,000

1,000

0,660

1,000

0,378

0,000

0,226

0,000

0,2585

Точка 12

1,000

0,732

0,000

0,000

1,000

0,000

0,670

0,437

0,000

1,000

0,374

0,1665

Точка 1

0,757

0,000

0,000

0,598

1,000

0,351

0,670

0,798

0,000

0,226

0,000

0,0920

Точка 2

0,465

0,000

0,000

0,000

0,000

0,660

0,110

0,378

0,757

0,423

0,522

0,0000

3.2. Концепция создания ядра экспертной системы 145

Таблица 3.26

Результаты экспертного оценивания 16 сгенерированных случайным образом экспериментальных точек II процесса

Номер

точки

Значение фактора (Ф,)

Полезность If (эксперимент)

Oi

ф2

ф3

Ф4

Ф5

Ф6

Точка 12

0,571

0,75

1

1

0,757

0,742

1,000

Точка 2

0,571

0

1

1

1

0,742

0,982

Точка 1

0,571

1

1

0,598

1

0

0,963

Точка 10

0

1

0

0,598

0,757

0,742

0,885

Точка 5

0,571

0

1

1

1

0,522

0,866

Точка 6

0,571

1

1

0

1

0,522

0,829

Точка 4

0

0,75

0,598

1

0

0,522

0,750

Точка 3

1

1

0

0,598

1

0

0,510

Точка 16

0

1

0,598

0,598

0,757

0

0,449

Точка 7

1

0

1

0,598

1

1

0,389

Точка 14

0,571

0

0

0

0,171

0,742

0,333

Точка 8

1

0,75

1

1

1

0,742

0,255

Точка 9

1

0

0

0,598

0

1

0,195

Точка 13

0

0,75

0,598

0

0,171

1

0,116

Точка 15

0

0,75

0

0,598

1

0

0,097

Точка И

1

0

1

1

0

0,522

0,000

Таблица 3.27

Результаты экспертного оценивания 24 экспериментальных точек процесса верхнего уровня

Номер точки

Значение

полезности процесса (Ф,)

Полезность U' (эксперимент)

Процесс I

Процесс II

Процесс III

Точка 1

0,041

0,236

1

1

Точка 2

0,041

0,175

1

0,987

Точка 3

0,029

0,236

1

0,939

Точка 4

0,029

0,175

1

0,926

Точка 5

0,022

0,236

1

0,8515

Точка 6

0,041

0,123

1

0,839

Точка 7

0,022

0,175

1

0,7775

Точка 8

0,015

0,236

1

0,703

Окончание табл. 3.27

Номер точки

Значение полезности процесса (Ф,)

Полезность U1 (эксперимент)

Процесс I

Процесс II

Процесс III

Точка 9

0,029

0,123

1

0,6905

Точка 10

0,015

0,175

1

0,6420

Точка 11

0,009

0,236

1

0,5930

Точка 12

0,022

0,123

1

0,5450

Точка 13

0,009

0,175

1

0,4475

Точка 14

0,015

0,123

1

0,4350

Точка 15

0,009

0,123

1

0,3610

Точка 16

0

0,236

1

0,3480

Точка 17

0

0,175

1

0,3355

Точка 18

0,041

0

1

0,2125

Точка 19

0,029

0

1

0,1870

Точка 20

0

0,123

1

0,1740

Точка 21

0,022

0

1

0,0995

Точка 22

0,015

0

1

0,0870

Точка 23

0,009

0

1

0,0740

Точка 24

0

0

1

0

Теоретические и экспериментальные значения полезности исследуемых процессов стандартизации представлены в табл. 3.28, 3.29.

Таблица 3.28

Данные для проверки адекватности функции полезности по критерию К2 для I и II процессов стандартизации

I процесс

II процесс

Номер точки

Расчет

Эксперимент

Номер точки

Расчет

Эксперимент

Точка 7

1,000

1,000

Точка 12

1,000

1,000

Точка 11

0,906

0,926

Точка 2

0,885

0,982

Точка 4

0,766

0,834

Точка 1

0,858

0,963

Точка 8

0,614

0,760

Точка 10

0,895

0,885

Точка 5

0,403

0,742

Точка 5

0,768

0,866

Точка 9

0,531

0,686

Точка 6

0,522

0,829

Точка 10

0,684

0,650

Точка 4

0,485

0,750

Окончание табл. 3.28

I процесс

II процесс

Номер точки

Расчет

Эксперимент

Номер точки

Расчет

Эксперимент

Точка 14

0,262

0,537

Точка 3

0,463

0,510

Точка 3

0,140

0,425

Точка 16

0,340

0,449

Точка 6

0,234

0,407

Точка 7

0,286

0,389

Точка 13

0,148

0,351

Точка 14

0,255

0,333

Точка 15

0,110

0,333

Точка 8

0,278

0,255

Точка 16

0,215

0,259

Точка 9

0,260

0,195

Точка 12

0,168

0,167

Точка 13

0,225

0,116

Точка 1

0,028

0,092

Точка 15

0,209

0,097

Точка 2

0,000

0,000

Точка 11

0,000

0,000

Таблица 3.29

Данные для проверки адекватности функции полезности по критерию К2 для процесса стандартизации верхнего уровня

Номер точки

Расчет

Эксперимент

Номер точки

Расчет

Эксперимент

Точка 1

1,000

1,000

Точка 13

0,565

0,448

Точка 2

0,821

0,987

Точка 14

0,466

0,435

Точка 3

0,901

0,939

Точка 15

0,418

0,361

Точка 4

0,725

0,926

Точка 16

0,661

0,348

Точка 5

0,838

0,852

Точка 17

0,491

0,336

Точка 6

0,668

0,839

Точка 18

0,306

0,213

Точка 7

0,663

0,778

Точка 19

0,217

0,187

Точка 8

0,788

0,703

Точка 20

0,345

0,174

Точка 9

0,574

0,691

Точка 21

0,160

0,100

Точка 10

0,614

0,642

Точка 22

0,115

0,087

Точка 11

0,738

0,593

Точка 23

0,069

0,074

Точка 12

0,514

0,545

Точка 24

0,000

0,000

Наглядно адекватность полученных математических моделей для I, II процессов стандартизации, а также для модели верхнего уровня представлена на рис. 3.30, 3.31 и 3.32 соответственно.

Графическое представление анализа адекватности математической модели для I процесса

Рис. 3.30. Графическое представление анализа адекватности математической модели для I процесса

Графическое представление анализа адекватности математической модели для II процесса

Рис. 3.31. Графическое представление анализа адекватности математической модели для II процесса

Графическое представление анализа адекватности математической модели верхнего уровня

Рис. 3.32. Графическое представление анализа адекватности математической модели верхнего уровня

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >