Алгоритм оценивания результатов тестового контроля знаний

Рассмотрим алгоритм проведения тестирования поэтапно.

Из совокупности вопросов по изучаемой теме случайным образом создается выборка из нужного количества элементов теста. Каждый участник тестируется на этой выборке, что является условием возможности дальнейшей оценки параметров как заданий теста, так и уровня квалификационных требований. Матрица вопросов В[Г, где 1 < i < к, к -количество испытуемых, имеет структуру вектора, так как один и тот же набор вопросов предоставляется каждому из участников тестирования.

Тестирование проводится в стандартной форме, каждый ответ оценивается по дихотомной шкале (0-неверно, 1-верно), такие оценки являются величинами случайными.

Каждому участнику предлагается один и тот же вариант теста, состоящий из к заданий различной трудности dp, j = ,2,..,k. Результат выполнения каждого здания оценивается по дихотомному принципу: ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно.

По отчету о результатах тестирования составляется матрица ответов. В общем случае матрица ответов имеет выраженную вертикальную структуру (количество вопросов - количество столбцов меньше чем количество испытуемых - количество строк)

Множество всех таких единиц и нулей образует прямоугольную таблицу - матрицу размерностью п,к. Мы обозначим эту матрицу буквой А = (а~) и

назовем матрицей ответов. Она имеет п строк и к столбцов. Ее элемент atj, стоящий на пересечении / —ой строки и j — го столбца, выражает возможный результат выполнения i -м участником j—го задания. Элементы atj являются величинами случайными: они принимают значение 1 с вероятностью Pij =(©/,^/), и значение 0 с вероятностью qtj = -ptj. 0Г уровень подготовленности.

Для обработки результатов тестирования можно многократно сократить объем, обрабатываемой информации. Для сокращения вычислений возможно применить редукцию матрицы ответов с использованием достаточных статистик. Достаточными статистиками в модели Раша являются частичные суммы по строкам и по столбцам, что эквивалентно первичным баллам участников тестирования.

Для матрицы ответов А = (а~) вычисляются первичные баллы - суммы по столбцам и строкам.

У) с

где ' - первичный балл участника тестирования, } - первичный балл задания.

На основе статистических данных происходит оценивание латентных параметров по методу наибольшего правдоподобия.

В основной логистической модели Раша вероятность верного выполнения i—м участником j—го задания моделируется функцией успеха вида

Система уравнений правдоподобия для оценки латентных параметров имеет вид:

При этом вероятности, соответствующие экстремальным баллам b = 0 и Ь = к следует откорректировать для исключения нахождения логарифма для 0 и

оо .

где А - малая положительная константа, например, А = 1/150

Воспользуемся стандартным итерационным методом касательных для решения уравнений правдоподобия.

Итерационная процедура метода касательных имеет следующий вид:

где v - номер последовательного приближения.

Итерационная формула (3.2.6) применительно к (3.2.4) выглядит следующим образом:

где /7-номер группы участников, набравших одинаковый первичный балл, пь- количество участников такой группы.

Рекомендуемая последовательность действий такова [24,25,28].

1. Полагаем v = 0 и вычисляем начальные приближения 0j,O) для каждого

b по формуле ЦЬ) = Pj^b

Затем находим среднее значение

и центрируем оценки 0j,O) то есть вычисляем уклонения ©5,0) - 0(О) = 0^О).

2. Полагаем ц = 0 и вычисляем начальные приближения для каждого ]

3. Вычисляем очередные приближения d{f+l) по формуле (3.2.8), где до тех пор, пока не будет выполнено неравенство

Здесь &ь - имеющиеся к данному моменту центрированные оценки уровня подготовленности участников тестирования; 8 - малая положительная константа, в

7

РСТ = -

несколько раз меньшая разрешающей способности теста ^

4. Вычисляем очередные приближения по формуле (3.2.7), где

до тех пор, пока не будет выполнено неравенство

Здесь ^ - имеющиеся к данному моменту оценки уровня трудности заданий.

5. Находим среднее значение

и центрируем оценки 0^, то есть вычисляем уклонения 0^v) - 0(v) = 0

Вычисляем среднее квадратическое отклонение оценок очередного приближения от аналогичных оценок предыдущей итерации

Если <у> 813, то переходим к пункту 3. В противном случае вычисления заканчиваем.

Полученные оценки качества обучения индивидуальных обучаемых сравниваются с уровнем, заданным при формулировании целей обучения Z*.

Структура информационного процесса определения латентных параметров уровня трудности тестовых заданий и уровня подготовленности индивидуального обучаемого представлена на рисунке 3.2.1. Данный алгоритм является детализацией этапа вычисления значения функции качества обучения индивидуального обучаемого Qn, алгоритма представленного в пункте 3.1.1. Таким образом алгоритм обучения с определением уровня подготовленности обучаемого с учетом его индивидуальных особенностей на основе статистического анализа результатов тестирования представляется в виде композиции информационных процессов, представленных на рисунках 3.1.1.2 и 3.2.1.

Структура алгоритма определения уровня подготовленности Qиндивидуального обучаемого по статистическим данным результатов тестирования

Рис. 3.2.1. Структура алгоритма определения уровня подготовленности Qn индивидуального обучаемого по статистическим данным результатов тестирования

Рассмотрим процесс статистического анализа результатов промежуточного тестирования индивидуальных обучаемых.

В обучении приняли участие 212 индивидуальных обучаемых. Каждый вариант теста состоял из к = 20 заданий. Рассмотрим процесс оценивания трудности заданий и подготовленности 0. участников тестирования, выполнивших некоторый вариант теста (количество испытуемых п = 212 человек).

85

Обработка результатов тестирования начинается с составления матрицы ответов А = ц.)размером 212 х 20, вычисления первичных баллов участников at =bt и сортировки строк матрицы Л в порядке убывания (или возрастания) первичных баллов. Тем самым все участники разбиваются на 21 группу в зависимости от первичного балла Ь(. Количественный состав групп указан в таблице 3.1.

Таблица 3.1.

Количественный состав групп с заданными первичными баллами

ь

20

19

18

17

16

15

14

13

12

11

10

пь

2

6

4

6

7

7

8

10

12

12

13

b

9

8

7

6

5

4

3

2

1

0

всего

пь

13

16

19

22

18

18

11

7

3

0

212

Результаты вычисления по формулам 3.2.7 и 3.2.8 из алгоритма параграфа

  • 7
  • 3.2 с коррекцией экстремальных баллов А = 1/150 и выбором s = - приведены в

к

таблице 3.2.

Полагая далее 0 = 0 (начало отсчета на шкале обученности), получаем следующие оценки латентных параметров 0^ и Sj (см. таблицу 3.2).

Оценки латентных параметров, получаемые с помощью алгоритма метода наибольшего правдоподобия, являются состоятельными и эффективными.

Оценки латентных параметров

Таблица 3.2

b

20

19

18

17

16

15

14

13

12

11

10

5,27

3,96

3,13

2,46

2,21

1,63

1,32

1,05

0,76

0,50

0,26

j

1

2

3

4

5

6

7

8

9

10

11

1

0,11

-0,91

-0,86

1,58

0,50

-0,47

-1,32

-0,03

0,57

0,94

-0,26

Оценки латентных параметров (продолжение)

ъ

9

8

7

6

5

4

3

2

1

0

0,04

-0,22

-0,45

-0,68

-0,93

-1,24

-1,65

-2,26

-3,24

-4,74

j

12

13

14

15

16

17

18

19

20

ср.

0,17

0,58

0,13

1,53

0,87

1,44

0,76

-0,27

-1,24

0,19

Для лучшей интерпретации отрицательных оценок уровня подготовленности, возможно, применить линейное преобразование, сдвинув оценки на константу равную минимальной из них. Результат линейного преобразования представлен в таблице 3.3

Оценки латентных параметров уровня подготовленности индивидуального обучаемого

Таблица 3.3

Ъ

20

19

18

17

16

15

14

13

12

11

10

10,01

8,7

7,87

7,2

6,95

6,37

6,06

5,79

5,5

5,24

5

ъ

9

8

7

6

5

4

3

2

1

0

4,78

4,52

4,29

4,06

3,81

3,5

3,09

2,48

1,5

0

В таблице 3.4 приведены результаты итогового тестирования индивидуальных обучаемых, которые обучались с использованием разработанного в рамках диссертационного исследования программного комплекса.

Таблица 3.4

Количественный состав групп с заданными первичными баллами

ъ

20

19

18

17

16

15

14

13

12

11

10

пь

11

18

11

15

21

26

28

18

16

16

13

b

9

8

7

6

5

4

3

2

1

0

всего

пь

5

6

5

2

3

3

0

0

0

0

212

Таблица 3.5 отражает результаты итогового тестирования индивидуальных обучаемых, которые изучали курс в традиционной урочной форме.

Таблица 3.5

Количественный состав групп с заданными первичными баллами

ъ

20

19

18

17

16

15

14

13

12

11

10

пь

6

9

10

13

17

20

23

15

16

13

12

b

9

8

7

6

5

4

3

2

1

0

всего

пь

13

12

10

10

3

3

5

2

0

0

212

Для проведения сравнительного анализа результатов обучения оценивание латентных параметров уровня подготовленности и трудности заданий проводились по одной методике. Одинаковые системы оценивания обеспечивают объективное сравнение количественных показателей результатов автоматизированного обучения, реализованного в соответствии с разработанным в параграфе 3.1 информационным процессом и обучения в традиционной форме.

Таблицы 3.6 и 3.7 содержат нормированные оценки уровня подготовленности для исходных данных тестирования с использованием программного комплекса и традиционной формы обучения соответственно.

Оценки латентных параметров уровня подготовленности индивидуального обучаемого

Таблица 3.6

b

20

19

18

17

16

15

14

13

12

11

10

10,03

9,65

7,87

7,6

6,99

6,2

6,03

5,6

5,4

5,27

5,1

ь

9

8

7

6

5

4

3

2

1

0

4,8

4,45

4,39

4,09

3,89

3,57

2,5

2

1,01

0

Оценки латентных параметров уровня подготовленности индивидуального обучаемого

ъ

20

19

18

17

16

15

14

13

12

11

10

9,9

8,97

8,9

7

6,97

6,37

6,06

5,6

5,5

5,24

5

ь

9

8

7

6

5

4

3

2

1

0

®ь

4,8

4,42

4,19

4,06

3,8

3,35

3,09

2,48

и

0

За количественный показатель эффективности обучения возьмем среднее значение уровня подготовки индивидуального обучаемого. Таким образом по- ?

казатель К = —1 характеризует превосходство эффективности того или иного К2

подхода. Здесь Kj - среднее значение уровня подготовки индивидуального обучаемого в экспериментальной методике обучения, К2 - среднее значение уровня подготовки индивидуального обучаемого в традиционной методике обучения.

В результате вычислений получили:

20 20

Кх =Yj®b =6,458491 логит, K2=^®h =5,874151 логит.

Ь=1 Ь=1

К _ 6Д58491 _ j 099476

5,874151

Из расчетов можно сделать вывод, что обучение с использованием разработанных информационных процессов повысило качество обучения в 1,099476, по сравнению с традиционной формой урочных занятий.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >