Корреляционно-регрессионный анализ

Для многих явлений в природе типичны случайные зависимости. Случайные величины находятся в корреляционной зависимости, если каждому значению одной из них соответствует некоторое распределение другой, что математически отражается в уравнении регрессии одной случайной величины на другую.

По результатам эксперимента сначала оформляется таблица наблюдений системы дискретных случайных величин {X, Y) - матрица распределения - прямоугольная таблица, в которой записаны наблюдаемые значений дляX:{x_h х₂, ..., х_к}, для Y:{y_h у₂, ..., у_т} и соответствующая каждой паре {x_if yj } вероятность p_t j = ?{X=x_i9 Y=yj }, удовлетворяющая условию 2^ Pij ⁼ 1 • При этом система двух случайных * j

величин (X, Y) характеризуется набором начальных и центральных моментов (см. п. 1.1.5).

В общем случае Y и X связаны вероятностной зависимостью, справедливой лишь в среднем, так как при фиксированном значении Х=х зависимая переменная Y имеет случайный разброс (столбец значений) из-за ошибок измерения, влияние неучтенных факторов или других причин. Таким образом, фиксированному значению X=x_t соответствует усредненное значение Y_x_ =M|T/(X=x_z)] - условное математическое

ожидание, вычисляемое по формуле

В итоге исходная таблица {x_if yj} эквивалентна таблице {x_it y_t}.

Условное математическое ожидание Y_x =M[Y/(X=x) называется

регрессией Y на X, график зависимости Y_x(x) называется линией регрессии. Аналогично определяется регрессия X на Y.

Таблица 1.11

Регрессионная матрица распределения двумерной случайной величины

Рассмотрим модель линейной по параметрам регрессии Y на X, находящей линейную комбинацию Y_x(x)= f(x) = ^P_Jf_j(x) базисных

м

функций f ., которая лучше всего в смысле метода наименьших квадратов аппроксимирует массив {х., у_г}. В этом случае результаты наблюдений представляются в виде

где 8/ - случайные некоррелированные ошибки наблюдений в предположении, что M[Si] = 0, D[e.] = M[г]] = а]. Таким образом, при выбранных базисных функциях f. оценки р. коэффициентов р. определяются из условия

Качество аппроксимации результатов наблюдений регрессивной

~ 2 8 ,

моделью определяется остаточной дисперсией s =- (ир - число

к -

оцениваемых параметров р.), которую можно использовать для сравнительного анализа нескольких регрессивных моделей.

Рассмотрим простую линейную регрессию, которая считается вы-

2

полненной /(х) = = Pj + Р₂х, если найдем оценки коэффициен-

j=1

тов р, и р₂ из условия минимизации выражения -р, -р ₁x_ifp_i:

В этом случае Р, и Р₂ можно выразить через точечные оценки числовых характеристик системы дискретных случайных величин:

к

где х = ^x_ip_i - оценка т_х по массиву {x_f},

i=1 т

у = ^Гу .р. - оценка т_у по массиву { у_к },

м

о²х = ?(*, - x)¹p_i — D_x- оценка D_x по массиву { x_t},

i

К ⁼ ~ yfPj ⁼ А “оценка D_yпо массиву {у_к },

j

А ⁼ YM,-*)lyj-y)P₉ ~ оценка ковариации по у_к},

i,j

у ₌ - выборочный коэффициент корреляции Пирсона, значение

которого по модулю равно единице в случае линейной зависимости Y иХ. Таким образом, | | характеризует степень тесноты линейной зависимости между Y и X, проявляющейся в том, что при возрастании одной случайной величины другая проявляет тенденцию также возрастать (в этом случае 0) или убывать (в таком случае г_ху< 0). В первом

случае говорят, что Y и X связаны положительной корреляцией, а во втором корреляция отрицательна. При этом зависимость тем ближе к линейному закону, чем | | ближе к единице слева. Если = 0, то это

означает только отсутствие линейной связи между Y и X, любой другой вид связи может при этом присутствовать.

Рассмотрим гипотезу о значимости выборочного коэффициента корреляции.

Пусть дана нормально распределенная система дискретных случайных величин (X, Y) - совокупность к пар наблюдаемых значений {**>»?}, характеризуемая, в частности, выборочным коэффициентом корреляции г Пирсона (см. и. 1.1.5), который оказался отличным от ноля. При этом возникает необходимость при заданном уровне значимости проверить нулевую гипотезу Н₀: г—О при альтернативной Н г ^ О (двусторонняя критическая область). Если нулевая гипотеза отвергается, то выборочный коэффициент корреляции значимо отличается от ноля, а X и Y коррелированны. В качестве критерия проверки нулевой гипотезы Н₀: г= 0 принимается случайная величина

а критическое значение Т_кр = Да, к) находится с помощью калькулятора распределения (1.13) вероятности Стьюдента (см. рис. 1.1) по заданному уровню значимости а и числу степеней свободы к = п- 2.

Гипотеза Н₀: г = 0 отвергается, т. е. выборочный коэффициент корреляции значимо отличается от ноля или иными словами X и Y коррелированны, если |Гя | > Г_кр .

Если выборки малы или распределения существенно отличаются от нормального закона, то для проверки гипотезы о наличии корреляционной связи можно использовать непараметрический аналог коэффициента корреляции г Пирсона - ранговый коэффициент корреляции R Спирмена, вычисляемый аналогично г заменой наблюдаемых значений случайных величин их рангами (порядковыми номерами наблюдаемых значений в объединенной выборке, записанной в порядке возрастания). Значимость коэффициента корреляции R Спирмена проверяется аналогично значимости коэффициента корреляции г Пирсона.

Аналогично рассматривается регрессия Дх) = pi + Р2Х + рз*², которая лучше всего аппроксимирует массив {x_i, у.} в смысле метода наименьших квадратов, то есть определяющая коэффициенты р. из условия e=ZH,-/(*,)]² Д = min, где у. вычисляются по формуле (1.33).

/

Таким образом, наряду с прямой линейной регрессии строятся кривые полиномиальных регрессий, построенных методом наименьших квадратов и аппроксимированных полиномами порядка М:

Оценка значимости регрессии (качество уравнения регрессии) проверяется с помощью F-критерия [6, 33]

имеющего F-pacпределение (1.14) со степенями свободы М и к - М - 1. Если уравнение регрессии служит для прогнозирования, то для повышения надежности рекомендуется добиться путем подбора соответствующего уравнения регрессии выполнения соотношения

Степень адекватности регрессионной модели можно оценить, например, скорректированным коэффициентом детерминации

лежащим в пределах от 0 до 1. Он измеряет качество построенной регрессии: чем ближе коэффициент детерминации к 1, тем лучше регрессия «объясняет» зависимость в данных.