Факторный анализ

Факторный анализ является [13, 20, 24, 26, 37, 38] естественным обобщением и развитием метода главных компонент. Если объект описывается с помощью п признаков (микроэлементов), то в результате действия метода получается математическая модель, зависящая от меньшего числа переменных. При этом предполагается, что на исходные измеряемые данные {Х_и Х₂, ..., Х_п} оказывает влияние небольшое число латентных (скрытых) признаков (факторов) {U_X9...₉U_m}₉ т<п. Цель факторного анализа заключается в выявлении этих скрытых характеристик (факторов) и оценивании их числа.

Главными целями факторного анализа являются:

• 1) сокращение числа переменных (редукция данных),
• 2) определение структуры взаимосвязей между переменными, т. е.

классификация переменных.

Поэтому факторный анализ используется или как метод сокращения данных или как метод классификации. Ниже описываются принципы факторного анализа и способы его применения для достижения этих двух целей.

Факторный анализ как метод редукции данных основан на использовании зависимости между переменными: вводится новая переменная на основе регрессии, то есть включающая в себя наиболее существенные черты исходных переменных, так что ее использование (замена нескольких старых коррелированных переменных одной новой) приводит к сокращению число переменных. При этом новый фактор (переменная) представляется линейной комбинацией исходных переменных. Принцип представления двух или более зависимых переменных одним фактором демонстрирует главную идею факторного анализа или, более точно, анализа главных компонент. После выделения первого фактора, то есть построения первой линии регрессии, для которой дисперсия максимальна, определяется следующая линия, максимизирующая остаточную вариацию (разброс данных вокруг первой прямой), то есть выделяется второй фактор, и т. д. Факторы выделяются один за другим так, чтобы максимизировать изменчивость, оставшуюся от предыдущих, то есть оказываются независимыми друг от друга. Другими словами, некоррелированными или ортогональными. Отметим, что в процессе последовательного выделения факторов они включают в себя все меньше и меньше изменчивости. Решение о том, когда следует

остановить процедуру выделения факторов, главным образом зависит от точки зрения на то, что считать малой «случайной» изменчивостью. Это решение достаточно произвольно, однако имеются некоторые общие рекомендации, позволяющие рационально выбрать число факторов: критерий накопленной или кумулятивной дисперсии, критерий Кайзера, критерий каменистой осыпи, содержательная интерпретация полученного решения. Поэтому обычно исследуется несколько решений с большим или меньшим числом факторов (факторных моделей), и затем выбирается одно наиболее «осмысленное».

Факторный анализ как метод классификации основан на оценках корреляций (факторных нагрузок) между исходными переменными и факторами (или «новыми» переменными) в рамках выбранной факторной модели и позволяет узнать значимость факторов, то есть можно ли интерпретировать их разумным образом и как это сделать. Факторные нагрузки можно изобразить в виде диаграммы рассеяния, на которой каждая исходная переменная представлена точкой в координатах «факторные нагрузки». Можно повернуть оси в любом направлении без изменения относительного положения точек; однако действительные координаты точек, то есть факторные нагрузки, должны, без сомнения, меняться. Одним из типичных методов вращения является еаримакс, описанный выше. Целью вращения является получение понятной (интерпретируемой) матрицы нагрузок, то есть факторов, которые ясно отмечены высокими нагрузками для некоторых переменных и низкими - для других, что и позволяет провести классификацию переменных.

Дополнительным способом проверки числа выделенных факторов является вычисление воспроизведенной корреляционной матрицы, которая близка исходной, если факторы выделены правильно. Как следствие, можно вычислить разность между ними. Полученная матрица называется матрицей остаточных корреляций. Остаточная матрица может указать на «несогласие», то есть на то, что рассматриваемые коэффициенты корреляции не могут быть получены с достаточной точностью на основе имеющихся факторов.

Факторный анализ, как раздел многомерного статистического анализа, объединяет математико-статистические методы решения задач, связанных с построением линейной модели:

где Х= {Х, Х_ъ ..., Х_пУ - исходная наблюдаемая л-мерная случайная величина с нулевыми математическими ожиданиями ЩХ] = 0 и корреляционной матрицей С, =М[ХХ ^т]; А = (а^) - неизвестная (ихт)-матрица нагрузок общих факторов на наблюдаемые величины; 11= ?/_m }^т ненаблюдаемая многомерная случайная величина общих факторов с нулевыми математическими ожиданиями M[U = 0 и единичной корреляционной матрицей ЩШ/^Т] = Е; s={s_b е₂, •••, 8„}^т- «-мерная случайная величина ошибок с М[е] = 0, M[eU^T] = 0 и неизвестной диагональной ковариационной (Z)[s/] = ст?) матрицей ¹Р=М[88^Т].

Из модели факторного анализа следует фундаментальное соотношение факторной структуры:

Таким образом, M[XU^J] - матрица коэффициентов корреляций между X_t и Uj равна матрице нагрузок общих факторов А = (ау).

Из модели факторного анализа также следует, что

то есть, корреляции Су между исходными случайными величинами связаны с факторными нагрузками ау и дисперсиями ошибок а] с помощью соотношений:

m

где h² = ^_ja²l называется общностью исходной случайной величины X_t

1=1

и определяется суммой квадратов факторных нагрузок, то есть вкладом всех m общих факторов в дисперсию величины X_t. В результате можно сформулировать так называемую фундаментальную теорему факторного анализа:

где C_h называется редуцированной корреляционной матрицей, отличающейся от С тем, что на ее главной диагонали стоят не единицы, а общности hf.

Факторный анализ в современном математическом обеспечении представлен разными методами (главных факторов, центроидным, максимального правдоподобия, минимальных остатков), дающими сопоставимые результаты.

Проведем дальнейшее рассмотрение в рамках метода главных факторов, под которым понимают приложение метода главных компонент к редуцированной корреляционной матрице C_h в случае линейной модели:

гдеХ= {Xi, Х₂, ..Х_пУ с М[Х = 0 и корреляционной матрицей C_h. Представим матрицу нагрузок общих факторов в виде

где OL/c⁼ {аь а₂ка_пк}^т - к-ый столбец матрицы факторных нагрузок А. С другой стороны,

где Р*⁼ {я*ь - А;-ая строка матрицы А. Тогда линейную модель (1.35') можно представить в виде:

Согласно методу главных компонент, общий фактор U_k должен вносить максимальный вклад в суммарную общность:

при условии (1.36'), выраженном через р_А:

где Су = Cjt и Сц = hf.

Данная задача условного экстремума решается с помощью метода неопределенных множителей Лагранжа:

где Цу = рц - множители Лагранжа.

Находя частные производные от функции Лагранжа по компонентам вектора оц^т и приравнивая их нулю, получаем систему п линейных однородных алгебраических уравнений, которую с учетом обозначения

после ряда алгебраических преобразований удается представить независимо от А; в матричной форме:

Последнее равенство определяет задачу на собственные значения (числа) Х_к и собственные векторы а_к редуцированной корреляционной матрицы Сн.

Условие нетривиальное™ решения задачи на собственные векторы (вырожденное™ соответствующей матрицы)

приводит к алгебраическому уравнению п-то порядка относительно собственного значения. Таким образом, получаем п упорядоченных собственных чисел Х_] > Х₂ >... > Х_к >... > Х_п. При этом каждому собственному значению (числу) Х_к (к = 1,п) соответствует собственный вектор а*- к-ът столбец матрицы факторных нагрузок А, соответствующий фактору U_k, то есть столбец коэффициентов при факторе U_k в (1.35'). С учетом упорядоченности собственных чисел и нормировки соответствующих собственных векторов (а_к^та_к= Х_к) удается ранжировать факторы по их вкладу в суммарную общность.

На основе наблюдаемой величины X и рассчитанной матрицы нагрузок общих факторов А возможно получить оценки общих факторов U. Например, в рамках метода главных компонент ([т = п) матрицы А будет квадратной и разрешение матричного уравнения (1.35') относительно U не вызывает затруднений, если ранг А равен п, то есть существует А~^] - обратная к А матрица:

В рамках метода главных факторов (т<п) прямоугольная матрица А не имеет обратной, и процедура оценки Uусложняется:

где матрица А¹ А уже является квадратной порядка т.

По полученным оценкам U можно судить о каждом объекте наблюдения по т общим факторам.

Для проверки значимости построенной модели факторного анализа можно воспользоваться критерием Бартлетта по проверке нулевой гипотезы Но о том, что т общих факторов достаточно для объяснения выборочных коэффициентов корреляции. Наблюденное статистическое значение критерия вычисляют по формуле

где N- число наблюдений (объектов исследования),

| АА^Т | - определитель воспроизведенной моделью матрицы корреляций, С - определитель исходной корреляционной матрицы.

При заданном уровне значимости а Н₀ отвергают, если %²Н > xl_P > где Хк_Р определяется с помощью калькулятора распределения вероятно( yi — YYl — fl — ffl

сти (см. рис. 1.11) по закону x² c v= --^- степенями свободы

так, чтобы Р(Хн > Хк_Р)^{= а} • Это значит, что т общих факторов недостаточно и следует выделить хотя бы т+ фактор. После этого процедура проверки повторяется.

Далее на основе результатов факторного анализа, можно провести, например, классификацию объектов наблюдений по общим факторам, число которых значительно меньше числа исходных показателей.