Полная версия

Главная arrow Статистика arrow Многомерный статистический анализ эколого-геохимических измерений. Ч.1. Математические основы

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>

Метод канонических корреляций

Метод канонических корреляций [2, 8, 11] предназначен для анализа корреляционных зависимостей между группами случайных величин двух множеств-векторов и Х2, ..., Хп) и (7Ь У2, •••> 7т}. В теории канонических корреляций также принята нумерация Yj =Xn+j и разделение объединенного множества {Хь Х2, ..., Хп, Хп+, Хп+2, ..., Хп+т} на левое иХ2, и правое п+иХп+2, ...,Хпсовпадающее с Ym}.

Таким образом, метод канонических корреляций обобщает парный корреляционный анализ двух случайных величин и позволяет исследовать зависимость между двумя множествами случайных величин.

По матрице корреляций исходных переменных данный метод ка-

ионических корреляций подсчитывает собственные значения (числа) лк (к = ,К) и соответствующие собственные векторы А*={а&, i = l,n} иВ*={Ь^, у = 1,/и}. Эти собственные значения равны доле дисперсии, объясняемой корреляцией между соответствующими каноническими

п т _

переменными Uk='^akiXi и Vk = ^bkjYj, k = ,K, представленны-

i=1 J=l

ми взвешенными суммами по двум исходным множествам переменных {Xj,X2, ...,Хп) и {Yj, Y2, ...у Ym}. При проведении анализа вычисляется столько собственных значений, сколько переменных имеется в наименьшем множестве (K = min{n, m}).

Последовательно вычисляемые собственные значения будут все меньшего и меньшего размера. На первом шаге метод вычисляет собственное значение, максимизирующее корреляцию между первой парой взвешенных сумм по двум множествам U и V. Далее, на каждом шаге,

метод находит следующую пару канонических переменных, имеющих максимальную корреляцию, и не коррелирующих с предыдущими парами.

Если извлечь квадратный корень из полученных собственных значений, получим набор чисел Хк (канонических корней), который можно проинтерпретировать как коэффициенты корреляции Хк = Rk между последовательными парами канонических переменных Uk и Vk. Поэтому их также называют каноническими корреляциями. Как и собственные значения, корреляции между последовательно выделяемыми на каждом шаге каноническими переменными убывают. Коррелированность между множествами переменных характеризуется прежде всего первым (максимальным) собственным значением, определяющим наиболее значимо коррелированную первую пару канонических переменных. Однако другие канонические переменные также могут быть значимо коррелирова- ны, и эти корреляции часто допускают достаточно осмысленную интерпретацию. Критерий значимости канонических корреляций сравнительно несложен. Только те корни, которые оказались статистически значимыми, оставляются для последующего анализа. Хотя на самом деле вычисления происходят немного иначе. Метод сначала оценивает значимость всего набора корней, затем значимость набора, остающегося после удаления первого корня, второго корня, и т. д.

Исследования показали, что используемый критерий значимости канонических корреляций обнаруживает большие (близкие к 1) значимые канонические корреляции даже при небольшом размере выборки (например, я = 50). Наоборот, слабые значимые канонические корреляции (например, R = 0,3) требуют больших размеров выборки (п > 200). Отметим, что слабые значимые канонические корреляции обычно не представляют практической ценности, поскольку им соответствует небольшая реальная изменчивость исходных данных. После определения числа значимых канонических корней возникает вопрос об интерпретации каждого (значимого) корня. Напомним, что каждому корню Хк

(к = 1,К) в действительности соответствует две взвешенные суммы

п т

Uk = ^akiXt и Vk = ^JbkjYj, по одной на каждое множество переменных.

i=1 7=1

Одним из способов толкования «смысла» каждого канонического корня является рассмотрение весов {akh i = l,n} и {bkJ, j = ,m}, сопоставленных каждому множеству переменных. Эти веса также называются каноническими весами.

По аналогии с множественной регрессией можно применить для канонических весов интерпретацию, использованную для бета-весов в

уравнении множественной регрессии. Рассмотрение канонических весов позволяют понять «значение» каждого канонического корня, т. е. увидеть, как конкретные переменные в каждом множестве влияют на взвешенную сумму (т. е. каноническую переменную).

Канонические веса также могут использоваться для вычисления значений канонических переменных. Для этого достаточно сложить исходные стандартизированные переменные с соответствующими весовыми коэффициентами.

При анализе обычно пользуются тем, что чем больше приписанный вес (т. е., абсолютное значение веса), тем больше вклад соответствующей переменной в значение канонической переменной.

Еще одним способом интерпретации канонических корней является рассмотрение обычных корреляций между каноническими переменными (или факторами) и переменными из каждого множества Кш и Ryy. Эти корреляции также называются каноническими нагрузками факторов. Считается, что переменные, сильно коррелированные с канонической переменной, имеют с ней много общего. Поэтому при описании смысла канонической переменной следует исходить в основном из реального смысла этих сильно коррелированных переменных. Можно заметить, что если канонические веса соответствуют уникальному (частному) вкладу, вносимому соответствующей переменной во взвешенную сумму (каноническую переменную), то нагрузки канонических факторов отражают полную корреляцию между соответствующей переменной и взвешенной суммой.

В данном методе подсчитываются также суммарные характеристики канонических корней: извлеченную дисперсию и избыточность. Коэффициенты канонической корреляции Rk соответствуют корреляции между взвешенными суммами по двум множествам переменных. Они не говорят ничего о том, какую часть изменчивости (дисперсии) каждый канонический корень объясняет в переменных. Однако вы можете сделать заключение о доле объясняемой дисперсии, рассматривая нагрузки канонических факторов Rjjx и Ryy. Напомним, что они представляют собой корреляции между каноническими и исходными переменными в соответствующем множестве. Если вы возведете эти корреляции в квадрат, полученные числа будут отражать долю дисперсии, объясняемую каждой переменной. Для каждого корня Хк вы можете вычислить среднее

значение этих долей: — V R^ х ~ для левого множества и — V R* Y - для п 5 * ' ш~( к j

правого множества. При этом получится средняя доля изменчивости,

объясненной в этом множестве, на основании соответствующей канонической переменной. Другими словами, вы можете вычислить среднюю долю дисперсии, извлеченной каждым корнем. Каноническая корреляция при возведении в квадрат Rk дает долю дисперсии, общей для сумм по каждому множеству. Если вы умножите эту долю R2k на среднюю долю дисперсии, извлеченной каждым корнем, вы получите по

1 ”

каждому корню меру избыточности переменных R2 •—R2 у для лево-

п Й * 1

j т

го множества и R2k •—'SRyY Для левого множества, т. е. величину, по-

т j^ kj

казывающую, насколько избыточно одно множество переменных, если задано другое множество. Отметим, что вы можете вычислить избыточность первого (левого) множества переменных при заданном втором (правом) множестве и избыточность второго (правого) множества переменных при заданном первом (левом) множестве. Поскольку последовательно извлекаемые канонические корни не коррелированы между собой, то вы можете просто просуммировать построенные для каждого корня характеристики (извлеченную дисперсию и избыточности) по всем корням, получив при этом общий коэффициент (в %) извлеченной

j К п j К т

дисперсии — yyRl х Для левого множества и —для право-

Пыы *' rntf^ kJ

I К n

го множества, а также избыточности для левого множе-

п к=1 /=1

| К т

ства и —V V у R2k для правого множества.

mttTt kJ

Метод канонических корреляций является обобщением регрессионного анализа на случай нескольких откликов (зависимых переменных). Он предназначен для статистического анализа связей между массовыми явлениями и процессами. Цель применения метода заключается в нахождении максимальных корреляционных связей между группами двух исходных множеств переменных: х{,...,хп и у{,...,ут, т<п. В случае линейной зависимости между какими-либо элементами двух групп корреляция достигает максимального значения, равного единице. Поэтому канонический анализ позволяет оценить степень тесноты различных внутригрупповых корреляционных связей, найти максимальные корреляционные связи между группами двух множеств, а так же определить количество малозначительных групп, имеющих между собой наименьшую корреляцию. В связи с малой информативностью последние можно исключить из дальнейшего анализа и тем самым сократить объем данных.

Оформим математические основы метода канонических корреляций. Пусть имеются исходные многомерные случайные величины иХ2, ...,Х„}=ХТ и {7Ь Y2, ..., Ym} = YJ (X и Y - транспонированные матрицы-строки, то есть матрицы-столбцы) с нулевыми математическими ожиданиями и объединенной ковариационной матрицей С, на основе которых строятся так называемые канонические случайные величины U и V с нулевыми математическими ожиданиями и единичными

п

дисперсиями в виде линейных комбинаций: U = '^aiXi ТЛ

i=i

тп

и V = ^bjYj = YTA, где Ат=ь а2, ап} и Вт= {Ь, Ь2, ..., bm} являются

j=1

неизвестными параметрами. Величины U и V принято называть каноническими переменными.

Для нахождения канонических переменных составляется блочная выборочная матрица ковариаций вида:

где Cj j - выборочная внутригрупповая матрица ковариаций переменных Xl9...,Xn; С22 - выборочная внутригрупповая матрица ковариаций показателей Yv...,Ym; С1221 = С12) - выборочная межгрупповая матрица ковариаций переменныхХ],...,Хп и Yx,...,Ym. На практике достаточно объединить данные в одно множество { Xx,...,Xn,Yx,...,Ym} и построить матрицу С. Затем, учитывая размерности Сп и С22, выделить соответствующие готовые блоки.

Задача метода заключается в нахождении таких пар U и V, что

По условию задачи, канонические переменные U и V должны обладать максимальной корреляцией. Данная задача условного экстремума решается с помощью метода неопределенных множителей Лагранжа.

Для того чтобы Ат С12 В достигало максимума, необходимо определить АиВиз условия экстремума соответствующей функции Лагранжа:

где Х,х - неизвестные коэффициенты Лагранжа.

Находя частные производные от функции Лагранжа по компонентам векторов Ат и Вт и приравнивая их нулю, получаем систему, поиск нетривиального решения которой приводит к соотношению

и постановке задачи на собственные значения и собственные векторы:

Таким образом, задача определения максимальной корреляции между каноническими переменными сведена к задаче определения собственных значений матриц СХХС12С^С21 и С^С21С^С12 и их собственных векторов. Условие нетривиальное™ решения задачи на собственные векторы (вырожденность соответствующей матрицы) приводит к алгебраическому уравнению относительно собственного значения Я2. Учитывая размерность матриц, получаем К (K = min{n, m}) собственных чисел Xf > Х >... > Х >... > Х2К. При этом каждому собственному значению (числу) Х(к = 9К) соответствуют собственные векторы Ak= {ай, i = l,n} и Вк= {bkj, j = l,m}9 которые образуют соответствую-

п m

щие пары канонических переменных Uk = иХ.и Vk=^b^Yj9 пред-

»=1 J=1

ставленных взвешенными суммами по двум исходным множествам переменных иХ2, ...,хп} и {Yu Y2, ..., Ym}.

Корни из собственных чисел Л* равны корреляции между соответствующими каноническими переменными Uk и Vk. С учетом упорядоченности собственных чисел, первая каноническая корреляция к достигает максимальное значение между соответствующими каноническими пере-

п m

менными U} и Vx = ^J>XjYj. Вторая и последующие канониче-

i=1 J=1

ские корреляции определяются соответствующими линейными комбинациями, не коррелированными с предыдущими линейными комбинациями и имеющими следующий по величине коэффициент канонические корреляции, объясняющий оставшуюся межгрупповую корреляцию.

Для проверки значимости найденных канонических переменных (то есть, отличия от нуля канонических корреляций) используется %2 -

критерий. Если предположить, что кк (кк = О,К -1) первых канонических корреляций не равны нулю, то статистика критерия для проверки гипотезы о том, что остальные равны нулю, имеет вид:

где N - число измерений по каждой переменной объединенного множе- ства {Xv...,Xn,Yv...,Ym}.

Наблюденное значение %2Н сравнивают с критическим %2кр при заданном уровне значимости а и числе степеней свободы v = (п - kk)(m - kk). Значимость (kk+ 1)-ой пары канонических переменных подтверждается, если %2Н > %2 . Заметим, что вычисление статистики Хя следует проводить до тех пор, пока подтверждается значимость пар. Из K = min{n, т} ненулевых канонических корреляций оставляются для интерпретации только те корни, которые оказались статистически значимыми.

Проведенный анализ позволяет отсеять слабо коррелированные пары канонических переменных. Полученная таким образом компактная, максимально информативная система данных может служить основой для дальнейших исследований, например, при помощи методов факторного анализа.

 
<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>