Метод Белсли
Материал из MachineLearning.
м (→Анализ коллинеарности) |
м (→Анализ коллинеарности) |
||
Строка 36: | Строка 36: | ||
Обозначим слагаемые в правой части как <br/> | Обозначим слагаемые в правой части как <br/> | ||
<tex>X_{S}=U_{S} D_{S} V_{S}^T</tex><br/><br/> | <tex>X_{S}=U_{S} D_{S} V_{S}^T</tex><br/><br/> | ||
- | <tex>X_{N}=U_{N} D_{N} V_{N}^T</tex><br/> | + | <tex>X_{N}=U_{N} D_{N} V_{N}^T</tex> (8)<br/> |
Заметим что получившиеся матрицы ортогональны, т.е :<br/> | Заметим что получившиеся матрицы ортогональны, т.е :<br/> | ||
- | <tex>X_{S}^{T} X_{N} = O </tex> <br/> | + | <tex>X_{S}^{T} X_{N} = O </tex>(9) <br/> |
что обеспечивает возможность ортогонального разложения <tex>X</tex> :<br/> | что обеспечивает возможность ортогонального разложения <tex>X</tex> :<br/> | ||
- | <tex>X=X_{S}+X_{N}</tex><br/> | + | <tex>X=X_{S}+X_{N}</tex> (10)<br/> |
Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг p, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг s и (p-s) соответственно. Тогда для разложения (2) :<br/> | Здесь все матрицы имеют размер <tex>n \times p</tex> и полагая что <tex>X</tex> имеет ранг p, <tex>X_{S}</tex> и <tex>X_{N}</tex> имеють ранг s и (p-s) соответственно. Тогда для разложения (2) :<br/> | ||
<tex>X(V_{S} V_{N})=(U_{S} U_{N}) \begin{pmatrix} | <tex>X(V_{S} V_{N})=(U_{S} U_{N}) \begin{pmatrix} | ||
D_{S} & O \\ | D_{S} & O \\ | ||
O & D_{N} \\ | O & D_{N} \\ | ||
- | \end{pmatrix}</tex><br/> | + | \end{pmatrix}</tex> (11)<br/> |
Далее мы получаем <br/> | Далее мы получаем <br/> | ||
- | <tex>X V_{S}=X_{S} V_{S}=U_{S} D_{S}</tex><br/> | + | <tex>X V_{S}=X_{S} V_{S}=U_{S} D_{S} </tex> (12)<br/> |
и <br/> | и <br/> | ||
- | <tex>X V_{N}=X_{N} V_{N}=U_{N} D_{N} \approx O</tex><br/> | + | <tex>X V_{N}=X_{N} V_{N}=U_{N} D_{N} \approx O </tex> (13)<br/> |
- | <br/><br/> | + | Равенства в (12) и (13) получаются из (8) и (10) ссылаясь на то что из ортогональности <tex>V</tex> следует <tex>V^T_N V_S = O</tex>. Это значит что <tex>X_S</tex> содержит всю информацию, и только ее, входящую в <tex>X</tex> которая свободна от коллинеарности связанной с остальными (p-s) собственными векторами.<br/> |
+ | Соответственно <tex>X_N</tex> содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство <tex> \mathbb R^{\mathrm (p-s)}</tex>. Это пространство связанное с элементами матрицы <tex>D_N</tex> близкими к 0 называется квази-нулевым пространством<br/> | ||
+ | Следовательно предложенное разложение подчеркивает <tex>X_S</tex> как часть <tex>X</tex> полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности. <tex>X^N</tex> же содержит информацию связанную с p-s компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы <tex>V_N</tex>. | ||
<tex>\beta=(X^T X)^{-1} X^T y = X^{+}y</tex> | <tex>\beta=(X^T X)^{-1} X^T y = X^{+}y</tex> | ||
<tex>X^{+}</tex> | <tex>X^{+}</tex> |
Версия 19:39, 28 июня 2010
Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Анализ коллинеарности
Линейная регрессионная модель:
(1)
где - n-мерный ветор ответа(зависимой переменной), - n x p (n>p) матрица признаков - p-мерный вектор неизвестных коэффициентов, - p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей , где это n x n единичная матрица, а . Будем считать что имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения определяется как:
(2)
Где - n x p ортогональная матрица, - p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями , - p x p ортогональная матрица, чьи колонки это собственные вектора . Если существует коллинеарная зависимоть, то
будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю.
Предположим, что , или просто , элементы матрицы упорядочены так, что
И рассмотрим разбиение
где и диогональные, и недиогональнык блоки нулевые. , или просто , содержит достаточно большие сингулярные значения, а , или , содержит близкие к нулю.
Теперь разделим и соответственно:
где и соответствуют первым s наибольших сингулярных значений, а и содержат веторов соответствующих малым сингулярным значениям.
Матрица ортогональна, т.е , так же как и и . Таким образом :
Т.к V тоже ортогональна, то
Таким образом разложение нам дает:
Обозначим слагаемые в правой части как
(8)
Заметим что получившиеся матрицы ортогональны, т.е :
(9)
что обеспечивает возможность ортогонального разложения :
(10)
Здесь все матрицы имеют размер и полагая что имеет ранг p, и имеють ранг s и (p-s) соответственно. Тогда для разложения (2) :
(11)
Далее мы получаем
(12)
и
(13)
Равенства в (12) и (13) получаются из (8) и (10) ссылаясь на то что из ортогональности следует . Это значит что содержит всю информацию, и только ее, входящую в которая свободна от коллинеарности связанной с остальными (p-s) собственными векторами.
Соответственно содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство . Это пространство связанное с элементами матрицы близкими к 0 называется квази-нулевым пространством
Следовательно предложенное разложение подчеркивает как часть полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности. же содержит информацию связанную с p-s компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы .