Метод Белсли
Материал из MachineLearning.
м (→Анализ коллинеарности) |
м (→Анализ коллинеарности) |
||
Строка 53: | Строка 53: | ||
Соответственно <tex>X_N</tex> содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство <tex> \mathbb R^{\mathrm (p-s)}</tex>. Это пространство связанное с элементами матрицы <tex>D_N</tex> близкими к 0 называется квази-нулевым пространством<br/> | Соответственно <tex>X_N</tex> содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство <tex> \mathbb R^{\mathrm (p-s)}</tex>. Это пространство связанное с элементами матрицы <tex>D_N</tex> близкими к 0 называется квази-нулевым пространством<br/> | ||
Следовательно предложенное разложение подчеркивает <tex>X_S</tex> как часть <tex>X</tex> полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности. <tex>X^N</tex> же содержит информацию связанную с p-s компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы <tex>V_N</tex>. | Следовательно предложенное разложение подчеркивает <tex>X_S</tex> как часть <tex>X</tex> полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности. <tex>X^N</tex> же содержит информацию связанную с p-s компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы <tex>V_N</tex>. | ||
- | <tex>\beta=(X^T X)^{-1} X^T y = X^{+}y</tex> | + | Вектор <tex>\beta</tex> минимизирующего ошибку в метода наименьших квадратов:<br/> |
- | <tex>X^{+}</tex> | + | <tex>\beta=(X^T X)^{-1} X^T y = X^{+}y</tex> <br/> |
- | <tex>X</tex> | + | где <tex>X^{+}</tex> - псевдообратная матрица <tex>X</tex> и последнее равенство выполняется только если <tex>X</tex> имеет полный ранг. Используя предыдущее разложение может быть показано что:<br/> |
- | <tex>(X^T X)^{-1}=V D^{-2} V^T =V_S D^{-2}_S V_S^T + V_N D^{-2}_N V_N^T= (X^T_S X_S)^{+} +(X^T_N X_N)^{+} </tex> | + | <tex>(X^T X)^{-1}=V D^{-2} V^T =V_S D^{-2}_S V_S^T + V_N D^{-2}_N V_N^T= (X^T_S X_S)^{+} +(X^T_N X_N)^{+} </tex><br/> |
- | <tex>X^T_S X_S=V_S D^{2}_S V_S^T</tex> | + | Последнее равенство получается из того что |
- | <tex>(X^T_S X_S)^{+}=V_S D^{-2}_S V_S^T</tex> | + | <tex>X^T_S X_S=V_S D^{2}_S V_S^T</tex> - сингулярное разложение <tex>X^T_S X_S</tex> и следовательно <tex>(X^T_S X_S)^{+}=V_S D^{-2}_S V_S^T</tex>. Для <tex>(X^T_N X_N)^{+} </tex> аналогично.<br/> |
- | <tex>(X^T_N X_N)^{+} </tex> | + | Подставляя (15) и (7) в (14) получаем: <br/> |
- | <tex>\beta=V_S D^{-1}_S U_S^T y + V_N D^{-1}_N U_N^T y=X^{+}_S y + X^{+}_N y = {\beta}_S + {\beta}_N</tex> | + | <tex>\beta=V_S D^{-1}_S U_S^T y + V_N D^{-1}_N U_N^T y=X^{+}_S y + X^{+}_N y = {\beta}_S + {\beta}_N</tex><br/> |
- | <tex>y=(X_S + X_N)({\beta}_S + {\beta}_N) +e</tex> | + | Окончательно модель:<br/> |
+ | <tex>y=(X_S + X_N)({\beta}_S + {\beta}_N) +e</tex><br/> | ||
+ | Где <tex>e</tex> это вектор остатков. | ||
+ | |||
<tex>Cov(\beta) = {\sigma}^2 (X^T X)^{-1}= {\sigma}^2 [V_S D^{-2}_S V_S^T + V_N D^{-2}_N V_N^T]={\sigma}^2 [(X^T_S X_S)^{+} +(X^T_N X_N)^{+} ] = Cov({\beta}_S) + Cov({\beta}_N)</tex> | <tex>Cov(\beta) = {\sigma}^2 (X^T X)^{-1}= {\sigma}^2 [V_S D^{-2}_S V_S^T + V_N D^{-2}_N V_N^T]={\sigma}^2 [(X^T_S X_S)^{+} +(X^T_N X_N)^{+} ] = Cov({\beta}_S) + Cov({\beta}_N)</tex> | ||
Версия 20:49, 28 июня 2010
Линейные регрессионные модели часто используются для исследования зависимости между ответом и признаками, однако результаты часто сомнительны, так как данные не всегда подходящие. Например, при большом количестве признаков часто многие из них сильно зависимы друг от друга, и эта зависимость уменьшает вероятность получения адекватных результатов. Belsley, Kuh и Welsch предложили метод анализа мультиколлинеарности основанный на индексах обусловленности(the scaled condition indexes) и дисперсионных долях(the variance-decomposition proportions).
Содержание |
Анализ коллинеарности
Линейная регрессионная модель:
(1)
где - n-мерный ветор ответа(зависимой переменной),
- n x p (n>p) матрица признаков
- p-мерный вектор неизвестных коэффициентов,
- p-мерный вектор случайного возмущения с нулевым матожиданием и ковариационной матрицей
, где
это n x n единичная матрица, а
. Будем считать что
имеет ранг p.
Если есть коллинеарность между признаками согласно Belsley имеет смысл использовать сингулярное разложение(SVD) чтобы определить вовлеченные переменные. Матрица сингулярного разложения
определяется как:
(2)
Где - n x p ортогональная матрица,
- p x p верхняя диагональная матрица, чьи неотрицательные элементы являются сингулярными значениями
,
- p x p ортогональная матрица, чьи колонки это собственные вектора
. Если существует коллинеарная зависимоть, то
будут какие-либо сингулярные значения, скажем, (р - s), которые близки к нулю.
Предположим, что
, или просто
, элементы матрицы
упорядочены так, что
И рассмотрим разбиение
где
и
диогональные, и недиогональнык блоки нулевые.
, или просто
, содержит достаточно большие сингулярные значения, а
, или
, содержит близкие к нулю.
Теперь разделим
и
соответственно:
где и
соответствуют первым s наибольших сингулярных значений, а
и
содержат
веторов соответствующих малым сингулярным значениям.
Матрица
ортогональна, т.е
, так же как и
и
. Таким образом :
Т.к тоже ортогональна, то
Таким образом разложение нам дает:
Обозначим слагаемые в правой части как
(8)
Заметим что получившиеся матрицы ортогональны, т.е :
(9)
что обеспечивает возможность ортогонального разложения :
(10)
Здесь все матрицы имеют размер и полагая что
имеет ранг p,
и
имеють ранг s и (p-s) соответственно. Тогда для разложения (2) :
(11)
Далее мы получаем
(12)
и
(13)
Равенства в (12) и (13) получаются из (8) и (10) ссылаясь на то что из ортогональности следует
. Это значит что
содержит всю информацию, и только ее, входящую в
которая свободна от коллинеарности связанной с остальными (p-s) собственными векторами.
Соответственно содержит только информацию связанную с коллинеарностью делая прогноз на дополнительное пространство
. Это пространство связанное с элементами матрицы
близкими к 0 называется квази-нулевым пространством
Следовательно предложенное разложение подчеркивает как часть
полученную из s основных компонентов которые в меньшей степени участвуют в коллинеарности.
же содержит информацию связанную с p-s компонентами которые участвую в коллинеарных зависимостях. Переменные, входящие в коллинеарности, это те, которые имеют наибольшие координаты в столбцах матрицы
.
Вектор
минимизирующего ошибку в метода наименьших квадратов:
где - псевдообратная матрица
и последнее равенство выполняется только если
имеет полный ранг. Используя предыдущее разложение может быть показано что:
Последнее равенство получается из того что
- сингулярное разложение
и следовательно
. Для
аналогично.
Подставляя (15) и (7) в (14) получаем:
Окончательно модель:
Где это вектор остатков.