Анализ мультиколлинеарности (пример)

Материал из MachineLearning.

(Различия между версиями)

Версия 12:03, 7 июня 2010

Мультиколлинеарность — тесная корреляционная взаимосвязь между отбираемыми для анализа факторами, совместно воздействующими на общий результат, которая затрудняет оценивание регрессионных параметров.

Содержание

1 Постановка задачи
2 Описание алгоритма
- 2.1 Фактор инфляции дисперсии (VIF)
- 2.2 Методика Belsley, Kuh, и Welsch (BKW)
3 Вычислительный эксперимент
4 Исходный код
5 Смотри также
6 Литература

Постановка задачи

Задана выборка $D = \{ y_i,\mathbf{x}_i\}_{i=1}^n$ откликов и признаков. Рассматривается множество линейных регрессионных моделей вида:

$y_i=\sum_{j=1}^m w_j x_{ij} + \varepsilon_i, i=1,\dots,n$ Предполагается, что вектор регрессионных невязок имеет нулевое математическое ожидание и дисперсию $\sigma^2$ . Требуется создать инструмент исследования мультиколлинеарности признаков (методики VIF, Belsley) и исследовать устойчивость модели на зависимость параметров модели от дисперсии случайной переменной и выбросов в выборке.

Описание алгоритма

Фактор инфляции дисперсии (VIF)

Дисперсия $w_i$ :

$D\hat{w}_j=\frac{\sigma^2}{(n-1)D x_j}\frac{1}{1-R_j^2}.$

Первая дробь связана с дисперсией невязок и дисперсией векторов признаков. Вторая — фактор инфляции дисперсии, связанный с корреляцей данного признака с другими:

$VIF_j=\frac{1}{1-R_j^2},$

где $R_j^2$ — коэффициент детерминации j-го признака относительно остальных:

$R_j^2 \equiv 1-{\sum_{i=1}^n (x_{ij} - \hat{x}_{ij})^2 \over \sum_{i=1}^n (x_{ij}-\bar{\mathbf{x}}_j)^2},\.$

Равенство единице фактора инфляции дисперсии говорит об ортогональности вектора значений признака остальным. Если значение $VIF_j$ велико, то $1-R^2_j$ — мало, то есть $R_j^2$ близко к 1. Большие значения фактора инфляции дисперсии соответствуют почти линейной зависимости j-го столбца от остальных.

Методика Belsley, Kuh, и Welsch (BKW)

Диагностика Коллинеарности BKW основана на двух элементах, относящихся к $n \times p$ матрице данных $X$ использующейся в линейной регрессии $y = X \beta + \epsilon$ : индексы состояния(the scaled condition indexes) и the variance-decomposition proportions. Оба этих диагностических элемента могут быть получены из сингулярного разложения (SVD) матрицы $X$ : $X=UD{V^{T}}$ , где ${U}^{T}U={V}^{T}V={I}_{p}$ и $D$ - диогональная с неотрицательными элементами ${\mu}_{1},...,{\mu}_{p}$ называющимися сингулярными значениями $X$ . Индексы состояния это: ${\eta}_{k}\equiv\frac{{\mu}_{max}}{{\mu}_{k}}$ , $k=1,...,p$
${\eta}_{k} \geq 0$ для всех $k$ . Большое значение ${\eta}_{k}$ указывает на зависимость близкую к линейной между признаками и чем больше ${\eta}_{k}$ тем сильнее зависимость. Дисперсионные соотношения разложения проистекают из того факта, что используя SVD ковариационная матрица метода наименьших квадратов $b=(X^{T}X)^{-1}X^{T}y$ может записана как:
$V(b)={\sigma}^{2}(X^{T}X)^{-1} = {\sigma}^{2}V D^{-2} V^{T}$ (3)
где ${\sigma}^{2}$ это дисперсия возмущения $\varepsilon$ . Таким образом дисперсия k-го регрессионного коэффициента ${b}_{k}$ это k-й диогональный элемент (3):

$\mbox{var}({b}_{k})={\sigma}^{2} \sum_{j} {\frac{{\upsilon}^{2}_{kj}}{{\mu}^{2}_{j}}}$ (4)
где ${\mu}_{j}$ - сингулярные значения $X$ и $V\equiv({\upsilon}_{ij})$ . Определим $k, j$ -е дисперсионное соотношение как долю дисперсии k-го регрессионного коэффициента связанная с j-м компонентом его разложения (4). Доля считается как:
${\phi}_{kj}\equiv\frac{{\upsilon}^{2}_{kj}}{{\mu}^{2}_{j}}$ , ${\phi}_{k}\equiv\sum^{p}_{j=1} {\phi}_{kj}$ , $k=1,...,p$
Дисперсионное соотношение:
${\pi}_{jk}\equiv\frac{{\phi}_{kj}}{{\phi}_{k}}$ , $k,j=1,...,p$
Данные удобно представить в виде таблицы: $X=[{X}_{1}\cdot\cdot\cdot{X}_{p}]<tex>, <tex>{s}_{i}\equiv{({X}^{T}_{i}{X}_{i})}^{-1/2}$ , $S\equiv \mbox{diag}({s}_{1},...,{s}_{p})$ , $\stackrel{\sim}{\eta}\equiv {\eta}_{i}(XS)$ , $i=1,...,p$

Condition index	$var({b}_{1})$	$var({b}_{2})$	$...$	$var({b}_{p})$
${\eta}_{1}$	${\pi}_{11}$	${\pi}_{12}$	...	${\pi}_{1p}$
${\eta}_{2}$	${\pi}_{11}$	...	...	${\pi}_{2p}$
.	.	.		.
.	.	.		.
.	.	.		.
${\eta}_{p}$	${\pi}_{p1}$	${\pi}_{11}$	...	${\pi}_{pp}$

$X=[{X}_{1}\cdot\cdot\cdot{X}_{p}]<tex>, <tex>{s}_{i}\equiv{({X}^{T}_{i}{X}_{i})}^{-1/2}$ , $S\equiv \mbox{diag}({s}_{1},...,{s}_{p})$ , $\stackrel{\sim}{\eta}\equiv {\eta}_{i}(XS)$ , $i=1,...,p$

Вычислительный эксперимент

Исходный код

Смотри также

Литература

Данная статья является непроверенным учебным заданием.

Студент: Участник:Сунгуров Дмитрий

Преподаватель: Участник:В.В.Стрижов

Срок: 28 мая 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%BC%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BA%D0%BE%D0%BB%D0%BB%D0%B8%D0%BD%D0%B5%D0%B0%D1%80%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»

Категории: Непроверенные учебные задания | Практика и вычислительные эксперименты | Линейная регрессия

@@ Строка 27: / Строка 27: @@
 где <tex>{\sigma}^{2}</tex> это дисперсия возмущения <tex>\varepsilon</tex>. Таким образом дисперсия k-го регрессионного коэффициента <tex>{b}_{k}</tex> это k-й диогональный элемент (3): <br />
-<tex>\mbox{var}({b}_{k})={\sigma}^{2}	\sum_{j} {\frac{{\upsilon}^{2}_{kj}}{{\mu}^{2}_{j}}}</tex><br />
+<tex>\mbox{var}({b}_{k})={\sigma}^{2}	\sum_{j} {\frac{{\upsilon}^{2}_{kj}}{{\mu}^{2}_{j}}}</tex>       (4)<br />
-, <tex>V\equiv({\upsilon}_{ij})</tex>
+где <tex>{\mu}_{j}</tex> - сингулярные значения <tex>X</tex> и <tex>V\equiv({\upsilon}_{ij})</tex>.
+Определим <tex>k, j</tex>-е дисперсионное соотношение как долю дисперсии k-го регрессионного коэффициента связанная с j-м компонентом его разложения (4). Доля считается как:<br/>
+<tex>{\phi}_{kj}\equiv\frac{{\upsilon}^{2}_{kj}}{{\mu}^{2}_{j}}</tex>,
+<tex>{\phi}_{k}\equiv\sum^{p}_{j=1} {\phi}_{kj}</tex>, <tex>k=1,...,p</tex><br/>
+Дисперсионное соотношение: <br/>
+<tex>{\pi}_{jk}\equiv\frac{{\phi}_{kj}}{{\phi}_{k}}</tex>, <tex>k,j=1,...,p</tex> <br/>
+Данные удобно представить в виде таблицы:
+<tex>X=[{X}_{1}\cdot\cdot\cdot{X}_{p}]<tex>, <tex>{s}_{i}\equiv{({X}^{T}_{i}{X}_{i})}^{-1/2}</tex>, <tex>S\equiv \mbox{diag}({s}_{1},...,{s}_{p})</tex>,
+<tex>\stackrel{\sim}{\eta}\equiv {\eta}_{i}(XS)</tex>, <tex>i=1,...,p</tex>
 {| class="wikitable" style="text-align: center;"
 |- bgcolor="#ccccc"
@@ Строка 50: / Строка 58: @@
 |-
 |}
-<tex>{\phi}_{kj}\equiv\frac{{\upsilon}^{2}_{kj}}{{\mu}^{2}_{j}}</tex>,
-<tex>{\phi}_{k}\equiv\sum^{p}_{j=1} {\phi}_{kj}</tex>, <tex>k=1,...,p</tex>,
-<tex>{\pi}_{jk}\equiv\frac{{\phi}_{kj}}{{\phi}_{k}}</tex>, <tex>k,j=1,...,p</tex>
-далее
 <tex>X=[{X}_{1}\cdot\cdot\cdot{X}_{p}]<tex>, <tex>{s}_{i}\equiv{({X}^{T}_{i}{X}_{i})}^{-1/2}</tex>, <tex>S\equiv \mbox{diag}({s}_{1},...,{s}_{p})</tex>,
 <tex>\stackrel{\sim}{\eta}\equiv {\eta}_{i}(XS)</tex>, <tex>i=1,...,p</tex>