Анализ регрессионных остатков

Материал из MachineLearning.

Версия от 18:38, 23 января 2009; Валентина Федорова (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Для получения информации об адекватности построеной модели многомерной линейной регрессии исследуют регрессионные остатки. Если выбранная регрессионная модель хорошо описывает истинную зависимость, то остатки должны быть независимыми нормально распределенными случайными величинами с нулевым средним, и в их значениях должен отсутствовать тренд. Анализ регрессионных остатков - это процесс проверки выполнения этих условий.

Обозначения

Пусть дана последовательность наблюдаемых величин $Y_1(X_1),\dots,Y_n(X_n)$ и получены их оценки:

$\hat{Y_i}(X_i)=X_i \cdot \Theta , X_i \in \mathbb{R}^m , i= 1,\dots,n$ - предикторные переменные, $\Theta \in \mathbb{R}^m$ - коэффициенты регрессионной модели, $\hat{Y}_i \in \mathbb{R} , i= 1,\dots,n$ - ответ.

Регрессионные остатки обозначим через $\varepsilon_i=Y_i-\hat{Y_i}$ , $i= 1,\dots,n$ .

Свойства регрессионных остатков

Для того, чтобы регрессионная модель хорошо описывала истинные данные, регрессионные остатки $\varepsilon_i (i= 1,\dots,n)$ должны обладать следующими свойствами:

$E \varepsilon_i = 0,i= 1,\dots,n$
(1)

Эту гипотезу можно проверять одним из любым параметрическим или непараметрическим критерием сравнения среднего с заданным значением( в данном случае - с нулём).

$D \varepsilon_i = \sigma^2,i= 1,\dots,n$
(2)
- т.е. дисперсия не изменяется.

Проверяется аналогично, любым параметрическим или непараметрическим критерием сравнения дисперсии с заданным значением. Например, Критерий Зигеля-Тьюки.

$\varepsilon_i \sim N(0,\sigma) i= 1,\dots,n, i \neq j$
(3)

Это дополнительное предположение. Его важно проверить, если мы хотим использовать статистический критерий, предполагающий нормальность данных. Для проверки этой гипотезы можно использовать Критерий нормальности.

$\varepsilon_i i= 1,\dots,n$
(4)
- независимы.

Независимость остатков может быть проверена при помощи статистики Дарбина-Уотсона.

$E \varepsilon_i \varepsilon_j = 0,i,j= 1,\dots,n, i \neq j;$

$E \varepsilon_i \hat{Y_i} = 0,i= 1,\dots,n;$

$E \varepsilon_i i = 0,i= 1,\dots,n;$

$E \varepsilon_i x_{ij} = 0,i= 1,\dots,n,j= 1,\dots,m, X_i = (x_{i1} , \dots, x_{im})$ .

Для проверки этих условий используется визуальный анализ. Зависимость $\varepsilon_i (\cdot)$ не должна иметь закономерностей, где $\cdot = \varepsilon_j,i,\hat{Y_i},x_{ij}$ .