Статистические свойства МНК-оценок коэффициентов регрессии

Материал из MachineLearning.

Версия от 22:12, 28 января 2009; Tatira (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Для того, чтобы МНК-оценки коэффициентов многомерной регрессии обладали полезными статистическими свойствами необходимо выполнение ряда предпосылок относительно оцениваемой регрессионной модели, называемых Основными Положениями.

Основные Положения

  • ОП.0 Y = X\theta + \varepsilon (модель линейна по параметрам);
  • ОП.1 X - детерминированная n\times k матрица, rkX = k (признаки линейно независимы);
  • ОП.2 Регрессионные остатки \varepsilon_i = y_i - \hat y_i = y_i - \sum\limits_{j=1}^k\theta_j x_{ij}, \; i=\overline{1,n}
2.1. одинаково распределены;
2.2. E\varepsilon_i = 0 (модель несмещенная);
2.3. D\varepsilon_i = \sigma^2 (гомоскедастичность);
2.4. E\varepsilon_i\varepsilon_j = 0, \; i\neq j (некореллированность).
  • Дополнительное Предположение 3 (ДП3):
\varepsilon \sim N(0,\sigma^2I_n),
т.е регрессионные остатки имеют нормальное распределение N(0,\sigma^2I_n), где I_n - единичная матрица размера n\times n.

Свойства МНК-оценок без предположения о нормальности

Теорема Гаусса-Маркова. Пусть выполнены основные положения 0-2. Тогда оценка \hat\theta, полученная по методу наименьших квадратов является эффективной в классе линейных (вида \hat\theta=Ay) несмещенных оценок (Best Linear Unbiased Estimator, BLUE).

Исходя из этой теоремы можно выделить несколько основных свойств МНК-оценки \hat\theta:

  • Линейность:
\hat\theta = Ay, где A = (X^TX)^{-1}X^T;
  • Несмещенность:
E\hat\theta = E((X^TX)^{-1}X^Ty) = (X^TX)^{-1}X^TEy = (X^TX)^{-1}X^TE(X\theta+\varepsilon) = (X^TX)^{-1}X^TX\theta + (X^TX)^{-1}X^TE\varepsilon = \theta;
  • Матрица ковариации равна:
cov\hat\theta = ||cov(\hat\theta_i,\hat\theta_j)||_{i=1,\cdots,k}^{j=1,\cdots,k} = \sigma^2(X^TX)^{-1}.
  • МНК-оценка \hat\theta эффективна.

Итак, теорема Гаусса-Маркова утверждает, что любая другая линейная несмещенная оценка будет иметь большую дисперсию, чем МНК-оценка:


Нетрудно показать, что для любого вектора \; c\in R^k \; оценка \; c^T\hat\theta \; будет обладать теми же свойствами, что и МНК-оценка \hat\theta. Поэтому:

  • если взять c = (0\cdots 01\limits_j0\cdots0), то получим что
c^T\hat\theta = \hat\theta_j - несмещенная, эффективная оценка \theta_j;
  • если c = (x_{i1},\cdots,x_{ik}), то
c^T\hat\theta = \hat y_i - несмещенная, эффективная оценка y(x_i)_k.


Свойства МНК-оценок с предположением о нормальности

Личные инструменты