Анализ регрессионных остатков (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 13: Строка 13:
где <tex>\varepsilon_i=y_i-\hat{y_i}</tex>, <tex>i= 1,\dots,n</tex> - регрессионные остатки конкретной модели.
где <tex>\varepsilon_i=y_i-\hat{y_i}</tex>, <tex>i= 1,\dots,n</tex> - регрессионные остатки конкретной модели.
-
Для проверки первого критерия воспользуемся [[критерий знаков|критерием знаков]]
+
Для проверки первой гипотезы воспользуемся [[критерий знаков|критерием знаков]]
-
Для второго критерия целесообразно применить
+
Для второго проверки целесообразно применить

Версия 20:36, 16 июня 2010

Для получения информации об адекватности построенной модели многомерной линейной регрессии используется анализ регрессионных остатков

Постановка задачи

Задана выборка D = \{ y_i,\mathbf{x}_i\}_{i=1}^n откликов и признаков. Рассматривается множество линейных регрессионных моделей вида:

y_i=\sum_{j=1}^m w_j x_{ij} + \varepsilon_i, i=1,\dots,n. Требуется создать инструмент анализа адекватности модели используя анализ регрессионных остатков и исследовать значимость признаков и поведение остатков в случае гетероскедастичности.

Описание алгоритма

Анализ регрессионных остатков заключается в проверке нескольких гипотез:

  • E \varepsilon_i = 0,i= 1,\dots,n
    (1)
  • D \varepsilon_i = \sigma^2,i= 1,\dots,n
    (2)
  • \varepsilon_i \sim N(0,\sigma) i= 1,\dots,n
    (3)
  • \varepsilon_i i= 1,\dots,n
    (4)
    - независимы

где \varepsilon_i=y_i-\hat{y_i}, i= 1,\dots,n - регрессионные остатки конкретной модели.

Для проверки первой гипотезы воспользуемся критерием знаков Для второго проверки целесообразно применить

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D1%85_%D0%BE%D1%81%D1%82%D0%B0%D1%82%D0%BA%D0%BE%D0%B2_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»
Личные инструменты