Анализ регрессионных остатков (пример)

Материал из MachineLearning.

Перейти к: навигация, поиск

Для получения информации об адекватности построенной модели многомерной линейной регрессии используется анализ регрессионных остатков

Постановка задачи

Задана выборка D = \{ y_i,\mathbf{x}_i\}_{i=1}^n откликов и признаков. Рассматривается множество линейных регрессионных моделей вида:

y_i=\sum_{j=1}^m w_j x_{ij} + \varepsilon_i, i=1,\dots,n. Требуется создать инструмент анализа адекватности модели используя анализ регрессионных остатков и исследовать значимость признаков и поведение остатков в случае гетероскедастичности.

Описание алгоритма

Анализ регрессионных остатков заключается в проверке нескольких гипотез:

  •  E \varepsilon_i = 0,i= 1,\dots,n
    (1)
  •  D \varepsilon_i = \sigma^2,i= 1,\dots,n
    (2)
  •   \varepsilon_i \sim N(0,\sigma) i= 1,\dots,n
    (3)
  •   \varepsilon_i  i= 1,\dots,n
    (4)
    - независимы

где \varepsilon_i=y_i-\hat{y_i}, i= 1,\dots,n - регрессионные остатки конкретной модели.

Для проверки первой гипотезы воспользуемся критерием знаков Для второго проверки целесообразно применить

Личные инструменты