Доверительные интервалы для параметров регрессии

Материал из MachineLearning.

Перейти к: навигация, поиск

После того как были изучены статистические свойства МНК-оценок коэффициентов регрессии, можно переходить к построению доверительных интервалов для коэффициентов регрессии, дисперсии шума, а также прогнозного значения отклика.

Содержание

Доверительный интервал для коэффициентов регрессии

  • Работаем в предположениях, что выполнены ОП1, ОП2 и ДП3. Тогда можем воспользовать тем свойством, что величина
\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}\sim t_{n-k}
имеет распределение Стьюдента с n-k степенями свободы.
  • Далее, если взять c = (0\cdots 01\limits^j 0\cdots 0) (т.е. произведение c^T\hat\theta выделяет j-ю компоненту вектора \hat\theta), то получим
\Delta\hat\theta = t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{(X^TX)^{-1}_{jj}},
где t_{\alpha} есть \alpha-квантиль распределения Стьюдента с n-k степенями свободы.
  • Тогда двусторонний доверительный интервал с доверительной вероятностью 1-\alpha для коэффициента регрессии \theta_j будет иметь вид:
\hat\theta_j-\Delta\hat\theta_j \leq \theta_j \leq \hat\theta_j+\Delta\hat\theta_j.

Доверительный интервал для дисперсии шума

  • Регрессионные остатки (шум) \varepsilon_i имеют нормальное распределние N(0,\sigma^2). Для анализа неизвестной дисперсии \sigma^2 шума может быть использовано свойство, что случайная величина
\frac{RSS}{\sigma^2} \sim \chi^2_{n-k}
распределена по закону хи-квадрат с n-k степенями свободы.
  • Тогда доверительный интервал с доверительной вероятностью 1-\alpha для дисперсии шума равен:
\frac{RSS}{\chi^2_{n-k,\frac{\alpha}2}} \leq \sigma^2 \leq \frac{RSS}{\chi^2_{n-k,1-\frac{\alpha}2}},
где \chi_{\alpha} есть \alpha-квантиль распределения хи-квадрат с n-k степенями свободы.

Доверительный интервал для прогнозного значения отклика

  • Как и в случае построения доверительного интервала для коэффициентов регрессии, воспользуемся свойством, что величина
\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}\sim t_{n-k} :имеет распределение Стьюдента с

n-k степенями свободы.

  • Пусть x_0 = (x_{01}\cdots x_{0k}) - новый объект в регрессионной модели, положим c=x_0.
  • Тогда доверительный интервал для значения отклика y(x_0) с доверительной вероятностью 1-\alpha будеи иметь вид:
x_0^T\hat\theta-\Delta y_0 \leq y(x_0) \leq x_0^T\hat\theta+\Delta y_0, \;

где

x_0^T\hat\theta = \hat y_0;
\Delta y_0 = t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{x_0^T(X^TX)^{-1}x_0},\; t_{\alpha} есть \alpha-квантиль распределения Стьюдента с n-k степенями свободы.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  2. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.

См. также

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%94%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%B2%D0%B0%D0%BB%D1%8B_%D0%B4%D0%BB%D1%8F_%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%BE%D0%B2_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%B8»
Личные инструменты