Доверительные интервалы для параметров регрессии

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: После того как были изучены статистические свойства МНК-оценок коэффициентов регрессии, можно пер...)
 
Строка 1: Строка 1:
-
После того как были изучены [[статистические свойства МНК-оценок
+
После того как были изучены [[статистические свойства МНК-оценок коэффициентов регрессии]], можно переходить к построению
-
коэффициентов регрессии]], можно переходить к построению
+
[[доверительный интервал|доверительных интервалов]] для коэффициентов регрессии, дисперсии шума, а также прогнозного
-
[[доверительный интервал|доверительных интервалов]] для
+
-
коэффициентов регрессии, дисперсии шума, а также прогнозного
+
значения отклика.
значения отклика.
Строка 9: Строка 7:
* Работаем в предположениях, что выполнены [[статистические свойства МНК-оценок коэффициентов регрессии|ОП1, ОП2 и ДП3]]. Тогда можем воспользовать тем свойством, что величина
* Работаем в предположениях, что выполнены [[статистические свойства МНК-оценок коэффициентов регрессии|ОП1, ОП2 и ДП3]]. Тогда можем воспользовать тем свойством, что величина
-
::<tex>\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}
+
::<tex>\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}\sim t_{n-k}</tex>
-
\sim t_{n-k}</tex> :имеет [[распределение Стьюдента]] с
+
:имеет [[распределение Стьюдента]] с <tex>n-k</tex> степенями свободы.
-
<tex>n-k</tex> степенями свободы.
+
* Далее, если взять <tex>c = (0\cdots 01\limits^j 0\cdots 0)</tex> (т.е. произведение <tex>c^T\hat\theta</tex> выделяет <tex>j</tex>-ю компоненту вектора <tex>\hat\theta</tex>), то получим
* Далее, если взять <tex>c = (0\cdots 01\limits^j 0\cdots 0)</tex> (т.е. произведение <tex>c^T\hat\theta</tex> выделяет <tex>j</tex>-ю компоненту вектора <tex>\hat\theta</tex>), то получим
-
::<tex>\Delta\hat\theta =
+
::<tex>\Delta\hat\theta = t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{(X^TX)^{-1}_{jj}},</tex>
-
t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{(X^TX)^{-1}_{jj}},</tex>
+
:где <tex>t_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] распределения Стьюдента с <tex>n-k</tex> степенями свободы.
-
:где <tex>t_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]]
+
-
распределения Стьюдента с <tex>n-k</tex> степенями свободы.
+
*Тогда двусторонний [[доверительный интервал]] с доверительной вероятностью <tex>1-\alpha</tex> для коэффициента регрессии <tex>\theta_j</tex> будет иметь вид:
*Тогда двусторонний [[доверительный интервал]] с доверительной вероятностью <tex>1-\alpha</tex> для коэффициента регрессии <tex>\theta_j</tex> будет иметь вид:
-
::<tex>\hat\theta_j-\Delta\hat\theta_j \leq \theta_j \leq
+
::<tex>\hat\theta_j-\Delta\hat\theta_j \leq \theta_j \leq \hat\theta_j+\Delta\hat\theta_j.</tex>
-
\hat\theta_j+\Delta\hat\theta_j.</tex>
+
==Доверительный интервал для дисперсии шума==
==Доверительный интервал для дисперсии шума==
Строка 27: Строка 21:
*Регрессионные остатки (шум) <tex>\varepsilon_i</tex> имеют нормальное распределние <tex>N(0,\sigma^2)</tex>. Для анализа неизвестной дисперсии <tex>\sigma^2</tex> шума может быть использовано свойство, что [[многомерная случайная величина|случайная величина]]
*Регрессионные остатки (шум) <tex>\varepsilon_i</tex> имеют нормальное распределние <tex>N(0,\sigma^2)</tex>. Для анализа неизвестной дисперсии <tex>\sigma^2</tex> шума может быть использовано свойство, что [[многомерная случайная величина|случайная величина]]
-
::<tex>\frac{RSS}{\sigma^2} \sim \chi^2_{n-k}</tex> :распределена по
+
::<tex>\frac{RSS}{\sigma^2} \sim \chi^2_{n-k}</tex>
-
[[распределение хи-квадрат|закону хи-квадрат]] с <tex>n-k</tex>
+
:распределена по [[распределение хи-квадрат|закону хи-квадрат]] с <tex>n-k</tex> степенями свободы.
-
степенями свободы.
+
*Тогда доверительный интервал с доверительной вероятностью <tex>1-\alpha</tex> для дисперсии шума равен:
*Тогда доверительный интервал с доверительной вероятностью <tex>1-\alpha</tex> для дисперсии шума равен:
-
::<tex>\frac{RSS}{\chi^2_{n-k,\frac{\alpha}2}} \leq \sigma^2 \leq
+
::<tex>\frac{RSS}{\chi^2_{n-k,\frac{\alpha}2}} \leq \sigma^2 \leq \frac{RSS}{\chi^2_{n-k,1-\frac{\alpha}2}},</tex>
-
\frac{RSS}{\chi^2_{n-k,1-\frac{\alpha}2}},</tex> :где
+
:где <tex>\chi_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] распределения хи-квадрат с <tex>n-k</tex> степенями свободы.
-
<tex>\chi_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]]
+
-
распределения хи-квадрат с <tex>n-k</tex> степенями свободы.
+
==Доверительный интервал для прогнозного значения отклика==
==Доверительный интервал для прогнозного значения отклика==
*Как и в случае построения доверительного интервала для коэффициентов регрессии, воспользуемся свойством, что величина
*Как и в случае построения доверительного интервала для коэффициентов регрессии, воспользуемся свойством, что величина
-
::<tex>\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}
+
::<tex>\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}\sim t_{n-k}</tex> :имеет [[распределение Стьюдента]] с
-
\sim t_{n-k}</tex> :имеет [[распределение Стьюдента]] с
+
<tex>n-k</tex> степенями свободы.
<tex>n-k</tex> степенями свободы.
*Пусть <tex>x_0 = (x_{01}\cdots x_{0k})</tex> - новый объект в регрессионной модели, положим <tex>c=x_0.</tex>
*Пусть <tex>x_0 = (x_{01}\cdots x_{0k})</tex> - новый объект в регрессионной модели, положим <tex>c=x_0.</tex>
*Тогда доверительный интервал для значения отклика <tex>y(x_0)</tex> с доверительной вероятностью <tex>1-\alpha</tex> будеи иметь вид:
*Тогда доверительный интервал для значения отклика <tex>y(x_0)</tex> с доверительной вероятностью <tex>1-\alpha</tex> будеи иметь вид:
-
::<tex> x_0^T\hat\theta-\Delta y_0 \leq y(x_0) \leq
+
::<tex> x_0^T\hat\theta-\Delta y_0 \leq y(x_0) \leq x_0^T\hat\theta+\Delta y_0, \;</tex>
-
x_0^T\hat\theta+\Delta y_0, \;</tex> где ::<tex>x_0^T\hat\theta =
+
где
-
\hat y_0;</tex> ::<tex>\Delta y_0 =
+
::<tex>x_0^T\hat\theta = \hat y_0;</tex>
-
t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{x_0^T(X^TX)^{-1}x_0}.</tex>
+
::<tex>\Delta y_0 = t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{x_0^T(X^TX)^{-1}x_0},\; t_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] распределения Стьюдента с <tex>n-k</tex> степенями свободы.
 +
 
 +
==Литература==
 +
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
 +
# ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
 +
 
 +
==См. также==
 +
* [[Многомерная линейная регрессия]]
 +
* [[Метод наименьших квадратов]]
 +
* [[Статистические свойства МНК-оценок коэффициентов регрессии]]
 +
 
 +
==Ссылки==
 +
 
 +
[[Категория:Прикладная статистика]]
 +
[[Категория:Регрессионный анализ]]

Текущая версия

После того как были изучены статистические свойства МНК-оценок коэффициентов регрессии, можно переходить к построению доверительных интервалов для коэффициентов регрессии, дисперсии шума, а также прогнозного значения отклика.

Содержание

Доверительный интервал для коэффициентов регрессии

  • Работаем в предположениях, что выполнены ОП1, ОП2 и ДП3. Тогда можем воспользовать тем свойством, что величина
\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}\sim t_{n-k}
имеет распределение Стьюдента с n-k степенями свободы.
  • Далее, если взять c = (0\cdots 01\limits^j 0\cdots 0) (т.е. произведение c^T\hat\theta выделяет j-ю компоненту вектора \hat\theta), то получим
\Delta\hat\theta = t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{(X^TX)^{-1}_{jj}},
где t_{\alpha} есть \alpha-квантиль распределения Стьюдента с n-k степенями свободы.
  • Тогда двусторонний доверительный интервал с доверительной вероятностью 1-\alpha для коэффициента регрессии \theta_j будет иметь вид:
\hat\theta_j-\Delta\hat\theta_j \leq \theta_j \leq \hat\theta_j+\Delta\hat\theta_j.

Доверительный интервал для дисперсии шума

  • Регрессионные остатки (шум) \varepsilon_i имеют нормальное распределние N(0,\sigma^2). Для анализа неизвестной дисперсии \sigma^2 шума может быть использовано свойство, что случайная величина
\frac{RSS}{\sigma^2} \sim \chi^2_{n-k}
распределена по закону хи-квадрат с n-k степенями свободы.
  • Тогда доверительный интервал с доверительной вероятностью 1-\alpha для дисперсии шума равен:
\frac{RSS}{\chi^2_{n-k,\frac{\alpha}2}} \leq \sigma^2 \leq \frac{RSS}{\chi^2_{n-k,1-\frac{\alpha}2}},
где \chi_{\alpha} есть \alpha-квантиль распределения хи-квадрат с n-k степенями свободы.

Доверительный интервал для прогнозного значения отклика

  • Как и в случае построения доверительного интервала для коэффициентов регрессии, воспользуемся свойством, что величина
\frac{c^T(\hat\theta-\theta)}{\hat\sigma\sqrt{c^T(X^TX)^{-1}c}}\sim t_{n-k} :имеет распределение Стьюдента с

n-k степенями свободы.

  • Пусть x_0 = (x_{01}\cdots x_{0k}) - новый объект в регрессионной модели, положим c=x_0.
  • Тогда доверительный интервал для значения отклика y(x_0) с доверительной вероятностью 1-\alpha будеи иметь вид:
x_0^T\hat\theta-\Delta y_0 \leq y(x_0) \leq x_0^T\hat\theta+\Delta y_0, \;

где

x_0^T\hat\theta = \hat y_0;
\Delta y_0 = t_{n-k,1-\frac{\alpha}2}\hat\sigma\sqrt{x_0^T(X^TX)^{-1}x_0},\; t_{\alpha} есть \alpha-квантиль распределения Стьюдента с n-k степенями свободы.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  2. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.

См. также

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%94%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%B2%D0%B0%D0%BB%D1%8B_%D0%B4%D0%BB%D1%8F_%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%BE%D0%B2_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%B8»
Личные инструменты