Интервальная оценка

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Пример 3. Доверительный интервал для математического ожидания.)
(→Пример 3. Доверительный интервал для математического ожидания.)
Строка 51: Строка 51:
Воспользуемся тем, что величина <tex>M^*</tex> представляет собой сумму <tex>n</tex> независимых случайных величин, и, согласно центральной предельной теореме, при достаточно большом <tex>n</tex> ее закон близок к нормальному. Поэтому будем считать, что величина <tex>M^*</tex> распределена по нормальному закону. Характеристики этого закона - математическое ожидание и дисперсия - равны соответственно M (настоящее МО случайной величины <tex>X</tex>) и <tex>\frac{D}{n}</tex>.
Воспользуемся тем, что величина <tex>M^*</tex> представляет собой сумму <tex>n</tex> независимых случайных величин, и, согласно центральной предельной теореме, при достаточно большом <tex>n</tex> ее закон близок к нормальному. Поэтому будем считать, что величина <tex>M^*</tex> распределена по нормальному закону. Характеристики этого закона - математическое ожидание и дисперсия - равны соответственно M (настоящее МО случайной величины <tex>X</tex>) и <tex>\frac{D}{n}</tex>.
-
Найдем такую величину <tex>\delta</tex>, для которой <tex>P(|M^*-M|<\delta)=\alpha</tex>. Перепишем это в эквивалентном виде <tex>P(\frac{|M^*-M|}{\sqrt{D/n}}<\frac{\delta}{ \sqrt{D/n}})=\alpha</tex> и скажем, что случайная величина перед знаком неравенства есть модуль от стандартной нормальной. Получаем, что <tex>2\Phi(\frac{\delta}{ \sqrt{D/n}})-1=\alpha</tex>.
+
Найдем такую величину <tex>\delta</tex>, для которой <tex>P(|M^*-M|<\delta)=\alpha</tex>. Перепишем это в эквивалентном виде <tex>P(\frac{|M^*-M|}{\sqrt{D/n}}<\frac{\delta}{ \sqrt{D/n}})=\alpha</tex> и скажем, что случайная величина перед знаком неравенства есть модуль от стандартной нормальной. Получаем, что <tex>2\Phi(\frac{\delta}{ \sqrt{D/n}})-1=\alpha</tex>, и <tex>\delta=\sqrt{\frac{D}{n}} * \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\)</tex>. В случае неизвестной дисперсии ее можно заменить на оценку <tex>D^*</tex>.
-
И окончательно получаем <tex>\delta=\sqrt{\frac{D}{n}} * \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\)</tex>
+
Квантили стандартного нормального распределения:
 +
<table>
 +
<tr><td><tex>p</tex></td><td>Квантиль порядка <tex>p</tex>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td><td><tex>p</tex></td><td>Квантиль порядка <tex>p</tex></td></tr>
 +
<tr><td>0.01</td><td>-2.326348</td><td>0.60</td><td>0.253347</td></tr>
 +
<tr><td>0.025</td><td>-1.959964</td><td>0.70</td><td>0.524401</td></tr>
 +
<tr><td>0.05</td><td>-1.644854</td><td>0.80</td><td>0.841621</td></tr>
 +
<tr><td>0.10</td><td>-1.281552</td><td>0.90</td><td>1.281552</td></tr>
 +
<tr><td>0.30</td><td>-0.524401</td><td>0.95</td><td>1.644854</td></tr>
 +
<tr><td>0.40</td><td>-0.253347</td><td>0.975</td><td>1.959964</td></tr>
 +
<tr><td>0.50</td><td>0</td><td>0.99</td><td>2.326348</td></tr>
 +
</table>
 +
 
 +
Например, выбирая <tex>\alpha=0.05</tex>, получаем коэффициент <tex>\Phi^{-1}\left\( \frac{\alpha+1}{2}\right\)=1.96</tex>
 +
 
 +
Окончательно: с вероятностью <tex>\alpha</tex> можно сказать, что <tex>M \in \left\( M^*- \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\) \frac{D^*}{\sqrt{n}}, M^*+ \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\) \frac{D^*}{\sqrt{n}} \right\)</tex>
==Литература==
==Литература==

Версия 12:41, 16 февраля 2010

Интервальное оценивание - один из видов статистического оценивания, предполагающий построение интервала, в котором с некоторой вероятностью находится истинное значение оцениваемого параметра.

Содержание

Определение

Пусть \theta - неизвестный параметр генеральной совокупности. По сделанной выборке по определенным правилам находятся числа \theta_1 и \theta_2, такие чтобы выполнялось неравенство:

P\{\theta_1 < \theta < \theta_2 \} = 1-\alpha.

Интервал (\theta_1, \theta_2) является доверительным интервалом для параметра \theta, а число 1-\alpha - доверительной вероятностью или надежностью сделанной оценки. Обычно надежность задается заранее, причем выбираются числа близкие к 1 (0.95, 0.99 или 0.999).

Примеры интервальных оценок

Пример 1. Доверительное оценивание по вариационному ряду.

Пусть задана выборка X^n=(x_1,\cdots,x_n) некоторой случайной величины X. Построим вариационный ряд выборки x^{(1)}<\cdots<x^{(n)}:


Очевидно, что вероятность попасть в любой из (n+1) - го интервалов значений случайной ведичины X одинакова и равна \frac1{n+1}. Тогда вероятность того, что случайная величина X приняла значение из интервала (x^{(k)},x^{(l)}), где l>k будет равна:

P_{X^n,x}\{x\in(x^{(k)},x^{(l)})\} = \frac{l-k}{n+1}.

Вопрос: чему должен быть равен размер выборки n, чтобы вероятность попасть в интервал (\min\limits_i(x_i), \max\limits_i(x_i)) составила 95%.

Подставляя значение для доверительной вероятности в формулу выше, получим:
0.95 = P_{X^n,x}\{x\in(x^{(1)},x^{(n)})\} = \frac{n-1}{n+1},
откуда n=39.

Таким образом, при достаточном для заданной доверительной вероятности числе измерений случайной величины X по набору ее порядковых статистик может быть оценен диапазон принимаемых ею значений.

Пример 2. Доверительный интервал для медианы.

Таблица 1
Таблица 1

Пусть задана выборка X^n=(x_1,\cdots,x_n) некоторой случайной величины X.

x_k \leq \tilde x \leq x_{n-k+1},
где
k = \frac12 (n-1.64\sqrt n-1) при \alpha=0.1;
k = \frac12 (n-1.96\sqrt n-1) при \alpha=0.05;
k = \frac12 (n-2.58\sqrt n-1) при \alpha=0.01.
  • Для значений n\leq50 номера порядковых статистик, заключающих в себе медиану, при \alpha=0.05 и \alpha=0.01 приведены в таблице 1, взятой из [3].

Пример 3. Доверительный интервал для математического ожидания.

Пусть задана выборка X^n=(x_1,\cdots,x_n) некоторой случайной величины X, арактеристики которой (дисперсия D и математическое ожидание M) неизвестны. Эти параметры оценим так:

M^*=\frac{\sum\limits_{i=1}^n{x_i}}{n}
D^*=\frac{\sum\limits_{i=1}^{n}{(x_i-M^*)^2}}{n-1} - несмещенная оценка дисперсии.

Величину \sqrt{D^*} называют оценкой среднего квадратического отклонения. Воспользуемся тем, что величина M^* представляет собой сумму n независимых случайных величин, и, согласно центральной предельной теореме, при достаточно большом n ее закон близок к нормальному. Поэтому будем считать, что величина M^* распределена по нормальному закону. Характеристики этого закона - математическое ожидание и дисперсия - равны соответственно M (настоящее МО случайной величины X) и \frac{D}{n}.

Найдем такую величину \delta, для которой P(|M^*-M|<\delta)=\alpha. Перепишем это в эквивалентном виде P(\frac{|M^*-M|}{\sqrt{D/n}}<\frac{\delta}{ \sqrt{D/n}})=\alpha и скажем, что случайная величина перед знаком неравенства есть модуль от стандартной нормальной. Получаем, что 2\Phi(\frac{\delta}{ \sqrt{D/n}})-1=\alpha, и \delta=\sqrt{\frac{D}{n}} * \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\). В случае неизвестной дисперсии ее можно заменить на оценку D^*.

Квантили стандартного нормального распределения:

pКвантиль порядка p            pКвантиль порядка p
0.01-2.3263480.600.253347
0.025-1.9599640.700.524401
0.05-1.6448540.800.841621
0.10-1.2815520.901.281552
0.30-0.5244010.951.644854
0.40-0.2533470.9751.959964
0.5000.992.326348

Например, выбирая \alpha=0.05, получаем коэффициент \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\)=1.96

Окончательно: с вероятностью \alpha можно сказать, что M \in \left\( M^*- \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\) \frac{D^*}{\sqrt{n}}, M^*+ \Phi^{-1}\left\( \frac{\alpha+1}{2}\right\) \frac{D^*}{\sqrt{n}} \right\)

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  2. Гмурман В. Е. Теория вероятностей и математическая статистика. - М.: Высшая Школа, 2003.
  3. Закс Л. Статистическое оценивание / Пер. с нем. - М.: Статистика, 1976.

См. также

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%98%D0%BD%D1%82%D0%B5%D1%80%D0%B2%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BE%D1%86%D0%B5%D0%BD%D0%BA%D0%B0»
Личные инструменты