Достаточная статистика

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м (→Примеры)
Строка 25: Строка 25:
Зная только лишь <tex>\sum X_i</tex> и не имея никакой другой информации о <tex>X_i</tex> и <tex>p,</tex> можно, используя талбицу случайных чисел, сконструировать множество случайных величин <tex>X'_1,X'_2,\ldots,X'_n,</tex> совместное распределение которых будет таким же, как совместное распределение <tex>X_1,X_2,\ldots,X_n.</tex> Таким образом, информация о параметре <tex>p,</tex> содержащаяся в <tex>X_i</tex>, соответствует информации, имеющейся в <tex>\sum X_i</tex> и в таблице случайных чисел.
Зная только лишь <tex>\sum X_i</tex> и не имея никакой другой информации о <tex>X_i</tex> и <tex>p,</tex> можно, используя талбицу случайных чисел, сконструировать множество случайных величин <tex>X'_1,X'_2,\ldots,X'_n,</tex> совместное распределение которых будет таким же, как совместное распределение <tex>X_1,X_2,\ldots,X_n.</tex> Таким образом, информация о параметре <tex>p,</tex> содержащаяся в <tex>X_i</tex>, соответствует информации, имеющейся в <tex>\sum X_i</tex> и в таблице случайных чисел.
 +
 +
==Распределение Пуассона==

Версия 12:32, 8 ноября 2010

Статистика T_n=T_n(X_1,\ldots,X_n) назвается достаточной для параметра \theta, если условное распределение выборки X^n=(X_1,\ldots,X_n) при условии того, что T_n=a, не зависит от параметра \theta для всех a\in\mathbb{R}.

Важность понятия достаточной статистики обуславливается следующим утверждением. Если T_n - достаточная статистика, а \widehat\theta_n - несмещенная оценка параметра \theta, тогда условное математическое ожидание \mathbb{E}(\widehat\theta_n|T_n) является также несмещенной оценкой параметра \theta, причем ее дисперсия меньше или равна дисперсии исходной оценки \widehat\theta_n.

Напомним, что условное математическое ожидание \mathbb{E}(\widehat\theta_n|T_n) есть случайная величина, являющаяся функцией от T_n. Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке X^n.

Содержание

Критерий факторизации

Пусть p(X^n,\theta) - плотность распределения выборки в абсолютно непрерывном случае или вероятность в дискретном случае. Тогда статистика T_n(X^n) является достаточной для параметра \theta тогда и только тогда, когда p может быть представлена в виде произведения двух сомножителей:

p(X^n,\theta)=g(T_n(X^n),\theta)\cdot h(X^n),

первый из которых зависит от выборки только через значение статистики T_n, а второй не зависит от параметра \theta.


Примеры

Вероятность успеха в последовательности испытаний Бернулли

Пусть мы имеем дело с последовательностью испытаний Бернулли: испытания проводятся с неизвестной постоянной вероятностью успеха p, X_i=1 означает успех, X_i=1 --- неудачу.

Выборка \left(X_1,X_2,\ldots,X_n\right) содержит информацию о количестве успехов в серии испытаний и порядке их появления. С точки зрения задачи оценивания параметра p, порядок появления не даёт нам никакой информации. Если известно, что число успехов в последовательности испытаний \sum X_i равно t, то все {n} \choose {t} перестановок успехов равновероятны вне зависимости от p.

Зная только лишь \sum X_i и не имея никакой другой информации о X_i и p, можно, используя талбицу случайных чисел, сконструировать множество случайных величин X'_1,X'_2,\ldots,X'_n, совместное распределение которых будет таким же, как совместное распределение X_1,X_2,\ldots,X_n. Таким образом, информация о параметре p, содержащаяся в X_i, соответствует информации, имеющейся в \sum X_i и в таблице случайных чисел.

Распределение Пуассона

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%94%D0%BE%D1%81%D1%82%D0%B0%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0»
Личные инструменты