Статистическое оценивание

Материал из MachineLearning.

(Различия между версиями)

Версия 15:15, 10 ноября 2009

Содержание

1 Постановка задачи
2 Литература
3 Ссылки

Постановка задачи

Задача статистического оценивания неизвестных параметров - одна из двух основных (наряду с задачей проверки статистических гипотез) задач математической статистики.

Предположим, что имеется параметрическое семейство распределений вероятностей $F(t,\theta)$ (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь $\theta\in\mathbb{R}$ - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке $X^n=(X_1,\ldots,X_n)$ значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы.

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра $\theta$ приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

$\widehat\theta_n=\widehat\theta_n(X^n)$ ,

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению $\theta$ .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки $n$ . Это означает, что оценка $\widehat\theta_n$ должна сходиться к истинному значению $\theta$ при $n\to\infty$ . Это свойство оценки и называется состоятельностью. Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

- если $\widehat\theta_n$ сходится к истинному значению $\theta$ с вероятностью 1 (почти наверное), то тогда оценка называется сильно состоятельной;
- если имеет место сходимость по вероятности $\widehat{\theta}_n\stackrel{P}{\longrightarrow}\theta$ , то тогда оценка называется слабо состоятельной.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность

...to be continued...

К точечному оцениванию относятся метод моментов, метод минимального расстояния $\chi^2$ , метод максимального правдоподобия, метод наименьших квадратов.

Свойства точечных оценок

Cостоятельность: $\hat{\theta}_n\stackrel{\mathbb{P}}{\longrightarrow}\theta$

(оценка сходится по вероятности к параметру $\theta$ )

Несмещённость:
- Асимптотическая несмещённость: $\lim\limits_{n\rightarrow\infty}\mathsf{E}\hat{\theta}_n=\theta$
Эффективность: в классе несмещенных оценок

$\mathsf{D}\hat{\theta}_n=\min\mathsf{D}\hat{\theta}_n',$ где $\hat{\theta}'_n:\; \mathsf{E}\hat{\theta}'_n=\theta$

(эффективная оценка обладает минимальной дисперсией среди всех несмещенных оценок)

Статистика $T$ называется достаточной, если

$F(X^n|T=t,\theta)=F(X^n|T=t)$

Критерий факторизации

Теорема
Статистика $T(X^n)$ является достаточной тогда и только тогда, когда

$F(X^n,\theta)=g(T,\theta)h(X^n)$

Литература

Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

Ссылки

Статистическое оценивание(Яндекс.Словари)
Точечная оценка (Википедия)
Point estimation (Wikipedia)
Estimator (Wikipedia)

Это незавершённая статья. Вы поможете проекту, исправив и дополнив её.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BE%D1%86%D0%B5%D0%BD%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5»

Категории: Прикладная статистика | Математическая статистика | Энциклопедия анализа данных | Незавершённые статьи

@@ Строка 16: / Строка 16: @@
 Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.
-===Состоятельность===
+====Состоятельность====
+Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки <tex>n</tex>. Это означает, что оценка <tex>\widehat\theta_n</tex> должна сходиться к истинному значению <tex>\theta</tex> при <tex>n\to\infty</tex>. Это свойство оценки и называется '''состоятельностью'''. Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:
+** если <tex>\widehat\theta_n</tex> сходится к истинному значению <tex>\theta</tex> с вероятностью 1 (почти наверное), то тогда оценка называется '''сильно состоятельной''';
+** если имеет место [[сходимость по вероятности]] <tex>\widehat{\theta}_n\stackrel{P}{\longrightarrow}\theta</tex>, то тогда оценка называется '''слабо состоятельной'''.
+Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.
+====Несмещенность====
 ''...to be continued...''