Статистическое оценивание

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м (Достаточные статистики)
 
(18 промежуточных версий не показаны.)
Строка 1: Строка 1:
 +
==Постановка задачи==
 +
 +
Задача '''статистического оценивания неизвестных параметров''' - одна из двух основных (наряду с задачей [[проверка_статистических_гипотез|проверки статистических гипотез]]) задач [[математическая_статистика|математической статистики]].
 +
 +
Предположим, что имеется параметрическое семейство распределений вероятностей <tex>F(t,\theta)</tex> (для простоты будем рассматривать распределение [[случайная_величина|случайных величин]] и случай одного параметра). Здесь <tex>\theta\in\mathbb{R}</tex> - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся [[выборка|выборке]] <tex>X^n=(X_1,\ldots,X_n)</tex> значений, порожденной данным распределением.
 +
 +
Различают два основных типа оценок: '''точечные оценки''' и '''доверительные интервалы'''.
 +
==Точечное оценивание==
==Точечное оценивание==
-
Точечное оценивание - это вид [[Статистическое оценивание|статистического оценивания]], при котором значение параметра приближается числом.
+
Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра <tex>\theta</tex> приближается отдельным числом. То есть необходимо указать функцию от выборки ([[Cтатистика_(функция_выборки)|статистику]])
-
К точечному оцениванию относятся [[Метод моментов|метод моментов]], [[Метод минимального расстояния хи-квадрат|метод минимального расстояния <tex>\chi^2</tex>]], [[Метод максимального правдоподобия|метод максимального правдоподобия]], [[Метод наименьших квадратов|метод наименьших квадратов]].
+
<center><tex>\widehat\theta_n=\widehat\theta_n(X^n)</tex>,</center>
-
===Примеры===
+
значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению <tex>\theta</tex>.
-
Ниже приведены примеры задач, в которых используется точечное оценивание
+
-
'''Пример 1'''
+
К общим методам построения точечных оценок параметров относятся: [[метод максимального правдоподобия]], [[метод моментов]], [[метод квантилей]].
-
Оценка средней скорости, дисперсии и средней кинетической энергии молекулы.
+
Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.
-
'''Пример 2'''
+
===Состоятельность===
-
Оценка числа частиц золота, взвешенного в воде, попадающих в некоторую определенную область.
+
Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки <tex>n</tex>. Это означает, что оценка <tex>\widehat\theta_n</tex> должна сходиться к истинному значению <tex>\theta</tex> при <tex>n\to\infty</tex>. Это свойство оценки и называется '''состоятельностью'''. Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:
 +
* если <tex>\widehat\theta_n</tex> сходится к истинному значению <tex>\theta</tex> с вероятностью 1 (почти наверное), то тогда оценка называется '''сильно состоятельной''';
 +
* если имеет место [[сходимость по вероятности]] <tex>\widehat{\theta}_n\stackrel{P}{\longrightarrow}\theta</tex>, то тогда оценка называется '''слабо состоятельной'''.
-
===Определение===
+
Когда употребляют просто термин ''состоятельность'', то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.
-
Пусть выборка <tex>X^n=(X_1,\ldots,X_n)</tex> имеет распределение <tex>F(x,\theta)</tex>, где <tex>\theta</tex> - неизвестный параметр распределения.
+
Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.
-
Будем считать, что <tex>\theta \in \mathbb{R}</tex>.
+
===Несмещенность и асимптотическая несмещенность===
-
'''То́чечная оце́нка''' параметра <tex>\theta</tex> - это статистика <tex>\hat{\theta}_n=\hat{\theta}(X^n)</tex>
+
Оценка <tex>\widehat\theta_n</tex> параметра <tex>\theta</tex> называется '''несмещенной''', если ее математическое ожидание равно истинному значению оцениваемого параметра:
-
===Свойства точечных оценок===
+
 
-
* [[Состоятельная оценка|Cостоятельность]]: <tex>\hat{\theta}_n\stackrel{\mathbb{P}}{\longrightarrow}\theta</tex>
+
<center><tex>\mathbb{E}\widehat\theta_n=\theta</tex>.</center>
-
(оценка [[Сходимость по вероятности|сходится по вероятности]] к параметру <tex>\theta</tex>)
+
 
-
* [[Несмещённая оценка|Несмещённость]]: <tex>\mathsf{E}\hat{\theta}_n=\mathsf{E}_{X^n}\hat{\theta}(X^n)=\theta</tex>
+
Более слабым условием является '''асимптотическая несмещенность''', которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:
-
**[[Асимптотически несмещённая оценка|Асимптотическая несмещённость]]: <tex>\lim\limits_{n\rightarrow\infty}\mathsf{E}\hat{\theta}_n=\theta</tex>
+
 
-
* [[Эффективная оценка|Эффективность]]: в классе [[Несмещённая оценка|несмещенных оценок]]
+
<center><tex>\lim_{n\to\infty}\mathbb{E}\widehat\theta_n=\theta</tex>.</center>
-
::<tex>\mathsf{D}\hat{\theta}_n=\min\mathsf{D}\hat{\theta}_n',</tex> где <tex>\hat{\theta}'_n:\; \mathsf{E}\hat{\theta}'_n=\theta</tex>
+
 
-
<br/ >(эффективная оценка обладает минимальной дисперсией среди всех [[Несмещённая оценка|несмещенных оценок]])
+
Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим [[распределение Пуассона]] с параметром <tex>\lambda</tex> и поставим задачу оценки параметра <tex>\theta=1/\lambda</tex>. Можно доказать, что для этой задачи не существует несмещенной оценки.
-
* Статистика <tex>T</tex> называется [[Достаточная оценка|достаточной]], если
+
 
-
::<tex>F(X^n|T=t,\theta)=F(X^n|T=t)</tex>
+
===Сравнение оценок и эффективность===
-
===Критерий факторизации===
+
 
-
'''Теорема'''
+
Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую ''функцию риска'', которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.
-
<br/ >Статистика <tex>T(X^n)</tex> является [[Достаточная оценка|достаточной]] тогда и только тогда, когда
+
 
-
::<tex>F(X^n,\theta)=g(T,\theta)h(X^n)</tex>
+
Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения
 +
 
 +
<center><tex>\mathbb{E}(\widehat\theta_n-\theta)^2</tex></center>
 +
 
 +
Для несмещенных оценок это есть просто [[дисперсия]] <tex>D\widehat\theta_n</tex>.
 +
 
 +
Существует нижняя граница на данную функцию риска, называемая ''неравенство Крамера-Рао''.
 +
 
 +
(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются '''эффективными'''. Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.
 +
 
 +
Более слабым является условие '''асимптотической эффективности''', которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при <tex>n\to\infty</tex>.
 +
 
 +
Заметим, что при достаточно широких предположениях относительно исследуемого распределения, [[метод максимального правдоподобия]] дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.
 +
 
 +
===Достаточные статистики===
 +
{{Main|Достаточная статистика}}
 +
Статистика <tex>T_n=T_n(X_1,\ldots,X_n)</tex> назвается '''достаточной''' для параметра <tex>\theta</tex>, если условное распределение выборки <tex>X^n=(X_1,\ldots,X_n)</tex> при условии того, что <tex>T_n=a</tex>, не зависит от параметра <tex>\theta</tex> для всех <tex>a\in\mathbb{R}</tex>.
 +
 
 +
Важность понятия достаточной статистики обуславливается следующим '''утверждением'''. Если <tex>T_n</tex> - достаточная статистика, а <tex>\widehat\theta_n</tex> - несмещенная оценка параметра <tex>\theta</tex>, тогда [[условное математическое ожидание]] <tex>\mathbb{E}(\widehat\theta_n|T_n)</tex> является также несмещенной оценкой параметра <tex>\theta</tex>, причем ее дисперсия меньше или равна дисперсии исходной оценки <tex>\widehat\theta_n</tex>.
 +
 
 +
Напомним, что [[условное математическое ожидание]] <tex>\mathbb{E}(\widehat\theta_n|T_n)</tex> есть случайная величина, являющаяся функцией от <tex>T_n</tex>. Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).
 +
 
 +
(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.
 +
 
 +
Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке <tex>X^n</tex>.
 +
 
 +
==Доверительные интервалы==
 +
 
 +
Другим типом оценок статистических параметров являются [[доверительный интервал|доверительные интервалы]].
 +
 
 +
'''Доверительный интервал''' - это случайный интервал, построенный по [[выборка|выборке]] (верхняя и нижняя границы этого интервала должны быть [[Статистика (функция выборки)|статистиками]]), который содержит (''накрывает'') истинное значение параметра с вероятностью, не меньшей заданного значения.
 +
 
 +
Доверительные интервалы используются, когда нам нужны надежные границы, в которые попадает значение оцениваемого параметра.
 +
 
 +
Часто вместе с точечной оценкой параметра строят доверительный интервал, середина которого равна этой оценке. Его ширина является наглядной характеристикой того, насколько точна может быть данная точечная оценка.
 +
 
 +
Иногда бывает наоборот: естественным образом строится некоторый доверительный интервал, а в качестве точечной оценки параметра рассматривают его середину.
 +
 
 +
Подробнее см. статью [[доверительный интервал]].
== Литература ==
== Литература ==
Строка 45: Строка 92:
|год = 2006
|год = 2006
|страниц = 816
|страниц = 816
 +
}}
 +
 +
# {{книга
 +
|автор = Гарольд Крамер.
 +
|заглавие = Математические методы статистики
 +
|издательство = М.: Гос. изд-во иностр. лит-ры
 +
|год = 1948
 +
|страниц = 631
 +
}}
 +
 +
# {{книга
 +
|автор = под ред. В.С. Королюка.
 +
|заглавие = Справочник по теории вероятностей и математической статистике
 +
|издательство = Киев: Наукова думка
 +
|год = 1978
 +
|страниц = 582
}}
}}
Строка 54: Строка 117:
[[Категория:Прикладная статистика]]
[[Категория:Прикладная статистика]]
 +
[[Категория:Математическая статистика]]
[[Категория:Энциклопедия анализа данных]]
[[Категория:Энциклопедия анализа данных]]
-
 
-
{{stub}}
 

Текущая версия

Содержание

Постановка задачи

Задача статистического оценивания неизвестных параметров - одна из двух основных (наряду с задачей проверки статистических гипотез) задач математической статистики.

Предположим, что имеется параметрическое семейство распределений вероятностей F(t,\theta) (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь \theta\in\mathbb{R} - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке X^n=(X_1,\ldots,X_n) значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы.

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра \theta приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

\widehat\theta_n=\widehat\theta_n(X^n),

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению \theta.

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия, метод моментов, метод квантилей.

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки n. Это означает, что оценка \widehat\theta_n должна сходиться к истинному значению \theta при n\to\infty. Это свойство оценки и называется состоятельностью. Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

  • если \widehat\theta_n сходится к истинному значению \theta с вероятностью 1 (почти наверное), то тогда оценка называется сильно состоятельной;
  • если имеет место сходимость по вероятности \widehat{\theta}_n\stackrel{P}{\longrightarrow}\theta, то тогда оценка называется слабо состоятельной.

Когда употребляют просто термин состоятельность, то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка \widehat\theta_n параметра \theta называется несмещенной, если ее математическое ожидание равно истинному значению оцениваемого параметра:

\mathbb{E}\widehat\theta_n=\theta.

Более слабым условием является асимптотическая несмещенность, которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

\lim_{n\to\infty}\mathbb{E}\widehat\theta_n=\theta.

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром \lambda и поставим задачу оценки параметра \theta=1/\lambda. Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска, которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

\mathbb{E}(\widehat\theta_n-\theta)^2

Для несмещенных оценок это есть просто дисперсия D\widehat\theta_n.

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао.

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными. Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности, которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при n\to\infty.

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Основная статья: Достаточная статистика

Статистика T_n=T_n(X_1,\ldots,X_n) назвается достаточной для параметра \theta, если условное распределение выборки X^n=(X_1,\ldots,X_n) при условии того, что T_n=a, не зависит от параметра \theta для всех a\in\mathbb{R}.

Важность понятия достаточной статистики обуславливается следующим утверждением. Если T_n - достаточная статистика, а \widehat\theta_n - несмещенная оценка параметра \theta, тогда условное математическое ожидание \mathbb{E}(\widehat\theta_n|T_n) является также несмещенной оценкой параметра \theta, причем ее дисперсия меньше или равна дисперсии исходной оценки \widehat\theta_n.

Напомним, что условное математическое ожидание \mathbb{E}(\widehat\theta_n|T_n) есть случайная величина, являющаяся функцией от T_n. Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке X^n.

Доверительные интервалы

Другим типом оценок статистических параметров являются доверительные интервалы.

Доверительный интервал - это случайный интервал, построенный по выборке (верхняя и нижняя границы этого интервала должны быть статистиками), который содержит (накрывает) истинное значение параметра с вероятностью, не меньшей заданного значения.

Доверительные интервалы используются, когда нам нужны надежные границы, в которые попадает значение оцениваемого параметра.

Часто вместе с точечной оценкой параметра строят доверительный интервал, середина которого равна этой оценке. Его ширина является наглядной характеристикой того, насколько точна может быть данная точечная оценка.

Иногда бывает наоборот: естественным образом строится некоторый доверительный интервал, а в качестве точечной оценки параметра рассматривают его середину.

Подробнее см. статью доверительный интервал.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.
  1. Гарольд Крамер. Математические методы статистики. — М.: Гос. изд-во иностр. лит-ры, 1948. — 631 с.
  1. под ред. В.С. Королюка. Справочник по теории вероятностей и математической статистике. — Киев: Наукова думка, 1978. — 582 с.

Ссылки

Личные инструменты