Неравенство Рао-Крамера

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{well|Статья написана с использованием LLM DeepSeek и проверена участником Mariia Shubina 21:00, 17 ...)
 
(1 промежуточная версия не показана)
Строка 1: Строка 1:
-
{{well|Статья написана с использованием LLM DeepSeek и проверена участником [[Участник:Mariia Shubina|Mariia Shubina]] 21:00, 17 июля 2026 (MSD)}}
+
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Mariia Shubina|Mariia Shubina]] 23:00, 17 июля 2026 (MSD)}}
{{TOCright}}
{{TOCright}}
-
== Неравенство Рао — Крамера ==
+
'''Неравенство Рао — Крамера''' (также '''граница Крамера — Рао''', '''информационная граница''') — фундаментальный результат [[Математическая статистика|математической статистики]], задающий нижнюю границу [[Дисперсия|дисперсии]] несмещённых оценок параметра регулярной вероятностной модели. Граница выражается через [[Фишеровская информация|информацию Фишера]]: чем больше информации о параметре содержится в наблюдениях, тем меньшая дисперсия в принципе возможна у несмещённой [[Статистическая оценка|статистической оценки]].
-
'''Неравенство Рао — Крамера''' (англ. ''Cramér–Rao inequality''), также известное как '''информационное неравенство''' или '''неравенство Крамера — Рао''', — фундаментальное утверждение в [[Математическая статистика|математической статистике]] и [[Теория оценивания|теории оценивания]], устанавливающее нижнюю границу для [[Дисперсия|дисперсии]] [[Несмещённая оценка|несмещённых оценок]] неизвестных параметров вероятностных моделей. Эта граница выражается через [[Фишеровская информация|информацию Фишера]] и определяет теоретический предел точности, достижимый при оценивании параметра по конечной выборке.
+
Неравенство решает задачу сравнения процедур оценивания без необходимости перебирать все возможные оценки. Если дисперсия некоторой несмещённой оценки совпадает с границей Рао — Крамера, то никакая другая несмещённая оценка не может иметь меньшую дисперсию в данной точке параметра. Если граница не достигается, она всё равно служит эталоном точности и позволяет измерять, насколько конкретная оценка далека от теоретически возможного уровня.
-
Неравенство играет центральную роль в обосновании [[Метод максимального правдоподобия|метода максимального правдоподобия]], служит инструментом для сравнения оценок и позволяет характеризовать асимптотическую эффективность процедур оценивания. Впервые аналогичные неравенства были получены независимо М. Фреше (1943), [[Крамер, Харальд|Х. Крамером]] (1946) и [[Рао, Кальямпуди Радхакришна|К. Р. Рао]] (1945), причём работа Рао содержала наиболее общую формулировку в терминах информации Фишера<ref name="rao1945">Rao, C. R. (1945). Information and the accuracy attainable in the estimation of statistical parameters. ''Bulletin of the Calcutta Mathematical Society'', 37, 81–89.</ref><ref name="cramer1946">Cramér, H. (1946). ''Mathematical Methods of Statistics''. Princeton University Press.</ref>.
+
Результат был получен в работах К. Р. Рао и Х. Крамера в 1940-х годах и основан на введённом Р. Фишером понятии информации о параметре.<ref name="Rao1945">{{статья
 +
|автор = Rao C. R.
 +
|заглавие = Information and the Accuracy Attainable in the Estimation of Statistical Parameters
 +
|издание = Bulletin of the Calcutta Mathematical Society
 +
|год = 1945
 +
|том = 37
 +
|страницы = 81–91
 +
}}</ref><ref name="Cramer1946">{{книга
 +
|автор = Cramér H.
 +
|заглавие = Mathematical Methods of Statistics
 +
|место = Princeton
 +
|издательство = Princeton University Press
 +
|год = 1946
 +
}}</ref><ref name="Fisher1922">{{статья
 +
|автор = Fisher R. A.
 +
|заглавие = On the Mathematical Foundations of Theoretical Statistics
 +
|издание = Philosophical Transactions of the Royal Society of London. Series A
 +
|год = 1922
 +
|том = 222
 +
|страницы = 309–368
 +
}}</ref>
-
=== Основные понятия ===
+
== Основные понятия ==
-
Пусть <tex>X_1, \ldots, X_n</tex> — независимая выборка из распределения, принадлежащего параметрическому семейству <tex>\{P_\theta, \theta \in \Theta \subseteq \mathbb{R}\}</tex>. Предполагается, что плотность (или функция вероятности) каждого наблюдения имеет вид <tex>f(x; \theta)</tex> и удовлетворяет условиям регулярности, обеспечивающим возможность дифференцирования по параметру под знаком интеграла.
+
=== Статистическая модель и функция правдоподобия ===
-
* '''[[Статистическая оценка]]''' — функция <tex>\hat{\theta} = g(X_1, \ldots, X_n)</tex> от выборочных данных, используемая для приближения истинного значения параметра <tex>\theta</tex>.
+
Пусть наблюдение <tex>X</tex> имеет распределение из параметрического семейства
-
* '''[[Несмещённая оценка]]''' — оценка, для которой <tex>\mathbb{E}_\theta[\hat{\theta}] = \theta</tex> для всех <tex>\theta \in \Theta</tex>. Иными словами, в среднем оценка не отклоняется от оцениваемого параметра.
+
-
* '''[[Дисперсия]] оценки''' — <tex>\mathbb{D}_\theta[\hat{\theta}] = \mathbb{E}_\theta[(\hat{\theta} - \theta)^2]</tex>, характеризующая разброс оценки вокруг истинного значения.
+
-
* '''[[Функция правдоподобия]]''' для выборки объёма <tex>n</tex> определяется как
+
-
<tex> L(\theta; X_1, \ldots, X_n) = \prod_{i=1}^n f(X_i; \theta)</tex>.
+
-
Логарифмическая функция правдоподобия: <tex>\ell(\theta) = \ln L(\theta)</tex>.
+
-
* '''[[Фишеровская информация]]''' — мера количества информации, которую выборка несёт о неизвестном параметре. Для одного наблюдения:
+
-
<tex> I(\theta) = \mathbb{E}_\theta \left[ \left( \frac{\partial}{\partial \theta} \ln f(X; \theta) \right)^2 \right] = - \mathbb{E}_\theta \left[ \frac{\partial^2}{\partial \theta^2} \ln f(X; \theta) \right],</tex>
+
-
при условии, что вторая производная существует и операция дифференцирования и интегрирования перестановочны. Для выборки объёма <tex>n</tex> в силу независимости наблюдений <tex>I_n(\theta) = n I(\theta)</tex>.
+
-
=== Формулировка неравенства ===
+
<tex>\mathcal{P}=\{P_\theta:\theta\in\Theta\}.</tex>
-
'''Классическая форма'''. Пусть <tex>\hat{\theta}_n</tex> — несмещённая оценка параметра <tex>\theta</tex>, построенная по выборке объёма <tex>n</tex>. Тогда при выполнении условий регулярности
+
Здесь <tex>\theta</tex> — неизвестный параметр, а <tex>\Theta</tex> — пространство параметров. Если распределение имеет плотность или функцию вероятностей <tex>p_\theta(x)</tex>, то при фиксированном наблюдении <tex>x</tex> выражение
-
<tex>
+
-
\mathbb{D}_\theta[\hat{\theta}_n] \ge \frac{1}{I_n(\theta)} = \frac{1}{n I(\theta)}.
+
-
</tex>
+
-
'''Пояснение членов''':
+
<tex>L(\theta;x)=p_\theta(x)</tex>
-
* <tex>\mathbb{D}_\theta[\hat{\theta}_n]</tex> — дисперсия оценки, которую мы стремимся минимизировать.
+
называется [[Функция правдоподобия|функцией правдоподобия]]. Для независимой выборки <tex>X_1,\ldots,X_n</tex>
-
* <tex>I_n(\theta)</tex> — количество информации Фишера во всей выборке.
+
-
* Граница <tex>1/I_n(\theta)</tex> называется '''границей Рао — Крамера''' (или информационной границей). Она показывает минимальную возможную дисперсию несмещённой оценки в данной модели.
+
-
Для многомерного случая, когда <tex>\theta \in \mathbb{R}^d</tex>, неравенство обобщается на матрицы ковариации: разность между ковариационной матрицей несмещённой оценки и обратной матрицей Фишера является неотрицательно определённой матрицей.
+
<tex>L(\theta;X_1,\ldots,X_n)=\prod_{i=1}^{n}p_\theta(X_i).</tex>
-
=== Условия регулярности ===
+
Часто удобнее использовать логарифмическую функцию правдоподобия
-
Неравенство справедливо не для всех распределений. Необходимы следующие условия (достаточные, но не строго необходимые):
+
<tex>\ell(\theta;X)=\log L(\theta;X).</tex>
-
# '''Носитель распределения''' не зависит от параметра <tex>\theta</tex>, то есть множество <tex>\{x: f(x; \theta) > 0\}</tex> одинаково для всех <tex>\theta \in \Theta</tex>.
+
Её производная по параметру
-
# Функция правдоподобия дважды дифференцируема по <tex>\theta</tex>.
+
-
# Операция дифференцирования по <tex>\theta</tex> может быть вынесена за знак интеграла (или суммы), в частности,
+
-
<tex>\frac{\partial}{\partial \theta} \int f(x; \theta) dx = \int \frac{\partial}{\partial \theta} f(x; \theta) dx</tex>,
+
-
и аналогично для второй производной.
+
-
# Информация Фишера <tex>I(\theta)</tex> конечна и положительна для всех <tex>\theta \in \Theta</tex>.
+
-
Нарушение первого условия (зависимость носителя от параметра) часто приводит к тому, что дисперсия некоторых оценок убывает быстрее, чем <tex>1/n</tex>, и неравенство Рао — Крамера становится неинформативным (например, для равномерного распределения <tex>U(0, \theta)</tex>). В таких случаях используются обобщения — например, неравенство Бхаттачарии или неравенство Чепмена — Роббинса.
+
<tex>U_\theta(X)=\frac{\partial}{\partial\theta}\ell(\theta;X)</tex>
-
=== Эффективные оценки ===
+
называется функцией вклада, или скор-функцией.
-
Оценка <tex>\hat{\theta}_n</tex>, для которой неравенство Рао — Крамера обращается в равенство при всех <tex>\theta</tex>, называется '''эффективной''' оценкой. В этом случае <tex>\mathbb{D}_\theta[\hat{\theta}_n] = 1/I_n(\theta)</tex>. Эффективные оценки являются несмещёнными и достигают минимально возможной дисперсии в классе несмещённых оценок. Важно различать эффективность и состоятельность: эффективная оценка всегда состоятельна (при выполнении регулярных условий), но не всякая состоятельная оценка эффективна.
+
=== Статистическая оценка и несмещённость ===
-
'''Критерий эффективности''' (равенство в неравенстве Рао — Крамера) эквивалентен тому, что [[Скоринг-функция|производная логарифма правдоподобия]] может быть представлена в виде
+
[[Статистическая оценка]] параметра или функции параметра — измеримая функция наблюдений
-
<tex>
+
-
\frac{\partial \ell(\theta)}{\partial \theta} = I_n(\theta) (\hat{\theta}_n - \theta).
+
-
</tex>
+
-
Это условие выполняется для [[Экспоненциальное семейство|экспоненциальных семейств]] с естественной параметризацией, где оценка максимального правдоподобия часто оказывается эффективной.
+
-
=== Связь с методом максимального правдоподобия и асимптотической нормальностью ===
+
<tex>T=T(X_1,\ldots,X_n).</tex>
-
Неравенство Рао — Крамера тесно связано с асимптотической теорией оценивания. При выполнении регулярных условий [[Оценка максимального правдоподобия|оценка максимального правдоподобия (ОМП)]] <tex>\hat{\theta}_{MLE}</tex> является:
+
После подстановки реализованной выборки она даёт численное приближение неизвестной величины.
-
* состоятельной;
+
-
* асимптотически нормальной:
+
-
<tex>\sqrt{n}(\hat{\theta}_{MLE} - \theta) \xrightarrow{d} \mathcal{N}\left(0, \frac{1}{I(\theta)}\right)</tex>;
+
-
* асимптотически эффективной, то есть её асимптотическая дисперсия достигает границы Рао — Крамера <tex>1/(n I(\theta))</tex>.
+
-
Это означает, что среди всех ''регулярных'' оценок ОМП является наилучшей в асимптотическом смысле. Более того, [[Фишеровская информация]] определяет кривизну логарифма правдоподобия и, следовательно, точность оценивания: чем больше информации, тем уже асимптотическое распределение ОМП.
+
Оценка <tex>T</tex> функции <tex>g(\theta)</tex> называется [[Несмещённая оценка|несмещённой]], если
-
=== Классические примеры ===
+
<tex>\mathsf{E}_\theta T=g(\theta)</tex>
-
==== Нормальное распределение ====
+
для всех <tex>\theta\in\Theta</tex>. В частности, для оценки самого параметра требуется <tex>\mathsf{E}_\theta T=\theta</tex>.
-
Пусть <tex>X \sim \mathcal{N}(\mu, \sigma^2)</tex>, параметр <tex>\theta = \mu</tex>, <tex>\sigma^2</tex> известно. Плотность:
+
Несмещённость характеризует математическое ожидание оценки, но сама по себе не гарантирует малую ошибку. Среди несмещённых оценок обычно предпочтительна оценка с меньшей [[Дисперсия|дисперсией]]
-
<tex>f(x; \mu) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)</tex>.
+
-
Логарифм правдоподобия для одного наблюдения: <tex>\ell(\mu) = -\frac{1}{2}\ln(2\pi\sigma^2) - \frac{(x-\mu)^2}{2\sigma^2}</tex>.
+
-
Вторая производная: <tex>\partial^2 \ell / \partial \mu^2 = -1/\sigma^2</tex>.
+
-
Информация Фишера: <tex>I(\mu) = 1/\sigma^2</tex>.
+
-
Для выборки объёма <tex>n</tex>: <tex>I_n(\mu) = n/\sigma^2</tex>.
+
-
Граница Рао — Крамера: <tex>\sigma^2/n</tex>.
+
-
Оценка <tex>\hat{\mu} = \bar{X}</tex> имеет дисперсию <tex>\sigma^2/n</tex> — равенство достигается, оценка эффективна.
+
-
Если <tex>\theta = \sigma^2</tex>, <tex>\mu</tex> известно, то <tex>I(\sigma^2) = 1/(2\sigma^4)</tex>, граница <tex>2\sigma^4/n</tex>. Несмещённая оценка <tex>\hat{\sigma}^2 = \frac{1}{n}\sum (X_i - \mu)^2</tex> имеет дисперсию <tex>2\sigma^4/n</tex> — эффективна.
+
<tex>\mathsf{Var}_\theta(T)=\mathsf{E}_\theta\left(T-\mathsf{E}_\theta T\right)^2.</tex>
-
==== Распределение Бернулли ====
+
Для несмещённой оценки функции <tex>g(\theta)</tex> её среднеквадратичная ошибка совпадает с дисперсией:
-
Пусть <tex>X \sim \text{Bernoulli}(p)</tex>, <tex>p \in (0,1)</tex>. Функция вероятности: <tex>f(x; p) = p^x (1-p)^{1-x}</tex>, <tex>x \in \{0,1\}</tex>.
+
<tex>\mathsf{E}_\theta\left(T-g(\theta)\right)^2=\mathsf{Var}_\theta(T).</tex>
-
Логарифм: <tex>\ell(p) = x \ln p + (1-x) \ln(1-p)</tex>.
+
-
Вторая производная: <tex>\partial^2 \ell / \partial p^2 = -x/p^2 - (1-x)/(1-p)^2</tex>.
+
-
Информация Фишера: <tex>I(p) = 1/[p(1-p)]</tex>.
+
-
Для выборки: <tex>I_n(p) = n/[p(1-p)]</tex>.
+
-
Граница: <tex>p(1-p)/n</tex>.
+
-
Оценка <tex>\hat{p} = \bar{X}</tex> имеет дисперсию <tex>p(1-p)/n</tex> — эффективна.
+
-
==== Распределение Пуассона ====
+
Для смещённой оценки это равенство неверно: среднеквадратичная ошибка дополнительно содержит квадрат смещения.
-
Пусть <tex>X \sim \text{Poisson}(\lambda)</tex>, <tex>\lambda > 0</tex>. Функция вероятности: <tex>f(x; \lambda) = e^{-\lambda} \lambda^x / x!</tex>.
+
=== Информация Фишера ===
-
Логарифм: <tex>\ell(\lambda) = -\lambda + x \ln \lambda - \ln x!</tex>.
+
-
Вторая производная: <tex>\partial^2 \ell / \partial \lambda^2 = -x/\lambda^2</tex>.
+
-
Информация: <tex>I(\lambda) = \mathbb{E}[X]/\lambda^2 = 1/\lambda</tex>.
+
-
Граница: <tex>\lambda/n</tex>.
+
-
Оценка <tex>\hat{\lambda} = \bar{X}</tex> имеет дисперсию <tex>\lambda/n</tex> — эффективна.
+
-
==== Экспоненциальное распределение ====
+
[[Фишеровская информация]] в одном наблюдении определяется как
-
Пусть <tex>X \sim \text{Exp}(\theta)</tex> с плотностью <tex>f(x; \theta) = \theta e^{-\theta x}</tex>, <tex>x > 0</tex>, <tex>\theta > 0</tex> (параметр интенсивности).
+
<tex>I_1(\theta)=\mathsf{E}_\theta\left[\left(\frac{\partial}{\partial\theta}\log p_\theta(X)\right)^2\right],</tex>
-
Логарифм: <tex>\ell(\theta) = \ln \theta - \theta x</tex>.
+
-
Вторая производная: <tex>\partial^2 \ell / \partial \theta^2 = -1/\theta^2</tex>.
+
-
Информация: <tex>I(\theta) = 1/\theta^2</tex>.
+
-
Граница: <tex>\theta^2/n</tex>.
+
-
Оценка <tex>\hat{\theta} = 1/\bar{X}</tex> является ОМП, но она смещённая. Несмещённая оценка для <tex>\theta</tex> существует (например, <tex>(n-1)/(n \bar{X})</tex>) и её дисперсия равна <tex>\theta^2/(n-2)</tex> для <tex>n>2</tex>, что больше границы <tex>\theta^2/n</tex>. Таким образом, эффективной несмещённой оценки не существует.
+
-
=== Применение в машинном обучении и анализе данных ===
+
если математическое ожидание существует. При стандартных условиях регулярности справедлива эквивалентная формула
-
Неравенство Рао — Крамера находит прямое применение в следующих областях:
+
<tex>I_1(\theta)=-\mathsf{E}_\theta\left[\frac{\partial^2}{\partial\theta^2}\log p_\theta(X)\right].</tex>
-
* '''Оценивание параметров вероятностных моделей'''. При построении генеративных моделей (например, наивный байесовский классификатор, скрытые марковские модели) знание границы Рао — Крамера позволяет оценить, насколько велика может быть ошибка оценивания параметров при заданном объёме выборки, и, следовательно, планировать необходимый размер обучающей выборки.
+
Для независимых одинаково распределённых наблюдений информация складывается:
-
* '''Анализ метода максимального правдоподобия'''. В [[Логистическая регрессия|логистической регрессии]] и других обобщённых линейных моделях (GLM) асимптотическая ковариационная матрица оценок коэффициентов аппроксимируется обратной матрицей информации Фишера. На практике стандартные ошибки коэффициентов вычисляются именно на основе этой аппроксимации, что оправдано неравенством Рао — Крамера и свойством асимптотической эффективности ОМП.
+
<tex>I_n(\theta)=nI_1(\theta).</tex>
-
* '''Байесовская статистика'''. В асимптотическом режиме (большие выборки) апостериорное распределение приближается нормальным со средним, равным ОМП, и дисперсией, равной обратной информации Фишера (теорема Бернштейна — фон Мизеса). Это прямое следствие эффективности ОМП и информационной границы.
+
Информация Фишера измеряет локальную чувствительность распределения наблюдений к изменению параметра. Большая информация означает, что близкие значения параметра порождают лучше различимые распределения.
-
* '''Проектирование экспериментов'''. В активном обучении и оптимальном планировании эксперимента критерии D-оптимальности и A-оптимальности основаны на максимизации информации Фишера, что эквивалентно минимизации объёма эллипсоида ошибок, ограниченного снизу границей Рао — Крамера.
+
== Формулировка неравенства Рао — Крамера ==
-
=== Ограничения и типичные ошибки ===
+
Пусть <tex>T(X)</tex> — несмещённая оценка дифференцируемой функции <tex>g(\theta)</tex>, то есть
-
'''Ограничения:'''
+
<tex>\mathsf{E}_\theta T=g(\theta).</tex>
-
# '''Несмещённость'''. Неравенство применимо только к несмещённым оценкам. Для смещённых оценок существует обобщённое неравенство Рао — Крамера, учитывающее градиент смещения:
+
При выполнении условий регулярности и при <tex>0<I_n(\theta)<\infty</tex> справедливо неравенство
-
<tex>
+
-
\mathbb{D}_\theta[\hat{\theta}_n] \ge \frac{(1 + b'(\theta))^2}{I_n(\theta)},
+
-
</tex>
+
-
где <tex>b(\theta) = \mathbb{E}[\hat{\theta}_n] - \theta</tex>.
+
-
Однако многие полезные оценки (например, регуляризованные, байесовские) смещены, и прямое применение классической формы некорректно.
+
-
# '''Регулярность'''. В случае распределений с параметром, влияющим на носитель, неравенство может давать слишком слабую границу или вообще не выполняться. Пример — равномерное распределение <tex>U(0, \theta)</tex>, где дисперсия оценки <tex>\frac{n+1}{n} X_{(n)}</tex> пропорциональна <tex>1/n^2</tex>, что меньше <tex>1/n</tex>.
+
<tex>\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.</tex>
-
# '''Конечность информации'''. Если информация Фишера обращается в бесконечность или равна нулю, граница становится тривиальной.
+
Для несмещённой оценки самого параметра, когда <tex>g(\theta)=\theta</tex> и <tex>g'(\theta)=1</tex>, формула принимает вид
-
# '''Многомерные обобщения'''. В многомерном случае неравенство имеет матричный вид, и его интерпретация требует осторожности: граница определяется обратной матрицей Фишера, но не любая несмещённая оценка имеет ковариационную матрицу, сравнимую с этой границей в смысле неотрицательной определённости.
+
<tex>\mathsf{Var}_\theta(T)\geq\frac{1}{I_n(\theta)}.</tex>
-
'''Типичные ошибки:'''
+
Здесь:
-
* '''Путаница дисперсии и среднеквадратичной ошибки (MSE)'''. Для смещённых оценок MSE = дисперсия + квадрат смещения; неравенство Рао — Крамера не даёт нижней границы для MSE напрямую. Использование классической границы для оценки MSE смещённой оценки — грубая ошибка.
+
* <tex>\mathsf{Var}_\theta(T)</tex> — дисперсия оценки при истинном значении параметра <tex>\theta</tex>;
 +
* <tex>g'(\theta)</tex> — чувствительность оцениваемой функции к изменению параметра;
 +
* <tex>I_n(\theta)</tex> — информация Фишера во всей выборке;
 +
* правая часть — '''нижняя граница Рао — Крамера'''.
-
* '''Игнорирование условий регулярности'''. Применение неравенства к моделям с зависящим от параметра носителем (например, <tex>U(0, \theta)</tex>) без проверки условий приводит к неверным выводам.
+
Граница является поточечной: она может зависеть от <tex>\theta</tex>. Неравенство не утверждает, что оценка с дисперсией, равной правой части, обязательно существует.
-
* '''Смешение эффективности и состоятельности'''. Эффективная оценка всегда состоятельна, но обратное неверно. Утверждение «оценка состоятельна, значит, она эффективна» ошибочно.
+
=== Идея доказательства ===
-
* '''Неправильная интерпретация информации Фишера'''. Иногда полагают, что <tex>I_n(\theta)</tex> — это дисперсия ОМП, хотя на самом деле это теоретическая граница, которая достигается только для эффективных оценок.
+
В регулярной модели математическое ожидание скор-функции равно нулю:
-
=== Резюме ===
+
<tex>\mathsf{E}_\theta U_\theta(X)=0.</tex>
-
Неравенство Рао — Крамера является краеугольным камнем параметрической теории оценивания. Оно даёт абсолютный нижний предел для дисперсии несмещённых оценок, выражаемый через [[Фишеровская информация|информацию Фишера]], и служит эталоном для сравнения процедур оценивания. Особую ценность неравенство приобретает в контексте [[Метод максимального правдоподобия|метода максимального правдоподобия]], поскольку оценки максимального правдоподобия являются асимптотически эффективными, то есть достигают этой границы при больших выборках.
+
Дифференцирование равенства <tex>\mathsf{E}_\theta T=g(\theta)</tex> по <tex>\theta</tex> даёт
-
Наиболее полезно неравенство в следующих ситуациях:
+
<tex>\mathsf{E}_\theta\left[\left(T-g(\theta)\right)U_\theta(X)\right]=g'(\theta).</tex>
-
* при анализе точности несмещённых оценок в параметрических моделях;
+
Левая часть является ковариацией оценки и скор-функции. По неравенству Коши — Буняковского
-
* при обосновании асимптотических свойств ОМП и вычислении стандартных ошибок;
+
-
* при планировании экспериментов и определении минимального объёма выборки для достижения требуемой точности;
+
-
* в многомерных задачах — для анализа корреляционных структур оценок.
+
-
Важно помнить об ограничениях: неравенство не применимо к смещённым оценкам без модификации и требует выполнения условий регулярности, которые нарушаются в ряде практически важных моделей. Тем не менее, в широком классе задач оно остаётся незаменимым инструментом теоретического и прикладного анализа данных.
+
<tex>\left(g'(\theta)\right)^2\leq\mathsf{Var}_\theta(T)\,\mathsf{Var}_\theta\left(U_\theta(X)\right).</tex>
 +
 
 +
Поскольку
 +
 
 +
<tex>\mathsf{Var}_\theta\left(U_\theta(X)\right)=I_n(\theta),</tex>
 +
 
 +
получается неравенство Рао — Крамера.<ref name="LehmannCasella">{{книга
 +
|автор = Lehmann E. L., Casella G.
 +
|заглавие = Theory of Point Estimation
 +
|издание = 2-е
 +
|место = New York
 +
|издательство = Springer
 +
|год = 1998
 +
}}</ref>
 +
 
 +
== Условия применимости ==
 +
 
 +
Классическая формулировка требует регулярности статистической модели. В прикладных задачах обычно проверяют следующие условия.
 +
 
 +
* Плотность или функция вероятностей <tex>p_\theta(x)</tex> достаточно гладко зависит от <tex>\theta</tex>.
 +
* Область возможных значений наблюдения не зависит от параметра либо граничные члены при дифференцировании исчезают.
 +
* Допустимо менять местами дифференцирование по параметру и интегрирование или суммирование по наблюдениям.
 +
* Скор-функция имеет конечный второй момент.
 +
* Информация Фишера существует, конечна и положительна.
 +
* Оцениваемая функция <tex>g(\theta)</tex> дифференцируема.
 +
* Для многопараметрической версии информационная матрица должна быть невырожденной либо требуется специальная формулировка с ограничениями или обобщённой обратной матрицей.
 +
 
 +
Эти условия нарушаются, например, в модели равномерного распределения на <tex>[0,\theta]</tex>, поскольку носитель распределения зависит от <tex>\theta</tex>. Формальное применение стандартной формулы в такой задаче может дать неверный вывод.
 +
 
 +
== Эффективные оценки ==
 +
 
 +
Несмещённая оценка <tex>T</tex> называется '''эффективной''' в точке <tex>\theta</tex>, если её дисперсия достигает границы Рао — Крамера:
 +
 
 +
<tex>\mathsf{Var}_\theta(T)=\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.</tex>
 +
 
 +
Если равенство выполняется для всех <tex>\theta\in\Theta</tex>, оценка эффективна на всём пространстве параметров.
 +
 
 +
Равенство в неравенстве Коши — Буняковского достигается тогда и только тогда, когда центрированная оценка пропорциональна скор-функции. Поэтому необходимое и, при регулярности, достаточное условие эффективности имеет вид
 +
 
 +
<tex>T(X)-g(\theta)=a(\theta)U_\theta(X),</tex>
 +
 
 +
где
 +
 
 +
<tex>a(\theta)=\frac{g'(\theta)}{I_n(\theta)}.</tex>
 +
 
 +
Это условие достаточно жёсткое. Точная эффективность при конечном размере выборки характерна прежде всего для некоторых регулярных экспоненциальных семейств. Во многих моделях граница недостижима ни одной несмещённой оценкой.
 +
 
 +
Иногда вводят относительную эффективность несмещённой оценки:
 +
 
 +
<tex>e_\theta(T)=\frac{\left(g'(\theta)\right)^2/I_n(\theta)}{\mathsf{Var}_\theta(T)}.</tex>
 +
 
 +
При выполнении условий неравенства <tex>0<e_\theta(T)\leq 1</tex>. Это отношение нельзя смешивать со среднеквадратичной ошибкой смещённой оценки или с асимптотической эффективностью.
 +
 
 +
== Связь с методом максимального правдоподобия ==
 +
 
 +
[[Метод максимального правдоподобия]] выбирает значение
 +
 
 +
<tex>\widehat{\theta}_{\mathrm{ML}}\in\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta;X).</tex>
 +
 
 +
Оценка максимального правдоподобия не обязана быть несмещённой и не обязана достигать границы Рао — Крамера при конечном <tex>n</tex>. Поэтому из самого определения метода максимального правдоподобия эффективность не следует.
 +
 
 +
Однако в регулярных идентифицируемых моделях при стандартных условиях оценка максимального правдоподобия является состоятельной и [[Асимптотическая нормальность|асимптотически нормальной]]:
 +
 
 +
<tex>\sqrt{n}\left(\widehat{\theta}_{\mathrm{ML}}-\theta\right)\xrightarrow{d}\mathcal{N}\left(0,I_1(\theta)^{-1}\right).</tex>
 +
 
 +
Следовательно,
 +
 
 +
<tex>\mathsf{Var}_\theta\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx\frac{1}{nI_1(\theta)}=\frac{1}{I_n(\theta)}</tex>
 +
 
 +
при больших <tex>n</tex>. В этом смысле оценка максимального правдоподобия часто '''асимптотически эффективна''': её предельная дисперсия совпадает с информационной границей. Это утверждение относится к асимптотике и не означает точного равенства дисперсий для конечной выборки.<ref name="VanderVaart">{{книга
 +
|автор = van der Vaart A. W.
 +
|заглавие = Asymptotic Statistics
 +
|место = Cambridge
 +
|издательство = Cambridge University Press
 +
|год = 1998
 +
}}</ref>
 +
 
 +
Наблюдаемая отрицательная матрица вторых производных логарифма правдоподобия,
 +
 
 +
<tex>-\frac{\partial^2}{\partial\theta^2}\ell(\theta;X),</tex>
 +
 
 +
служит выборочным аналогом информации Фишера. Её обратная величина или обратная матрица часто используется для приближённого вычисления стандартных ошибок оценок максимального правдоподобия.
 +
 
 +
== Классические примеры ==
 +
 
 +
Во всех примерах наблюдения независимы и одинаково распределены.
 +
 
 +
=== Нормальное распределение с известной дисперсией ===
 +
 
 +
Пусть
 +
 
 +
<tex>X_1,\ldots,X_n\sim\mathcal{N}(\mu,\sigma^2),</tex>
 +
 
 +
где <tex>\sigma^2</tex> известно, а <tex>\mu</tex> неизвестно. Для одного наблюдения
 +
 
 +
<tex>\ell(\mu;X)=-\frac{1}{2}\log(2\pi\sigma^2)-\frac{(X-\mu)^2}{2\sigma^2}.</tex>
 +
 
 +
Скор-функция равна
 +
 
 +
<tex>\frac{\partial}{\partial\mu}\ell(\mu;X)=\frac{X-\mu}{\sigma^2}.</tex>
 +
 
 +
Поэтому
 +
 
 +
<tex>I_1(\mu)=\frac{1}{\sigma^2},\qquad I_n(\mu)=\frac{n}{\sigma^2}.</tex>
 +
 
 +
Граница Рао — Крамера для любой несмещённой оценки <tex>T</tex> параметра <tex>\mu</tex> равна
 +
 
 +
<tex>\mathsf{Var}_\mu(T)\geq\frac{\sigma^2}{n}.</tex>
 +
 
 +
Естественная оценка — выборочное среднее
 +
 
 +
<tex>\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i.</tex>
 +
 
 +
Она несмещённа, и
 +
 
 +
<tex>\mathsf{Var}_\mu(\overline{X})=\frac{\sigma^2}{n}.</tex>
 +
 
 +
Следовательно, <tex>\overline{X}</tex> достигает границы и является эффективной оценкой <tex>\mu</tex>.
 +
 
 +
=== Распределение Бернулли ===
 +
 
 +
Пусть
 +
 
 +
<tex>X_1,\ldots,X_n\sim\operatorname{Bernoulli}(p),\qquad 0<p<1.</tex>
 +
 
 +
Для одного наблюдения
 +
 
 +
<tex>p_p(x)=p^x(1-p)^{1-x},\qquad x\in\{0,1\}.</tex>
 +
 
 +
Логарифм правдоподобия и его производная имеют вид
 +
 
 +
<tex>\ell(p;X)=X\log p+(1-X)\log(1-p),</tex>
 +
 
 +
<tex>\frac{\partial}{\partial p}\ell(p;X)=\frac{X-p}{p(1-p)}.</tex>
 +
 
 +
Так как <tex>\mathsf{Var}_p(X)=p(1-p)</tex>,
 +
 
 +
<tex>I_1(p)=\frac{1}{p(1-p)},\qquad I_n(p)=\frac{n}{p(1-p)}.</tex>
 +
 
 +
Поэтому для любой несмещённой оценки <tex>T</tex> вероятности успеха
 +
 
 +
<tex>\mathsf{Var}_p(T)\geq\frac{p(1-p)}{n}.</tex>
 +
 
 +
Естественная оценка доли успехов
 +
 
 +
<tex>\widehat{p}=\overline{X}</tex>
 +
 
 +
несмещённа и имеет дисперсию
 +
 
 +
<tex>\mathsf{Var}_p(\widehat{p})=\frac{p(1-p)}{n}.</tex>
 +
 
 +
Таким образом, выборочная доля эффективна.
 +
 
 +
=== Распределение Пуассона ===
 +
 
 +
Пусть
 +
 
 +
<tex>X_1,\ldots,X_n\sim\operatorname{Poisson}(\lambda),\qquad \lambda>0.</tex>
 +
 
 +
Для одного наблюдения
 +
 
 +
<tex>p_\lambda(x)=\frac{e^{-\lambda}\lambda^x}{x!},\qquad x=0,1,2,\ldots</tex>
 +
 
 +
Логарифм правдоподобия и скор-функция равны
 +
 
 +
<tex>\ell(\lambda;X)=-\lambda+X\log\lambda-\log(X!),</tex>
 +
 
 +
<tex>\frac{\partial}{\partial\lambda}\ell(\lambda;X)=\frac{X-\lambda}{\lambda}.</tex>
 +
 
 +
Поскольку <tex>\mathsf{Var}_\lambda(X)=\lambda</tex>,
 +
 
 +
<tex>I_1(\lambda)=\frac{1}{\lambda},\qquad I_n(\lambda)=\frac{n}{\lambda}.</tex>
 +
 
 +
Граница для несмещённой оценки интенсивности равна
 +
 
 +
<tex>\mathsf{Var}_\lambda(T)\geq\frac{\lambda}{n}.</tex>
 +
 
 +
Выборочное среднее <tex>\overline{X}</tex> несмещённо и удовлетворяет
 +
 
 +
<tex>\mathsf{Var}_\lambda(\overline{X})=\frac{\lambda}{n}.</tex>
 +
 
 +
Следовательно, <tex>\overline{X}</tex> является эффективной оценкой <tex>\lambda</tex>.
 +
 
 +
=== Экспоненциальное распределение ===
 +
 
 +
Результат зависит от параметризации. Сначала параметризуем распределение средним значением, или масштабом, <tex>\theta>0</tex>:
 +
 
 +
<tex>p_\theta(x)=\frac{1}{\theta}\exp\left(-\frac{x}{\theta}\right),\qquad x\geq 0.</tex>
 +
 
 +
Для одного наблюдения
 +
 
 +
<tex>\ell(\theta;X)=-\log\theta-\frac{X}{\theta},</tex>
 +
 
 +
<tex>\frac{\partial}{\partial\theta}\ell(\theta;X)=\frac{X-\theta}{\theta^2}.</tex>
 +
 
 +
Так как <tex>\mathsf{Var}_\theta(X)=\theta^2</tex>,
 +
 
 +
<tex>I_1(\theta)=\frac{1}{\theta^2},\qquad I_n(\theta)=\frac{n}{\theta^2}.</tex>
 +
 
 +
Граница Рао — Крамера равна
 +
 
 +
<tex>\mathsf{Var}_\theta(T)\geq\frac{\theta^2}{n}.</tex>
 +
 
 +
Естественная оценка масштаба <tex>\overline{X}</tex> несмещённа, причём
 +
 
 +
<tex>\mathsf{Var}_\theta(\overline{X})=\frac{\theta^2}{n}.</tex>
 +
 
 +
Она достигает границы и эффективна.
 +
 
 +
Если вместо масштаба использовать интенсивность <tex>\lambda=1/\theta</tex>, плотность принимает вид
 +
 
 +
<tex>p_\lambda(x)=\lambda e^{-\lambda x}.</tex>
 +
 
 +
Тогда
 +
 
 +
<tex>I_n(\lambda)=\frac{n}{\lambda^2},\qquad\mathsf{Var}_\lambda(T)\geq\frac{\lambda^2}{n}.</tex>
 +
 
 +
Оценка максимального правдоподобия
 +
 
 +
<tex>\widehat{\lambda}_{\mathrm{ML}}=\frac{1}{\overline{X}}</tex>
 +
 
 +
смещена при конечном <tex>n</tex>, поэтому стандартная граница для несмещённых оценок к ней напрямую неприменима. Несмещённая оценка
 +
 
 +
<tex>\widetilde{\lambda}=\frac{n-1}{\sum_{i=1}^{n}X_i}</tex>
 +
 
 +
при <tex>n>2</tex> имеет дисперсию
 +
 
 +
<tex>\mathsf{Var}_\lambda(\widetilde{\lambda})=\frac{\lambda^2}{n-2},</tex>
 +
 
 +
которая строго больше <tex>\lambda^2/n</tex>. Следовательно, в параметризации интенсивностью точная нижняя граница не достигается этой естественной несмещённой оценкой, хотя оценка максимального правдоподобия асимптотически эффективна.
 +
 
 +
== Многопараметрическая форма ==
 +
 
 +
Пусть параметр является вектором
 +
 
 +
<tex>\theta=(\theta_1,\ldots,\theta_d)^{\mathsf T}.</tex>
 +
 
 +
Информационная матрица Фишера определяется как
 +
 
 +
<tex>I(\theta)=\mathsf{E}_\theta\left[\nabla_\theta\ell(\theta;X)\nabla_\theta\ell(\theta;X)^{\mathsf T}\right].</tex>
 +
 
 +
Для несмещённой оценки вектора <tex>g(\theta)</tex> справедливо матричное неравенство
 +
 
 +
<tex>\operatorname{Cov}_\theta(T)\succeq G(\theta)I(\theta)^{-1}G(\theta)^{\mathsf T},</tex>
 +
 
 +
где <tex>G(\theta)</tex> — матрица Якоби функции <tex>g</tex>, а знак <tex>\succeq</tex> означает, что разность левой и правой частей неотрицательно определена. Для оценки самого вектора параметров
 +
 
 +
<tex>\operatorname{Cov}_\theta(T)\succeq I(\theta)^{-1}.</tex>
 +
 
 +
Матричная форма особенно важна в машинном обучении, где параметры моделей обычно многомерны.
 +
 
 +
== Применения в машинном обучении и анализе данных ==
 +
 
 +
=== Оценивание параметров вероятностных моделей ===
 +
 
 +
Граница Рао — Крамера позволяет определить минимально возможную ковариацию несмещённых оценок параметров вероятностной модели. Она применяется при анализе моделей шума, смесей распределений, временных рядов, моделей выживания, систем идентификации и статистической обработки сигналов.
 +
 
 +
Практический смысл состоит в разделении двух источников неточности:
 +
 
 +
* ограниченности информации, содержащейся в данных;
 +
* неэффективности выбранного алгоритма оценивания.
 +
 
 +
Если дисперсия оценки близка к информационной границе, существенное улучшение возможно главным образом за счёт увеличения объёма или качества данных, а не замены алгоритма другой несмещённой процедурой.
 +
 
 +
=== Анализ метода максимального правдоподобия ===
 +
 
 +
В регулярных моделях обратная информационная матрица описывает предельную ковариацию оценки максимального правдоподобия:
 +
 
 +
<tex>\operatorname{Cov}\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx I_n(\theta)^{-1}.</tex>
 +
 
 +
Это соотношение используется для:
 +
 
 +
* вычисления стандартных ошибок параметров;
 +
* построения приближённых доверительных интервалов;
 +
* сравнения различных планов сбора данных;
 +
* диагностики слабой идентифицируемости параметров;
 +
* анализа влияния размера выборки на точность оценивания.
 +
 
 +
Малое собственное значение информационной матрицы соответствует направлению в пространстве параметров, которое плохо определяется данными. Обратная матрица тогда содержит большие элементы, указывая на высокую неопределённость оценки.
 +
 
 +
=== Логистическая регрессия ===
 +
 
 +
В [[Логистическая регрессия|логистической регрессии]]
 +
 
 +
<tex>\mathsf{P}(Y_i=1\mid x_i)=\sigma(x_i^{\mathsf T}\beta),\qquad\sigma(z)=\frac{1}{1+e^{-z}}.</tex>
 +
 
 +
Обозначим
 +
 
 +
<tex>p_i=\sigma(x_i^{\mathsf T}\beta).</tex>
 +
 
 +
Для независимых наблюдений информационная матрица параметра <tex>\beta</tex> имеет вид
 +
 
 +
<tex>I(\beta)=X^{\mathsf T}WX,</tex>
 +
 
 +
где <tex>X</tex> — матрица признаков, а
 +
 
 +
<tex>W=\operatorname{diag}\left(p_1(1-p_1),\ldots,p_n(1-p_n)\right).</tex>
 +
 
 +
При регулярности асимптотическая ковариация оценки максимального правдоподобия приближённо равна
 +
 
 +
<tex>\operatorname{Cov}(\widehat{\beta})\approx\left(X^{\mathsf T}WX\right)^{-1}.</tex>
 +
 
 +
Формула показывает, что точность зависит не только от числа объектов, но и от геометрии матрицы признаков и значений предсказанных вероятностей. Сильная мультиколлинеарность делает информационную матрицу плохо обусловленной. Почти полное разделение классов может приводить к несуществованию конечной оценки максимального правдоподобия, поэтому стандартная асимптотическая интерпретация нарушается.
 +
 
 +
Регуляризация изменяет задачу: оценка становится смещённой, а обратный гессиан регуляризованной целевой функции нельзя без дополнительных оговорок считать классической границей Рао — Крамера для несмещённых оценок.
 +
 
 +
== Ограничения ==
 +
 
 +
# '''Требование несмещённости.''' Классическая граница относится к несмещённым оценкам. Смещённая оценка может иметь меньшую дисперсию и меньшую среднеквадратичную ошибку.
 +
# '''Недостижимость границы.''' Нижняя граница может не совпадать с дисперсией ни одной оценки.
 +
# '''Нерегулярные модели.''' При зависящем от параметра носителе, недифференцируемом правдоподобии или невозможности переставить интегрирование и дифференцирование стандартная формула неприменима.
 +
# '''Сингулярная информация.''' Невырожденность информационной матрицы связана с локальной идентифицируемостью. При сингулярности обычная обратная матрица не существует.
 +
# '''Конечная выборка и асимптотика.''' Асимптотическая эффективность оценки максимального правдоподобия не гарантирует хорошей точности при малом <tex>n</tex>.
 +
# '''Параметризация.''' Численный вид информации Фишера и границы меняется при замене параметра, хотя корректно преобразуется по правилу производной.
 +
# '''Параметры на границе.''' Если истинный параметр лежит на границе пространства параметров, стандартная асимптотическая нормальность и классическая граница могут нарушаться.
 +
# '''Наличие мешающих параметров.''' Нельзя вычислять границу для одного параметра, игнорируя неизвестные сопутствующие параметры. Требуется соответствующий элемент обратной полной информационной матрицы.
 +
 
 +
Для смещённой оценки <tex>T</tex> параметра <tex>\theta</tex> со смещением
 +
 
 +
<tex>b(\theta)=\mathsf{E}_\theta T-\theta</tex>
 +
 
 +
при подходящих условиях существует модифицированная граница
 +
 
 +
<tex>\mathsf{Var}_\theta(T)\geq\frac{\left(1+b'(\theta)\right)^2}{I_n(\theta)}.</tex>
 +
 
 +
Но даже эта формула ограничивает дисперсию, а не полную среднеквадратичную ошибку:
 +
 
 +
<tex>\operatorname{MSE}_\theta(T)=\mathsf{Var}_\theta(T)+b(\theta)^2.</tex>
 +
 
 +
== Типичные ошибки ==
 +
 
 +
* Подстановка дисперсии смещённой оценки в классическую формулу для несмещённых оценок.
 +
* Отождествление дисперсии и среднеквадратичной ошибки.
 +
* Вычисление информации по всей выборке как <tex>I_1(\theta)</tex> вместо <tex>nI_1(\theta)</tex>.
 +
* Использование формулы через вторую производную без проверки регулярности.
 +
* Игнорирование того, что носитель распределения зависит от параметра.
 +
* Вывод об эффективности только из равенства оценки максимального правдоподобия некоторой привычной статистике.
 +
* Сравнение границы для одной параметризации с дисперсией оценки другого параметра.
 +
* Использование диагонального элемента <tex>1/I_{jj}(\theta)</tex> вместо элемента <tex>(I(\theta)^{-1})_{jj}</tex> при наличии неизвестных мешающих параметров.
 +
* Утверждение, что оценка с минимальной дисперсией среди несмещённых обязательно достигает границы Рао — Крамера.
 +
* Интерпретация сингулярной информационной матрицы только как численной проблемы, хотя она может указывать на неидентифицируемость модели.
 +
 
 +
== Резюме ==
 +
 
 +
Неравенство Рао — Крамера связывает точность несмещённого оценивания с количеством информации о параметре, содержащейся в данных:
 +
 
 +
<tex>\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.</tex>
 +
 
 +
Оно наиболее полезно, когда модель регулярна, информация Фишера вычисляется аналитически или численно, а требуется:
 +
 
 +
* установить теоретический предел точности оценивания;
 +
* доказать эффективность конкретной несмещённой оценки;
 +
* сравнить дисперсию оценки с информационным эталоном;
 +
* исследовать асимптотическую эффективность метода максимального правдоподобия;
 +
* оценить стандартные ошибки в многопараметрических вероятностных моделях;
 +
* выявить слабую идентифицируемость или неудачный план эксперимента.
 +
 
 +
Граница не заменяет анализ смещения, среднеквадратичной ошибки и поведения оценки при конечной выборке. Её следует применять только после проверки параметризации и условий регулярности.
== Литература ==
== Литература ==
Строка 171: Строка 494:
* {{книга
* {{книга
-
| автор = Крамер Х.
+
|автор = Casella G., Berger R. L.
-
| заглавие = Математические методы статистики
+
|заглавие = Statistical Inference
-
| издательство = Мир
+
|издание = 2-е
-
| год = 1975
+
|место = Pacific Grove
-
| издание = 2-е
+
|издательство = Duxbury
-
| страниц = 648
+
|год = 2002
-
| isbn =
+
}}
}}
* {{книга
* {{книга
-
| автор = Rao, C. R.
+
|автор = Cramér H.
-
| заглавие = Linear Statistical Inference and Its Applications
+
|заглавие = Mathematical Methods of Statistics
-
| издательство = John Wiley & Sons
+
|место = Princeton
-
| год = 1973
+
|издательство = Princeton University Press
-
| издание = 2nd
+
|год = 1946
-
| страниц = 656
+
-
| isbn = 0-471-70823-2
+
-
}}
+
-
* {{книга
+
-
| автор = Lehmann, E. L., Casella, G.
+
-
| заглавие = Theory of Point Estimation
+
-
| издательство = Springer
+
-
| год = 1998
+
-
| издание = 2nd
+
-
| страниц = 588
+
-
| isbn = 0-387-98502-6
+
}}
}}
* {{статья
* {{статья
-
| автор = Fisher, R. A.
+
|автор = Fisher R. A.
-
| заглавие = On the mathematical foundations of theoretical statistics
+
|заглавие = On the Mathematical Foundations of Theoretical Statistics
-
| издание = Philosophical Transactions of the Royal Society A
+
|издание = Philosophical Transactions of the Royal Society of London. Series A
-
| год = 1922
+
|год = 1922
-
| том = 222
+
|том = 222
-
| страницы = 309–368
+
|страницы = 309–368
-
| doi = 10.1098/rsta.1922.0009
+
}}
}}
-
* {{статья
+
* {{книга
-
| автор = Cramér, H.
+
|автор = Lehmann E. L., Casella G.
-
| заглавие = A contribution to the theory of statistical estimation
+
|заглавие = Theory of Point Estimation
-
| издание = Skandinavisk Aktuarietidskrift
+
|издание = 2-е
-
| год = 1946
+
|место = New York
-
| том = 29
+
|издательство = Springer
-
| страницы = 85–94
+
|год = 1998
}}
}}
* {{статья
* {{статья
-
| автор = Rao, C. R.
+
|автор = Rao C. R.
-
| заглавие = Information and the accuracy attainable in the estimation of statistical parameters
+
|заглавие = Information and the Accuracy Attainable in the Estimation of Statistical Parameters
-
| издание = Bulletin of the Calcutta Mathematical Society
+
|издание = Bulletin of the Calcutta Mathematical Society
-
| год = 1945
+
|год = 1945
-
| том = 37
+
|том = 37
-
| страницы = 81–89
+
|страницы = 81–91
 +
}}
 +
* {{книга
 +
|автор = van der Vaart A. W.
 +
|заглавие = Asymptotic Statistics
 +
|место = Cambridge
 +
|издательство = Cambridge University Press
 +
|год = 1998
}}
}}

Текущая версия

Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником Mariia Shubina 23:00, 17 июля 2026 (MSD)


Содержание

Неравенство Рао — Крамера (также граница Крамера — Рао, информационная граница) — фундаментальный результат математической статистики, задающий нижнюю границу дисперсии несмещённых оценок параметра регулярной вероятностной модели. Граница выражается через информацию Фишера: чем больше информации о параметре содержится в наблюдениях, тем меньшая дисперсия в принципе возможна у несмещённой статистической оценки.

Неравенство решает задачу сравнения процедур оценивания без необходимости перебирать все возможные оценки. Если дисперсия некоторой несмещённой оценки совпадает с границей Рао — Крамера, то никакая другая несмещённая оценка не может иметь меньшую дисперсию в данной точке параметра. Если граница не достигается, она всё равно служит эталоном точности и позволяет измерять, насколько конкретная оценка далека от теоретически возможного уровня.

Результат был получен в работах К. Р. Рао и Х. Крамера в 1940-х годах и основан на введённом Р. Фишером понятии информации о параметре.[1][1][1]

Основные понятия

Статистическая модель и функция правдоподобия

Пусть наблюдение X имеет распределение из параметрического семейства

\mathcal{P}=\{P_\theta:\theta\in\Theta\}.

Здесь \theta — неизвестный параметр, а \Theta — пространство параметров. Если распределение имеет плотность или функцию вероятностей p_\theta(x), то при фиксированном наблюдении x выражение

L(\theta;x)=p_\theta(x)

называется функцией правдоподобия. Для независимой выборки X_1,\ldots,X_n

L(\theta;X_1,\ldots,X_n)=\prod_{i=1}^{n}p_\theta(X_i).

Часто удобнее использовать логарифмическую функцию правдоподобия

\ell(\theta;X)=\log L(\theta;X).

Её производная по параметру

U_\theta(X)=\frac{\partial}{\partial\theta}\ell(\theta;X)

называется функцией вклада, или скор-функцией.

Статистическая оценка и несмещённость

Статистическая оценка параметра или функции параметра — измеримая функция наблюдений

T=T(X_1,\ldots,X_n).

После подстановки реализованной выборки она даёт численное приближение неизвестной величины.

Оценка T функции g(\theta) называется несмещённой, если

\mathsf{E}_\theta T=g(\theta)

для всех \theta\in\Theta. В частности, для оценки самого параметра требуется \mathsf{E}_\theta T=\theta.

Несмещённость характеризует математическое ожидание оценки, но сама по себе не гарантирует малую ошибку. Среди несмещённых оценок обычно предпочтительна оценка с меньшей дисперсией

\mathsf{Var}_\theta(T)=\mathsf{E}_\theta\left(T-\mathsf{E}_\theta T\right)^2.

Для несмещённой оценки функции g(\theta) её среднеквадратичная ошибка совпадает с дисперсией:

\mathsf{E}_\theta\left(T-g(\theta)\right)^2=\mathsf{Var}_\theta(T).

Для смещённой оценки это равенство неверно: среднеквадратичная ошибка дополнительно содержит квадрат смещения.

Информация Фишера

Фишеровская информация в одном наблюдении определяется как

I_1(\theta)=\mathsf{E}_\theta\left[\left(\frac{\partial}{\partial\theta}\log p_\theta(X)\right)^2\right],

если математическое ожидание существует. При стандартных условиях регулярности справедлива эквивалентная формула

I_1(\theta)=-\mathsf{E}_\theta\left[\frac{\partial^2}{\partial\theta^2}\log p_\theta(X)\right].

Для независимых одинаково распределённых наблюдений информация складывается:

I_n(\theta)=nI_1(\theta).

Информация Фишера измеряет локальную чувствительность распределения наблюдений к изменению параметра. Большая информация означает, что близкие значения параметра порождают лучше различимые распределения.

Формулировка неравенства Рао — Крамера

Пусть T(X) — несмещённая оценка дифференцируемой функции g(\theta), то есть

\mathsf{E}_\theta T=g(\theta).

При выполнении условий регулярности и при 0<I_n(\theta)<\infty справедливо неравенство

\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.

Для несмещённой оценки самого параметра, когда g(\theta)=\theta и g'(\theta)=1, формула принимает вид

\mathsf{Var}_\theta(T)\geq\frac{1}{I_n(\theta)}.

Здесь:

  • \mathsf{Var}_\theta(T) — дисперсия оценки при истинном значении параметра \theta;
  • g'(\theta) — чувствительность оцениваемой функции к изменению параметра;
  • I_n(\theta) — информация Фишера во всей выборке;
  • правая часть — нижняя граница Рао — Крамера.

Граница является поточечной: она может зависеть от \theta. Неравенство не утверждает, что оценка с дисперсией, равной правой части, обязательно существует.

Идея доказательства

В регулярной модели математическое ожидание скор-функции равно нулю:

\mathsf{E}_\theta U_\theta(X)=0.

Дифференцирование равенства \mathsf{E}_\theta T=g(\theta) по \theta даёт

\mathsf{E}_\theta\left[\left(T-g(\theta)\right)U_\theta(X)\right]=g'(\theta).

Левая часть является ковариацией оценки и скор-функции. По неравенству Коши — Буняковского

\left(g'(\theta)\right)^2\leq\mathsf{Var}_\theta(T)\,\mathsf{Var}_\theta\left(U_\theta(X)\right).

Поскольку

\mathsf{Var}_\theta\left(U_\theta(X)\right)=I_n(\theta),

получается неравенство Рао — Крамера.[1]

Условия применимости

Классическая формулировка требует регулярности статистической модели. В прикладных задачах обычно проверяют следующие условия.

  • Плотность или функция вероятностей p_\theta(x) достаточно гладко зависит от \theta.
  • Область возможных значений наблюдения не зависит от параметра либо граничные члены при дифференцировании исчезают.
  • Допустимо менять местами дифференцирование по параметру и интегрирование или суммирование по наблюдениям.
  • Скор-функция имеет конечный второй момент.
  • Информация Фишера существует, конечна и положительна.
  • Оцениваемая функция g(\theta) дифференцируема.
  • Для многопараметрической версии информационная матрица должна быть невырожденной либо требуется специальная формулировка с ограничениями или обобщённой обратной матрицей.

Эти условия нарушаются, например, в модели равномерного распределения на [0,\theta], поскольку носитель распределения зависит от \theta. Формальное применение стандартной формулы в такой задаче может дать неверный вывод.

Эффективные оценки

Несмещённая оценка T называется эффективной в точке \theta, если её дисперсия достигает границы Рао — Крамера:

\mathsf{Var}_\theta(T)=\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.

Если равенство выполняется для всех \theta\in\Theta, оценка эффективна на всём пространстве параметров.

Равенство в неравенстве Коши — Буняковского достигается тогда и только тогда, когда центрированная оценка пропорциональна скор-функции. Поэтому необходимое и, при регулярности, достаточное условие эффективности имеет вид

T(X)-g(\theta)=a(\theta)U_\theta(X),

где

a(\theta)=\frac{g'(\theta)}{I_n(\theta)}.

Это условие достаточно жёсткое. Точная эффективность при конечном размере выборки характерна прежде всего для некоторых регулярных экспоненциальных семейств. Во многих моделях граница недостижима ни одной несмещённой оценкой.

Иногда вводят относительную эффективность несмещённой оценки:

e_\theta(T)=\frac{\left(g'(\theta)\right)^2/I_n(\theta)}{\mathsf{Var}_\theta(T)}.

При выполнении условий неравенства 0<e_\theta(T)\leq 1. Это отношение нельзя смешивать со среднеквадратичной ошибкой смещённой оценки или с асимптотической эффективностью.

Связь с методом максимального правдоподобия

Метод максимального правдоподобия выбирает значение

\widehat{\theta}_{\mathrm{ML}}\in\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta;X).

Оценка максимального правдоподобия не обязана быть несмещённой и не обязана достигать границы Рао — Крамера при конечном n. Поэтому из самого определения метода максимального правдоподобия эффективность не следует.

Однако в регулярных идентифицируемых моделях при стандартных условиях оценка максимального правдоподобия является состоятельной и асимптотически нормальной:

\sqrt{n}\left(\widehat{\theta}_{\mathrm{ML}}-\theta\right)\xrightarrow{d}\mathcal{N}\left(0,I_1(\theta)^{-1}\right).

Следовательно,

\mathsf{Var}_\theta\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx\frac{1}{nI_1(\theta)}=\frac{1}{I_n(\theta)}

при больших n. В этом смысле оценка максимального правдоподобия часто асимптотически эффективна: её предельная дисперсия совпадает с информационной границей. Это утверждение относится к асимптотике и не означает точного равенства дисперсий для конечной выборки.[1]

Наблюдаемая отрицательная матрица вторых производных логарифма правдоподобия,

-\frac{\partial^2}{\partial\theta^2}\ell(\theta;X),

служит выборочным аналогом информации Фишера. Её обратная величина или обратная матрица часто используется для приближённого вычисления стандартных ошибок оценок максимального правдоподобия.

Классические примеры

Во всех примерах наблюдения независимы и одинаково распределены.

Нормальное распределение с известной дисперсией

Пусть

X_1,\ldots,X_n\sim\mathcal{N}(\mu,\sigma^2),

где \sigma^2 известно, а \mu неизвестно. Для одного наблюдения

\ell(\mu;X)=-\frac{1}{2}\log(2\pi\sigma^2)-\frac{(X-\mu)^2}{2\sigma^2}.

Скор-функция равна

\frac{\partial}{\partial\mu}\ell(\mu;X)=\frac{X-\mu}{\sigma^2}.

Поэтому

I_1(\mu)=\frac{1}{\sigma^2},\qquad I_n(\mu)=\frac{n}{\sigma^2}.

Граница Рао — Крамера для любой несмещённой оценки T параметра \mu равна

\mathsf{Var}_\mu(T)\geq\frac{\sigma^2}{n}.

Естественная оценка — выборочное среднее

\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i.

Она несмещённа, и

\mathsf{Var}_\mu(\overline{X})=\frac{\sigma^2}{n}.

Следовательно, \overline{X} достигает границы и является эффективной оценкой \mu.

Распределение Бернулли

Пусть

X_1,\ldots,X_n\sim\operatorname{Bernoulli}(p),\qquad 0<p<1. Для одного наблюдения p_p(x)=p^x(1-p)^{1-x},\qquad x\in\{0,1\}. Логарифм правдоподобия и его производная имеют вид \ell(p;X)=X\log p+(1-X)\log(1-p), \frac{\partial}{\partial p}\ell(p;X)=\frac{X-p}{p(1-p)}. Так как \mathsf{Var}_p(X)=p(1-p), I_1(p)=\frac{1}{p(1-p)},\qquad I_n(p)=\frac{n}{p(1-p)}. Поэтому для любой несмещённой оценки T вероятности успеха \mathsf{Var}_p(T)\geq\frac{p(1-p)}{n}. Естественная оценка доли успехов \widehat{p}=\overline{X} несмещённа и имеет дисперсию \mathsf{Var}_p(\widehat{p})=\frac{p(1-p)}{n}. Таким образом, выборочная доля эффективна.

Распределение Пуассона

Пусть

X_1,\ldots,X_n\sim\operatorname{Poisson}(\lambda),\qquad \lambda>0.

Для одного наблюдения

p_\lambda(x)=\frac{e^{-\lambda}\lambda^x}{x!},\qquad x=0,1,2,\ldots

Логарифм правдоподобия и скор-функция равны

\ell(\lambda;X)=-\lambda+X\log\lambda-\log(X!),

\frac{\partial}{\partial\lambda}\ell(\lambda;X)=\frac{X-\lambda}{\lambda}.

Поскольку \mathsf{Var}_\lambda(X)=\lambda,

I_1(\lambda)=\frac{1}{\lambda},\qquad I_n(\lambda)=\frac{n}{\lambda}.

Граница для несмещённой оценки интенсивности равна

\mathsf{Var}_\lambda(T)\geq\frac{\lambda}{n}.

Выборочное среднее \overline{X} несмещённо и удовлетворяет

\mathsf{Var}_\lambda(\overline{X})=\frac{\lambda}{n}.

Следовательно, \overline{X} является эффективной оценкой \lambda.

Экспоненциальное распределение

Результат зависит от параметризации. Сначала параметризуем распределение средним значением, или масштабом, \theta>0:

p_\theta(x)=\frac{1}{\theta}\exp\left(-\frac{x}{\theta}\right),\qquad x\geq 0.

Для одного наблюдения

\ell(\theta;X)=-\log\theta-\frac{X}{\theta},

\frac{\partial}{\partial\theta}\ell(\theta;X)=\frac{X-\theta}{\theta^2}.

Так как \mathsf{Var}_\theta(X)=\theta^2,

I_1(\theta)=\frac{1}{\theta^2},\qquad I_n(\theta)=\frac{n}{\theta^2}.

Граница Рао — Крамера равна

\mathsf{Var}_\theta(T)\geq\frac{\theta^2}{n}.

Естественная оценка масштаба \overline{X} несмещённа, причём

\mathsf{Var}_\theta(\overline{X})=\frac{\theta^2}{n}.

Она достигает границы и эффективна.

Если вместо масштаба использовать интенсивность \lambda=1/\theta, плотность принимает вид

p_\lambda(x)=\lambda e^{-\lambda x}.

Тогда

I_n(\lambda)=\frac{n}{\lambda^2},\qquad\mathsf{Var}_\lambda(T)\geq\frac{\lambda^2}{n}.

Оценка максимального правдоподобия

\widehat{\lambda}_{\mathrm{ML}}=\frac{1}{\overline{X}}

смещена при конечном n, поэтому стандартная граница для несмещённых оценок к ней напрямую неприменима. Несмещённая оценка

\widetilde{\lambda}=\frac{n-1}{\sum_{i=1}^{n}X_i}

при n>2 имеет дисперсию

\mathsf{Var}_\lambda(\widetilde{\lambda})=\frac{\lambda^2}{n-2},

которая строго больше \lambda^2/n. Следовательно, в параметризации интенсивностью точная нижняя граница не достигается этой естественной несмещённой оценкой, хотя оценка максимального правдоподобия асимптотически эффективна.

Многопараметрическая форма

Пусть параметр является вектором

\theta=(\theta_1,\ldots,\theta_d)^{\mathsf T}.

Информационная матрица Фишера определяется как

I(\theta)=\mathsf{E}_\theta\left[\nabla_\theta\ell(\theta;X)\nabla_\theta\ell(\theta;X)^{\mathsf T}\right].

Для несмещённой оценки вектора g(\theta) справедливо матричное неравенство

\operatorname{Cov}_\theta(T)\succeq G(\theta)I(\theta)^{-1}G(\theta)^{\mathsf T},

где G(\theta) — матрица Якоби функции g, а знак \succeq означает, что разность левой и правой частей неотрицательно определена. Для оценки самого вектора параметров

\operatorname{Cov}_\theta(T)\succeq I(\theta)^{-1}.

Матричная форма особенно важна в машинном обучении, где параметры моделей обычно многомерны.

Применения в машинном обучении и анализе данных

Оценивание параметров вероятностных моделей

Граница Рао — Крамера позволяет определить минимально возможную ковариацию несмещённых оценок параметров вероятностной модели. Она применяется при анализе моделей шума, смесей распределений, временных рядов, моделей выживания, систем идентификации и статистической обработки сигналов.

Практический смысл состоит в разделении двух источников неточности:

  • ограниченности информации, содержащейся в данных;
  • неэффективности выбранного алгоритма оценивания.

Если дисперсия оценки близка к информационной границе, существенное улучшение возможно главным образом за счёт увеличения объёма или качества данных, а не замены алгоритма другой несмещённой процедурой.

Анализ метода максимального правдоподобия

В регулярных моделях обратная информационная матрица описывает предельную ковариацию оценки максимального правдоподобия:

\operatorname{Cov}\left(\widehat{\theta}_{\mathrm{ML}}\right)\approx I_n(\theta)^{-1}.

Это соотношение используется для:

  • вычисления стандартных ошибок параметров;
  • построения приближённых доверительных интервалов;
  • сравнения различных планов сбора данных;
  • диагностики слабой идентифицируемости параметров;
  • анализа влияния размера выборки на точность оценивания.

Малое собственное значение информационной матрицы соответствует направлению в пространстве параметров, которое плохо определяется данными. Обратная матрица тогда содержит большие элементы, указывая на высокую неопределённость оценки.

Логистическая регрессия

В логистической регрессии

\mathsf{P}(Y_i=1\mid x_i)=\sigma(x_i^{\mathsf T}\beta),\qquad\sigma(z)=\frac{1}{1+e^{-z}}.

Обозначим

p_i=\sigma(x_i^{\mathsf T}\beta).

Для независимых наблюдений информационная матрица параметра \beta имеет вид

I(\beta)=X^{\mathsf T}WX,

где X — матрица признаков, а

W=\operatorname{diag}\left(p_1(1-p_1),\ldots,p_n(1-p_n)\right).

При регулярности асимптотическая ковариация оценки максимального правдоподобия приближённо равна

\operatorname{Cov}(\widehat{\beta})\approx\left(X^{\mathsf T}WX\right)^{-1}.

Формула показывает, что точность зависит не только от числа объектов, но и от геометрии матрицы признаков и значений предсказанных вероятностей. Сильная мультиколлинеарность делает информационную матрицу плохо обусловленной. Почти полное разделение классов может приводить к несуществованию конечной оценки максимального правдоподобия, поэтому стандартная асимптотическая интерпретация нарушается.

Регуляризация изменяет задачу: оценка становится смещённой, а обратный гессиан регуляризованной целевой функции нельзя без дополнительных оговорок считать классической границей Рао — Крамера для несмещённых оценок.

Ограничения

  1. Требование несмещённости. Классическая граница относится к несмещённым оценкам. Смещённая оценка может иметь меньшую дисперсию и меньшую среднеквадратичную ошибку.
  2. Недостижимость границы. Нижняя граница может не совпадать с дисперсией ни одной оценки.
  3. Нерегулярные модели. При зависящем от параметра носителе, недифференцируемом правдоподобии или невозможности переставить интегрирование и дифференцирование стандартная формула неприменима.
  4. Сингулярная информация. Невырожденность информационной матрицы связана с локальной идентифицируемостью. При сингулярности обычная обратная матрица не существует.
  5. Конечная выборка и асимптотика. Асимптотическая эффективность оценки максимального правдоподобия не гарантирует хорошей точности при малом n.
  6. Параметризация. Численный вид информации Фишера и границы меняется при замене параметра, хотя корректно преобразуется по правилу производной.
  7. Параметры на границе. Если истинный параметр лежит на границе пространства параметров, стандартная асимптотическая нормальность и классическая граница могут нарушаться.
  8. Наличие мешающих параметров. Нельзя вычислять границу для одного параметра, игнорируя неизвестные сопутствующие параметры. Требуется соответствующий элемент обратной полной информационной матрицы.

Для смещённой оценки T параметра \theta со смещением

b(\theta)=\mathsf{E}_\theta T-\theta

при подходящих условиях существует модифицированная граница

\mathsf{Var}_\theta(T)\geq\frac{\left(1+b'(\theta)\right)^2}{I_n(\theta)}.

Но даже эта формула ограничивает дисперсию, а не полную среднеквадратичную ошибку:

\operatorname{MSE}_\theta(T)=\mathsf{Var}_\theta(T)+b(\theta)^2.

Типичные ошибки

  • Подстановка дисперсии смещённой оценки в классическую формулу для несмещённых оценок.
  • Отождествление дисперсии и среднеквадратичной ошибки.
  • Вычисление информации по всей выборке как I_1(\theta) вместо nI_1(\theta).
  • Использование формулы через вторую производную без проверки регулярности.
  • Игнорирование того, что носитель распределения зависит от параметра.
  • Вывод об эффективности только из равенства оценки максимального правдоподобия некоторой привычной статистике.
  • Сравнение границы для одной параметризации с дисперсией оценки другого параметра.
  • Использование диагонального элемента 1/I_{jj}(\theta) вместо элемента (I(\theta)^{-1})_{jj} при наличии неизвестных мешающих параметров.
  • Утверждение, что оценка с минимальной дисперсией среди несмещённых обязательно достигает границы Рао — Крамера.
  • Интерпретация сингулярной информационной матрицы только как численной проблемы, хотя она может указывать на неидентифицируемость модели.

Резюме

Неравенство Рао — Крамера связывает точность несмещённого оценивания с количеством информации о параметре, содержащейся в данных:

\mathsf{Var}_\theta(T)\geq\frac{\left(g'(\theta)\right)^2}{I_n(\theta)}.

Оно наиболее полезно, когда модель регулярна, информация Фишера вычисляется аналитически или численно, а требуется:

  • установить теоретический предел точности оценивания;
  • доказать эффективность конкретной несмещённой оценки;
  • сравнить дисперсию оценки с информационным эталоном;
  • исследовать асимптотическую эффективность метода максимального правдоподобия;
  • оценить стандартные ошибки в многопараметрических вероятностных моделях;
  • выявить слабую идентифицируемость или неудачный план эксперимента.

Граница не заменяет анализ смещения, среднеквадратичной ошибки и поведения оценки при конечной выборке. Её следует применять только после проверки параметризации и условий регулярности.

Литература


  • Casella G., Berger R. L. Statistical Inference. — 2-е. — Pacific Grove: Duxbury, 2002.
  • Cramér H. Mathematical Methods of Statistics. — Princeton: Princeton University Press, 1946.
  • Fisher R. A. On the Mathematical Foundations of Theoretical Statistics // Philosophical Transactions of the Royal Society of London. Series A. — 1922. — Т. 222. — С. 309–368.
  • Lehmann E. L., Casella G. Theory of Point Estimation. — 2-е. — New York: Springer, 1998.
  • Rao C. R. Information and the Accuracy Attainable in the Estimation of Statistical Parameters // Bulletin of the Calcutta Mathematical Society. — 1945. — Т. 37. — С. 81–91.
  • van der Vaart A. W. Asymptotic Statistics. — Cambridge: Cambridge University Press, 1998.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A0%D0%B0%D0%BE-%D0%9A%D1%80%D0%B0%D0%BC%D0%B5%D1%80%D0%B0»