Апостериорная вероятность

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{UnderConstruction|~~~~}})
Строка 1: Строка 1:
-
{{UnderConstruction|[[Участник:Alfina Iamaeva|Alfina Iamaeva]] 21:44, 14 июля 2026 (MSD)}}
+
== Апостериорная вероятность ==
 +
 
 +
'''Апостериорная вероятность''' (от {{lang-la|posteriori}} — «последующий») — это [[Условная вероятность|условная вероятность]] случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах [[Байесовская статистика|байесовского подхода]] апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием [[Байесовский вывод|байесовского вывода]].
 +
 
 +
В отличие от '''[[Априорная вероятность|априорной вероятности]]''', которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и [[Функция правдоподобия|функции правдоподобия]] наблюдаемой выборки.
 +
 
 +
== Определение ==
 +
 
 +
Пусть <tex>\theta</tex> — параметр (или гипотеза) с априорным распределением <tex>p(\theta)</tex>, а <tex>D</tex> — наблюдаемые данные. Тогда апостериорное распределение задаётся [[Теорема Байеса|теоремой Байеса]]:
 +
 
 +
<tex>
 +
p(\theta \mid D) = \frac{p(D \mid \theta) \, p(\theta)}{p(D)},
 +
</tex>
 +
 
 +
где:
 +
* <tex>p(D \mid \theta)</tex> — правдоподобие данных при фиксированном <tex>\theta</tex>;
 +
* <tex>p(D) = \int p(D \mid \theta) \, p(\theta) \, d\theta</tex> — [[Маргинальное распределение|маргинальная вероятность]] (нормирующая константа), также называемая ''свидетельством'' (evidence).
 +
 
 +
В случае дискретного пространства гипотез интеграл заменяется суммой. Если <tex>\theta</tex> — скалярная величина, то <tex>p(\theta \mid D)</tex> — это плотность (или функция вероятности для дискретного случая), которая полностью описывает апостериорное распределение.
 +
 
 +
== Связь с априорной вероятностью и правдоподобием ==
 +
 
 +
Апостериорная вероятность является результатом ''байесовского обновления''. Основные соотношения:
 +
 
 +
* Если априорное распределение [[Неинформативный априор|неинформативно]] (например, постоянное), апостериорная вероятность пропорциональна правдоподобию — это соответствует [[Метод максимального правдоподобия|оценке максимального правдоподобия]].
 +
* При увеличении объёма данных влияние априорного распределения ослабевает, и апостериорная вероятность сходится (в [[Теория вероятностей|вероятностном]] смысле) к истинному значению параметра ([[Байесовская состоятельность|свойство состоятельности]]).
 +
* Выбор априорного распределения может существенно влиять на апостериорную вероятность при малых выборках, что требует осторожности в практических приложениях.
 +
 
 +
== Свойства ==
 +
 
 +
Апостериорное распределение обладает следующими важными свойствами:
 +
 
 +
* **Нормированность**: <tex>\int p(\theta \mid D) \, d\theta = 1</tex> (для непрерывных величин).
 +
* **Достаточность**: для вычисления апостериорной вероятности достаточно знать [[Достаточная статистика|достаточную статистику]] выборки (в силу факторизации правдоподобия).
 +
* **Когерентность**: последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
 +
* **Асимптотическая нормальность**: при выполнении регулярных условий апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия ([[Байесовская центральная предельная теорема]]).
 +
 
 +
== Апостериорная вероятность в машинном обучении ==
 +
 
 +
В [[Машинное обучение|машинном обучении]] апостериорная вероятность играет ключевую роль в нескольких разделах:
 +
 
 +
=== Байесовская классификация ===
 +
 
 +
В [[Наивный байесовский классификатор|наивном байесовском классификаторе]] для класса <tex>C_k</tex> и вектора признаков <tex>\mathbf{x}</tex> апостериорная вероятность вычисляется как:
 +
 
 +
<tex>
 +
P(C_k \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid C_k) \, P(C_k)}{P(\mathbf{x})}.
 +
</tex>
 +
 
 +
Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):
 +
 
 +
<tex>
 +
\hat{C} = \arg\max_{k} \, P(C_k \mid \mathbf{x}).
 +
</tex>
 +
 
 +
=== Байесовская регуляризация ===
 +
 
 +
В [[Линейная регрессия|линейной регрессии]] с априорным распределением на веса (например, [[Лапласово распределение|лапласовским]] или [[Нормальное распределение|гауссовским]]) апостериорная вероятность используется для вывода регуляризованной функции потерь ([[Ридж-регрессия|ридж-регрессия]], [[LASSO]]). Максимизация апостериорной вероятности эквивалентна минимизации регуляризованного эмпирического риска.
 +
 
 +
=== Байесовская оптимизация ===
 +
 
 +
В [[Байесовская оптимизация|байесовской оптимизации]] апостериорное распределение [[Гауссовский процесс|гауссовского процесса]] служит суррогатной моделью для неизвестной целевой функции, а функции выбора (например, [[Upper Confidence Bound|UCB]] или [[Expected Improvement|EI]]) используют апостериорные среднее и дисперсию для выбора следующей точки для оценки.
 +
 
 +
=== Вариационный вывод и MCMC ===
 +
 
 +
В сложных моделях (например, [[Глубокое обучение|глубоких вероятностных моделях]]) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:
 +
* [[Метод Монте-Карло с цепями Маркова|MCMC]] (семплы из апостериорного распределения);
 +
* [[Вариационный вывод|вариационный байесовский вывод]] (подбор параметрического семейства, минимизирующего [[Дивергенция Кульбака — Лейблера|KL-дивергенцию]] до истинного апостериорного).
 +
 
 +
== Апостериорная предсказательная вероятность ==
 +
 
 +
Часто в задачах прогнозирования интересуются не самим параметром, а распределением нового наблюдения <tex>\tilde{x}</tex> при условии уже имеющихся данных <tex>D</tex>. Это выражается через ''апостериорное предсказательное распределение'':
 +
 
 +
<tex>
 +
p(\tilde{x} \mid D) = \int p(\tilde{x} \mid \theta) \, p(\theta \mid D) \, d\theta.
 +
</tex>
 +
 
 +
Эта величина используется в [[Байесовский подход к оценке риска|байесовской оценке риска]] и для построения предсказательных интервалов.
 +
 
 +
== Отличие от частотного подхода ==
 +
 
 +
В [[Частотная статистика|частотной статистике]] параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются [[Доверительный интервал|доверительные интервалы]] и [[Проверка статистических гипотез|p-значения]]. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости.
 +
 
 +
== Пример ==
 +
 
 +
Пусть у нас есть монета, вероятность выпадения орла <tex>p</tex> неизвестна. Априорно предполагаем [[Бета-распределение|бета-распределение]] <tex>p \sim \text{Beta}(\alpha, \beta)</tex>. После <tex>n</tex> подбрасываний, в которых выпало <tex>h</tex> орлов, правдоподобие имеет вид <tex>p^h (1-p)^{n-h}</tex>. Тогда апостериорное распределение:
 +
 
 +
<tex>
 +
p \mid D \sim \text{Beta}(\alpha + h, \, \beta + n - h).
 +
</tex>
 +
 
 +
Это классический пример ''сопряжённого априорного распределения'', когда апостериорное принадлежит тому же семейству, что и априорное.
 +
 
 +
== См. также ==
 +
* [[Априорная вероятность]]
 +
* [[Байесовский вывод]]
 +
* [[Функция правдоподобия]]
 +
* [[Максимум апостериорной вероятности]]
 +
* [[Байесовский фактор]]
 +
* [[Кредит доверия]]
 +
 
 +
== Литература ==
 +
* Gelman A., Carlin J. B., Stern H. S., Rubin D. B. Bayesian Data Analysis. — 3rd ed. — CRC Press, 2013.
 +
* Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
 +
* MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003.
 +
* Murphy K. P. Machine Learning: A Probabilistic Perspective. — MIT Press, 2012.
 +
* Robert C. P., Casella G. Monte Carlo Statistical Methods. — 2nd ed. — Springer, 2004.

Версия 15:17, 18 июля 2026

Содержание

Апостериорная вероятность

Апостериорная вероятность (от Шаблон:Lang-la — «последующий») — это условная вероятность случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах байесовского подхода апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием байесовского вывода.

В отличие от априорной вероятности, которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и функции правдоподобия наблюдаемой выборки.

Определение

Пусть \theta — параметр (или гипотеза) с априорным распределением p(\theta), а D — наблюдаемые данные. Тогда апостериорное распределение задаётся теоремой Байеса:

p(\theta \mid D) = \frac{p(D \mid \theta) \, p(\theta)}{p(D)},

где:

  • p(D \mid \theta) — правдоподобие данных при фиксированном \theta;
  • p(D) = \int p(D \mid \theta) \, p(\theta) \, d\theta — маргинальная вероятность (нормирующая константа), также называемая свидетельством (evidence).

В случае дискретного пространства гипотез интеграл заменяется суммой. Если \theta — скалярная величина, то p(\theta \mid D) — это плотность (или функция вероятности для дискретного случая), которая полностью описывает апостериорное распределение.

Связь с априорной вероятностью и правдоподобием

Апостериорная вероятность является результатом байесовского обновления. Основные соотношения:

  • Если априорное распределение неинформативно (например, постоянное), апостериорная вероятность пропорциональна правдоподобию — это соответствует оценке максимального правдоподобия.
  • При увеличении объёма данных влияние априорного распределения ослабевает, и апостериорная вероятность сходится (в вероятностном смысле) к истинному значению параметра (свойство состоятельности).
  • Выбор априорного распределения может существенно влиять на апостериорную вероятность при малых выборках, что требует осторожности в практических приложениях.

Свойства

Апостериорное распределение обладает следующими важными свойствами:

  • **Нормированность**: \int p(\theta \mid D) \, d\theta = 1 (для непрерывных величин).
  • **Достаточность**: для вычисления апостериорной вероятности достаточно знать достаточную статистику выборки (в силу факторизации правдоподобия).
  • **Когерентность**: последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
  • **Асимптотическая нормальность**: при выполнении регулярных условий апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия (Байесовская центральная предельная теорема).

Апостериорная вероятность в машинном обучении

В машинном обучении апостериорная вероятность играет ключевую роль в нескольких разделах:

Байесовская классификация

В наивном байесовском классификаторе для класса C_k и вектора признаков \mathbf{x} апостериорная вероятность вычисляется как:

P(C_k \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid C_k) \, P(C_k)}{P(\mathbf{x})}.

Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):

\hat{C} = \arg\max_{k} \, P(C_k \mid \mathbf{x}).

Байесовская регуляризация

В линейной регрессии с априорным распределением на веса (например, лапласовским или гауссовским) апостериорная вероятность используется для вывода регуляризованной функции потерь (ридж-регрессия, LASSO). Максимизация апостериорной вероятности эквивалентна минимизации регуляризованного эмпирического риска.

Байесовская оптимизация

В байесовской оптимизации апостериорное распределение гауссовского процесса служит суррогатной моделью для неизвестной целевой функции, а функции выбора (например, UCB или EI) используют апостериорные среднее и дисперсию для выбора следующей точки для оценки.

Вариационный вывод и MCMC

В сложных моделях (например, глубоких вероятностных моделях) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:

Апостериорная предсказательная вероятность

Часто в задачах прогнозирования интересуются не самим параметром, а распределением нового наблюдения \tilde{x} при условии уже имеющихся данных D. Это выражается через апостериорное предсказательное распределение:

p(\tilde{x} \mid D) = \int p(\tilde{x} \mid \theta) \, p(\theta \mid D) \, d\theta.

Эта величина используется в байесовской оценке риска и для построения предсказательных интервалов.

Отличие от частотного подхода

В частотной статистике параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются доверительные интервалы и p-значения. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости.

Пример

Пусть у нас есть монета, вероятность выпадения орла p неизвестна. Априорно предполагаем бета-распределение p \sim \text{Beta}(\alpha, \beta). После n подбрасываний, в которых выпало h орлов, правдоподобие имеет вид p^h (1-p)^{n-h}. Тогда апостериорное распределение:

p \mid D \sim \text{Beta}(\alpha + h, \, \beta + n - h).

Это классический пример сопряжённого априорного распределения, когда апостериорное принадлежит тому же семейству, что и априорное.

См. также

Литература

  • Gelman A., Carlin J. B., Stern H. S., Rubin D. B. Bayesian Data Analysis. — 3rd ed. — CRC Press, 2013.
  • Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
  • MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003.
  • Murphy K. P. Machine Learning: A Probabilistic Perspective. — MIT Press, 2012.
  • Robert C. P., Casella G. Monte Carlo Statistical Methods. — 2nd ed. — Springer, 2004.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BE%D1%81%D1%82%D0%B5%D1%80%D0%B8%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C»
Личные инструменты