Апостериорная вероятность

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Апостериорная вероятность

Апостериорная вероятность (от Шаблон:Lang-la — «последующий») — это условная вероятность случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах байесовского подхода апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием байесовского вывода.

В отличие от априорной вероятности, которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и функции правдоподобия наблюдаемой выборки.

Определение

Пусть \theta — параметр (или гипотеза) с априорным распределением p(\theta), а D — наблюдаемые данные. Тогда апостериорное распределение задаётся теоремой Байеса:

p(\theta \mid D) = \frac{p(D \mid \theta) \, p(\theta)}{p(D)},

где:

  • p(D \mid \theta) — правдоподобие данных при фиксированном \theta;
  • p(D) = \int p(D \mid \theta) \, p(\theta) \, d\theta — маргинальная вероятность (нормирующая константа), также называемая свидетельством (evidence).

В случае дискретного пространства гипотез интеграл заменяется суммой. Если \theta — скалярная величина, то p(\theta \mid D) — это плотность (или функция вероятности для дискретного случая), которая полностью описывает апостериорное распределение.

Связь с априорной вероятностью и правдоподобием

Апостериорная вероятность является результатом байесовского обновления. Основные соотношения:

  • Если априорное распределение неинформативно (например, постоянное), апостериорная вероятность пропорциональна правдоподобию — это соответствует оценке максимального правдоподобия.
  • При увеличении объёма данных влияние априорного распределения ослабевает, и апостериорная вероятность сходится (в вероятностном смысле) к истинному значению параметра (свойство состоятельности).
  • Выбор априорного распределения может существенно влиять на апостериорную вероятность при малых выборках, что требует осторожности в практических приложениях.

Свойства

Апостериорное распределение обладает следующими важными свойствами:

  • **Нормированность**: \int p(\theta \mid D) \, d\theta = 1 (для непрерывных величин).
  • **Достаточность**: для вычисления апостериорной вероятности достаточно знать достаточную статистику выборки (в силу факторизации правдоподобия).
  • **Когерентность**: последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
  • **Асимптотическая нормальность**: при выполнении регулярных условий апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия (Байесовская центральная предельная теорема).

Апостериорная вероятность в машинном обучении

В машинном обучении апостериорная вероятность играет ключевую роль в нескольких разделах:

Байесовская классификация

В наивном байесовском классификаторе для класса C_k и вектора признаков \mathbf{x} апостериорная вероятность вычисляется как:

P(C_k \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid C_k) \, P(C_k)}{P(\mathbf{x})}.

Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):

\hat{C} = \arg\max_{k} \, P(C_k \mid \mathbf{x}).

Байесовская регуляризация

В линейной регрессии с априорным распределением на веса (например, лапласовским или гауссовским) апостериорная вероятность используется для вывода регуляризованной функции потерь (ридж-регрессия, LASSO). Максимизация апостериорной вероятности эквивалентна минимизации регуляризованного эмпирического риска.

Байесовская оптимизация

В байесовской оптимизации апостериорное распределение гауссовского процесса служит суррогатной моделью для неизвестной целевой функции, а функции выбора (например, UCB или EI) используют апостериорные среднее и дисперсию для выбора следующей точки для оценки.

Вариационный вывод и MCMC

В сложных моделях (например, глубоких вероятностных моделях) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:

Апостериорная предсказательная вероятность

Часто в задачах прогнозирования интересуются не самим параметром, а распределением нового наблюдения \tilde{x} при условии уже имеющихся данных D. Это выражается через апостериорное предсказательное распределение:

p(\tilde{x} \mid D) = \int p(\tilde{x} \mid \theta) \, p(\theta \mid D) \, d\theta.

Эта величина используется в байесовской оценке риска и для построения предсказательных интервалов.

Отличие от частотного подхода

В частотной статистике параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются доверительные интервалы и p-значения. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости.

Пример

Пусть у нас есть монета, вероятность выпадения орла p неизвестна. Априорно предполагаем бета-распределение p \sim \text{Beta}(\alpha, \beta). После n подбрасываний, в которых выпало h орлов, правдоподобие имеет вид p^h (1-p)^{n-h}. Тогда апостериорное распределение:

p \mid D \sim \text{Beta}(\alpha + h, \, \beta + n - h).

Это классический пример сопряжённого априорного распределения, когда апостериорное принадлежит тому же семейству, что и априорное.

См. также

Литература

  • Gelman A., Carlin J. B., Stern H. S., Rubin D. B. Bayesian Data Analysis. — 3rd ed. — CRC Press, 2013.
  • Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
  • MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003.
  • Murphy K. P. Machine Learning: A Probabilistic Perspective. — MIT Press, 2012.
  • Robert C. P., Casella G. Monte Carlo Statistical Methods. — 2nd ed. — Springer, 2004.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BE%D1%81%D1%82%D0%B5%D1%80%D0%B8%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C»
Личные инструменты