Апостериорная вероятность

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Апостериорная вероятность)
(5 промежуточных версий не показаны.)
Строка 1: Строка 1:
== Апостериорная вероятность ==
== Апостериорная вероятность ==
-
'''Апостериорная вероятность''' (от {{lang-la|posteriori}} — «последующий») — это [[Условная вероятность|условная вероятность]] случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах [[Байесовская статистика|байесовского подхода]] апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием [[Байесовский вывод|байесовского вывода]].
+
'''Апостериорная вероятность''' (от лат. posteriori — «последующий») — это [[Условная вероятность|условная вероятность]] случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах [[Байесовская статистика|байесовского подхода]] апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием [[Байесовский вывод|байесовского вывода]].
В отличие от '''[[Априорная вероятность|априорной вероятности]]''', которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и [[Функция правдоподобия|функции правдоподобия]] наблюдаемой выборки.
В отличие от '''[[Априорная вероятность|априорной вероятности]]''', которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и [[Функция правдоподобия|функции правдоподобия]] наблюдаемой выборки.
Строка 31: Строка 31:
Апостериорное распределение обладает следующими важными свойствами:
Апостериорное распределение обладает следующими важными свойствами:
-
* **Нормированность**: <tex>\int p(\theta \mid D) \, d\theta = 1</tex> (для непрерывных величин).
+
* '''Нормированность''': <tex>\int p(\theta \mid D) \, d\theta = 1</tex> (для непрерывных величин).
-
* **Достаточность**: для вычисления апостериорной вероятности достаточно знать [[Достаточная статистика|достаточную статистику]] выборки (в силу факторизации правдоподобия).
+
* '''Достаточность''': для вычисления апостериорной вероятности достаточно знать [[Достаточная статистика|достаточную статистику]] выборки. По [[Теорема факторизации|теореме факторизации]] правдоподобие можно представить в виде:
-
* **Когерентность**: последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
+
<tex>p(D \mid \theta) = g(T(D), \theta) \cdot h(D),</tex>
-
* **Асимптотическая нормальность**: при выполнении регулярных условий апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия ([[Байесовская центральная предельная теорема]]).
+
где <tex>T(D)</tex> — некоторая функция данных (достаточная статистика), <tex>g</tex> зависит от данных только через <tex>T(D)</tex>, а <tex>h(D)</tex> от <tex>\theta</tex> не зависит. Тогда апостериорное распределение переписывается как
 +
<tex>p(\theta \mid D) \propto g(T(D), \theta) \, p(\theta),</tex>
 +
то есть вся информация о <tex>\theta</tex>, содержащаяся в данных, сосредоточена в <tex>T(D)</tex>. Это позволяет сокращать объём вычислений при работе с большими выборками.
 +
* '''Когерентность''': последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
 +
* '''Асимптотическая нормальность''': при выполнении условий регулярности (гладкость и невырожденность правдоподобия) апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия ([[Байесовская центральная предельная теорема]]).
== Апостериорная вероятность в машинном обучении ==
== Апостериорная вероятность в машинном обучении ==
-
В [[Машинное обучение|машинном обучении]] апостериорная вероятность играет ключевую роль в нескольких разделах:
+
В [[Машинное обучение|машинном обучении]] апостериорная вероятность играет ключевую роль в нескольких разделах.
=== Байесовская классификация ===
=== Байесовская классификация ===
-
В [[Наивный байесовский классификатор|наивном байесовском классификаторе]] для класса <tex>C_k</tex> и вектора признаков <tex>\mathbf{x}</tex> апостериорная вероятность вычисляется как:
+
Рассмотрим задачу классификации на <tex>K</tex> классов. Пусть для каждого класса <tex>k</tex> задана априорная вероятность <tex>P(C_k)</tex>, отражающая нашу долю уверенности в частоте этого класса до наблюдения признаков. Также задана функция правдоподобия <tex>p(\mathbf{x} \mid C_k)</tex> — плотность распределения признаков внутри класса. Для нового объекта с вектором признаков <tex>\mathbf{x}</tex> апостериорная вероятность класса вычисляется по формуле Байеса:
<tex>
<tex>
-
P(C_k \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid C_k) \, P(C_k)}{P(\mathbf{x})}.
+
P(C_k \mid \mathbf{x}) = \frac{p(\mathbf{x} \mid C_k) \, P(C_k)}{\sum_{j=1}^K p(\mathbf{x} \mid C_j) \, P(C_j)}.
</tex>
</tex>
-
Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):
+
Знаменатель — это маргинальная плотность признаков, которая не зависит от класса. Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):
<tex>
<tex>
\hat{C} = \arg\max_{k} \, P(C_k \mid \mathbf{x}).
\hat{C} = \arg\max_{k} \, P(C_k \mid \mathbf{x}).
</tex>
</tex>
 +
 +
Это правило минимизирует среднюю вероятность ошибки классификации. В [[Наивный байесовский классификатор|наивном байесовском классификаторе]] правдоподобие факторизуется по отдельным признакам, что делает вычисления эффективными даже при высокой размерности.
=== Байесовская регуляризация ===
=== Байесовская регуляризация ===
-
В [[Линейная регрессия|линейной регрессии]] с априорным распределением на веса (например, [[Лапласово распределение|лапласовским]] или [[Нормальное распределение|гауссовским]]) апостериорная вероятность используется для вывода регуляризованной функции потерь ([[Ридж-регрессия|ридж-регрессия]], [[LASSO]]). Максимизация апостериорной вероятности эквивалентна минимизации регуляризованного эмпирического риска.
+
В [[Байесовская линейная регрессия|байесовской линейной регрессии]] веса модели <tex>\mathbf{w}</tex> считаются случайными величинами с априорным распределением <tex>p(\mathbf{w})</tex>, например, гауссовским <tex>\mathcal{N}(0, \sigma^2 I)</tex> или лапласовским. После наблюдения обучающей выборки <tex>(\mathbf{X}, \mathbf{y})</tex> вычисляется апостериорное распределение <tex>p(\mathbf{w} \mid \mathbf{X}, \mathbf{y})</tex>. Максимизация апостериорной вероятности (MAP-оценка) эквивалентна минимизации регуляризованной функции потерь. Это становится очевидным после взятия логарифма: поскольку логарифм — монотонная функция, максимизация <tex>\log p(\mathbf{w} \mid D) = \log p(D \mid \mathbf{w}) + \log p(\mathbf{w}) - \text{const}</tex> соответствует максимизации суммы логарифма правдоподобия и логарифма априора. Для гауссовского априора это даёт <tex>L_2</tex>-регуляризацию ([[Ридж-регрессия|ридж-регрессия]]), а для лапласовского — <tex>L_1</tex>-регуляризацию ([[LASSO]]). Таким образом, байесовский подход даёт естественное обоснование регуляризации как способа учёта априорных предположений о параметрах.
=== Байесовская оптимизация ===
=== Байесовская оптимизация ===
-
В [[Байесовская оптимизация|байесовской оптимизации]] апостериорное распределение [[Гауссовский процесс|гауссовского процесса]] служит суррогатной моделью для неизвестной целевой функции, а функции выбора (например, [[Upper Confidence Bound|UCB]] или [[Expected Improvement|EI]]) используют апостериорные среднее и дисперсию для выбора следующей точки для оценки.
+
В [[Байесовская оптимизация|байесовской оптимизации]] апостериорное распределение [[Гауссовский процесс|гауссовского процесса]] служит суррогатной моделью для неизвестной целевой функции. ''Суррогатная модель'' — это вероятностная аппроксимация истинной функции, которая позволяет оценивать не только среднее значение, но и неопределённость предсказания. Для выбора следующей точки для вычисления целевой функции используются функции выбора (acquisition functions), которые балансируют между исследованием (exploration) и эксплуатацией (exploitation). Например, ''Upper Confidence Bound'' (UCB) выбирает точку, максимизирующую сумму апостериорного среднего и масштабированного апостериорного стандартного отклонения, что позволяет управлять компромиссом между поиском в неизведанных областях и улучшением текущего лучшего результата.
=== Вариационный вывод и MCMC ===
=== Вариационный вывод и MCMC ===
В сложных моделях (например, [[Глубокое обучение|глубоких вероятностных моделях]]) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:
В сложных моделях (например, [[Глубокое обучение|глубоких вероятностных моделях]]) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:
-
* [[Метод Монте-Карло с цепями Маркова|MCMC]] (семплы из апостериорного распределения);
+
* [[Метод Монте-Карло с цепями Маркова|MCMC]] — метод, генерирующий выборку из апостериорного распределения с помощью марковских цепей, стационарным распределением которых является искомое апостериорное;
-
* [[Вариационный вывод|вариационный байесовский вывод]] (подбор параметрического семейства, минимизирующего [[Дивергенция Кульбака — Лейблера|KL-дивергенцию]] до истинного апостериорного).
+
* [[Вариационный вывод|вариационный байесовский вывод]] — подбор параметрического семейства распределений, минимизирующего [[Дивергенция Кульбака — Лейблера|KL-дивергенцию]] до истинного апостериорного, что превращает задачу вывода в оптимизационную.
== Апостериорная предсказательная вероятность ==
== Апостериорная предсказательная вероятность ==
Строка 76: Строка 82:
</tex>
</tex>
-
Эта величина используется в [[Байесовский подход к оценке риска|байесовской оценке риска]] и для построения предсказательных интервалов.
+
Эта величина используется в [[Байесовский подход к оценке риска|байесовской оценке риска]] и для построения предсказательных интервалов, так как она усредняет неопределённость по всем возможным значениям параметра.
== Отличие от частотного подхода ==
== Отличие от частотного подхода ==
-
В [[Частотная статистика|частотной статистике]] параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются [[Доверительный интервал|доверительные интервалы]] и [[Проверка статистических гипотез|p-значения]]. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости.
+
В [[Частотная статистика|частотной статистике]] параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются [[Доверительный интервал|доверительные интервалы]] и [[Проверка статистических гипотез|p-значения]]. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости, что часто интуитивно понятнее для практических задач, особенно когда данных мало.
-
 
+
-
== Пример ==
+
-
 
+
-
Пусть у нас есть монета, вероятность выпадения орла <tex>p</tex> неизвестна. Априорно предполагаем [[Бета-распределение|бета-распределение]] <tex>p \sim \text{Beta}(\alpha, \beta)</tex>. После <tex>n</tex> подбрасываний, в которых выпало <tex>h</tex> орлов, правдоподобие имеет вид <tex>p^h (1-p)^{n-h}</tex>. Тогда апостериорное распределение:
+
-
 
+
-
<tex>
+
-
p \mid D \sim \text{Beta}(\alpha + h, \, \beta + n - h).
+
-
</tex>
+
-
 
+
-
Это классический пример ''сопряжённого априорного распределения'', когда апостериорное принадлежит тому же семейству, что и априорное.
+
== См. также ==
== См. также ==

Версия 17:42, 18 июля 2026

Содержание

Апостериорная вероятность

Апостериорная вероятность (от лат. posteriori — «последующий») — это условная вероятность случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах байесовского подхода апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием байесовского вывода.

В отличие от априорной вероятности, которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и функции правдоподобия наблюдаемой выборки.

Определение

Пусть \theta — параметр (или гипотеза) с априорным распределением p(\theta), а D — наблюдаемые данные. Тогда апостериорное распределение задаётся теоремой Байеса:

p(\theta \mid D) = \frac{p(D \mid \theta) \, p(\theta)}{p(D)},

где:

  • p(D \mid \theta) — правдоподобие данных при фиксированном \theta;
  • p(D) = \int p(D \mid \theta) \, p(\theta) \, d\theta — маргинальная вероятность (нормирующая константа), также называемая свидетельством (evidence).

В случае дискретного пространства гипотез интеграл заменяется суммой. Если \theta — скалярная величина, то p(\theta \mid D) — это плотность (или функция вероятности для дискретного случая), которая полностью описывает апостериорное распределение.

Связь с априорной вероятностью и правдоподобием

Апостериорная вероятность является результатом байесовского обновления. Основные соотношения:

  • Если априорное распределение неинформативно (например, постоянное), апостериорная вероятность пропорциональна правдоподобию — это соответствует оценке максимального правдоподобия.
  • При увеличении объёма данных влияние априорного распределения ослабевает, и апостериорная вероятность сходится (в вероятностном смысле) к истинному значению параметра (свойство состоятельности).
  • Выбор априорного распределения может существенно влиять на апостериорную вероятность при малых выборках, что требует осторожности в практических приложениях.

Свойства

Апостериорное распределение обладает следующими важными свойствами:

p(D \mid \theta) = g(T(D), \theta) \cdot h(D), где T(D) — некоторая функция данных (достаточная статистика), g зависит от данных только через T(D), а h(D) от \theta не зависит. Тогда апостериорное распределение переписывается как p(\theta \mid D) \propto g(T(D), \theta) \, p(\theta), то есть вся информация о \theta, содержащаяся в данных, сосредоточена в T(D). Это позволяет сокращать объём вычислений при работе с большими выборками.

  • Когерентность: последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
  • Асимптотическая нормальность: при выполнении условий регулярности (гладкость и невырожденность правдоподобия) апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия (Байесовская центральная предельная теорема).

Апостериорная вероятность в машинном обучении

В машинном обучении апостериорная вероятность играет ключевую роль в нескольких разделах.

Байесовская классификация

Рассмотрим задачу классификации на K классов. Пусть для каждого класса k задана априорная вероятность P(C_k), отражающая нашу долю уверенности в частоте этого класса до наблюдения признаков. Также задана функция правдоподобия p(\mathbf{x} \mid C_k) — плотность распределения признаков внутри класса. Для нового объекта с вектором признаков \mathbf{x} апостериорная вероятность класса вычисляется по формуле Байеса:

P(C_k \mid \mathbf{x}) = \frac{p(\mathbf{x} \mid C_k) \, P(C_k)}{\sum_{j=1}^K p(\mathbf{x} \mid C_j) \, P(C_j)}.

Знаменатель — это маргинальная плотность признаков, которая не зависит от класса. Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):

\hat{C} = \arg\max_{k} \, P(C_k \mid \mathbf{x}).

Это правило минимизирует среднюю вероятность ошибки классификации. В наивном байесовском классификаторе правдоподобие факторизуется по отдельным признакам, что делает вычисления эффективными даже при высокой размерности.

Байесовская регуляризация

В байесовской линейной регрессии веса модели \mathbf{w} считаются случайными величинами с априорным распределением p(\mathbf{w}), например, гауссовским \mathcal{N}(0, \sigma^2 I) или лапласовским. После наблюдения обучающей выборки (\mathbf{X}, \mathbf{y}) вычисляется апостериорное распределение p(\mathbf{w} \mid \mathbf{X}, \mathbf{y}). Максимизация апостериорной вероятности (MAP-оценка) эквивалентна минимизации регуляризованной функции потерь. Это становится очевидным после взятия логарифма: поскольку логарифм — монотонная функция, максимизация \log p(\mathbf{w} \mid D) = \log p(D \mid \mathbf{w}) + \log p(\mathbf{w}) - \text{const} соответствует максимизации суммы логарифма правдоподобия и логарифма априора. Для гауссовского априора это даёт L_2-регуляризацию (ридж-регрессия), а для лапласовского — L_1-регуляризацию (LASSO). Таким образом, байесовский подход даёт естественное обоснование регуляризации как способа учёта априорных предположений о параметрах.

Байесовская оптимизация

В байесовской оптимизации апостериорное распределение гауссовского процесса служит суррогатной моделью для неизвестной целевой функции. Суррогатная модель — это вероятностная аппроксимация истинной функции, которая позволяет оценивать не только среднее значение, но и неопределённость предсказания. Для выбора следующей точки для вычисления целевой функции используются функции выбора (acquisition functions), которые балансируют между исследованием (exploration) и эксплуатацией (exploitation). Например, Upper Confidence Bound (UCB) выбирает точку, максимизирующую сумму апостериорного среднего и масштабированного апостериорного стандартного отклонения, что позволяет управлять компромиссом между поиском в неизведанных областях и улучшением текущего лучшего результата.

Вариационный вывод и MCMC

В сложных моделях (например, глубоких вероятностных моделях) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:

  • MCMC — метод, генерирующий выборку из апостериорного распределения с помощью марковских цепей, стационарным распределением которых является искомое апостериорное;
  • вариационный байесовский вывод — подбор параметрического семейства распределений, минимизирующего KL-дивергенцию до истинного апостериорного, что превращает задачу вывода в оптимизационную.

Апостериорная предсказательная вероятность

Часто в задачах прогнозирования интересуются не самим параметром, а распределением нового наблюдения \tilde{x} при условии уже имеющихся данных D. Это выражается через апостериорное предсказательное распределение:

p(\tilde{x} \mid D) = \int p(\tilde{x} \mid \theta) \, p(\theta \mid D) \, d\theta.

Эта величина используется в байесовской оценке риска и для построения предсказательных интервалов, так как она усредняет неопределённость по всем возможным значениям параметра.

Отличие от частотного подхода

В частотной статистике параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются доверительные интервалы и p-значения. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости, что часто интуитивно понятнее для практических задач, особенно когда данных мало.

См. также

Литература

  • Gelman A., Carlin J. B., Stern H. S., Rubin D. B. Bayesian Data Analysis. — 3rd ed. — CRC Press, 2013.
  • Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
  • MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003.
  • Murphy K. P. Machine Learning: A Probabilistic Perspective. — MIT Press, 2012.
  • Robert C. P., Casella G. Monte Carlo Statistical Methods. — 2nd ed. — Springer, 2004.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BE%D1%81%D1%82%D0%B5%D1%80%D0%B8%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C»
Личные инструменты