Апостериорная вероятность

Материал из MachineLearning.

Содержание 1 Апостериорная вероятность 2 Определение 3 Связь с априорной вероятностью и правдоподобием 4 Свойства 5 Апостериорная вероятность в машинном обучении 5.1 Байесовская классификация 5.2 Байесовская регуляризация 5.3 Байесовская оптимизация 5.4 Вариационный вывод и MCMC 6 Апостериорная предсказательная вероятность 7 Отличие от частотного подхода 8 См. также 9 Литература

Апостериорная вероятность

Апостериорная вероятность (от Шаблон:Lang-la — «последующий») — это условная вероятность случайного события или параметра при условии, что получены соответствующие эмпирические данные (наблюдения). В терминах байесовского подхода апостериорная вероятность выражает степень уверенности в гипотезе после учёта новой информации и является центральным понятием байесовского вывода.

В отличие от априорной вероятности, которая отражает исходные предположения до наблюдения данных, апостериорная вероятность представляет собой обновлённое знание, полученное в результате комбинации априорного распределения и функции правдоподобия наблюдаемой выборки.

Определение

Пусть — параметр (или гипотеза) с априорным распределением , а — наблюдаемые данные. Тогда апостериорное распределение задаётся теоремой Байеса:

где:

• — правдоподобие данных при фиксированном ;
• — маргинальная вероятность (нормирующая константа), также называемая свидетельством (evidence).

В случае дискретного пространства гипотез интеграл заменяется суммой. Если — скалярная величина, то — это плотность (или функция вероятности для дискретного случая), которая полностью описывает апостериорное распределение.

Связь с априорной вероятностью и правдоподобием

Апостериорная вероятность является результатом байесовского обновления. Основные соотношения:

• Если априорное распределение неинформативно (например, постоянное), апостериорная вероятность пропорциональна правдоподобию — это соответствует оценке максимального правдоподобия.
• При увеличении объёма данных влияние априорного распределения ослабевает, и апостериорная вероятность сходится (в вероятностном смысле) к истинному значению параметра (свойство состоятельности).
• Выбор априорного распределения может существенно влиять на апостериорную вероятность при малых выборках, что требует осторожности в практических приложениях.

Свойства

Апостериорное распределение обладает следующими важными свойствами:

• Нормированность: (для непрерывных величин).
• Достаточность: для вычисления апостериорной вероятности достаточно знать достаточную статистику выборки. По теореме факторизации правдоподобие можно представить в виде:

где — некоторая функция данных (достаточная статистика), зависит от данных только через , а от не зависит. Тогда апостериорное распределение переписывается как

то есть вся информация о , содержащаяся в данных, сосредоточена в . Это позволяет сокращать объём вычислений при работе с большими выборками.

• Когерентность: последовательное обновление с использованием новых данных даёт тот же результат, что и совместная обработка всего набора данных.
• Асимптотическая нормальность: при выполнении условий регулярности (гладкость и невырожденность правдоподобия) апостериорное распределение приближается к нормальному с центром в оценке максимального правдоподобия (Байесовская центральная предельная теорема).

Апостериорная вероятность в машинном обучении

В машинном обучении апостериорная вероятность играет ключевую роль в нескольких разделах.

Байесовская классификация

Рассмотрим задачу классификации на классов. Пусть для каждого класса задана априорная вероятность , отражающая нашу долю уверенности в частоте этого класса до наблюдения признаков. Также задана функция правдоподобия — плотность распределения признаков внутри класса. Для нового объекта с вектором признаков апостериорная вероятность класса вычисляется по формуле Байеса:

Знаменатель — это маргинальная плотность признаков, которая не зависит от класса. Решение о классе принимается по правилу максимальной апостериорной вероятности (MAP):

Это правило минимизирует среднюю вероятность ошибки классификации. В наивном байесовском классификаторе правдоподобие факторизуется по отдельным признакам, что делает вычисления эффективными даже при высокой размерности.

Байесовская регуляризация

В байесовской линейной регрессии веса модели считаются случайными величинами с априорным распределением , например, гауссовским или лапласовским. После наблюдения обучающей выборки вычисляется апостериорное распределение . Максимизация апостериорной вероятности (MAP-оценка) эквивалентна минимизации регуляризованной функции потерь. Это становится очевидным после взятия логарифма: поскольку логарифм — монотонная функция, максимизация соответствует максимизации суммы логарифма правдоподобия и логарифма априора. Для гауссовского априора это даёт -регуляризацию (ридж-регрессия), а для лапласовского — -регуляризацию (LASSO). Таким образом, байесовский подход даёт естественное обоснование регуляризации как способа учёта априорных предположений о параметрах.

Байесовская оптимизация

В байесовской оптимизации апостериорное распределение гауссовского процесса служит суррогатной моделью для неизвестной целевой функции. Суррогатная модель — это вероятностная аппроксимация истинной функции, которая позволяет оценивать не только среднее значение, но и неопределённость предсказания. Для выбора следующей точки для вычисления целевой функции используются функции выбора (acquisition functions), которые балансируют между исследованием (exploration) и эксплуатацией (exploitation). Например, Upper Confidence Bound (UCB) выбирает точку, максимизирующую сумму апостериорного среднего и масштабированного апостериорного стандартного отклонения, что позволяет управлять компромиссом между поиском в неизведанных областях и улучшением текущего лучшего результата.

Вариационный вывод и MCMC

В сложных моделях (например, глубоких вероятностных моделях) апостериорное распределение часто является аналитически невыразимым. Для его приближения используются:

• MCMC — метод, генерирующий выборку из апостериорного распределения с помощью марковских цепей, стационарным распределением которых является искомое апостериорное;
• вариационный байесовский вывод — подбор параметрического семейства распределений, минимизирующего KL-дивергенцию до истинного апостериорного, что превращает задачу вывода в оптимизационную.

Апостериорная предсказательная вероятность

Часто в задачах прогнозирования интересуются не самим параметром, а распределением нового наблюдения при условии уже имеющихся данных . Это выражается через апостериорное предсказательное распределение:

Эта величина используется в байесовской оценке риска и для построения предсказательных интервалов, так как она усредняет неопределённость по всем возможным значениям параметра.

Отличие от частотного подхода

В частотной статистике параметр считается фиксированным, а вероятность интерпретируется как предел частоты при бесконечном повторении эксперимента. Апостериорная вероятность не имеет смысла в этой парадигме, поскольку там не вводится распределение на параметр. Вместо этого используются доверительные интервалы и p-значения. Байесовский же подход рассматривает параметр как случайную величину, и апостериорная вероятность является прямым выражением неопределённости, что часто интуитивно понятнее для практических задач, особенно когда данных мало.

См. также

• Априорная вероятность
• Байесовский вывод
• Функция правдоподобия
• Максимум апостериорной вероятности
• Байесовский фактор
• Кредит доверия

Литература

• Gelman A., Carlin J. B., Stern H. S., Rubin D. B. Bayesian Data Analysis. — 3rd ed. — CRC Press, 2013.
• Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
• MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003.
• Murphy K. P. Machine Learning: A Probabilistic Perspective. — MIT Press, 2012.
• Robert C. P., Casella G. Monte Carlo Statistical Methods. — 2nd ed. — Springer, 2004.