Вариационный байесовский вывод
Материал из MachineLearning.
| Статья написана с использованием LLM OpenAI GPT-5 и проверена участником Platon Usaсhev 22:39, 15 июня 2026 (MSD) |
Вариационный байесовский вывод (англ. variational Bayesian inference, variational inference) — класс методов приближённого байесовского вывода, в которых вычисление апостериорного распределения заменяется задачей оптимизации. Метод особенно полезен в вероятностных моделях с латентными переменными, где точный вывод требует суммирования или интегрирования по большому числу скрытых состояний.
Пусть наблюдения обозначены через , латентные переменные и параметры — через
. В байесовской модели интерес представляет апостериорное распределение
Главная трудность обычно связана не с числителем , который задаётся моделью, а с нормировочной константой
, называемой также правдоподобием данных или маргинальным правдоподобием. В сложных моделях этот интеграл не вычисляется аналитически. Вариационный подход строит более простое распределение
из заранее выбранного семейства
и подбирает его так, чтобы оно было близко к истинному
.
Содержание |
Основная идея
Наиболее распространённая постановка минимизирует дивергенцию Кульбака — Лейблера
Так как истинное апостериорное распределение содержит неизвестное , напрямую минимизировать эту величину нельзя. Вместо этого максимизируют нижнюю оценку логарифма маргинального правдоподобия, или ELBO (англ. evidence lower bound):
Связь между ELBO и апостериорным распределением выражается тождеством
Поскольку дивергенция Кульбака — Лейблера неотрицательна, действительно является нижней оценкой
. Максимизация ELBO эквивалентна минимизации
по выбранному семейству распределений. Если семейство
слишком бедное, оптимальное
всё равно может заметно отличаться от истинного апостериорного распределения; если слишком богатое, оптимизация становится трудной.
Факторизованные приближения
Классический вариант вариационного вывода использует среднеполевое приближение (англ. mean-field approximation):
Предположение означает не то, что истинные латентные переменные независимы, а то, что независимость вводится как вычислительное приближение. Для такого семейства часто можно получить координатные обновления:
где математическое ожидание берётся по всем вариационным множителям, кроме . Эта формула лежит в основе координатного вариационного вывода для моделей экспоненциального семейства: поочерёдно обновляются распределения отдельных блоков латентных переменных, а значение ELBO растёт до локального максимума.
По структуре такие обновления напоминают EM-алгоритм: в обоих случаях есть чередование шагов, связанных с латентными переменными и параметрами модели. Однако EM обычно ищет точечную оценку параметров, тогда как вариационный байесовский вывод поддерживает приближённое распределение неопределённости по латентным переменным и, при байесовской постановке, по параметрам.
Сравнение с методами Монте-Карло
Ближайшая альтернатива вариационному выводу — методы MCMC, например сэмплирование Гиббса. Они строят выборку из апостериорного распределения и при достаточно длинной цепи могут давать асимптотически точные оценки. Их слабое место — высокая вычислительная цена, трудности диагностики сходимости и плохое перемешивание цепей в многомодальных распределениях.
Вариационный вывод, напротив, обычно быстрее и лучше масштабируется на большие выборки, потому что сводится к детерминированной или стохастической оптимизации. Цена этой скорости — систематическая ошибка приближения. Минимизация часто приводит к тому, что
концентрируется на одной области высокой плотности и занижает дисперсии. Поэтому вариационные апостериорные интервалы не следует автоматически интерпретировать как точные байесовские доверительные области.
Стохастический и амортизованный вывод
Для больших наборов данных используют стохастический вариационный вывод. Если логарифм совместной плотности раскладывается по объектам выборки, ELBO можно оптимизировать по мини-батчам, получая шумные, но дешёвые оценки градиента. В моделях с условно-сопряжённой структурой такие методы часто сочетают с натуральным градиентом, что ускоряет обучение тематических моделей, байесовских смесей и вероятностной матричной факторизации.
В глубоких генеративных моделях распространён амортизованный вариационный вывод. Вместо того чтобы хранить отдельные вариационные параметры для каждого объекта, вводят параметризованное отображение
обычно реализованное нейронной сетью. Оно по наблюдению сразу выдаёт параметры приближённого апостериорного распределения. Такая идея используется в вариационных автокодировщиках: генеративная сеть задаёт
, а сеть вывода приближает
. Чтобы оптимизировать ELBO градиентными методами, часто применяют репараметризацию латентной переменной, например
, где
имеет фиксированное стандартное распределение.
Практическое использование
Вариационный байесовский вывод применяют в тематическом моделировании, байесовских смесях распределений, скрытых марковских моделях, вероятностных графовых моделях, рекомендательных системах и глубоких генеративных моделях. В латентном размещении Дирихле вариационный вывод стал одним из стандартных способов оценивать распределения тем в документах и распределения слов в темах.
На практике качество вариационного вывода зависит от нескольких решений:
- выбора семейства
: диагональное нормальное приближение проще, но хуже передаёт зависимости между переменными;
- инициализации: ELBO обычно невыпукла, поэтому разные запуски могут приводить к разным локальным максимумам;
- способа оценки градиентов: стохастические оценки требуют контроля дисперсии;
- проверки результата: полезно сравнивать предсказательные распределения, ELBO на отложенной выборке и, для малых подзадач, результаты MCMC.
Вариационный вывод особенно уместен, когда нужно быстро обучать вероятностную модель на больших данных или многократно выполнять вывод для новых объектов. Если же главная цель — точная оценка хвостов распределения, редких событий или строгая калибровка неопределённости, одного вариационного приближения может быть недостаточно.
Достоинства и ограничения
К достоинствам метода относятся:
- масштабируемость по числу объектов;
- связь с оптимизацией, позволяющая использовать градиентные методы и автоматическое дифференцирование;
- возможность применять байесовские модели там, где точный вывод невозможен;
- естественное расширение к нейросетевым генеративным моделям.
Основные ограничения:
- зависимость результата от выбранного вариационного семейства;
- риск сходимости к плохому локальному максимуму ELBO;
- возможное занижение неопределённости из-за асимметрии
;
- сложность диагностики: высокий ELBO не всегда означает хорошее приближение ко всем важным характеристикам апостериорного распределения.
Таким образом, вариационный байесовский вывод следует понимать не как универсальную замену MCMC, а как вычислительно эффективный компромисс между выразительностью байесовских моделей и стоимостью точного вывода.
См. также
- Байесовский вывод
- Байесовская сеть
- EM-алгоритм
- Метод Монте-Карло по схеме марковской цепи
- Сэмплирование Гиббса
- Латентное размещение Дирихле
- Вариационный автокодировщик
- Вероятностная графовая модель
Литература
- Jordan M. I., Ghahramani Z., Jaakkola T. S., Saul L. K. An Introduction to Variational Methods for Graphical Models // Machine Learning. — 1999. — Vol. 37. — P. 183–233.
- Wainwright M. J., Jordan M. I. Graphical Models, Exponential Families, and Variational Inference // Foundations and Trends in Machine Learning. — 2008. — Vol. 1, No. 1–2. — P. 1–305.
- Blei D. M., Kucukelbir A., McAuliffe J. D. Variational Inference: A Review for Statisticians // Journal of the American Statistical Association. — 2017. — Vol. 112, No. 518. — P. 859–877.
- Hoffman M. D., Blei D. M., Wang C., Paisley J. Stochastic Variational Inference // Journal of Machine Learning Research. — 2013. — Vol. 14. — P. 1303–1347.
- Kingma D. P., Welling M. Auto-Encoding Variational Bayes. — ICLR, 2014.
- Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006. — Ch. 10.
