Аппроксимация Лапласа

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Многомерная случайная величина)
(→Многомерная случайная величина)
Строка 28: Строка 28:
Можно получить аналогичный результат, если <tex>x=(x_1, \cdots, x_k)</tex> &ndash; векторная величина. Введем обозначение
Можно получить аналогичный результат, если <tex>x=(x_1, \cdots, x_k)</tex> &ndash; векторная величина. Введем обозначение
-
<tex>A_{ij} = - \frac{\partial^2}{\partial x_i \partial x_j} \ln P^* (x) \right|_{x = x_0}.</tex>
+
<tex>A_{ij} = - \frac{\partial^2}{\partial x_i \partial x_j} \ln P^* (x) |_{x = x_0}.</tex>
Тогда разложение по Тейлору логарифма плотности вероятности имеет вид:
Тогда разложение по Тейлору логарифма плотности вероятности имеет вид:

Версия 14:42, 29 ноября 2009

Содержание

Определение

Аппроксимация Лапласа -- способ оценивания нормировочного коэффициента для ненормированной плотности вероятности.

Описание

Постановка задачи

Пусть задана ненормированная плотность вероятности P^*(x). Необходимо найти нормировочную константу

Z_P=\int_{-\infty}^{\infty} P(x) dx,

причем эта плотность вероятности имеет максимум в точке x_0.

Применение метода

Разложим ее по Тейлору:

\ln P^* (x) = \ln P^* (x_0) - \frac{c}{2} (x - x_0)^2 + \cdots ,

где

c = - \frac{\partial^2}{\partial x^2} {P^* (x) \right|}_{x = x_0}.

Тогда можно аппроксимировать P^* (x) ненормированным гауссианом:

Q^* (x) = P^* (x_0) \exp{-\frac{c}{2}(x - x_0 )^2},

для такой аппроксимации плотности вероятности запишем нормирующий коэффициент:

Z_P \approx P^* (x_0) \sqrt{\frac{2 \pi}{c}}.

Многомерная случайная величина

Можно получить аналогичный результат, если x=(x_1, \cdots, x_k) – векторная величина. Введем обозначение

A_{ij} = - \frac{\partial^2}{\partial x_i \partial x_j} \ln P^* (x) |_{x = x_0}.

Тогда разложение по Тейлору логарифма плотности вероятности имеет вид:

\ln P^* (x) = \ln P^* (x_0) - \frac{1}{2} (x-x_0)^T A (x-x_0) + \cdots ,

отбрасывая члены с порядком по (x-x_0) выше квадратичного, получаем нормировочный коэффициент:

Z_P \approx P^* (x_0) \sqrt{\frac{(2\pi)^k}{\det A}}.

Замечания

Необходимо отметить, что такой способ оценки нормирующего зависит от того, рассматриваем мы случайную величину x или произвольную нелинейную функцию от нее u(x). Действительно, P(u) имеет вид P(u) = P(x)\frac{\partial x}{\partial u}, и, вообще говоря, нормировочный коэффициент Z_P будет отличаться, если метод будет использоваться для такой преобразованной случайной величины. Такого эффекта не наблюдалось бы, если бы оценка нормировочного коэффициента была точна. Мы либо должны учитывать этот факт при применении аппроксимации Лапласа, либо пытаться каким-то образом искать такую функцию u(x), в котором данная оценка наиболее точна.

Литература

1. David J.C. MacKay Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2005. — С. 341-342.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D1%8F_%D0%9B%D0%B0%D0%BF%D0%BB%D0%B0%D1%81%D0%B0»
Личные инструменты