Аппроксимация Лапласа (пример)

Материал из MachineLearning.

Версия от 01:22, 16 ноября 2010; Yevgen.zaytsev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Аппроксимация Лапласа - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности.

Содержание

1 Сэмплирование
2 Постановка задачи
3 Описание алгоритма
4 Вычислительный эксперимент
- 4.1 Пример 1

Сэмплирование

Сэмплирование – процесс выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа. Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: $E[f]=\int f(z)p(z) dz$ , для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму $E[f]$ ≅ $\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz$ . Существует несколько методов сэмплирования для создания подходящей выборки длинны L ???.

Постановка задачи

Задана выборка — множество $X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}$ значений свободных переменных и множество $\{y_1,\ldots, y_N| y\in\R\}$ соответствующих им значений зависимой переменной. Необходимо для выбранной регрессионной модели $f(\mathbf{w},\mathbf{x})$ показать зависимость среднеквадратичной ошибки от значений параметров модели: $SSE=SSE(w)$ ; построить график и сделать апроксимацию Лапласа для него; используя метрику Кульбака - Лейблера, найти расстояния между получиными зависимостями.