Аппроксимация Лапласа (пример)

Материал из MachineLearning.

(Различия между версиями)

Версия 21:39, 22 ноября 2010

Аппроксимация Лапласа - способ оценки параметров нахождения нормального распределения при апроксимации заданой плотности вероятности.

Содержание

1 Сэмплирование
2 Постановка задачи
3 Описание алгоритма
4 Вычислительный эксперимент
- 4.1 Пример 1
5 Смотри также
6 Литература
7 Примечания

Сэмплирование

Сэмплирование – метод выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа. Одно из основных приминений методов сэмплирования заключается в оценке математического ожидания сложных вероятностных распределений:

$E[f]=\int f(z)p(z) dz$

для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета математического ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму

$E[f]$ ≅ $\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz$

Существует несколько методов сэмплирования для создания выборки длинны L ^[1].

Постановка задачи

Задана выборка — множество $X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\}$ значений свободных переменных и множество $\{y_1,\ldots, y_N| y\in\R\}$ соответствующих им значений зависимой переменной. Необходимо для выбранной регрессионной модели $f(\mathbf{w},\mathbf{x})$

показать зависимость среднеквадратичной ошибки от значений параметров модели: $SSE=SSE(w)$ ;
построить график и сделать апроксимацию Лапласа для нее;
найти расстояния между получеными зависимостями, используя расстояние Кульбака - Лейблера.

Описание алгоритма

Расстояние Кульбака - Лейблера:

$D_{kl}(p,q)=\sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}$

Вычислительный эксперимент

Обозначим плоность распределения SSE как $p_{SSE}$ , а его апроксимация лапласса $p_{lap}$

Пример 1

Задуманная функция $y=x + sin3x$ . Берем линейную регрессионную модель с двумя параметрами: $y(x)=w_1+w_2x$ . Используя метод наименьших квадратов находим оптимальное значение $w_1_{opt}$ и $w_2_{opt}$ (при которых SSE минимально).

При фиксированном $w_1=w_1_{opt}$ задаем различные значение $w_2$ (500 случайных значений на отрезке [-1;2]) и строим зависимость:

$D_{kl}(p_{SSE},p_{lap})=0.0085$ .

Повторим эксперимент, только теперь варируем сразу оба параметра $w_1$ и $w_2$ :

Рис. 1. Зависимость $- SSE$ от $w_1$ и $w_2$

Рис. 2. Зависимость от и . Ось log(p) направлена вверх

Рис. 2. Зависимость $- SSE$ от $w_1$ и $w_2$ . Ось log(p) направлена вверх

апроксимация Лапласса:

Laplace approximation

$D_{kl}(p_{SSE},p_{lap})=1.2481$

На рис.2 наблюдается зависимость между коэффициентами $w_1$ и $w_2$ . Следовательно, ковариационная матрица $cov(w_1,w_2)$ не будет диагональной.

Смотри также

Литература

Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.

Примечания

Данная статья является непроверенным учебным заданием.

Студент: Евгений Зайцев

Преподаватель: В.В.Стрижов

Срок: 24 декабря 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D1%8F_%D0%9B%D0%B0%D0%BF%D0%BB%D0%B0%D1%81%D0%B0_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»

Категории: Непроверенные учебные задания | Практика и вычислительные эксперименты

@@ Строка 16: / Строка 16: @@
 # показать зависимость среднеквадратичной ошибки от значений параметров модели: <tex>SSE=SSE(w)</tex>;
 # построить график и сделать апроксимацию Лапласа для нее;
-# найти расстояния между получеными зависимостями, используя [[http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence | расстояние Кульбака - Лейблера]].
+# найти расстояния между получеными зависимостями, используя [http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence расстояние Кульбака - Лейблера].
 ==Описание алгоритма==