Аппроксимация Лапласа (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 17: Строка 17:
===Пример 1===
===Пример 1===
Задуманная функция <tex>y=x + sin3x</tex>. Берем линейную регрессионную модель с 2-мя параметрами: <tex>y(x)=w_1+w_2x</tex>.
Задуманная функция <tex>y=x + sin3x</tex>. Берем линейную регрессионную модель с 2-мя параметрами: <tex>y(x)=w_1+w_2x</tex>.
-
Используя '''МНК''' находим оптимальное значение <tex>w_1_опт</tex> и <tex>w_2_опт</tex> (при которых ''SSE'' минимально). При фиксированном <tex>w_2=w_2_опт</tex> заадем произвольное значение <tex>w_1</tex> (500 значений на отрезке [-1;2]) истроим зависимость:
+
Используя '''МНК''' находим оптимальное значение <tex>w_1_{opt}</tex> и <tex>w_2_{opt}</tex> (при которых ''SSE'' минимально). При фиксированном <tex>w_2=w_2_{opt}</tex> задем произвольное значение <tex>w_1</tex> (500 значений на отрезке [-1;2]) истроим зависимость:

Версия 01:34, 16 ноября 2010

Аппроксимация Лапласа - простой, но широко используемый способ нахождения нормального (Гауссово) распределения для апроксимации заданой плотности вероятности.

Содержание

Сэмплирование

Сэмплирование – процесс выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа. Одно из основных приминений методов сэмплирования заключается в оценке мат. ожидания сложных вероятностных распределений: E[f]=\int f(z)p(z) dz, для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Один из наиболее простых методов подсчета мат. ожидаия – разбить ось z на равномерную сетку и подсчитать интеграл как сумму E[f]\sum_{l=1}^{L} f(z^{(l)})p(z^{(l)}) dz. Существует несколько методов сэмплирования для создания подходящей выборки длинны L ???.

Постановка задачи

Задана выборка — множество X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\} значений свободных переменных и множество \{y_1,\ldots, y_N| y\in\R\} соответствующих им значений зависимой переменной. Необходимо для выбранной регрессионной модели f(\mathbf{w},\mathbf{x})показать зависимость среднеквадратичной ошибки от значений параметров модели: SSE=SSE(w); построить график и сделать апроксимацию Лапласа для него; используя метрику Кульбака - Лейблера, найти расстояния между получиными зависимостями.

Описание алгоритма

Вычислительный эксперимент

Пример 1

Задуманная функция y=x + sin3x. Берем линейную регрессионную модель с 2-мя параметрами: y(x)=w_1+w_2x. Используя МНК находим оптимальное значение w_1_{opt} и w_2_{opt} (при которых SSE минимально). При фиксированном w_2=w_2_{opt} задем произвольное значение w_1 (500 значений на отрезке [-1;2]) истроим зависимость:

Личные инструменты