Аппроксимация Лапласа (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Сэмплирование)
(Сэмплирование)
Строка 6: Строка 6:
Одно из основных приминений методов сэмплирования заключается в оценке математического ожидания сложных вероятностных распределений:
Одно из основных приминений методов сэмплирования заключается в оценке математического ожидания сложных вероятностных распределений:
<center><tex>E[f]=\int f(z)p(z) dz</tex></center>
<center><tex>E[f]=\int f(z)p(z) dz</tex></center>
-
для которых тяжело делать выборку непосредственно из распределения ''p(z)''. Однако, можно подсчитать значение ''p(z)'' в любой точке ''z''. Основная идея ''всех'' методов сэмплирования заключается в создании незавсимой выборки <tex>z^{(l)}</tex> (где <tex>l=1,...,L</tex>) из распределения ''p(z)''. Это позволит интеграл приблизить конечной суммой:
+
для которых тяжело делать выборку непосредственно из распределения ''p(z)''. Однако, можно подсчитать значение ''p(z)'' в любой точке ''z''. Основная идея ''всех'' методов сэмплирования заключается в создании незавсимой выборки <tex>z^{(l)}</tex> (где <tex>l=1,...,L</tex>) из распределения <teh>p(z)</teh>. Это позволит интеграл приблизить конечной суммой:
<center> <tex>\hat f=\frac{1}{L}\sum_{l=1}^{L} f(z^{(l)})</tex></center>
<center> <tex>\hat f=\frac{1}{L}\sum_{l=1}^{L} f(z^{(l)})</tex></center>
-
Существует [http://en.wikipedia.org/wiki/Sampling_(statistics)#cite_ref-ken_black_india_0-0 несколько методов сэмплирования] для создания выборки длинны ''L'' <ref>Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006., Chapter 11 Sampling Methods, p. 523-558.</ref>:
+
Существует [http://en.wikipedia.org/wiki/Sampling_(statistics)#cite_ref-ken_black_india_0-0 несколько методов сэмплирования] для создания выборки длинны <tex>z^{(l)}</tex> <ref>Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006., Chapter 11 Sampling Methods, p. 523-558.</ref>:
*Simple random sampling;
*Simple random sampling;
*Systematic sampling;
*Systematic sampling;

Версия 01:07, 23 ноября 2010

Аппроксимация Лапласа - способ оценки параметров нахождения нормального распределения при апроксимации заданой плотности вероятности.

Содержание

Сэмплирование

Сэмплирование – метод выбора подмножества наблюдаемых величин из данного множества, для дальнейшего его анализа (с целью выделения некоторых свойст исходного множества). Одно из основных приминений методов сэмплирования заключается в оценке математического ожидания сложных вероятностных распределений:

E[f]=\int f(z)p(z) dz

для которых тяжело делать выборку непосредственно из распределения p(z). Однако, можно подсчитать значение p(z) в любой точке z. Основная идея всех методов сэмплирования заключается в создании незавсимой выборки z^{(l)} (где l=1,...,L) из распределения <teh>p(z)</teh>. Это позволит интеграл приблизить конечной суммой:

\hat f=\frac{1}{L}\sum_{l=1}^{L} f(z^{(l)})

Существует несколько методов сэмплирования для создания выборки длинны z^{(l)} [1]:

  • Simple random sampling;
  • Systematic sampling;
  • Rejection sampling;
  • Adaptive rejection sampling.

Постановка задачи

Задана выборка — множество X^N=\{{x}_1,\ldots,{x}_N|x\in\R^M\} значений свободных переменных и множество \{y_1,\ldots, y_N| y\in\R\} соответствующих им значений зависимой переменной. Необходимо для выбранной регрессионной модели f(\mathbf{w},\mathbf{x})

  1. показать зависимость среднеквадратичной ошибки от значений параметров модели: SSE=SSE(w);
  2. построить график и сделать апроксимацию Лапласа для нее;
  3. найти расстояния между получеными зависимостями, используя расстояние Кульбака - Лейблера.

Описание алгоритма

Расстояние Кульбака - Лейблера:

D_{kl}(p,q)=\sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}

Вычислительный эксперимент

Обозначим плоность распределения SSE как  p_{SSE}, а его апроксимация лапласса  p_{lap}

Пример 1

Задуманная функция y=x + sin3x. Берем линейную регрессионную модель с двумя параметрами: y(x)=w_1+w_2x. Используя метод наименьших квадратов находим оптимальное значение w_1_{opt} и w_2_{opt} (при которых SSE минимально).

При фиксированном w_1=w_1_{opt} задаем различные значение w_2 (500 случайных значений на отрезке [-1;2]) и строим зависимость:

D_{kl}(p_{SSE},p_{lap})=0.0085.

Повторим эксперимент, только теперь варируем сразу оба параметра w_1 и w_2:

Рис. 1. Зависимость  от  и
Рис. 1. Зависимость - SSE от w_1 и w_2
Рис. 2. Зависимость  от  и . Ось log(p) направлена вверх
Рис. 2. Зависимость - SSE от w_1 и w_2. Ось log(p) направлена вверх

апроксимация Лапласса:

Laplace approximation
Laplace approximation

D_{kl}(p_{SSE},p_{lap})=1.2481

На рис.2 наблюдается зависимость между коэффициентами w_1 и w_2. Следовательно, ковариационная матрица cov(w_1,w_2) не будет диагональной.

Смотри также

Литература

  • Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.

Примечания



Данная статья является непроверенным учебным заданием.
Студент: Евгений Зайцев
Преподаватель: В.В.Стрижов
Срок: 24 декабря 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Личные инструменты