Аппроксимация Лапласа (пример)
Материал из MachineLearning.
(→Описание алгоритма) |
(→Описание алгоритма) |
||
Строка 17: | Строка 17: | ||
При востановлении регрессии рассматривалась следующая гипотеза порождения данных: | При востановлении регрессии рассматривалась следующая гипотеза порождения данных: | ||
- | <center><tex>y=f(x,w)</tex></center> | + | <center><tex>y=f(x,w)+\epsilon</tex>, где</center> |
+ | <center><tex>\epsilon\propto N(0,\sigma^2)</tex></center> | ||
В таком случае, при фиксированной модели ''f'' плотность вероятности появления данных равняется<ref>Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60 с., стр. 41 </ref>: | В таком случае, при фиксированной модели ''f'' плотность вероятности появления данных равняется<ref>Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60 с., стр. 41 </ref>: | ||
<center><tex>p(y|x,w)=\frac{1}{Z_D}exp(-E_D)</tex>, где</center> | <center><tex>p(y|x,w)=\frac{1}{Z_D}exp(-E_D)</tex>, где</center> | ||
Строка 24: | Строка 25: | ||
<tex>Z_D</tex> - нормировачный коэффициент. | <tex>Z_D</tex> - нормировачный коэффициент. | ||
- | '''3-1'''. В заданной модели ''f'', используя [[метод наименьших квадратов]], находим оптимальное значение вектора параметров <tex>\mathcal w_{opt}</tex>. Далее, фиксируем все параметры выбранной регрессионной модели (для определенности зададим им оптимальные значения) кроме одного (пусть этот незафиксированный параметр будет <tex>w_1</tex>). После чего, варируя значение <tex>w_1</tex>, строим искомую зависимость <tex>SSE=SSE(w_1)</tex> и | + | '''3-1'''. В заданной модели ''f'', используя [[метод наименьших квадратов]], находим оптимальное значение вектора параметров <tex>\mathcal w_{opt}</tex>. Далее, фиксируем все параметры выбранной регрессионной модели (для определенности зададим им оптимальные значения) кроме одного (пусть этот незафиксированный параметр будет <tex>w_1</tex>). После чего, варируя значение <tex>w_1</tex>, строим искомую зависимость <tex>SSE=SSE(w_1)</tex> и график <tex>p(y|x,w_1)</tex>. Таким образом построена зависимость от одного параметра <tex>w_1</tex>. |
+ | Аналогично действуя, строится зависимость от большего количества параметров. | ||
+ | |||
+ | '''3-2'''. При апроксимации Лапласа, полученную в пункте 3-1 функцию <tex>p(y|x,w_1)</tex> приближаем функцией многомерного нормального распределения <tex> N(v,A)</tex>. Воспользуемся регрессионной моделью | ||
+ | <center><tex> p \propto exp((w - v)^T A^{-1} (w-v)) </tex></center> | ||
+ | |||
+ | |||
- | |||
'''3-3'''. Расстояние Кульбака - Лейблера между двумя распределениями ''p(z)'' и ''q(z)'' равняется: | '''3-3'''. Расстояние Кульбака - Лейблера между двумя распределениями ''p(z)'' и ''q(z)'' равняется: |
Версия 01:38, 8 декабря 2010
Аппроксимация Лапласа - способ оценки параметров нормального распределения при апроксимации заданой плотности вероятности.
Содержание |
Постановка задачи
Задана выборка — множество значений свободных переменных и множество
соответствующих им значений зависимой переменной.
Необходимо для выбранной регрессионной модели
:
3-1 показать зависимость среднеквадратичной ошибки от значений параметров модели: ;
3-2 построить график и сделать апроксимацию Лапласа для зависимости ;
3-3 найти расстояния между получеными зависимостями, используя расстояние Кульбака - Лейблера.
Описание алгоритма
При востановлении регрессии рассматривалась следующая гипотеза порождения данных:
В таком случае, при фиксированной модели f плотность вероятности появления данных равняется[1]:
- это функция регрессионных невязок, т.е.
;
- нормировачный коэффициент.
3-1. В заданной модели f, используя метод наименьших квадратов, находим оптимальное значение вектора параметров . Далее, фиксируем все параметры выбранной регрессионной модели (для определенности зададим им оптимальные значения) кроме одного (пусть этот незафиксированный параметр будет
). После чего, варируя значение
, строим искомую зависимость
и график
. Таким образом построена зависимость от одного параметра
.
Аналогично действуя, строится зависимость от большего количества параметров.
3-2. При апроксимации Лапласа, полученную в пункте 3-1 функцию приближаем функцией многомерного нормального распределения
. Воспользуемся регрессионной моделью
3-3. Расстояние Кульбака - Лейблера между двумя распределениями p(z) и q(z) равняется:
Вычислительный эксперимент
Обозначим плотность распределения SSE как , а его апроксимация лапласса
.
Пример 1
Задуманная функция . Рассматривается линейная регрессионная модель с двумя параметрами:
.
и
- оптимальное значение параметров (при которых SSE минимально).
Фиксируем один параметр и задаем различные значение
(500 случайных значений на отрезке [-1;2]). Строим зависимость:
.
Повторим эксперимент, только теперь варируем сразу оба параметра и
:
апроксимация Лапласса:
На рис.2 наблюдается зависимость между коэффициентами и
. Следовательно, ковариационная матрица
не будет диагональной.
Смотри также
Литература
- Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.
Примечания
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |