Аппроксимация функции ошибки

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 4: Строка 4:
== Постановка задачи ==
== Постановка задачи ==
Дана выборка <tex>D = \{(x_i, y_i)\}_{i = 1}^N</tex>, где <tex>x_i \in \mathbb{R}^n, i = 1, \dots, N</tex> - вектора независимой переменной, а <tex>y_i \in \mathbb{R}, i = 1, \dots, N</tex> - значения зависимой переменной.
Дана выборка <tex>D = \{(x_i, y_i)\}_{i = 1}^N</tex>, где <tex>x_i \in \mathbb{R}^n, i = 1, \dots, N</tex> - вектора независимой переменной, а <tex>y_i \in \mathbb{R}, i = 1, \dots, N</tex> - значения зависимой переменной.
-
 
+
Предполагается, что <tex>y = f(x, w)</tex>, где <tex>f(x, w)</tex> - некоторая параметрическая функция, <tex>w \in W</tex> - вектор ее параметров. Предполагается, что задано апостериорное распределение параметров модели <tex>p(w | D, f)</tex>, которому соответствует функция ошибки <tex>S(w)</tex>: <tex>p(w | D, f) = \frac{exp(-S(w))}{Z_S}</tex>. Пусть <tex>w_{MP} = \arg\max_w p(w | D, f)</tex> - наиболее вероятные параметры модели. Требуется найти аппроксимацию Лапласа для функции <tex>p(w | D, f)</tex> в точке <tex>w_{MP}</tex>. Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации <tex>S(w) = \sum_{i = 1}^N (y_i - f(x_i, w))^2</tex>.
-
Предполагается, что <tex>y = f(x, w),</tex>
+
-
 
+
-
где <tex>f(x, w)</tex> - некоторая параметрическая функция, <tex>w \in W</tex> - вектор ее параметров. Предполагается, что задано апостериорное распределение параметров модели <tex>p(w | D, f)</tex>, которому соответствует функция ошибки <tex>S(w)</tex>: <tex>p(w | D, f) = \frac{exp(-S(w))}{Z_S}</tex>. Пусть <tex>w_{MP} = \arg\max_w p(w | D, f)</tex> - наиболее вероятные параметры модели. Требуется найти аппроксимацию Лапласа для функции <tex>p(w | D, f)</tex> в точке <tex>w_{MP}</tex>. Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации <tex>S(w) = \sum_{i = 1}^N (y_i - f(x_i, w))^2</tex>.
+
== Описание решения ==
== Описание решения ==

Версия 13:39, 26 сентября 2011

Содержание

В работе рассматривается метод аппроксимации функции ошибки функцией многомерного нормального распределения. Рассматриваются случаи матрицы ковариации общего вида, диагональной матрицы ковариации, а также диагональной матрицы ковариации с равными значениями дисперсии. Для нормировки получившихся функций распределения используется аппроксимация Лапласа.

Постановка задачи

Дана выборка D = \{(x_i, y_i)\}_{i = 1}^N, где x_i \in \mathbb{R}^n, i = 1, \dots, N - вектора независимой переменной, а y_i \in \mathbb{R}, i = 1, \dots, N - значения зависимой переменной. 

  Предполагается, что y = f(x, w), где f(x, w) - некоторая параметрическая функция, w \in W - вектор ее параметров. Предполагается, что задано апостериорное распределение параметров модели p(w | D, f), которому соответствует функция ошибки S(w): p(w | D, f) = \frac{exp(-S(w))}{Z_S}. Пусть w_{MP} = \arg\max_w p(w | D, f) - наиболее вероятные параметры модели. Требуется найти аппроксимацию Лапласа для функции p(w | D, f) в точке w_{MP}. Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации S(w) = \sum_{i = 1}^N (y_i - f(x_i, w))^2.

Описание решения

  • настолько подробно, что по математическому описанию можно было бы восстановить код

Вычислительный эксперимент

Цель вычислительного эксперимента - ...

  • описание эксперимента
  • иллюстрации с комментариями 
y = 1; % There is no need to post all your code here. Only extracts and only if it is necessary.
Функция ошибки, пример графика
Функция ошибки, пример графика

Требования к оформлению графиков:

  • шрифт должен быть больше,
  • толщина линий равна двум,
  • заголовки осей с большой буквы,
  • заголовок графика отсутствует (чтобы не дублировать подпись в статье);
  • рекомендуется сразу сохранять EPS и PNG (для TeX и для Wiki). 
h = figure; hold('on');
plot(xi,y,'r-', 'Linewidth', 2); 
plot(xi,y,'b.', 'MarkerSize', 12);
axis('tight');
xlabel('Time, $\xi$', 'FontSize', 24, 'FontName', 'Times', 'Interpreter','latex');
ylabel('Value, $y$', 'FontSize', 24, 'FontName', 'Times', 'Interpreter','latex');
set(gca, 'FontSize', 24, 'FontName', 'Times')
saveas(h,'ModelOne.eps', 'psc2');
saveas(h,'ModelOne.png', 'png');

Исходный код и полный текст работы

Смотри также

Литература

Данная статья является непроверенным учебным заданием.
Студент: Максим Панов
Преподаватель: В.В. Стрижов
Срок: 28 сентября 2011

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B8_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8»
Личные инструменты