Графические модели (курс лекций)/2012/Задание 2

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(релиз)
 
(2 промежуточные версии не показаны)
Строка 1: Строка 1:
-
__NOTOC__
+
{{TOCright|300px}}
-
 
+
-
{{stop|Внимание! Страница задания находится в стадии формирования. Убедительная просьба не приступать к выполнению задания до тех пор, пока это предупреждение не будет удалено.}}
+
{{Main|Графические модели (курс лекций)}}
{{Main|Графические модели (курс лекций)}}
-
'''Начало выполнения задания''': 9 марта 2012
+
[[Image:GM12_task2_intro.jpg|300px]]
 +
 
 +
'''Начало выполнения задания''': 10 марта 2012
'''Срок сдачи''': {{ins|21 марта 2012, 23:59}}
'''Срок сдачи''': {{ins|21 марта 2012, 23:59}}
Строка 25: Строка 25:
Данную ЛДС нужно протестировать на модельной задаче сопровождения (трекинга) объекта в пространстве.
Данную ЛДС нужно протестировать на модельной задаче сопровождения (трекинга) объекта в пространстве.
 +
 +
Рассматривается также нелинейная динамическая система с нормальным шумом, в которой вероятности переходов задаются как:
 +
<center>
 +
<tex>
 +
p(t_n|t_{n-1}) = \mathcal{N}(t_n|f(t_{n-1}),\Gamma),\\
 +
p(x_n|t_n) = \mathcal{N}(x_n|g(t_n),\Sigma),\\
 +
p(t_1) = \mathcal{N}(t_1|\mu_0,V_0).
 +
</tex>
 +
</center>
 +
 +
Здесь <tex>f</tex> и <tex>g</tex> — известные вектор-функции.
 +
 +
Для этой системы нужно реализовать расширенный фильтр Калмана и протестировать его работу на модельных данных.
Для выполнения задания необходимо:
Для выполнения задания необходимо:
-
* Реализовать алгоритм генерации выборки из вероятностной модели ЛДС;
+
* Реализовать алгоритм генерации выборки из вероятностной модели ЛДС и нелинейной ДС;
-
* Реализовать алгоритм онлайн фильтрации сигнала с помощью фильтра Калмана;
+
* Реализовать алгоритм онлайн фильтрации сигнала с помощью фильтра Калмана и с помощью расширенного фильтра Калмана;
-
* Реализовать расширенный фильтр Калмана для ЛДС с нелинейной динамикой;
+
* Реализовать обучение параметров ЛДС с учителем. При этом часть параметров ЛДС может быть задана пользователем;
* Реализовать обучение параметров ЛДС с учителем. При этом часть параметров ЛДС может быть задана пользователем;
-
* Реализовать алгоритм генерации траектории движения абстрактного объекта в двухмерном пространстве. Способ генерации такой траектории отдается на выбор студента;
 
* Протестировать реализованные алгоритмы на модельных данных;
* Протестировать реализованные алгоритмы на модельных данных;
-
* Написать отчет в формате PDF с описанием всех проведенных исследований. Данный отчет должен, в частности, включать в себя графики фильтрации сгенерированных траекторий.
+
* Написать отчет в формате PDF с описанием всех проведенных исследований. Данный отчет должен, в частности, включать в себя графики фильтрации сгенерированных траекторий для линейного и нелинейного случая.
=== Спецификация реализуемых функций ===
=== Спецификация реализуемых функций ===
{|class="standard"
{|class="standard"
-
!''Генерация выборки''
+
!''Генерация выборки для ЛДС''
|-
|-
-
|[X, T] = LDS_generate(N, A, G, C, S, mu0, V0)
+
|[X, T] = LDS_generate(N, A, C, G, S, mu0, V0)
|-
|-
|ВХОД
|ВХОД
Строка 49: Строка 60:
|-
|-
|A — матрица преобразования среднего в последовательности <tex>t</tex>, матрица типа double размера D x D;
|A — матрица преобразования среднего в последовательности <tex>t</tex>, матрица типа double размера D x D;
-
|-
 
-
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
 
|-
|-
|C — матрица преобразования среднего при переходе от <tex>t_n</tex> к <tex>x_n</tex>, матрица типа double размера d x D;
|C — матрица преобразования среднего при переходе от <tex>t_n</tex> к <tex>x_n</tex>, матрица типа double размера d x D;
 +
|-
 +
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
|-
|-
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
Строка 67: Строка 78:
|X — сгенерированная наблюдаемая последовательность, матрица типа double размера N x d
|X — сгенерированная наблюдаемая последовательность, матрица типа double размера N x d
|-
|-
-
|T — последовательность скрытых состояний, матрица типа double размера N x D
+
|T — последовательность скрытых характеристик, матрица типа double размера N x D
|}
|}
|}
|}
Строка 74: Строка 85:
{|class="standard"
{|class="standard"
-
!''Фильтр Калмана''
+
!''Фильтр Калмана для ЛДС''
|-
|-
-
|[Mus, Sigmas] = LDS_filter(X, A, G, C, S, mu0, V0)
+
|[M, V] = LDS_filter(X, A, C, G, S, mu0, V0)
|-
|-
|ВХОД
|ВХОД
Строка 85: Строка 96:
|-
|-
|A — матрица преобразования среднего в последовательности <tex>t</tex>, матрица типа double размера D x D;
|A — матрица преобразования среднего в последовательности <tex>t</tex>, матрица типа double размера D x D;
-
|-
 
-
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
 
|-
|-
|C — матрица преобразования среднего при переходе от <tex>t_n</tex> к <tex>x_n</tex>, матрица типа double размера d x D;
|C — матрица преобразования среднего при переходе от <tex>t_n</tex> к <tex>x_n</tex>, матрица типа double размера d x D;
 +
|-
 +
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
|-
|-
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
Строка 102: Строка 113:
|
|
{|
{|
-
|Mus — мат. ожидания распределений <tex>p(t_n|x_1,\dots,x_n)</tex>, матрица типа double размера N x D;
+
|M — мат. ожидания распределений <tex>p(t_n|x_1,\dots,x_n)</tex>, матрица типа double размера N x D;
|-
|-
-
|Sigmas — ковариационные матрицы распределений <tex>p(t_n|x_1,\dots,x_n)</tex>, массив типа double размера D x D x N;
+
|V — ковариационные матрицы распределений <tex>p(t_n|x_1,\dots,x_n)</tex>, массив типа double размера D x D x N;
|-
|-
|}
|}
Строка 112: Строка 123:
{|class="standard"
{|class="standard"
-
!''Обучение''
+
!''Обучение с учителем для ЛДС''
|-
|-
-
|[A, G, C, S, mu0, V0] = LDS_train(X, D, InputParameters)
+
|[A, C, G, S] = LDS_train(X, T, ParameterName1, ParameterValue1, ParameterName2, ParameterValue2, ...)
|-
|-
|ВХОД
|ВХОД
Строка 120: Строка 131:
|
|
{|
{|
-
|X — входная последовательность, матрица типа double размера N x d, где N – количество точек в последовательности, d – число признаков;
+
|X — входная последовательность наблюдаемых переменных, матрица типа double размера N x d, где N – количество точек в последовательности, d – число признаков;
|-
|-
-
|D — размерность пространства скрытых состояний, число типа uint16;
+
|T — входная последовательность значений скрытых характеристик, матрица типа double размера N x D;
|-
|-
-
|InputParameters — (необязательный аргумент) набор дополнительных параметров, массив типа cell вида ParameterName1, ParameterValue1, ParameterName2, ParameterValue2 и т.д. Возможны следующие параметры:
+
|(ParameterName, ParameterValue) — (необязательные аргументы) набор дополнительных параметров, возможны следующие названия параметров:
|-
|-
-
|&nbsp;&nbsp;'A' — задаваемая пользователем матрица преобразования среднего в распределении <tex>p(t_n|t_{n-1})</tex>(соответственно, ее не нужно определять в процессе EM-итераций);
+
|&nbsp;&nbsp;'A' — задаваемая пользователем матрица преобразования среднего в распределении <tex>p(t_n|t_{n-1})</tex>(соответственно, ее не нужно вычислять внутри функции);
-
|-
+
-
|&nbsp;&nbsp;'G' — задаваемая пользователем матрица ковариации <tex>p(t_n|t_{n-1})</tex>;
+
|-
|-
|&nbsp;&nbsp;'C' — задаваемая пользователем матрица преобразования среднего в распределении <tex>p(x_n|t_n)</tex>;
|&nbsp;&nbsp;'C' — задаваемая пользователем матрица преобразования среднего в распределении <tex>p(x_n|t_n)</tex>;
 +
|-
 +
|&nbsp;&nbsp;'G' — задаваемая пользователем матрица ковариации <tex>p(t_n|t_{n-1})</tex>;
|-
|-
|&nbsp;&nbsp;'S' — задаваемая пользователем матрица ковариации в распределении <tex>p(x_n|t_n)</tex>;
|&nbsp;&nbsp;'S' — задаваемая пользователем матрица ковариации в распределении <tex>p(x_n|t_n)</tex>;
|-
|-
-
|&nbsp;&nbsp;'num_iter' — максимально допустимое число итераций EM-алгоритма (по умолчанию = 100);
 
-
|-
 
-
|&nbsp;&nbsp;'tol_LH' — минимально допустимая величина отклонения по значению логарифма правдоподобия на одной итерации (по умолчанию = <tex>10^{-2}</tex>);
 
|}
|}
|-
|-
Строка 145: Строка 153:
|-
|-
|A — матрица преобразования среднего в последовательности <tex>t</tex>, матрица типа double размера D x D;
|A — матрица преобразования среднего в последовательности <tex>t</tex>, матрица типа double размера D x D;
 +
|-
 +
|C — матрица преобразования среднего при переходе от <tex>t_n</tex> к <tex>x_n</tex>, матрица типа double размера d x D;
|-
|-
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
|-
|-
-
|C — матрица преобразования среднего при переходе от <tex>t_n</tex> к <tex>x_n</tex>, матрица типа double размера d x D;
+
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
 +
|-
 +
|}
 +
|}
 +
 
 +
&nbsp;
 +
 
 +
{|class="standard"
 +
!''Генерация выборки для нелинейной динамической системы''
 +
|-
 +
|[X, T] = EKF_generate(N, func_horiz, func_vert, G, S, mu0, V0)
 +
|-
 +
|ВХОД
 +
|-
 +
|
 +
{|border="0"
 +
|N — количество точек в генерируемой последовательности, uint32;
 +
|-
 +
|func_horiz — указатель на функцию <tex>f</tex>, сама функция должна возвращать две величины: значение (вектор длины D) и градиент (матрицу размера D x D);
 +
|-
 +
|func_vert — указатель на функцию <tex>g</tex>, сама функция должна возвращать свое значение (вектор длины d) и градиент (матрицу размера d x D);
 +
|-
 +
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
|-
|-
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
Строка 155: Строка 187:
|-
|-
|V0 — ковариационная матрица априорного распределения <tex>p(t_1)</tex>, матрица типа double размера D x D.
|V0 — ковариационная матрица априорного распределения <tex>p(t_1)</tex>, матрица типа double размера D x D.
-
|-
 
|}
|}
 +
|-
 +
|ВЫХОД
 +
|-
 +
|
 +
{|
 +
|X — сгенерированная наблюдаемая последовательность, матрица типа double размера N x d
 +
|-
 +
|T — последовательность скрытых характеристик, матрица типа double размера N x D
 +
|}
|}
|}
-
&nbsp;
+
Обратите внимание: в процедуре EKF_generate параметры D и d определяются неявно по размеру соответствующих элементов.
{|class="standard"
{|class="standard"
-
!''Генерация траектории''
+
!''Расширенный фильтр Калмана для нелинейной динамической системы''
|-
|-
-
|X = TRAJECTORY_GENERATE(N)
+
|[M, V] = EKF_filter(X, func_horiz, func_vert, G, S, mu0, V0)
|-
|-
|ВХОД
|ВХОД
Строка 170: Строка 210:
|
|
{|
{|
 +
|X — входная последовательность, матрица типа double размера N x d, где N – количество точек в последовательности, d – количество признаков;
|-
|-
-
|N — длина генерируемой траектории, uint32;
+
|func_horiz — указатель на функцию <tex>f</tex>, сама функция должна возвращать две величины: значение (вектор длины D) и градиент (матрицу размера D x D);
 +
|-
 +
|func_vert — указатель на функцию <tex>g</tex>, сама функция должна возвращать свое значение (вектор длины d) и градиент (матрицу размера d x D);
 +
|-
 +
|G — ковариационная матрица для распределения <tex>p(t_n|t_{n-1})</tex>, матрица типа double размера D x D;
 +
|-
 +
|S — ковариационная матрица для распределения <tex>p(x_n|t_n)</tex>, матрица типа double размера d x d;
 +
|-
 +
|mu0 — мат.ожидание априорного распределения <tex>p(t_1)</tex>, матрица типа double размера 1 x D;
 +
|-
 +
|V0 — ковариационная матрица априорного распределения <tex>p(t_1)</tex>, матрица типа double размера D x D.
|-
|-
|}
|}
Строка 179: Строка 230:
|
|
{|
{|
 +
|M — мат. ожидания распределений <tex>p(t_n|x_1,\dots,x_n)</tex>, матрица типа double размера N x D;
|-
|-
-
|X — сгенерированная траектория движения объекта в двухмерном пространстве, матрица типа double размера N x 2;
+
|V — ковариационные матрицы распределений <tex>p(t_n|x_1,\dots,x_n)</tex>, массив типа double размера D x D x N;
|-
|-
|}
|}
Строка 187: Строка 239:
=== Рекомендации по выполнению задания ===
=== Рекомендации по выполнению задания ===
-
* При тестировании ЕМ-алгоритма обучения ЛДС рекомендуется убедиться в том, что значение неполного правдоподобия <tex>\log p(X|A,\Gamma,C,\Sigma,\mu_0,V_0)</tex> монотонно увеличивается в итерациях.
+
* В качестве модельных данных для тестирования ЛДС рассмотреть задачу сопровождения объекта в двухмерном пространстве. Для генерации траектории движения объекта использовать функцию LDS_generate с параметрами, описанными в лекции. При этом рекомендуется взять небольшой квант времени <tex>\Delta t</tex>. Убедиться в том, что отфильтрованная по Калману траектория ближе к истинной, чем наблюдаемый сигнал.
-
* Простейшим способом генерации траектории объекта является генерация по скорости и ускорению, где ускорение иногда меняет величину и направление.
+
* При тестировании обучения с учителем убедиться в том, что правдоподобие траектории объекта в двухмерном пространстве, сгенерированной с помощью LDS_generate, не превосходит правдоподобие этой траектории для параметров, полученных с помощью LDS_train.
-
* Один из вариантов тестирования реализованных алгоритмов на основе ЛДС следующий:
+
-
** Сгенерировать траекторию движения объекта
+
-
** Добавить к траектории случайный нормальный шум
+
-
** Отфильтровать зашумленную траекторию с помощью фильтра Калмана; убедиться, что отфильтрованный сигнал ближе к истинной траектории, чем входной зашумленный сигнал.
+
-
** Отфильтровать зашумленную траекторию с помощью РТС уравнений; убедиться, что результат является более точным по сравнению с фильтром Калмана.
+
-
* При тестировании генерации из модели ЛДС рекомендуется эксперимент с двухмерным сигналом, чтобы убедиться в корректности задаваемых корреляций
+
-
* Для наложения траектории движения на видео рекомендуется следующая процедура:
+
-
** Загрузить в MATLAB изображения с названиями поведенческих актов с помощью ''imread''
+
-
** Небольшими блоками загружать в MATLAB кадры видео с помощью ''aviread'', накладывать на них траекторию движения за последние 300 кадров и сохранять полученные кадры в виде отдельных JPG картинок на диск с помощью ''imwrite''. Сохраненные картинки должны иметь название XXXXX.jpg, где XXXXX — номер кадра.
+
-
** Собрать полученные картинки в видео-файл с помощью бесплатной программы [http://www.virtualdub.org/ VirtualDub]. Для этого достаточно открыть первую картинку в программе (остальные загрузятся автоматически), установить частоту кадров 25fps, установить кодек (рекомендуется DivX) и сгенерировать AVI-файл.
+
=== Оформление задания ===
=== Оформление задания ===
Строка 209: Строка 251:
*LDS_filter.m
*LDS_filter.m
*LDS_train.m
*LDS_train.m
-
*trajectory_generate.m
+
*EKF_generate.m
 +
*EKF_filter.m
*Набор вспомогательных файлов при необходимости
*Набор вспомогательных файлов при необходимости
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
[[Категория:Байесовские методы]]
[[Категория:Байесовские методы]]

Текущая версия

Содержание

Основная статья: Графические модели (курс лекций)

Начало выполнения задания: 10 марта 2012

Срок сдачи: 21 марта 2012, 23:59

Среда реализации задания – MATLAB. Неэффективная реализация кода может негативно отразиться на оценке.

Формулировка задания

Рассматривается линейная динамическая система (ЛДС), в которой полное правдоподобие задается как:

p(X,T|\theta)=p(t_1)\prod_{n=2}^Np(t_n |t_{n-1})\prod_{n=1}^Np(x_n |t_n ),\\ p(t_n|t_{n-1})=\mathcal{N}(t_n|At_{n-1},\Gamma),\\ p(x_n|t_n)=\mathcal{N}(x_n|Ct_n,\Sigma),\\ p(t_1)=\mathcal{N}(t_1|\mu_0,V_0).

Все переменные модели являются непрерывными, т.е. t_n\in\mathbb{R}^D,\ x_n\in\mathbb{R}^d. Параметры модели A,\Gamma,V_0\in\mathbb{R}^{D\times D},\ C\in\mathbb{R}^{d\times D},\ \Sigma\in\mathbb{R}^{d\times d},\ \mu_0\in\mathbb{R}^D.

Данную ЛДС нужно протестировать на модельной задаче сопровождения (трекинга) объекта в пространстве.

Рассматривается также нелинейная динамическая система с нормальным шумом, в которой вероятности переходов задаются как:

p(t_n|t_{n-1}) = \mathcal{N}(t_n|f(t_{n-1}),\Gamma),\\ p(x_n|t_n) = \mathcal{N}(x_n|g(t_n),\Sigma),\\ p(t_1) = \mathcal{N}(t_1|\mu_0,V_0).

Здесь f и g — известные вектор-функции.

Для этой системы нужно реализовать расширенный фильтр Калмана и протестировать его работу на модельных данных.

Для выполнения задания необходимо:

  • Реализовать алгоритм генерации выборки из вероятностной модели ЛДС и нелинейной ДС;
  • Реализовать алгоритм онлайн фильтрации сигнала с помощью фильтра Калмана и с помощью расширенного фильтра Калмана;
  • Реализовать обучение параметров ЛДС с учителем. При этом часть параметров ЛДС может быть задана пользователем;
  • Протестировать реализованные алгоритмы на модельных данных;
  • Написать отчет в формате PDF с описанием всех проведенных исследований. Данный отчет должен, в частности, включать в себя графики фильтрации сгенерированных траекторий для линейного и нелинейного случая.

Спецификация реализуемых функций

Генерация выборки для ЛДС
[X, T] = LDS_generate(N, A, C, G, S, mu0, V0)
ВХОД
N — количество точек в генерируемой последовательности, uint32;
A — матрица преобразования среднего в последовательности t, матрица типа double размера D x D;
C — матрица преобразования среднего при переходе от t_n к x_n, матрица типа double размера d x D;
G — ковариационная матрица для распределения p(t_n|t_{n-1}), матрица типа double размера D x D;
S — ковариационная матрица для распределения p(x_n|t_n), матрица типа double размера d x d;
mu0 — мат.ожидание априорного распределения p(t_1), матрица типа double размера 1 x D;
V0 — ковариационная матрица априорного распределения p(t_1), матрица типа double размера D x D.
ВЫХОД
X — сгенерированная наблюдаемая последовательность, матрица типа double размера N x d
T — последовательность скрытых характеристик, матрица типа double размера N x D

Обратите внимание: в процедуре LDS_generate параметры D и d определяются неявно по размеру соответствующих элементов.

Фильтр Калмана для ЛДС
[M, V] = LDS_filter(X, A, C, G, S, mu0, V0)
ВХОД
X — входная последовательность, матрица типа double размера N x d, где N – количество точек в последовательности, d – количество признаков;
A — матрица преобразования среднего в последовательности t, матрица типа double размера D x D;
C — матрица преобразования среднего при переходе от t_n к x_n, матрица типа double размера d x D;
G — ковариационная матрица для распределения p(t_n|t_{n-1}), матрица типа double размера D x D;
S — ковариационная матрица для распределения p(x_n|t_n), матрица типа double размера d x d;
mu0 — мат.ожидание априорного распределения p(t_1), матрица типа double размера 1 x D;
V0 — ковариационная матрица априорного распределения p(t_1), матрица типа double размера D x D.
ВЫХОД
M — мат. ожидания распределений p(t_n|x_1,\dots,x_n), матрица типа double размера N x D;
V — ковариационные матрицы распределений p(t_n|x_1,\dots,x_n), массив типа double размера D x D x N;

 

Обучение с учителем для ЛДС
[A, C, G, S] = LDS_train(X, T, ParameterName1, ParameterValue1, ParameterName2, ParameterValue2, ...)
ВХОД
X — входная последовательность наблюдаемых переменных, матрица типа double размера N x d, где N – количество точек в последовательности, d – число признаков;
T — входная последовательность значений скрытых характеристик, матрица типа double размера N x D;
(ParameterName, ParameterValue) — (необязательные аргументы) набор дополнительных параметров, возможны следующие названия параметров:
  'A' — задаваемая пользователем матрица преобразования среднего в распределении p(t_n|t_{n-1})(соответственно, ее не нужно вычислять внутри функции);
  'C' — задаваемая пользователем матрица преобразования среднего в распределении p(x_n|t_n);
  'G' — задаваемая пользователем матрица ковариации p(t_n|t_{n-1});
  'S' — задаваемая пользователем матрица ковариации в распределении p(x_n|t_n);
ВЫХОД
A — матрица преобразования среднего в последовательности t, матрица типа double размера D x D;
C — матрица преобразования среднего при переходе от t_n к x_n, матрица типа double размера d x D;
G — ковариационная матрица для распределения p(t_n|t_{n-1}), матрица типа double размера D x D;
S — ковариационная матрица для распределения p(x_n|t_n), матрица типа double размера d x d;

 

Генерация выборки для нелинейной динамической системы
[X, T] = EKF_generate(N, func_horiz, func_vert, G, S, mu0, V0)
ВХОД
N — количество точек в генерируемой последовательности, uint32;
func_horiz — указатель на функцию f, сама функция должна возвращать две величины: значение (вектор длины D) и градиент (матрицу размера D x D);
func_vert — указатель на функцию g, сама функция должна возвращать свое значение (вектор длины d) и градиент (матрицу размера d x D);
G — ковариационная матрица для распределения p(t_n|t_{n-1}), матрица типа double размера D x D;
S — ковариационная матрица для распределения p(x_n|t_n), матрица типа double размера d x d;
mu0 — мат.ожидание априорного распределения p(t_1), матрица типа double размера 1 x D;
V0 — ковариационная матрица априорного распределения p(t_1), матрица типа double размера D x D.
ВЫХОД
X — сгенерированная наблюдаемая последовательность, матрица типа double размера N x d
T — последовательность скрытых характеристик, матрица типа double размера N x D

Обратите внимание: в процедуре EKF_generate параметры D и d определяются неявно по размеру соответствующих элементов.

Расширенный фильтр Калмана для нелинейной динамической системы
[M, V] = EKF_filter(X, func_horiz, func_vert, G, S, mu0, V0)
ВХОД
X — входная последовательность, матрица типа double размера N x d, где N – количество точек в последовательности, d – количество признаков;
func_horiz — указатель на функцию f, сама функция должна возвращать две величины: значение (вектор длины D) и градиент (матрицу размера D x D);
func_vert — указатель на функцию g, сама функция должна возвращать свое значение (вектор длины d) и градиент (матрицу размера d x D);
G — ковариационная матрица для распределения p(t_n|t_{n-1}), матрица типа double размера D x D;
S — ковариационная матрица для распределения p(x_n|t_n), матрица типа double размера d x d;
mu0 — мат.ожидание априорного распределения p(t_1), матрица типа double размера 1 x D;
V0 — ковариационная матрица априорного распределения p(t_1), матрица типа double размера D x D.
ВЫХОД
M — мат. ожидания распределений p(t_n|x_1,\dots,x_n), матрица типа double размера N x D;
V — ковариационные матрицы распределений p(t_n|x_1,\dots,x_n), массив типа double размера D x D x N;

Рекомендации по выполнению задания

  • В качестве модельных данных для тестирования ЛДС рассмотреть задачу сопровождения объекта в двухмерном пространстве. Для генерации траектории движения объекта использовать функцию LDS_generate с параметрами, описанными в лекции. При этом рекомендуется взять небольшой квант времени \Delta t. Убедиться в том, что отфильтрованная по Калману траектория ближе к истинной, чем наблюдаемый сигнал.
  • При тестировании обучения с учителем убедиться в том, что правдоподобие траектории объекта в двухмерном пространстве, сгенерированной с помощью LDS_generate, не превосходит правдоподобие этой траектории для параметров, полученных с помощью LDS_train.

Оформление задания

Выполненный вариант задания необходимо прислать письмом по адресу bayesml@gmail.com с темой «Задание 2. ФИО». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Также убедительная просьба строго придерживаться заданной выше спецификации реализуемых функций. Очень трудно проверять большое количество заданий, если у каждого будет свой формат реализации.

Письмо должно содержать:

  • PDF-файл с описанием проведенных исследований
  • LDS_generate.m
  • LDS_filter.m
  • LDS_train.m
  • EKF_generate.m
  • EKF_filter.m
  • Набор вспомогательных файлов при необходимости
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%93%D1%80%D0%B0%D1%84%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29/2012/%D0%97%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5_2»
Личные инструменты