Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)

Материал из MachineLearning.

Версия 15:22, 14 сентября 2009

Статья в настоящий момент дорабатывается. Kropotov 18:03, 14 сентября 2009 (MSD)

Курс посвящен математическим методам обработки информации, основанных на выделении структуры в исходных данных и ее последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ поведения, распознавание речи, машинное обучение.

Программа курса

Часть 1. Графические модели для анализа изображений.

Введение в курс и понятие графических моделей.

Обзор курса. Задачи анализа структурированных данных. Представление зависимостей между объектами в виде графов. Основные задачи, для решения которых используются графические модели. Демонстрация современных работ, опирающихся на данные в курсе методы.

Напоминание основных понятий, которые будут активно использоваться в следующих лекциях. Основные операции с вероятностями (правило суммы, произведения, формула Байеса). Понятия мат. ожидание и матрицы ковариаций. Нормальное распределение. Независимость событий. Маргинализация (исключение переменной). Метод максимального правдоподобия, МАР-оценивание на примере нормального распределения. Матричная нотация (скалярное произведение, следы матриц, квадратичные формы, дифференцирование по вектору). Правило множителей Лагранжа с ограничениями в виде равенств и неравенств.

Основные графические модели

Байесовские сети. Элементарные способы работы с байесовскими сетями. Марковские сети. Потенциалы на кликах. Примеры использования марковских сетей для анализа изображений. Ликбез: независимость случайных событий. Условная вероятность. Условная независимость.

Марковские сети и дискретная оптимизация

Энергетическая формулировка задач компьютерного зрения. Разрезы графов, алгоритмы нахождения максимального потока. Интерактивная сегментация изображений. Энергия, которую можно минимизировать с помощью разрезов графов. Многоуровневые разрезы графов.

Приближенная минимизация энергии с помощью разрезов графов. Алгоритм, основанный на замене. Алгоритм, основанный на расширении. Примеры минимизируемых энергий. Сегментация видео. Сшивка изображений. Трехмерная реконструкция.

Условные случайные поля

Понятие условных случайных полей, сравнение их с марковскими полями. Методы вывода и настройки полей. Применение для семантической сегментации изображений, распознавания объектов с учетом контекста и трехмерной реконструкции.

Часть 2. Графические модели для анализа и распознавания сигналов.

Скрытые марковские модели

Примеры задач сегментации сигналов. Обучение НММ с учителем, ЕМ-алгоритм и его использование в анализе графических моделей.

Алгоритм Баума-Уэлша для подсчета условного распределения на сегментацию отдельной точки. Обучение НММ без учителя. Особенности численной реализации на ЭВМ. Поиск наиболее вероятной последовательности состояний. Использование априорного распределения на длительность нахождения в заданном состоянии. Модификации НММ (НММ высших порядков, факториальные НММ, многопоточные НММ, НММ ввода-вывода). Применение НММ для анализа поведения, мультимодальное распознавание речи.

Ликбез: динамическое программирование.

Методы фильтрации данных

Линейные динамические системы, фильтр Калмана. Настройка параметров фильтра Калмана. Уравнения Рауса-Тунга-Штрибеля. Пример использования.

Методы Монте Карло с марковскими цепями

Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечного решающего правила. Схема Гиббса. Гибридные методы Монте-Карло. Использование методов Монте Карло на примере фильтра частиц.

Использование методов обработки сигналов в задаче множественного трекинга

Задача множественного трекинга лабораторных животных. Определение числа особей в блобе. Алгоритм разделения особей. Идентификация животных и определение ключевых точек.

Часть 3. Методы понижения размерности.

Методы понижения размерности

Метод главных компонент. Вероятностный РСА. Ядровая версия РСА. Анализ независимых компонент. Нелинейное уменьшение размерности. Методы на базе MDL – минимальной длины описания. Активные контура и их применение для сегментации движущихся объектов в видеопотоке. Алгоритмы распознавания лиц на базе методов понижения размерности.

Ликбез: свойства симметричных матриц, положительно определенные матрицы.

Метод релевантных векторов

Задача восстановления линейной регрессии. Регуляризация МНК. Автоопределение значимости (ARD). Метод релевантных векторов. Особенности его применения к задаче классификации. Пример использования.

Методы отбора признаков

Информационные критерии Акаике и Байеса-Шварца. Непрерывное обобщение критерия Акаике. Автоматическое определение значимости. Алгоритм автоматического отбора признаков в линейной регрессии. Использование информационных критериев в задаче классификации. Ликбез: задача линейной регрессии.

Расписание занятий

В 2009 году курс читается по четвергам на факультете ВМиК МГУ, в ауд. 671, начало в 18-00.

Литература

См. также

Курс «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)