Графические модели (курс лекций)

Материал из MachineLearning.

Версия 18:12, 1 февраля 2012 (править) Kropotov (Обсуждение | вклад) ← К предыдущему изменению		Текущая версия (18:12, 21 марта 2015) (править) (отменить) Mfigurnov (Обсуждение | вклад) (Перенаправление на Графические модели (курс лекций)/2015)
(239 промежуточных версий не показаны.)
Строка 1:		Строка 1:
-	__NOTOC__	+	#REDIRECT [[Графические модели (курс лекций)/2015]]
-		+
-	Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение.	+
-		+
-	Лекторы: [[Участник:Dmitry Vetrov|Д.П. Ветров]], [[Участник:Kropotov| Д.А. Кропотов]], [[Участник:Anton|А.А. Осокин]].	+
-		+
-	[[Изображение:SMAIS_intro_fig.gif|400px]]	+
-		+
-	 	+
-		+
-	 	+
-		+
-	 	+
-		+
-	== Расписание занятий ==	+
-		+
-	В 2012 году курс читается в весеннем семестре по средам на факультете ВМиК МГУ.	+
-		+
-	{| class="standard"	+
-	!Дата||Занятие	+
-	|-	+
-	|8 февраля 2012 || Лекция 1 «Графические модели: Байесовские и марковские сети»	+
-	|-	+
-	|15 февраля 2012  || Лекция 2 «Точные методы вывода в ациклических графических моделях. Алгоритм Belief Propagation»	+
-	|-	+
-	|22 февраля 2012 || Семинар 1.	+
-	|-	+
-	|29 февраля 2012 || Лекция 3 «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем»	+
-	|-	+
-	|7 марта 2012 || Лекция 4 «Задача фильтрации многомерных сигналов. Линейные динамические системы. Фильтр Калмана»	+
-	|-	+
-	|14 марта 2012 || Лекция 5 «ЕМ-алгоритм. Обучение скрытых марковских моделей и линейных динамических систем.»	+
-	|-	+
-	|21 марта 2012 || Лекция 6 «Алгоритмы на основе разрезов графов, <tex>\alpha</tex>-расширение.»	+
-	|-	+
-	|28 марта 2012 || Лекция 7 «Приближенные методы вывода в циклических графических моделях. Алгоритм Tree-ReWeighted Message Passing (TRW)»	+
-	|-	+
-	|4 апреля 2012 || Семинар 2.	+
-	|-	+
-	|11 апреля 2012 || Лекция 8 «Методы Монте Карло по схеме марковских цепей»	+
-	|-	+
-	|18 апреля 2012 || Лекция 9 «Структурный метод опорных векторов»	+
-	|-	+
-	|25 апреля 2012 || Семинар 3.	+
-	|-	+
-	|2 мая 2012 ||	+
-	|-	+
-	|16 мая 2012 || Лекция 10 «Вариационный вывод»	+
-	|-	+
-	|}	+
-		+
-	== Практические задания ==	+
-		+
-	Задание 1. Скрытые марковские модели и линейные динамические системы.	+
-		+
-	Задание 2. TRW и α-расширение.	+
-		+
-	Задание 3. Структурное обучение.	+
-		+
-	== Программа курса ==	+
-		+
-	=== Введение в курс и понятие графических моделей. ===	+
-		+
-	Обзор курса. Задачи анализа структурированных данных. Представление зависимостей между объектами в виде графов. Основные задачи, для решения которых используются графические модели. Демонстрация современных работ, опирающихся на данные в курсе методы.	+
-		+
-	Напоминание основных понятий, которые будут активно использоваться в следующих лекциях. Основные операции с вероятностями (правило суммы, произведения, формула Байеса). Понятия мат. ожидание и матрицы ковариаций. Нормальное распределение. Независимость событий. Маргинализация (исключение переменной). Метод максимального правдоподобия, МАР-оценивание на примере нормального распределения. Матричная нотация (скалярное произведение, следы матриц, квадратичные формы, дифференцирование по вектору). Правило множителей Лагранжа с ограничениями в виде равенств и неравенств.	+
-		+
-	=== Основные графические модели ===	+
-		+
-	Байесовские сети. Элементарные способы работы с байесовскими сетями. Марковские сети. Потенциалы на кликах. Примеры использования марковских сетей для анализа изображений. ''Ликбез: независимость случайных событий. Условная вероятность. Условная независимость.''	+
-		+
-	[[Медиа:SMAIS-2009-2a.pdf| Презентация (PDF, 548 КБ)]]<br>	+
-	[http://en.wikipedia.org/wiki/Graphical_models Статья в Википедии по графическим моделям]	+
-		+
-	{|	+
-	|<videoflash type="vimeo">7348738</videoflash>	+
-	|<videoflash type="vimeo">7517616</videoflash>	+
-	|}	+
-		+
-	=== Точные методы вывода в ациклических графических моделях: Алгоритм Belief Propagation. ===	+
-		+
-	Поиск наиболее вероятной конфигурации ацикличной марковской сети с помощью алгоритма Belief Propagation (динамическое программирование). Интерфейс передачи сообщений. Подсчет мин-маргиналов. Поиск маргинальных распределений для графических моделей в форме дерева. Использование произвольных полукольцевых операций в графических моделях.	+
-		+
-	[[Media:SMAIS-2011-BP.pdf| Конспект лекции (PDF, 64 Кб)]]<br>	+
-	[http://en.wikipedia.org/wiki/Belief_propagation Статья в Википедии про алгоритм Belief Propagation]	+
-		+
-	=== Скрытые марковские модели (СММ). Алгоритм сегментации сигнала. ===	+
-		+
-	Примеры задач сегментации сигналов. Обучение СММ с учителем. Поиск наиболее вероятной последовательности состояний. ЕМ-алгоритм и его использование в анализе графических моделей.	+
-		+
-	[[Media:SMAIS_2009_lecture6.pdf|Презентация лекции (PDF, 779 Кб)]]	+
-		+
-	=== Обучение СММ без учителя ===	+
-		+
-	Алгоритм Баума-Уэлша для подсчета условного распределения скрытой переменной в отдельной точке. ЕМ-алгоритм для обучения СММ без учителя. Особенности численной реализации на ЭВМ. Модификации СММ (СММ высших порядков, факториальные СММ, многопоточные СММ, СММ ввода-вывода). Примеры использования СММ.	+
-		+
-	[[Media:SMAIS-2009-8.pdf|Презентация лекции (PDF, 1.01 Мб)]]	+
-		+
-	=== Методы фильтрации данных ===	+
-		+
-	Линейные динамические системы, фильтр Калмана. Настройка параметров фильтра Калмана. Уравнения Рауса-Тунга-Штрибеля. Расширенный фильтр Калмана, пример использования.	+
-		+
-	[[Media:SMAIS11_LDS.pdf|Конспект лекции (PDF, 135 Кб)]]	+
-		+
-	=== Приближенные методы вывода в графических моделях: Tree-ReWeighted Message Passing (TRW). ===	+
-		+
-	ЛП-релаксация задачи байесовского вывода. Двойственное разложение. Независимость алгоритма TRW от способа разбиений на деревья. Свойства алгоритма TRW для субмодулярной энергии.	+
-		+
-	[[Media:SMAIS11_TRW.pdf|Конспект лекции (PDF, 78 Кб)]]	+
-		+
-	=== Алгоритмы на основе разрезов графов ===	+
-		+
-	Энергетическая формулировка задач компьютерного зрения. Разрезы графов, алгоритмы нахождения максимального потока. Интерактивная сегментация изображений. Энергия, которую можно минимизировать с помощью разрезов графов. Приближенная минимизация энергии с помощью алгоритма альфа-расширения.	+
-		+
-	[[Media:SMAIS11_GraphCut.pdf|Презентация (PDF, 634 Кб)]]	+
-		+
-	=== Примеры практического применения алгоритмов, обсуждаемых в курсе ===	+
-	Восстановление изображений. Сегментация изображений. Стерео. Панорамы. Поиск составных объектов на изображении.	+
-		+
-	[[Media:SMAIS11_Practice.pdf|Презентация (PDF, 519 Кб)]]	+
-		+
-	=== [[Метод опорных векторов]] ===	+
-	[[Линейный классификатор]]. Оптимальная разделяющая гиперплоскость. Понятие о двойственной задаче условной оптимизации. Получение двойственной задачи для метода опорных векторов, ее свойства. Ядровой переход. Настройка параметров алгоритма.	+
-		+
-	[[Media:SMAIS11_SVM.pdf|Конспект лекции (PDF, 204 Кб)]]	+
-		+
-	=== Методы настройки марковских случайных полей. Структурный метод опорных векторов. ===	+
-		+
-	[[Media:SMAIS11_structSVM.pdf|Презентация (PDF, 993 Кб)]]	+
-		+
-	=== Методы Монте Карло по схеме марковских цепей ===	+
-	Теоретические свойства марковских цепей: однородной, эргодичность и инвариантные распределения. Схема Метрополиса-Хастингса. Схема Гиббса. Примеры применения для дискретных марковских сетей. Фильтр частиц.	+
-		+
-	[[Media:SMAIS11_MCMC.pdf|Конспект лекции (PDF, 90Кб)]]	+
-		+
-	== Литература ==	+
-		+
-	# [http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка по теории вероятностей]	+
-	# ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.	+
-	# ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.	+
-	# ''Jordan M.I. (Ed.)'' Learning in graphical models. Cambridge MA: MIT Press, 1999	+
-	# ''Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J.'' Probabilistic networks and expert systems. Berlin: Springer, 1999.	+
-		+
-	== Страницы курса прошлых лет ==	+
-		+
-	[[Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)|2009 год]]	+
-		+
-	[[Структурные методы анализа изображений и сигналов (курс лекций)/2011|2011 год]]	+
-		+
-	== См. также ==	+
-		+
-	[[Бммо|Курс «Байесовские методы машинного обучения»]]	+
-		+
-	[[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]	+
-		+
-	[[Математические методы прогнозирования (кафедра ВМиК МГУ)]]	+
-		+
-	[[Категория:Учебные курсы]]	+
-	[[Категория:Байесовские методы]]	+

---

Текущая версия

1. REDIRECT Графические модели (курс лекций)/2015