Графические модели (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (Оценки)
 
(121 промежуточная версия не показана)
Строка 1: Строка 1:
-
__NOTOC__
+
#REDIRECT [[Графические модели (курс лекций)/2015]]
-
 
+
-
{|border = "0"
+
-
|[[Изображение:Mrf.jpg|300px]]
+
-
| valign="top"|Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение. До 2011 года курс читался как спецкурс [[Структурные методы анализа изображений и сигналов (курс лекций)/2011|«Структурные методы анализа изображений и сигналов»]].
+
-
|}
+
-
 
+
-
Лекторы: [[Участник:Dmitry Vetrov|Д.П. Ветров]], [[Участник:Kropotov|Д.А. Кропотов]].
+
-
 
+
-
Семинарист: [[Участник:Anton|А.А. Осокин]].
+
-
 
+
-
== Расписание занятий ==
+
-
 
+
-
В 2012 году курс читается в весеннем семестре на факультете [[ВМиК]] МГУ по средам в ауд. 524, начало в 16-50.
+
-
 
+
-
{| class="standard"
+
-
!Дата||Занятие||Материалы
+
-
|-
+
-
|8 февраля 2012 || Лекция 1 «Графические модели: Байесовские и марковские сети» || [[Media:Lecture1 GM.pdf|Презентация (PDF, 1.01 Мб)]]
+
-
|-
+
-
|15 февраля 2012  || Лекция 2 «Точные методы вывода в ациклических графических моделях. Алгоритм Belief Propagation» || [[Media:SMAIS-2011-BP.pdf| Конспект (PDF, 64 Кб)]]
+
-
|-
+
-
|22 февраля 2012 || Семинар 1 ||
+
-
|-
+
-
|29 февраля 2012 || Лекция 3 «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем» || [[Media:Lecture3.pdf| Презентация (PDF, 700 Кб)]]
+
-
|-
+
-
|7 марта 2012 || Лекция 4 «Задача фильтрации многомерных сигналов. Линейные динамические системы. Фильтр Калмана» || [[Media:GM12_4.pdf|Конспект (PDF, 281Кб)]]
+
-
|-
+
-
|14 марта 2012 || Лекция 5 «ЕМ-алгоритм. Обучение скрытых марковских моделей и линейных динамических систем.» || [[Media:Lecture5.pdf| Презентация (PDF, 1.14 Мб)]]
+
-
|-
+
-
|21 марта 2012 || Лекция 6 «Алгоритмы на основе разрезов графов, <tex>\alpha</tex>-расширение.» || [[Media:Lecture6.pdf| Презентация (PDF, 618 Кб)]]
+
-
|-
+
-
|28 марта 2012 || Лекция 7 «Приближенные методы вывода в циклических графических моделях. Алгоритм Tree-ReWeighted Message Passing (TRW)» || [[Media:TRW.pdf| Конспект лекции (PDF, 86Кб)]]
+
-
|-
+
-
|4 апреля 2012 || Семинар 2 ||
+
-
|-
+
-
|11 апреля 2012 || Лекция 8 «Структурный метод опорных векторов» || [[Media:SMAIS11_SSVM.pdf|Конспект (PDF, 103Кб)]]
+
-
|-
+
-
|18 апреля 2012 || Лекция 9 «Методы Монте Карло по схеме марковских цепей» || [[Media:GM12_9.pdf|Конспект (PDF, 121Кб)]]
+
-
|-
+
-
|25 апреля 2012 || Лекция 10 «Вариационный вывод» || [[Media:IMAG0183.jpg|Конспект1 (JPG, 930Кб)]], [[Media:IMAG0184.jpg|Конспект2 (JPG, 900Кб)]]
+
-
|-
+
-
|2 мая 2012 || Семинар 3 ||
+
-
|-
+
-
|16 мая 2012 || Лекция 11 «Использование графических моделей для решения различных прикладных задач анализа данных» || [[Media:GM12_lecturePractice.pdf|Презентация (PDF, 963Кб)]]
+
-
|-
+
-
|}
+
-
 
+
-
== Экзамен ==
+
-
На экзамене при подготовке ответа на билет разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
+
-
 
+
-
[[Media:GM12_voprosy.pdf|Вопросы к экзамену + теоретический минимум (PDF, 102Кб)]]
+
-
 
+
-
== Практические задания ==
+
-
 
+
-
Задание 1. [[Графические модели (курс лекций)/2012/Задание 1| «Алгоритмы передачи сообщений»]].
+
-
 
+
-
Задание 2. [[Графические модели (курс лекций)/2012/Задание 2| «Динамические системы и фильтр Калмана»]].
+
-
 
+
-
Задание 3. [[Графические модели (курс лекций)/2012/Задание 3| «TRW и α-расширение»]].
+
-
 
+
-
Задание 4. [[Графические модели (курс лекций)/2012/Задание 4| «Разрезы графов и двойственное разложение»]].
+
-
 
+
-
Задание 5. [[Графические модели (курс лекций)/2012/Задание 5| «Структурное обучение»]].
+
-
 
+
-
Задание 6. [[Графические модели (курс лекций)/2012/Задание 6| «Модель Изинга»]].
+
-
 
+
-
== Оценки ==
+
-
{|class = "standard sortable"
+
-
! class="unsortable"|№ п/п !! Студент !! Задание 1 (3 балла) !! Задание 2 (4 балла) !! Задание 3 (4 балла) !! Задание 4 (3 балла) !! Задание 5 (3+3 балла) !! Задание 6 (5 баллов) !! Сумма !! Конверт. !! Устный !! Итоговая
+
-
|-
+
-
| align="center"|1 || Александров Я. || 2 || 2.5 || 3 || 2 || 4 || 5 || *18.5 || 4 || 5 || 5
+
-
|-
+
-
| align="center"|2 || Артюхин С. || 3 || 3 || 4 || 2 || 5.5 || 4.5 || *22 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|3 || Бобрик К. || 3 || 2.5 || -10 || 3 || 3.5 || 0.5 || 2.5 || || || ||
+
-
|-
+
-
| align="center"|4 || Гаврилюк К. || 3 || 3 || 4 || 2 || 6 || 4.5 || *22.5 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|5 || Елшин Д. || 3 || 3 || 4 || 2 || 6 || 4.5 || *22.5 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|6 || Ермушева А. || 2 || 2.5 || 2.5 || 2 || 5 || 4.5 || *18.5 || 4 || 5 || 5
+
-
|-
+
-
| align="center"|7 || Зимовнов А.|| 3 || 4 || 4 || 2 || 7 || 4.5 || *24.5 || 5+ || 5 || 5
+
-
|-
+
-
| align="center"|8 || Игнатьев О. || 3 || 3 || 2.5 || 0 || 4.5 || 3.5 || *16.5 || 4 || 5 || 5
+
-
|-
+
-
| align="center"|9 || Кириллов А. || 3 || 3 || 4 || 2 || 6 || 5 || *23 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|10 || Марченко Е.|| 3 || 3 || 2.5 || 2 || -10 || -10 || -9.5 || || || ||
+
-
|-
+
-
| align="center"|11 || Матвеева Д. || 3 || 3 || 4 || 2 || 6 || 5 || *23 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|12 || Меркулова Т. || 3 || 2.5 || 3 || -10 || -10 || 5 || -6.5 || || 4 ||
+
-
|-
+
-
| align="center"|13 || Некрасов К. || 3 || 3.5 || 3 || 2 || 3.5 || 2.5 || *17.5 || 4 || 5 || 5
+
-
|-
+
-
| align="center"|14 || Новиков П. || 3 || 3 || 3.5 || 1.5 || 3 || 4 || *18 || 4 || 5 || 5
+
-
|-
+
-
| align="center"|15 || Панов А. || 3 || 3 || 3.5 || 1.5 || 7 || 3.5 || *21.5 || 5 || 4 || 5
+
-
|-
+
-
| align="center"|16 || Плященко Е. || 2 || 4 || 1.5 || 1.5 || 5 || 4.5 || *18.5 || 4 || ||
+
-
|-
+
-
| align="center"|17 || Полежаев В. || 3 || 2.5 || 4 || 2 || 6 || 4 || *21.5 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|18 || Сабурова М. || 3 || 3 || 0 || 1.5 || 4 || 4.5 || *16 || 4 || 4 || 4
+
-
|-
+
-
| align="center"|19 || Соколов Е.|| 3 || 4 || 4 || 2 || 6 || 5 || *24 || 5+ || 5 || 5
+
-
|-
+
-
| align="center"|20 || Фигурнов М. || 3 || 3 || 4 || 2 || 6.5 || 4.5 || *23 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|21 || Цупков С. || 3 || 3.5 || 3.5 || 3 || 5 || 2.5 || *20.5 || 5 || 5 || 5
+
-
|-
+
-
| align="center"|22 || Шанин И. || -10 || 1.5 || -10 || 0 || -10 || -10 || -38.5 || || ||
+
-
|-
+
-
| align="center"|24 || Ульянов Д. (212) || 3 || 4 ||3.25 || 1.5 || || || 11.75 || || ||
+
-
|}
+
-
 
+
-
== Система выставления оценок по курсу ==
+
-
 
+
-
# При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
+
-
# Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*5+HomeWork}{10}</tex>, где Oral — оценка из пяти баллов за устный экзамен, HomeWork — баллы, набранные за практические задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение.
+
-
# Студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
+
-
# За каждое несданное задание выставляется минус 10 баллов в HomeWork (допускаются отрицательные значения).
+
-
# Если на экзамене итоговая оценка оказывается ниже трех, студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
+
-
# Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
+
-
# Штраф за просрочку сдачи заданий начисляется из расчета 0.5 балла за неделю, но не более 5 баллов.
+
-
# В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>).
+
-
# Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
+
-
 
+
-
== Программа курса ==
+
-
 
+
-
=== Введение в курс и понятие графических моделей. Байесовские и марковские сети. ===
+
-
 
+
-
Обзор курса. Задачи анализа структурированных данных. Представление зависимостей между объектами в виде графов. Байесовские сети. Элементарные способы работы с байесовскими сетями. Марковские сети. Потенциалы на кликах. Примеры использования марковских сетей для анализа изображений.
+
-
 
+
-
''Ликбез: независимость случайных событий. Условная вероятность. Условная независимость.''
+
-
 
+
-
[http://en.wikipedia.org/wiki/Graphical_models Статья в Википедии по графическим моделям]
+
-
 
+
-
{|
+
-
|<videoflash type="vimeo">7348738</videoflash>
+
-
|<videoflash type="vimeo">7517616</videoflash>
+
-
|}
+
-
 
+
-
[[Media:Lecture1 GM.pdf|Презентация лекции (PDF, 1.01 Мб)]]
+
-
 
+
-
=== Точные методы вывода в ациклических графических моделях: Алгоритм Belief Propagation. ===
+
-
 
+
-
Поиск наиболее вероятной конфигурации ацикличной марковской сети с помощью алгоритма Belief Propagation (динамическое программирование). Интерфейс передачи сообщений. Подсчет мин-маргиналов. Поиск маргинальных распределений для графических моделей в форме дерева. Использование произвольных полукольцевых операций в графических моделях.
+
-
 
+
-
[[Media:SMAIS-2011-BP.pdf| Конспект лекции (PDF, 64 Кб)]]<br>
+
-
[http://en.wikipedia.org/wiki/Belief_propagation Статья в Википедии про алгоритм Belief Propagation]
+
-
 
+
-
=== Скрытые марковские модели (СММ). Алгоритм сегментации сигнала ===
+
-
 
+
-
Примеры задач сегментации сигналов. Обучение СММ с учителем. Поиск наиболее вероятной последовательности состояний (алгоритм Витерби).
+
-
 
+
-
=== Линейные динамические системы. Фильтр Калмана ===
+
-
 
+
-
Свойства многомерного нормального распределения. Задача сопровождения объекта. Линейные динамические системы, фильтр Калмана. Обучение параметров линейной динамической системы с учителем. Расширенный фильтр Калмана, пример использования.
+
-
 
+
-
[[Media:GM12_4.pdf|Конспект лекции (PDF, 281Кб)]]
+
-
 
+
-
=== Обучение СММ без учителя ===
+
-
 
+
-
ЕМ-алгоритм и его использование в анализе графических моделей. Алгоритм Баума-Уэлша для подсчета условного распределения скрытой переменной в отдельной точке. ЕМ-алгоритм для обучения СММ без учителя. Особенности численной реализации на ЭВМ. Модификации СММ (СММ высших порядков, факториальные СММ, многопоточные СММ, СММ ввода-вывода). Примеры использования СММ.
+
-
 
+
-
[[Media:lecture5.pdf|Презентация (PDF, 1.2Мб)]]
+
-
 
+
-
=== Алгоритмы на основе разрезов графов ===
+
-
 
+
-
Энергетическая формулировка задач компьютерного зрения. Разрезы графов, алгоритмы нахождения максимального потока. Интерактивная сегментация изображений. Энергия, которую можно минимизировать с помощью разрезов графов. Приближенная минимизация энергии с помощью алгоритма альфа-расширения.
+
-
 
+
-
[[Media:Lecture6.pdf| Презентация (PDF, 618 Кб)]]
+
-
 
+
-
=== Приближенные методы вывода в графических моделях: Tree-ReWeighted Message Passing (TRW). ===
+
-
 
+
-
ЛП-релаксация задачи байесовского вывода. Двойственное разложение. Независимость алгоритма TRW от способа разбиений на деревья. Свойства алгоритма TRW для субмодулярной энергии.
+
-
 
+
-
[[Media:TRW.pdf|Конспект лекции (PDF, 86Кб)]]
+
-
 
+
-
=== Методы настройки марковских случайных полей. Структурный метод опорных векторов. ===
+
-
Задача структурного обучения. Метод опорных векторов для случая многих классов. Структурный метод опорных векторов. Обучение с помощью метода отсекающей плоскости. Обучение с помощью двойственной задачи. Примеры.
+
-
 
+
-
[[Media:SMAIS11_SSVM.pdf|Конспект лекции (PDF, 103Кб)]]
+
-
 
+
-
=== Методы Монте Карло по схеме марковских цепей ===
+
-
Генерация выборки из одномерных распределений. Теоретические свойства марковских цепей: однородность, эргодичность и инвариантные распределения. Схема Метрополиса-Хастингса. Схема Гиббса. Примеры применения для дискретных марковских сетей. Фильтр частиц.
+
-
 
+
-
[[Media:GM12_9.pdf|Конспект лекции (PDF, 121Кб)]]
+
-
 
+
-
=== Вариационный вывод ===
+
-
 
+
-
== Литература ==
+
-
 
+
-
# [http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка по теории вероятностей]
+
-
# ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
+
-
# ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
+
-
# ''Jordan M.I. (Ed.)'' Learning in graphical models. Cambridge MA: MIT Press, 1999
+
-
# ''Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J.'' Probabilistic networks and expert systems. Berlin: Springer, 1999.
+
-
 
+
-
== Страницы курса прошлых лет ==
+
-
 
+
-
[[Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)|2009 год]]
+
-
 
+
-
[[Структурные методы анализа изображений и сигналов (курс лекций)/2011|2011 год]]
+
-
 
+
-
== См. также ==
+
-
 
+
-
[[Бммо|Курс «Байесовские методы машинного обучения»]]
+
-
 
+
-
[[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
+
-
 
+
-
[[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
+
-
 
+
-
[https://stanford.campus-class.org/pgm/auth/welcome Онлайн-курс Стэнфордского университета по вероятностным графическим моделям]
+
-
 
+
-
[[Категория:Учебные курсы]]
+
-
[[Категория:Байесовские методы]]
+

Текущая версия

  1. REDIRECT Графические модели (курс лекций)/2015
Личные инструменты