м |
|
| (53 промежуточные версии не показаны) |
| Строка 1: |
Строка 1: |
| - | {{notice|
| + | #REDIRECT [[Графические модели (курс лекций)/2015]] |
| - | Внимание! Выдано домашнее задание по вариационному выводу. На ближайшем семинаре 17 мая состоится написание контрольной работы по этой теме.
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{notice| В домашнем задании по вариационному выводу исправлена опечатка в задаче 1.}}
| + | |
| - | | + | |
| - | __NOTOC__
| + | |
| - | | + | |
| - | {|border = "0"
| + | |
| - | | valign="top"|[[Изображение:Mrf.jpg|300px]]
| + | |
| - | | valign="top"|Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение. До 2011 года курс читался как спецкурс [[Структурные методы анализа изображений и сигналов (курс лекций)/2011|«Структурные методы анализа изображений и сигналов»]].
| + | |
| - | | + | |
| - | Целью курса является освоение математического аппарата для работы с графическими моделями. Предполагается, что в результате прохождения курса студенты обретут навыки самостоятельного построения графических моделей для решения задач из различных прикладных областей; будут способны решать задачи настройки параметров графических моделей по данным, определять подходящую структуру графической модели, выбирать методы, наиболее эффективные для работы с построенной моделью; получат опыт применения графических моделей для различных задач анализа изображений, сигналов, сетей.
| + | |
| - | |}
| + | |
| - | | + | |
| - | Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]],
| + | |
| - | | + | |
| - | Семинарист: [[Участник:Anton|А.А. Осокин]],
| + | |
| - | | + | |
| - | Ассистент: [[Участник:Kropotov|Д.А. Кропотов]].
| + | |
| - | | + | |
| - | Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу ''bayesml@gmail.com''. При этом в название письма просьба добавлять [ГМ13].
| + | |
| - | | + | |
| - | == Расписание занятий ==
| + | |
| - | | + | |
| - | В 2013 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 526б, начало в 12-50 и в 16-20.
| + | |
| - | | + | |
| - | {| class="standard"
| + | |
| - | !Дата||Занятие||Материалы
| + | |
| - | |-
| + | |
| - | |8 февраля 2013 || Лекция 1 «Введение в курс. Байесовские рассуждения.» || rowspan=3|[[Media:GM13_1.pdf|Презентация (pdf)]] по байесовским рассуждениям и графическим моделям
| + | |
| - | |-
| + | |
| - | |15 февраля 2013 || Семинар 1 «Правила работы с вероятностями, байесовские рассуждения.»
| + | |
| - | |-
| + | |
| - | |15 февраля 2013 || Лекция 2 «Графические модели: байесовские и марковские сети»
| + | |
| - | |-
| + | |
| - | |22 февраля 2013 || Семинар 2 «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» ||
| + | |
| - | |-
| + | |
| - | |22 февраля 2013 || Лекция 3 «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP.» || [[Media:SMAIS-2011-BP.pdf|Конспект по алгоритмам передачи сообщений (pdf)]]
| + | |
| - | |-
| + | |
| - | |1 марта 2013 || Семинар 3 «Алгоритмы передачи сообщений. Коды с малой плотностью проверок на чётность (LDPC-коды)» || [http://ru.wikipedia.org/wiki/LDPC LDPC-коды] в Википедии
| + | |
| - | |-
| + | |
| - | |1 марта 2013 || Лекция 4 «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем.» || [[Media:GM12_3.pdf|Презентация (pdf)]]
| + | |
| - | |-
| + | |
| - | |15 марта 2013 || Семинар 4 «Скрытые марковские модели» ||
| + | |
| - | |-
| + | |
| - | |15 марта 2013 || Лекция 5 «ЕМ-алгоритм. Обучение скрытых марковских моделей без учителя.» || [[Media:GM13_em_hmm_unsupervised.pdf|Презентация (pdf)]]
| + | |
| - | |-
| + | |
| - | |22 марта 2013 || Семинар 5 «Матричные вычисления» || [[Media:Matrix-Gauss.pdf|Конспект по матричным вычислениям и нормальному распределению (pdf)]]
| + | |
| - | |-
| + | |
| - | |22 марта 2013 || Лекция 6 «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.» || [[Media:LDS.pdf|Конспект по ЛДС (pdf)]]
| + | |
| - | |-
| + | |
| - | |29 марта 2013 || Семинар 6 «Контрольная по матричным вычислениям. ЕМ-алгоритм» ||
| + | |
| - | |-
| + | |
| - | |29 марта 2013 || Лекция 7 «Алгоритмы на основе разрезов графов, <tex>\alpha</tex>-расширение.» || [[Media:Lecture6.pdf| Презентация (pdf)]]
| + | |
| - | |-
| + | |
| - | |5 апреля 2013 || Семинар 7 «Алгоритмы разрезов графов» ||
| + | |
| - | |-
| + | |
| - | |5 апреля 2013 || Лекция 8 «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях»
| + | |
| - | || [[Media:TRW.pdf| Конспект по TRW (pdf)]]
| + | |
| - | |-
| + | |
| - | |12 апреля 2013 || Семинар 8 «Двойственное разложение» ||
| + | |
| - | |-
| + | |
| - | |12 апреля 2013 || Лекция 9 «Структурный метод опорных векторов (SSVM)» || [[Media:SMAIS11_SSVM.pdf|Конспект по SSVM (pdf)]]
| + | |
| - | |-
| + | |
| - | |19 апреля 2013 || Семинар 9 «Разбор практического задания по SSVM» ||
| + | |
| - | |-
| + | |
| - | |19 апреля 2013 || Лекция 10 «Методы Монте Карло по схеме марковских цепей (MCMC)» ||
| + | |
| - | |-
| + | |
| - | |26 апреля 2013 || Лекция 11 «Вариационный вывод» ||
| + | |
| - | |-
| + | |
| - | |26 апреля 2013 || Семинар 10 «Методы MCMC и вариационный вывод» ||
| + | |
| - | |-
| + | |
| - | |17 мая 2013 || Семинар 11 «Контрольная по вариационному выводу» ||
| + | |
| - | |-
| + | |
| - | |17 мая 2013 || Лекция 12 «Алгоритм Expectation Propagation (EP)» ||
| + | |
| - | |-
| + | |
| - | |}
| + | |
| - | | + | |
| - | == Практические задания ==
| + | |
| - | | + | |
| - | Задание 1. [[Графические модели (курс лекций)/2013/Задание 1| «Байесовские рассуждения»]].
| + | |
| - | | + | |
| - | Задание 2. [[Графические модели (курс лекций)/2013/Задание 2| «Алгоритм Loopy Belief Propagation для LDPC-кодов»]].
| + | |
| - | | + | |
| - | Задание 3. [[Графические модели (курс лекций)/2013/Задание 3| «Авторегрессионная скрытая марковская модель для сегментации сигналов»]].
| + | |
| - | | + | |
| - | Задание 4. [[Графические модели (курс лекций)/2013/Задание 4| «Алгоритмы минимизации энергии для задачи стерео»]].
| + | |
| - | | + | |
| - | Задание 5. [[Графические модели (курс лекций)/2013/Задание 5| «Структурное обучение»]].
| + | |
| - | | + | |
| - | Задание 6. [[Графические модели (курс лекций)/2013/Задание 6| «Модель Изинга»]].
| + | |
| - | | + | |
| - | == Домашние задания ==
| + | |
| - | | + | |
| - | Задание 1. [[Media:GM13_homework_matrix.pdf|Матричные вычисления (pdf)]]
| + | |
| - | | + | |
| - | Задание 2. [[Media:GM13_homework_variational.pdf|Вариационный вывод (pdf)]]
| + | |
| - | | + | |
| - | == Оценки по курсу ==
| + | |
| - | | + | |
| - | {|class = "standard"
| + | |
| - | ! rowspan=2|№ п/п !! rowspan=2|Студент !! colspan=6|Практические задания (макс.балл) !! colspan=2|Контрольные (макс.балл) !! colspan=5|Семинары
| + | |
| - | |-
| + | |
| - | ! №1(3) !! №2(4) !! №3(3) !! №4(4) !! №5(6) !! №6(5) !! №1(2.5) !! №2(2.5) !! №2 !! №3 !! №4 !! №6 !! №10
| + | |
| - | |-
| + | |
| - | | align="center"|1 || Березин Алексей || <!--З1--> align="center"| 2.8 || <!--З2--> align="center"|3.8 || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0.83 || <!--К2--> align="center"| || <!--С2--> align="center"|0.5 || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|2 ||[[Участник:Borman|Борисов Михаил]] || <!--З1--> align="center"| -0.4 || <!--З2--> align="center"|- || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0.83 || <!--К2--> align="center"| ||<!--С2--> align="center"|- || <!--С3--> align="center"|-0.5 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|3 || Гавриков Михаил || <!--З1--> align="center"| 2.4 || <!--З2--> align="center"|3.5 || <!--З3--> align="center"| || <!--З4--> align="center"| 3.3 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0.83 || <!--К2--> align="center"| ||<!--С2--> align="center"|1 || <!--С3--> align="center"|1 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|4 || Зак Евгений || <!--З1--> align="center"| 2.5 || <!--З2--> align="center"|2.0 || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0 || <!--К2--> align="center"| ||<!--С2--> align="center"|- || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|5 || Исмагилов Тимур || <!--З1--> align="center"| 2.4 || <!--З2--> align="center"|- || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0.83 || <!--К2--> align="center"| ||<!--С2--> align="center"|0.5 || <!--С3--> align="center"|0.5 || <!--С4--> align="center"| 0.5 || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|6 || Кондрашкин Дмитрий || <!--З1--> align="center"| 3 || <!--З2--> align="center"|4.0 || <!--З3--> align="center"| || <!--З4--> align="center"| 4.2 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|1.25 || <!--К2--> align="center"| ||<!--С2--> align="center"|0.5 || <!--С3--> align="center"|0.5 || <!--С4--> align="center"| || <!--С5--> align="center"| 0.5 || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|7 || [[Участник:Kuraga|Куракин Александр]] || <!--З1--> align="center"| 2.5 || <!--З2--> align="center"|2.1 || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|8 || Лобачева Екатерина || <!--З1--> align="center"| 3 || <!--З2--> align="center"|3.9 || <!--З3--> align="center"| || <!--З4--> align="center"| 3.8 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|2.5 || <!--К2--> align="center"| ||<!--С2--> align="center"|0.5 || <!--С3--> align="center"|1 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|9 || Любимцева Мария || <!--З1--> align="center"| 3 || <!--З2--> align="center"|3.9 || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0.83 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|10 || Малышева Екатерина || <!--З1--> align="center"| 3 || <!--З2--> align="center"|4.0 || <!--З3--> align="center"| || <!--З4--> align="center"| 3.6 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|1.67 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|11 || Морозова Дарья || <!--З1--> align="center"| - || <!--З2--> align="center"|- || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|12 || [[Участник:Nizhibitsky|Нижибицкий Евгений]] || <!--З1--> align="center"| 3 || <!--З2--> align="center"|4.0 || <!--З3--> align="center"| || <!--З4--> align="center"| 3.8 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|1.67 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|1 || <!--С4--> align="center"| 0.5 || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|13 || [[Участник:Novikov|Новиков Максим]] || <!--З1--> align="center"| 2.5 || <!--З2--> align="center"|2.9 || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|0.5 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|14 || Огнева Дарья || <!--З1--> align="center"| 2.6 || <!--З2--> align="center"|- || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|1.67 || <!--К2--> align="center"| ||<!--С2--> align="center"|0.5 || <!--С3--> align="center"|1 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|15 || [[Участник:MoRandi91|Остапец Андрей]] || <!--З1--> align="center"| 2.8 || <!--З2--> align="center"|3.4 || <!--З3--> align="center"| || <!--З4--> align="center"| 3.5 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|0 || <!--К2--> align="center"| ||<!--С2--> align="center"|0.5 || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|16 || Потапенко Анна || <!--З1--> align="center"| 3 || <!--З2--> align="center"|3.8 || <!--З3--> align="center"| || <!--З4--> align="center"| 4.2 || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|1.67 || <!--К2--> align="center"| ||<!--С2--> align="center"|- || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | | align="center"|17 || [[Участник:Peter Romov|Ромов Петр]] || <!--З1--> align="center"| - || <!--З2--> align="center"|- || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|1.67 || <!--К2--> align="center"| ||<!--С2--> align="center"|- || <!--С3--> align="center"|0 || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10--> align="center"|-0.5
| + | |
| - | |-
| + | |
| - | | align="center"|18 || [[Участник:Newo|Фонарев Александр]] || <!--З1--> align="center"| 1.7 || <!--З2--> align="center"|- || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|2.5 || <!--К2--> align="center"| ||<!--С2--> align="center"|0 || <!--С3--> align="center"|- || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10--> align="center"|-0.5
| + | |
| - | |-
| + | |
| - | | align="center"|19 || Шаймарданов Ильдар || <!--З1--> align="center"| 2.9 || <!--З2--> align="center"|3.3 || <!--З3--> align="center"| || <!--З4--> align="center"| || <!--З5--> align="center"| || <!--З6--> align="center"| || <!--К1--> align="center"|2.5 || <!--К2--> align="center"| ||<!--С2--> align="center"|1 || <!--С3--> align="center"|- || <!--С4--> align="center"| || <!--С5--> align="center"| || <!--C10-->
| + | |
| - | |-
| + | |
| - | |}
| + | |
| - | | + | |
| - | == Система выставления оценок по курсу ==
| + | |
| - | | + | |
| - | # При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно». | + | |
| - | # Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
| + | |
| - | # Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*6+HomeWork+Quiz+Bonus}{12}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания (см. таблицу выше), Quiz - пятибалльная оценка за контрольные работы, Bonus - показатели работы студента на семинаре (в частности, результаты написания проверочных работ, см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение. Максимальный балл за HomeWork равен 25.
| + | |
| - | # На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
| + | |
| - | # За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
| + | |
| - | # Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
| + | |
| - | # Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
| + | |
| - | # Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
| + | |
| - | # В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>).
| + | |
| - | # Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
| + | |
| - | | + | |
| - | <!--
| + | |
| - | == Программа курса ==
| + | |
| - | | + | |
| - | === Введение в курс и понятие графических моделей. Байесовские и марковские сети. ===
| + | |
| - | | + | |
| - | Обзор курса. Задачи анализа структурированных данных. Представление зависимостей между объектами в виде графов. Байесовские сети. Элементарные способы работы с байесовскими сетями. Марковские сети. Потенциалы на кликах. Примеры использования марковских сетей для анализа изображений.
| + | |
| - | | + | |
| - | ''Ликбез: независимость случайных событий. Условная вероятность. Условная независимость.''
| + | |
| - | | + | |
| - | [http://en.wikipedia.org/wiki/Graphical_models Статья в Википедии по графическим моделям]
| + | |
| - | | + | |
| - | {|
| + | |
| - | |<videoflash type="vimeo">7348738</videoflash>
| + | |
| - | |<videoflash type="vimeo">7517616</videoflash>
| + | |
| - | |}
| + | |
| - | | + | |
| - | [[Media:Lecture1 GM.pdf|Презентация лекции (PDF, 1.01 Мб)]]
| + | |
| - | | + | |
| - | === Точные методы вывода в ациклических графических моделях: Алгоритм Belief Propagation. ===
| + | |
| - | | + | |
| - | Поиск наиболее вероятной конфигурации ацикличной марковской сети с помощью алгоритма Belief Propagation (динамическое программирование). Интерфейс передачи сообщений. Подсчет мин-маргиналов. Поиск маргинальных распределений для графических моделей в форме дерева. Использование произвольных полукольцевых операций в графических моделях.
| + | |
| - | | + | |
| - | [[Media:SMAIS-2011-BP.pdf| Конспект лекции (PDF, 64 Кб)]]<br>
| + | |
| - | [http://en.wikipedia.org/wiki/Belief_propagation Статья в Википедии про алгоритм Belief Propagation]
| + | |
| - | | + | |
| - | === Скрытые марковские модели (СММ). Алгоритм сегментации сигнала ===
| + | |
| - | | + | |
| - | Примеры задач сегментации сигналов. Обучение СММ с учителем. Поиск наиболее вероятной последовательности состояний (алгоритм Витерби).
| + | |
| - | | + | |
| - | === Линейные динамические системы. Фильтр Калмана ===
| + | |
| - | | + | |
| - | Свойства многомерного нормального распределения. Задача сопровождения объекта. Линейные динамические системы, фильтр Калмана. Обучение параметров линейной динамической системы с учителем. Расширенный фильтр Калмана, пример использования.
| + | |
| - | | + | |
| - | [[Media:GM12_4.pdf|Конспект лекции (PDF, 281Кб)]]
| + | |
| - | | + | |
| - | === Обучение СММ без учителя ===
| + | |
| - | | + | |
| - | ЕМ-алгоритм и его использование в анализе графических моделей. Алгоритм Баума-Уэлша для подсчета условного распределения скрытой переменной в отдельной точке. ЕМ-алгоритм для обучения СММ без учителя. Особенности численной реализации на ЭВМ. Модификации СММ (СММ высших порядков, факториальные СММ, многопоточные СММ, СММ ввода-вывода). Примеры использования СММ.
| + | |
| - | | + | |
| - | [[Media:lecture5.pdf|Презентация (PDF, 1.2Мб)]]
| + | |
| - | | + | |
| - | === Алгоритмы на основе разрезов графов ===
| + | |
| - | | + | |
| - | Энергетическая формулировка задач компьютерного зрения. Разрезы графов, алгоритмы нахождения максимального потока. Интерактивная сегментация изображений. Энергия, которую можно минимизировать с помощью разрезов графов. Приближенная минимизация энергии с помощью алгоритма альфа-расширения.
| + | |
| - | | + | |
| - | [[Media:Lecture6.pdf| Презентация (PDF, 618 Кб)]]
| + | |
| - | | + | |
| - | === Приближенные методы вывода в графических моделях: Tree-ReWeighted Message Passing (TRW). ===
| + | |
| - | | + | |
| - | ЛП-релаксация задачи байесовского вывода. Двойственное разложение. Независимость алгоритма TRW от способа разбиений на деревья. Свойства алгоритма TRW для субмодулярной энергии.
| + | |
| - | | + | |
| - | [[Media:TRW.pdf|Конспект лекции (PDF, 86Кб)]]
| + | |
| - | | + | |
| - | === Методы настройки марковских случайных полей. Структурный метод опорных векторов. ===
| + | |
| - | Задача структурного обучения. Метод опорных векторов для случая многих классов. Структурный метод опорных векторов. Обучение с помощью метода отсекающей плоскости. Обучение с помощью двойственной задачи. Примеры.
| + | |
| - | | + | |
| - | [[Media:SMAIS11_SSVM.pdf|Конспект лекции (PDF, 103Кб)]]
| + | |
| - | | + | |
| - | === Методы Монте Карло по схеме марковских цепей ===
| + | |
| - | Генерация выборки из одномерных распределений. Теоретические свойства марковских цепей: однородность, эргодичность и инвариантные распределения. Схема Метрополиса-Хастингса. Схема Гиббса. Примеры применения для дискретных марковских сетей. Фильтр частиц.
| + | |
| - | | + | |
| - | [[Media:GM12_9.pdf|Конспект лекции (PDF, 121Кб)]]
| + | |
| - | | + | |
| - | === Вариационный вывод ===
| + | |
| - | -->
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | | + | |
| - | # ''Barber D.'' [http://web4.cs.ucl.ac.uk/staff/D.Barber/textbook/290313.pdf Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
| + | |
| - | # ''Murphy K.P.'' Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
| + | |
| - | # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
| + | |
| - | # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
| + | |
| - | # ''Wainwright M.J., Jordan M.I.'' [http://www.eecs.berkeley.edu/~wainwrig/Papers/WaiJor08_FTML.pdf Graphical Models, Exponential Families, and Variational Inference.] Foundations and Trends in Machine Learning, NOWPress, 2008.
| + | |
| - | # ''Koller D., Friedman N.'' [http://www.twirpx.com/file/804418/ Probabilistic Graphical Models: Principles and Techniques.] The MIT Press, 2009.
| + | |
| - | # ''Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J.'' Probabilistic networks and expert systems. Berlin: Springer, 1999.
| + | |
| - | # [http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка по теории вероятностей]
| + | |
| - | | + | |
| - | == Страницы курса прошлых лет ==
| + | |
| - | | + | |
| - | [[Графические модели (курс лекций)/2012|2012 год]] | + | |
| - | | + | |
| - | [[Структурные методы анализа изображений и сигналов (курс лекций)/2011|2011 год]]
| + | |
| - | | + | |
| - | [[Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)|2009 год]]
| + | |
| - | | + | |
| - | == См. также ==
| + | |
| - | | + | |
| - | [[Бммо|Курс «Байесовские методы машинного обучения»]]
| + | |
| - | | + | |
| - | [[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
| + | |
| - | | + | |
| - | [[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
| + | |
| - | | + | |
| - | [https://www.coursera.org/course/pgm Онлайн-курс Стэнфордского университета по вероятностным графическим моделям]
| + | |
| - | | + | |
| - | [[Категория:Учебные курсы]]
| + | |
| - | [[Категория:Байесовские методы]]
| + | |
