Графические модели (курс лекций)
Материал из MachineLearning.
| Страница курса находится в стадии формирования. |
| Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение. До 2011 года курс читался как спецкурс «Структурные методы анализа изображений и сигналов».
Целью курса является освоение математического аппарата для работы с графическими моделями. Предполагается, что в результате прохождения курса студенты обретут навыки самостоятельного построения графических моделей для решения задач из различных прикладных областей; будут способны решать задачи настройки параметров графических моделей по данным, определять подходящую структуру графической модели, выбирать методы, наиболее эффективные для работы с построенной моделью; получат опыт применения графических моделей для различных задач анализа изображений, сигналов, сетей. |
Лектор: Д.П. Ветров,
Семинарист: А.А. Осокин,
Ассистент: Д.А. Кропотов.
Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [ГМ14].
Расписание занятий
В 2014 году курс читается на факультете ВМиК МГУ ...
| Дата | Занятие | Материалы |
|---|---|---|
| 8 февраля 2013 | Лекция 1 «Введение в курс. Байесовские рассуждения.» | Презентация (pdf) по байесовским рассуждениям и графическим моделям |
| 15 февраля 2013 | Семинар 1 «Правила работы с вероятностями, байесовские рассуждения.» | |
| 15 февраля 2013 | Лекция 2 «Графические модели: байесовские и марковские сети» | |
| 22 февраля 2013 | Семинар 2 «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» | Презентация (pdf) |
| 22 февраля 2013 | Лекция 3 «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP.» | Конспект по алгоритмам передачи сообщений (pdf) |
| 1 марта 2013 | Семинар 3 «Алгоритмы передачи сообщений. Коды с малой плотностью проверок на чётность (LDPC-коды)» | LDPC-коды в Википедии |
| 1 марта 2013 | Лекция 4 «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем.» | Презентация (pdf) |
| 15 марта 2013 | Семинар 4 «Скрытые марковские модели» | |
| 15 марта 2013 | Лекция 5 «ЕМ-алгоритм. Обучение скрытых марковских моделей без учителя.» | Презентация (pdf) |
| 22 марта 2013 | Семинар 5 «Матричные вычисления» | Конспект по матричным вычислениям и нормальному распределению (pdf) |
| 22 марта 2013 | Лекция 6 «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.» | Конспект по ЛДС (pdf) |
| 29 марта 2013 | Семинар 6 «Контрольная по матричным вычислениям. ЕМ-алгоритм» | |
| 29 марта 2013 | Лекция 7 «Алгоритмы на основе разрезов графов, | Презентация (pdf), Конспект по разрезам графов (pdf) |
| 5 апреля 2013 | Семинар 7 «Алгоритмы разрезов графов» | |
| 5 апреля 2013 | Лекция 8 «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях» | Конспект по TRW (pdf) |
| 12 апреля 2013 | Семинар 8 «Двойственное разложение» | |
| 12 апреля 2013 | Лекция 9 «Структурный метод опорных векторов (SSVM)» | Конспект по SSVM (pdf) |
| 19 апреля 2013 | Семинар 9 «Разбор практического задания по SSVM» | |
| 19 апреля 2013 | Лекция 10 «Методы Монте Карло по схеме марковских цепей (MCMC)» | Конспект по MCMC (pdf) |
| 26 апреля 2013 | Лекция 11 «Вариационный вывод» | Конспект по вариационному выводу (pdf) |
| 26 апреля 2013 | Семинар 10 «Методы MCMC и вариационный вывод» | |
| 17 мая 2013 | Семинар 11 «Контрольная по вариационному выводу» | |
| 17 мая 2013 | Лекция 12 «Байесовский подход для выбора графической модели» |
Практические задания
Задание 1. «Байесовские рассуждения».
Задание 2. «Алгоритм Loopy Belief Propagation для LDPC-кодов».
Задание 3. «Алгоритмы минимизации энергии для задачи стерео».
Задание 4. «Модель Изинга».
Оценки по курсу
| № п/п | Студент | Практические задания (макс.балл) | Контрольные (макс.балл) | Семинары | Сумма | Экзамен | Оценка | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| №1(3) | №2(4) | №3(3) | №4(4) | №5(6) | №6(5) | №1(2.5) | №2(2.5) | №2 | №3 | №4 | №6 | №10 | |||||
| 1 | Березин Алексей | 2.8 | 3.8 | -10 | 1.2 | -10 | -10 | 0.83 | 0 | 0.5 | 0 | -20.87 | 4+4 | 3 | |||
| 2 | Борисов Михаил | -0.4 | -10 | -10 | -10 | -10 | -10 | 0.83 | 0 | 0 | -0.5 | -50.07 | 3+3+4+4 | 3 | |||
| 3 | Гавриков Михаил | 2.4 | 3.5 | 1.4 | 3.3 | 4.6 | 3.6 | 0.83 | 1.67 | 1 | 1 | 23.3 | 5 | 5 | |||
| 4 | Зак Евгений | 2.5 | 2.0 | -10 | -10 | 2 | -10 | 0 | 0 | 0 | 0 | -23.5 | 4+4 | 3 | |||
| 5 | Исмагилов Тимур | 2.4 | -10 | -10 | -10 | -10 | -10 | 0.83 | 0 | 0.5 | 0.5 | 0.5 | -45.27 | 4+4+0+4 | 3 | ||
| 6 | Кондрашкин Дмитрий | 3 | 4.0 | 2.5 | 4.2 | 6.5 | 4.8 | 1.25 | 2.5 | 0.5 | 0.5 | 0.5 | 30.25 | 5 | 5 | ||
| 7 | Куракин Александр | 2.5 | 2.1 | -2 | -0.5 | -10 | -10 | 0 | 0 | 0 | 0 | -17.9 | 4+4 | 3 | |||
| 8 | Лобачева Екатерина | 3 | 3.9 | 3.3 | 3.8 | 5.1 | 3.1 | 2.5 | 0 | 0.5 | 1 | 26.2 | 5 | 5 | |||
| 9 | Любимцева Мария | 3 | 3.9 | 0.8 | 1.4 | 3.9 | 3 | 0.83 | 1.88 | 0 | 0 | 18.71 | 4 | 4 | |||
| 10 | Малышева Екатерина | 3 | 4.0 | 2.2 | 3.6 | 5.8 | 4.3 | 1.67 | 1.88 | 0 | 0 | 26.45 | 5 | 5 | |||
| 11 | Морозова Дарья | -2 | -10 | -10 | -10 | -10 | -10 | 0 | 0.42 | 0 | 0 | -51.58 | 0+0+3+4+4+3 | 3 | |||
| 12 | Нижибицкий Евгений | 3 | 4.0 | 2 | 3.8 | 6.5 | 4.5 | 1.67 | 0 | 0 | 1 | 0.5 | 26.97 | 5 | 5 | ||
| 13 | Новиков Максим | 2.5 | 2.9 | -10 | -1 | 0 | -10 | 0 | 0 | 0 | 0.5 | -15.1 | 0+4+4 | 3 | |||
| 14 | Огнева Дарья | 2.6 | -1 | -10 | -10 | -10 | -10 | 1.67 | 0.42 | 0.5 | 1 | -34.81 | 3+4+4 | 3 | |||
| 15 | Остапец Андрей | 2.8 | 3.4 | 1.4 | 3.5 | 4.5 | 5 | 0 | 0 | 0.5 | 0 | 21.1 | 4 | 4 | |||
| 16 | Потапенко Анна | 3 | 3.8 | 2 | 4.2 | 7 | 4.3 | 1.67 | 1.46 | 0 | 0 | 27.43 | 5 | 5 | |||
| 17 | Ромов Петр | -2 | -10 | -2.5 | -1 | -10 | -10 | 1.67 | 0.83 | 0 | 0 | -0.5 | -33.5 | 5+5 | 3 | ||
| 18 | Фонарев Александр | 1.7 | -10 | -10 | -1 | -10 | -10 | 2.5 | 0.42 | 0 | 0 | -0.5 | -36.88 | 3+3+5 | 3 | ||
| 19 | Шаймарданов Ильдар | 2.9 | 3.3 | -3 | -0.5 | 1 | 2.5 | 2.5 | 0 | 1 | 0 | 9.7 | 4+5 | 4 | |||
Система выставления оценок по курсу
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговая оценка вычисляется по формуле
, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания (см. таблицу выше), Quiz - пятибалльная оценка за контрольные работы, Bonus - показатели работы студента на семинаре (в частности, результаты написания проверочных работ, см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение. Максимальный балл за HomeWork равен 25.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, NOWPress, 2008.
- Koller D., Friedman N. Probabilistic Graphical Models: Principles and Techniques. The MIT Press, 2009.
- Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J. Probabilistic networks and expert systems. Berlin: Springer, 1999.
- Памятка по теории вероятностей
Страницы курса прошлых лет
См. также
Курс «Байесовские методы машинного обучения»
Спецсеминар «Байесовские методы машинного обучения»
Математические методы прогнозирования (кафедра ВМиК МГУ)
Онлайн-курс Стэнфордского университета по вероятностным графическим моделям
