Графические модели (курс лекций)
Материал из MachineLearning.
(Различия между версиями)
(оценки Любимцевой) |
м (→Расписание занятий) |
||
| Строка 29: | Строка 29: | ||
|15 февраля 2013 || Лекция 2 «Графические модели: байесовские и марковские сети» | |15 февраля 2013 || Лекция 2 «Графические модели: байесовские и марковские сети» | ||
|- | |- | ||
| - | |22 февраля 2013 || Семинар 2 «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» || | + | |22 февраля 2013 || Семинар 2 «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» || [[Media:GM_applied_tasks.pdf|Презентация (pdf)]] |
|- | |- | ||
|22 февраля 2013 || Лекция 3 «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP.» || [[Media:SMAIS-2011-BP.pdf|Конспект по алгоритмам передачи сообщений (pdf)]] | |22 февраля 2013 || Лекция 3 «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP.» || [[Media:SMAIS-2011-BP.pdf|Конспект по алгоритмам передачи сообщений (pdf)]] | ||
Версия 16:30, 6 июня 2013
| Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение. До 2011 года курс читался как спецкурс «Структурные методы анализа изображений и сигналов».
Целью курса является освоение математического аппарата для работы с графическими моделями. Предполагается, что в результате прохождения курса студенты обретут навыки самостоятельного построения графических моделей для решения задач из различных прикладных областей; будут способны решать задачи настройки параметров графических моделей по данным, определять подходящую структуру графической модели, выбирать методы, наиболее эффективные для работы с построенной моделью; получат опыт применения графических моделей для различных задач анализа изображений, сигналов, сетей. |
Лектор: Д.П. Ветров,
Семинарист: А.А. Осокин,
Ассистент: Д.А. Кропотов.
Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [ГМ13].
Расписание занятий
В 2013 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 12-50 и в 16-20.
| Дата | Занятие | Материалы |
|---|---|---|
| 8 февраля 2013 | Лекция 1 «Введение в курс. Байесовские рассуждения.» | Презентация (pdf) по байесовским рассуждениям и графическим моделям |
| 15 февраля 2013 | Семинар 1 «Правила работы с вероятностями, байесовские рассуждения.» | |
| 15 февраля 2013 | Лекция 2 «Графические модели: байесовские и марковские сети» | |
| 22 февраля 2013 | Семинар 2 «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» | Презентация (pdf) |
| 22 февраля 2013 | Лекция 3 «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP.» | Конспект по алгоритмам передачи сообщений (pdf) |
| 1 марта 2013 | Семинар 3 «Алгоритмы передачи сообщений. Коды с малой плотностью проверок на чётность (LDPC-коды)» | LDPC-коды в Википедии |
| 1 марта 2013 | Лекция 4 «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем.» | Презентация (pdf) |
| 15 марта 2013 | Семинар 4 «Скрытые марковские модели» | |
| 15 марта 2013 | Лекция 5 «ЕМ-алгоритм. Обучение скрытых марковских моделей без учителя.» | Презентация (pdf) |
| 22 марта 2013 | Семинар 5 «Матричные вычисления» | Конспект по матричным вычислениям и нормальному распределению (pdf) |
| 22 марта 2013 | Лекция 6 «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.» | Конспект по ЛДС (pdf) |
| 29 марта 2013 | Семинар 6 «Контрольная по матричным вычислениям. ЕМ-алгоритм» | |
| 29 марта 2013 | Лекция 7 «Алгоритмы на основе разрезов графов, | Презентация (pdf) |
| 5 апреля 2013 | Семинар 7 «Алгоритмы разрезов графов» | |
| 5 апреля 2013 | Лекция 8 «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях» | Конспект по TRW (pdf) |
| 12 апреля 2013 | Семинар 8 «Двойственное разложение» | |
| 12 апреля 2013 | Лекция 9 «Структурный метод опорных векторов (SSVM)» | Конспект по SSVM (pdf) |
| 19 апреля 2013 | Семинар 9 «Разбор практического задания по SSVM» | |
| 19 апреля 2013 | Лекция 10 «Методы Монте Карло по схеме марковских цепей (MCMC)» | |
| 26 апреля 2013 | Лекция 11 «Вариационный вывод» | Конспект по вариационному выводу (pdf) |
| 26 апреля 2013 | Семинар 10 «Методы MCMC и вариационный вывод» | |
| 17 мая 2013 | Семинар 11 «Контрольная по вариационному выводу» | |
| 17 мая 2013 | Лекция 12 «Байесовский подход для выбора графической модели» |
Практические задания
Задание 1. «Байесовские рассуждения».
Задание 2. «Алгоритм Loopy Belief Propagation для LDPC-кодов».
Задание 3. «Авторегрессионная скрытая марковская модель для сегментации сигналов».
Задание 4. «Алгоритмы минимизации энергии для задачи стерео».
Задание 5. «Структурное обучение».
Задание 6. «Модель Изинга».
Домашние задания
Задание 1. Матричные вычисления (pdf)
Задание 2. Вариационный вывод (pdf)
Оценки по курсу
| № п/п | Студент | Практические задания (макс.балл) | Контрольные (макс.балл) | Семинары | Сумма | Экзамен | Оценка | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| №1(3) | №2(4) | №3(3) | №4(4) | №5(6) | №6(5) | №1(2.5) | №2(2.5) | №2 | №3 | №4 | №6 | №10 | |||||
| 1 | Березин Алексей | 2.8 | 3.8 | 1.2 | 0.83 | 0 | 0.5 | 0 | |||||||||
| 2 | Борисов Михаил | -0.4 | - | 0.83 | - | - | -0.5 | ||||||||||
| 3 | Гавриков Михаил | 2.4 | 3.5 | 3.3 | 0.83 | 1.67 | 1 | 1 | |||||||||
| 4 | Зак Евгений | 2.5 | 2.0 | 0 | 0 | - | 0 | ||||||||||
| 5 | Исмагилов Тимур | 2.4 | - | 0.83 | - | 0.5 | 0.5 | 0.5 | |||||||||
| 6 | Кондрашкин Дмитрий | 3 | 4.0 | 4.2 | 6.5 | 1.25 | 2.5 | 0.5 | 0.5 | 0.5 | |||||||
| 7 | Куракин Александр | 2.5 | 2.1 | 0 | - | 0 | 0 | ||||||||||
| 8 | Лобачева Екатерина | 3 | 3.9 | 3.8 | 5.1 | 2.5 | 0 | 0.5 | 1 | ||||||||
| 9 | Любимцева Мария | 3 | 3.9 | 1.4 | 3.9 | 0.83 | 1.88 | 0 | 0 | ||||||||
| 10 | Малышева Екатерина | 3 | 4.0 | 3.6 | 5.8 | 1.67 | 1.88 | 0 | 0 | ||||||||
| 11 | Морозова Дарья | - | - | 0 | 0.42 | 0 | 0 | ||||||||||
| 12 | Нижибицкий Евгений | 3 | 4.0 | 3.8 | 6.5 | 1.67 | 0 | 0 | 1 | 0.5 | |||||||
| 13 | Новиков Максим | 2.5 | 2.9 | 0 | 0 | 0 | 0.5 | ||||||||||
| 14 | Огнева Дарья | 2.6 | - | 1.67 | 0.42 | 0.5 | 1 | ||||||||||
| 15 | Остапец Андрей | 2.8 | 3.4 | 3.5 | 4.5 | 0 | 0 | 0.5 | 0 | ||||||||
| 16 | Потапенко Анна | 3 | 3.8 | 4.2 | 7 | 1.67 | 1.46 | - | 0 | ||||||||
| 17 | Ромов Петр | - | - | 1.67 | 0.83 | - | 0 | -0.5 | |||||||||
| 18 | Фонарев Александр | 1.7 | - | 2.5 | 0.42 | 0 | - | -0.5 | |||||||||
| 19 | Шаймарданов Ильдар | 2.9 | 3.3 | 2.5 | - | 1 | - | ||||||||||
Система выставления оценок по курсу
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговая оценка вычисляется по формуле
, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания (см. таблицу выше), Quiz - пятибалльная оценка за контрольные работы, Bonus - показатели работы студента на семинаре (в частности, результаты написания проверочных работ, см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение. Максимальный балл за HomeWork равен 25.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, NOWPress, 2008.
- Koller D., Friedman N. Probabilistic Graphical Models: Principles and Techniques. The MIT Press, 2009.
- Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J. Probabilistic networks and expert systems. Berlin: Springer, 1999.
- Памятка по теории вероятностей
Страницы курса прошлых лет
См. также
Курс «Байесовские методы машинного обучения»
Спецсеминар «Байесовские методы машинного обучения»
Математические методы прогнозирования (кафедра ВМиК МГУ)
Онлайн-курс Стэнфордского университета по вероятностным графическим моделям
