Графические модели (курс лекций)/2015
Материал из MachineLearning.
(Новая: __NOTOC__ {{stop|Страница курса находится в стадии формирования}} {|border = "0" | valign="top"|300px | va...) |
(→Оценки по курсу) |
||
(34 промежуточные версии не показаны) | |||
Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
- | |||
- | |||
{|border = "0" | {|border = "0" | ||
| valign="top"|[[Изображение:Mrf.jpg|300px]] | | valign="top"|[[Изображение:Mrf.jpg|300px]] | ||
- | | valign="top"|Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение | + | | valign="top"|Курс посвящен математическим методам обработки информации, основанных на использовании внутренних взаимосвязей в данных и их последующем анализе. Эти методы широко используются при решении задач из разных прикладных областей, включая обработку изображений и видео, анализ социальных сетей, распознавание речи, машинное обучение. |
Целью курса является освоение математического аппарата для работы с графическими моделями. Предполагается, что в результате прохождения курса студенты обретут навыки самостоятельного построения графических моделей для решения задач из различных прикладных областей; будут способны решать задачи настройки параметров графических моделей по данным, определять подходящую структуру графической модели, выбирать методы, наиболее эффективные для работы с построенной моделью; получат опыт применения графических моделей для различных задач анализа изображений, сигналов, сетей. | Целью курса является освоение математического аппарата для работы с графическими моделями. Предполагается, что в результате прохождения курса студенты обретут навыки самостоятельного построения графических моделей для решения задач из различных прикладных областей; будут способны решать задачи настройки параметров графических моделей по данным, определять подходящую структуру графической модели, выбирать методы, наиболее эффективные для работы с построенной моделью; получат опыт применения графических моделей для различных задач анализа изображений, сигналов, сетей. | ||
Строка 12: | Строка 10: | ||
Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], | Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], | ||
- | + | Семинаристы: [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:mfigurnov|М.В. Фигурнов]]. | |
- | + | По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com'', в название письма обязательно добавлять [ГМ15]. | |
- | + | == Экзамен == | |
+ | Экзамен по курсу состоится 17 апреля в ауд. 637, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. | ||
+ | |||
+ | [[Media:GM15_exam_questions.pdf|Вопросы к экзамену + теоретический минимум (pdf)]] | ||
+ | |||
+ | == Практические задания == | ||
+ | |||
+ | Задание 1. [[Media:Gm15_assignment1.pdf|Алгоритм Loopy Belief Propagation для низкоплотностных кодов]]. | ||
+ | |||
+ | Задание 2. [[Media:GM15_assignment2.pdf|Алгоритмы минимизации энергии для задачи склеивания панорам]]. | ||
== Расписание занятий == | == Расписание занятий == | ||
- | В | + | В 2015 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 579, начало в 14-35 (лекция) и 16-20 (семинар). |
{| class="standard" | {| class="standard" | ||
!Дата !! № занятия !! Занятие !! Материалы | !Дата !! № занятия !! Занятие !! Материалы | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|13 февраля 2015 || rowspan=2 align="center"|1 || Лекция «Графические модели: байесовские и марковские сети, примеры применения» || [[Media:GM13_1.pdf|Презентация]] по байесовским рассуждениям и графическим моделям |
|- | |- | ||
- | |Семинар | + | |Семинар «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» || [[Media:GM_applied_tasks.pdf|Презентация]] по практическим задачам |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|20 февраля 2015 || rowspan=2 align="center"|2 || Лекция «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP» || [[Media:SMAIS-2011-BP.pdf|Конспект]] по алгоритмам передачи сообщений |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
|Семинар «Алгоритмы передачи сообщений» || | |Семинар «Алгоритмы передачи сообщений» || | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|27 февраля 2015 || rowspan=2 align="center"|3 || Лекция «Помехоустойчивое кодирование, теорема Шеннона, линейные коды, коды с малой плотностью проверок на чётность» || [http://ru.wikipedia.org/wiki/LDPC LDPC-коды] в Википедии |
|- | |- | ||
|Семинар «Вывод формул для алгоритма декодирования в LDPC-кодах, выдача задания по кодированию» || | |Семинар «Вывод формул для алгоритма декодирования в LDPC-кодах, выдача задания по кодированию» || | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|6 марта 2015 || rowspan=2 align="center"|4 || Лекция «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем и без учителя» || [[Media:GM12_3.pdf|Презентация 1]], [[Media:GM13_em_hmm_unsupervised.pdf|Презентация 2]] |
|- | |- | ||
- | |Семинар | + | |Семинар «Расширения скрытых марковских моделей» || |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|13 марта 2015 || rowspan=2 align="center"|5 || Лекция «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.» || [[Media:LDS.pdf|Конспект по ЛДС]] |
|- | |- | ||
- | |Семинар | + | |Семинар «Вывод формул фильтра Калмана» || |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|20 марта 2015 || rowspan=2 align="center"|6 || Лекция «Алгоритмы на основе разрезов графов, <tex>\alpha</tex>-расширение.» || [[Media:Lecture6.pdf| Презентация]], [[Media:GM_graphCuts.pdf|конспект]] по разрезам графов |
|- | |- | ||
- | |Семинар | + | |Семинар «Алгоритмы разрезов графов» || |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|27 марта 2015 || rowspan=2 align="center"|7 || Лекция «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях» || [[Media:TRW.pdf| Конспект по TRW]] |
- | || [[Media: | + | |
|- | |- | ||
- | | Семинар | + | | Семинар «Двойственное разложение» || |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|3 апреля 2015 || rowspan=2 align="center"|8 || Лекция «Структурный метод опорных векторов (SSVM)» || [[Media:SMAIS11_SSVM.pdf|Конспект по SSVM]] |
|- | |- | ||
- | |Семинар | + | | Семинар «Слабое обучение структурного SVM» || |
|- | |- | ||
- | |rowspan=2| | + | | rowspan=2|10 апреля 2015 || rowspan=2 align="center"|9 || Лекция «Подход Expectation Propagation для приближённого вывода в графических моделях» || [[Media:Yangel_MP.pdf|Методы вывода как алгоритмы передачи сообщений]] |
|- | |- | ||
- | |Семинар | + | | Семинар «Вывод формул EP для различных моделей» || [[Media:Chistyakov_ep_trueskill.pdf|Презентация по TrueSkill]] |
+ | |} | ||
+ | |||
+ | == Оценки по курсу == | ||
+ | |||
+ | {|class = "standard" | ||
+ | ! rowspan=2|№ п/п !! rowspan=2|Студент !! colspan=2|Практические задания !! rowspan=2|Сумма !! rowspan=2|Экзамен !! rowspan=2|Оценка | ||
|- | |- | ||
- | + | ! №1 !! №2 | |
|- | |- | ||
- | | | + | | align="center"|1 || Апишев Мурат || align="center"| <!--З1-->3.9 || align="center"| <!--З2-->7.0 || align="center"| <!--S-->10.9 || align="center"| <!--E-->0 || align="center"| <!--M--> |
|- | |- | ||
- | | | + | | align="center"|2 || Готман Мария || align="center"| <!--З1-->2.3 || align="center"| <!--З2-->4.5 || align="center"| <!--S-->6.8 || align="center"| <!--E-->4 || align="center"| <!--M-->4 |
|- | |- | ||
- | | | + | | align="center"|3 || Дойков Никита || align="center"| <!--З1-->4.7 || align="center"| <!--З2-->4.4 || align="center"| <!--S-->9.1 || align="center"| <!--E-->5 || align="center"| <!--M-->5 |
|- | |- | ||
- | | | + | | align="center"|4 || Козлов Владимир || align="center"| <!--З1-->3.6 || align="center"| <!--З2-->3.7 || align="center"| <!--S-->7.3 || align="center"| <!--E-->5 || align="center"| <!--M-->5 |
|- | |- | ||
- | | | + | | align="center"|5 || Колмаков Евгений || align="center"| <!--З1-->4.1 || align="center"| <!--З2-->4.6 || align="center"| <!--S-->8.7 || align="center"| <!--E-->4 || align="center"| <!--M-->5 |
|- | |- | ||
- | | | + | | align="center"|6 || Корольков Михаил || align="center"| <!--З1--> || align="center"| <!--З2-->3.9 || align="center"| <!--S-->3.9 || align="center"| <!--E-->0 || align="center"| <!--M--> |
|- | |- | ||
- | | | + | | align="center"|7 || Лисяной Александр || align="center"| <!--З1-->3.7 || align="center"| <!--З2-->3.9 || align="center"| <!--S-->7.6 || align="center"| <!--E-->5 || align="center"| <!--M-->5 |
|- | |- | ||
- | |} | + | | align="center"|8 || Лукашкина Юлия || align="center"| <!--З1-->4.4 || align="center"| <!--З2-->7.0 || align="center"| <!--S-->11.4 || align="center"| <!--E-->4 || align="center"| <!--M-->5 |
+ | |- | ||
+ | | align="center"|9 || Ожерельев Илья || align="center"| <!--З1-->2 || align="center"| <!--З2-->4.5 || align="center"| <!--S-->6.5 || align="center"| <!--E-->5 || align="center"| <!--M-->5 | ||
+ | |- | ||
+ | | align="center"|10 || Родоманов Антон || align="center"| <!--З1-->2 || align="center"| <!--З2-->3.8 || align="center"| <!--S-->5.8 || align="center"| <!--E-->5 || align="center"| <!--M-->4 | ||
+ | |- | ||
+ | | align="center"|11 || Сендерович Никита || align="center"| <!--З1-->4.3 || align="center"| <!--З2-->4.4 || align="center"| <!--S-->8.7 || align="center"| <!--E-->5 || align="center"| <!--M-->5 | ||
+ | |- | ||
+ | | align="center"|12 || Славнов Константин || align="center"| <!--З1-->4.6 || align="center"| <!--З2-->6.7 || align="center"| <!--S-->11.3 || align="center"| <!--E-->5 || align="center"| <!--M-->5 | ||
+ | |- | ||
+ | | align="center"|13 || Тюрин Александр || align="center"| <!--З1-->4 || align="center"| <!--З2-->5.0 || align="center"| <!--S-->9 || align="center"| <!--E-->5 || align="center"| <!--M-->5 | ||
+ | |- | ||
+ | | align="center"|14 || Хальман Михаил || align="center"| <!--З1-->1.5 || align="center"| <!--З2-->3.8 || align="center"| <!--S-->5.3 || align="center"| <!--E-->4 || align="center"| <!--M-->4 | ||
+ | |- | ||
+ | | align="center"|15 || Хомутов Никита || align="center"| <!--З1-->3.2 || align="center"| <!--З2-->4.5 || align="center"| <!--S-->7.7 || align="center"| <!--E-->5 || align="center"| <!--M-->5 | ||
+ | |- | ||
+ | | align="center"|16 || Чистяков Александр || align="center"| <!--З1-->3.4 || align="center"| <!--З2-->7.0 || align="center"| <!--S-->10.4 || align="center"| <!--E-->5 || align="center"| <!--M-->5 | ||
+ | |- | ||
+ | | align="center"|17 || Шапулин Андрей || align="center"| <!--З1-->1.8 || align="center"| <!--З2-->4.5 || align="center"| <!--S-->6.3 || align="center"| <!--E-->4 || align="center"| <!--M-->4 | ||
+ | |- | ||
+ | | align="center"|18 || Шарчилев Борис (мехмат) || align="center"| <!--З1-->3.5 || align="center"| <!--З2--> || align="center"| <!--S-->3.5 || align="center"| <!--E--> || align="center"| <!--M--> | ||
+ | |- | ||
+ | |} | ||
- | == | + | == Система выставления оценок по курсу == |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | В рамках курса предполагается два практических задания. Каждое практическое задание оценивается из 5-ти баллов. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
# При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно». | # При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно». | ||
- | # Необходимым условием получения положительной оценки за курс является сдача не менее | + | # Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно». |
- | # | + | # Итоговый балл за курс вычисляется по формуле Homework+2*Oral, где HomeWork — баллы, набранные за задания, а Oral — оценка за устный экзамен (0, 3, 4, 5). Для получения итоговой оценки 5 необходимо набрать 16 баллов, для оценки 4 — 13 баллов, для оценки 3 — 9 баллов. |
- | + | # Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 3 баллов. | |
- | + | ||
- | + | ||
- | + | ||
- | # Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более | + | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
<!-- | <!-- |
Текущая версия
Лектор: Д.П. Ветров,
Семинаристы: Д.А. Кропотов, М.В. Фигурнов.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ГМ15].
Экзамен
Экзамен по курсу состоится 17 апреля в ауд. 637, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами.
Вопросы к экзамену + теоретический минимум (pdf)
Практические задания
Задание 1. Алгоритм Loopy Belief Propagation для низкоплотностных кодов.
Задание 2. Алгоритмы минимизации энергии для задачи склеивания панорам.
Расписание занятий
В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 579, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
13 февраля 2015 | 1 | Лекция «Графические модели: байесовские и марковские сети, примеры применения» | Презентация по байесовским рассуждениям и графическим моделям |
Семинар «Фактор-графы, задачи вывода в ГМ, решение практических задач с помощью ГМ» | Презентация по практическим задачам | ||
20 февраля 2015 | 2 | Лекция «Алгоритм Belief Propagation (BP) для вывода в ациклических графических моделях. Алгоритм Loopy BP» | Конспект по алгоритмам передачи сообщений |
Семинар «Алгоритмы передачи сообщений» | |||
27 февраля 2015 | 3 | Лекция «Помехоустойчивое кодирование, теорема Шеннона, линейные коды, коды с малой плотностью проверок на чётность» | LDPC-коды в Википедии |
Семинар «Вывод формул для алгоритма декодирования в LDPC-кодах, выдача задания по кодированию» | |||
6 марта 2015 | 4 | Лекция «Скрытые марковские модели. Алгоритм сегментации сигнала, обучение с учителем и без учителя» | Презентация 1, Презентация 2 |
Семинар «Расширения скрытых марковских моделей» | |||
13 марта 2015 | 5 | Лекция «Линейные динамические системы. Фильтр Калмана. Расширенный фильтр Калмана.» | Конспект по ЛДС |
Семинар «Вывод формул фильтра Калмана» | |||
20 марта 2015 | 6 | Лекция «Алгоритмы на основе разрезов графов, -расширение.» | Презентация, конспект по разрезам графов |
Семинар «Алгоритмы разрезов графов» | |||
27 марта 2015 | 7 | Лекция «Алгоритм Tree-ReWeighted Message Passing (TRW) для вывода в циклических графических моделях» | Конспект по TRW |
Семинар «Двойственное разложение» | |||
3 апреля 2015 | 8 | Лекция «Структурный метод опорных векторов (SSVM)» | Конспект по SSVM |
Семинар «Слабое обучение структурного SVM» | |||
10 апреля 2015 | 9 | Лекция «Подход Expectation Propagation для приближённого вывода в графических моделях» | Методы вывода как алгоритмы передачи сообщений |
Семинар «Вывод формул EP для различных моделей» | Презентация по TrueSkill |
Оценки по курсу
№ п/п | Студент | Практические задания | Сумма | Экзамен | Оценка | |
---|---|---|---|---|---|---|
№1 | №2 | |||||
1 | Апишев Мурат | 3.9 | 7.0 | 10.9 | 0 | |
2 | Готман Мария | 2.3 | 4.5 | 6.8 | 4 | 4 |
3 | Дойков Никита | 4.7 | 4.4 | 9.1 | 5 | 5 |
4 | Козлов Владимир | 3.6 | 3.7 | 7.3 | 5 | 5 |
5 | Колмаков Евгений | 4.1 | 4.6 | 8.7 | 4 | 5 |
6 | Корольков Михаил | 3.9 | 3.9 | 0 | ||
7 | Лисяной Александр | 3.7 | 3.9 | 7.6 | 5 | 5 |
8 | Лукашкина Юлия | 4.4 | 7.0 | 11.4 | 4 | 5 |
9 | Ожерельев Илья | 2 | 4.5 | 6.5 | 5 | 5 |
10 | Родоманов Антон | 2 | 3.8 | 5.8 | 5 | 4 |
11 | Сендерович Никита | 4.3 | 4.4 | 8.7 | 5 | 5 |
12 | Славнов Константин | 4.6 | 6.7 | 11.3 | 5 | 5 |
13 | Тюрин Александр | 4 | 5.0 | 9 | 5 | 5 |
14 | Хальман Михаил | 1.5 | 3.8 | 5.3 | 4 | 4 |
15 | Хомутов Никита | 3.2 | 4.5 | 7.7 | 5 | 5 |
16 | Чистяков Александр | 3.4 | 7.0 | 10.4 | 5 | 5 |
17 | Шапулин Андрей | 1.8 | 4.5 | 6.3 | 4 | 4 |
18 | Шарчилев Борис (мехмат) | 3.5 | 3.5 |
Система выставления оценок по курсу
В рамках курса предполагается два практических задания. Каждое практическое задание оценивается из 5-ти баллов.
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговый балл за курс вычисляется по формуле Homework+2*Oral, где HomeWork — баллы, набранные за задания, а Oral — оценка за устный экзамен (0, 3, 4, 5). Для получения итоговой оценки 5 необходимо набрать 16 баллов, для оценки 4 — 13 баллов, для оценки 3 — 9 баллов.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 3 баллов.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, NOWPress, 2008.
- Koller D., Friedman N. Probabilistic Graphical Models: Principles and Techniques. The MIT Press, 2009.
- Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J. Probabilistic networks and expert systems. Berlin: Springer, 1999.
- Памятка по теории вероятностей
Страницы курса прошлых лет
См. также
Курс «Байесовские методы машинного обучения»
Спецсеминар «Байесовские методы машинного обучения»
Математические методы прогнозирования (кафедра ВМиК МГУ)
Онлайн-курс Стэнфордского университета по вероятностным графическим моделям