Байесовские методы машинного обучения (курс лекций) / 2017
Материал из MachineLearning.
(Новая: {| |280px | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач...) |
|||
(6 промежуточных версий не показаны.) | |||
Строка 15: | Строка 15: | ||
Приём заданий по курсу осуществляется в системе anytask.org. Для получения инвайта по курсу просьба писать на почту курса. | Приём заданий по курсу осуществляется в системе anytask.org. Для получения инвайта по курсу просьба писать на почту курса. | ||
+ | |||
+ | Все практические задания и лабораторные сдаются на Python 3. | ||
+ | |||
+ | ==Экзамен== | ||
+ | На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен. | ||
+ | |||
+ | [https://drive.google.com/file/d/1cwe9PFNO_2o-c5QIAS-EFADLGnR2uub9/view?usp=sharing Вопросы к экзамену] | ||
== Расписание занятий == | == Расписание занятий == | ||
Строка 47: | Строка 54: | ||
|Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016_presentation.pdf Презентация] | |Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016_presentation.pdf Презентация] | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|27 октября 2017 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Конспект лекции (pdf)]] [[Media:BMMO11_9.pdf|Конспект (pdf)]] |
|- | |- | ||
| Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи (pdf)]] | | Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи (pdf)]] | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|3 ноября 2017 || rowspan=2 align="center"|8 || Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Конспект (pdf)]] |
|- | |- | ||
|Семинар «Методы MCMC» || [[Media:BMMO8_2.pdf|Конспект (pdf)]] | |Семинар «Методы MCMC» || [[Media:BMMO8_2.pdf|Конспект (pdf)]] | ||
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|10 ноября 2017 || rowspan=2 align="center"|9 || Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» || |
|- | |- | ||
- | |Семинар «Гибридный метод Монте-Карло» || | + | |Семинар «Гибридный метод Монте-Карло» || [[Медиа:S09_HMC.pdf | Задачи (pdf) ]] |
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|17 ноября 2017 || rowspan=2 align="center"|10 || Лекция «Гауссовские процессы для регрессии и классификации» || |
|- | |- | ||
|Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_show_BMML16.pdf|Презентация]] [[Media:S11_GP_BMML16.pdf|Задачи]] | |Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_show_BMML16.pdf|Презентация]] [[Media:S11_GP_BMML16.pdf|Задачи]] | ||
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|24 ноября 2017 || rowspan=2 align="center"|11 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Конспект (pdf)]] |
|- | |- | ||
|Семинар «Свойства распределения Дирихле» || [[Media:BMMO10_2.pdf|Конспект (pdf)]] | |Семинар «Свойства распределения Дирихле» || [[Media:BMMO10_2.pdf|Конспект (pdf)]] | ||
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|1 декабря 2017 || rowspan=2 align="center"|12 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Конспект (pdf)]] |
|- | |- | ||
|Семинар «Модификации LDA» || [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP] | |Семинар «Модификации LDA» || [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP] | ||
- | |||
- | |||
|- | |- | ||
|} | |} |
Текущая версия
![]() | Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели. |
Лектор: Д.П. Ветров,
Семинаристы: К. Струминский, Т. Гарипов
Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту bayesml@gmail.com. В название письма обязательно добавлять тег [БММО17].
Содержание |
Домашние задания
Приём заданий по курсу осуществляется в системе anytask.org. Для получения инвайта по курсу просьба писать на почту курса.
Все практические задания и лабораторные сдаются на Python 3.
Экзамен
На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен.
Расписание занятий
В 2017 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 607, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
8 сентября 2017 | 1 | Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» | Конспект (pdf) Презентация (pdf) |
Семинар «Байесовские рассуждения. Выдача практического задания №1» | Задачи (pdf) | ||
15 сентября 2017 | 2 | Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» | |
Семинар «Сопряжённые распределения» | Задачи (pdf) | ||
22 сентября 2017 | 3 | Лекция «Байесовский выбор модели» | Презентация (pdf) |
Семинар «Подсчёт обоснованности моделей» | Задачи (pdf) Формулы (pdf) | ||
29 сентября 2017 | 4 | Лекция «Метод релевантных векторов для задачи регрессии» | Презентация (pdf) |
Семинар «Матричные вычисления» | Задачи на семинаре с разбором(pdf) | ||
6 октября 2017 | 5 | Лекция «Метод релевантных векторов для задачи классификации» | Конспект (pdf) |
Семинар «Метод релевантных векторов» | Задачи Презентация Доказательство тождества Вудбери Доказательство тождества об определителе | ||
13 октября 2017 | 6 | Лекция «EM-алгоритм. Байесовский метод главных компонент» | Конспект (pdf) |
Семинар «ЕМ-алгоритм» | Задачи Презентация | ||
27 октября 2017 | 7 | Лекция «Вариационный вывод» | Конспект лекции (pdf) Конспект (pdf) |
Семинар «Вариационный вывод» | Задачи (pdf) | ||
3 ноября 2017 | 8 | Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)» | Конспект (pdf) |
Семинар «Методы MCMC» | Конспект (pdf) | ||
10 ноября 2017 | 9 | Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации» | |
Семинар «Гибридный метод Монте-Карло» | Задачи (pdf) | ||
17 ноября 2017 | 10 | Лекция «Гауссовские процессы для регрессии и классификации» | |
Семинар «Гауссовские процессы для регрессии и классификации» | Презентация Задачи | ||
24 ноября 2017 | 11 | Лекция «Непараметрические байесовские методы. Процессы Дирихле» | Конспект (pdf) |
Семинар «Свойства распределения Дирихле» | Конспект (pdf) | ||
1 декабря 2017 | 12 | Лекция «Латентное размещение Дирихле (LDA)» | Конспект (pdf) |
Семинар «Модификации LDA» | Статья по HDP |
Система выставления оценок по курсу
- В рамках курса предполагается выполнение двух практических заданий, четырех лабораторных работ и трёх теоретических заданий.
- Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
- Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов.
- Домашние задания и лабораторные работы оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
- Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание, одно теоретическое задание и две лабораторных работы.
- Необходимым условием получения положительной оценки за курс является сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговая оценка вычисляется по формуле
, где E — оценка за устный экзамен, P — средний балл, набранный за практические задания, T -- средний балл, набранный за теоретические задания, L -- средний балл, набранный за лабораторные работы, Mark — итоговая оценка по 10-балльной шкале. Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить оценку E.
- Если на экзамене итоговая оценка оказывается ниже 4 баллов, студент отправляется на пересдачу. При этом оценка E, полученная на пересдаче, добавляется к положительной (три и выше) оценке E, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки E не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку E может сдаваться до сдачи всех заданий (оценки E в этом случае не суммируются).
- Экзамен на оценку E сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Набор полезных фактов для матричных вычислений
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года
2014 год
2015 год
2016 год