Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2015
Материал из MachineLearning.
(58 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | |||
- | |||
{| | {| | ||
|[[Изображение:BMMO11_Intro.jpg|280px]] | |[[Изображение:BMMO11_Intro.jpg|280px]] | ||
Строка 10: | Строка 8: | ||
Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], | Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], | ||
- | Семинаристы: [[Участник:Kropotov|Д.А. Кропотов]], Е.М. Лобачева. | + | Семинаристы: [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Tipt0p|Е.М. Лобачева]]. |
- | Вопросы и комментарии по курсу | + | '''Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1-ylpe54_guUroHHZmvkypHvq_PNkYAzrl433i7HCrLU/edit?usp=sharing здесь].''' |
+ | |||
+ | Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту '''bayesml@gmail.com'''. В название письма обязательно добавлять тег '''[БММО15]'''. | ||
+ | |||
+ | Формат темы письма: | ||
+ | |||
+ | *'''[БММО15]Вопрос''' — для вопросов; | ||
+ | *'''[БММО15]Практика №, Фамилия Имя, Вариант №''' — для практический заданий (если вариант только один, то его указывать не нужно); | ||
+ | *'''[БММО15]Теория №, Фамилия Имя''' — для домашних заданий. | ||
+ | |||
+ | Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее. | ||
+ | |||
+ | == Экзамен == | ||
+ | Экзамен по курсу состоится 10 января в ауд. 510, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. | ||
+ | |||
+ | [[Media:BMML15_exam_questions.pdf|Вопросы к экзамену]] | ||
== Расписание занятий == | == Расписание занятий == | ||
Строка 23: | Строка 36: | ||
| rowspan=2|4 сентября 2015 || rowspan=2 align="center"|1 || Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» || [[Media:Lecture7_2012.pdf|Конспект (pdf)]] [[Media:BMMO11_2.pdf|Презентация (pdf)]] | | rowspan=2|4 сентября 2015 || rowspan=2 align="center"|1 || Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» || [[Media:Lecture7_2012.pdf|Конспект (pdf)]] [[Media:BMMO11_2.pdf|Презентация (pdf)]] | ||
|- | |- | ||
- | |Семинар «Байесовские рассуждения. Выдача практического задания №1» || | + | |Семинар «Байесовские рассуждения. Выдача практического задания №1» || [[Media:S01_bayesian_reasoning2015.pdf|Задачи (pdf)]] |
|- | |- | ||
| rowspan=2|11 сентября 2015 || rowspan=2 align="center"|2 || Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» || | | rowspan=2|11 сентября 2015 || rowspan=2 align="center"|2 || Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» || | ||
|- | |- | ||
- | |Семинар «Сопряжённые распределения» || | + | |Семинар «Сопряжённые распределения» || [[Media:S02_conjugate_distributions2015.pdf|Задачи (pdf)]] |
|- | |- | ||
| rowspan=2|18 сентября 2015 || rowspan=2 align="center"|3 || Лекция «Байесовский выбор модели» || [[Media:BMMO11_5.pdf|Презентация (pdf)]] | | rowspan=2|18 сентября 2015 || rowspan=2 align="center"|3 || Лекция «Байесовский выбор модели» || [[Media:BMMO11_5.pdf|Презентация (pdf)]] | ||
|- | |- | ||
- | |Семинар «Подсчёт обоснованности моделей» || | + | |Семинар «Подсчёт обоснованности моделей» || [[Media:S03_model_selection2015.pdf|Задачи (pdf)]] |
|- | |- | ||
| rowspan=2|2 октября 2015 || rowspan=2 align="center"|4 || Лекция «Метод релевантных векторов для задачи регрессии» || [[Media:BMMO11_7.pdf|Презентация (pdf)]] | | rowspan=2|2 октября 2015 || rowspan=2 align="center"|4 || Лекция «Метод релевантных векторов для задачи регрессии» || [[Media:BMMO11_7.pdf|Презентация (pdf)]] | ||
Строка 37: | Строка 50: | ||
|Семинар «Матричные вычисления» || [[Media:Matrix-Gauss.pdf|Конспект по матричным вычислениям и нормальному распределению (pdf)]] | |Семинар «Матричные вычисления» || [[Media:Matrix-Gauss.pdf|Конспект по матричным вычислениям и нормальному распределению (pdf)]] | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|16 октября 2015 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Конспект (pdf)]] |
|- | |- | ||
- | |Семинар «Метод релевантных векторов» || | + | |Семинар «Метод релевантных векторов» || [[Media:BMML15_S06_show.pdf|Презентация (pdf)]] |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|23 октября 2015 || rowspan=2 align="center"|6 || Лекция «EM-алгоритм. Байесовский метод главных компонент» || [[Media:BMMO11_11.pdf|Конспект (pdf)]] |
|- | |- | ||
|Семинар «ЕМ-алгоритм» || | |Семинар «ЕМ-алгоритм» || | ||
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|30 октября 2015 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Конспект лекции (pdf)]] [[Media:BMMO11_9.pdf|Конспект (pdf)]] |
|- | |- | ||
- | | Семинар «Вариационный вывод» || | + | | Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи (pdf)]] [[Media:BMML15_S08_show.pdf|Презентация (pdf)]] |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|6 ноября 2015 || rowspan=2 align="center"|8 || Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Конспект (pdf)]] |
|- | |- | ||
|Семинар «Методы MCMC» || | |Семинар «Методы MCMC» || | ||
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|13 ноября 2015 || rowspan=2 align="center"|9 || Лекция «Гауссовские процессы для регрессии и классификации» || |
|- | |- | ||
|Семинар «Гауссовские процессы для регрессии и классификации» || | |Семинар «Гауссовские процессы для регрессии и классификации» || | ||
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|20 ноября 2015 || rowspan=2 align="center"|10 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Конспект (pdf)]] |
|- | |- | ||
|Семинар «Свойства распределения Дирихле. Выдача задания №3» || | |Семинар «Свойства распределения Дирихле. Выдача задания №3» || | ||
|- | |- | ||
- | |rowspan=2| | + | |rowspan=2|27 ноября 2015 || rowspan=2 align="center"|11 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Конспект (pdf)]] |
|- | |- | ||
- | |Семинар «Модификации LDA» || | + | |Семинар «Модификации LDA» || [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья] |
|- | |- | ||
- | | | + | |4 декабря 2015 || align="center"|12 || Лекция «Стохастический вариационный вывод. Вариационный автокодировщик» || [http://jmlr.org/papers/v14/hoffman13a.html Статья 1], [http://arxiv.org/abs/1312.6114 Статья 2] |
|- | |- | ||
- | | | + | |11 декабря 2015 || align="center"|13 || Лекция «Несопряжённый вариационный вывод и вариационный вывод для больших данных» || [http://jmlr.csail.mit.edu/proceedings/papers/v32/titsias14.pdf Статья 1], [https://www.cs.princeton.edu/~blei/papers/BleiLafferty2006.pdf Статья 2] |
|- | |- | ||
|} | |} | ||
+ | |||
+ | == Домашние задания == | ||
+ | |||
+ | Задание 1. [[Media:BMML15_hw1_conjugate_distributions.pdf|Сопряжённые распределения и экспоненциальный класс распределений]]. Срок сдачи — 18 сентября (пятница), 23:59. | ||
+ | |||
+ | Задание 2. [[Media:BMML15_hw2_matrix_calculations.pdf|Матричные вычисления]]. Срок сдачи — 9 октября (пятница), 23:59. | ||
+ | |||
+ | Задание 3. [[Media:BMML15_hw3_variational_inference.pdf|Вариационный вывод]]. Срок сдачи — 6 ноября (пятница), 23:59. | ||
== Практические задания == | == Практические задания == | ||
Строка 77: | Строка 98: | ||
Срок сдачи: 20 сентября (воскресенье), 23:59. | Срок сдачи: 20 сентября (воскресенье), 23:59. | ||
- | Распределение студентов по вариантам: | + | Распределение студентов по вариантам находится на втором листе [https://docs.google.com/spreadsheets/d/1-ylpe54_guUroHHZmvkypHvq_PNkYAzrl433i7HCrLU/edit#gid=1202239276 здесь]. |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | Задание 2. [[Media:BMML15_Assignment2.pdf|ЕМ алгоритм для детектива]] | |
- | + | ||
- | + | Прототипы функций находятся [https://drive.google.com/open?id=0B7TWwiIrcJstcWgxaU5SM3kxMDQ здесь], а текущий набор данных – [https://drive.google.com/open?id=0B7TWwiIrcJstUDRsNDFSYWtkUUE здесь]. | |
- | + | ||
- | + | Срок сдачи: 8 ноября (воскресенье), 23:59. | |
- | + | ||
- | + | Данные будут выкладываться 24, 27, 30 октября и 2, 5 ноября. | |
- | + | ||
- | + | Задание 3. [[Media:BMML15_assignment3.pdf|Процессы Дирихле для кластеризации изображений цифр]] | |
- | + | ||
- | + | Срок сдачи: 13 декабря (воскресенье), 23:59. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
# В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий. | # В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий. | ||
- | |||
# Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны. | # Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны. | ||
+ | # При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно». | ||
# Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов. | # Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов. | ||
# Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока. | # Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока. |
Текущая версия
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели. |
Лектор: Д.П. Ветров,
Семинаристы: Д.А. Кропотов, Е.М. Лобачева.
Таблица с результатами находится здесь.
Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту bayesml@gmail.com. В название письма обязательно добавлять тег [БММО15].
Формат темы письма:
- [БММО15]Вопрос — для вопросов;
- [БММО15]Практика №, Фамилия Имя, Вариант № — для практический заданий (если вариант только один, то его указывать не нужно);
- [БММО15]Теория №, Фамилия Имя — для домашних заданий.
Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее.
Содержание |
Экзамен
Экзамен по курсу состоится 10 января в ауд. 510, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен.
Расписание занятий
В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 510, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
4 сентября 2015 | 1 | Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» | Конспект (pdf) Презентация (pdf) |
Семинар «Байесовские рассуждения. Выдача практического задания №1» | Задачи (pdf) | ||
11 сентября 2015 | 2 | Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» | |
Семинар «Сопряжённые распределения» | Задачи (pdf) | ||
18 сентября 2015 | 3 | Лекция «Байесовский выбор модели» | Презентация (pdf) |
Семинар «Подсчёт обоснованности моделей» | Задачи (pdf) | ||
2 октября 2015 | 4 | Лекция «Метод релевантных векторов для задачи регрессии» | Презентация (pdf) |
Семинар «Матричные вычисления» | Конспект по матричным вычислениям и нормальному распределению (pdf) | ||
16 октября 2015 | 5 | Лекция «Метод релевантных векторов для задачи классификации» | Конспект (pdf) |
Семинар «Метод релевантных векторов» | Презентация (pdf) | ||
23 октября 2015 | 6 | Лекция «EM-алгоритм. Байесовский метод главных компонент» | Конспект (pdf) |
Семинар «ЕМ-алгоритм» | |||
30 октября 2015 | 7 | Лекция «Вариационный вывод» | Конспект лекции (pdf) Конспект (pdf) |
Семинар «Вариационный вывод» | Задачи (pdf) Презентация (pdf) | ||
6 ноября 2015 | 8 | Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» | Конспект (pdf) |
Семинар «Методы MCMC» | |||
13 ноября 2015 | 9 | Лекция «Гауссовские процессы для регрессии и классификации» | |
Семинар «Гауссовские процессы для регрессии и классификации» | |||
20 ноября 2015 | 10 | Лекция «Непараметрические байесовские методы. Процессы Дирихле» | Конспект (pdf) |
Семинар «Свойства распределения Дирихле. Выдача задания №3» | |||
27 ноября 2015 | 11 | Лекция «Латентное размещение Дирихле (LDA)» | Конспект (pdf) |
Семинар «Модификации LDA» | Статья | ||
4 декабря 2015 | 12 | Лекция «Стохастический вариационный вывод. Вариационный автокодировщик» | Статья 1, Статья 2 |
11 декабря 2015 | 13 | Лекция «Несопряжённый вариационный вывод и вариационный вывод для больших данных» | Статья 1, Статья 2 |
Домашние задания
Задание 1. Сопряжённые распределения и экспоненциальный класс распределений. Срок сдачи — 18 сентября (пятница), 23:59.
Задание 2. Матричные вычисления. Срок сдачи — 9 октября (пятница), 23:59.
Задание 3. Вариационный вывод. Срок сдачи — 6 ноября (пятница), 23:59.
Практические задания
Задание 1. Байесовские рассуждения
Срок сдачи: 20 сентября (воскресенье), 23:59.
Распределение студентов по вариантам находится на втором листе здесь.
Задание 2. ЕМ алгоритм для детектива
Прототипы функций находятся здесь, а текущий набор данных – здесь.
Срок сдачи: 8 ноября (воскресенье), 23:59.
Данные будут выкладываться 24, 27, 30 октября и 2, 5 ноября.
Задание 3. Процессы Дирихле для кластеризации изображений цифр
Срок сдачи: 13 декабря (воскресенье), 23:59.
Система выставления оценок по курсу
- В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий.
- Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
- При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов.
- Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
- Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговая оценка вычисляется по формуле , где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям.
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Набор полезных фактов для матричных вычислений
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года
2014 год