Нейробайесовские методы машинного обучения (курс лекций) / 2018
Материал из MachineLearning.
(→Расписание занятий) |
(→Экзамен) |
||
(11 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
- | Курс посвящен применению байесовских методов в глубинном обучении. | + | Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения. |
'''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]], | '''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]], | ||
- | '''Семинаристы:''' [[Участник:Tipt0p|Екатерина Лобачева]], [[Участник:Кирилл_Струминский|Кирилл Струминский]], Алексей Умнов, Дмитрий Молчанов, Артём Соболев, Дмитрий Подоприхин. | + | '''Семинаристы:''' [[Участник:Tipt0p|Екатерина Лобачева]], [[Участник:Кирилл_Струминский|Кирилл Струминский]], Алексей Умнов, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Дмитрий Подоприхин. |
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com'', в название письма обязательно добавлять [ВМК НБМ18]. | По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com'', в название письма обязательно добавлять [ВМК НБМ18]. | ||
Строка 11: | Строка 11: | ||
== Новости == | == Новости == | ||
- | В | + | '''01.03.18''': Внимание! В ближайшую среду 7 марта будет проведено дополнительное занятие по курсу в ауд. 682. Начало в 14-35 (лекция) и в 16-20 (семинар). |
+ | |||
+ | '''16.04.18''': Выложен список вопросов к экзамену. | ||
+ | |||
+ | == Экзамен == | ||
+ | |||
+ | Экзамен по курсу состоится 25-го апреля в 14:30 в аудитории 682. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен. | ||
+ | |||
+ | [https://drive.google.com/open?id=1SJUZJrMdrBSJkluBO6gsIHEvKFhhTXgm Вопросы к экзамену] | ||
== Практические задания == | == Практические задания == | ||
Строка 26: | Строка 34: | ||
|| 9 февраля 2018 || align="center"| 1 || Лекция «Вводное занятие по библиотеке PyTorch» || - | || 9 февраля 2018 || align="center"| 1 || Лекция «Вводное занятие по библиотеке PyTorch» || - | ||
|- | |- | ||
- | | rowspan=2|16 февраля 2018 || rowspan=2 align="center"| 2 || Лекция «Стохастический вариационный вывод» || - | + | | rowspan=2|16 февраля 2018 || rowspan=2 align="center"| 2 || Лекция «Стохастический вариационный вывод» || [http://jmlr.org/papers/volume14/hoffman13a/hoffman13a.pdf Статья] [https://drive.google.com/open?id=1xpyRGciHP5geqO6FsFPCzIwt48H9j_HU Конспект 1] [https://drive.google.com/file/d/1e7qbQlGu1Bz7gEMNvBJX8FUK2_iBsvgC/view?usp=sharing Конспект 2] |
+ | |- | ||
+ | |Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/open?id=1d9i6gtjh6O9SWWrpspsGyHh2l_l5nPps Конспект 1] [https://drive.google.com/open?id=19liA5y-ohzJVGGcTPpn20VNlwIeLulGl Конспект 2] | ||
+ | |- | ||
+ | | rowspan=2|2 марта 2018 || rowspan=2 align="center"| 3 || Лекция « Дважды стохастический вариационный вывод» || [https://arxiv.org/abs/1401.0118 Статья] [https://drive.google.com/open?id=1XCXER3BBmZEfonck3GtgI51UrYLylpEd Конспект 1] [https://drive.google.com/open?id=1B9FyafFZSQQUs7vmXzjWqkSGX-riydhl Конспект 2] | ||
|- | |- | ||
- | |Семинар | + | |Семинар «Дисперсия стохастических градиентов в примерах» || [https://arxiv.org/abs/1411.2581 Статья] [https://drive.google.com/open?id=1jPSrlZgc_qPS9gag4AFXSKdaOYROrKG9 Конспект] |
|- | |- | ||
- | | rowspan=2| | + | | rowspan=2|7 марта 2018 || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || [https://arxiv.org/abs/1312.6114 Статья] [https://drive.google.com/open?id=1YURVywJtizqD2lUSGRA2qfX_4OempOlt Конспект 1] [https://drive.google.com/open?id=1jcixsZ9tDE50Fl1dCfEvv7JKyrDtkNH8 Конспект 2] |
|- | |- | ||
- | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || | + | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://arxiv.org/abs/1509.00519 Статья] [https://drive.google.com/open?id=1xA7MgD7GcZ1lpIQBPX7ppoap7IJSAUZQ Конспект] |
|- | |- | ||
- | | rowspan=2|16 марта 2018 || rowspan=2 align="center"| | + | | rowspan=2|16 марта 2018 || rowspan=2 align="center"| 5 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» || [https://arxiv.org/abs/1706.04987 Статья] [https://drive.google.com/open?id=1yc8OijEH6HB-Rpo3L9WRBZ-0wr7Hx7cu Конспект] |
|- | |- | ||
- | |Семинар «f-GAN» || | + | |Семинар «f-GAN» || [https://arxiv.org/abs/1606.00709 Статья] [https://drive.google.com/open?id=1nrR5GSwIjt6EFiwMa0nvU0xoZ0V4MJ91 Конспект] |
|- | |- | ||
- | | rowspan=2|23 марта 2018 || rowspan=2 align="center"| | + | | rowspan=2|23 марта 2018 || rowspan=2 align="center"| 6 || Лекция «Байесовские нейронные сети» || [https://arxiv.org/abs/1506.02557 Статья] [https://drive.google.com/open?id=1Xe-jSIGXPD_MKE5TiJu9yZpt5oDOeEbi Конспект] |
|- | |- | ||
- | |Семинар «Локальная репараметризация» || | + | |Семинар «Локальная репараметризация» || [https://drive.google.com/open?id=158ItZIA39JyPj9d0bxU9c3QlqQDGonPn Конспект] |
|- | |- | ||
- | | rowspan=2|30 марта 2018 || rowspan=2 align="center"| | + | | rowspan=2|30 марта 2018 || rowspan=2 align="center"| 7 || Лекция «Байесовское сжатие нейронных сетей» || [https://drive.google.com/open?id=14fnK9PwSH2bEDbhtJs0NDbH1WpgXtot_ Конспект] |
|- | |- | ||
- | |Семинар «Тернарные сети, структурное байесовское разреживание» || | + | |Семинар «Тернарные сети, структурное байесовское разреживание» || [https://drive.google.com/open?id=1bfBhwXCyiZpbjwcAIuhEZ8CKHrSIC48t Конспект] |
|- | |- | ||
- | | rowspan=2|6 апреля 2018 || rowspan=2 align="center"| | + | | rowspan=2|6 апреля 2018 || rowspan=2 align="center"| 8 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || rowspan=2 | [https://drive.google.com/open?id=1SQBrPU5kz1zRizJ3ZxrnrK3JQawul5Mn Конспект] |
|- | |- | ||
- | |Семинар «Обобщенная репараметризация, REBAR, RELAX» | + | |Семинар «Обобщенная репараметризация, REBAR, RELAX» |
|- | |- | ||
|} | |} |
Текущая версия
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Лектор: Д.П. Ветров,
Семинаристы: Екатерина Лобачева, Кирилл Струминский, Алексей Умнов, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Дмитрий Подоприхин.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ВМК НБМ18].
Новости
01.03.18: Внимание! В ближайшую среду 7 марта будет проведено дополнительное занятие по курсу в ауд. 682. Начало в 14-35 (лекция) и в 16-20 (семинар).
16.04.18: Выложен список вопросов к экзамену.
Экзамен
Экзамен по курсу состоится 25-го апреля в 14:30 в аудитории 682. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен.
Практические задания
Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.
Расписание занятий
В 2018 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
9 февраля 2018 | 1 | Лекция «Вводное занятие по библиотеке PyTorch» | - |
16 февраля 2018 | 2 | Лекция «Стохастический вариационный вывод» | Статья Конспект 1 Конспект 2 |
Семинар «Применение SVI на примере масштабируемых тематических моделей» | Конспект 1 Конспект 2 | ||
2 марта 2018 | 3 | Лекция « Дважды стохастический вариационный вывод» | Статья Конспект 1 Конспект 2 |
Семинар «Дисперсия стохастических градиентов в примерах» | Статья Конспект | ||
7 марта 2018 | 4 | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | Статья Конспект 1 Конспект 2 |
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | Статья Конспект | ||
16 марта 2018 | 5 | Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» | Статья Конспект |
Семинар «f-GAN» | Статья Конспект | ||
23 марта 2018 | 6 | Лекция «Байесовские нейронные сети» | Статья Конспект |
Семинар «Локальная репараметризация» | Конспект | ||
30 марта 2018 | 7 | Лекция «Байесовское сжатие нейронных сетей» | Конспект |
Семинар «Тернарные сети, структурное байесовское разреживание» | Конспект | ||
6 апреля 2018 | 8 | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» | Конспект |
Семинар «Обобщенная репараметризация, REBAR, RELAX» |
Система выставления оценок по курсу
В рамках курса предполагается два практических задания. Каждое задание оценивается из 10-ти баллов.
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговый балл за курс вычисляется по формуле 0.25*<Оценка_за_задание_1> + 0.25*<Оценка_за_задание_2> + 0.5*<Оценка_за_экзамен> с округлением в большую сторону.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.3 балла в день, но не более 6 баллов.
Литература
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- "Ian Goodfellow and Yoshua Bengio and Aaron Courville" Deep Learning. MIT Press, 2016.