Нейробайесовские методы машинного обучения (курс лекций) / 2019
Материал из MachineLearning.
(→Расписание занятий) |
(→Практические задания) |
||
(13 промежуточных версий не показаны.) | |||
Строка 6: | Строка 6: | ||
'''Семинаристы:''' Александр Гришин, [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, [[Участник:Tipt0p|Екатерина Лобачева]]. | '''Семинаристы:''' Александр Гришин, [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, [[Участник:Tipt0p|Екатерина Лобачева]]. | ||
- | По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК | + | По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ19]'''. Письма без данного тега с большой вероятностью будут утеряны. |
- | Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса. | + | Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса. |
== Новости == | == Новости == | ||
+ | '''01.03.19''' Выложена формулировка первого задания. Срок сдачи - '''15 марта 23:00'''. | ||
+ | |||
+ | '''16.03.19''' Выложена формулировка второго задания. Срок сдачи - '''29 марта 23:00'''. | ||
+ | |||
+ | '''29.03.19''' Выложена формулировка третьего задания. Срок сдачи - '''12 апреля 23:00'''. | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
Строка 32: | Строка 37: | ||
Примерные даты выдачи заданий: 1 марта, 1 марта, 29 марта | Примерные даты выдачи заданий: 1 марта, 1 марта, 29 марта | ||
- | + | Дата жесткого дедлайна по всем заданиям: 19 апреля, 23:00. | |
+ | |||
+ | == Экзамен == | ||
+ | |||
+ | Экзамен состоится 27 апреля. Точное время и место будет объявлено позднее. | ||
+ | |||
+ | [https://docs.google.com/document/d/14vAUpd2gKpr7zZYdGCLV0fRzJM8vv1D8mPvxGZ_FfcE/edit?usp=sharing Список вопросов к экзамену] | ||
== Расписание занятий == | == Расписание занятий == | ||
В 2019 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 605, начало в 14-35 (лекция) и 16-20 (семинар). | В 2019 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 605, начало в 14-35 (лекция) и 16-20 (семинар). | ||
+ | |||
+ | Два первых занятия (15 и 22 февраля) пройдут в ауд. 526б. | ||
{| class="standard" | {| class="standard" | ||
- | !Дата !! № занятия !! Занятие | + | !Дата !! № занятия !! Занятие |
|- | |- | ||
- | | rowspan=2|15 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод» | + | | rowspan=2|15 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод» |
|- | |- | ||
- | |Семинар «Применение SVI на примере масштабируемых тематических моделей» | + | |Семинар «Применение SVI на примере масштабируемых тематических моделей» |
|- | |- | ||
- | | rowspan=2|22 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» | + | | rowspan=2|22 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» |
|- | |- | ||
- | |Семинар «Дисперсия стохастических градиентов в примерах» | + | |Семинар «Дисперсия стохастических градиентов в примерах» |
|- | |- | ||
- | | rowspan=2|1 марта || rowspan=2 align="center"| 3 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | + | | rowspan=2|1 марта || rowspan=2 align="center"| 3 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» |
|- | |- | ||
- | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | + | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» |
|- | |- | ||
- | | rowspan=2|15 марта || rowspan=2 align="center"| 4 || Лекция | + | | rowspan=2|15 марта || rowspan=2 align="center"| 4 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» |
|- | |- | ||
- | |Семинар | + | |Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» |
|- | |- | ||
- | | rowspan=2|22 марта || rowspan=2 align="center"| 5 || Лекция | + | | rowspan=2|22 марта || rowspan=2 align="center"| 5 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» |
|- | |- | ||
- | |Семинар | + | |Семинар «f-GAN» |
|- | |- | ||
- | | rowspan=2|29 марта || rowspan=2 align="center"| 6 || Лекция | + | | rowspan=2|29 марта || rowspan=2 align="center"| 6 || Лекция «Байесовские нейронные сети» |
|- | |- | ||
- | |Семинар | + | |Семинар «Локальная репараметризация» |
|- | |- | ||
- | | rowspan=2|5 апреля || rowspan=2 align="center"| 7 || Лекция | + | | rowspan=2|5 апреля || rowspan=2 align="center"| 7 || Лекция «Байесовское сжатие нейронных сетей» |
|- | |- | ||
- | |Семинар | + | |Семинар «Deep Markov chain Monte Carlo (MCMC)» |
|- | |- | ||
- | | rowspan=2|12 апреля || rowspan=2 align="center"| 8 || Лекция «Полунеявный вариационный вывод» | + | | rowspan=2|12 апреля || rowspan=2 align="center"| 8 || Лекция «Полунеявный вариационный вывод» |
|- | |- | ||
|Семинар «VampPrior» | |Семинар «VampPrior» | ||
|- | |- | ||
|} | |} | ||
+ | |||
+ | == Материалы == | ||
+ | |||
+ | [https://docs.google.com/document/d/1Mqzo89OeX5gteQ9qYF5rhz6Ap00JQEyoiq2WKo54vA8/edit?usp=sharing Обновляемый список материалов (статей и т.п.)] | ||
+ | |||
+ | [https://drive.google.com/drive/folders/1rEbRC6n6WL51GHPwje-pDw89jpYB9hE5?usp=sharing Папка с конспектами прошлогодних лекций/семинаров] | ||
'''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности! | '''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности! | ||
Строка 89: | Строка 108: | ||
[[Бммо|Курс «Байесовские методы машинного обучения»]] | [[Бммо|Курс «Байесовские методы машинного обучения»]] | ||
+ | |||
+ | [[Математические методы прогнозирования (кафедра ВМиК МГУ)]] | ||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] | ||
[[Категория:Байесовские методы]] | [[Категория:Байесовские методы]] |
Текущая версия
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Лектор: Д.П. Ветров,
Семинаристы: Александр Гришин, Кирилл Струминский, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Екатерина Лобачева.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ19]. Письма без данного тега с большой вероятностью будут утеряны.
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
Новости
01.03.19 Выложена формулировка первого задания. Срок сдачи - 15 марта 23:00.
16.03.19 Выложена формулировка второго задания. Срок сдачи - 29 марта 23:00.
29.03.19 Выложена формулировка третьего задания. Срок сдачи - 12 апреля 23:00.
Система выставления оценок по курсу
В рамках курса предполагается выполнение трех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.
- Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Необходимым условием получения оценки выше «удовлетворительно» является сдача не менее двух практических заданий.
- Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
- Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
Практические задания
- В рамках курса предполагается выполнение трех практических заданий на следующие темы: VAE, Normalizing flows, Sparse Variational Dropout.
- Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.
- Все задания сдаются на Python 3 с использованием PyTorch.
- Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
- Все задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. В среднем на выполнение каждого задания будет даваться 2 недели. В некоторых заданиях будут бонусные пункты.
Примерные даты выдачи заданий: 1 марта, 1 марта, 29 марта
Дата жесткого дедлайна по всем заданиям: 19 апреля, 23:00.
Экзамен
Экзамен состоится 27 апреля. Точное время и место будет объявлено позднее.
Расписание занятий
В 2019 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 605, начало в 14-35 (лекция) и 16-20 (семинар).
Два первых занятия (15 и 22 февраля) пройдут в ауд. 526б.
Дата | № занятия | Занятие |
---|---|---|
15 февраля | 1 | Лекция «Стохастический вариационный вывод» |
Семинар «Применение SVI на примере масштабируемых тематических моделей» | ||
22 февраля | 2 | Лекция « Дважды стохастический вариационный вывод» |
Семинар «Дисперсия стохастических градиентов в примерах» | ||
1 марта | 3 | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» |
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | ||
15 марта | 4 | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» |
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | ||
22 марта | 5 | Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» |
Семинар «f-GAN» | ||
29 марта | 6 | Лекция «Байесовские нейронные сети» |
Семинар «Локальная репараметризация» | ||
5 апреля | 7 | Лекция «Байесовское сжатие нейронных сетей» |
Семинар «Deep Markov chain Monte Carlo (MCMC)» | ||
12 апреля | 8 | Лекция «Полунеявный вариационный вывод» |
Семинар «VampPrior» |
Материалы
Обновляемый список материалов (статей и т.п.)
Папка с конспектами прошлогодних лекций/семинаров
Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!
Литература
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.
Список релевантных статей можно найти в англоязычной программе аналогичного курса.