Нейробайесовские методы машинного обучения (курс лекций) / 2020
Материал из MachineLearning.
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Лектор: Д.П. Ветров
Семинаристы: Кирилл Струминский, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Артем Гадецкий, Айбек Аланов.
Куратор: Александр Гришин
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ20]. Письма без данного тега с большой вероятностью будут утеряны.
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
Новости
Система выставления оценок по курсу
В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.
- Необходимым условием получения оценки 4/6/8 или выше является сдача не менее 1/2/3 практических заданий и сдача экзамена на положительную оценку.
- Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10
- Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
- Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DLV).
- Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
Практические задания
- В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables.
- Приём заданий по курсу осуществляется в системе anytask.
- Все задания сдаются на Python 3 с использованием PyTorch.
- Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
- Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.
Примерные даты выдачи заданий: 28 Февраля, 6 Марта, 20 Марта, 3 Апреля
Дата жесткого дедлайна по всем заданиям: TBA
Экзамен
Формат и дата экзамена TBA
Расписание занятий
В 2020 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
| Дата | № занятия | Занятие |
|---|---|---|
| 14 февраля | 1 | Лекция «Стохастический вариационный вывод (SVI)» |
| Семинар «Применение SVI на примере масштабируемых тематических моделей» | ||
| 21 февраля | 2 | Лекция « Дважды стохастический вариационный вывод» |
| Семинар «Дисперсия стохастических градиентов в примерах» | ||
| 28 февраля | 3 | Лекция «Байесовские нейронные сети» |
| Семинар «TBA» | ||
| 6 марта | 4 | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» |
| Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | ||
| 13 марта | 5 | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» |
| Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | ||
| 20 марта | 6 | Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» |
| Семинар «f-GAN» | ||
| 27 марта | 7 | Лекция «Semi-Implicit Variational Inference (SIVI)» |
| Семинар «Semi-Implicit Variational Inference (SIVI)» | ||
| 3 апреля | 8 | Лекция «Deep Markov chain Monte Carlo (MCMC)» |
| Семинар «Deep Markov chain Monte Carlo (MCMC)» |
Материалы
Обновляемый список материалов (статей и т.п.)
Папка с конспектами прошлогодних лекций/семинаров
Natural gradient, Fisher Information matrix, VI by Artem Sobolev
Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!
Литература
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.
