Нейробайесовские методы машинного обучения (курс лекций) / 2020
Материал из MachineLearning.
(Различия между версиями)
(→Расписание занятий: Update lection and seminar 7 names) |
|||
| Строка 4: | Строка 4: | ||
'''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]] | '''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]] | ||
| - | '''Семинаристы:''' | + | '''Семинаристы:''' Кирилл Струминский, Арсений Ашуха, Олег Иванов, Оганесян Виктор, Денис Ракитин, Максим Кодрян, Тимофей Южаков |
| + | |||
| + | '''Ассистенты:''' Никита Юдин, Александр Марков, Никита Бондарцев, Денис Ракитин, Максим Коломиец | ||
'''Куратор:''' [[Участник:Alexgr1|Александр Гришин]] | '''Куратор:''' [[Участник:Alexgr1|Александр Гришин]] | ||
| - | По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК | + | По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ22]'''. Письма без данного тега с большой вероятностью будут утеряны. |
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса. | Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса. | ||
| - | |||
| - | |||
| - | |||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
| Строка 22: | Строка 21: | ||
* Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10 | * Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10 | ||
* Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически. | * Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически. | ||
| - | * Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing | + | * Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing Flows, VAE, и Diffusion Models) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DM). |
* Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6). | * Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6). | ||
| Строка 33: | Строка 32: | ||
* Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты. | * Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты. | ||
| - | Примерные даты выдачи заданий: | + | Примерные даты выдачи заданий: 23 Февраля, 2 Марта, 9 Марта, 23 Марта |
Дата жесткого дедлайна по всем заданиям: TBA | Дата жесткого дедлайна по всем заданиям: TBA | ||
| Строка 43: | Строка 42: | ||
== Расписание занятий == | == Расписание занятий == | ||
| - | |||
{| class="standard" | {| class="standard" | ||
| Строка 58: | Строка 56: | ||
| rowspan=2|28 февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети» | | rowspan=2|28 февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети» | ||
|- | |- | ||
| - | |Семинар | + | |Семинар «Вариационный дропаут, трюк репараметризации» |
|- | |- | ||
| rowspan=2|6 марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | | rowspan=2|6 марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | ||
| Строка 68: | Строка 66: | ||
|Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | |Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | ||
|- | |- | ||
| - | | rowspan=2|20 марта || rowspan=2 align="center"| 6 || Лекция | + | | rowspan=2|20 марта || rowspan=2 align="center"| 6 || Лекция «Диффузионные модели I» |
|- | |- | ||
| - | |Семинар | + | |Семинар «Диффузионные модели I» |
|- | |- | ||
| - | | rowspan=2|27 марта || rowspan=2 align="center"| 7 || Лекция | + | | rowspan=2|27 марта || rowspan=2 align="center"| 7 || Лекция «Диффузионные модели II» |
|- | |- | ||
| - | |Семинар | + | |Семинар «Диффузионные модели II» |
|- | |- | ||
| - | | rowspan=2|3 апреля || rowspan=2 align="center"| 8 || Лекция | + | | rowspan=2|3 апреля || rowspan=2 align="center"| 8 || Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» |
|- | |- | ||
|Семинар «Deep Markov chain Monte Carlo (MCMC)» | |Семинар «Deep Markov chain Monte Carlo (MCMC)» | ||
| Строка 84: | Строка 82: | ||
== Материалы == | == Материалы == | ||
| - | [https://docs.google.com/document/d/1Mqzo89OeX5gteQ9qYF5rhz6Ap00JQEyoiq2WKo54vA8/edit?usp=sharing | + | [https://docs.google.com/document/d/1Mqzo89OeX5gteQ9qYF5rhz6Ap00JQEyoiq2WKo54vA8/edit?usp=sharing Cписок материалов (статей и т.п.)] |
| - | [https://drive.google.com/drive/folders/1rEbRC6n6WL51GHPwje-pDw89jpYB9hE5?usp=sharing Папка с конспектами | + | [https://drive.google.com/drive/folders/1rEbRC6n6WL51GHPwje-pDw89jpYB9hE5?usp=sharing Папка с конспектами лекций/семинаров] |
| - | + | ||
| - | + | ||
'''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности! | '''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности! | ||
| Строка 102: | Строка 98: | ||
[[Бммо|Курс «Байесовские методы машинного обучения»]] | [[Бммо|Курс «Байесовские методы машинного обучения»]] | ||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
Версия 13:18, 10 апреля 2022
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Лектор: Д.П. Ветров
Семинаристы: Кирилл Струминский, Арсений Ашуха, Олег Иванов, Оганесян Виктор, Денис Ракитин, Максим Кодрян, Тимофей Южаков
Ассистенты: Никита Юдин, Александр Марков, Никита Бондарцев, Денис Ракитин, Максим Коломиец
Куратор: Александр Гришин
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ22]. Письма без данного тега с большой вероятностью будут утеряны.
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
Система выставления оценок по курсу
В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.
- Необходимым условием получения оценки 4/6/8 или выше является сдача не менее 1/2/3 практических заданий и сдача экзамена на положительную оценку.
- Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10
- Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
- Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing Flows, VAE, и Diffusion Models) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DM).
- Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
Практические задания
- В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables.
- Приём заданий по курсу осуществляется в системе anytask.
- Все задания сдаются на Python 3 с использованием PyTorch.
- Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
- Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.
Примерные даты выдачи заданий: 23 Февраля, 2 Марта, 9 Марта, 23 Марта
Дата жесткого дедлайна по всем заданиям: TBA
Экзамен
Формат и дата экзамена TBA
Расписание занятий
| Дата | № занятия | Занятие |
|---|---|---|
| 14 февраля | 1 | Лекция «Стохастический вариационный вывод (SVI)» |
| Семинар «Применение SVI на примере масштабируемых тематических моделей» | ||
| 21 февраля | 2 | Лекция « Дважды стохастический вариационный вывод» |
| Семинар «Дисперсия стохастических градиентов в примерах» | ||
| 28 февраля | 3 | Лекция «Байесовские нейронные сети» |
| Семинар «Вариационный дропаут, трюк репараметризации» | ||
| 6 марта | 4 | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» |
| Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | ||
| 13 марта | 5 | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» |
| Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | ||
| 20 марта | 6 | Лекция «Диффузионные модели I» |
| Семинар «Диффузионные модели I» | ||
| 27 марта | 7 | Лекция «Диффузионные модели II» |
| Семинар «Диффузионные модели II» | ||
| 3 апреля | 8 | Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» |
| Семинар «Deep Markov chain Monte Carlo (MCMC)» |
Материалы
Cписок материалов (статей и т.п.)
Папка с конспектами лекций/семинаров
Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!
Литература
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.
