Нейробайесовские методы машинного обучения (курс лекций) / 2022
Материал из MachineLearning.
(Новая: __NOTOC__ Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано...) |
(→Расписание занятий) |
||
(6 промежуточных версий не показаны.) | |||
Строка 9: | Строка 9: | ||
'''Куратор:''' [[Участник:Alexgr1|Александр Гришин]] | '''Куратор:''' [[Участник:Alexgr1|Александр Гришин]] | ||
+ | |||
+ | [https://disk.yandex.ru/i/M0VcwPUFro6e5g Видеопрезентация курса.] | ||
По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ22]'''. Письма без данного тега с большой вероятностью будут утеряны. | По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ22]'''. Письма без данного тега с большой вероятностью будут утеряны. | ||
Строка 27: | Строка 29: | ||
* В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables. | * В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables. | ||
- | * Приём заданий по курсу осуществляется | + | * Приём заданий по курсу осуществляется в системе lms. |
* Все задания сдаются на Python 3 с использованием PyTorch. | * Все задания сдаются на Python 3 с использованием PyTorch. | ||
* Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны. | * Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны. | ||
Строка 44: | Строка 46: | ||
{| class="standard" | {| class="standard" | ||
- | !Дата !! № занятия !! Занятие | + | !Дата !! № занятия !! Занятие !! Материалы |
|- | |- | ||
- | | rowspan=2|14 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод (SVI)» | + | | rowspan=2|14 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод (SVI)» || [https://drive.google.com/file/d/1G_PlliUjYUCAbclc7BrxrUp4nczm0y6A/view?usp=sharing конспект] |
|- | |- | ||
- | |Семинар «Применение SVI на примере масштабируемых тематических моделей» | + | |Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/file/d/19sIvUBA2kXkDyNNBxwzfVSRpTARZsi51/view?usp=sharing конспект] |
|- | |- | ||
- | | rowspan=2|21 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» | + | | rowspan=2|21 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» || [https://drive.google.com/file/d/1B6iLq3XovkFkeWF74VgEBKAMU3naeueD/view?usp=sharing конспект] |
|- | |- | ||
- | |Семинар «Дисперсия стохастических градиентов в примерах» | + | |Семинар «Дисперсия стохастических градиентов в примерах» || [https://drive.google.com/file/d/12ZuBnrvidNYN1yoLn4PDEDBtgfTgHxLG/view?usp=sharing конспект 1], [https://drive.google.com/file/d/1MwMGt7fkghePfPrRYVVph9NGcR75C4sk/view?usp=sharing конспект 2] |
|- | |- | ||
- | | rowspan=2|28 февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети» | + | | rowspan=2|28 февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети» || [https://drive.google.com/file/d/15teWlTzsCM5IyCzU_V24zPrNzDT6JdjP/view?usp=sharing конспект] |
|- | |- | ||
- | |Семинар «Вариационный дропаут, трюк репараметризации» | + | |Семинар «Вариационный дропаут, трюк репараметризации» || [https://drive.google.com/file/d/1efbPJuSFiQK2P1Hf189byt82A6DRHthq/view?usp=sharing конспект] |
|- | |- | ||
- | | rowspan=2|6 марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | + | | rowspan=2|6 марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || [https://drive.google.com/file/d/1XTYc2uqiUN_93h2KXkZ7N3Hho31sCNgH/view?usp=sharing конспект] |
|- | |- | ||
- | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | + | |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://drive.google.com/file/d/117lr0VdfoRNX3BvcE1I7P_dmMmaJ5-Ia/view?usp=sharing конспект] |
|- | |- | ||
- | | rowspan=2|13 марта || rowspan=2 align="center"| 5 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» | + | | rowspan=2|13 марта || rowspan=2 align="center"| 5 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || [https://drive.google.com/file/d/1oA6VIq-vZUaZaqLJO1L3s9Ds17uTRuA4/view?usp=sharing конспект] |
|- | |- | ||
- | |Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | + | |Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» || |
|- | |- | ||
- | | rowspan=2|20 марта || rowspan=2 align="center"| 6 || Лекция «Диффузионные модели I» | + | | rowspan=2|20 марта || rowspan=2 align="center"| 6 || Лекция «Диффузионные модели I» || [https://drive.google.com/file/d/1zl7zt0djIpHySkafKreVO7KVkyz5cbvd/view?usp=sharing конспект], [https://arxiv.org/abs/2006.11239 Основная статья], [https://arxiv.org/abs/2011.13456 про условную генерацию], [https://arxiv.org/abs/2107.00630 про обучение расписания], [https://nvlabs.github.io/denoising-diffusion-gan/ про GANы] |
|- | |- | ||
- | |Семинар «Диффузионные модели I» | + | |Семинар «Диффузионные модели I» || |
|- | |- | ||
- | | rowspan=2|27 марта || rowspan=2 align="center"| 7 || Лекция «Диффузионные модели II» | + | | rowspan=2|27 марта || rowspan=2 align="center"| 7 || Лекция «Диффузионные модели II» || |
|- | |- | ||
- | |Семинар «Диффузионные модели II» | + | |Семинар «Диффузионные модели II» || |
|- | |- | ||
- | | rowspan=2|3 апреля || rowspan=2 align="center"| 8 || Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» | + | | rowspan=2|3 апреля || rowspan=2 align="center"| 8 || Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» || [https://arxiv.org/abs/2011.10650 статья] |
|- | |- | ||
- | |Семинар «Deep Markov chain Monte Carlo (MCMC)» | + | |Семинар «Deep Markov chain Monte Carlo (MCMC)» || [https://arxiv.org/abs/1907.05600 статья] |
|- | |- | ||
|} | |} |
Текущая версия
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
Лектор: Д.П. Ветров
Семинаристы: Кирилл Струминский, Арсений Ашуха, Олег Иванов, Оганесян Виктор, Денис Ракитин, Максим Кодрян, Тимофей Южаков
Ассистенты: Никита Юдин, Александр Марков, Никита Бондарцев, Денис Ракитин, Максим Коломиец
Куратор: Александр Гришин
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ22]. Письма без данного тега с большой вероятностью будут утеряны.
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
Система выставления оценок по курсу
В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.
- Необходимым условием получения оценки 4/6/8 или выше является сдача не менее 1/2/3 практических заданий и сдача экзамена на положительную оценку.
- Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10
- Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
- Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing Flows, VAE, и Diffusion Models) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DM).
- Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
Практические задания
- В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables.
- Приём заданий по курсу осуществляется в системе lms.
- Все задания сдаются на Python 3 с использованием PyTorch.
- Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
- Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.
Примерные даты выдачи заданий: 23 Февраля, 2 Марта, 9 Марта, 23 Марта
Дата жесткого дедлайна по всем заданиям: TBA
Экзамен
Формат и дата экзамена TBA
Расписание занятий
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
14 февраля | 1 | Лекция «Стохастический вариационный вывод (SVI)» | конспект |
Семинар «Применение SVI на примере масштабируемых тематических моделей» | конспект | ||
21 февраля | 2 | Лекция « Дважды стохастический вариационный вывод» | конспект |
Семинар «Дисперсия стохастических градиентов в примерах» | конспект 1, конспект 2 | ||
28 февраля | 3 | Лекция «Байесовские нейронные сети» | конспект |
Семинар «Вариационный дропаут, трюк репараметризации» | конспект | ||
6 марта | 4 | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» | конспект |
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» | конспект | ||
13 марта | 5 | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» | конспект |
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» | |||
20 марта | 6 | Лекция «Диффузионные модели I» | конспект, Основная статья, про условную генерацию, про обучение расписания, про GANы |
Семинар «Диффузионные модели I» | |||
27 марта | 7 | Лекция «Диффузионные модели II» | |
Семинар «Диффузионные модели II» | |||
3 апреля | 8 | Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» | статья |
Семинар «Deep Markov chain Monte Carlo (MCMC)» | статья |
Материалы
Cписок материалов (статей и т.п.)
Папка с конспектами лекций/семинаров
Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!
Литература
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.