Нейробайесовские методы машинного обучения (курс лекций) / 2022

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Практические задания)
(Расписание занятий)
Строка 46: Строка 46:
{| class="standard"
{| class="standard"
-
!Дата !! № занятия !! Занятие
+
!Дата !! № занятия !! Занятие !! Материалы
|-
|-
-
| rowspan=2|14 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод (SVI)»
+
| rowspan=2|14 февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод (SVI)» || [https://drive.google.com/file/d/1G_PlliUjYUCAbclc7BrxrUp4nczm0y6A/view?usp=sharing конспект]
|-
|-
-
|Семинар «Применение SVI на примере масштабируемых тематических моделей»
+
|Семинар «Применение SVI на примере масштабируемых тематических моделей» || [https://drive.google.com/file/d/19sIvUBA2kXkDyNNBxwzfVSRpTARZsi51/view?usp=sharing конспект]
|-
|-
-
| rowspan=2|21 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод»
+
| rowspan=2|21 февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» || [https://drive.google.com/file/d/1B6iLq3XovkFkeWF74VgEBKAMU3naeueD/view?usp=sharing конспект]
|-
|-
-
|Семинар «Дисперсия стохастических градиентов в примерах»
+
|Семинар «Дисперсия стохастических градиентов в примерах» || [https://drive.google.com/file/d/12ZuBnrvidNYN1yoLn4PDEDBtgfTgHxLG/view?usp=sharing конспект 1], [https://drive.google.com/file/d/1MwMGt7fkghePfPrRYVVph9NGcR75C4sk/view?usp=sharing конспект 2]
|-
|-
-
| rowspan=2|28 февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети»
+
| rowspan=2|28 февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети» || [https://drive.google.com/file/d/15teWlTzsCM5IyCzU_V24zPrNzDT6JdjP/view?usp=sharing конспект]
|-
|-
-
|Семинар «Вариационный дропаут, трюк репараметризации»
+
|Семинар «Вариационный дропаут, трюк репараметризации» || [https://drive.google.com/file/d/1efbPJuSFiQK2P1Hf189byt82A6DRHthq/view?usp=sharing конспект]
|-
|-
-
| rowspan=2|6 марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»
+
| rowspan=2|6 марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» || [https://drive.google.com/file/d/1XTYc2uqiUN_93h2KXkZ7N3Hho31sCNgH/view?usp=sharing конспект]
|-
|-
-
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)»
+
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» || [https://drive.google.com/file/d/117lr0VdfoRNX3BvcE1I7P_dmMmaJ5-Ia/view?usp=sharing конспект]
|-
|-
-
| rowspan=2|13 марта || rowspan=2 align="center"| 5 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»
+
| rowspan=2|13 марта || rowspan=2 align="center"| 5 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» || [https://drive.google.com/file/d/1oA6VIq-vZUaZaqLJO1L3s9Ds17uTRuA4/view?usp=sharing конспект]
|-
|-
-
|Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
+
|Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» ||
|-
|-
-
| rowspan=2|20 марта || rowspan=2 align="center"| 6 || Лекция «Диффузионные модели I»
+
| rowspan=2|20 марта || rowspan=2 align="center"| 6 || Лекция «Диффузионные модели I» || [https://arxiv.org/abs/2006.11239 Основная статья], [https://arxiv.org/abs/2011.13456 про условную генерацию], [https://arxiv.org/abs/2107.00630 про обучение расписания], [https://nvlabs.github.io/denoising-diffusion-gan/ про GANы]
|-
|-
-
|Семинар «Диффузионные модели I»
+
|Семинар «Диффузионные модели I» ||
|-
|-
-
| rowspan=2|27 марта || rowspan=2 align="center"| 7 || Лекция «Диффузионные модели II»
+
| rowspan=2|27 марта || rowspan=2 align="center"| 7 || Лекция «Диффузионные модели II» ||
|-
|-
-
|Семинар «Диффузионные модели II»
+
|Семинар «Диффузионные модели II» ||
|-
|-
-
| rowspan=2|3 апреля || rowspan=2 align="center"| 8 || Лекция «Очень глубокие вариационные автокодировщики (VDVAE)»
+
| rowspan=2|3 апреля || rowspan=2 align="center"| 8 || Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» || [https://arxiv.org/abs/2011.10650 статья]
|-
|-
-
|Семинар «Deep Markov chain Monte Carlo (MCMC)»
+
|Семинар «Deep Markov chain Monte Carlo (MCMC)» ||
|-
|-
|}
|}

Версия 17:19, 10 апреля 2022

Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.

Лектор: Д.П. Ветров

Семинаристы: Кирилл Струминский, Арсений Ашуха, Олег Иванов, Оганесян Виктор, Денис Ракитин, Максим Кодрян, Тимофей Южаков

Ассистенты: Никита Юдин, Александр Марков, Никита Бондарцев, Денис Ракитин, Максим Коломиец

Куратор: Александр Гришин

Видеопрезентация курса.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ22]. Письма без данного тега с большой вероятностью будут утеряны.

Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.

Система выставления оценок по курсу

В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.

  • Необходимым условием получения оценки 4/6/8 или выше является сдача не менее 1/2/3 практических заданий и сдача экзамена на положительную оценку.
  • Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10
  • Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
  • Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing Flows, VAE, и Diffusion Models) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DM).
  • Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).

Практические задания

  • В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables.
  • Приём заданий по курсу осуществляется в системе lms.
  • Все задания сдаются на Python 3 с использованием PyTorch.
  • Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
  • Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.

Примерные даты выдачи заданий: 23 Февраля, 2 Марта, 9 Марта, 23 Марта

Дата жесткого дедлайна по всем заданиям: TBA

Экзамен

Формат и дата экзамена TBA

Расписание занятий

Дата № занятия Занятие Материалы
14 февраля 1 Лекция «Стохастический вариационный вывод (SVI)» конспект
Семинар «Применение SVI на примере масштабируемых тематических моделей» конспект
21 февраля 2 Лекция « Дважды стохастический вариационный вывод» конспект
Семинар «Дисперсия стохастических градиентов в примерах» конспект 1, конспект 2
28 февраля 3 Лекция «Байесовские нейронные сети» конспект
Семинар «Вариационный дропаут, трюк репараметризации» конспект
6 марта 4 Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» конспект
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» конспект
13 марта 5 Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» конспект
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
20 марта 6 Лекция «Диффузионные модели I» Основная статья, про условную генерацию, про обучение расписания, про GANы
Семинар «Диффузионные модели I»
27 марта 7 Лекция «Диффузионные модели II»
Семинар «Диффузионные модели II»
3 апреля 8 Лекция «Очень глубокие вариационные автокодировщики (VDVAE)» статья
Семинар «Deep Markov chain Monte Carlo (MCMC)»

Материалы

Cписок материалов (статей и т.п.)

Папка с конспектами лекций/семинаров

Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!

Литература

  1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.

См. также

Курс «Байесовские методы машинного обучения»

Личные инструменты