Порождающие модели (теория и практика, Р.В. Исаченко, В.В. Стрижов)/Группа 674, осень 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Программа курса)
(7 промежуточных версий не показаны.)
Строка 2: Строка 2:
__NOTOC__
__NOTOC__
-
Короткая ссылка на страницу: [https://bit.ly/3i3N4G0 https://bit.ly/3i3N4G0]
+
== Программа курса ==
-
 
+
-
Видеолекции: [https://www.youtube.com/playlist?list=PLk4h7dmY2eYHjH6wjO1Wytb2ipXJX-aWj link]
+
-
 
+
-
Отзывы о курсе: [https://forms.gle/zpzFtRFWWTvRMQ2o8 link]
+
{|class = "standard"
{|class = "standard"
-
! № !! Дата !! Тема !! Материалы
+
! № !! Дата !! Тема !! Слайды !! Видео
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| lecture 1
| lecture 1
| 02.09
| 02.09
| Logistics. Motivation. Autoregressive models (MADE, WaveNet, PicelCNN).
| Logistics. Motivation. Autoregressive models (MADE, WaveNet, PicelCNN).
-
| [[Медиа:Isachenko2020DeepGenerativeModels1.pdf‎|slides]]
+
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture1/Isachenko2020DeepGenerativeModels1.pdf slides]
 +
| [https://youtu.be/Vvmlg5JYdVQ video]
<!-- Конец занятия -->
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 2
 +
| 09.09
 +
| Bayesian framework. Latent variable models. EM-algorithm.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture2/Isachenko2020DeepGenerativeModels2.pdf slides]
 +
| [https://youtu.be/IXVoKY92u1k video]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 3
 +
| 16.09
 +
| EM-algorithm. VAE. Mean field approximation.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture3/Isachenko2020DeepGenerativeModels3.pdf slides]
 +
| [https://youtu.be/y1csC6gkmxU video]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 4
 +
| 23.09
 +
| Flow models (NICE, RealNVP, RevNet, i-RevNet).
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture4/Isachenko2020DeepGenerativeModels4.pdf slides]
 +
| [https://youtu.be/epFV2wNE6Kk video]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 5
 +
| 30.09
 +
| Flow models (Glow, Flow++). Flows in VAE. Autoregressive flows (IAF).
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture5/Isachenko2020DeepGenerativeModels5.pdf slides]
 +
| [https://youtu.be/KA941HS8oAg video]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 6
 +
| 07.10
 +
| Autoregressive flows (IAF, MAF, Parallel WaveNet). ELBO surgery.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture6/Isachenko2020DeepGenerativeModels6.pdf slides]
 +
| [https://youtu.be/8xzHeHJmXc4 video]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 7
 +
| 14.10
 +
| VampPrior. Posterior collapse (PixelVAE, VLAE). Decoder weakening. IWAE.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture7/Isachenko2020DeepGenerativeModels7.pdf slides]
 +
| [https://youtu.be/tWQmomQpNEU video]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| lecture 8
 +
| 21.10
 +
| Vanila GAN. Vanishing gradients, mode collapse. KL vs JSD. DCGAN. Wasserstein distance.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/lectures/lecture8/Isachenko2020DeepGenerativeModels8.pdf slides]
 +
| [https://youtu.be/0ma4ZgnwC0M video]
 +
<!-- Конец занятия -->
 +
|}
 +
== Домашние задания ==
 +
 +
{|class = "standard"
 +
! № !! Тема !! Ссылка !! Дедлайн
 +
|- <!-- Новое занятие -->
 +
| homework 1
 +
| Autoregressive models.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/homeworks/homework1/hw1.ipynb link]
 +
| 28.09
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| homework 2
 +
| Latent variable models. Flows.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/homeworks/homework2/hw2.ipynb link]
 +
| 12.10
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| homework 3
 +
| Autoregressive flows. Flows in VAE.
 +
| [https://github.com/r-isachenko/2020-DGM-course/blob/master/homeworks/homework3/hw3.ipynb link]
 +
| 26.10
 +
<!-- Конец занятия -->
|}
|}
 +
|}
 +
 +
== Полезные ссылки ==
 +
 +
Короткая ссылка на страницу: [https://bit.ly/3i3N4G0 https://bit.ly/3i3N4G0]
 +
 +
Видеолекции: [https://www.youtube.com/playlist?list=PLk4h7dmY2eYHjH6wjO1Wytb2ipXJX-aWj link]
 +
 +
Отзывы о курсе: [https://forms.gle/zpzFtRFWWTvRMQ2o8 link]
 +
 +
Репозиторий курса на github: [https://github.com/r-isachenko/2020-DGM-course link]

Версия 12:15, 21 октября 2020


Программа курса

Дата Тема Слайды Видео
lecture 1 02.09 Logistics. Motivation. Autoregressive models (MADE, WaveNet, PicelCNN). slides video
lecture 2 09.09 Bayesian framework. Latent variable models. EM-algorithm. slides video
lecture 3 16.09 EM-algorithm. VAE. Mean field approximation. slides video
lecture 4 23.09 Flow models (NICE, RealNVP, RevNet, i-RevNet). slides video
lecture 5 30.09 Flow models (Glow, Flow++). Flows in VAE. Autoregressive flows (IAF). slides video
lecture 6 07.10 Autoregressive flows (IAF, MAF, Parallel WaveNet). ELBO surgery. slides video
lecture 7 14.10 VampPrior. Posterior collapse (PixelVAE, VLAE). Decoder weakening. IWAE. slides video
lecture 8 21.10 Vanila GAN. Vanishing gradients, mode collapse. KL vs JSD. DCGAN. Wasserstein distance. slides video

Домашние задания

Тема Ссылка Дедлайн
homework 1 Autoregressive models. link 28.09
homework 2 Latent variable models. Flows. link 12.10
homework 3 Autoregressive flows. Flows in VAE. link 26.10

|}

Полезные ссылки

Короткая ссылка на страницу: https://bit.ly/3i3N4G0

Видеолекции: link

Отзывы о курсе: link

Репозиторий курса на github: link

Личные инструменты