Нейробайесовские методы машинного обучения (курс лекций) / 2018

Материал из MachineLearning.

Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.

Лектор: Д.П. Ветров,

Семинаристы: Екатерина Лобачева, Кирилл Струминский, Алексей Умнов, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Дмитрий Подоприхин.

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в название письма обязательно добавлять [ВМК НБМ18].

Новости

01.03.18: Внимание! В ближайшую среду 7 марта будет проведено дополнительное занятие по курсу в ауд. 682. Начало в 14-35 (лекция) и в 16-20 (семинар).

Практические задания

Приём заданий по курсу осуществляется в системе anytask.org. По поводу приглашений в систему можно обратиться на почту курса.

Расписание занятий

В 2018 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Дата	№ занятия	Занятие	Материалы
9 февраля 2018	1	Лекция «Вводное занятие по библиотеке PyTorch»	-
16 февраля 2018	2	Лекция «Стохастический вариационный вывод»	Статья Конспект 1 Конспект 2
		Семинар «Применение SVI на примере масштабируемых тематических моделей»	Конспект 1 Конспект 2
2 марта 2018	3	Лекция « Дважды стохастический вариационный вывод»	Статья Конспект 1 Конспект 2
		Семинар «Дисперсия стохастических градиентов в примерах»	Статья Конспект
7 марта 2018	4	Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»	Статья Конспект 1 Конспект 2
		Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)»	Статья Конспект
16 марта 2018	5	Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN»	Статья Конспект
		Семинар «f-GAN»	Статья Конспект
23 марта 2018	6	Лекция «Байесовские нейронные сети»	Статья Конспект
		Семинар «Локальная репараметризация»	Конспект
30 марта 2018	7	Лекция «Байесовское сжатие нейронных сетей»	Конспект
		Семинар «Тернарные сети, структурное байесовское разреживание»	Конспект
6 апреля 2018	8	Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»	Конспект
		Семинар «Обобщенная репараметризация, REBAR, RELAX»

Система выставления оценок по курсу

В рамках курса предполагается два практических задания. Каждое задание оценивается из 10-ти баллов.

1. При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
2. Необходимым условием получения положительной оценки за курс является сдача не менее одного практического задания и сдача устного экзамена не менее чем на оценку «удовлетворительно».
3. Итоговый балл за курс вычисляется по формуле 0.25*<Оценка_за_задание_1> + 0.25*<Оценка_за_задание_2> + 0.5*<Оценка_за_экзамен> с округлением в большую сторону.
4. Штраф за просрочку сдачи заданий начисляется из расчета 0.3 балла в день, но не более 6 баллов.

Литература

1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
4. "Ian Goodfellow and Yoshua Bengio and Aaron Courville" Deep Learning. MIT Press, 2016.

См. также

Курс «Байесовские методы машинного обучения»