Нейробайесовские методы машинного обучения (курс лекций) / 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 4: Строка 4:
'''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]]
'''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]]
-
'''Семинаристы:''' [[Участник:Alexgr1|Александр Гришин]], [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, [[Участник:Tipt0p|Екатерина Лобачева]], Артем Гадецкий, Айбек Аланов.
+
'''Семинаристы:''' [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Артем Гадецкий, Айбек Аланов.
 +
 
 +
'''Куратор:''' [[Участник:Alexgr1|Александр Гришин]]
По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ20]'''. Письма без данного тега с большой вероятностью будут утеряны.
По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ20]'''. Письма без данного тега с большой вероятностью будут утеряны.
-
Также у курса есть чат в телеграме (TBA). Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
+
Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.
== Новости ==
== Новости ==
-
TBA
 
== Система выставления оценок по курсу ==
== Система выставления оценок по курсу ==
-
TBA
+
В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.
 +
 
 +
* Необходимым условием получения положительной оценки за курс является сдача не менее TBA практического задания и TBA.
 +
* Необходимым условием получения оценки выше «удовлетворительно» является сдача не менее TBA практических заданий.
 +
* Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
 +
* Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DLV).
 +
* Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
== Практические задания ==
== Практические задания ==
-
* В рамках курса предполагается выполнение трех практических заданий на следующие темы: VAE, Normalizing flows, Sparse Variational Dropout, Discrete Latent Variables.
+
* В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables.
-
* Приём заданий по курсу осуществляется в системе anytask.org. Ссылка TBA.
+
* Приём заданий по курсу осуществляется [https://anytask.org/course/602 в системе anytask].
* Все задания сдаются на Python 3 с использованием PyTorch.
* Все задания сдаются на Python 3 с использованием PyTorch.
* Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
* Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
-
* Задания оцениваются TBA. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. В среднем на выполнение каждого задания будет даваться 2 недели. В некоторых заданиях будут бонусные пункты.
+
* Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.
-
Примерные даты выдачи заданий: TBA
+
Примерные даты выдачи заданий: 28 Февраля, 6 Марта, 20 Марта, 3 Апреля
Дата жесткого дедлайна по всем заданиям: TBA
Дата жесткого дедлайна по всем заданиям: TBA
Строка 38: Строка 45:
В 2020 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
В 2020 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).
-
Даты и темы TBA
+
{| class="standard"
 +
!Дата !! № занятия !! Занятие
 +
|-
 +
| rowspan=2|14&nbsp;февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод (SVI)»
 +
|-
 +
|Семинар «Применение SVI на примере масштабируемых тематических моделей»
 +
|-
 +
| rowspan=2|21&nbsp;февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод»
 +
|-
 +
|Семинар «Дисперсия стохастических градиентов в примерах»
 +
|-
 +
| rowspan=2|28&nbsp;февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети»
 +
|-
 +
|Семинар «TBA»
 +
|-
 +
| rowspan=2|6&nbsp;марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»
 +
|-
 +
|Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)»
 +
|-
 +
| rowspan=2|13&nbsp;марта || rowspan=2 align="center"| 5 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»
 +
|-
 +
|Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
 +
|-
 +
| rowspan=2|20&nbsp;марта || rowspan=2 align="center"| 6 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN»
 +
|-
 +
|Семинар «f-GAN»
 +
|-
 +
| rowspan=2|27&nbsp;марта || rowspan=2 align="center"| 7 || Лекция «TBA»
 +
|-
 +
|Семинар «TBA»
 +
|-
 +
| rowspan=2|3&nbsp;апреля || rowspan=2 align="center"| 8 || Лекция «Deep Markov chain Monte Carlo (MCMC)»
 +
|-
 +
|Семинар «Deep Markov chain Monte Carlo (MCMC)»
 +
|-
 +
|}
 +
 
== Материалы ==
== Материалы ==

Версия 10:57, 25 января 2020

Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.

Лектор: Д.П. Ветров

Семинаристы: Кирилл Струминский, Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Артем Гадецкий, Айбек Аланов.

Куратор: Александр Гришин

По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com, в тему письма обязательно добавлять тег [ВМК НБМ20]. Письма без данного тега с большой вероятностью будут утеряны.

Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса.

Новости

Система выставления оценок по курсу

В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов.

  • Необходимым условием получения положительной оценки за курс является сдача не менее TBA практического задания и TBA.
  • Необходимым условием получения оценки выше «удовлетворительно» является сдача не менее TBA практических заданий.
  • Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически.
  • Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DLV).
  • Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).

Практические задания

  • В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables.
  • Приём заданий по курсу осуществляется в системе anytask.
  • Все задания сдаются на Python 3 с использованием PyTorch.
  • Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
  • Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.

Примерные даты выдачи заданий: 28 Февраля, 6 Марта, 20 Марта, 3 Апреля

Дата жесткого дедлайна по всем заданиям: TBA

Экзамен

Формат и дата экзамена TBA

Расписание занятий

В 2020 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Дата № занятия Занятие
14 февраля 1 Лекция «Стохастический вариационный вывод (SVI)»
Семинар «Применение SVI на примере масштабируемых тематических моделей»
21 февраля 2 Лекция « Дважды стохастический вариационный вывод»
Семинар «Дисперсия стохастических градиентов в примерах»
28 февраля 3 Лекция «Байесовские нейронные сети»
Семинар «TBA»
6 марта 4 Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)»
13 марта 5 Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными»
20 марта 6 Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN»
Семинар «f-GAN»
27 марта 7 Лекция «TBA»
Семинар «TBA»
3 апреля 8 Лекция «Deep Markov chain Monte Carlo (MCMC)»
Семинар «Deep Markov chain Monte Carlo (MCMC)»


Материалы

Обновляемый список материалов (статей и т.п.)

Папка с конспектами прошлогодних лекций/семинаров

Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!

Литература

  1. Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  4. Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning. MIT Press, 2016.

См. также

Курс «Байесовские методы машинного обучения»

Математические методы прогнозирования (кафедра ВМиК МГУ)

Личные инструменты