Обучение с подкреплением (курс лекций) / 2023

Материал из MachineLearning.

В отличие от классического машинного обучения, в обучении с подкреплением алгоритму на вход не поступает обучающая выборка. Вместо этого, обучение проводится "методом проб и ошибок": агент должен сам собрать данные в ходе взаимодействия с окружающим миром (средой) и на основе собранного опыта научиться максимизировать получаемый отклик - подкрепление, или награду. Курс направлен на изучение алгоритмов последних лет, показывающих state-of-the-art результаты во многих задачах дискретного и непрерывного управления за счёт совмещения классической теории с парадигмой глубинного обучения.

Читается для магистров 617-й, 621-й, 522-й и 622-й групп.

Преподаватели: Кропотов Дмитрий, Темирчев Павел, Илья Синильщиков, Алексей Медведев, Дмитрий Медведев, Владимир Ипполитов, Миньчуань Сюй, Илья Иванов.

Расписание: Занятия проводятся в смешанном онлайн/офлайн формате. Распределение см. в расписании занятий ниже.

• лекции: по пятницам в 14-35, ауд. ??
• семинары: по пятницам в 16:20, ауд. ??

Канал в Telegram: ссылка

Видеозаписи занятий: TBA

Содержание 1 Критерии оценки 2 Домашние задания 3 Расписание занятий 4 Страницы курса прошлых лет 5 Материалы

Критерии оценки

В курсе предусмотрено шесть лабораторных работ в формате ноутбуков и письменный экзамен. Итоговая оценка по курсу в 10-балльной шкале рассчитывается по формуле:

Итоговая оценка = Округл.вверх (0.3 * Экз + 0.7 * Лаб)

Оценке 5 в пятибалльной шкале соответствует оценка 8 и выше, оценке 4 - оценка [6, 8), оценке 3 - промежуток [4, 6). Помимо баллов необходимо также выполнить следующие условия:

Итог	Необходимые условия
5	сдано не менее 5 заданий, оценка за экзамен >= 6
4	сдано не менее 4 заданий, оценка за экзамен >= 4
3	сдано не менее 3 заданий, оценка за экзамен >= 4

Домашние задания

Максимальный балл за лабораторные - 100 баллов; итоговая оценка за лабораторные получается делением на десять. За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания.

Сдавать лабораторные можно в течение недели после мягкого дедлайна (работы сданные в этот период облагаются штрафом: см. таблицу ниже). Лабораторные, сданные позже недели после мягкого дедлайна, не приносят баллов, но учитываются в необходимых условиях для конкретной оценки (см. выше).

Лабораторная	Ориентировочная дата выдачи (может быть изменена!)	Срок	Баллы	Штраф за день опоздания
Deep Crossentropy Method	8 сентября	1 неделя	10	-0.3
Policy Iteration + Theory	15 сентября	1 неделя	10	-0.3
DQN	29 сентября	2 недели	20	-0.6
A2C	20 октября	2 недели	20	-0.6
PPO	10 ноября	2 недели	20	-0.6
MCTS	1 декабря	2 недели	20	-0.6

Расписание занятий

Дата	Формат	Занятие	Материалы	Дополнительные материалы
Лекция 8 сентября	Онлайн	Введение в курс. Кросс-энтропийный метод (CEM).	CEM for optimization Tetris with CEM	OpenAI ES Обзор эволюционных стратегий WANN
Семинар 8 сентября	Онлайн	Библиотека OpenAI gym. Реализация табличного кросс-энтропийного метода.
Лекция 15 сентября	Онлайн	Динамическое программирование. Value Iteration, Policy Iteration.	Sutton, Barto, ch.3-4	A (Long) Peek into Reinforcement Learning
Семинар 15 сентября	Онлайн	Реализация Value Iteration.
Лекция 22 сентября	Очно	Табличные методы. TD-обучение, Q-обучение.	Слайды занятия Sutton, Barto, ch.5-6	Визуализация TD-обучения (distill)
Семинар 22 сентября	Онлайн	Табличное Q-обучение.
Лекция 29 сентября	Очно	Deep Q-Network (DQN) и его модификации.	Слайды занятия DQN Double DQN Prioritized Experience Replay Noisy Networks Dueling DQN	R2D2 Agent57
Лекция 6 октября	Очно	Distributional RL. Quantile Regression DQN (QR-DQN).	Categorical DQN QR-DQN	Implicit Quantile Networks (IQN) Rainbow DQN
Лекция 13 октября	Очно	Многорукие бандиты, внутренняя мотивация для исследования среды.	полезный ресурс по бандитам Слайды занятия Sutton, Barto, ch.2 Random Network Distillation (RND) Intrinsic Curiosity Module (ICM)	Обзор модулей внутренней мотивации Variational Information Maximizing Exploration (VIME) Never Give Up (NGU)
Лекция 20 октября	Очно	Policy gradient подход. Advantage Actor-Critic (A2C).	Sutton, Barto, ch.13 A2C	Обзор Policy Gradient алгоритмов Комикс про A2C
Семинар 20 октября	Онлайн	Реализация policy gradient
Лекция 27 октября	Онлайн	Trust-Region Policy Optimization (TRPO).	TRPO
Лекция 3 ноября	Очно	Proximal Policy Optimization (PPO) и Generalized Advantage Estimation (GAE).	Слайды занятия PPO GAE	Implementation matters in RL Sutton, Barto, ch.12
Лекция 10 ноября	Очно	DDPG, Soft Actor Critic.	Deep Deterministic Policy Gradient (DDPG) Twin-Delayed DDPG (TD3) Soft Actor-Critic (SAC)	Truncated Quantile Critics (TQC) RL as probabilistic inference
Лекция 17 ноября	Очно	Имитационное обучение. Обратное обучение с подкреплением.	Guided Cost Learning Generative Adversarial Imitation Learning (GAIL)
Лекция 24 ноября	Очно	Monte Carlo Tree Search. AlphaZero, MuZero.	AlphaZero MuZero	AlphaZero in one picture
Лекция 1 декабря	Онлайн	Linear Quadratic Regulator (LQR). Model-based RL. Dreamer.	Презентация по MCTS и LQR Презентация по Model-based RL Dreamer v1 Dreamer v2	World Models

Страницы курса прошлых лет

2020-й год
2021-й год
2022-й год

Материалы

• Полунеофициальный конспект
• Курс Practical RL (ШАД)
• Курс Deep Reinforcement Learning (CS 285), UC Berkeley