Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

[[Изображение:RL_robot.png|right|250px]] В отличие от классического машинного обучения, в обучении с подкреплением алгоритму на вход не поступает обучающая выборка. Вместо этого, обучение проводится "методом проб и ошибок": агент должен сам собрать данные в ходе взаимодействия с окружающим миром (средой) и на основе собранного опыта научиться максимизировать получаемый отклик - подкрепление, или награду. Курс направлен на изучение алгоритмов последних лет, показывающих state-of-the-art результаты во многих задачах дискретного и непрерывного управления за счёт совмещения классической теории с парадигмой глубинного обучения. Отдельная благодарность Дмитрию Кропотову за создание и организацию курса. Читается для студентов 617-й группы, а также для студентов других кафедр в качестве спецкурса. '''Преподаватели:''' Темирчев Павел, Илья Синильщиков, Алексей Медведев, Дмитрий Медведев, Алексей Панков, Тингир Бадмаев. '''Расписание:''' Занятия проводятся в офлайн формате (за редкими исключениями, о чем будет объявлено специально). * лекции: по пятницам в 14-35, ауд. 510 * семинары: по пятницам в 16:20, ауд. 510 '''Канал в Telegram:''' [https://t.me/+e14LFMWgh09jODg6 ссылка] '''Чат в Telegram:''' [https://t.me/+MCZLEYKGUeliZmEy ссылка] '''Видеозаписи занятий:''' TBA '''Репозиторий с домашними заданиями:''' [https://github.com/yandexdataschool/Practical_RL ссылка] ==Критерии оценки== В курсе предусмотрено шесть лабораторных работ в формате ноутбуков. Для студентов кафедры ММП также предусмотрен устный экзамен. Для студентов, сдающих курс как спецкурс, итоговая оценка выставляется на основе только лабораторных работ. Балл за лабораторные работы вычисляется по формуле: '''Лаб = 10 * сумма_набранных_баллов / максимальный_балл_за_лабораторные''' Оценка за курс в десятибалльной шкале для студентов, сдающих его как спецкурс: '''Итоговая_оценка_спецкурс = Округл.вверх (Лаб)''' Оценка за курс в десятибалльной шкале для студентов кафедры ММП: '''Итоговая_оценка_ммп = Округл.вверх (0.3 * Экз + 0.7 * Лаб)''' Оценке 5 в пятибалльной шкале соответствует оценка 8 и выше, оценке 4 - оценка [6, 8), оценке 3 - промежуток [4, 6). Помимо баллов необходимо также выполнить следующие условия (условие на оценку за экзамен касается только студентов кафедры ММП): {| class="standard" !Итог !! Необходимые условия |- | 5 || сдано не менее 5 заданий, оценка за экзамен >= 6 |- | 4 || сдано не менее 4 заданий, оценка за экзамен >= 4 |- | 3 || сдано не менее 3 заданий, оценка за экзамен >= 4 |- |} == Домашние задания == Максимальный балл за лабораторные - 89 баллов. За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Сдавать лабораторные можно в течение недели после мягкого дедлайна (работы сданные в этот период облагаются штрафом: см. таблицу ниже). Лабораторные, сданные позже недели после мягкого дедлайна, не приносят баллов, но учитываются в '''необходимых условиях''' для конкретной оценки (см. выше). {| class="standard" | style="text-align:center;" !Лабораторная !! Ориентировочная дата выдачи<br>(может быть изменена!) !! Срок !! Баллы !! Штраф<br> за день опоздания |- | Deep Crossentropy Method || 22 сентября || 1 неделя || 12 || -0.3 |- | Policy Iteration + Theory || 27 сентября || 1 неделя || 10 || -0.3 |- | DQN || 11 октября || 2 недели || 17 || -0.6 |- | A2C || 1 ноября || 2 недели || 20 || -0.6 |- | PPO || 15 ноября || 1 неделя || 10 || -0.3 |- | SAC/TD3 || 29 ноября || 1 неделя || 10 || -0.3 |- |} == Расписание занятий == {| class = "standard" ! Дата !! Формат !! Занятие !! Материалы !! Дополнительные материалы |- | Лекция<br> ''20 сентября'' | Очно | Введение в курс. Кросс-энтропийный метод (CEM). | * [https://disk.yandex.ru/i/5n3CXZM6FuHheQ Слайды занятия] * [https://people.smp.uq.edu.au/DirkKroese/ps/CEopt.pdf CEM for optimization]<br> * [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.81.6579&rep=rep1&type=pdf Tetris with CEM] | * [https://openai.com/blog/evolution-strategies/ OpenAI ES] * [https://lilianweng.github.io/lil-log/2019/09/05/evolution-strategies.html Обзор эволюционных стратегий] * [https://arxiv.org/pdf/1906.04358.pdf WANN] |- | Семинар<br> ''20 сентября'' | Очно | Библиотека OpenAI gym. Реализация табличного кросс-энтропийного метода. | * [https://github.com/yandexdataschool/Practical_RL/blob/master/week01_intro/seminar_gymnasium_interface.ipynb Знакомство с GYM] * [https://github.com/yandexdataschool/Practical_RL/blob/master/week01_intro/crossentropy_method.ipynb Табличный CEM] | |- | Лекция<br> ''27 сентября'' | Очно | Динамическое программирование. Value Iteration, Policy Iteration. | * [https://drive.google.com/file/d/1Z4W_-0IaMNpZnhnMkqcDVM_EA79GFJo-/view Sutton, Barto], ch.3-4 <br> | * [https://lilianweng.github.io/lil-log/2018/02/19/a-long-peek-into-reinforcement-learning.html A (Long) Peek into Reinforcement Learning] |- | Семинар<br> ''27 сентября'' | Онлайн | Реализация Value Iteration. | |- | Лекция<br> ''4 октября'' | Очно | Табличные методы. TD-обучение, Q-обучение. | * [[Media:TD_learning_2021.pdf|Слайды занятия]] * [https://drive.google.com/file/d/1Z4W_-0IaMNpZnhnMkqcDVM_EA79GFJo-/view Sutton, Barto], ch.5-6 | * [https://distill.pub/2019/paths-perspective-on-value-learning/ Визуализация TD-обучения (distill)] |- | Семинар<br> ''4 октября'' | Онлайн | Табличное Q-обучение. | |- | Лекция<br> ''11 октября'' | Очно | Deep Q-Network (DQN) и его модификации. | * [[Media:Deep_Q_learning_2021.pdf|Слайды занятия]] * [https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf DQN] * [https://arxiv.org/pdf/1509.06461.pdf Double DQN] * [https://arxiv.org/pdf/1511.05952.pdf Prioritized Experience Replay] * [https://arxiv.org/abs/1706.10295 Noisy Networks] * [https://arxiv.org/abs/1511.06581 Dueling DQN] | * [https://openreview.net/pdf?id=r1lyTjAqYX R2D2] * [https://arxiv.org/abs/2003.13350 Agent57] |- | Лекция<br> ''18 октября'' | Очно | Distributional RL. Quantile Regression DQN (QR-DQN). | * [https://arxiv.org/pdf/1707.06887.pdf Categorical DQN] * [https://arxiv.org/pdf/1710.10044.pdf QR-DQN] | * [https://arxiv.org/pdf/1806.06923.pdf Implicit Quantile Networks (IQN)] * [https://arxiv.org/pdf/1710.02298.pdf Rainbow DQN] |- | Лекция<br> ''25 октября'' | Очно | Многорукие бандиты, внутренняя мотивация для исследования среды. | * [https://banditalgs.com полезный ресурс по бандитам] * [[Media:Exploration-vs-exploitation.pdf|Слайды занятия]] * [https://drive.google.com/file/d/1Z4W_-0IaMNpZnhnMkqcDVM_EA79GFJo-/view Sutton, Barto], ch.2 * [https://arxiv.org/abs/1810.12894 Random Network Distillation (RND)] * [https://arxiv.org/abs/1705.05363 Intrinsic Curiosity Module (ICM)] | * [https://lilianweng.github.io/lil-log/2020/06/07/exploration-strategies-in-deep-reinforcement-learning.html Обзор модулей внутренней мотивации] * [https://arxiv.org/abs/1605.09674 Variational Information Maximizing Exploration (VIME)] * [https://arxiv.org/abs/2002.06038 Never Give Up (NGU)] |- | Семинар<br> ''25 октября'' | Очно | Бернулиевские бандиты, ICM, RND. | | |- | Лекция<br> ''1 ноября'' | Очно | Policy gradient подход. Advantage Actor-Critic (A2C). | * [https://drive.google.com/file/d/1Z4W_-0IaMNpZnhnMkqcDVM_EA79GFJo-/view Sutton, Barto], ch.13 * [https://arxiv.org/pdf/1602.01783.pdf A2C] | * [https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html#what-is-policy-gradient Обзор Policy Gradient алгоритмов] * [https://hackernoon.com/intuitive-rl-intro-to-advantage-actor-critic-a2c-4ff545978752 Комикс про A2C] |- | Семинар<br> ''1 ноября'' | Очно | Реализация policy gradient | | |- | Лекция<br> ''8 ноября'' | Очно | Proximal Policy Optimization (PPO) и Generalized Advantage Estimation (GAE). | * [[Media:MSU_2021_PPO.pdf|Слайды занятия]] * [https://arxiv.org/pdf/1502.05477.pdf TRPO] * [https://arxiv.org/pdf/1707.06347.pdf PPO] * [https://arxiv.org/pdf/1506.02438.pdf GAE] | * [https://arxiv.org/pdf/2005.12729.pdf Implementation matters in RL] * [https://drive.google.com/file/d/1Z4W_-0IaMNpZnhnMkqcDVM_EA79GFJo-/view Sutton, Barto], ch.12 |- | Лекция<br> ''15 ноября'' | Очно | DDPG, Soft Actor Critic. | * [https://arxiv.org/pdf/1509.02971.pdf Deep Deterministic Policy Gradient (DDPG)] * [https://arxiv.org/pdf/1802.09477.pdf Twin-Delayed DDPG (TD3)] * [https://arxiv.org/pdf/1801.01290.pdf Soft Actor-Critic (SAC)] | * [https://arxiv.org/abs/2005.04269 Truncated Quantile Critics (TQC)] * [https://arxiv.org/pdf/1805.00909.pdf RL as probabilistic inference] |- | Лекция<br> ''22 ноября'' | Очно | Имитационное обучение. Обратное обучение с подкреплением. | * [https://arxiv.org/pdf/1603.00448.pdf Guided Cost Learning] * [https://arxiv.org/pdf/1606.03476.pdf Generative Adversarial Imitation Learning (GAIL)] | |- | Лекция<br> ''29 ноября'' | Очно | Monte Carlo Tree Search. AlphaZero, MuZero. | * [https://discovery.ucl.ac.uk/id/eprint/10045895/1/agz_unformatted_nature.pdf AlphaZero] * [https://arxiv.org/pdf/1911.08265.pdf MuZero] | * [https://miro.medium.com/max/2000/1*0pn33bETjYOimWjlqDLLNw.png AlphaZero in one picture] |- | Лекция<br> ''6 декабря'' | Очно | Linear Quadratic Regulator (LQR). Model-based RL. Dreamer. | * [http://rail.eecs.berkeley.edu/deeprlcourse/static/slides/lec-10.pdf Презентация по MCTS и LQR] * [http://rail.eecs.berkeley.edu/deeprlcourse/static/slides/lec-11.pdf Презентация по Model-based RL] * [https://arxiv.org/abs/1912.01603 Dreamer v1] * [https://arxiv.org/abs/2010.02193 Dreamer v2] | * [https://worldmodels.github.io/ World Models] |- | Лекция<br> ''13 декабря'' | Очно | LLM Alignment, RL from human feedback. | | |- | Лекция<br> ''20 декабря'' | Очно | Partially observable MDPs (POMDPs). | | |- |} == Страницы курса прошлых лет == [[Обучение с подкреплением (курс лекций) / 2020|2020-й год]]<br> [[Обучение с подкреплением (курс лекций) / 2021|2021-й год]]<br> [[Обучение с подкреплением (курс лекций) / 2022|2022-й год]]<br> [[Обучение с подкреплением (курс лекций) / 2023|2023-й год]]<br> == Материалы == * [https://github.com/FortsAndMills/RL-Theory-book/blob/main/RL_Theory_Book.pdf Полунеофициальный конспект] * [https://github.com/yandexdataschool/Practical_RL Курс Practical RL (ШАД)] * [https://www.youtube.com/playlist?list=PLkFD6_40KJIxJMR-j5A1mkxK26gh_qg37 Курс Deep Reinforcement Learning (CS 285), UC Berkeley] [[Категория:Учебные курсы]] [[Категория:Обучение с подкреплением]]

Возврат к странице Обучение с подкреплением (курс лекций) / 2024.