Глубинное обучение (курс лекций)
Материал из MachineLearning.
Преподаватели: Д.А. Кропотов, В.В. Китов, Е.М. Лобачёва, А.А. Осокин и др.
В осеннем семестре 2017 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.
Вопросы по курсу можно направлять письмом на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО17].
Объявления
25.12.17: Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59.
23.12.17: Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00.
22.12.17: Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. Список вопросов к зачёту.
15.12.17: Внимание! Сегодня занятия по курсу отменяются.
13.12.17: выложено второе практическое задание по курсу.
03.11.17: Внимание! Сегодня занятия по курсу отменяются.
05.10.17: завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
Экзамен
Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
Система выставления оценок по курсу
Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание.
Практические задания
Задания выдаются и принимаются через систему anytask.org. Для получения инвайта просьба писать на почту курса.
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59.
Занятия
| Дата | № занятия | Занятие | Материалы |
|---|---|---|---|
| 8 сентября 2017 | 1 | Введение в курс. Автоматическое дифференцирование. | |
| 15 сентября 2017 | 2 | Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. | Презентация |
| 22 сентября 2017 | 3 | Свёрточные нейронные сети для задачи классификации изображений | Презентация |
| 29 сентября 2017 | 4 | Свёрточные нейронные сети в задачах компьютерного зрения | Презентация |
| 6 октября 2017 | 5 | Рекуррентные нейронные сети | Презентация |
| 13 октября 2017 | 6 | Память и внимание в глубинном обучении | Презентация |
| 20 октября 2017 | 7 | Вариационный автокодировщик | |
| 27 октября 2017 | 8 | Перенос стиля изображений | Презентация (обновлена 11.01.2018) |
| 10 ноября 2017 | 9 | Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) | |
| 17 ноября 2017 | 10 | Policy based и actor-critic алгоритмы в обучении с подкреплением | |
| 24 ноября 2017 | 11 | Генеративно-состязательные сети | Презентация |
| 1 декабря 2017 | 12 | Механизмы внимания в глубинном обучении | Презентация |
| 8 декабря 2017 | 13 | Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу. |
Литература
- Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.
