Глубинное обучение (курс лекций)
Материал из MachineLearning.
(→Расписание) |
м (→Занятия) |
||
(44 промежуточные версии не показаны) | |||
Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
- | + | '''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Tipt0p|Е.М. Лобачёва]], А.А. Осокин и др. | |
- | + | В осеннем семестре 2017 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50. | |
- | + | Вопросы по курсу можно направлять письмом на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО17]. | |
- | + | == Объявления == | |
+ | |||
+ | '''25.12.17''': Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59. | ||
+ | |||
+ | '''23.12.17''': Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00. | ||
+ | |||
+ | '''22.12.17''': Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. [[Media:DL17_test_questions.pdf|Список вопросов к зачёту.]] | ||
+ | |||
+ | '''15.12.17''': Внимание! Сегодня занятия по курсу отменяются. | ||
+ | |||
+ | '''13.12.17''': выложено второе практическое задание по курсу. | ||
+ | |||
+ | '''03.11.17''': Внимание! Сегодня занятия по курсу отменяются. | ||
+ | |||
+ | '''05.10.17''': завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50. | ||
+ | |||
+ | == Экзамен == | ||
+ | Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. | ||
+ | |||
+ | [[Media:DL17_exam_questions.pdf|Список вопросов к экзамену]] | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
- | + | Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание. | |
== Практические задания == | == Практические задания == | ||
+ | Задания выдаются и принимаются через систему ''anytask.org''. Для получения инвайта просьба писать на почту курса. | ||
- | Задание 1. Автоматическое дифференцирование для автокодировщика | + | Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59. |
- | Задание 2. Рекуррентные | + | Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59. |
- | == | + | == Занятия == |
{| class="standard" | {| class="standard" | ||
!Дата !! № занятия !! Занятие !! Материалы | !Дата !! № занятия !! Занятие !! Материалы | ||
|- | |- | ||
- | | | + | | 8 сентября 2017 || align="center"|1 || Введение в курс. Автоматическое дифференцирование. || |
|- | |- | ||
- | | | + | | 15 сентября 2017 || align="center"|2 || Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. || [[Media:VKitov-DL-Regularization_in_deep_learning.pdf |Презентация]] |
|- | |- | ||
- | | | + | | 22 сентября 2017 || align="center"|3 || Свёрточные нейронные сети для задачи классификации изображений || [[Media:Dl17_Osokin_Convnets.pdf|Презентация]] |
|- | |- | ||
- | | | + | | 29 сентября 2017 || align="center"|4 || Свёрточные нейронные сети в задачах компьютерного зрения || [[Media:Dl17_Osokin_Deepvision.pdf|Презентация]] |
|- | |- | ||
- | | | + | | 6 октября 2017 || align="center"|5 || Рекуррентные нейронные сети || [https://drive.google.com/open?id=0B7TWwiIrcJstZjdWTG84VVF1eDA Презентация] |
|- | |- | ||
- | | | + | | 13 октября 2017 || align="center"|6 || Память и внимание в глубинном обучении || [https://drive.google.com/open?id=1y3KHkvr0aWKGHvsrLwvLPXbCEQHt7N_r Презентация] |
|- | |- | ||
- | | | + | | 20 октября 2017 || align="center"|7 || Вариационный автокодировщик || |
|- | |- | ||
- | | | + | | 27 октября 2017 || align="center"|8 || Перенос стиля изображений || [https://yadi.sk/i/pKPEkEJ63RNonk Презентация] <br> (обновлена 11.01.2018) |
|- | |- | ||
- | | | + | | 10 ноября 2017 || align="center"|9 || Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) || |
|- | |- | ||
- | | | + | | 17 ноября 2017 || align="center"|10 || Policy based и actor-critic алгоритмы в обучении с подкреплением || |
+ | |- | ||
+ | | 24 ноября 2017 || align="center"|11 || Генеративно-состязательные сети || [[Media:VKitov-DL2017-Generative_adversarial_learning.pdf |Презентация]] | ||
+ | |- | ||
+ | | 1 декабря 2017 || align="center"|12 || Механизмы внимания в глубинном обучении || [https://docs.google.com/presentation/d/1x7oBI9y-s3x8dKkMx849hxNg8lIPBTv1qFWBbfhuinI/edit#slide=id.p Презентация] | ||
+ | |- | ||
+ | | 8 декабря 2017 || align="center"|13 || Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу. || | ||
|- | |- | ||
- | |||
|} | |} | ||
== Литература == | == Литература == | ||
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016. | # Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016. | ||
+ | |||
+ | == Архив == | ||
+ | [[Глубинное обучение (курс лекций)/2016|2016 год]] |
Версия 13:03, 26 января 2018
Преподаватели: Д.А. Кропотов, В.В. Китов, Е.М. Лобачёва, А.А. Осокин и др.
В осеннем семестре 2017 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.
Вопросы по курсу можно направлять письмом на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО17].
Объявления
25.12.17: Срок сдачи второго практического задания продлён до пятницы, 29 декабря, 23:59.
23.12.17: Пересдача зачёта по курсу состоится в пятницу, 29 декабря, в ауд. 523, начало в 11-00.
22.12.17: Зачёт по курсу состоится завтра, 23 декабря, в ауд. 682, начало в 13-00. Список вопросов к зачёту.
15.12.17: Внимание! Сегодня занятия по курсу отменяются.
13.12.17: выложено второе практическое задание по курсу.
03.11.17: Внимание! Сегодня занятия по курсу отменяются.
05.10.17: завтра занятия по курсу пройдут в обычное время с 10-30 до 13-50.
Экзамен
Экзамен состоится 14 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
Система выставления оценок по курсу
Оценка за курс вычисляется по правилу 0.5*(оценка за экзамен) + 0.25*(оценка за задание 1) + 0.25*(оценка за задание 2). Округление проводится к ближайшему целому. Для получения оценок «отлично» и «хорошо» необходимо сдать оба практических задания. Для получения оценки «удовлетворительно» необходимо сдать одно практическое задание.
Практические задания
Задания выдаются и принимаются через систему anytask.org. Для получения инвайта просьба писать на почту курса.
Задание 1. Автоматическое дифференцирование для автокодировщика. Срок сдачи: 8 октября (воскресенье), 23:59.
Задание 2. Рекуррентные сети. Срок сдачи: 29 декабря (пятница), 23:59.
Занятия
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
8 сентября 2017 | 1 | Введение в курс. Автоматическое дифференцирование. | |
15 сентября 2017 | 2 | Методы регуляризации для нейросетей. Стохастическая оптимизация. Введение в pytorch. | Презентация |
22 сентября 2017 | 3 | Свёрточные нейронные сети для задачи классификации изображений | Презентация |
29 сентября 2017 | 4 | Свёрточные нейронные сети в задачах компьютерного зрения | Презентация |
6 октября 2017 | 5 | Рекуррентные нейронные сети | Презентация |
13 октября 2017 | 6 | Память и внимание в глубинном обучении | Презентация |
20 октября 2017 | 7 | Вариационный автокодировщик | |
27 октября 2017 | 8 | Перенос стиля изображений | Презентация (обновлена 11.01.2018) |
10 ноября 2017 | 9 | Обучение с подкреплением, алгоритм Q обучения, Deep Q Network (DQN) | |
17 ноября 2017 | 10 | Policy based и actor-critic алгоритмы в обучении с подкреплением | |
24 ноября 2017 | 11 | Генеративно-состязательные сети | Презентация |
1 декабря 2017 | 12 | Механизмы внимания в глубинном обучении | Презентация |
8 декабря 2017 | 13 | Нейронные сети в структурном предсказании. Дифференцирование алгоритмов по входу. |
Литература
- Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.