Глубинное обучение (курс лекций)
Материал из MachineLearning.
Описание
Преподаватели: Д.А. Кропотов, В.В. Китов, Д.П. Ветров, Е.М. Лобачёва, А. В. Артёмов, А. Ашуха, А. Панин.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО16].
В осеннем семестре 2016 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.
Система выставления оценок по курсу
В рамках курса предполагается три практических заданий и экзамен. Каждое задание оценивается из 5-ти баллов. За просрочку при сдаче задания начисляется штраф из расчёта 0.1 балла в день, но суммарно не более 3-х баллов. В итоговой оценке 70% составляют баллы за практические задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону. Для получения итоговой оценки 3 необходимо выполнить не менее одного практического задания, для оценки 4 – не менее двух практических заданий, для оценки 5 – три практических задания.
Экзамен
Экзамен по курсу состоится 16 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум. Незнание ответов на вопросы из теор. минимума влечёт неудовлетворительную оценку за экзамен.
Практические задания
Задание 1. Автоматическое дифференцирование для автокодировщика (формулировка, коды). Срок сдачи: 9 ноября, 23:59. Добавлены коды методов оптимизации ADAM и HFN.
Задание 2. Рекуррентные нейронные сети: формулировка, ноутбук с генерацией, ноутбук с классификацией, данные. Срок сдачи: 27 ноября (воскресенье), 23:59.
Задание 3. Сверточные нейронные сети для детекции объектов: формулировка, ссылки на данные находятся внутри PDF-файла с формулировкой. Срок сдачи: 14 января, 23:59.
Задание 4. Бонусное: Генерация описаний для изображений формулировка Срок сдачи: 8 января (воскресенье), 23:59. Выполнение бонусного задания является альтернативой сдачи экзамена по курсу.
Расписание
| Дата | № занятия | Занятие | Материалы |
|---|---|---|---|
| 2 сентября 2016 | 1 | Введение в курс. Стохастическая оптимизация. | Презентация |
| 9 сентября 2016 | 2 | Сети прямого распространения. Автоматическое дифференцирование. | |
| 16 сентября 2016 | 3 | Сверточные нейронные сети. | Презентация |
| 23 сентября 2016 | 4 | Регуляризация нейронных сетей. | Презентация |
| 30 сентября 2016 | 5 | Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. | Презентация |
| 7 октября 2016 | 6 | Визуализация слоев. Neural Style. | Презентация |
| Предобработка текстов. | Презентация | ||
| 14 октября 2016 | 7 | Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. | Презентация |
| 21 октября 2016 | 8 | Примеры применения рекуррентных нейронных сетей. Регуляризация. | |
| 28 октября 2016 | 9 | Автокодировщики. | Презентация |
| 11 ноября 2016 | 10 | Байесовский подход к теории вероятностей. Модели со скрытыми переменными. | Конспект по ЕМ-алгоритму |
| 18 ноября 2016 | 11 | Вариационный автокодировщик. Стохастический граф вычислений. | Конспект по вероятностному методу главных компонент Статья |
| 25 ноября 2016 | 12 | Генерация текста по картинке. | Презентация |
| 2 декабря 2016 | 13 | Обучение с подкреплением. Примеры задач. | Презентация |
| 9 декабря 2016 | 14 | Использование нейросетей в обучении с подкреплением. | Презентация |
Литература
- Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.
