Глубинное обучение (курс лекций)
Материал из MachineLearning.
Описание
Преподаватели: Д.А. Кропотов, В.В. Китов, Д.П. Ветров, Е.М. Лобачёва, А. В. Артёмов, А. Ашуха, А. Панин.
По всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ВМК ГО16].
В осеннем семестре 2016 года занятия по курсу проходят на ВМК в ауд. 582 с 10-30 до 13-50.
Система выставления оценок по курсу
В рамках курса предполагается несколько практических заданий и экзамен. Каждое задание оценивается из 5-ти баллов. За просрочку при сдаче задания начисляется штраф из расчёта 0.1 балла в день, но суммарно не более 3-х баллов. В итоговой оценке 70% составляют баллы за практические задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону.
Практические задания
Задание 1. Автоматическое дифференцирование для автокодировщика (формулировка, коды). Срок сдачи продлён до 9 ноября, 23:59.
Задание 2. Рекуррентные нейронные сети: формулировка, ноутбук с генерацией, ноутбук с классификацией, данные. Срок сдачи: 27 ноября (воскресенье), 23:59.
Задание 3. Сверточные нейронные сети для детекции объектов: формулировка, ссылки на данные находятся внутри PDF-файла с формулировкой. Срок сдачи: 20 декабря (вторник), 23:59.
Задание 4. Бонусное: Генерация описаний для изображений формулировка Срок сдачи: 8 января (воскресенье), 23:59. Выполнение бонусного задания частично или полностью освободит Вас от экзамена.
Расписание
| Дата | № занятия | Занятие | Материалы |
|---|---|---|---|
| 2 сентября 2016 | 1 | Введение в курс. Стохастическая оптимизация. | Презентация |
| 9 сентября 2016 | 2 | Сети прямого распространения. Автоматическое дифференцирование. | |
| 16 сентября 2016 | 3 | Сверточные нейронные сети. | Презентация |
| 23 сентября 2016 | 4 | Регуляризация нейронных сетей. | Презентация |
| 30 сентября 2016 | 5 | Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. | Презентация |
| 7 октября 2016 | 6 | Визуализация слоев. Neural Style. | Презентация |
| Предобработка текстов. | Презентация | ||
| 14 октября 2016 | 7 | Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. | Презентация |
| 21 октября 2016 | 8 | Примеры применения рекуррентных нейронных сетей. Регуляризация. | |
| 28 октября 2016 | 9 | Автокодировщики. | Презентация |
| 11 ноября 2016 | 10 | Байесовский подход к теории вероятностей. Модели со скрытыми переменными. | Конспект по ЕМ-алгоритму |
| 18 ноября 2016 | 11 | Вариационный автокодировщик. Стохастический граф вычислений. | Конспект по вероятностному методу главных компонент Статья |
| 25 ноября 2016 | 12 | Генерация текста по картинке. | Презентация |
| 2 декабря 2016 | 13 | Обучение с подкреплением. Примеры задач. | Презентация |
| 9 декабря 2016 | 14 | Использование нейросетей в обучении с подкреплением. | Презентация |
Литература
- Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016.
