Глубинное обучение (курс лекций)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Текущая версия (16:07, 24 сентября 2018) (править) (отменить)
 
(35 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
__NOTOC__
+
#REDIRECT [[Глубинное обучение (курс лекций)/2018]]
-
 
+
-
Описание
+
-
 
+
-
'''Преподаватели''': [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Victor Kitov|В.В. Китов]], [[Участник:Dmitry Vetrov|Д.П. Ветров]], [[Участник:Tipt0p|Е.М. Лобачёва]], [[Участник:artemov|А. В. Артёмов]], [https://ars-ashuha.ru А. Ашуха], А. Панин.
+
-
 
+
-
По всем вопросам, связанным с курсом, просьба писать на ''bayesml@gmail.com''. В название письма обязательно добавлять [ВМК ГО16].
+
-
 
+
-
В осеннем семестре 2016 года занятия по курсу проходят на [[ВМК]] в ауд. 582 с 10-30 до 13-50.
+
-
 
+
-
== Система выставления оценок по курсу ==
+
-
В рамках курса предполагается три практических заданий и экзамен. Каждое задание оценивается из 5-ти баллов. За просрочку при сдаче задания начисляется штраф из расчёта 0.1 балла в день, но суммарно не более 3-х баллов. В итоговой оценке 70% составляют баллы за практические задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону. Для получения итоговой оценки 3 необходимо выполнить не менее одного практического задания, для оценки 4 – не менее двух практических заданий, для оценки 5 – три практических задания.
+
-
 
+
-
== Экзамен ==
+
-
Экзамен по курсу состоится 16 января в ауд. 523, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум. Незнание ответов на вопросы из теор. минимума влечёт неудовлетворительную оценку за экзамен.
+
-
 
+
-
[[Media:DL16_exam_questions.pdf| Вопросы к экзамену]]
+
-
 
+
-
== Практические задания ==
+
-
 
+
-
Задание 1. Автоматическое дифференцирование для автокодировщика ([[Media:Dl16_assignment1.pdf|формулировка]], [[Media:Dl16_assignment1_codes.zip|коды]]). Срок сдачи: 9 ноября, 23:59. {{важно|Добавлены коды методов оптимизации ADAM и HFN.}}
+
-
 
+
-
Задание 2. Рекуррентные нейронные сети: [https://drive.google.com/file/d/0B7TWwiIrcJstNDE5N29PNFhfQlU/view?usp=sharing формулировка], [https://drive.google.com/file/d/0B7TWwiIrcJstM1ppckdHdnY5YkU/view?usp=sharing ноутбук с генерацией], [https://drive.google.com/file/d/0B7TWwiIrcJstQTRJYWhidmNKRWM/view?usp=sharing ноутбук с классификацией], [https://drive.google.com/drive/folders/0B7TWwiIrcJstYXpCVV96S1hNUHM?usp=sharing данные]. Срок сдачи: 27 ноября (воскресенье), 23:59.
+
-
 
+
-
Задание 3. Сверточные нейронные сети для детекции объектов: [https://yadi.sk/d/3arpo9Nz32JbpR формулировка], ссылки на данные находятся внутри PDF-файла с формулировкой. Срок сдачи: 14 января, 23:59.
+
-
 
+
-
Задание 4. Бонусное: Генерация описаний для изображений [[Media:Msu-dl16-hw4.pdf|формулировка]] Срок сдачи: 8 января (воскресенье), 23:59. Выполнение бонусного задания является альтернативой сдачи экзамена по курсу.
+
-
 
+
-
== Расписание ==
+
-
 
+
-
{| class="standard"
+
-
!Дата !! № занятия !! Занятие !! Материалы
+
-
|-
+
-
| 2 сентября 2016 || align="center"|1 || Введение в курс. Стохастическая оптимизация. || [[Media:DL16_lecture_1.pdf|Презентация]]
+
-
|-
+
-
| 9 сентября 2016 || align="center"|2 || Сети прямого распространения. Автоматическое дифференцирование. ||
+
-
|-
+
-
| 16 сентября 2016 || align="center"|3 || Сверточные нейронные сети. || [[Media:DL16_lecture_3.pdf|Презентация]]
+
-
|-
+
-
| 23 сентября 2016 || align="center"|4 || Регуляризация нейронных сетей. || [[Media:DL16-Lecture_4.pdf‎‎|Презентация]]
+
-
|-
+
-
| 30 сентября 2016 || align="center"|5 || Нейронные сети для компьютерного зрения. Локализация, детектирование и распознавание объектов. || [https://yadi.sk/d/ID8zmeKZwY5tN Презентация]
+
-
|-
+
-
| rowspan=2|7 октября 2016 || rowspan=2, align="center"|6 || Визуализация слоев. Neural Style. || [https://yadi.sk/i/hmuXwl9iwY5jn Презентация]
+
-
|-
+
-
| Предобработка текстов. || [[Media:DL16-Lecture_7.pdf‎‎|Презентация]]
+
-
|-
+
-
| 14 октября 2016 || align="center"|7 || Рекуррентные нейронные сети. Проблема затухающих и взрывающихся градиентов. || rowspan=2|[https://drive.google.com/file/d/0B7TWwiIrcJstTnp2NktiUUtNbUk/view?usp=sharing Презентация]
+
-
|-
+
-
| 21 октября 2016 || align="center"|8 || Примеры применения рекуррентных нейронных сетей. Регуляризация.
+
-
|-
+
-
| 28 октября 2016 || align="center"|9 || Автокодировщики. || [[Media:DL16_lecture_9.pdf|Презентация]]
+
-
|-
+
-
| 11 ноября 2016 || align="center"|10 || Байесовский подход к теории вероятностей. Модели со скрытыми переменными. || [[Media:MMP_Practicum_317_2015_EM_algorithm.pdf|Конспект по ЕМ-алгоритму]]
+
-
|-
+
-
| 18 ноября 2016 || align="center"|11 || Вариационный автокодировщик. Стохастический граф вычислений. || [[Media:BMMO11_11.pdf|Конспект по вероятностному методу главных компонент]] [https://arxiv.org/abs/1312.6114 Статья]
+
-
|-
+
-
| 25 ноября 2016 || align="center"|12 || Генерация текста по картинке. || [https://github.com/ars-ashuha/ars-ashuha.github.io/blob/master/slides/2016.11.11_ImageCaptioning/image_captionong.pdf Презентация]
+
-
|-
+
-
| 2 декабря 2016 || align="center"|13 || Обучение с подкреплением. Примеры задач. || [[Media:DL16_lecture_13.pdf|Презентация]]
+
-
|-
+
-
| 9 декабря 2016 || align="center"|14 || Использование нейросетей в обучении с подкреплением. || [[Media:DL16_lecture_14.pdf|Презентация]]
+
-
|-
+
-
|}
+
-
 
+
-
== Литература ==
+
-
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. [http://www.deeplearningbook.org/ Deep Learning], MIT Press, 2016.
+

Текущая версия

  1. REDIRECT Глубинное обучение (курс лекций)/2018
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%93%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29»
Личные инструменты