Практикум на ЭВМ (317)/2019 (весна)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Материалы занятий)
(→Материалы занятий)
 
(23 промежуточные версии не показаны)
Строка 1: Строка 1:
* Обязательный курс для студентов каф. [[ММП]] 3 курса, 6 семестр
* Обязательный курс для студентов каф. [[ММП]] 3 курса, 6 семестр
* Зачёт с оценкой
* Зачёт с оценкой
-
* Преподаватели: [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Arti_lehtonen| Артём Попов]], Виктор Януш
+
* Преподаватели: [[Участник:Kropotov|Д.А. Кропотов]], [[Участник:Arti_lehtonen| Артём Попов]], Виктор Януш, Павел Мазаев
* Занятия проходят в ауд. 606 по понедельникам, начало в 16 20. Первое занятие 11 февраля.
* Занятия проходят в ауд. 606 по понедельникам, начало в 16 20. Первое занятие 11 февраля.
Строка 12: Строка 12:
= Правила сдачи практикума =
= Правила сдачи практикума =
-
1. В рамках семестра предполагается пять практических заданий. Все задания сдаются в систему anytask, инвайт к курсу можно получить у преподавателя.
+
1. В рамках семестра предполагается четыре практических заданий. Все задания сдаются в систему anytask, инвайт к курсу можно получить у преподавателя.
-
2. За каждое практическое задание можно получить до 10-ти баллов. Задание представляет собой jupyter notebook с некоторыми пропущенными шагами, которые необходимо выполнить. Формат сдачи задания — выполненный jupyter notebook. Срок выполнения каждого задания — 2 недели. За каждый день просрочки назначается штраф в 1 балл.
+
2. За первые три практических задания можно получить до 10-ти баллов, за последнее можно получить 15 баллов. Задание представляет собой jupyter notebook с некоторыми пропущенными шагами, которые необходимо выполнить. Формат сдачи задания — выполненный jupyter notebook. Срок выполнения каждого задания — 10 дней. За каждый день просрочки назначается штраф в 1 балл.
3. Предусмотрены бонусные активности: бонусные задачи, за которые можно получить дополнительные баллы.
3. Предусмотрены бонусные активности: бонусные задачи, за которые можно получить дополнительные баллы.
Строка 20: Строка 20:
4. Критерии итоговой оценки:
4. Критерии итоговой оценки:
-
* отлично — 40 баллов, 4 практических заданий сданы на оценку > 0
+
* отлично — 36 баллов, 4 практических задания сданы на оценку > 0
-
* хорошо — 30 баллов, 3 практических задания сданы на оценку > 0
+
* хорошо — 27 баллов, 3 практических задания сданы на оценку > 0
-
* удовлетворительно — 20 баллов, 2 практических задания сданы на оценку > 0
+
* удовлетворительно — 18 баллов, 2 практических задания сданы на оценку > 0
5. Задания выполняются самостоятельно (если не оговорено обратное). Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
5. Задания выполняются самостоятельно (если не оговорено обратное). Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Строка 38: Строка 38:
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/01.Backprop/tasks.pdf решение задач]
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/01.Backprop/tasks.pdf решение задач]
|
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 18 февраля
 +
| Занятие 2
 +
| Методы оптимизации для нейросетей.
 +
Регуляризация в нейросетях.
 +
 +
Инициализация для нейросетей.
 +
| [https://www.youtube.com/watch?v=djh4hBxTZRA&list=PLEqoHzpnmTfBSyGmE4nBlhxxi28dCZwWN&index=5&t=109s видеолеция про стохастическую оптимизацию]
 +
 +
[http://ruder.io/optimizing-gradient-descent/ обзор различных методов оптимизации нейросетей]
 +
 +
[http://jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf статья Dropout]
 +
 +
[https://arxiv.org/abs/1502.03167 статья BatchNormalization]
 +
 +
[https://kevinzakka.github.io/2016/09/14/batch_normalization/ градиенты для BatchNormalization]
 +
 +
[http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf статья про Glorot инициализацию]
 +
|
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/Tasks/01.nn_numpy/lab_01.ipynb 1 задание: обучение полносвязной нейросети]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 25 февраля
 +
| Занятие 3
 +
| Библиотека pytorch.
 +
 +
Google Colab.
 +
|
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/03.Pytorch/pytorch_bases.ipynb основы pytorch]
 +
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/03.Pytorch/cifar10_tutorial.ipynb обучение нейросетей в pytorch]
 +
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/03.Pytorch/colab_notebook.ipynb google colab]
 +
 +
[https://medium.freecodecamp.org/how-to-transfer-large-files-to-google-colab-and-remote-jupyter-notebooks-26ca252892fa загрузка данных в colab с google drive]
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 4 марта
 +
| Занятие 4
 +
| Свёрточные нейронные сети.
 +
 +
Задача сегментации изображений.
 +
|
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/04.CNN/CNN.pdf слайды]
 +
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 11 марта
 +
| Занятие 5
 +
| Матрично-векторное дифференцирование.
 +
| [[Media:MOMO18_Seminar1.pdf| Конспект]]
 +
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/Tasks/02.segmentation/lab_02.ipynb 2 задание: сегментация изображений]
 +
 +
[https://drive.google.com/file/d/1rkvlvCARQPl9hR6B0q6SL8F8ZdyXA1H6/view?usp=sharing ссылка на данные]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 18 марта
 +
| Занятие 6
 +
|
 +
Языковое моделирование.
 +
 +
Рекуррентные нейронные сети.
 +
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/06.LM/lm_rnn.pdf слайды]
 +
| <!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 25 марта
 +
| Занятие 7
 +
|
 +
Векторные представления слов.
 +
 +
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/07.embeddings/embeddings.pdf слайды]
 +
| <!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 1 апреля
 +
| Занятие 8
 +
|
 +
Задача машинного перевода.
 +
 +
Механизм внимания.
 +
 +
Статья Attention is all you need.
 +
 +
| [http://www.machinelearning.ru/wiki/images/1/18/Mmta2018-machine-translation.pdf слайды 1]
 +
[https://drive.google.com/file/d/1y3KHkvr0aWKGHvsrLwvLPXbCEQHt7N_r/view слайды 2]
 +
|
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/Tasks/03.rnn/lab_03.ipynb 3 задание: RNN & attention]
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 8 апреля
 +
| Занятие 9
 +
|
 +
Рекомендательные системы.
 +
 +
| [https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/blob/master/08.RecommendationSystems/slides.pdf слайды]
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 15 апреля
 +
| Занятие 10
 +
|
 +
Вычисления в конечных полях. Алгоритм Евклида.
 +
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 22 апреля
 +
| Занятие 11
 +
|
 +
Помехоустойчивое кодирование. Линейные и циклические коды.
 +
 +
|
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 29 апреля
 +
| Занятие 12
 +
|
 +
Декодирование в БЧХ-кодах.
 +
 +
|
 +
|
 +
[https://github.com/mmp-practicum-team/mmp_practicum_spring_2019/tree/master/Tasks/04.bch 4 задание: коды БЧХ]
<!-- Конец занятия -->
<!-- Конец занятия -->
|}
|}

Текущая версия

  • Обязательный курс для студентов каф. ММП 3 курса, 6 семестр
  • Зачёт с оценкой
  • Преподаватели: Д.А. Кропотов, Артём Попов, Виктор Януш, Павел Мазаев
  • Занятия проходят в ауд. 606 по понедельникам, начало в 16 20. Первое занятие 11 февраля.

Анонимные отзывы по курсу можно оставлять здесь: ссылка на гугл-форму

Репозиторий со всеми материалами: ссылка

Содержание

Объявления

Пока нет...

Правила сдачи практикума

1. В рамках семестра предполагается четыре практических заданий. Все задания сдаются в систему anytask, инвайт к курсу можно получить у преподавателя.

2. За первые три практических задания можно получить до 10-ти баллов, за последнее можно получить 15 баллов. Задание представляет собой jupyter notebook с некоторыми пропущенными шагами, которые необходимо выполнить. Формат сдачи задания — выполненный jupyter notebook. Срок выполнения каждого задания — 10 дней. За каждый день просрочки назначается штраф в 1 балл.

3. Предусмотрены бонусные активности: бонусные задачи, за которые можно получить дополнительные баллы.

4. Критерии итоговой оценки:

  • отлично — 36 баллов, 4 практических задания сданы на оценку > 0
  • хорошо — 27 баллов, 3 практических задания сданы на оценку > 0
  • удовлетворительно — 18 баллов, 2 практических задания сданы на оценку > 0

5. Задания выполняются самостоятельно (если не оговорено обратное). Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Материалы занятий

Дата Номер Тема Материалы Д/З
11 февраля Занятие 1 Автоматическое дифференцирование.

Решение задач на backpropagation.

решение задач
18 февраля Занятие 2 Методы оптимизации для нейросетей.

Регуляризация в нейросетях.

Инициализация для нейросетей.

видеолеция про стохастическую оптимизацию

обзор различных методов оптимизации нейросетей

статья Dropout

статья BatchNormalization

градиенты для BatchNormalization

статья про Glorot инициализацию

1 задание: обучение полносвязной нейросети

25 февраля Занятие 3 Библиотека pytorch.

Google Colab.

основы pytorch

обучение нейросетей в pytorch

google colab

загрузка данных в colab с google drive

4 марта Занятие 4 Свёрточные нейронные сети.

Задача сегментации изображений.

слайды

11 марта Занятие 5 Матрично-векторное дифференцирование. Конспект 2 задание: сегментация изображений

ссылка на данные

18 марта Занятие 6

Языковое моделирование.

Рекуррентные нейронные сети.

слайды
25 марта Занятие 7

Векторные представления слов.

слайды
1 апреля Занятие 8

Задача машинного перевода.

Механизм внимания.

Статья Attention is all you need.

слайды 1

слайды 2

3 задание: RNN & attention

8 апреля Занятие 9

Рекомендательные системы.

слайды
15 апреля Занятие 10

Вычисления в конечных полях. Алгоритм Евклида.

22 апреля Занятие 11

Помехоустойчивое кодирование. Линейные и циклические коды.

29 апреля Занятие 12

Декодирование в БЧХ-кодах.

4 задание: коды БЧХ

Страницы прошлых лет

2018-2019 (осень)

2017-2018 (осень) , 2017-2018 (весна)

2016-2017

2015-2016

2014-2015

2013-2014

2012-2013

2011-2012

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B0%D0%BA%D1%82%D0%B8%D0%BA%D1%83%D0%BC_%D0%BD%D0%B0_%D0%AD%D0%92%D0%9C_%28317%29/2019_%28%D0%B2%D0%B5%D1%81%D0%BD%D0%B0%29»
Личные инструменты