Машинное обучение (семинары, ВМК МГУ)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Расписание занятий)
Строка 12: Строка 12:
|}
|}
-
<!-- == Новости == -->
+
=== Актуальная информация ===
-
<!-- * новостей нет! -->
+
-
== Выставление оценки за курс ==
+
Вся актуальная информация по курсу находится на странице https://github.com/esokolov/ml-course-msu
-
 
+
-
Итоговая контрольная работа:
+
-
 
+
-
# На последней лекции будет проведена контрольная работа, которая затронет все темы, изученные в течение семестра.
+
-
# Контрольная оценивается по двухбалльной шкале (зачет/незачет), незачет влечет за собой недопуск к экзамену.
+
-
# Студент, не получивший допуск, переписывает на экзамене контрольную. В случае успеха он сдает экзамен на первой пересдаче. В случае незачета он снова переписывает контрольную на первой пересдаче, и так далее.
+
-
 
+
-
Семинары:
+
-
 
+
-
# На семинарах по каждой пройденной теме будут проводиться проверочные работы. Каждая проверочная оценивается по пятибалльной шкале. В зависимости от оценки за проверочную, студент освобождается от части или от всех задач по этой теме на итоговой контрольной работе.
+
-
# Также на семинарах будут выдаваться практические задания, которые будут оцениваться по пятибалльной шкале.
+
-
# В течение семестра будут проводиться конкурсы по анализу данных. Каждый конкурс оценивается по 15-балльной шкале. За первое, второе и третье место выставляется 15, 13 и 11 баллов соответственно при условии, что студенты выступят с докладом о своем решении (в противном случае они получают 10 баллов). За места с четвертого и по самое последнее, превосходящее бейзлайн, выставляется от 10 до 1 баллов по равномерной сетке. Если все присланные группой решения будут тривиальными, то преподаватель имеет право снизить максимальную оценку до 10 или до 5 баллов.
+
-
# Оценка за работу в семестре равна сумме оценок за проверочные работы, практические задания и конкурсы.
+
-
# Если оценка за работу в семестре не меньше 100% от максимальной оценки за проверочные и лабораторные работы, то студент освобождается от написания итоговой контрольной и получает допуск к экзамену автоматом.
+
-
# Если оценка за работу в семестре не меньше 80% от максимальной оценки за проверочные и лабораторные работы и конкурсы, то студент получает +1 балл на экзамене (при условии получения положительной оценки).
+
-
# В конце семестра разрешается переписать одну пропущенную по любой причине проверочную работу. Также разрешается переписать все проверочные, пропущенные по уважительной причине.
+
-
 
+
-
== Весенний семестр 2015/2016 ==
+
-
 
+
-
=== Расписание занятий ===
+
-
 
+
-
Занятия проходят в ауд. 582 по пятницам, начало в 8:45.
+
-
 
+
-
{|class = "standard"
+
-
! Дата !! Номер !! Тема !! Материалы !! Д/З
+
-
|-
+
-
|12 февраля
+
-
|align="center"|Семинар 1
+
-
|
+
-
EM-алгоритм:
+
-
* Скрытые переменные и смеси распределений
+
-
* EM-алгоритм в общем виде
+
-
* Вывод формул для смеси нормальных распределений
+
-
* Дивергенция Кульбака-Лейблера, ее свойства
+
-
* Обоснование EM-алгоритма
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem01_em.pdf Конспект]
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/homeworks/Sem01_em_hw.pdf Домашнее задание]
+
-
|-
+
-
|19 февраля
+
-
|align="center"|Семинар 2
+
-
|
+
-
Композиционные методы:
+
-
* Бутстрэппинг, уменьшение средней ошибки при усреднении алгоритмов
+
-
* AdaBoost: метод обучения, скорость сходимости
+
-
* Семейства базовых классификаторов для AdaBoost
+
-
* Многоклассовый AdaBoost
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem02_ensembles.pdf Конспект]
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/homeworks/Sem02_ensembles_hw.pdf Домашнее задание]
+
-
|-
+
-
|4 марта
+
-
|align="center"|Семинар 3
+
-
|
+
-
Композиционные методы:
+
-
* Бустинг с квадратичной функцией потерь
+
-
* Градиентный бустинг как градиентный спуск в функциональном пространстве
+
-
* Регуляризация в градиентном бустинге: сокращение шага и бэггинг
+
-
* Логистическая функция потерь, ее обоснование и формулы для бустинга
+
-
* Градиентный бустинг над деревьями, переподбор ответов в листьях
+
-
* Взвешивание объектов в градиентном бустинге
+
-
* Сравнение логистической и экспоненциальной функций потерь
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem03_ensembles.pdf Конспект]
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/homeworks/Sem03_ensembles_hw.pdf Домашнее задание]
+
-
|-
+
-
|11 марта
+
-
|align="center"|Семинар 4
+
-
|
+
-
Композиционные методы:
+
-
* Разложение ошибки на шум, смещение и разброс (bias-variance decomposition)
+
-
* Смещение и разброс метода k ближайших соседей
+
-
* Бутстрэп
+
-
* Бэггинг, его смещение и разброс
+
-
* Случайные леса, out-of-bag-оценки
+
-
* Связь случайных лесов с метрическими методами
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem04_ensembles.pdf Конспект]
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/homeworks/Sem04_ensembles_hw.pdf Домашнее задание]
+
-
|-
+
-
|18 марта
+
-
|align="center"|Семинар 5
+
-
|
+
-
Композиционные методы:
+
-
* Вывод шага градиентного бустинга через разложение в ряд Тейлора
+
-
* XGBoost: принципы работы и практическое использование
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem05_ensembles.pdf Конспект]
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/src/Sem05_ensembles.ipynb Код]
+
-
|
+
-
|-
+
-
|25 марта
+
-
|align="center"|Семинар 6
+
-
|
+
-
Рассказы о решении первого конкурса
+
-
| Презентации:
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest01-dota/kayumov_report.pdf Каюмов]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest01-dota/kovalenko_report.pdf Коваленко]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest01-dota/nikolaev_report.pdf Николаев]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest01-dota/popov_report.pdf Попов]
+
-
|
+
-
|-
+
-
|15 апреля
+
-
|align="center"|Семинар 6
+
-
|
+
-
Метод главных компонент:
+
-
* Вывод решения
+
-
* Постановка задачи через поиск проекционной гиперплоскости и через максимизацию дисперсии
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem06_pca.pdf Конспект]
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/src/Sem06_pca.ipynb Код]
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/homeworks/Sem06_pca_hw.pdf Домашнее задание]
+
-
|-
+
-
|22 апреля
+
-
|align="center"|Семинар 7
+
-
|
+
-
Методы отбора признаков:
+
-
* Отбор по дисперсии
+
-
* Одномерные методы
+
-
* Lasso и модификации
+
-
* Отбор с помощью Random Forest
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/src/Sem07_feature_selection.ipynb Код]
+
-
|
+
-
|-
+
-
|22 апреля
+
-
|align="center"|Семинар 8
+
-
|
+
-
Рассказы о конкурсе ШАДа и конкурсе BNP Paribas.
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest02-shad/kayumov_report.pdf Каюмов (ШАД)]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest02-shad/illarionova_report.pdf Илларионова (ШАД)]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest02-shad/amir_report.pdf Амир (ШАД)]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest02-bnp-paribas/kayumov_report.pdf Каюмов (BNP Paribas)]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest02-bnp-paribas/popov_report.pdf Попов (BNP Paribas)]
+
-
 
+
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest02-bnp-paribas/nikolaev_report.pdf Николаев (BNP Paribas)]
+
-
|
+
-
|-
+
-
|29 апреля
+
-
|align="center"|Семинар 9
+
-
|
+
-
Нейронные сети:
+
-
* Backpropagation
+
-
* Свёрточные нейронные сети
+
-
* Инструменты для обучение нейросетей, mxnet
+
-
* Данные MNIST
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/src/Sem09_mxnet_mnist_example.ipynb Код]
+
-
|
+
-
|-
+
-
|13 мая
+
-
|align="center"|Семинар 10
+
-
|
+
-
Матричные разложения:
+
-
* Функционалы качества и модели шума
+
-
* Неотрицательные матричные разложения
+
-
* Факторизационные машины
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/lecture-notes/Sem10_factorizations.pdf Конспект]
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/homeworks/Sem10_factorizations_hw.pdf Домашнее задание]
+
-
|}
+
-
 
+
-
=== Практические задания ===
+
-
 
+
-
Решения желательно присылать сразу в двух форматах:
+
-
* ссылка для просмотра ноутбука на NBViewer или GitHub
+
-
* файл с ноутбуком во вложении
+
-
 
+
-
За каждый день просрочки из оценки вычитается 0.2 балла.
+
-
 
+
-
{|class = "standard"
+
-
! Задание !! Тема !! Дата выдачи !! Срок сдачи !! Условие
+
-
|-
+
-
| Лабораторная работа 1
+
-
| Линейные методы
+
-
| 29.02.2016
+
-
| 14.03.2016
+
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15-spring/labs/lab01-linear.ipynb Условие]
+
-
|-
+
-
|}
+
-
 
+
-
[[Машинное обучение (семинары, ВМК МГУ)/Виртуальная машина|Виртуальная машина с питоном и библиотеками]]
+
-
 
+
-
Полезные ссылки: см. репозиторий.
+
-
 
+
-
=== Соревнования ===
+
-
{|class = "standard"
+
-
! Задание !! Тема !! Дата начала !! Дата окончания !! Ссылка
+
-
|-
+
-
| Соревнование 1
+
-
| Предскажите вероятность победы команды в Dota 2
+
-
| 18.02.2016
+
-
| 13.03.2016
+
-
| https://kaggle.com/join/cmcmlspring20161
+
-
|-
+
-
| Соревнование 2
+
-
| Определите наличие осложнений у пациента
+
-
| 29.03.2016
+
-
| 19.04.2016
+
-
| https://inclass.kaggle.com/c/competition-2-yandex-shad-spring
+
-
 
+
-
(за доступом обращайтесь к семинаристу)
+
-
|}
+
-
 
+
-
Все студенты должны прислать краткий отчет о своем решении и код, воспроизводящий результат.
+
=== Оценки ===
=== Оценки ===
-
https://docs.google.com/spreadsheets/d/1vK3gM6sAj2TEqO9mPhm5cIuNSmpsw3CIpQnb4G4Dguo/edit?usp=sharing
+
https://docs.google.com/spreadsheets/d/1A5BJs_dJcmqY2KVBUCTWlXueTeFWNVT6Tbx5e3dN6_c/edit?usp=sharing
== Страницы курса прошлых лет ==
== Страницы курса прошлых лет ==
 +
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, весна|2015-2016 год, весна]]
 +
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, осень|2015-2016 год, осень]]
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, осень|2015-2016 год, осень]]

Версия 20:03, 20 октября 2016

Содержание

Актуальная информация

Вся актуальная информация по курсу находится на странице https://github.com/esokolov/ml-course-msu

Оценки

https://docs.google.com/spreadsheets/d/1A5BJs_dJcmqY2KVBUCTWlXueTeFWNVT6Tbx5e3dN6_c/edit?usp=sharing

Страницы курса прошлых лет

2015-2016 год, весна

2015-2016 год, осень

2014-2015 год, весна

2014-2015 год, осень

2013-2014 год, весна

2013-2014 год, осень

2012 год

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%D1%8B%2C_%D0%92%D0%9C%D0%9A_%D0%9C%D0%93%D0%A3%29»
Личные инструменты