Машинное обучение (семинары, ВМК МГУ)

Материал из MachineLearning.

Версия от 21:53, 3 мая 2016; EvgSokolov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Содержание

1 Выставление оценки за курс
2 Весенний семестр 2015/2016
3 Страницы курса прошлых лет

Семинары в поддержку курса лекций «Машинное обучение» В. В. Китова.
Ведутся на кафедре ММП ВМК МГУ с осени 2012 года.
Семинарист: Соколов Е.А.
Почта семинариста: sokolov.evg+vmk-ml@gmail.com
Почта для заданий: ml.cmc.msu@gmail.com
Репозиторий с материалами: https://github.com/esokolov/ml-course-msu
Анонимные отзывы и комментарии по семинарам можно оставлять здесь: https://docs.google.com/...

Выставление оценки за курс

Итоговая контрольная работа:

На последней лекции будет проведена контрольная работа, которая затронет все темы, изученные в течение семестра.
Контрольная оценивается по двухбалльной шкале (зачет/незачет), незачет влечет за собой недопуск к экзамену.
Студент, не получивший допуск, переписывает на экзамене контрольную. В случае успеха он сдает экзамен на первой пересдаче. В случае незачета он снова переписывает контрольную на первой пересдаче, и так далее.

Семинары:

На семинарах по каждой пройденной теме будут проводиться проверочные работы. Каждая проверочная оценивается по пятибалльной шкале. В зависимости от оценки за проверочную, студент освобождается от части или от всех задач по этой теме на итоговой контрольной работе.
Также на семинарах будут выдаваться практические задания, которые будут оцениваться по пятибалльной шкале.
В течение семестра будут проводиться конкурсы по анализу данных. Каждый конкурс оценивается по 15-балльной шкале. За первое, второе и третье место выставляется 15, 13 и 11 баллов соответственно при условии, что студенты выступят с докладом о своем решении (в противном случае они получают 10 баллов). За места с четвертого и по самое последнее, превосходящее бейзлайн, выставляется от 10 до 1 баллов по равномерной сетке. Если все присланные группой решения будут тривиальными, то преподаватель имеет право снизить максимальную оценку до 10 или до 5 баллов.
Оценка за работу в семестре равна сумме оценок за проверочные работы, практические задания и конкурсы.
Если оценка за работу в семестре не меньше 100% от максимальной оценки за проверочные и лабораторные работы, то студент освобождается от написания итоговой контрольной и получает допуск к экзамену автоматом.
Если оценка за работу в семестре не меньше 80% от максимальной оценки за проверочные и лабораторные работы и конкурсы, то студент получает +1 балл на экзамене (при условии получения положительной оценки).
В конце семестра разрешается переписать одну пропущенную по любой причине проверочную работу. Также разрешается переписать все проверочные, пропущенные по уважительной причине.

Весенний семестр 2015/2016

Расписание занятий

Занятия проходят в ауд. 582 по пятницам, начало в 8:45.

Дата	Номер	Тема	Материалы	Д/З
12 февраля	Семинар 1	EM-алгоритм: Скрытые переменные и смеси распределений EM-алгоритм в общем виде Вывод формул для смеси нормальных распределений Дивергенция Кульбака-Лейблера, ее свойства Обоснование EM-алгоритма	Конспект	Домашнее задание
19 февраля	Семинар 2	Композиционные методы: Бутстрэппинг, уменьшение средней ошибки при усреднении алгоритмов AdaBoost: метод обучения, скорость сходимости Семейства базовых классификаторов для AdaBoost Многоклассовый AdaBoost	Конспект	Домашнее задание
4 марта	Семинар 3	Композиционные методы: Бустинг с квадратичной функцией потерь Градиентный бустинг как градиентный спуск в функциональном пространстве Регуляризация в градиентном бустинге: сокращение шага и бэггинг Логистическая функция потерь, ее обоснование и формулы для бустинга Градиентный бустинг над деревьями, переподбор ответов в листьях Взвешивание объектов в градиентном бустинге Сравнение логистической и экспоненциальной функций потерь	Конспект	Домашнее задание
11 марта	Семинар 4	Композиционные методы: Разложение ошибки на шум, смещение и разброс (bias-variance decomposition) Смещение и разброс метода k ближайших соседей Бутстрэп Бэггинг, его смещение и разброс Случайные леса, out-of-bag-оценки Связь случайных лесов с метрическими методами	Конспект	Домашнее задание
18 марта	Семинар 5	Композиционные методы: Вывод шага градиентного бустинга через разложение в ряд Тейлора XGBoost: принципы работы и практическое использование	Конспект Код
25 марта	Семинар 6	Рассказы о решении первого конкурса	Презентации: Каюмов Коваленко Николаев Попов
15 апреля	Семинар 6	Метод главных компонент: Вывод решения Постановка задачи через поиск проекционной гиперплоскости и через максимизацию дисперсии	Конспект Код	Домашнее задание
22 апреля	Семинар 7	Методы отбора признаков: Отбор по дисперсии Одномерные методы Lasso и модификации Отбор с помощью Random Forest	Код
22 апреля	Семинар 8	Рассказы о конкурсе ШАДа и конкурсе BNP Paribas.	Каюмов (ШАД) Илларионова (ШАД) Амир (ШАД) Каюмов (BNP Paribas) Попов (BNP Paribas) Николаев (BNP Paribas)
29 апреля	Семинар 9	Нейронные сети: Backpropagation Свёрточные нейронные сети Инструменты для обучение нейросетей, mxnet Данные MNIST	Код

Практические задания

Решения желательно присылать сразу в двух форматах:

ссылка для просмотра ноутбука на NBViewer или GitHub
файл с ноутбуком во вложении

За каждый день просрочки из оценки вычитается 0.2 балла.

Задание	Тема	Дата выдачи	Срок сдачи	Условие
Лабораторная работа 1	Линейные методы	29.02.2016	14.03.2016	Условие

Виртуальная машина с питоном и библиотеками

Полезные ссылки: см. репозиторий.

Соревнования

Задание	Тема	Дата начала	Дата окончания	Ссылка
Соревнование 1	Предскажите вероятность победы команды в Dota 2	18.02.2016	13.03.2016	https://kaggle.com/join/cmcmlspring20161
Соревнование 2	Определите наличие осложнений у пациента	29.03.2016	19.04.2016	https://inclass.kaggle.com/c/competition-2-yandex-shad-spring (за доступом обращайтесь к семинаристу)