Машинное обучение (семинары, ВМК МГУ)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Оценки)
 
(231 промежуточная версия не показана)
Строка 3: Строка 3:
|[[Изображение:ML_surfaces.png|280px]]
|[[Изображение:ML_surfaces.png|280px]]
| valign="top"|
| valign="top"|
-
* Семинары в поддержку курса лекций [[Машинное обучение (курс лекций, К.В.Воронцов)|«Машинное обучение»]] [[Участник:Vokov|К.В. Воронцова]].
+
* Семинары в поддержку курса лекций [[Математические методы распознавания образов (курс лекций, В.В.Китов)|«Математические методы распознавания образов»]] [[Участник:Victor Kitov|В. В. Китова]].
* Ведутся на кафедре [[Математические методы прогнозирования (кафедра ВМиК МГУ)|ММП]] [[Факультет вычислительной математики и кибернетики МГУ| ВМК МГУ]] с осени 2012 года.
* Ведутся на кафедре [[Математические методы прогнозирования (кафедра ВМиК МГУ)|ММП]] [[Факультет вычислительной математики и кибернетики МГУ| ВМК МГУ]] с осени 2012 года.
* Семинарист: [[Участник:EvgSokolov|Соколов Е.А.]]
* Семинарист: [[Участник:EvgSokolov|Соколов Е.А.]]
 +
* Ассистент: Николаев В.В.
 +
* Почта семинариста: ''sokolov.evg+vmk-ml@gmail.com''
 +
* Почта для заданий: ''ml.cmc.msu@gmail.com''
 +
* Репозиторий с материалами: https://github.com/esokolov/ml-course-msu
 +
* Анонимные отзывы и комментарии по семинарам можно оставлять здесь: [https://docs.google.com/forms/d/1j8zMReMtl-BCeAVISxx_v42_y8GAVeolofFuAHQjHBc/viewform?usp=send_form https://docs.google.com/...]
|}
|}
-
<!-- == Новости == -->
+
=== Актуальная информация ===
-
<!-- * новостей нет! -->
+
-
== Выставление оценки за курс ==
+
Вся актуальная информация по курсу находится на странице https://github.com/esokolov/ml-course-msu
-
Оценка за работу в семестре и допуск к экзамену:
+
-
# На семинарах изучается определенное число тем, по каждой из которых проводится проверочная работа.
+
-
# Проверочная работа состоит из нескольких задач, за решение каждой из которых дается определенное число баллов. Максимальная сумма баллов, которую можно набрать за проверочную работу, равна пяти.
+
-
# Если студент набирает за проверочную работу три балла или больше, то считается, что он закрыл соответствующую тему.
+
-
# Оценка за работу в семестре равна средней оценке за проверочные работы.
+
-
# Для получения допуска к экзамену необходимо закрыть все темы.
+
-
# Если у студента на конец семестра есть незакрытые темы, то в день экзамена он решает контрольную работу, в которую входят задачи по всем таким темам. Если студент справляется со всеми задачами, то он получает допуск и сдает экзамен в день первой пересдачи. В противном случае на первой пересдаче ему выдается контрольная, в которую входят задачи, аналогичные не решенным в прошлый раз, и так далее. Когда студент справляется со всеми задачами, ему выставляется три балла за работу в семестре. Более того, оценка за экзамен ограничивается сверху тремя баллами.
+
-
# В конце семестра будет проведена контрольная работа, на которой будет дана еще одна попытка решить задачи, не решенные на проверочных работах (и, соответственно, закрыть незакрытые темы).
+
-
# После каждого семинара студентам выдается домашняя работа. Ее выполнение не проверяется, однако задачи из нее могут войти в проверочную работу.
+
-
Выставление итоговой оценки:
+
=== Оценки ===
-
# Оценка за работу в семестре округляется до ближайшего целого числа (.5 округляется вверх).
+
https://docs.google.com/spreadsheets/d/1A5BJs_dJcmqY2KVBUCTWlXueTeFWNVT6Tbx5e3dN6_c/edit?usp=sharing
-
# Итоговая оценка находится по следующей таблице:
+
-
{| class="wikitable"
+
-
|-
+
-
! Семестр
+
-
! Экзамен
+
-
! Итог
+
-
|-
+
-
| align="center" | 3
+
-
| align="center" | 3
+
-
| align="center" | 3
+
-
|-
+
-
| align="center" | 3
+
-
| align="center" | 4
+
-
| align="center" | 3
+
-
|-
+
-
| align="center" | 3
+
-
| align="center" | 5
+
-
| align="center" | 4
+
-
|-
+
-
| align="center" | 4
+
-
| align="center" | 3
+
-
| align="center" | 3
+
-
|-
+
-
| align="center" | 4
+
-
| align="center" | 4
+
-
| align="center" | 4
+
-
|-
+
-
| align="center" | 4
+
-
| align="center" | 5
+
-
| align="center" | 5
+
-
|-
+
-
| align="center" | 5
+
-
| align="center" | 3
+
-
| align="center" | 4
+
-
|-
+
-
| align="center" | 5
+
-
| align="center" | 4
+
-
| align="center" | 5
+
-
|-
+
-
| align="center" | 5
+
-
| align="center" | 5
+
-
| align="center" | 5
+
-
|}
+
-
Также для вычисления итоговой оценки можно воспользоваться одной из формул:
+
== Страницы курса прошлых лет ==
 +
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, весна|2015-2016 год, весна]]
-
<tex>
+
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, осень|2015-2016 год, осень]]
-
mark = min(5, min(sem, exam) + [5 \in \{sem, exam\}])
+
-
</tex>
+
-
<tex>
+
[[Машинное обучение (семинары, ВМК МГУ)/2014-2015 год, весна|2014-2015 год, весна]]
-
mark = min(5, max(3, sem + exam - 4))
+
-
</tex>
+
-
где <tex>sem</tex> — оценка за семестр, <tex>exam</tex> — оценка за экзамен.
+
[[Машинное обучение (семинары, ВМК МГУ)/2014-2015 год, осень|2014-2015 год, осень]]
-
== Весенний семестр 2013/2014 ==
+
[[Машинное обучение (семинары, ВМК МГУ)/2013-2014 год, весна|2013-2014 год, весна]]
-
=== Расписание занятий ===
+
-
{|class = "standard"
+
-
! Дата !! Номер !! Тема !! Материалы !! Д/З
+
-
|-
+
-
|12 февраля
+
-
|align="center"|Семинар 1
+
-
| EM-алгоритм:
+
-
* скрытые переменные и смеси распределений
+
-
* EM-алгоритм в общем виде
+
-
* вывод формул для смеси нормальных распределений
+
-
* дивергенция Кульбака-Лейблера, ее свойства
+
-
* обоснование EM-алгоритма
+
-
|
+
-
[[Media:Sem01_em.pdf|Конспект]]
+
-
|
+
-
[[Media:Sem01_em_hw.pdf|Домашнее задание]]
+
-
|-
+
-
|19 февраля
+
-
|align="center"|Семинар 2
+
-
| EM-алгоритм:
+
-
* решение задач на вывод шагов EM-алгоритма
+
-
----
 
-
 
-
'''Проверочная работа по EM-алгоритму'''
 
-
 
-
|
 
-
|
 
-
|-
 
-
|26 февраля
 
-
|align="center"|Семинар 3
 
-
| Искусственные нейронные сети
 
-
* метод обратного распространения ошибки
 
-
* градиентные методы оптимизации (полный, стохастический, средний стохастический)
 
-
* глубинные нейронные сети (очень кратко)
 
-
* реализация нелинейных поверхностей и функций с помощью нейросетей
 
-
|
 
-
[[Media:Sem02_ann.pdf|Конспект]]
 
-
|
 
-
[[Media:Sem02_ann_hw.pdf|Домашнее задание]]
 
-
|-
 
-
|5 марта
 
-
|align="center"|Семинар 4
 
-
| Композиционные методы
 
-
* построение композиции с помощью бутсрэппинга, ее средняя ошибка
 
-
* вывод формул для AdaBoost
 
-
 
-
----
 
-
 
-
'''Проверочная работа по нейросетям'''
 
-
 
-
|
 
-
[[Media:Sem03_ensembles.pdf|Конспект]]
 
-
|
 
-
[[Media:Sem03_ensembles_hw.pdf|Домашнее задание]]
 
-
|-
 
-
|19 марта
 
-
|align="center"|Семинар 5
 
-
| Композиционные методы
 
-
* некоторые семейства базовых классификаторов и способы их обучения
 
-
* многоклассовый AdaBoost
 
-
* AnyBoost на примере логистической функции потерь
 
-
* градиентный бустинг и его модификации
 
-
|
 
-
[[Media:Sem04_ensembles.pdf|Конспект]]
 
-
|
 
-
[[Media:Sem04_ensembles_hw.pdf|Домашнее задание]]
 
-
|-
 
-
|26 марта
 
-
|align="center"|Семинар 6
 
-
| Композиционные методы
 
-
* bias-variance decomposition
 
-
* разложение ошибки для метода k ближайших соседей
 
-
* бэггинг
 
-
* случайные леса
 
-
 
-
----
 
-
 
-
'''Проверочная работа по бустингу'''
 
-
|
 
-
[[Media:Sem05_ensembles.pdf|Конспект]]
 
-
|
 
-
[[Media:Sem05_ensembles_hw.pdf|Домашнее задание]]
 
-
|-
 
-
|9 апреля
 
-
|align="center"|Семинар 7
 
-
| Методы выбора моделей
 
-
* критерий Акаике (с доказательством)
 
-
* кросс-валидация, ее виды
 
-
 
-
----
 
-
 
-
'''Проверочная работа по бэггингу'''
 
-
|
 
-
[[Media:Sem06_model_selection.pdf|Конспект]]
 
-
|
 
-
 
-
|-
 
-
|28 апреля
 
-
|align="center"|Семинар 8
 
-
| Матричные разложения
 
-
* выбор функционала, семейство AB-дивергенций
 
-
* методы матричных разложений (SVD, SG, ALS, HALS)
 
-
* неотрицательные матричные разложения (мультипликативные методы, ANLS, HALS)
 
-
* factorization machines
 
-
 
-
----
 
-
 
-
'''Проверочная работа по методам выбора моделей'''
 
-
|
 
-
 
-
|
 
-
 
-
|-
 
-
|7 мая
 
-
|align="center"|Семинар 9
 
-
| Приглашенные доклады
 
-
 
-
'''Алексей Панов'''. Модификация линейной регрессии для решения задачи прогнозирования спроса.
 
-
 
-
'''Андрей Зимовнов'''. Ранжирование в продуктовом поиске интернет-магазина.
 
-
|
 
-
 
-
|
 
-
 
-
|-
 
-
|13 мая
 
-
|align="center"|Семинар 10
 
-
| Приглашенные доклады
 
-
 
-
'''Александр Фонарев'''. Решение задач с категориальными признаками.
 
-
 
-
'''Никита Животовский'''. Оценки рисков в теории статистического обучения.
 
-
|
 
-
 
-
|
 
-
 
-
|-
 
-
|}
 
-
 
-
=== Оценки ===
 
-
{|class = "standard"
 
-
! ФИО студента !! Группа !! EM !! ANN !! Boosting !! Bagging !! AIC !! Семестр !! Экзамен !! Итоговая оценка
 
-
|-
 
-
| Апишев М.|| align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Афанасьев К. || align="center"| 317 || align="center"| <!--З1--> 4 || align="center"| <!--З2--> 4 || align="center"| <!--З3--> 3 || align="center"| <!--З4--> 4.5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 4 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Готман М. || align="center"| 317 || align="center"| <!--З1--> 3.5 || align="center"| <!--З2--> 3.5 || align="center"| <!--З3--> 3 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 4 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Дойков Н. || align="center"| 317 || align="center"| <!--З1--> 3 || align="center"| <!--З2--> 4 || align="center"| <!--З3--> {{важно|1.5}} || align="center"| <!--З4--> 3.5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Захаров Е. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> 4.75 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Козлов В. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 5 || align="center"| <!--З4--> 3.5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Колмаков Е. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 4 || align="center"| <!--З3--> 3.75 || align="center"| <!--З4--> 4.75 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Лисяной А. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> {{важно|2}} || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> {{важно|2.75}} || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Лукашкина Ю. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Ожерельев И. || align="center"| 317 || align="center"| <!--З1--> 4.5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 5 || align="center"| <!--З4--> 4.75 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Родоманов А. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 4 || align="center"| <!--З3--> {{важно|4.5}} || align="center"| <!--З4--> 4.75 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Сендерович Н. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 5 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Славнов К. || align="center"| 317 || align="center"| <!--З1--> 3 || align="center"| <!--З2--> 4 || align="center"| <!--З3--> 3 || align="center"| <!--З4--> {{важно|1.25}} || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Тюрин А. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Хальман М. || align="center"| 317 || align="center"| <!--З1--> {{важно|1.5}} || align="center"| <!--З2--> {{важно|2}} || align="center"| <!--З3--> {{важно|1.5}} || align="center"| <!--З4--> 4.5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Хомутов Н. || align="center"| 317 || align="center"| <!--З1--> 4 || align="center"| <!--З2--> 4.5 || align="center"| <!--З3--> {{важно|1.5}} || align="center"| <!--З4--> {{важно|0.75}} || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Чистяков А. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
| Шапулин А. || align="center"| 317 || align="center"| <!--З1--> 5 || align="center"| <!--З2--> 5 || align="center"| <!--З3--> 4.5 || align="center"| <!--З4--> 5 || align="center"| <!--З5--> 5 || align="center"| <!--Семестр--> 5 || align="center"| <!--Экзамен--> || align="center"| <!--оценка-->
 
-
|-
 
-
|}
 
-
 
-
== Страницы курса прошлых лет ==
 
[[Машинное обучение (семинары, ВМК МГУ)/2013-2014 год, осень|2013-2014 год, осень]]
[[Машинное обучение (семинары, ВМК МГУ)/2013-2014 год, осень|2013-2014 год, осень]]

Текущая версия

Содержание

Актуальная информация

Вся актуальная информация по курсу находится на странице https://github.com/esokolov/ml-course-msu

Оценки

https://docs.google.com/spreadsheets/d/1A5BJs_dJcmqY2KVBUCTWlXueTeFWNVT6Tbx5e3dN6_c/edit?usp=sharing

Страницы курса прошлых лет

2015-2016 год, весна

2015-2016 год, осень

2014-2015 год, весна

2014-2015 год, осень

2013-2014 год, весна

2013-2014 год, осень

2012 год

Личные инструменты