MIPT ML 2016 Spring

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Семинары: Арсений Ашуха)
(Содержимое страницы заменено на «= Страница купса переехала сюда https://ml-mipt.github.io/ =»)
 
(153 промежуточные версии не показаны)
Строка 1: Строка 1:
-
Курс посвящен
+
= Страница купса переехала сюда https://ml-mipt.github.io/ =
-
Основной задачей курса является
+
-
 
+
-
Лекторы: Анастасия Зухба, Константин Воронцов.
+
-
Семинаристы: Алексей Романенко, Борис Коваленко, Ашуха Арсений,
+
-
 
+
-
Все вопросы по курсу можно задать через систему piazza.
+
-
Анонимные отзывы по курсу можно отправить через --
+
-
 
+
-
== Расписание занятий ==
+
-
 
+
-
В 2016 году курс читается по пятницам в корпусе , начало в (лекция) и (семинар).
+
-
{| class="standard"
+
-
!Дата !! № занятия !! Занятие !! Материалы
+
-
|-
+
-
|12 февраля 2016 || align="center"| 1 || Задачи обучения по прецедентам. Supervised, unsupervised и semi-supervised обучение. Понятия переобучения и обобщающей способности. Скользящий контроль (cross-validation). ||
+
-
|-
+
-
|19 февраля 2016 || align="center"|2 || Метрические алгоритмы классификации. Обобщённый метрический классификатор, понятие отступа. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Отбор эталонных объектов. алгоритм СТОЛП. ||
+
-
|-
+
-
|26 февраля 2016 || align="center"|3 || Построение метрик и отбор признаков. Стандартные метрики. Оценивание качества метрики. Проклятие размерности. Жадный алгоритм отбора признаков. ||
+
-
|-
+
-
|4 марта 2016 || align="center"|4 || Логические закономерности. Статистический критерий информативности Ic(',Xl): смысл и способы вычисления. Энтропийный критерий информативности, информационный выигрыш IGainc(',Xl). Многоклассовые варианты критериев. Индекс Gini. Задача перебора конъюнкций. “Градиентный” алгоритм синтеза конъюнкций и его частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. ||
+
-
|-
+
-
|11 марта 2016 || align="center"|5 || Бинаризация признаков, алгоритм выделения информативных зон. Решающие списки. Решающие деревья: принцип работы. Разбиение пространства объектов на подмножества, выделяемые конъюнкциями терминальных вершин. Алгоритм ID3. Пре-прунинг и пост-прунинг. ||
+
-
|-
+
-
|18 марта 2016 || align="center"|6 || Знакомство с идеей композиции алгоритмов. Random Forest, Беггинг, RSM, стекинг. ||
+
-
|-
+
-
|25 марта 2016 || align="center"|7 || Линейная классификация. Непрерывные аппроксимации пороговой функции потерь. Метод минимизации аппроксимированного эмпирического риска. SG, SAG. Связь минимизации аппроксимированного эмпирического риска и максимизации совместного правдоподобия данных и модели. Регуляризация (l1, l2, elastic net). Вероятностный смысл регуляризаторов. Примеры различных функций потерь и классификаторов. Эвристический вывод логистической функции потерь. ||
+
-
|-
+
-
|1 апреля 2016 || align="center"|8 || Метод опорных векторов. Оптимизационная задача с ограничениями в виде неравенств и безусловная. Опорные векторы. Kernel trick. ||
+
-
|-
+
-
|8 апреля 2016 || align="center"|9 || Задача снижения размерности пространства признаков. Идея метода главных компонент
+
-
(PCA). Связь PCA и сингулярного разложения матрицы признаков (SVD). Вычисление SVD в пространствах высокой размерности методом стохастического градиента (SG SVD). ||
+
-
|-
+
-
|15 апреля 2016 || align="center"|10 || Многомерная линейная регрессия. Геометрический и аналитический вывод. Регуляризация в задаче регрессии. Непараметрическая регрессия. Формула Надарая-Ватсона. Регрессионные деревья. ||
+
-
|-
+
-
|22 апреля 2016 || align="center"|11 || Байесовская классификация и регрессия. Функционал риска и функционал среднего риска. Оптимальный байесовский классификатор и теорема о минимизации среднего риска. Наивный байесовский классификатор. ||
+
-
|-
+
-
|29 апреля 2016 || align="center"|12 || Восстановление плотности: параметрический и непараметрический подход. Метод Парзеновского окна. Параметрический подход на примере нормального дискриминантного анализа. Линейный дискриминант Фишера. Логистическая регрессия.||
+
-
|-
+
-
|6 мая 2016 || align="center"|13 || Задача прогнозирования временного ряда, примеры задач. Составление матрицы регрессии, адаптация весов регрессоров во времени. ||
+
-
|-
+
-
|13 мая 2016 || align="center"|14 || Задача кластеризации. Аггломеративная и дивизионная кластеризация. Алгоритмы k-Means. Кластеризация с помощью EM-алгоритма (без вывода M-шага). Формула Ланса-Уилльямса. ||
+
-
|-
+
-
|20 мая 2016 || align="center"|15 || ЗМетод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения. Выбор начального приближения, числа слоёв, числа нейронов скрытого слоя в градиентных методах настройки нейронных сетей. Методы ускорения сходимости. Метод оптимального прореживания нейронной сети. ||
+
-
|-
+
-
|}
+
-
 
+
-
== Семинары ==
+
-
 
+
-
=== Семинары: Арсений Ашуха ===
+
-
 
+
-
Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1UgKMesLFoJgj4O5xxS5G8B6Sx5XF0LW3MMRJTPbT3q0/edit?usp=sharing тут], материалы к занятиям находятся [https://www.dropbox.com/sh/t4ounbrj40ddpy0/AADyhX5EoBa_cLQ43kgVERLEa?dl=0 тут],
+
-
 
+
-
Новости:
+
-
 
+
-
Практические задания:
+
-
# 1
+
-
# 2
+
-
 
+
-
Система выставления оценок по курсу:
+
-
# 1
+
-
# 2
+
-
 
+
-
=== Семинарист 1 ===
+
-
 
+
-
'''Таблица с результатами находится [www.vk.com здесь].'''
+
-
 
+
-
Новости:
+
-
 
+
-
Практические задания:
+
-
# 1
+
-
# 2
+
-
 
+
-
Система выставления оценок по курсу:
+
-
# 1
+
-
# 2
+
-
 
+
-
== Литература ==
+
-
# ''К. В. Воронцов'' [http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf Математические методы обучения по прецедентам]
+
-
 
+
-
== Страницы курса прошлых лет ==
+
-
--
+
-
 
+
-
== См. также ==
+
-
[[Категория:Учебные курсы]]
+

Текущая версия

Страница купса переехала сюда https://ml-mipt.github.io/

Источник — «http://machinelearning.ru/wiki/index.php?title=MIPT_ML_2016_Spring»
Личные инструменты