MIPT ML 2016 Spring
Материал из MachineLearning.
(Различия между версиями)
(→Расписание занятий) |
(→Расписание занятий) |
||
| Строка 19: | Строка 19: | ||
!Дата !! № занятия !! Занятие !! Материалы | !Дата !! № занятия !! Занятие !! Материалы | ||
|- | |- | ||
| - | | rowspan=2|12 февраля 2016 || rowspan=2 align="center"|1 || Задачи обучения по прецедентам. Supervised, unsupervised и semi-supervised обучение. Понятия переобучения и обобщающей способности. Скользящий контроль (cross-validation). || | + | | rowspan=2|12 февраля 2016 || rowspan=2 align="center"|1 || Задачи обучения по прецедентам. Supervised, unsupervised и semi-supervised обучение. Понятия переобучения и обобщающей способности. Скользящий контроль (cross-validation). || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|19 февраля 2016 || rowspan=2 align="center"|2 || Метрические алгоритмы классификации. Обобщённый метрический классификатор, понятие отступа. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Отбор эталонных объектов. алгоритм СТОЛП. || | + | | rowspan=2|19 февраля 2016 || rowspan=2 align="center"|2 || Метрические алгоритмы классификации. Обобщённый метрический классификатор, понятие отступа. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Отбор эталонных объектов. алгоритм СТОЛП. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|26 февраля 2016 || rowspan=2 align="center"|3 || Построение метрик и отбор признаков. Стандартные метрики. Оценивание качества метрики. Проклятие размерности. Жадный алгоритм отбора признаков. || | + | | rowspan=2|26 февраля 2016 || rowspan=2 align="center"|3 || Построение метрик и отбор признаков. Стандартные метрики. Оценивание качества метрики. Проклятие размерности. Жадный алгоритм отбора признаков. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|4 марта 2016 || rowspan=2 align="center"|4 || Логические закономерности. Статистический критерий информативности Ic(',Xl): смысл и способы вычисления. Энтропийный критерий информативности, информационный выигрыш IGainc(',Xl). Многоклассовые варианты критериев. Индекс Gini. Задача перебора конъюнкций. “Градиентный” алгоритм синтеза конъюнкций и его частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. || | + | | rowspan=2|4 марта 2016 || rowspan=2 align="center"|4 || Логические закономерности. Статистический критерий информативности Ic(',Xl): смысл и способы вычисления. Энтропийный критерий информативности, информационный выигрыш IGainc(',Xl). Многоклассовые варианты критериев. Индекс Gini. Задача перебора конъюнкций. “Градиентный” алгоритм синтеза конъюнкций и его частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|11 марта 2016 || rowspan=2 align="center"|5 || Бинаризация признаков, алгоритм выделения информативных зон. Решающие списки. Решающие деревья: принцип работы. Разбиение пространства объектов на подмножества, выделяемые конъюнкциями терминальных вершин. Алгоритм ID3. Пре-прунинг и пост-прунинг. || | + | | rowspan=2|11 марта 2016 || rowspan=2 align="center"|5 || Бинаризация признаков, алгоритм выделения информативных зон. Решающие списки. Решающие деревья: принцип работы. Разбиение пространства объектов на подмножества, выделяемые конъюнкциями терминальных вершин. Алгоритм ID3. Пре-прунинг и пост-прунинг. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|18 марта 2016 || rowspan=2 align="center"|6 || Знакомство с идеей композиции алгоритмов. Random Forest, Беггинг, RSM, стекинг. || | + | | rowspan=2|18 марта 2016 || rowspan=2 align="center"|6 || Знакомство с идеей композиции алгоритмов. Random Forest, Беггинг, RSM, стекинг. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|25 марта 2016 || rowspan=2 align="center"|7 || Линейная классификация. Непрерывные аппроксимации пороговой функции потерь. Метод минимизации аппроксимированного эмпирического риска. SG, SAG. Связь минимизации аппроксимированного эмпирического риска и максимизации совместного правдоподобия данных и модели. Регуляризация (l1, l2, elastic net). Вероятностный смысл регуляризаторов. Примеры различных функций потерь и классификаторов. Эвристический вывод логистической функции потерь. || | + | | rowspan=2|25 марта 2016 || rowspan=2 align="center"|7 || Линейная классификация. Непрерывные аппроксимации пороговой функции потерь. Метод минимизации аппроксимированного эмпирического риска. SG, SAG. Связь минимизации аппроксимированного эмпирического риска и максимизации совместного правдоподобия данных и модели. Регуляризация (l1, l2, elastic net). Вероятностный смысл регуляризаторов. Примеры различных функций потерь и классификаторов. Эвристический вывод логистической функции потерь. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|1 апреля 2016 || rowspan=2 align="center"|8 || Метод опорных векторов. Оптимизационная задача с ограничениями в виде неравенств и безусловная. Опорные векторы. Kernel trick. || | + | | rowspan=2|1 апреля 2016 || rowspan=2 align="center"|8 || Метод опорных векторов. Оптимизационная задача с ограничениями в виде неравенств и безусловная. Опорные векторы. Kernel trick. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| rowspan=2|8 апреля 2016 || rowspan=2 align="center"|9 || Задача снижения размерности пространства признаков. Идея метода главных компонент | | rowspan=2|8 апреля 2016 || rowspan=2 align="center"|9 || Задача снижения размерности пространства признаков. Идея метода главных компонент | ||
(PCA). Связь PCA и сингулярного разложения матрицы признаков (SVD). Вычисление SVD в пространствах высокой размерности методом стохастического градиента (SG SVD). | (PCA). Связь PCA и сингулярного разложения матрицы признаков (SVD). Вычисление SVD в пространствах высокой размерности методом стохастического градиента (SG SVD). | ||
| - | || | + | || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|15 апреля 2016 || rowspan=2 align="center"|10 || Многомерная линейная регрессия. Геометрический и аналитический вывод. Регуляризация в задаче регрессии. Непараметрическая регрессия. Формула Надарая-Ватсона. Регрессионные деревья. || | + | | rowspan=2|15 апреля 2016 || rowspan=2 align="center"|10 || Многомерная линейная регрессия. Геометрический и аналитический вывод. Регуляризация в задаче регрессии. Непараметрическая регрессия. Формула Надарая-Ватсона. Регрессионные деревья. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|22 апреля 2016 || rowspan=2 align="center"|11 || Байесовская классификация и регрессия. Функционал риска и функционал среднего риска. Оптимальный байесовский классификатор и теорема о минимизации среднего риска. Наивный байесовский классификатор. || | + | | rowspan=2|22 апреля 2016 || rowspan=2 align="center"|11 || Байесовская классификация и регрессия. Функционал риска и функционал среднего риска. Оптимальный байесовский классификатор и теорема о минимизации среднего риска. Наивный байесовский классификатор. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|29 апреля 2016 || rowspan=2 align="center"|12 || Восстановление плотности: параметрический и непараметрический подход. Метод Парзеновского окна. Параметрический подход на примере нормального дискриминантного анализа. Линейный дискриминант Фишера. Логистическая регрессия.|| | + | | rowspan=2|29 апреля 2016 || rowspan=2 align="center"|12 || Восстановление плотности: параметрический и непараметрический подход. Метод Парзеновского окна. Параметрический подход на примере нормального дискриминантного анализа. Линейный дискриминант Фишера. Логистическая регрессия.|| |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|6 мая 2016 || rowspan=2 align="center"|13 || Задача прогнозирования временного ряда, примеры задач. Составление матрицы регрессии, адаптация весов регрессоров во времени. || | + | | rowspan=2|6 мая 2016 || rowspan=2 align="center"|13 || Задача прогнозирования временного ряда, примеры задач. Составление матрицы регрессии, адаптация весов регрессоров во времени. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|13 мая 2016 || rowspan=2 align="center"|14 || Задача кластеризации. Аггломеративная и дивизионная кластеризация. Алгоритмы k-Means. Кластеризация с помощью EM-алгоритма (без вывода M-шага). Формула Ланса-Уилльямса. || | + | | rowspan=2|13 мая 2016 || rowspan=2 align="center"|14 || Задача кластеризации. Аггломеративная и дивизионная кластеризация. Алгоритмы k-Means. Кластеризация с помощью EM-алгоритма (без вывода M-шага). Формула Ланса-Уилльямса. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
| - | | rowspan=2|20 мая 2016 || rowspan=2 align="center"|15 || ЗМетод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения. Выбор начального приближения, числа слоёв, числа нейронов скрытого слоя в градиентных методах настройки нейронных сетей. Методы ускорения сходимости. Метод оптимального прореживания нейронной сети. || | + | | rowspan=2|20 мая 2016 || rowspan=2 align="center"|15 || ЗМетод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения. Выбор начального приближения, числа слоёв, числа нейронов скрытого слоя в градиентных методах настройки нейронных сетей. Методы ускорения сходимости. Метод оптимального прореживания нейронной сети. || |
|- | |- | ||
| - | |Семинар «Инструментарий ml.» || | + | |Семинар «Инструментарий ml.» || |
|- | |- | ||
|} | |} | ||
Версия 08:05, 7 февраля 2016
Курс посвящен Основной задачей курса является
Лекторы: , Семинаристы: .
Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту ??. В название письма обязательно добавлять тег [ML_MIPT_15_Spring].
Формат темы письма:
- [ML_MIPT_15_Spring]Вопрос — для вопросов;
- [ML_MIPT_15_Spring]Теория №, Фамилия Имя — для домашних заданий.
Содержание |
Расписание занятий
В 2016 году курс читается по пятницам в корпусе , начало в (лекция) и (семинар).
| Дата | № занятия | Занятие | Материалы |
|---|---|---|---|
| 12 февраля 2016 | 1 | Задачи обучения по прецедентам. Supervised, unsupervised и semi-supervised обучение. Понятия переобучения и обобщающей способности. Скользящий контроль (cross-validation). | |
| Семинар «Инструментарий ml.» | |||
| 19 февраля 2016 | 2 | Метрические алгоритмы классификации. Обобщённый метрический классификатор, понятие отступа. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Отбор эталонных объектов. алгоритм СТОЛП. | |
| Семинар «Инструментарий ml.» | |||
| 26 февраля 2016 | 3 | Построение метрик и отбор признаков. Стандартные метрики. Оценивание качества метрики. Проклятие размерности. Жадный алгоритм отбора признаков. | |
| Семинар «Инструментарий ml.» | |||
| 4 марта 2016 | 4 | Логические закономерности. Статистический критерий информативности Ic(',Xl): смысл и способы вычисления. Энтропийный критерий информативности, информационный выигрыш IGainc(',Xl). Многоклассовые варианты критериев. Индекс Gini. Задача перебора конъюнкций. “Градиентный” алгоритм синтеза конъюнкций и его частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. | |
| Семинар «Инструментарий ml.» | |||
| 11 марта 2016 | 5 | Бинаризация признаков, алгоритм выделения информативных зон. Решающие списки. Решающие деревья: принцип работы. Разбиение пространства объектов на подмножества, выделяемые конъюнкциями терминальных вершин. Алгоритм ID3. Пре-прунинг и пост-прунинг. | |
| Семинар «Инструментарий ml.» | |||
| 18 марта 2016 | 6 | Знакомство с идеей композиции алгоритмов. Random Forest, Беггинг, RSM, стекинг. | |
| Семинар «Инструментарий ml.» | |||
| 25 марта 2016 | 7 | Линейная классификация. Непрерывные аппроксимации пороговой функции потерь. Метод минимизации аппроксимированного эмпирического риска. SG, SAG. Связь минимизации аппроксимированного эмпирического риска и максимизации совместного правдоподобия данных и модели. Регуляризация (l1, l2, elastic net). Вероятностный смысл регуляризаторов. Примеры различных функций потерь и классификаторов. Эвристический вывод логистической функции потерь. | |
| Семинар «Инструментарий ml.» | |||
| 1 апреля 2016 | 8 | Метод опорных векторов. Оптимизационная задача с ограничениями в виде неравенств и безусловная. Опорные векторы. Kernel trick. | |
| Семинар «Инструментарий ml.» | |||
| 8 апреля 2016 | 9 | Задача снижения размерности пространства признаков. Идея метода главных компонент
(PCA). Связь PCA и сингулярного разложения матрицы признаков (SVD). Вычисление SVD в пространствах высокой размерности методом стохастического градиента (SG SVD). | |
| Семинар «Инструментарий ml.» | |||
| 15 апреля 2016 | 10 | Многомерная линейная регрессия. Геометрический и аналитический вывод. Регуляризация в задаче регрессии. Непараметрическая регрессия. Формула Надарая-Ватсона. Регрессионные деревья. | |
| Семинар «Инструментарий ml.» | |||
| 22 апреля 2016 | 11 | Байесовская классификация и регрессия. Функционал риска и функционал среднего риска. Оптимальный байесовский классификатор и теорема о минимизации среднего риска. Наивный байесовский классификатор. | |
| Семинар «Инструментарий ml.» | |||
| 29 апреля 2016 | 12 | Восстановление плотности: параметрический и непараметрический подход. Метод Парзеновского окна. Параметрический подход на примере нормального дискриминантного анализа. Линейный дискриминант Фишера. Логистическая регрессия. | |
| Семинар «Инструментарий ml.» | |||
| 6 мая 2016 | 13 | Задача прогнозирования временного ряда, примеры задач. Составление матрицы регрессии, адаптация весов регрессоров во времени. | |
| Семинар «Инструментарий ml.» | |||
| 13 мая 2016 | 14 | Задача кластеризации. Аггломеративная и дивизионная кластеризация. Алгоритмы k-Means. Кластеризация с помощью EM-алгоритма (без вывода M-шага). Формула Ланса-Уилльямса. | |
| Семинар «Инструментарий ml.» | |||
| 20 мая 2016 | 15 | ЗМетод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения. Выбор начального приближения, числа слоёв, числа нейронов скрытого слоя в градиентных методах настройки нейронных сетей. Методы ускорения сходимости. Метод оптимального прореживания нейронной сети. | |
| Семинар «Инструментарий ml.» |
Семинары
Семинарист 1
Таблица с результатами находится [www.vk.com здесь].
Новости:
Практические задания:
- 1
- 2
Система выставления оценок по курсу:
- 1
- 2
Семинарист 1
Таблица с результатами находится [www.vk.com здесь].
Новости:
Практические задания:
- 1
- 2
Система выставления оценок по курсу:
- 1
- 2
Литература
- К. В. Воронцов Математические методы обучения по прецедентам
Страницы курса прошлых лет
--
