MIPT ML 2016 Spring
Материал из MachineLearning.
(Различия между версиями)
(→Семинары) |
|||
| Строка 51: | Строка 51: | ||
== Семинары == | == Семинары == | ||
| - | === | + | === Арсений Ашуха / Вторник 09:00 - 10:25=== |
Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1UgKMesLFoJgj4O5xxS5G8B6Sx5XF0LW3MMRJTPbT3q0/edit?usp=sharing тут], материалы к занятиям находятся [https://www.dropbox.com/sh/t4ounbrj40ddpy0/AADyhX5EoBa_cLQ43kgVERLEa?dl=0 тут], [https://www.dropbox.com/s/3yzfprqie8gz4sx/ashuha_resume.pdf?dl=0 cv] | Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1UgKMesLFoJgj4O5xxS5G8B6Sx5XF0LW3MMRJTPbT3q0/edit?usp=sharing тут], материалы к занятиям находятся [https://www.dropbox.com/sh/t4ounbrj40ddpy0/AADyhX5EoBa_cLQ43kgVERLEa?dl=0 тут], [https://www.dropbox.com/s/3yzfprqie8gz4sx/ashuha_resume.pdf?dl=0 cv] | ||
| Строка 59: | Строка 59: | ||
'''Практические задания''': | '''Практические задания''': | ||
| - | === | + | === Коваленко Борис / Вторник 10:35 - 12:00 === |
Лог посещений и результатов [https://docs.google.com/spreadsheets/d/1w3A9hPJVTfuo80wrvsQWmByRKOzl_YgIajb5Upx_jkI/edit?usp=sharing тут] [https://ru.linkedin.com/in/boriskovalenko Linkedin] | Лог посещений и результатов [https://docs.google.com/spreadsheets/d/1w3A9hPJVTfuo80wrvsQWmByRKOzl_YgIajb5Upx_jkI/edit?usp=sharing тут] [https://ru.linkedin.com/in/boriskovalenko Linkedin] | ||
| Строка 69: | Строка 69: | ||
'''Практические задания''': | '''Практические задания''': | ||
| - | === | + | === Алексей Романенко / Вторник 16:55 - 18:20 / Вторник 18:30 - 20:00=== |
Таблица рейтинга находится [https://docs.google.com/spreadsheets/d/1wd6j-eKVFLbh0xzkevHfZswdV6GE5t7hydnATwELhU0/edit?usp=sharing тут], материалы семинаров находятся [https://drive.google.com/folderview?id=0B9ZsO9o9XXqNaWVNeGJOMHpTeU0&usp=sharing тут], | Таблица рейтинга находится [https://docs.google.com/spreadsheets/d/1wd6j-eKVFLbh0xzkevHfZswdV6GE5t7hydnATwELhU0/edit?usp=sharing тут], материалы семинаров находятся [https://drive.google.com/folderview?id=0B9ZsO9o9XXqNaWVNeGJOMHpTeU0&usp=sharing тут], | ||
| Строка 77: | Строка 77: | ||
'''Практические задания''': | '''Практические задания''': | ||
| - | === | + | === Валентин Малых / Вторник 18:30 - 20:00 === |
Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1f7_r9A8O62560kkHKcurHpeX-NRcZ0qo9NQsWBLNFqo/edit?usp=sharing тут], материалы к занятиям находятся [https://yadi.sk/d/NVoB2okcoaBpN здесь]. | Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1f7_r9A8O62560kkHKcurHpeX-NRcZ0qo9NQsWBLNFqo/edit?usp=sharing тут], материалы к занятиям находятся [https://yadi.sk/d/NVoB2okcoaBpN здесь]. | ||
| Строка 85: | Строка 85: | ||
'''Практические задания''': | '''Практические задания''': | ||
| - | |||
=== Никита Волков / Пятница 15:30 - 16:55 / 321 ЛК === | === Никита Волков / Пятница 15:30 - 16:55 / 321 ЛК === | ||
Версия 23:45, 10 февраля 2016
Семинарская часть курса ставит перед сабой задачи: научить студента видеть задачи машинного обучения в реальной жизни, применять изученные матоды для решения задач машинного обучения, при необходимости реализовать необходимый метод.
Лекторы: Анастасия Зухба, проф. Константин Воронцов.
Семинаристы: Алексей Романенко, Борис Коваленко, Ашуха Арсений, Малых Валентин, Никита Волков
Все вопросы по курсу можно задать через систему piazza.
Анонимные отзывы по курсу можно отправить тут
Содержание |
Расписание Лекций
| Дата | № занятия | Занятие | Материалы |
|---|---|---|---|
| 12 февраля 2016 | 1 | Задачи обучения по прецедентам. Supervised, unsupervised и semi-supervised обучение. Понятия переобучения и обобщающей способности. Скользящий контроль (cross-validation). | |
| 19 февраля 2016 | 2 | Метрические алгоритмы классификации. Обобщённый метрический классификатор, понятие отступа. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Отбор эталонных объектов. алгоритм СТОЛП. | |
| 26 февраля 2016 | 3 | Построение метрик и отбор признаков. Стандартные метрики. Оценивание качества метрики. Проклятие размерности. Жадный алгоритм отбора признаков. | |
| 4 марта 2016 | 4 | Логические закономерности. Статистический критерий информативности Ic(',Xl): смысл и способы вычисления. Энтропийный критерий информативности, информационный выигрыш IGainc(',Xl). Многоклассовые варианты критериев. Индекс Gini. Задача перебора конъюнкций. “Градиентный” алгоритм синтеза конъюнкций и его частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. | |
| 11 марта 2016 | 5 | Бинаризация признаков, алгоритм выделения информативных зон. Решающие списки. Решающие деревья: принцип работы. Разбиение пространства объектов на подмножества, выделяемые конъюнкциями терминальных вершин. Алгоритм ID3. Пре-прунинг и пост-прунинг. | |
| 18 марта 2016 | 6 | Знакомство с идеей композиции алгоритмов. Random Forest, Беггинг, RSM, стекинг. | |
| 25 марта 2016 | 7 | Линейная классификация. Непрерывные аппроксимации пороговой функции потерь. Метод минимизации аппроксимированного эмпирического риска. SG, SAG. Связь минимизации аппроксимированного эмпирического риска и максимизации совместного правдоподобия данных и модели. Регуляризация (l1, l2, elastic net). Вероятностный смысл регуляризаторов. Примеры различных функций потерь и классификаторов. Эвристический вывод логистической функции потерь. | |
| 1 апреля 2016 | 8 | Метод опорных векторов. Оптимизационная задача с ограничениями в виде неравенств и безусловная. Опорные векторы. Kernel trick. | |
| 8 апреля 2016 | 9 | Задача снижения размерности пространства признаков. Идея метода главных компонент
(PCA). Связь PCA и сингулярного разложения матрицы признаков (SVD). Вычисление SVD в пространствах высокой размерности методом стохастического градиента (SG SVD). || | |
| 15 апреля 2016 | 10 | Многомерная линейная регрессия. Геометрический и аналитический вывод. Регуляризация в задаче регрессии. Непараметрическая регрессия. Формула Надарая-Ватсона. Регрессионные деревья. | |
| 22 апреля 2016 | 11 | Байесовская классификация и регрессия. Функционал риска и функционал среднего риска. Оптимальный байесовский классификатор и теорема о минимизации среднего риска. Наивный байесовский классификатор. | |
| 29 апреля 2016 | 12 | Восстановление плотности: параметрический и непараметрический подход. Метод Парзеновского окна. Параметрический подход на примере нормального дискриминантного анализа. Линейный дискриминант Фишера. Логистическая регрессия. | |
| 6 мая 2016 | 13 | Задача кластеризации. Аггломеративная и дивизионная кластеризация. Алгоритмы k-Means. Кластеризация с помощью EM-алгоритма (без вывода M-шага). Формула Ланса-Уилльямса. | |
| 13 мая 2016 | 14 | Метод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения. Выбор начального приближения, числа слоёв, числа нейронов скрытого слоя в градиентных методах настройки нейронных сетей. Методы ускорения сходимости. Метод оптимального прореживания нейронной сети. | |
| 20 мая 2016 | 15 | Задача прогнозирования временного ряда, примеры задач. Составление матрицы регрессии, адаптация весов регрессоров во времени. Экспоненциальное сглаживание, модель Хольта, модель Уинтерса. |
Семинары
Арсений Ашуха / Вторник 09:00 - 10:25
Таблица с результатами находится тут, материалы к занятиям находятся тут, cv
Новости:
Практические задания:
Коваленко Борис / Вторник 10:35 - 12:00
Лог посещений и результатов тут Linkedin
- 9 февраля Семинар #1
Новости:
Практические задания:
Алексей Романенко / Вторник 16:55 - 18:20 / Вторник 18:30 - 20:00
Таблица рейтинга находится тут, материалы семинаров находятся тут,
Новости:
Практические задания:
Валентин Малых / Вторник 18:30 - 20:00
Таблица с результатами находится тут, материалы к занятиям находятся здесь.
Новости:
- [10.02.2016] Установка IPython. Рекомендую поставить Python 2.7. Проще всего установить AnacondaPython, который уже включает IPython и практически все нужные пакеты.
Практические задания:
Никита Волков / Пятница 15:30 - 16:55 / 321 ЛК
Материалы семинаров. Cтраница в ВК.
Установка ipython: Если у вас Убунта, то не надо мучаться с Анакондой - все проще. А еще можно использовать онлайн ноутбуки.
Литература
- К. В. Воронцов Математические методы обучения по прецедентам
- Trevor Hastie The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition
- Christopher Bishop Pattern Recognition and Machine Learning
- Stanford python/numpy linear algebra probability optimization tururials
Позезные пакеты
- Anaconda -- установка питона и большого количества библиотек.
Страницы курса прошлых лет
--
