Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Первый семестр 1.1.1 Основные понятия и примеры прикладных задач. 1.1.2 Метрические методы регрессии и классификации. RBF-методы. 1.1.3 Методы решающих деревьев. 1.1.4 Оценивание моделей. Преобразование score в вероятность. 1.1.5 Классификация линейными методами. 1.1.6 Линейная и нелинейная регрессия. 1.1.7 Кластеризация 1.1.8 Обобщение методов через ядра. 1.1.9 Байесовская теория классификации. 1.1.10 Разделение смеси распределений. Ядерное сглаживание для оценки плотности. 1.1.11 Отбор признаков и регуляризация. 1.1.12 Линейные методы снижения размерности. 1.1.13 Извлечение признаков и модификация моделей на примерах прикладных задач. 1.2 Второй семестр 1.2.1 Нейросети. 1.2.2 Глубинное обучение. 1.2.3 Ансамбли алгоритмов. 1.2.4 Ансамбли алгоритмов (продолжение). 1.2.5 Нелинейные методы снижения размерности. 1.2.6 Коллаборативная фильтрация. 1.2.7 Online machine learning. 1.2.8 Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов. 1.2.9 Оптимизация процесса построения модели. Active learning. 1.2.10 Reinforcement learning.

Машинное обучение (англ. machine learning) - наука об алгоритмах, которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Наука является сравнительно молодой, поскольку многие алгоритмы автоматической настройки на данных являются вычислительно трудоемкими, и их применение стало возможным только с появлением высокопроизводительных вычислительных средств. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также подробно рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений.

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.

Курс во многом опирается на цикл лекций К.В.Воронцова, откуда можно получить дополнительную информацию.

Программа курса

Первый семестр

Основные понятия и примеры прикладных задач.

Скачать презентацию

Метрические методы регрессии и классификации. RBF-методы.

Методы решающих деревьев.

+MARS, Pruning.

Оценивание моделей. Преобразование score в вероятность.

Классификация линейными методами.

Логистическая регрессия. Метод опорных векторов.

Линейная и нелинейная регрессия.

Кластеризация

Обобщение методов через ядра.

Байесовская теория классификации.

+LDA, QDA.

Разделение смеси распределений. Ядерное сглаживание для оценки плотности.

EM-алгоритм. Мягкая кластеризация.

Отбор признаков и регуляризация.

Линейные методы снижения размерности.

PCA, SVD разложения.

Извлечение признаков и модификация моделей на примерах прикладных задач.

Второй семестр

Нейросети.

Глубинное обучение.

+Различные виды автоэнкодеров.

Ансамбли алгоритмов.

Ансамбли алгоритмов (продолжение).

Нелинейные методы снижения размерности.

Коллаборативная фильтрация.

Online machine learning.

Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов.

Оптимизация процесса построения модели. Active learning.

Reinforcement learning.