Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Первый семестр 1.1.1 Основные понятия и примеры прикладных задач. 1.1.2 Метрические методы регрессии и классификации. 1.1.3 Методы решающих деревьев. 1.1.4 Оценивание моделей. 1.1.5 Классификация линейными методами. 1.1.6 Линейная и нелинейная регрессия. 1.1.7 Обобщение методов через ядра. 1.1.8 Разделение смеси распределений. Ядерное сглаживание для оценки плотности. 1.1.9 Байесовская теория классификации. 1.1.10 Методы работы с пропущенными данными. Метод наивного Байеса. 1.1.11 Кластеризация 1.1.12 Отбор признаков и регуляризация. 1.1.13 Линейные методы снижения размерности. 1.2 Второй семестр 1.2.1 Нейросети. 1.2.2 Глубинное обучение. 1.2.3 Ансамбли алгоритмов. 1.2.4 Ансамбли алгоритмов (продолжение). 1.2.5 Нелинейные методы снижения размерности. 1.2.6 Коллаборативная фильтрация. 1.2.7 Online machine learning. 1.2.8 Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов. 1.2.9 Оптимизация процесса построения модели. Active learning. 1.2.10 Reinforcement learning.

Машинное обучение (англ. machine learning) - наука об алгоритмах, которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Наука является сравнительно молодой, поскольку многие алгоритмы автоматической настройки на данных являются вычислительно трудоемкими, и их применение стало возможным только с появлением высокопроизводительных вычислительных средств. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также подробно рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений.

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.

Курс во многом опирается на цикл лекций К.В.Воронцова, откуда можно получить дополнительную информацию.

Программа курса

Первый семестр

Основные понятия и примеры прикладных задач.

Скачать презентацию

Метрические методы регрессии и классификации.

Скачать презентацию
Скачать презентацию (продолжение)

Методы решающих деревьев.

Скачать презентацию
Скачать презентацию (продолжение)

Оценивание моделей.

Скачать презентацию

Классификация линейными методами.

Скачать презентацию
Скачать презентацию (продолжение)

Линейная и нелинейная регрессия.

Скачать презентацию (обновлена 05.11.2015)

Обобщение методов через ядра.

Скачать презентацию

Разделение смеси распределений. Ядерное сглаживание для оценки плотности.

EM-алгоритм. Мягкая кластеризация.

Байесовская теория классификации.

Байесовский алгоритм классификации, минимизирующий цену. Случай одинаковых цен. Дискриминативные и генеративные модели. Частотный и байесовский подходы к оцениванию неизвестных параметров. Генеративные модели классификации с гауссовскими внутриклассовыми распределениями: модели LDA, QDA и RDA (QDA с регуляризацией), а также виды упрощающих предположений о матрице внутриклассовых ковариаций. - было на лекции 19.11.2015.

Методы работы с пропущенными данными. Метод наивного Байеса.

+мультиномиальная/биномиальная модель наивного Байеса для классификации текстов и преобразование TF-IDF. - было на лекции 26.11.2015.

Кластеризация

Отбор признаков и регуляризация.

Линейные методы снижения размерности.

PCA, SVD разложения.

Второй семестр

Нейросети.

Глубинное обучение.

+Различные виды автоэнкодеров.

Ансамбли алгоритмов.

Ансамбли алгоритмов (продолжение).

Нелинейные методы снижения размерности.

Коллаборативная фильтрация.

Online machine learning.

Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов.

Оптимизация процесса построения модели. Active learning.

Reinforcement learning.