Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Первый семестр 1.1.1 Основные понятия и примеры прикладных задач. 1.1.2 Метрические методы регрессии и классификации. 1.1.3 Методы решающих деревьев. 1.1.4 Оценивание моделей. 1.1.5 Классификация линейными методами. 1.1.6 Линейная и нелинейная регрессия. 1.1.7 Обобщение методов через ядра. 1.1.8 Байесовская теория классификации. 1.1.9 Методы работы с пропущенными данными. Метод наивного Байеса. 1.1.10 Моделирование смесью распределений. 1.1.11 Ядерное сглаживание для оценки плотности. 1.1.12 Кластеризация. 1.2 Второй семестр 1.2.1 Введение по практическому использованию алгоритмов машинного обучения 1.2.2 Ансамбли алгоритмов. 1.2.3 Ансамбли алгоритмов (продолжение). 1.2.4 Нейросети. 1.2.5 Нейросети (продолжение). 1.2.6 Бустинг & нейросети (продолжение). 1.2.7 Кластеризация. 1.2.8 Глубинное обучение. 1.2.9 Методы отбора признаков. 1.2.10 Линейные методы снижения размерности. 1.2.11 Нелинейные методы снижения размерности. 1.2.12 Коллаборативная фильтрация. 1.2.13 Online machine learning. 1.2.14 Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов. 1.2.15 Оптимизация процесса построения модели. Active learning. 1.2.16 Reinforcement learning.

Машинное обучение (англ. machine learning) - наука об алгоритмах, которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Наука является сравнительно молодой, поскольку многие алгоритмы автоматической настройки на данных являются вычислительно трудоемкими, и их применение стало возможным только с появлением высокопроизводительных вычислительных средств. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также подробно рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений.

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.

Курс во многом пересекается с курсом К.В.Воронцова по машинному обучению, с которым также рекомендуется ознакомиться.

Программа курса

Первый семестр

Основные понятия и примеры прикладных задач.

Скачать презентацию

Метрические методы регрессии и классификации.

Скачать презентацию
Скачать презентацию (продолжение)

Методы решающих деревьев.

Скачать презентацию
Скачать презентацию (продолжение)

Оценивание моделей.

Скачать презентацию

Классификация линейными методами.

Скачать презентацию
Скачать презентацию (продолжение)

Линейная и нелинейная регрессия.

Скачать презентацию (обновлена 05.11.2015)

Обобщение методов через ядра.

Скачать презентацию

Байесовская теория классификации.

Байесовский алгоритм классификации, минимизирующий цену. Случай одинаковых цен. Дискриминативные и генеративные модели. Частотный и байесовский подходы к оцениванию неизвестных параметров. Генеративные модели классификации с гауссовскими внутриклассовыми распределениями: модели LDA, QDA и RDA (QDA с регуляризацией), а также виды упрощающих предположений о матрице внутриклассовых ковариаций.

Методы работы с пропущенными данными. Метод наивного Байеса.

+мультиномиальная/биномиальная модель наивного Байеса для классификации текстов и преобразование TF-IDF. +разложение ожидаемого квадрата ошибки на смещение и дисперсию (bias-variance tradeoff).

Моделирование смесью распределений.

EM-алгоритм. Доказательство неубывания правдоподобия для EM-алгоритма. Вывод EM-алгоритма для смеси нормальных распределений в векторном случае. Подходы к определению числа компонент. Варианты снижения числа параметров и повышения устойчивости EM-алгоритма для смеси нормальных распределений.

Ядерное сглаживание для оценки плотности.

Случай одномерных и многомерных плотностей-основные ядерные функции. Условия сходимости к истинной плотности. Подходы к определению bandwidth (постоянного и зависящего от x).

Кластеризация.

K-средних. Инициализация EM-алгоритма кластеризацией. Мягкая кластеризация через EM-алгоритм.

Второй семестр

Введение по практическому использованию алгоритмов машинного обучения

Ансамбли алгоритмов.

Bias-Variance tradeoff, bagging, метод случайных подпространств, Random Forest, Extra Random Trees. Жадный алгоритм построения линейных ансамблей (forward stagewise additive modelling). AdaBoost (с выводом).

Ансамбли алгоритмов (продолжение).

Оптимизация ф-ций методом градиентного спуска с вариативным шагом и методом Ньютона. Градиентный бустинг (с примерами квадратичной ошибки, линейного персептрона и логистической ф-ции цены) и бустинг с локальной квадратичной аппроксимацией (с выводом для LogitBoost с вещественнозначными базовыми алгоритмами). Модификация алгоритма, когда базовые алгоритмы-деревья. Shrinkage и subsampling.

Скачать презентацию

Доп. материалы:

Мерков. Введение в методы статистического обучения.

Hastie et. al. The Elements of Statistical Learning.

Нейросети.

Нейросети (продолжение).

Структура нейросетей для распознавания картинок. Пример. Идея глубинного обучения. Метод обратного распространения ошибок.

Скачать презентацию

Доп. материалы:

лекции Джефри Хинтона по нейросетям

Туториалы по глубинному обучению

Книга Yoshua Bengio по глубинному обучению

Детальный обзор по глубинному обучению от Microsoft Research

Бустинг & нейросети (продолжение).

Планируется: обучение в xgBoost. Метод DropOut в нейросетях.

Кластеризация.

Глубинное обучение.

Методы отбора признаков.

Линейные методы снижения размерности.

Нелинейные методы снижения размерности.

Коллаборативная фильтрация.

Online machine learning.

Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов.

Оптимизация процесса построения модели. Active learning.

Reinforcement learning.