Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Осенний семестр 1.1.1 Введение в машинное обучение 1.1.2 Метод ближайших центроидов и K ближайших соседей 1.1.3 Сложность моделей. Подготовка данных 1.1.4 Метрики близости 1.1.5 Оптимизация метода K ближайших соседей 1.1.6 Линейная регрессия и ее обобщения 1.1.7 Метод стохастического градиентного спуска 1.1.8 Линейная классификация 1.1.9 Оценивание классификаторов 1.1.10 Метод опорных векторов 1.1.11 Обобщения методов через ядра Мерсера 1.1.12 Решающие деревья 1.1.13 Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей 1.1.14 Метод главных компонент 1.1.15 Бустинг 1.1.16 Усовершенствования бустинга 1.2 Весенний семестр 1.2.1 Байесовское решающее правило. Предположение наивного Байеса. Генеративные и дискриминативные модели. Примеры генеративных моделей 1.2.2 Отбор признаков 1.2.3 Выпуклые функции 1.2.4 EM-алгоритм 1.2.5 Смеси распределений 1.2.6 Тематические модели 1.2.7 Сингулярное разложение 1.2.8 Ядерно-сглаженные оценки плотности 1.2.9 Кластеризация 1.2.10 Обнаружение аномалий 1.2.11 Рекомендательные системы 1.2.12 Активное обучение 1.2.13 Нелинейное снижение размерности 1.2.14 Частичное обучение 1.2.15 Рекомендуемые ресурсы по Python

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Видеозаписи занятий: ссылка

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.

• Курс во многом пересекается с курсом К.В.Воронцова по машинному обучению, с которым также рекомендуется ознакомиться.

• Анонимные отзывы и комментарии по лекциям можно оставлять здесь.

Программа курса

Осенний семестр

Введение в машинное обучение

Метод ближайших центроидов и K ближайших соседей

Сложность моделей. Подготовка данных

Метрики близости

Оптимизация метода K ближайших соседей

Линейная регрессия и ее обобщения

Метод стохастического градиентного спуска

Линейная классификация

Оценивание классификаторов

Метод опорных векторов

+вывод двойственной задачи для классификации опорных векторов

Обобщения методов через ядра Мерсера

+начало доказательства, что ridge-регрессия допускает обобщение через ядра

Решающие деревья

Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей

Метод главных компонент

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Бустинг

Усовершенствования бустинга

Весенний семестр

Байесовское решающее правило. Предположение наивного Байеса. Генеративные и дискриминативные модели. Примеры генеративных моделей

Отбор признаков

Выпуклые функции

EM-алгоритм

Смеси распределений

Разделение смеси многомерных нормальных распределений

Тематические модели

Вывод EM для PLSA

Сингулярное разложение

Доказательство основных свойств.

Ядерно-сглаженные оценки плотности

Кластеризация

Обнаружение аномалий

Рекомендательные системы

Активное обучение

Нелинейное снижение размерности

Частичное обучение

Рекомендуемые ресурсы по Python

• Примеры для начинающих: краткое руководство с примерами по Python 2
• Python from scratch: A Crash Course in Python for Scientists
• Коллекция интересных IPython ноутбуков
• Лекции Scientific Python
• Книга: Wes McKinney «Python for Data Analysis»
• Официальный сайт
• Научные библиотеки: NumPy, Pandas, SciKit-Learn, Matplotlib.