Материал из MachineLearning.

Содержание 1 О курсе 2 Экзамен 3 Программа курса 3.1 Осенний семестр 3.1.1 Введение в машинное обучение 3.1.2 Метод ближайших центроидов и K ближайших соседей 3.1.3 Сложность моделей. Подготовка данных 3.1.4 Метрики близости 3.1.5 Оптимизация метода K ближайших соседей 3.1.6 Линейная регрессия и ее обобщения 3.1.7 Метод стохастического градиентного спуска 3.1.8 Линейная классификация 3.1.9 Оценивание классификаторов 3.1.10 Метод опорных векторов 3.1.11 Обобщения методов через ядра Мерсера 3.1.12 Решающие деревья 3.1.13 Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей 3.1.14 Бустинг 3.1.15 Усовершенствования бустинга 3.1.16 Метод главных компонент 3.2 Весенний семестр 3.2.1 Байесовское решающее правило. Примеры генеративных моделей 3.2.2 Отбор признаков 3.2.3 Выпуклые функции 3.2.4 Стандартные распределения 3.2.5 Смеси распределений 3.2.6 EM-алгоритм 3.2.7 Тематические модели 3.2.8 Ядерно-сглаженные оценки плотности 3.2.9 Кластеризация 3.2.10 Обнаружение аномалий 3.2.11 Сингулярное разложение 3.2.12 Рекомендательные системы 3.2.13 Активное обучение 3.2.14 Частичное обучение 3.2.15 Нелинейное снижение размерности 3.3 Рекомендуемая литература 3.4 Образовательные ресурсы по Python

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

О курсе

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.

• Курс во многом пересекается с курсом К.В.Воронцова по машинному обучению, с которым также рекомендуется ознакомиться.

• Анонимные отзывы и комментарии по лекциям можно оставлять здесь.

Экзамен

Процедура экзамена и вопросы

Программа курса

Осенний семестр

Введение в машинное обучение

Метод ближайших центроидов и K ближайших соседей

Сложность моделей. Подготовка данных

Метрики близости

Оптимизация метода K ближайших соседей

Линейная регрессия и ее обобщения

Метод стохастического градиентного спуска

Линейная классификация

Оценивание классификаторов

Метод опорных векторов

+вывод двойственной задачи для классификации опорных векторов

Обобщения методов через ядра Мерсера

+начало доказательства, что ridge-регрессия допускает обобщение через ядра

Решающие деревья

Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей

Бустинг

Усовершенствования бустинга

+LogitBoost

Метод главных компонент

+Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Весенний семестр

Байесовское решающее правило. Примеры генеративных моделей

Отбор признаков

Выпуклые функции

Стандартные распределения

Смеси распределений

EM-алгоритм

Разделение смеси многомерных нормальных распределений

Тематические модели

(обновлено 01.04.21)

Ядерно-сглаженные оценки плотности

Кластеризация

(обновлено 10.04.2021)

Обнаружение аномалий

Сингулярное разложение

Доказательство основных свойств.

Рекомендательные системы

Активное обучение

Частичное обучение

Нелинейное снижение размерности

Метод t-SNE

Рекомендуемая литература

Для подробного освоения материала рекомендуется изучить онлайн-учебники по теме курса:

• Глубокое машинное обучение (Китов В.В., МГУ им. Ломоносова)
• Машинное обучение (Школа анализа данных Яндекса)

Образовательные ресурсы по Python

• Примеры для начинающих: краткое руководство с примерами по Python 2
• Python from scratch: A Crash Course in Python for Scientists
• Коллекция интересных IPython ноутбуков
• Лекции Scientific Python
• Книга: Wes McKinney «Python for Data Analysis»
• Официальный сайт
• Научные библиотеки: NumPy, Pandas, SciKit-Learn, Matplotlib.