Машинное обучение (курс лекций, Н.Ю.Золотых)

Материал из MachineLearning.

Текущая версия

Машинное обучение — курс, читаемый на факультете ВМК Нижегородского гос. университета им. Н.И. Лобачевского. Это односеместровый вводный курс для магистрантов. Основная цель — дать обзор основных методов, используемых в машинном обучении, развить интуицию студентов для лучшего понимания основных идей, лежащих за этими методами, и привить навыки работы с программным обеспечением, реализующим алгоритмы машинного обучения.

Автор курса – Н.Ю. Золотых. Лабораторные работы разработаны А.Н. Половинкиным, Н.Ю. Золотых, С.Н. Чернышовой, Ю.В. Горюновым.

Разработка курса поддержана корпорацией Intel. Кураторы от Intel — Виктор Ерухимов, Игорь Чикалов.

Лекции

Основные темы лекций:

• постановки и примеры задач машинного обучения
• линейная регрессия;
• метод ближайших соседей;
• дискриминантный анализ;
• логистическая регрессия;
• машина опорных векторов;
• нейронные сети;
• деревья решений;
• комбинация методов (бустинг, баггинг);
• алгоритм «Ожидание–максимизация»;
• скрытые марковские модели;
• байесовы сети;
• методы решения задач кластеризации;
• основы теории Вапника–Червоненкиса об обобщающей способности алгоритмов.

Лабораторные работы

В качестве основной вычислительной среды для проведения лабораторных работ используется R.

Предлагаются следующие лабораторные работы:

• основы работы в R;
• статистический вывод и проверка гипотез;
• линейная регрессия;
• машина опорных векторов;
• деревья решений для классификации и восстановления регрессии;
• алгоритмы кластеризации;
• оценивание моделей (метод скользящего контроля, бутстрэп);
• бустинг.

Задания к лабораторным работам включают реализации алгоритмов машинного обучения и/или экспериментальное сравнение таких алгоритмов между собой. Данные для задач взяты из известных коллекций, таких как UCI Machine Learning Repository, Carnegie Mellon University StatLib Collection. Иногда для иллюстации тонких моментов некоторых алгоритмов используются искусственно сгенерированные данные.

Конкурсные задания

В рамках курса предусмотрено проведение конкурса на лучшее решение практической задачи машинного обучения. Его правила обычны для проведения подобных соревнований. В начале семестра становится доступной некоторая обучающая выборка. В конце семестра студентам предоставляется возможность проверить построенные ими классификаторы на проверочной выборке. Далее студенты загружают тестовые данные (без значений выходной переменной) и посылают организатором найденные значения выходной переменной.

Для выполнения конкурсного задания студенты могут использовать любое программное обеспечение (рекомендуется R).

Ссылки

• Домашняя страница курса — конспекты лекций, презентации, описание лабораторных работ и полезные ссылки.