Глубокое машинное обучение (онлайн-учебник)

Материал из MachineLearning.

Текущая версия

Китов В.В. Глубокое машинное обучение, 2024, онлайн-учебник.

Аннотация

Онлайн-учебник по машинному обучению и глубокому обучению (нейросетям) на основе курсов "Методы машинного обучения" и "Глубокое машинное обучение", читаемых на факультете ВМК МГУ им. Ломоносова.

Первая часть учебника описывает весь процесс построения моделей машинного обучения (machine learning):

• постановка и формализация задачи
• подготовка данных
• выбор модели и подбор гиперпараметров
• меры качества оценки моделей
• оценка качества и интерпретация результатов

В ней рассматриваются методы классического машинного обучения:

• метрические методы
• линейные модели
• деревья решений.

Описывается, как алгоритмы машинного обучения решают задачу регрессии и классификации, а также основные функции потерь и меры качества для указанных задач.

Особое внимание уделяется построению прогнозов, используя не одну модель, а композицию разных моделей (ансамбль). Рассматриваются популярные методы построения ансамблей моделей, такие как

• бэггинг
• метод случайных подпространств
• случайный лес
• особо случайные деревья
• бустинг.

В конце учебника рассматриваются подходы к интерпретации настроенных моделей машинного обучения и полученных с их помощью прогнозов.

Вторая часть учебника посвящена глубокому обучению (deep learning), то есть использованию нейросетей в задачах эффективного представления знаний (representation learning) и прогнозирования.

Рассматривается обработка табличных данных, изображений, последовательностей и временных рядов, текстов и графов с помощью нейросетей.

Описываются основные нейросетевые архитектуры:

• многослойный персептрон
• свёрточные нейросети для обработки последовательностей и изображений
• автокодировщики
• сиамские сети
• рекуррентные сети
• трансформеры
• графовые нейросети.

Изучаются методы эффективной настройки глубоких нейросетевых моделей, включающие начальную инициализацию моделей и методы оптимизации нейросетей.

Особое внимание уделено способам регуляризации нейросетевых моделей, чтобы контролировать степень переобучения.

Помимо задач регрессии и классификации, рассматриваются и другие применения глубоких нейросетей:

• семантическая сегментация, детекция объектов и instance-сегментация
• построение эмбеддингов слов и параграфов текста
• генерация текстов и последовательностей других дискретных объектов
• классификация вершин и рёбер графа, учитывая их геометрическое расположение
• восстанавление недостающих рёбер на графе.

Ссылки

• DeepMachineLearning.ru