Автоматическое машинное обучение

Материал из MachineLearning.

Версия от 02:33, 19 июля 2026; Arina Iarovenko (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Содержание

Автоматическое машинное обучение (англ. automated machine learning, AutoML) — область машинного обучения, посвящённая автоматизации построения, выбора, настройки и оценки моделей и вычислительных конвейеров. AutoML-система обычно получает данные, тип задачи, критерий качества и ресурсный бюджет, а возвращает обученный пайплайн. Автоматизация может охватывать предварительную обработку, построение и отбор признаков, выбор алгоритма, настройку гиперпараметров, ансамблирование и заключительное обучение[1].

AutoML не означает полной автономности анализа данных. Постановка задачи, сбор и проверка данных, выбор содержательной метрики, задание ограничений и оценка последствий применения модели обычно остаются за специалистом. Автоматизируется прежде всего повторяемый экспериментальный поиск внутри заданных границ.

Основная идея

Построение модели рассматривается как задача оптимизации в пространстве допустимых решений. Одно решение описывает последовательность операций: заполнение пропусков, кодирование категорий, масштабирование, отбор признаков, семейство модели, его настройки и постобработку предсказаний. Компоненты взаимозависимы: масштабирование требуется не всем алгоритмам, а параметры ядра имеют смысл только при выборе соответствующего варианта метода опорных векторов. Поэтому пространство поиска является смешанным и иерархическим: оно содержит непрерывные, целочисленные и категориальные переменные, часть которых активна лишь при определённых предыдущих выборах.

Система многократно предлагает конфигурацию, обучает её на части данных, оценивает на валидационной части и использует результат при выборе следующих испытаний. Поиск завершается после исчерпания времени, памяти или числа запусков. Результатом служит лучшая найденная конфигурация, ансамбль либо несколько решений с разным соотношением качества и вычислительной стоимости.

Формальная постановка

Пусть \Theta — пространство конфигураций пайплайна, а \widehat R_{\rm val}(\theta) — оценка ошибки конфигурации \theta на данных, не использованных для подгонки параметров. Базовая задача имеет вид

\theta^\ast\in\mathop{\rm argmin}_{\theta\in\Theta}\widehat R_{\rm val}(\theta).

Если исходную метрику требуется максимизировать, её преобразуют в функцию потерь с противоположным направлением. Для малых и средних выборок риск часто оценивают с помощью K-блочной кросс-валидации:

\widehat R_{\rm CV}(\theta)=\frac{1}{K}\sum_{k=1}^{K}\frac{1}{|V_k|}\sum_{(x_i,y_i)\in V_k}\ell\left(y_i,f_{\theta,-k}(x_i)\right).

Здесь V_k — очередной валидационный блок, f_{\theta,-k} — пайплайн, обученный без него, а \ell — потеря на одном объекте. Усреднение уменьшает зависимость от одного разбиения, но увеличивает стоимость оценки.

Постановка CASH

Важный частный случай называется CASH (англ. combined algorithm selection and hyperparameter optimization) — совместный выбор алгоритма и гиперпараметров. Эта постановка была сформулирована в работе об Auto-WEKA[1]:

(A^\ast,\lambda^\ast)\in\mathop{\rm argmin}_{A^{(j)}\in\mathcal A,\ \lambda\in\Lambda^{(j)}}\frac{1}{K}\sum_{k=1}^{K}L\left(A_{\lambda}^{(j)},D_{\rm train}^{(k)},D_{\rm val}^{(k)}\right).

Здесь \mathcal A — набор алгоритмов, \Lambda^{(j)} — пространство настроек алгоритма A^{(j)}, а L — его ошибка на одном разбиении. Выбор алгоритма можно считать корневым категориальным гиперпараметром, который активирует соответствующее подпространство. В полном AutoML аналогично добавляются варианты предобработки и отбора признаков.

В прикладных задачах наряду с ошибкой учитывают время обучения, задержку предсказания, память и размер модели. Эти величины задают как ограничения, объединяют в скалярный критерий либо ищут Парето-оптимальные конфигурации. Таким образом, «лучшая» модель определяется не только точностью, но и условиями эксплуатации.

Состав автоматизируемого пайплайна

Подготовка данных и признаков

Автоматическая подготовка включает распознавание типов столбцов, заполнение пропусков, кодирование категорий, масштабирование, обработку выбросов и дисбаланса классов. Построение признаков может включать агрегаты, преобразования дат, текстовые представления, снижение размерности и отбор переменных. Все обучаемые преобразования должны подгоняться только по обучающей части каждого разбиения; обработка всей выборки до разделения создаёт утечку данных.

Семантика данных автоматизируется хуже. Число может быть измерением, идентификатором или кодом категории, а пропуск — случайной потерей либо значимым событием. Поэтому результат автоматического определения типов и очистки требует предметной проверки.

Выбор модели и гиперпараметров

Параметры модели оцениваются алгоритмом обучения по данным, тогда как гиперпараметры управляют устройством модели или процедурой обучения и выбираются во внешнем цикле. К ним относятся сила регуляризации, глубина дерева, скорость обучения и размер пакета. Корректный выбор модели требует настройки существенных гиперпараметров каждого кандидата; сравнение настроенного алгоритма с другим алгоритмом в настройках по умолчанию смешивает выбор семейства и качество настройки.

Ансамбли и переобучение

Несколько моделей объединяют усреднением, голосованием или стекингом. Auto-sklearn, например, дополнил байесовский поиск метаобучением и построением ансамбля из уже оценённых кандидатов[1]. После выбора конфигурацию обычно переобучают на объединённых обучающих и валидационных данных. Тестовая выборка не участвует ни в поиске, ни в выборе состава ансамбля.

Методы поиска

Сеточный и случайный поиск

Поиск по сетке проверяет декартово произведение заданных значений. Он прост, но число испытаний быстро растёт с размерностью, а вычисления тратятся и на малозначимые координаты. Случайный поиск независимо выбирает конфигурации из заданных распределений и при том же бюджете исследует больше значений каждого параметра. Если качество определяется лишь частью координат, он обычно эффективнее сетки и служит важным базовым методом[1]. Его результат зависит от распределений поиска: для параметров, меняющихся на несколько порядков, часто уместен логарифмический масштаб.

Байесовская оптимизация

Байесовская оптимизация строит по выполненным испытаниям суррогатную модель зависимости качества от конфигурации. Функция приобретения выбирает следующую точку, согласуя исследование неизвестных областей и уточнение уже найденных хороших областей. Суррогатом могут служить гауссовский процесс, случайный лес или модель плотности[1]. Метод особенно полезен при дорогой оценке и небольшом числе испытаний, но должен уметь работать со смешанными и условными переменными.

Эволюционные методы и метаобучение

Эволюционные методы поддерживают популяцию решений и создают новые пайплайны мутациями и скрещиванием. Они удобны для дискретных структур переменной длины и многокритериального поиска, но обычно требуют большого числа оцениваний.

Метаобучение переносит опыт с предыдущих задач: по характеристикам нового набора данных выбирает начальное портфолио, рекомендует конфигурации или настраивает стратегию поиска[1]. Это ускоряет запуск на сходных задачах, однако не гарантирует пригодности рекомендаций при смене области, поэтому перенос дополняют исследованием пространства.

Многоуровневые оценки и ранняя остановка

Многоуровневые методы сначала оценивают много конфигураций при малом ресурсе: на подвыборке, при меньшем числе итераций, эпох или признаков. Затем ресурс передаётся наиболее перспективным вариантам. Hyperband сочетает последовательное отбрасывание кандидатов с несколькими схемами распределения бюджета[1]. Ускорение оправдано, только если дешёвая оценка сохраняет порядок кандидатов; медленно обучающаяся, но сильная модель иначе может быть остановлена преждевременно.

Поиск архитектуры нейронной сети

Поиск архитектуры нейронной сети (англ. neural architecture search, NAS) — часть AutoML, автоматизирующая структурные решения при построении нейронных сетей. NAS описывают тремя компонентами: пространством архитектур, стратегией поиска и способом оценки кандидата[1]. Пространство задаёт операции и соединения; поиск выполняется байесовскими, эволюционными, градиентными методами или обучением с подкреплением; оценка использует полное обучение, дешёвые приближения либо совместное использование весов.

AutoML шире: оно охватывает данные, признаки, выбор семейства алгоритмов, гиперпараметры и весь пайплайн. NAS сосредоточен на структуре нейронной сети. Граница архитектуры и гиперпараметров при этом нестрогая: число каналов, ширина слоя, тип нормализации и коэффициент расширения можно отнести к обеим категориям, а на практике их часто оптимизируют совместно.

Полное обучение каждой архитектуры дорого, поэтому NAS широко использует ранние оценки и общие веса. Они могут исказить относительный порядок кандидатов: качество в упрощённом режиме не обязано совпадать с качеством отдельного полного обучения. Найденную архитектуру поэтому переобучают и проверяют в целевом режиме.

Практический процесс

  1. Формулировка задачи. Определяются целевая переменная, метрика, горизонт прогноза и ограничения на память, время и интерпретируемость.
  2. Разделение данных. Создаются обучающая, валидационная и тестовая части; при временной или групповой зависимости сохраняется структура будущего применения.
  3. Пространство и протокол. Задаются допустимые операции, диапазоны, условные зависимости, схема кросс-валидации, бюджет и правила обработки сбоев.
  4. Поиск. Система обучает кандидатов, регистрирует результаты и распределяет оставшийся ресурс.
  5. Выбор и переобучение. Выбирается модель или ансамбль и обучается на всех данных, разрешённых протоколом.
  6. Независимая проверка и эксплуатация. Один раз вычисляются тестовые метрики, после чего контролируются задержка, сдвиг распределения и деградация качества.

Например, для таблицы с числовыми и категориальными признаками пространство может содержать несколько способов заполнения пропусков и кодирования, а также логистическую регрессию, случайный лес и градиентный бустинг. Масштабирование задаётся как условный этап, параметры каждого классификатора активируются только при его выборе, а все преобразования заново подгоняются внутри каждого разбиения. Объектом оптимизации здесь является согласованный пайплайн, а не отдельный классификатор.

Значение для машинного обучения

AutoML применяют для построения воспроизводимой базовой линии, массового обучения моделей на однотипных наборах, табличной классификации и регрессии, прогнозирования и поиска нейронных архитектур. Многокритериальный поиск полезен для мобильных и встраиваемых систем, где качество согласуют с памятью и задержкой.

Для специалиста AutoML систематизирует эксперименты и распределяет вычислительный бюджет, но не заменяет анализ данных и ошибок. Эксперт задаёт пространство поиска и может изменять его после диагностики. Автоматическая стратегия не способна выбрать модель или преобразование, отсутствующие в этом пространстве.

Оценивание и воспроизводимость

AutoML-система сама является алгоритмом обучения высокого уровня. Её сравнивают на наборе задач при одинаковых ограничениях времени, оборудования и памяти, учитывая итоговое качество, скорость его достижения, задержку предсказания и сбои. Открытый тест AMLB сравнивал девять систем на 71 задаче классификации и 33 задачах регрессии и показал необходимость анализа различий между группами задач и эксплуатационных характеристик, а не только средней точности[1].

Многократный выбор по одной валидационной выборке приводит к переобучению критерия выбора: среди большого числа конфигураций легче найти вариант со случайно оптимистичной оценкой[1]. Тестовую выборку сохраняют закрытой до конца поиска. При малом объёме данных применяют вложенную кросс-валидацию: внутренний цикл выбирает пайплайн, внешний оценивает всю процедуру выбора.

Для воспроизводимости сохраняют версии данных и библиотек, пространство поиска, начальные значения генераторов случайных чисел, историю испытаний, причины остановки и сбоев, характеристики оборудования и фактический бюджет. Для стохастических методов проводят несколько запусков и сообщают разброс; одна лучшая конфигурация не характеризует устойчивость системы.

Ограничения и типичные ошибки

  • Неверная цель. AutoML оптимизирует заданную метрику, которая может плохо отражать практическую стоимость ошибок, безопасность или справедливость.
  • Узкое пространство. Результат ограничен включёнными алгоритмами, преобразованиями и диапазонами; сильный оптимизатор не исправляет неверное пространство.
  • Утечка и переобучение. Предобработка до разделения и многократное использование теста дают завышенную оценку.
  • Высокая стоимость. Поиск обучает много моделей и может быть значительно дороже обучения одной заранее выбранной конфигурации.
  • Нестабильность. При малых данных, шумной метрике и коротком бюджете разные запуски могут выбрать разные пайплайны.
  • Аудит. Длинный пайплайн или ансамбль сложнее интерпретировать, документировать и сопровождать.
  • Сдвиг распределения. Историческая валидация не гарантирует качество после изменения источника данных; необходимы мониторинг и повторная проверка.

Соотношение со смежными понятиями

  • Оптимизация гиперпараметров настраивает фиксированный алгоритм или пайплайн и является частью AutoML.
  • Выбор модели сравнивает кандидатов; AutoML автоматизирует сравнение и часто построение самих кандидатов.
  • NAS автоматизирует архитектуру нейронной сети и не является синонимом AutoML.
  • Метаобучение переносит опыт между задачами и используется для начальных рекомендаций и настройки поиска.
  • MLOps охватывает доставку, версионирование и мониторинг; поиск пайплайна не заменяет управление его жизненным циклом.

См. также

Примечания

Литература

  • Hutter F., Kotthoff L., Vanschoren J. (eds.) Automated Machine Learning: Methods, Systems, Challenges. — Cham: Springer, 2019. — ISBN 978-3-030-05318-5
  • Thornton C., Hutter F., Hoos H. H., Leyton-Brown K. Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms // Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — 2013. — С. 847–855.
  • Feurer M., Klein A., Eggensperger K., Springenberg J. T., Blum M., Hutter F. Efficient and Robust Automated Machine Learning // Advances in Neural Information Processing Systems. — 2015. — Т. 28. — С. 2962–2970.
  • Bergstra J., Bengio Y. Random Search for Hyper-Parameter Optimization // Journal of Machine Learning Research. — 2012. — Т. 13. — № 10. — С. 281–305.
  • Snoek J., Larochelle H., Adams R. P. Practical Bayesian Optimization of Machine Learning Algorithms // Advances in Neural Information Processing Systems. — 2012. — Т. 25. — С. 2951–2959.
  • Li L., Jamieson K., DeSalvo G., Rostamizadeh A., Talwalkar A. Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization // Journal of Machine Learning Research. — 2018. — Т. 18. — № 185. — С. 1–52.
  • Elsken T., Metzen J. H., Hutter F. Neural Architecture Search: A Survey // Journal of Machine Learning Research. — 2019. — Т. 20. — № 55. — С. 1–21.
  • Cawley G. C., Talbot N. L. C. On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation // Journal of Machine Learning Research. — 2010. — Т. 11. — № 70. — С. 2079–2107.
  • Gijsbers P., Bueno M. L. P., Coors S., LeDell E., Poirier S., Thomas J., Bischl B., Vanschoren J. AMLB: an AutoML Benchmark // Journal of Machine Learning Research. — 2024. — Т. 25. — № 101. — С. 1–65.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»
Личные инструменты