Монотонная коррекция
Материал из MachineLearning.
Монотонная коррекция — это процесс построения по обучающей выборке монотонной алгоритмической композиции — суперпозиции базовых алгоритмов и монотонной агрегирующей функции (корректирующей операции).
Содержание |
Формальное определение
Пусть — пространство объектов,
— пространство ответов,
— базовые алгоритмы.
Монотонная алгоритмическая композиция — это функция вида
где — монотонно неубывающая функция всех
своих аргументов, называемая корректирующей операцией или агрегирующей функцией.
В задачах классификации базовые алгоритмы, как правило, представляются в виде , где функцию
называют алгоритмическим оператором, а в случае
— вещественнозначным классификатором; функцию
называют решающим правилом.
В этом случае монотонную алгоритмическую композицию определяют немного иначе:
где — монотонно неубывающая функция всех
своих аргументов.
Введение вспомогательного пространства оценок
необходимо для того, чтобы расширить класс используемых корректирующих операций.
В задачах восстановления регрессии множество изначально достаточно богато, и в таком расширении нет необходимости. В регрессионных задачах решающие правила не используются.
Мотивация. Более распространённым видом алгоритмических композиций является взвешенное голосование — линейная комбинация базовых алгоритмов с неотрицательными коэффициентами :
Если коэффициенты ещё и нормированы на единицу, то говорят о выпуклой коррекции. Неотрицательность коэффициентов является очень естественным требованием, поскольку оно означает, что значение на выходе агрегирующей функции монотонно возрастает по выходам базовых алгоритмов. Действительно, базовые алгоритмы и агрегирующая функция обучаются решению одной и той же задачи, поэтому было бы странно, если бы при увеличении значений некоторых базовых алгоритмов значение на выходе агрегирующей функции уменьшалось. С другой стороны, линейность агрегирующей функции представляется менее естественным ограничением, чем более общее требование монотонности. Принцип взвешенного голосования имеет в машинном обучении долгую историю, развитую теорию и широкую практику применения. Линейные функции легче строить, и этим объясняется их популярность. Замена линейности на монотонность существенно расширяет класс агрегирующих функций. За счёт этого становится возможным, в частности, построение композиций из меньшего числа базовых алгоритмов, обладающих более высоким качеством.
Монотонные композиции в различных задачах машинного обучения
Задача классификации на два класса
Задача восстановления регрессии
Задача ранжирования
Монотонизация выборки
Изотонная регрессия (isotonic regression)
