Взвешенное голосование

Материал из MachineLearning.

Версия от 07:20, 16 июня 2026; Platon Usaсhev (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM OpenAI GPT-5 и проверена участником Platon Usaсhev 11:20, 16 июня 2026 (MSD)


Взвешенное голосование — способ построения композиции алгоритмов, при котором решения нескольких базовых моделей объединяются с разными весами. Вес отражает доверие к модели, её качество, область применимости или вклад в оптимизируемый критерий. Взвешенное голосование применяется в задачах классификации, регрессии, ранжирования и вероятностного прогнозирования.

В простом голосовании все базовые алгоритмы имеют одинаковый вклад. Во взвешенном голосовании сильные, более надёжные или более уместные для данной задачи модели получают больший вес. Поэтому метод является базовой схемой для многих ансамблевых подходов, включая бустинг, комитеты моделей, усреднение вероятностных классификаторов и некоторые варианты стекинга.

Содержание

Бинарная классификация

Пусть дана композиция из T базовых классификаторов

b_t:X\to\{-1,+1\}, t=1,\ldots,T,

и неотрицательные веса \alpha_t\geq 0. Взвешенное голосование задаёт классификатор

a(x)= sign \sum_{t=1}^{T}\alpha_t b_t(x).

Если сумма положительных голосов с учётом весов превышает сумму отрицательных, объект относится к классу +1; иначе — к классу -1. При \alpha_1=\cdots=\alpha_T получается обычное голосование большинством.

Величина

M(x,y)= y\sum_{t=1}^{T}\alpha_t b_t(x)

называется отступом композиции на объекте (x,y). Положительный отступ означает правильную классификацию, отрицательный — ошибку. Чем больше отступ, тем увереннее композиция. Во многих теориях ансамблей качество связывают не только с числом ошибок, но и с распределением отступов на обучающей выборке.

Многоклассовая классификация

Для множества классов Y=\{1,\ldots,K\} естественная форма взвешенного голосования:

a(x)= \arg\max_{y\in Y} \sum_{t=1}^{T}\alpha_t [b_t(x)=y],

где [b_t(x)=y] равно единице, если t-й классификатор выбрал класс y, и нулю иначе. Побеждает класс с максимальной суммой весов поддержавших его моделей.

Если базовые алгоритмы выдают оценки вероятностей p_t(y| x), то часто используют взвешенное усреднение вероятностей:

p(y| x)= \frac{\sum_{t=1}^{T}\alpha_t p_t(y| x)} {\sum_{t=1}^{T}\alpha_t}, a(x)=\arg\max_{y\in Y}p(y| x).

Такой вариант сохраняет больше информации, чем голосование по готовым меткам классов. Однако он требует калиброванных вероятностей: если один классификатор систематически выдаёт слишком уверенные оценки, он может доминировать даже при умеренном весе.

Регрессия и прогнозирование

В задачах регрессии аналогом голосования является взвешенное среднее прогнозов:

a(x)= \frac{\sum_{t=1}^{T}\alpha_t b_t(x)} {\sum_{t=1}^{T}\alpha_t}.

Если веса нормированы так, что \textstyle\sum_t\alpha_t=1, формула принимает вид выпуклой комбинации. Временные ряды, вероятностные прогнозы и эконометрические модели часто объединяются именно так: разные модели хорошо работают в разных режимах, а усреднение снижает дисперсию прогноза.

Для вероятностных моделей возможны две близкие операции:

  • усреднение предсказательных распределений:
p(y| x)=\sum_t \alpha_t p_t(y| x);
  • усреднение параметров или логитов моделей.

Эти операции не эквивалентны. Усреднение распределений обычно безопаснее с точки зрения вероятностной интерпретации, тогда как усреднение параметров требует, чтобы модели имели одинаковую структуру и совместимые параметры.

Выбор весов

Способ выбора весов определяет поведение композиции. Наиболее распространённые варианты:

  • равные веса: простое большинство или обычное среднее;
  • веса по качеству на контрольной выборке;
  • веса, найденные минимизацией функции потерь;
  • веса, задаваемые экспертно;
  • веса, зависящие от объекта x;
  • байесовские веса, пропорциональные апостериорной вероятности модели.

При оптимизации по выборке можно решать задачу

\min_{\alpha} \sum_{i=1}^{m} L(y_i,\sum_{t=1}^{T}\alpha_t b_t(x_i)) +\lambda\Omega(\alpha),

где L — функция потерь, \Omega — регуляризатор весов. Неотрицательность и нормировка весов делают композицию более устойчивой и интерпретируемой. Разрешение отрицательных весов превращает ансамбль в более общую линейную комбинацию моделей, что может повысить качество, но усложняет объяснение как голосования.

В AdaBoost веса базовых классификаторов выбираются последовательно. Для бинарной классификации при ошибке \epsilon_t на взвешенной выборке классическая формула имеет вид

\alpha_t= \frac{1}{2} \ln \frac{1-\epsilon_t}{\epsilon_t}.

Чем меньше ошибка базового классификатора относительно текущего распределения весов объектов, тем больше его вклад в итоговую композицию. При \epsilon_t=1/2 вес равен нулю: такой классификатор не лучше случайного угадывания.

Объектно-зависимые веса

В обычном взвешенном голосовании \alpha_t не зависит от объекта. Более гибкий вариант использует веса

\alpha_t=\alpha_t(x).

Тогда композиция принимает вид

a(x)= sign \sum_{t=1}^{T}\alpha_t(x)b_t(x).

Такая схема учитывает, что разные модели могут быть сильны в разных областях пространства признаков. Она близка к смеси экспертов, где специальная шлюзовая функция выбирает веса экспертов для каждого объекта. Отличие состоит в том, что в смеси экспертов объектно-зависимые веса обычно являются частью вероятностной модели и обучаются совместно с экспертами.

Почему ансамбль может улучшать качество

Взвешенное голосование эффективно не только потому, что отдельные модели сильны. Важна также их разнообразность. Если все базовые классификаторы делают одинаковые ошибки, голосование не исправит ситуацию. Если же ошибки слабо коррелированы, композиция может быть существенно точнее каждого отдельного алгоритма.

Для простого большинства независимых бинарных классификаторов с одинаковой вероятностью ошибки p<1/2 вероятность ошибки ансамбля убывает с ростом числа классификаторов:

P_{err}= \sum_{j=\lceil (T+1)/2\rceil}^{T} {T\choose j}p^j(1-p)^{T-j}.

Это идеализированная оценка: на практике ошибки моделей зависимы. Тем не менее она показывает общий принцип: ансамбль выигрывает, когда базовые модели лучше случайных и ошибаются не одинаково.

Взвешивание добавляет ещё один механизм: модели с меньшей ошибкой или большей специализацией получают больший вклад. Но чрезмерно большие веса могут ухудшить устойчивость, если качество модели было переоценено на малой контрольной выборке.

Связь с другими методами

Взвешенное голосование является общей формой для многих методов.

  • В бэггинге и случайном лесе часто используют равные веса деревьев, но возможны и взвешенные варианты.
  • В бустинге веса базовых алгоритмов являются частью процедуры обучения.
  • В стекинге веса или более сложная функция агрегации обучаются метамоделью по предсказаниям базовых моделей.
  • В байесовском усреднении моделей веса связаны с апостериорными вероятностями моделей.
  • В смеси экспертов веса зависят от объекта и задаются шлюзовой функцией.

Поэтому термин «взвешенное голосование» может означать как простой способ объединения уже обученных классификаторов, так и часть более сложного алгоритма построения ансамбля.

Практическое использование

Взвешенное голосование применяют, когда имеется несколько моделей с различными свойствами: например, линейная модель, решающее дерево, метод ближайших соседей и нейронная сеть. Оно также полезно при объединении моделей, обученных на разных признаковых представлениях, разных подвыборках или разных временных интервалах.

Практические вопросы:

  • веса следует подбирать на данных, не использованных для обучения базовых моделей, иначе возникает переобучение композиции;
  • базовые вероятностные модели желательно калибровать перед усреднением вероятностей;
  • слабая модель может быть полезной, если её ошибки отличаются от ошибок сильных моделей;
  • слишком много похожих моделей фактически усиливают один и тот же голос;
  • качество ансамбля стоит сравнивать с качеством лучшей отдельной модели и простого равновесного голосования.

Если число базовых моделей велико, полезна регуляризация весов или отбор моделей. Иначе ансамбль может стать сложным, медленным и плохо интерпретируемым без заметного выигрыша качества.

Ограничения

Основные ограничения взвешенного голосования:

  • веса, подобранные на малой выборке, нестабильны;
  • высокая корреляция ошибок базовых моделей снижает пользу ансамбля;
  • голосование по меткам теряет информацию об уверенности классификаторов;
  • усреднение некалиброванных вероятностей может давать плохие вероятностные прогнозы;
  • фиксированные веса не учитывают, что модель может быть сильна только в отдельной области пространства объектов;
  • композиция усложняет объяснение решения по сравнению с одной интерпретируемой моделью.

Взвешенное голосование лучше рассматривать как простой и надёжный базовый инструмент ансамблирования. Оно часто даёт выигрыш, но требует аккуратного выбора весов, проверки на независимой выборке и анализа разнообразия базовых моделей.

См. также

Литература

  • Kittler J., Hatef M., Duin R. P. W., Matas J. On combining classifiers // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1998. — Vol. 20, No. 3. — P. 226–239.
  • Breiman L. Bagging predictors // Machine Learning. — 1996. — Vol. 24. — P. 123–140.
  • Freund Y., Schapire R. E. A decision-theoretic generalization of on-line learning and an application to boosting // Journal of Computer and System Sciences. — 1997. — Vol. 55, No. 1. — P. 119–139.
  • Dietterich T. G. Ensemble methods in machine learning // Multiple Classifier Systems. — Springer, 2000. — P. 1–15.
  • Kuncheva L. I. Combining Pattern Classifiers: Methods and Algorithms. — Wiley, 2004.
  • Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — 2nd ed. — Springer, 2009.
  • Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006. — Ch. 14.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%92%D0%B7%D0%B2%D0%B5%D1%88%D0%B5%D0%BD%D0%BD%D0%BE%D0%B5_%D0%B3%D0%BE%D0%BB%D0%BE%D1%81%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5»