Классификационный порог

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.6 Sol Thinking и проверена участником Участник:Aleksandra Ivanova 15:48, 12 июля 2026 (MSD)

Классификационный порог — значение, по которому числовой результат классификационной модели превращается в метку класса. В бинарной классификации объект относят к положительному классу, если оценка модели не ниже порога, и к отрицательному — если ниже.

Пусть модель сопоставляет объекту оценку , а порог равен . Тогда при предсказывается класс , а при — класс . Порог не меняет оценку модели. Он задаёт правило, по которому оценка используется для принятия решения.

Это различие принципиально. Модель отвечает на вопрос о степени принадлежности объекта к классу, а порог определяет, достаточно ли этой степени для конкретного действия.

Содержание 1 Оценка модели и метка класса 2 Порог и матрица ошибок 3 Влияние на метрики 4 ROC-кривая и PR-кривая 5 Выбор порога 6 Числовой пример 7 Калибровка вероятностей 8 Дисбаланс классов 9 Ошибки настройки 10 Сдвиг распределения 11 Многоклассовая и многометочная классификация 12 Порог как правило действия 13 Примечания 14 Литература

Оценка модели и метка класса

Классификатор не всегда возвращает готовую метку. Часто его результатом служит число, по которому объекты можно упорядочить от наименее вероятных представителей положительного класса к наиболее вероятным.

Смысл этого числа зависит от алгоритма. Логистическая регрессия обычно выдаёт оценку условной вероятности . Метод опорных векторов формирует значение функции решения, связанное с положением объекта относительно разделяющей гиперплоскости. Другие модели возвращают скор — произвольную числовую оценку, сохраняющую порядок объектов, но не обязательно имеющую вероятностный смысл.

Вероятность и скор нельзя считать одним и тем же. Вероятность принимает значения от нуля до единицы и допускает частотную интерпретацию. Скор может лежать в любом диапазоне. Для выбора порога достаточно, чтобы большие значения соответствовали большей уверенности в положительном классе, однако для экономической или статистической интерпретации этого недостаточно.

Порог оправдан только при нескольких условиях: модель выдаёт содержательно интерпретируемые вероятности, классы заданы корректно, а ложноположительная и ложноотрицательная ошибки имеют одинаковую цену. На практике эти условия часто не выполняются.^[1]

Порог и матрица ошибок

Изменение порога перераспределяет объекты между четырьмя элементами матрицы ошибок:

• истинно положительными решениями;
• истинно отрицательными решениями;
• ложноположительными ошибками;
• ложноотрицательными ошибками.

При снижении порога положительная метка присваивается большему числу объектов. Часть ранее пропущенных положительных объектов обнаруживается, поэтому полнота обычно растёт. Одновременно среди положительных предсказаний появляются дополнительные отрицательные объекты, и число ложных срабатываний увеличивается.

Повышение порога действует в обратную сторону. Положительное решение принимается только при более высокой оценке модели. Ложных срабатываний становится меньше, но часть положительных объектов перестаёт обнаруживаться.

Здесь нет свободного улучшения. Снижение одного типа ошибок обычно увеличивает другой. Порог выбирает рабочую точку этого компромисса.

Влияние на метрики

Полнота показывает, какая доля положительных объектов обнаружена моделью. Она вычисляется как , где — число истинно положительных решений, а — число пропущенных положительных объектов. Снижение порога обычно повышает полноту.

Точность положительных предсказаний показывает, какая доля положительных решений оказалась правильной. Она равна , где — число ложноположительных ошибок. При снижении порога точность может уменьшаться, поскольку модель начинает принимать менее уверенные решения.

Специфичность равна и характеризует долю правильно распознанных отрицательных объектов. Повышение порога обычно увеличивает специфичность.

-мера объединяет точность и полноту с помощью гармонического среднего: . Более общий показатель имеет вид . При больший вес получает полнота, при — точность.

Максимум -меры не является универсальным критерием выбора порога. Эта метрика не учитывает истинно отрицательные решения и не выражает стоимость ошибок. Она полезна только тогда, когда такое упрощение соответствует задаче.

Доля правильных ответов также зависит от порога, но при дисбалансе классов часто скрывает неудовлетворительное поведение модели. Если положительный класс составляет один процент выборки, постоянное предсказание отрицательного класса даёт точность классификации около девяноста девяти процентов и нулевую способность обнаруживать положительные объекты.

ROC-кривая и PR-кривая

Перебор возможных порогов создаёт множество рабочих точек модели. ROC-кривая связывает полноту с долей ложноположительных решений. Каждая её точка соответствует определённому порогу.^[1]

Высокий порог обычно располагается в области низкой полноты и низкой доли ложных срабатываний. По мере снижения порога обе величины растут. Площадь под ROC-кривой оценивает качество ранжирования, но не выбирает рабочий порог. Она усредняет поведение модели по областям, которые могут не иметь практического значения.

PR-кривая показывает зависимость точности положительных предсказаний от полноты. При редком положительном классе она часто информативнее ROC-кривой, поскольку непосредственно отражает долю ошибочных срабатываний среди всех положительных решений.^[1]

Ни ROC-, ни PR-кривая не содержат самостоятельного ответа на вопрос о лучшем пороге. Они показывают доступные компромиссы. Выбор одной точки требует внешнего критерия.

Выбор порога

Порог выбирают по условиям применения модели, а не по привычному числу.

Если пропуск положительного объекта недопустим, задаётся минимальная полнота. Среди порогов, удовлетворяющих этому ограничению, выбирается тот, который даёт меньше ложных срабатываний.

Если обработка положительного решения требует дорогой ручной проверки, ограничивается доля ложноположительных ошибок. Затем выбирается порог с наибольшей полнотой внутри допустимой области.

Когда последствия ошибок можно оценить численно, используется ожидаемая стоимость. Пусть — стоимость ложноположительной ошибки, а — стоимость ложноотрицательной. Тогда риск при пороге можно записать как . Выбирается порог, минимизирующий это выражение.^[1]

Формула полезна только при разумных оценках стоимости. Если последствия ошибок нельзя свести к одной денежной величине, ограничения задаются непосредственно: минимальная чувствительность, максимальная частота ложных тревог, допустимое число объектов на ручной проверке.

В медицинском скрининге пропуск заболевания обычно опаснее дополнительного обследования, поэтому порог первичного отбора снижают. В системе выявления мошенничества слишком низкий порог способен заблокировать большое число обычных операций. Здесь цена ложного срабатывания может быть сопоставима с ущербом от пропущенного нарушения.

Порог настраивается на валидационной выборке. При небольшом объёме данных применяется кросс-валидация. После настройки порог фиксируется. Тестовая выборка используется только для итоговой оценки уже принятого решения.

Числовой пример

Пусть модель оценила шесть объектов:

• объект А: истинный класс , оценка ;
• объект Б: истинный класс , оценка ;
• объект В: истинный класс , оценка ;
• объект Г: истинный класс , оценка ;
• объект Д: истинный класс , оценка ;
• объект Е: истинный класс , оценка .

При пороге положительным признаётся только объект А. Ложноположительных ошибок нет, но объекты В и Д пропущены.

При пороге положительными становятся А, Б, В и Г. Объекты Б и Г образуют две ложноположительные ошибки, объект Д остаётся ложноотрицательным.

При пороге обнаруживаются все три положительных объекта. Число ложноположительных ошибок остаётся равным двум.

Первый порог подходит задаче с высокой ценой ложного срабатывания. Последний — задаче, где важнее не пропустить положительный объект. Средний порог не является естественным компромиссом только потому, что равен .

Калибровка вероятностей

Калибровка описывает соответствие предсказанных вероятностей наблюдаемым частотам. Если среди объектов с оценкой около положительный класс встречается примерно в восьмидесяти процентах случаев, оценки в этой области калиброваны.

Модель может хорошо ранжировать объекты и одновременно выдавать плохие вероятности. Например, все положительные объекты могут получать оценки выше отрицательных, но значения могут соответствовать фактической частоте события лишь около .^[1]

Калибровка и выбор порога решают разные задачи. Калибровка исправляет интерпретацию оценок. Порог определяет действие. Хорошо откалиброванная вероятность не делает значение оптимальным: стоимость ошибок всё равно может быть различной.

Дисбаланс классов

Редкость положительного класса меняет смысл одних и тех же характеристик модели. Даже небольшая доля ложных срабатываний способна дать больше ошибочных положительных решений, чем правильных.

Пусть положительный класс составляет один процент объектов. Если модель обнаруживает девяносто процентов положительных случаев, но ошибочно помечает положительными два процента отрицательных объектов, число ложных срабатываний будет примерно вдвое больше числа правильных обнаружений.

Поэтому порог нельзя надёжно выбирать на искусственно сбалансированной выборке, если в эксплуатации классы распределены иначе. Обучающую выборку можно балансировать ради устойчивого обучения, но валидация порога должна отражать реальную распространённость классов либо учитывать её явной поправкой.

Ошибки настройки

Подбор порога на обучающих данных завышает качество: правило решения приспосабливается к тем же объектам, по которым настраивалась модель.

Подбор по тестовой выборке делает итоговую оценку недостоверной. После просмотра тестовых результатов тестовые данные уже участвуют в принятии решений. Повторный перебор порогов превращает тестирование в скрытую валидацию.

Автоматическое использование также является ошибкой, если не проверены калибровка, стоимость ошибок и распределение классов. Не менее проблематична оптимизация одной метрики без анализа того, какие решения она поощряет.

Порог относится к параметрам всей системы принятия решения, хотя не является параметром самой обученной модели. Его необходимо фиксировать до итогового тестирования.

Сдвиг распределения

Порог, выбранный на исторических данных, может перестать работать при изменении распределения. Причиной бывает рост доли положительного класса, изменение поведения пользователей, новый способ сбора данных или изменение признаков.

Может измениться и стоимость решений. Если ручная проверка перегружена, прежнее число ложных срабатываний становится недопустимым. Если требования безопасности ужесточились, допустимый уровень пропусков снижается.

Мониторинг модели должен отслеживать распределение скоров, долю положительных решений, число объектов около порога и фактические ошибки после появления истинных меток. Стабильное качество ранжирования не гарантирует, что прежний порог остаётся подходящим.

Многоклассовая и многометочная классификация

В многометочной классификации для каждого класса обычно задаётся собственный порог. Единое значение редко оправдано: классы различаются по распространённости, качеству распознавания и цене ошибок.

В многоклассовой классификации часто выбирается класс с максимальной оценкой. Дополнительный порог уверенности позволяет отказаться от автоматического решения, если максимальная оценка слишком мала. Такой отказ полезен только при проверенной связи между оценкой и вероятностью ошибки.

Порог как правило действия

Классификационный порог не описывает истинную границу между классами. Он задаёт границу действия при ограниченной информации.

Одна модель может поддерживать несколько решений. Низкий порог используется для предварительного отбора, высокий — для автоматического подтверждения. Различие возникает не в модели, а в цене последствий.

Метрика измеряет соответствие выбранному критерию. Она не доказывает, что сам критерий выбран правильно. Порог делает это особенно заметным: математическая оптимизация начинается только после того, как определено, какие ошибки допустимы и какие последствия считаются существенными.

Примечания

Литература

• Bishop C. M. Pattern Recognition and Machine Learning. New York: Springer, 2006.
• Davis J., Goadrich M. The Relationship Between Precision-Recall and ROC Curves // Proceedings of the 23rd International Conference on Machine Learning. 2006. P. 233–240.
• Elkan C. The Foundations of Cost-Sensitive Learning // Proceedings of the 17th International Joint Conference on Artificial Intelligence. 2001. P. 973–978.
• Fawcett T. An Introduction to ROC Analysis // Pattern Recognition Letters. 2006. Vol. 27, No. 8. P. 861–874.
• Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd ed. New York: Springer, 2009.
• Niculescu-Mizil A., Caruana R. Predicting Good Probabilities with Supervised Learning // Proceedings of the 22nd International Conference on Machine Learning. 2005. P. 625–632.