Кривая ошибок

Материал из MachineLearning.

Версия 22:13, 21 июля 2011

Кривая ошибок или ROC-кривая – графичекая характеристика качества бинарного классификатора, зависимость доли верных положительных классификаций от доли ложных положительных классификаций при варьировании порога решающего правила. Преимуществом ROC-кривой является её инвариантность относительно отношения цены ошибки I и II рода.

Задача классификации

Рассмотрим задачу классификации в случае двух классов, называемых «положительным» и «отрицательным». Обозначим множество классов через . Большинство известных классификаторов могут быть представлены в виде

где — произвольный объект, — дискриминантная функция, — вектор параметров, определяемый по обучающей выборке, — порог. Уравнение определяет разделяющую поверхность. Примером является линейный классификатор, в котором дискриминантная функция имеет вид скалярного произведения вектора описания объекта на вектор параметров: .

Пусть – цена ошибки (штраф за ошибку) на объекте класса .

Для байесовского классификатора при достаточно общих предположениях доказано, что оптимальное значение порога зависит только от соотношения цены ошибок:

тогда как оптимальное значение вектора параметров, наоборот, зависит от выборки и не зависит от цены ошибок. Таким образом, варьирование порога для многих классификаторов эквивалентно варьированию отношения цены ошибок на отрицательных и положительных объектах. На практике цены ошибок зависят от особенностей конкретной задачи (например, от различных экономических соображений или экспертных оценок) и могут многократно пересматриваться.

Заметим, что частным случаем линейного байесовского классификатора является логистическая регрессия.

ROC-кривая наглядно представляет, каким будет качество классификации при различных и фиксированном .

TPR и FPR

Рис.1. «Случайное гадание».

Рис.2. «Хороший» классификатор.

Пусть задана выборка объектов с соответствующими им верными ответами . Тогда для классификатора можно определить две характеристики качества:

1. Доля ложных положительных классификаций (False Positive Rate, FPR):

   

2. Доля верных положительных классификаций (True Positive Rate, TPR):

   

Чувствительность и специфичность

Наряду с FPR и TPR используют также показатели чувствительности и специфичности, которые также изменяются в интервале :

• чувствительность алгоритма совпадает с ;
• специфичность алгоритма определяется как .

Модель с высокой чувствительностью часто дает истинный результат при наличии положительного исхода (обнаруживает положительные примеры). Наоборот, модель с высокой специфичностью чаще дает истинный результат при наличии отрицательного исхода (обнаруживает отрицательные примеры). Если рассуждать в терминах медицины – задачи диагностики заболевания, где модель классификации пациентов на больных и здоровых называется диагностическим тестом, то получится следующее:

• чувствительный диагностический тест проявляется в гипердиагностике – максимальном предотвращении пропуска больных;
• специфичный диагностический тест диагностирует только доподлинно больных. Это важно в случае, когда, например, лечение больного связано с серьезными побочными эффектами и гипердиагностика пациентов нежелательна.

ROC-кривая

ROC-кривая показывает зависимость TPR от FPR при варьировании порога . Она проходит из точки , соответствующей максимальному значению , в точку , соответствующую минимальному значению .

При все объекты классифицируются как отрицательные, и ошибки возникают на всех положительных объектах, , .

При все объекты классифицируются как положительные, и ошибки возникают на всех отрицательных объектах, , .

ROC-кривая монотонно не убывает. Чем выше лежит кривая, тем лучше качество классификации.

На рисунке 1 приведена ROC-кривая, соответствующая худшему случаю — алгоритму «случайного гадания». На рисунке 2 изображён общий случай. Лучший случай — это кривая, проходящая через точки

Площадь под ROC-кривой AUC

Площадь под ROC-кривой AUC (Area Under Curve) является агрегированной характеристикой качества классификации, не зависящей от соотношения цен ошибок. Чем больше значение AUC, тем «лучше» модель классификации. Данный показатель часто используется для сравнительного анализа нескольких моделей классификации.

Алгоритм построения ROC-кривой

Следующий алгоритм строит ROC-кривую за обращений к дискриминантной функции.

Входные данные:

• Обучающая выборка
• Функция при фиксированном векторе параметров .

Результат:

• — последовательность из точек ROC-кривой;
• — площадь под ROC-кривой;

1. вычислить количество представителей классов  и  в обучающей выборке:
   ;
2. упорядочить выборку  по убыванию значений ;
3. установить начальную точку ROC-кривой: 
   ;
   ;
4. для всех 
     если , то сместиться на один шаг вправо:
     ;
     ;

См. также

• Линейный классификатор
• Логистическая регрессия

Ссылки

• Логистическая регрессия и ROC-анализ
• RoC-curve (english wikipedia)