Конформное предсказание

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск

Andrei Blinov (Обсуждение | вклад)
(Новая: {{TOCright}} '''Конформное предсказание''' — метод построения предсказательных множеств и интервалов с зада...)
К следующему изменению →

Версия 14:19, 5 июля 2026

Содержание

Конформное предсказание — метод построения предсказательных множеств и интервалов с заданным уровнем ошибки. В задачах машинного обучения оно используется для оценки неопределённости прогноза: вместо одного ответа модель выдаёт множество допустимых ответов, которое с заранее выбранной вероятностью должно содержать истинный ответ.

Основная идея конформного предсказания состоит в том, чтобы использовать отдельную калибровочную выборку и измерить, насколько новые ответы похожи на уже наблюдавшиеся ошибки модели. При достаточно общих условиях, прежде всего при обменности данных, метод даёт конечновыборочные гарантии покрытия, не требуя задавать точный вид распределения данных.

Конформное предсказание применяется в классификации, регрессии, медицинской диагностике, компьютерном зрении, обработке естественного языка, прогнозировании временных рядов и задачах, где важно знать не только предсказание модели, но и степень неопределённости.

Интуитивное описание

Обычная модель машинного обучения часто выдаёт один прогноз. Например, в задаче регрессии модель предсказывает цену квартиры, а в задаче классификации — наиболее вероятный класс изображения. Однако один прогноз не показывает, насколько модель уверена в ответе.

Конформное предсказание добавляет к модели слой неопределённости. В регрессии результатом может быть интервал:

[a,b].

В классификации результатом может быть несколько возможных классов. Например, вместо одного класса «кошка» модель может выдать множество: «кошка» или «рысь», если изображение неоднозначно.

Пользователь заранее задаёт допустимую вероятность ошибки \alpha. Например, если \alpha=0.1, то целевой уровень покрытия равен 90%. Это означает, что при многократном применении метода истинный ответ должен попадать в построенное множество примерно в 90% случаев.

Предсказательное множество

Пусть x — новый объект, а y — неизвестный правильный ответ. Конформный метод строит для объекта x предсказательное множество

C_\alpha(x).

Желаемое свойство такого множества записывается так:

P(Y_{new}\in C_\alpha(X_{new}))\geq 1-\alpha.

Здесь X_{new} и Y_{new} обозначают новый объект и его истинный ответ. Параметр \alpha называется уровнем значимости или допустимой вероятностью ошибки.

В задаче регрессии предсказательное множество чаще всего является интервалом. В задаче классификации оно является набором меток классов.

Обменность данных

Ключевое условие стандартного конформного предсказания — обменность примеров. Неформально это означает, что порядок наблюдений не несёт информации: если переставить объекты выборки местами, совместное распределение не изменится.

Частный и наиболее часто используемый случай обменности — независимые одинаково распределённые наблюдения. В прикладных задачах это условие часто формулируют как предположение, что обучающие, калибровочные и тестовые объекты взяты из одного и того же распределения.

Если обменность нарушается, например при сильном сдвиге распределения, временной зависимости или изменении поведения пользователей, стандартная гарантия покрытия может нарушаться. В таких случаях применяют специальные модификации, например методы для ковариатного сдвига, временных рядов или взвешенного конформного предсказания.

Мера неконформности

Мера неконформности показывает, насколько плохо пример согласуется с предсказанием модели и уже наблюдавшимися данными. Чем больше значение меры, тем менее «типичным» считается пример.

В задаче регрессии простой мерой неконформности является модуль ошибки прогноза:

s_i=|y_i-\hat y_i|.

Здесь y_i — истинный ответ, а \hat y_i — прогноз модели для объекта x_i.

В задаче классификации, если модель выдаёт вероятности классов, можно использовать оценку

s_i=1-\hat p_{y_i}(x_i).

Здесь \hat p_{y_i}(x_i) — предсказанная моделью вероятность истинного класса. Если модель приписывает истинному классу большую вероятность, мера неконформности мала. Если истинный класс получил малую вероятность, мера неконформности велика.

Выбор меры неконформности сильно влияет на размер и полезность предсказательных множеств. Гарантия покрытия может сохраняться при разных мерах, но более удачная мера обычно даёт более узкие интервалы и меньшие множества классов.

Раздельное конформное предсказание

На практике часто используется раздельное конформное предсказание или split conformal prediction. Это простой и вычислительно удобный вариант метода.

Процедура состоит из нескольких шагов.

Сначала исходные данные делятся на обучающую и калибровочную части. На обучающей части обучается базовая модель: например, линейная регрессия, случайный лес, градиентный бустинг или нейронная сеть.

Затем модель применяется к объектам калибровочной выборки. Для каждого калибровочного объекта вычисляется мера неконформности. Получается набор калибровочных ошибок:

s_1,\ldots,s_m.

После этого выбирается порог q_\alpha, соответствующий уровню 1-\alpha с конечновыборочной поправкой. Новый ответ включается в предсказательное множество, если его мера неконформности не превосходит этот порог.

Раздельное конформное предсказание обычно проще полного конформного предсказания, потому что базовую модель нужно обучить только один раз. Цена этой простоты состоит в том, что часть данных приходится выделять под калибровку, а не использовать для обучения модели.

Регрессия

В задаче регрессии конформное предсказание часто строит предсказательный интервал. Пусть модель выдаёт точечный прогноз \hat y(x). На калибровочной выборке вычисляются ошибки

s_i=|y_i-\hat y(x_i)|.

После выбора порога q_\alpha для нового объекта x строится интервал

C_\alpha(x)=[\hat y(x)-q_\alpha,\hat y(x)+q_\alpha].

Такой интервал симметричен относительно точечного прогноза. Он прост, но не всегда оптимален. Если шум зависит от объекта, например для одних объектов модель ошибается сильнее, чем для других, используют адаптивные меры неконформности. Они позволяют строить интервалы разной ширины для разных объектов.

Например, можно сначала оценивать не только средний прогноз, но и ожидаемый масштаб ошибки. Тогда для сложных объектов интервал будет шире, а для простых — уже.

Классификация

В задаче классификации конформное предсказание строит множество возможных классов. Если модель выдаёт вероятности классов \hat p_y(x), то один из простых способов состоит в использовании меры неконформности

s=1-\hat p_y(x).

Класс y включается в предсказательное множество для объекта x, если выполняется условие

1-\hat p_y(x)\leq q_\alpha.

Если модель уверена в одном классе, предсказательное множество может состоять из одной метки. Если объект неоднозначен, множество может содержать несколько классов. Если модель совсем не уверена, множество может стать большим.

В классификации размер предсказательного множества является важной характеристикой качества. При одинаковом уровне покрытия предпочтительнее метод, который чаще выдаёт небольшие множества и расширяет их только для действительно сложных объектов.

Полное конформное предсказание

Полное конформное предсказание строит предсказание, проверяя каждый возможный кандидат ответа. Для каждого кандидата ответ временно добавляется к данным, после чего оценивается, насколько этот кандидат согласуется с остальными примерами.

Идея полного метода ближе к исходной теории конформного предсказания. Он может использовать данные более симметрично, чем раздельный вариант, но обычно требует значительно больших вычислительных затрат. Поэтому в современных прикладных задачах чаще используют раздельное, кросс-конформное или другие приближённые варианты.

Кросс-конформное предсказание

Кросс-конформное предсказание использует идею, близкую к кросс-валидации. Данные делятся на несколько частей. Модель обучается несколько раз, каждый раз на части данных, а оставшаяся часть используется для получения калибровочных оценок.

Такой подход позволяет эффективнее использовать данные, чем простой раздельный метод. Он полезен, когда выборка мала и жалко выделять большую калибровочную часть. Однако теоретические гарантии и практическая реализация таких методов сложнее, чем у простого split conformal prediction.

Гарантия покрытия

Главная особенность конформного предсказания — гарантия покрытия. При обменности данных и корректной процедуре калибровки выполняется неравенство

P(Y_{new}\in C_\alpha(X_{new}))\geq 1-\alpha.

Эта гарантия является конечновыборочной: она не требует устремлять размер выборки к бесконечности. Кроме того, она не требует, чтобы базовая модель была правильно специфицирована. Конформное предсказание можно применять поверх разных моделей, включая линейные модели, деревья решений, ансамбли и глубокие нейронные сети.

Важно понимать, что стандартная гарантия является маргинальной. Она относится к среднему поведению метода по новым объектам, а не к каждому отдельному объекту. Из неё не следует, что для каждого фиксированного x вероятность покрытия обязательно равна 1-\alpha.

Эффективность предсказательных множеств

Покрытие — не единственный критерий качества конформного метода. Тривиальный метод, который всегда выдаёт все возможные классы или очень широкий интервал, тоже может иметь высокое покрытие, но будет бесполезен.

Поэтому оценивают также эффективность предсказательных множеств. В регрессии обычно хотят получать как можно более короткие интервалы при сохранении нужного покрытия. В классификации хотят получать как можно меньше классов в множестве, не теряя корректности.

Хороший конформный метод должен быть адаптивным: выдавать узкие интервалы или маленькие множества для простых объектов и расширять их для сложных или нетипичных объектов.

Связь с калибровкой вероятностей

Конформное предсказание связано с калибровкой вероятностей, но не совпадает с ней. Калибровка вероятностей стремится сделать так, чтобы предсказанные вероятности соответствовали наблюдаемым частотам. Например, среди объектов, которым модель присвоила вероятность 0.8, правильный класс должен встречаться примерно в 80% случаев.

Конформное предсказание решает другую задачу: оно строит множество ответов с гарантированным покрытием. Для этого можно использовать вероятности, выданные моделью, но гарантия покрытия относится не к точности самих вероятностей, а к процедуре построения предсказательного множества.

На практике калиброванные вероятности могут улучшить качество конформных множеств, потому что мера неконформности становится более информативной. Однако конформный метод не требует, чтобы вероятности базовой модели были идеально калиброваны.

Связь с доверительными и предсказательными интервалами

Конформные интервалы ближе к предсказательным интервалам, чем к доверительным интервалам. Предсказательный интервал предназначен для будущего наблюдения. Доверительный интервал обычно относится к неизвестному параметру модели или распределения.

Например, в регрессии доверительный интервал может описывать неопределённость оценки среднего ответа, а предсказательный интервал — диапазон, в который с высокой вероятностью попадёт новый индивидуальный ответ. Конформное предсказание обычно строит именно второй тип интервала.

Применения

Конформное предсказание полезно в задачах, где ошибка модели имеет высокую цену или где требуется контролируемая неопределённость.

В медицинской диагностике конформное множество может показать, что модель не уверена между несколькими диагнозами. Это позволяет передать случай врачу или запросить дополнительные данные.

В компьютерном зрении конформное предсказание может использоваться для классификации изображений, сегментации и обнаружения объектов, когда важно отличать уверенные решения от неоднозначных.

В обработке естественного языка метод может применяться к классификации текстов, извлечению информации и задачам с несколькими допустимыми ответами.

В регрессионных задачах конформные интервалы используются для прогнозирования спроса, цен, времени доставки, рисков и технических показателей.

В системах принятия решений конформное предсказание может использоваться как механизм отказа от ответа: если предсказательное множество слишком велико, система передаёт объект человеку или запрашивает дополнительную информацию.

Ограничения

Конформное предсказание не делает плохую модель хорошей. Если базовая модель слаба, конформный метод может сохранить покрытие только за счёт широких интервалов или больших множеств классов.

Стандартная гарантия требует обменности данных. Если данные меняются со временем, зависят друг от друга или тестовое распределение отличается от калибровочного, покрытие может ухудшиться.

Конформное предсказание обычно даёт маргинальную гарантию, а не условную гарантию для каждого объекта. Это важно в прикладных задачах: метод может иметь правильное среднее покрытие, но хуже покрывать некоторые подгруппы объектов.

Качество результата зависит от калибровочной выборки. Если она мала, порог неконформности оценивается грубо. Если она не соответствует будущим данным, гарантия становится ненадёжной.

Практические рекомендации

Калибровочная выборка должна быть отделена от данных, на которых обучалась базовая модель. Если использовать одни и те же данные для обучения и калибровки без специальной процедуры, интервалы могут стать слишком узкими, а покрытие — завышенным на бумаге и плохим на новых данных.

Выбор меры неконформности должен соответствовать задаче. В регрессии простая абсолютная ошибка подходит как базовый вариант, но при неоднородном шуме полезны нормированные или адаптивные ошибки. В классификации простая мера на основе вероятности истинного класса может работать, но для сложных многоклассовых задач часто нужны более адаптивные правила.

Нужно проверять не только среднее покрытие, но и размер предсказательных множеств. Метод с правильным покрытием, но слишком широкими интервалами может быть практически бесполезным.

Полезно анализировать покрытие по подгруппам: классам, диапазонам признаков, временным периодам, источникам данных. Это помогает обнаружить ситуации, где маргинальная гарантия скрывает систематические ошибки.

При наличии сдвига распределения следует использовать отдельные методы для нестационарных данных или регулярно обновлять калибровочную выборку.

Типичные ошибки

  • Считать конформное предсказание вероятностной моделью. Это не отдельная модель данных, а процедура построения предсказательных множеств поверх уже имеющейся модели.
  • Путать покрытие и точность. Конформное множество может содержать истинный ответ с нужной частотой, но само множество может быть слишком большим.
  • Путать маргинальную и условную гарантию. Стандартная гарантия не означает одинаково хорошего покрытия для каждого конкретного объекта или каждой подгруппы.
  • Калибровать на обучающей выборке. Это может привести к слишком оптимистичным интервалам и нарушению покрытия.
  • Игнорировать сдвиг распределения. Если будущие данные отличаются от калибровочных, стандартная гарантия может не работать.
  • Выбирать меру неконформности без учёта задачи. Неподходящая мера сохраняет формальную корректность при обменности, но даёт слишком широкие или плохо адаптивные множества.
  • Считать, что вероятность 90% относится к одному конкретному объекту. Стандартное утверждение о покрытии относится к повторному применению процедуры на новых обменных данных.

См. также

Литература

  • Vovk V., Gammerman A., Shafer G. Algorithmic Learning in a Random World. Springer, 2005.
  • Shafer G., Vovk V. A Tutorial on Conformal Prediction // Journal of Machine Learning Research. 2008. Vol. 9. P. 371–421.
  • Balasubramanian V. N., Ho S.-S., Vovk V. Conformal Prediction for Reliable Machine Learning. Morgan Kaufmann, 2014.
  • Angelopoulos A. N., Bates S. A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. 2021.
  • Tibshirani R. J., Barber R. F., Candès E. J., Ramdas A. Conformal Prediction Under Covariate Shift // Advances in Neural Information Processing Systems. 2019.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%BD%D0%BE%D0%B5_%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D0%BA%D0%B0%D0%B7%D0%B0%D0%BD%D0%B8%D0%B5»
Личные инструменты