Дрейф данных

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.6 Terra High и проверена участником Oleg Batsiev 18:20, 11 июля 2026 (MSD)

Дрейф данных — изменение статистических свойств данных, поступающих в модель машинного обучения после её обучения и внедрения. В результате распределение новых объектов может отличаться от распределения обучающей выборки, а качество предсказаний — снижаться. Проблема особенно важна для систем, работающих с потоковыми данными: рекомендательных систем, кредитного скоринга, антифрода, медицинской диагностики, промышленного мониторинга и анализа пользовательского поведения.

Дрейф данных (англ. data drift, distribution shift) не следует сводить к одной причине. Может измениться состав объектов, доли классов, связь признаков с целевой переменной или сама процедура сбора данных. Поэтому мониторинг дрейфа является частью жизненного цикла модели наряду с обучением, валидацией и переобучением.

Постановка задачи

Пусть модель обучалась на выборке, описываемой совместным распределением признаков $X$ и целевой переменной $Y$ :

$P_{\mathrm{train}}(X,Y).$

Во время эксплуатации в момент времени $t$ данные имеют распределение

$P_t(X,Y).$

О дрейфе говорят, когда эти распределения различаются:

$P_t(X,Y) \ne P_{\mathrm{train}}(X,Y).$

Само по себе статистическое различие ещё не означает, что модель стала бесполезной. Например, сдвиг среднего значения одного несущественного признака может почти не влиять на качество. Напротив, небольшое изменение признака, на который модель сильно опирается, способно заметно увеличить ошибку. Поэтому на практике различают дрейф входных данных, дрейф предсказаний и деградацию целевой метрики.

Основные типы дрейфа

Совместное распределение можно разложить как

$P(X,Y)=P(Y\mid X)P(X).$

Это разложение позволяет выделить несколько идеализированных типов сдвига. В реальных системах они могут происходить одновременно.

Ковариатный сдвиг

Ковариатный сдвиг (англ. covariate shift) возникает, когда меняется распределение признаков:

$P_t(X) \ne P_{\mathrm{train}}(X),$

но условная зависимость целевой переменной от признаков остаётся прежней:

$P_t(Y\mid X)=P_{\mathrm{train}}(Y\mid X).$

Например, модель спроса на товары обучалась на данных обычных дней, а затем начала получать больше заказов из другого региона. Возраст, устройство пользователя или набор покупаемых товаров могут измениться, но закономерность между характеристиками клиента и вероятностью покупки в пределах каждой группы может сохраниться.

При таком сдвиге иногда применяют взвешивание объектов. Если отношение плотностей можно оценить, объекту с признаками $x$ сопоставляют вес

$w(x)=\frac{P_t(x)}{P_{\mathrm{train}}(x)}.$

Однако этот подход требует осторожности: если в новых данных появляются области пространства признаков, которых почти не было в обучающей выборке, надёжно восстановить качество только взвешиванием невозможно.

Сдвиг априорных вероятностей классов

Сдвиг априорных вероятностей классов (англ. label shift или prior probability shift) описывается условияями

$P_t(Y) \ne P_{\mathrm{train}}(Y),$

$P_t(X\mid Y)=P_{\mathrm{train}}(X\mid Y).$

Например, в системе обнаружения мошеннических операций признаки мошеннических и нормальных транзакций могут в среднем сохранять прежнюю структуру, но доля мошенничества в отдельный период меняется. Это влияет на калибровку вероятностных предсказаний и на выбор порога принятия решения.

Такой сдвиг важно отличать от ухудшения классификатора. Если изменилась только доля классов, то иногда достаточно переоценить априорные вероятности и скорректировать порог. Если же изменился сам механизм возникновения классов, требуется более глубокое обновление модели.

Дрейф концепта

Дрейф концепта (англ. concept drift) — изменение зависимости целевой переменной от признаков:

$P_t(Y\mid X) \ne P_{\mathrm{train}}(Y\mid X).$

Именно этот случай обычно наиболее опасен для предиктивной модели. Например, после изменения правил кредитования одинаковый набор признаков заёмщика может начать означать иной кредитный риск. В рекомендательной системе меняются вкусы аудитории; в промышленной диагностике после замены оборудования прежняя связь между показаниями датчиков и неисправностью перестаёт быть точной.

Термин «дрейф данных» часто используют широко, включая все виды распределительных сдвигов. Термин «дрейф концепта» разумно оставлять для изменения зависимости $Y$ от $X$ .

Характер изменения во времени

По скорости и форме изменения обычно выделяют несколько случаев.

Резкий дрейф — распределение быстро меняется после конкретного события: изменения тарифа, запуска нового интерфейса, поломки датчика или изменения законодательства.
Постепенный дрейф — старый и новый режим некоторое время сосуществуют, а доля нового режима плавно растёт.
Инкрементальный дрейф — параметры меняются небольшими шагами, например сезонно изменяются предпочтения покупателей.
Повторяющийся дрейф — ранее наблюдавшийся режим возвращается. Типичный пример — годовая сезонность спроса.
Выброс или кратковременная аномалия — временное отклонение, которое не должно автоматически приводить к переобучению модели.

Форма дрейфа определяет стратегию адаптации. Для резкого изменения может быть полезно быстро отказаться от старых данных, тогда как при сезонности модель часто должна сохранять информацию о прошлых периодах.

Причины дрейфа

Источником дрейфа может быть как внешний мир, так и сама техническая система.

меняется поведение пользователей, спрос, рынок или состав аудитории;
появляются новые товары, категории, устройства или каналы привлечения;
изменяются бизнес-правила, интерфейс продукта либо процедура принятия решений;
заменяются датчики, меняется разрешение изображений, единицы измерения или алгоритм предобработки;
нарушается конвейер данных: пропадают значения, меняются справочники, кодировки или порядок полей;
модель влияет на среду, в которой собирает данные. Например, рекомендации меняют то, что пользователь увидит и с чем взаимодействует.

Последний случай связан с обратной связью: данные после внедрения модели уже не всегда являются независимым наблюдением исходного мира. Поэтому дрейф нельзя рассматривать лишь как техническую ошибку в таблице признаков.

Что именно нужно мониторить

Входные признаки

Первый уровень мониторинга — проверка распределений входных признаков. Для числовых признаков сравнивают средние значения, дисперсии, квантили, гистограммы и долю пропусков. Для категориальных — частоты категорий, появление новых значений и исчезновение старых.

Полезно анализировать не только отдельные признаки, но и их совместное поведение. Два признака могут по отдельности выглядеть стабильными, хотя их зависимость изменилась. Например, распределения возраста клиента и типа устройства могут остаться прежними, но измениться сочетания этих признаков.

Для сравнения выборок используют статистические двухвыборочные критерии и меры расстояния между распределениями. Однако значение статистического теста зависит от размера выборки: на очень больших потоках статистически значимым может оказаться практически несущественный сдвиг. Поэтому сигнал мониторинга следует связывать с бизнес-риском и влиянием признака на модель.

Предсказания модели

Даже без истинных ответов можно отслеживать распределение предсказаний:

$P_t(\hat Y).$

Например, резкое увеличение доли отклонённых заявок, изменение среднего прогнозируемого спроса или рост неопределённости модели могут быть ранними индикаторами проблем. Полезно также контролировать долю объектов, для которых значения признаков выходят за диапазоны, характерные для обучения.

Мониторинг выходов не заменяет проверку качества. Одинаковое распределение предсказаний может скрывать ошибки, если модель стала систематически ошибаться на другой подгруппе объектов.

Качество при наличии отложенной разметки

Наиболее надёжный способ обнаружить деградацию — измерить качество на новых размеченных данных. В зависимости от задачи это могут быть accuracy, F1-мера, ROC-AUC, логарифмическая функция потерь, ошибка прогноза или метрики калибровки.

Пусть ошибка модели на последовательных объектах равна $e_1,e_2,\ldots,e_t$ . Можно отслеживать среднюю ошибку на недавнем окне:

$\bar e_t=\frac{1}{|W_t|}\sum_{i\in W_t} e_i.$

Проблема состоит в том, что истинная метка часто становится известна не сразу. В кредитном скоринге исход займа наблюдается спустя месяцы, в медицине диагноз может уточняться позднее. Поэтому в реальной эксплуатации сочетают быстрые сигналы по входам и предсказаниям с более медленной проверкой качества на поступившей разметке.

Методы обнаружения

Контроль фиксированного окна

Простейшая схема сравнивает недавнее окно данных с эталонной выборкой или с предыдущим окном. Она прозрачна и удобна для периодических моделей, но требует заранее выбрать размер окна. Слишком короткое окно даёт много ложных тревог, слишком длинное — поздно замечает изменение.

Адаптивные окна

Алгоритм ADWIN (Adaptive Windowing) поддерживает окно наблюдений переменной длины. Он ищет такое разбиение текущего окна на две части, при котором различие средних статистик оказывается слишком большим для гипотезы о стационарности. При обнаружении изменения старая часть окна отбрасывается, а модель или статистики строятся по более актуальным данным.^[1]

Идея адаптивного окна полезна тем, что система не обязана заранее знать скорость дрейфа. В спокойный период окно растёт и использует больше наблюдений; при изменении оно сокращается, уменьшая влияние устаревших данных.

Контроль ошибки

Если метки доступны быстро, детектор можно строить по последовательности ошибок модели. Рост ошибки, логарифмической потери или другой целевой метрики служит сигналом, что модель перестала соответствовать данным. Такой подход особенно ценен, поскольку реагирует на практически значимую деградацию, а не на любое различие распределений.

Его слабость — задержка разметки. Кроме того, изменение качества не всегда говорит именно о дрейфе: причиной может быть ошибка в разметке, поломка вычислительного конвейера или неверно выбранная метрика.

Адаптация модели

После сигнала о дрейфе нельзя автоматически переобучать модель на любых последних данных. Сначала следует проверить качество данных и возможные изменения в конвейере. Если изменение подтверждено, используют одну или несколько стратегий.

Периодическое переобучение

Модель переобучают по расписанию: например, ежедневно, еженедельно или ежемесячно. Этот подход прост в эксплуатации, но может быть слишком дорогим или недостаточно быстрым. Он не различает спокойные периоды и периоды резких изменений.

Скользящее окно

При обучении используют только последние $k$ наблюдений. Метод хорошо подходит при устойчивом устаревании старых данных, но теряет информацию о редких событиях и сезонных режимах. Выбор $k$ — компромисс между скоростью адаптации и устойчивостью оценки.

Взвешивание по давности

Вместо полного удаления старых объектов можно назначать им меньший вес. Один из вариантов — экспоненциальное затухание:

$w_i=\lambda^{\,t-i}, \quad 0<\lambda<1.$

Недавние наблюдения влияют на модель сильнее, но прошлые данные не исчезают полностью. Это полезно при плавном дрейфе, однако параметр $\lambda$ должен подбираться и проверяться на отложенных временных периодах.

Онлайн-обучение и ансамбли

Онлайн-алгоритмы обновляют параметры по мере поступления объектов. В ансамблевых подходах новые модели обучают на свежих данных, а устаревшие модели получают меньший вес или удаляются. Такая схема может быстрее реагировать на изменение среды, но усложняет воспроизводимость, контроль версий и аудит решений.

Дрейф данных и ошибка данных

Не всякое отклонение следует интерпретировать как естественный дрейф. Если в поле «цена» внезапно появились строки вместо чисел, а после обновления приложения изменилась единица измерения времени, это прежде всего ошибка качества данных или изменение схемы. В таком случае переобучение модели на испорченных данных только закрепит ошибку.

Практически полезно разделять три вопроса:

Изменилась ли статистика входных данных?
Изменилась ли точность модели на размеченных объектах?
Является ли причина изменением реального процесса, а не технической неисправностью?

Только после ответа на эти вопросы можно выбирать между исправлением конвейера, корректировкой порога, переобучением и изменением самой постановки задачи.

Практический контур мониторинга

Типичный процесс работы с дрейфом включает следующие шаги.

До внедрения фиксируют эталонные распределения признаков, предсказаний и целевых метрик.
Для каждого важного признака определяют допустимые диапазоны и правила обработки новых значений.
В эксплуатации регулярно вычисляют статистики свежего окна и сравнивают их с эталоном.
При появлении сигнала проверяют технические логи, полноту данных, изменения продукта и сегменты пользователей.
При поступлении новых меток оценивают качество модели по времени и по значимым подгруппам.
Решение о переобучении проверяют на отложенном временном периоде, а новую модель сравнивают со старой в контролируемом эксперименте, например с помощью A/B-тестирования.
После обновления сохраняют версию данных, признаки, параметры обучения и результаты проверки.

Такой процесс нужен не только для точности. В задачах, связанных с кредитованием, медициной или наймом, дрейф может по-разному повлиять на разные группы объектов. Поэтому мониторинг должен включать не только среднюю ошибку, но и анализ устойчивости и справедливости решений.

Ограничения

Детектор распределительного сдвига не доказывает причин изменения и не определяет автоматически правильный способ адаптации. Отсутствие заметного сдвига во входных данных также не гарантирует отсутствия деградации: может измениться связь $P(Y\mid X)$ , которую нельзя увидеть без целевых меток.

Нельзя считать любую адаптацию улучшением. Постоянное обучение на последних решениях модели может усилить уже существующую обратную связь. Например, если рекомендательная система показывает пользователю только часть доступных объектов, последующие данные о кликах отражают не только интерес пользователя, но и прошлую политику показа.

Философский аспект

Дрейф данных показывает, что модель не получает знание о неизменном мире. Она строит приближение по историческим наблюдениям, собранным в конкретных условиях. Когда условия меняются, меняется и смысл признаков, на которых основано предсказание.

Поэтому надёжность искусственного интеллекта зависит не только от архитектуры и объёма обучающей выборки, но и от способности системы замечать пределы применимости собственных выводов. Мониторинг дрейфа превращает модель из разового статистического артефакта в поддерживаемую техническую систему, чьи предположения постоянно проверяются на новых данных.

См. также

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%94%D1%80%D0%B5%D0%B9%D1%84_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85»

Категория: Искусственный интеллект