Обсуждение:Дрейф данных
Материал из MachineLearning.
Для статьи про дрейф данных я использовал GPT-5.6 Terra High. Начал с такого промпта:
| Напиши подробную статью про дрейф данных. Объясни, почему после запуска модель может начать работать хуже, даже если её код и параметры не менялись.
Раздели covariate shift, label shift и concept drift и покажи различия через распределения вероятностей. Напиши, что несколько типов сдвига могут происходить одновременно. Добавь причины и разные формы дрейфа во времени. Расскажи про мониторинг признаков, прогнозов и качества, особенно когда правильные ответы приходят с задержкой. Объясни фиксированные и адаптивные окна, ADWIN, периодическое переобучение, скользящее окно, веса по давности, онлайн-обучение и ансамбли. Не пиши, что после любого сигнала модель надо сразу переобучать. Отдели реальное изменение среды от поломки сбора или обработки данных. Используй реальные источники и внутренние ссылки. Формулы оформляй через <tex> и </tex>, а отдельные формулы начинай с двух двоеточий. |
В первом тексте смешивались три разные вещи: изменение входных данных, изменение связи между признаками и ответом и реальное падение качества. Мониторинг без готовой разметки тоже был описан слишком уверенно, а сигнал детектора выглядел почти как команда сразу запускать переобучение.
Дальше я написал второй промпт:
|
| Доработай статью про дрейф данных. Формально и понятно раздели covariate shift, label shift и concept drift. Добавь разложение совместного распределения и объясни, почему заметное изменение входов не всегда ухудшает модель, а стабильные входы ещё не гарантируют прежнее качество.
Подробнее опиши ADWIN как метод с окном переменной длины. Объясни, что он отслеживает выбранную скалярную последовательность, а не автоматически проверяет всю таблицу данных. Сравни периодическое переобучение, скользящее окно, веса по давности, онлайн-обучение и ансамбли. Добавь порядок действий после сигнала, работу с задержкой меток и проверку качества по отдельным группам. Убери лишние общие фразы и оставь только настоящие источники. Проверь формулы и разметку. Используй <tex> и </tex>, отдельные формулы начинай с двух двоеточий. Верни статью целиком. |
Финальный вариант я проверил вручную. Поправил формулы, ссылки и описание ADWIN, а ещё убедился, что изменение распределения, падение качества и техническая ошибка в данных в тексте не выдаются за одно и то же.
