Обсуждение:Скользящий контроль

Материал из MachineLearning.

Текущая версия

Это первая статья на MachineLearning.ru, заново написанная с помощью LLM

Первый промпт к DeepSeek был таким:

Ты специалист в области машинного обучения, профессор в ведущем техническом университете и популяризатор науки. Напиши энциклопедическую статью про скользящий контроль (cross-validation) на русском языке. Придерживайся структуры и стиля, принятого в Википедии. Англоязычная статья в Википедии Cross-validation (statistics) написана хорошо, но содержит слишком много второстепенных деталей. Её можно брать за основу, но упростить и сделать более популярной, при этом без ущерба для строгости изложения. Важные математические формулы лучше оставить. Сделай акцент не только на статистике, но и на машинном обучении. Например, в статье Википедии мало упомянута стратификация, хотя она очень важна для практики. Целевая аудитория - это студенты и инженеры в области анализа данных и машинного обучения, в том числе начинающие. Статья должна быть информативна и полезна именно им для совершенствования в своей профессии. Читателям должны быть понятны основы из первых разделов - определения и мотиваций. Можно добавить исторический раздел: например, кто первым применил тот или иной метод, для каких прикладных задач, или откуда пришла метафора складного ножа (jackknife). Не выдумывай факты. Ищи надёжные источники в научной литературе. Добавляй ссылки на них в текст статьи. В конце собери список научной литературы. Всегда проверяй корректность ссылок. Важные понятия оформляй как ссылки на другие статьи энциклопедии. Используй форматирование вики разметки. Придерживайся структуры секционирования, принятой для статей о важных научных понятиях.

Исходная статья вообще не использовалась. Получившаяся статья оказалась лучше исходной. К согласованности обозначений в формулах не было ни одной претензии, хотя обозначения не были взяты из упомянутой статьи Cross-validation (statistics) из Википедии.

Я сделал проверку списка литературы, 13 позиций. Нашёл только одну ошибку в номере последней страницы одной из статей.

Я решил, что в статье кое-чего не хватает по содержанию, поэтому был сделан второй промпт:

Очень хорошо. Перепиши текст этой статьи, добавив следующие разделы. Добавь раздел про полный скользящий контроль (complete cross-validation), приведи ссылку на книгу или публикацию, где он был введён впервые или подробно исследован. Добавь раздел про доверительные интервальные оценки для повторной кросс-валидации. Добавь раздел про использование кросс-валидации в задачах прогнозирования, опиши взаимосвязь с A/B тестированием, обсудив сходство и различия. Поясни различия в методиках out-of-sample и out-of-time. Для важных или редко используемых понятий указывай в скобках исходный английский термин, например: ошибка на отложенной выборке (англ. hold-out validation). Не используй шаблон {{о|..}}. Вместо тегов <math> и </math> используй, соответственно, <tex> и </tex>. Повторю ещё раз основное задание. Далее повтор первого промпта — на всякий случай.

Сравнение с первой генерацией показало, что старый текст сохранён дословно, за исключением того, что один небольшой абзац (Скользящий контроль с исключением p наблюдений) был удалён целиком. Я его вручную восстановил, хотя это было не обязательно.

Кусок из старой версии статьи захотелось сохранить. Для этого вручную были вставлены разделы Скользящий контроль#Непараметрическое доверительное оценивание и Скользящий контроль#Параметрическое доверительное оценивание, в них пришлось поменять обозначения. Эта небольшая работа заняла на порядок больше времени, чем всё предыдущее.

В целом опыт считаю успешным — К.В.Воронцов 22:48, 12 июня 2026 (MSD)

О сути скользящего контроля

Участник:Vokov не согласен со следующим мнением Участник:Nvm: Скользящий контроль дает несмещенную точечную, но не интервальную оценку риска. В настоящее время не существует методов построения на основе скользящего контроля точных доверительных интервалов для риска, то есть математического ожидания потерь (в частности, вероятности ошибочной классификации).

Мнение Участник:Vokov таково.

Не следует пытаться оценивать конкретный алгоритм, полученный в результате обучения, с помощью скользящего контроля (CV). Почему так? Неужели CV — ненадёжная оценка? Нет, как раз наоборот: результат однократного обучения менее надёжен, чем CV-оценка. Если же считать, что скользящий контроль оценивает качество не конкретного классификатора, а метода обучения (или алгоритма обучения, learning algorithm), то сразу всё встаёт на свои места.

• Во-первых, если скользящий контроль делается по случайным разбиениям, то есть доверительный интервал с уровнем доверия , см. Скользящий контроль#Непараметрическое доверительное оценивание. То есть если мы сделаем -е случайное разбиение, снова обучимся и протестируемся, то с указанной вероятностью угодим в указанный интервал.
• Во-вторых, тогда полная выборка (обучающая+тестовая) считается случайной, что на мой взгляд очень естественно. Если же мы пытаемся оценить качество конкретного обученного алгоритма, то обучающую выборку приходится считать фиксированной, и сразу становится очень трудно связать качество этого алгоритма с CV-оценкой. Такие оценки известны; они довольно сложны, сходятся к нулю медленно, зависят от ёмкости семейства и стабильности метода обучения (sanity-check bounds); они приводят к слишком слабому выводу о том, что скользящий контроль характеризует качество алгоритма всего лишь не хуже, чем частота ошибок на обучении [1,2,3]. В статье Бонтемпи и Бираттари [4] показано, что этот подход извращает суть скользящего контроля. Не надо требовать от CV того, для чего он плохо подходит. Он оценивает качество метода обучения или, если угодно, модели, а не конкретного алгоритма. Он не в состоянии учесть, насколько плоха могла оказаться обучающая выборка в конкретном (единичном!) случае. Именно от этого и перестраховываются оценки типа sanity-check bounds.

Литература

1. Kearns M. A bound on the error of cross validation using the approximation and estimation rates, with consequences for the training-test split // Advances in Neural Information Processing Systems / Ed. by D. S. Touretzky, M. C. Mozer, M. E. Hasselmo. — Vol. 8. — The MIT Press, 1996. — Pp. 183–189.
2. Kearns M. J., Ron D. Algorithmic stability and sanity-check bounds for leave-one-out cross-validation // Computational Learning Theory. — 1997. — Pp. 152–162.
3. Holden S. B. Cross-validation and the pac learning model: Tech. Rep. RN/96/64: Dept. of CS, Univ. College, London, 1996.
4. Bontempi G., Birattari M. A bound on the cross-validation estimate for algorithm assessment // Eleventh Belgium/Netherlands Conference on Artificial Intelligence (BNAIC). — 1999. — Pp. 115–122.