Обсуждение:Переобучение

Материал из MachineLearning.

Текущая версия

Переработка статьи

Статья «Переобучение» была существенно переработана с помощью GPT-5.6 Thinking. Исходный материал был расширен до полноценной энциклопедической статьи, ориентированной на студентов и инженеров в области анализа данных и машинного обучения. Основной запрос:

 Ты специалист в области машинного обучения, профессор в ведущем техническом университете и популяризатор науки. Напиши энциклопедическую статью про переобучение на русском языке. Придерживайся структуры и стиля, принятого в Википедии. Сделай статью понятной для начинающих, но без ущерба для математической строгости. Объясни, что такое переобучение, почему малая ошибка на обучающей выборке не гарантирует хорошего качества на новых данных и как переобучение связано с обобщающей способностью модели. Целевая аудитория — студенты и инженеры в области анализа данных и машинного обучения. Читателям должны быть понятны эмпирический и истинный риск, разрыв обобщения, сложность модели, компромисс между смещением и разбросом, а также отличие переобучения от недообучения. Добавь примеры для полиномиальной и линейной регрессии, деревьев решений и нейронных сетей. Объясни методы диагностики и борьбы с переобучением: разделение данных, скользящий контроль, регуляризацию, раннюю остановку, аугментацию данных, dropout, ансамблирование и отбор признаков. Отдельно рассмотри утечку данных, сдвиг распределения, запоминание обучающих примеров, двойной спуск и особенности переобучения в современных нейронных сетях. Не выдумывай факты. Используй надёжные научные источники, добавляй ссылки на них в текст статьи и в конце собери список литературы. Всегда проверяй корректность ссылок. Важные понятия оформляй как ссылки на другие статьи энциклопедии. Используй вики-разметку и структуру секционирования, принятую для статей о важных научных понятиях. 

Дополнительные требования:

 Добавь ссылки на сложные и связанные понятия на сайте MachineLearning.ru. Для важных или редко используемых понятий указывай в скобках исходный английский термин. Не используй шаблон {{о|...}}. Вместо тегов <math> и </math> используй <tex> и </tex>. Отдельные формулы оформляй с двойным отступом через два двоеточия. Вся конструкция ::<tex>...</tex> должна находиться в одной строке, чтобы формулы правильно отображались в используемой на MachineLearning.ru версии MediaWiki. Не используй команды LaTeX, которые не поддерживаются математическим движком сайта, в частности \colon, \dfrac, \mathsf, \lVert и \rVert. Оформи статью в соответствии с руководством по разметке MachineLearning.ru и по образцу статьи «Интерполяция кубическими сплайнами». 

В переработанной версии было добавлено формальное описание переобучения через эмпирический и истинный риск, а также введено понятие разрыва обобщения. Объяснено, почему минимизация ошибки на обучающей выборке не всегда приводит к минимальной ошибке на новых данных. Отдельный раздел посвящён сложности и ёмкости модели, размерности Вапника — Червоненкиса и зависимости обобщающей способности от соотношения между сложностью класса алгоритмов и объёмом обучающей выборки. Добавлено объяснение компромисса между смещением и разбросом. Для квадратичной функции потерь приведено разложение ожидаемой ошибки на неустранимый шум, квадрат смещения и дисперсию модели. Показано, почему недообучение обычно связывают с большим смещением, а переобучение — с большим разбросом. Причины переобучения рассмотрены отдельно. К ним отнесены недостаточный объём выборки, высокая размерность признакового пространства, чрезмерная сложность модели, шум и ошибочные ответы, большое число неинформативных признаков, слишком продолжительное обучение и многократный подбор гиперпараметров на одной контрольной выборке. Для пояснения явления добавлены примеры полиномиальной и линейной регрессии, деревьев решений и нейронных сетей. Показано, как полином высокой степени может точно проходить через обучающие точки, как глубокое дерево запоминает отдельные наблюдения и почему плохо обусловленная линейная модель может давать нестабильные коэффициенты. Отдельные разделы посвящены диагностике переобучения. Рассмотрены обучающая, контрольная и тестовая выборки, кривые обучения, скользящий контроль, вложенный скользящий контроль и проверка устойчивости результатов при изменении разбиения данных и начальных значений параметров. Подробно описаны основные методы борьбы с переобучением: увеличение и улучшение набора данных, аугментация, упрощение модели, - и -регуляризация, ранняя остановка, метод случайных отключений, ансамблирование, отбор признаков и понижение размерности. Также добавлен раздел об утечке данных. Приведены примеры некорректной нормировки, отбора признаков по полной выборке, использования будущей информации во временных рядах и попадания дубликатов одновременно в обучающую и тестовую части. Особое внимание уделено современному глубокому обучению. Объяснено, почему большое число параметров и нулевая обучающая ошибка сами по себе не означают переобучение. Добавлены понятия порога интерполяции, двойного спуска, запоминания данных и неявной регуляризации. Переобучение также было отделено от связанных явлений: недообучения, сдвига распределения, утечки данных, запоминания отдельных примеров и ошибки спецификации модели. Научная литература была расширена классическими и современными работами Вапника, Хасти, Тибширани и Фридмана, Гудфеллоу, Бенжио и Курвилля, Джемана, Биненстока и Дурса, Стоуна, Тибширани, Прехельта, Сриваставы и Хинтона, Чжана и соавторов, а также Белкина и соавторов.