Оценка сложности регрессионных моделей (пример)

Материал из MachineLearning.

Задача восстановления регрессии является частным случаем задачи [Машинное обучение|[обучения по прецедентам]]. При выборе модели, как и для всех задач обучения по прецедентам, возможны проблемы [Переобучение|[недообучения]] и [Переобучение|[переобучения]].

В случае недообучения, модель недостаточно сложна для описания данных с требуемой точностью. А в случае переобучения, возникающего при избыточной сложности моделей, средняя ошибка на тестовой выборке существенно выше,чем на обучающей выборке.

Таким образом, для каждой задачи существует оптимальная сложность модели.