Оценка сложности регрессионных моделей (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Подсчет функции правдоподобия и количества хорошо определенных параметров)
(→Подсчет размерности Вапника-Червоненкиса)
Строка 55: Строка 55:
=== Подсчет размерности Вапника-Червоненкиса ===
=== Подсчет размерности Вапника-Червоненкиса ===
 +
 +
=== Подсчет функции правдоподобия и количества хорошо определяемых параметров ===
== Численный эксперимент ==
== Численный эксперимент ==

Версия 15:31, 8 декабря 2010

Задача восстановления регрессии является частным случаем задачи обучения по прецедентам. При выборе модели, как и для всех задач обучения по прецедентам, возможны проблемы недообучения и переобучения.

В случае недообучения, модель недостаточно сложна для описания данных с требуемой точностью. А в случае переобучения, возникающего при избыточной сложности моделей, средняя ошибка на тестовой выборке существенно выше,чем на обучающей выборке.

Таким образом, для каждой задачи существует оптимальная сложность модели.

Содержание

Способы оценки сложности регрессионных моделей

Существуют различные способы оценки сложности, используемые при выборе регрессионных моделей. Одним из них является критерий Акаике (AIC), основанный на принципе Оккама, а также тесно связанный с ним Байесовский информационный критерий (BIC). В теории Вапника-Червоненкиса одним из ключевых понятий является размерность Вапника-Червоненкиса, которая также является характеристикой сложности семейства алгоритмов.

Поскольку задача описания данных формально эквивалентна кодированию, то сложность модели можно оценивать также как длину требуемого для её описания кода. На этом основан принцип минимальной длинны описания (MDL)[1].

Функция правдоподобия (достоверность) в некотором роде тоже можно рассматривать как оценку сложности модели[1].

Постановка задачи

Рассматривается линейная регрессионная модель

y= f(\mathbf{w},\mathbf{x}) + \nu= \sum^W_{j=1}w_jg_j(\mathbf{x})+\nu

где множество порождающих функций G=\{1, x^{\frac{1}{2}}, x, x^{\frac{3}{2}}, x^2, tgx, lnx, e^x\}

Предполагается, что случайная величина распределена нормально с нулевым матожиданием и фиксированной дисперсией \sigma^2, которая не зависит от переменных x, y. При таких предположениях параметры \mathbf{w} регрессионной модели вычисляются с помощью метода наименьших квадратов.

Используя модельные данные, мы будем строить кривые зависимости AIC, BIC, размерности Вапника-Червоненкиса, длинны описания(MDL), функции правдоподобия (достоверности), а также количества хорошо определяемых параметров.

Подсчет AIC и BIC для линейной регрессионной модели

Пусть: X = \{x_i\}^{n}_{i=1} - наблюдаемая часть выборки, где каждый объект характеризуется набором параметров x_i=(x_{i_1},...,x_{i_k}).

SSE=\|f(x_i)-y_i\|_2=\sum_{i=1}^n(y_i-f(w,x_i))^2;

\sigma^2=\frac{SSE}{n-2} — дисперсия остатков;

В случае линейной регрессионной модели критерий BIC выражается через SSE (Sum of Squared Errors) - сумму квадратов остатков - и \sigma^2 - дисперсия остатков. BIC=SSE/\sigma^2+k\ln(n)

А критерий Акаике через SSE. K - число параметров модели

AIC = 2K+n\[\ln(\sigma^2)\]

Лучшая модель соответствует минимальному значению критерия.

Подсчет размерности Вапника-Червоненкиса

Подсчет функции правдоподобия и количества хорошо определяемых параметров

Численный эксперимент

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_%D1%81%D0%BB%D0%BE%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D1%85_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»
Личные инструменты