Вариация и смещение
Материал из MachineLearning.
(Различия между версиями)
(категория) |
|||
Строка 36: | Строка 36: | ||
=== Следствие 2 === | === Следствие 2 === | ||
Если <tex> \mid y''(x) \mid \uparrow \Rightarrow Bias \uparrow</tex> | Если <tex> \mid y''(x) \mid \uparrow \Rightarrow Bias \uparrow</tex> | ||
+ | |||
+ | ==См. также== | ||
+ | * [[Непараметрическая регрессия]] | ||
+ | * [[Ядерное сглаживание]] | ||
+ | |||
+ | [[Категория:Регрессионный анализ]] |
Текущая версия
|
Теорема о разложении ошибки на вариацию и смещение
Пусть есть выборка из
-мерных векторов
.
- отклик,
- оценка
по
, ближайшим к
.
- метрика, позволяющая сравнить
с новым объектом
Объектам приписаны веса , где
- ядро, а
- ширина окна.
Теорема о разложении ошибки на вариацию и смещение
Для простоты будем считать .
Рассмтаривается модель с фиксированным планом эксперимента, т.е. ,
- независимые и одинаково распределенные случайные ошибки,
,
,
;
, если
;
при
при .
Тогда .
Здесь называется вариацией и обозначается
, а
называется смещением и обозначается
.
Следствия
Следствие 1
Сущность сглаживания состоит в балансе вариации и смещения.
Следствие 2
Если