Вариация и смещение
Материал из MachineLearning.
|
Теорема о разложении ошибки на вариацию и смещение
Пусть есть выборка из
-мерных векторов
.
- отклик,
- оценка
по
, ближайшим к
.
- метрика, позволяющая сравнить
с новым объектом
Объектам приписаны веса , где
- ядро, а
- ширина окна.
Теорема о разложении ошибки на вариацию и смещение
Для простоты будем считать .
Рассмтаривается модель с фиксированным планом эксперимента, т.е. ,
- независимые и одинаково распределенные случайные ошибки,
,
,
;
, если
;
при
при .
Тогда .
Здесь называется вариацией и обозначается
, а
называется смещением и обозначается
.
Следствия
Следствие 1
Сущность сглаживания состоит в балансе вариации и смещения.
Следствие 2
Если