Вариация и смещение

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

1 Теорема о разложении ошибки на вариацию и смещение
2 Следствия
- 2.1 Следствие 1
- 2.2 Следствие 2
3 См. также

Теорема о разложении ошибки на вариацию и смещение

Пусть есть выборка из $n$ $k$ -мерных векторов $x^n=(x_1,...x_n)$ . $y$ - отклик, $y=(y_1,...,y_n)$

$\hat y(x)$ - оценка $y$ по $x_i \in x^n$ , ближайшим к $x$ .

$\rho (x,x_i)$ - метрика, позволяющая сравнить $x_i$ с новым объектом $x$

Объектам приписаны веса $w_i(x)=K(\frac{\rho (x,x_i)}{h})$ , где $K(r)$ - ядро, а $h$ - ширина окна.

Теорема о разложении ошибки на вариацию и смещение

Для простоты будем считать $k=1$ .

Рассмтаривается модель с фиксированным планом эксперимента, т.е. $y_i = y(x_i) + \epsilon_i$ , $\epsilon_i$ - независимые и одинаково распределенные случайные ошибки, $\mathbb{E} \epsilon_i = 0$ , $\mathbb{E} \epsilon_i \epsilon_j = 0$ , $\mathbb{D} \epsilon_i = \sigma^2$ ;

$\max_i \mid x_i - x_{i-1} \mid = O(\frac 1n)$ , если $x_1 \leq x_2 \leq ... \leq x_n$ ;

$K(r)=0$ при $r \notin (-1;1);$ $\int_{-1}^1 K(r)dr = 1; \quad \int_{-1}^1 K^2(r)dr = c_k; \int_{-1}^1 r^2 \ K(r)dr = d_k;$

при $n \to \infty \ h_n \to 0, \ nh_n \to \infty$ .

Тогда $\mathbb{E} (\hat y_h_n(x) - y(x))^2 \quad \longrightarrow^{n \to \infty}\quad \frac {\sigma^2 c_k}{n \cdot h_n} \ + \ (\frac{h_n^2 \ d_k \ y''(x)}{2})^2$ .

Здесь $\frac {\sigma^2 c_k}{n \cdot h_n}$ называется вариацией и обозначается $Var$ , а $(\frac{h_n^2 \ d_k \ y''(x)}{2})^2$ называется смещением и обозначается $Bias$ .