Формула Надарая-Ватсона
Материал из MachineLearning.
Строка 16: | Строка 16: | ||
Строгим обоснованием формулы служит следующая теорема : <br /> | Строгим обоснованием формулы служит следующая теорема : <br /> | ||
'''Теорема''' Пусть выполнены условия : <br /> | '''Теорема''' Пусть выполнены условия : <br /> | ||
- | 1) <br /> | + | 1) выборка <tex>X^l = (x_i,y_i)^l_{i=1}</tex> получена случайно и независимо из распределения <tex>p(x,y)</tex> <br /> |
- | 2) <br /> | + | 2) ядро <tex>K(r)</tex> удовлетворяет ограничениям <tex>\int^\infty_0 K(r)dr < \infty</tex> и <tex>\underset{r \rightarrow \infty}{lim} rK(r) = 0 </tex> <br /> |
- | 3) <br /> | + | 3) восстанавливаемая зависимость, определяемая плотностью <tex>p(y|x)</tex>, удавлетворяет при любом <tex>x \in X</tex> ограничению <tex>E(y^2|x) = \int_Y y^2p(y|x)dy < \infty</tex><br /> |
- | 4) <br /> | + | 4) последовательность <tex>h_l</tex> такова, что <tex>\underset{l \rightarrow \infty}{lim} h_l = 0</tex> и <tex>\underset{l \rightarrow \infty}{lim}\ lh_l = \infty</tex> <br /> |
+ | |||
Тогда имеет место [[сходимость по вероятности]] : <tex>a_{h_l}(x; X^l) \overset{P}{\rightarrow} E(y|x)</tex> в любой точке <tex>x \in X</tex>, в которой <tex>E(y|x), p(x)</tex> и <tex>D(y|x)</tex> непрерывны и <tex>p(x) > 0</tex>. | Тогда имеет место [[сходимость по вероятности]] : <tex>a_{h_l}(x; X^l) \overset{P}{\rightarrow} E(y|x)</tex> в любой точке <tex>x \in X</tex>, в которой <tex>E(y|x), p(x)</tex> и <tex>D(y|x)</tex> непрерывны и <tex>p(x) > 0</tex>. | ||
==Литература== | ==Литература== |
Версия 14:31, 5 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Формула Надарая-Ватсона используется для решения задачи непараметрического восстановления регрессии.
Содержание |
Постановка задачи
Пусть задано пространство объектов и множество возможных ответов
. Существует неизвестная зависимость
, значения которой известны только на объектах обучающией выборки
. Требуется построить алгоритм
, аппроксимирующий неизвестную зависимость
. Предполагается, что на множестве
задана метрика
.
Формула Надарая-Ватсона
Для вычисления при
, воспользуемся методом наименьших квадратов:
, где
- это вес i-ого объекта.
Веса разумно задать так, чтобы они убывали по мере увеличения расстояния
. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию
, называемую ядром, и представить
в следующем виде :
, где
- ширина окна.
Приравняв нулю производную , и, выразив
,получаем формулу Надарая-Ватсона :
Обоснование формулы
Строгим обоснованием формулы служит следующая теорема :
Теорема Пусть выполнены условия :
1) выборка получена случайно и независимо из распределения
2) ядро удовлетворяет ограничениям
и
3) восстанавливаемая зависимость, определяемая плотностью , удавлетворяет при любом
ограничению
4) последовательность такова, что
и
Тогда имеет место сходимость по вероятности : в любой точке
, в которой
и
непрерывны и
.