Формула Надарая-Ватсона
Материал из MachineLearning.
| Строка 9: | Строка 9: | ||
<tex>Q(\alpha;X^l) = \sum_{i=1}^l \omega_i(x)(\alpha-y_i)^2 \rightarrow \underset{\alpha \in \mathbb{R}}{min}</tex>, где <tex>\omega_i</tex> - это вес i-ого объекта. <br /> | <tex>Q(\alpha;X^l) = \sum_{i=1}^l \omega_i(x)(\alpha-y_i)^2 \rightarrow \underset{\alpha \in \mathbb{R}}{min}</tex>, где <tex>\omega_i</tex> - это вес i-ого объекта. <br /> | ||
Веса <tex>\omega_i</tex> разумно задать так, чтобы они убывали по мере увеличения расстояния <tex>\rho(x,x_i)</tex>. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию <tex>K:[0, \infty) \rightarrow [0, \infty)</tex>, называемую [[ядром]], и представить <tex>\omega_i</tex> в следующем виде : <br /> | Веса <tex>\omega_i</tex> разумно задать так, чтобы они убывали по мере увеличения расстояния <tex>\rho(x,x_i)</tex>. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию <tex>K:[0, \infty) \rightarrow [0, \infty)</tex>, называемую [[ядром]], и представить <tex>\omega_i</tex> в следующем виде : <br /> | ||
| - | + | <tex>\omega_i(x) = K\left(\frac{\rho(x,x_i)}{h} \right )</tex> <br /> | |
Приравняв нулю производную <tex>\frac{\partial Q}{\partial \alpha} = 0</tex>,получаем формулу Надалая-Ватсона : | Приравняв нулю производную <tex>\frac{\partial Q}{\partial \alpha} = 0</tex>,получаем формулу Надалая-Ватсона : | ||
<tex>$a(x;X^l) = \frac{\sum_{i=1}^{l} y_i\omega_i(x)}{\sum_{i=1}^{l} \omega_i(x)}$</tex> | <tex>$a(x;X^l) = \frac{\sum_{i=1}^{l} y_i\omega_i(x)}{\sum_{i=1}^{l} \omega_i(x)}$</tex> | ||
==Обоснование формулы== | ==Обоснование формулы== | ||
==Литература== | ==Литература== | ||
Версия 19:27, 3 января 2010
| Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Формула Надарая-Ватсона используется для решения задачи непараметрического восстановления регрессии.
Содержание |
Постановка задачи
Пусть задано пространство объектов и множество возможных ответов
. Существует неизвестная зависимость
, значения которой известны только на объектах обучающией выборки
. Требуется построить алгоритм
, аппроксимирующий неизвестную зависимость
. Предполагается, что на множестве
задана метрика
.
Формула Надарая-Ватсона
Для вычисления при
, воспользуемся методом наименьших квадратов:
, где
- это вес i-ого объекта.
Веса разумно задать так, чтобы они убывали по мере увеличения расстояния
. Для этого можно ввести невозрастающую, гладкую, ограниченную функцию
, называемую ядром, и представить
в следующем виде :
Приравняв нулю производную ,получаем формулу Надалая-Ватсона :
