Непараметрическая регрессия: ядерное сглаживание
Материал из MachineLearning.
м (→См. также) |
|||
(10 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
'''Ядерное сглаживание''' - один из простейших видов [[Непараметрическая регрессия|непараметрической регрессии]]. | '''Ядерное сглаживание''' - один из простейших видов [[Непараметрическая регрессия|непараметрической регрессии]]. | ||
+ | |||
+ | == Постановка задачи == | ||
+ | |||
+ | :Решается задача восстановления регрессии. Задано пространство объектов <tex>X</tex> и множество возможных | ||
+ | ответов <tex>Y=R</tex>. Существует неизвестная целевая зависимость <tex> y^*: X \rightarrow Y</tex>, | ||
+ | значения которой известны только на объектах обучающей выборки <tex> X^m={(x_i, y_i)}_{i=1}^m</tex>. | ||
+ | Требуется построить алгоритм <tex>a: X \rightarrow Y </tex>, аппроксимирующий целевую зависимость <tex>y^*</tex>. | ||
== Принцип == | == Принцип == | ||
- | Принцип, используйщий идейно простой подход к представлению последовательности весов <tex>\{ W_{ | + | Принцип, используйщий идейно простой подход к представлению последовательности весов <tex>\{ W_{mi}(x) \}_{i=1}^m</tex> состоит в описании формы весовой |
+ | функции <tex>W_{mi}(x)</tex> посредством функции плотности со скалярным параметром, который регулирует размер и форму весов около х. | ||
+ | Эту функцию формы принято называть ''ядром'' <tex>K</tex>. | ||
+ | |||
+ | Полученные таким образом веса далее используются для представления величины <tex>a(x)</tex> в виде взвешенной суммы значений <tex> y_i</tex> обучающей выборки. | ||
== Описание метода == | == Описание метода == | ||
Строка 15: | Строка 20: | ||
::<tex>\int K(u)du=1</tex> | ::<tex>\int K(u)du=1</tex> | ||
=== Последовательность весов === | === Последовательность весов === | ||
- | Последовательность весов для ядерных оценок (для одномерного <tex>x</tex>) определяется как ::<tex>W_{ | + | Последовательность весов для ядерных оценок (для одномерного <tex>x</tex>) определяется как ::<tex>W_{mi}(x)=\frac{K_{h_m}(x-X_i)}{\hat{f}_{h_m}(x)}</tex>, |
где | где | ||
- | ::<tex>\hat{f}_{ | + | ::<tex>\hat{f}_{h_m}(x)=\frac1m \sum_{i=1}^m K_{h_m}(x-X_i)</tex>, |
a | a | ||
- | ::<tex>K_{ | + | ::<tex>K_{h_m}(u)=\frac{1}{h_m} K\(\frac{u}{h_m}\)</tex> |
- | представляет собой ядро с параметром | + | представляет собой ядро с параметром <tex>h_m</tex>. Этот параметр принято называть шириной окна. Подчеркнув зависимость <tex>h\ =\ h_m</tex> от объема выборки <tex>m</tex>, условимся сокращенно обозначать последовательность весов <tex>W_{mi}(x)</tex>. |
=== Функция ядра === | === Функция ядра === | ||
- | Функция <tex>\hat{f}_{ | + | Функция <tex>\hat{f}_{h_m}(x)</tex> является ''ядерной оценкой плотности Розенблата — Парзена'' (Rosenblatt, 1956; Parzen, 1962) для (маргинальной) плотности |
- | ::<tex>\hat{m}_h(x)=\frac{ | + | переменной <tex>x</tex>. Данный вид ядерных весов <tex>W_{mi}(x)</tex> был предложен в работах (Nadaraya, 1964) и (Watson, 1964). Как следствие, оценка |
- | часто называют оценкой '' | + | ожидаемой величины восстанавливаемой зависимости <tex>E(y\|x)</tex>: |
+ | ::<tex>\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)}</tex> | ||
+ | часто называют оценкой ''Надарая—Ватсона''. | ||
+ | Ширина окна определяет, насколько быстро убывают веса <tex>W_{mi}(x)</tex> по мере удаления объектов <tex>x_i</tex> от <tex>x</tex>. | ||
+ | Характер убывания определяется видом ядра <tex>K</tex>. | ||
+ | Нормализация весов <tex>\hat{f}_{h_m}(x)</tex> гарантирует, что сумма весов равна единице. | ||
+ | |||
+ | '''Замечание'''. При ряде условий имеет место сходимость по вероятности данной оценки к <tex>E(y|x)</tex>. | ||
+ | |||
=== Пример функции ядра === | === Пример функции ядра === | ||
- | [[Изображение: | + | [[Изображение:CoreFunc.png|thumb|right|400px|Примеры различных функций ядра.]] |
- | + | ||
+ | На практике используется несколько видов ядерных функций. | ||
+ | Чаще всего используется квартическая ядерная функция | ||
+ | ::<tex>K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)</tex>. | ||
+ | Также используется ядро Епанечникова, обладающее некоторыми свойствами оптимальности [Хардле В п4.5]; это функция | ||
параболического типа (Epanechnikov, 1969; Bartlett, 1963): | параболического типа (Epanechnikov, 1969; Bartlett, 1963): | ||
::<tex>K(u)=0.75(1-u^2)I(\| u \| \le 1)</tex>. | ::<tex>K(u)=0.75(1-u^2)I(\| u \| \le 1)</tex>. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
+ | Другими примерами являются ядро Гаусса, | ||
+ | ::<tex>K(u)=(2\pi)^{-1/2} \exp(-u^2/2)</tex>, | ||
+ | треугольное ядро | ||
+ | ::<tex>K(u)=(1-\|u\|)I(\| u \| \le 1)</tex>, | ||
+ | и прямоугольное ядро | ||
+ | ::<tex>K(u)=(1/2)I(\| u \| \le 1)</tex>. | ||
+ | |||
+ | '''Замечание'''. Точность восстанавливаемой зависимости мало зависит от выбора ядра. | ||
+ | Ядро определяет степень гладкости функции <tex>a(x)</tex>. | ||
+ | |||
+ | === Зависимость от ширины окна === | ||
+ | Выбор окна решающим образом влияет на точность восстанавливаемой зависимости. | ||
+ | При чересчур малых значениях <tex>h</tex> кривая <tex>a(x)</tex> стремится пройти через каждую точку выборки, остро реагируя на шумы и претерпевая резкие | ||
+ | скачки, поскольку в этом случае оценка опирается только на небольшое число наблюдений из узкой окрестности точки <tex>x</tex>. | ||
+ | Наоборот, если ширина окна велика, функция чрезмерно сглаживается и в пределе при <tex> h \rightarrow \infty</tex> вырождается в константу -- усреднённое | ||
+ | значение величин <tex> y_i</tex>. В этом случае сглаженная функция не даёт возможности определить характерные особенности искомой зависимости <tex> y^*(x)</tex>. | ||
==Литература== | ==Литература== | ||
Строка 54: | Строка 79: | ||
|ссылка = http://www.ccas.ru/voron/download/Regression.pdf | |ссылка = http://www.ccas.ru/voron/download/Regression.pdf | ||
}} | }} | ||
- | + | # {{книга | |
+ | |автор = Лагутин М.Б. | ||
+ | |заглавие = Наглядная математическая статистика | ||
+ | |год = 2009 | ||
+ | |ссылка = | ||
+ | }} | ||
==См. также== | ==См. также== | ||
- | |||
* [[Алгоритм LOWESS]] | * [[Алгоритм LOWESS]] | ||
* [[Вариация и смещение]] | * [[Вариация и смещение]] | ||
* [[Регрессионный анализ]] | * [[Регрессионный анализ]] | ||
- | [[Категория: | + | [[Категория:Непараметрическая регрессия]] |
+ | |||
+ | {{ЗаданиеВыполнено|Tolstikhin|Vokov|31 декабря 2009}} |
Текущая версия
Ядерное сглаживание - один из простейших видов непараметрической регрессии.
Содержание |
Постановка задачи
- Решается задача восстановления регрессии. Задано пространство объектов
и множество возможных
ответов . Существует неизвестная целевая зависимость
,
значения которой известны только на объектах обучающей выборки
.
Требуется построить алгоритм
, аппроксимирующий целевую зависимость
.
Принцип
Принцип, используйщий идейно простой подход к представлению последовательности весов состоит в описании формы весовой
функции
посредством функции плотности со скалярным параметром, который регулирует размер и форму весов около х.
Эту функцию формы принято называть ядром
.
Полученные таким образом веса далее используются для представления величины в виде взвешенной суммы значений
обучающей выборки.
Описание метода
Определение ядра
Ядро — это непрерывная ограниченная симметричная вещественная функция с единичным интегралом
Последовательность весов
Последовательность весов для ядерных оценок (для одномерного ) определяется как ::
,
где
,
a
представляет собой ядро с параметром . Этот параметр принято называть шириной окна. Подчеркнув зависимость
от объема выборки
, условимся сокращенно обозначать последовательность весов
.
Функция ядра
Функция является ядерной оценкой плотности Розенблата — Парзена (Rosenblatt, 1956; Parzen, 1962) для (маргинальной) плотности
переменной
. Данный вид ядерных весов
был предложен в работах (Nadaraya, 1964) и (Watson, 1964). Как следствие, оценка
ожидаемой величины восстанавливаемой зависимости
:
часто называют оценкой Надарая—Ватсона.
Ширина окна определяет, насколько быстро убывают веса по мере удаления объектов
от
.
Характер убывания определяется видом ядра
.
Нормализация весов
гарантирует, что сумма весов равна единице.
Замечание. При ряде условий имеет место сходимость по вероятности данной оценки к .
Пример функции ядра
На практике используется несколько видов ядерных функций. Чаще всего используется квартическая ядерная функция
.
Также используется ядро Епанечникова, обладающее некоторыми свойствами оптимальности [Хардле В п4.5]; это функция параболического типа (Epanechnikov, 1969; Bartlett, 1963):
.
Другими примерами являются ядро Гаусса,
,
треугольное ядро
,
и прямоугольное ядро
.
Замечание. Точность восстанавливаемой зависимости мало зависит от выбора ядра.
Ядро определяет степень гладкости функции .
Зависимость от ширины окна
Выбор окна решающим образом влияет на точность восстанавливаемой зависимости.
При чересчур малых значениях кривая
стремится пройти через каждую точку выборки, остро реагируя на шумы и претерпевая резкие
скачки, поскольку в этом случае оценка опирается только на небольшое число наблюдений из узкой окрестности точки
.
Наоборот, если ширина окна велика, функция чрезмерно сглаживается и в пределе при
вырождается в константу -- усреднённое
значение величин
. В этом случае сглаженная функция не даёт возможности определить характерные особенности искомой зависимости
.
Литература
- Хардле В. Прикладная непараметрическая регрессия. — 1989.
- Воронцов К.В. Лекции по алгоритмам восстановления регрессии. — 2007.
- Лагутин М.Б. Наглядная математическая статистика. — 2009.
См. также
![]() | Данная статья была создана в рамках учебного задания.
См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |