Ядерные методы в статистике

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini Flash 3.5 и проверена участником Nikita Zinoviсh 20:38, 12 июля 2026 (MSD)

Содержание

1 Введение и мотивация
2 Математический фундамент
3 Теоретическое обоснование решения задачи: Ядерная оценка плотности
4 См. также
5 Литература

Введение и мотивация

В классической теории математической статистики при решении задачи оценивания неизвестной плотности распределения случайной величины традиционно преобладает параметрический подход. В рамках этого подхода априори предполагается, что истинная плотность распределения $f(x)$ принадлежит некоторому известному параметрическому семейству функций (например, семейству нормальных распределений $N(\mu, \sigma^2)$ ). Задача исследователя в таком случае сводится к оцениванию конечного числа неизвестных параметров (например, математического ожидания $\mu$ и дисперсии $\sigma^2$ ) по имеющейся выборке с помощью таких методов, как метод максимального правдоподобия.

Однако на практике предположение о принадлежности распределения к конкретному параметрическому семейству часто оказывается слишком жестким или неверным. Реальные данные могут обладать мультимодальностью (иметь несколько локальных максимумов), тяжелыми хвостами или сложной асимметрией, которую невозможно адекватно описать стандартными законами распределения. Ошибка в выборе параметрического семейства приводит к систематическому смещению оценок, которое не компенсируется даже увеличением объема выборки.

Для преодоления этих ограничений развиваются непараметрические подходы, в которых не накладывается никаких априорных предположений о глобальной форме функции плотности распределения. Вместо этого форма плотности «выводится» непосредственно из структуры самих данных. Основная идея непараметрического ядерного подхода заключается в локальном сглаживании: оценка плотности в заданной точке $x$ формируется на основе информации о точках выборки, попавших в некоторую окрестность этой точки. При этом вклад каждой точки выборки взвешивается с помощью специальной функции — ядра, зависящей от расстояния до точки $x$ .

Математический фундамент

Пусть задана выборка $X_1, X_2, \dots, X_n$ , состоящая из независимых одинаково распределенных случайных величин, имеющих абсолютно непрерывное распределение с неизвестной плотностью $f(x)$ .

Определение. Ядром (или ядерной функцией) называется вещественная функция $K(u)$ , удовлетворяющая следующим условиям, которые позволяют интерпретировать ее как плотность некоторого вспомогательного распределения:

Неотрицательность для всех значений аргумента:

$K(u) \ge 0$

Симметричность относительно нуля:

$K(u) = K(-u)$

Условие нормировки (интеграл по всей прямой равен единице):

$\int_{-\infty}^{\infty} K(u) du = 1$

Дополнительно в теоретических исследованиях часто требуют, чтобы ядро имело конечную дисперсию, то есть:

$\int_{-\infty}^{\infty} u^2 K(u) du < \infty$

На практике наиболее часто используются следующие типы ядерных функций:

Гауссово ядро:

$K(u) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}u^2}$

Ядро Епанечникова (минимизирующее среднеквадратичную ошибку):

$K(u) = \frac{3}{4}(1 - u^2) \cdot I(|u| \le 1)$

Прямоугольное (индикаторное) ядро:

$K(u) = \frac{1}{2} \cdot I(|u| \le 1)$

Здесь и далее $I$ обозначает индикаторную функцию, равную единице, если условие в скобках выполнено, и нулю в противном случае.

Теоретическое обоснование решения задачи: Ядерная оценка плотности

От гистограммы к ядерной оценке

Простейшим и исторически первым непараметрическим способом визуализации и оценивания плотности является обычная гистограмма. Для ее построения область значений случайной величины разбивается на отрезки (бины) фиксированной ширины $h$ . Оценка плотности в точке $x$ определяется как доля элементов выборки, попавших в тот же отрезок, что и точка $x$ , деленная на ширину отрезка. Однако гистограмма обладает существенными недостатками: она является разрывной (ступенчатой) функцией, даже если истинная плотность непрерывна, а ее форма критически зависит от выбора начальной точки разбиения на отрезки.

Модифицируем этот подход: вместо фиксированной сетки отрезков будем центрировать интервал длины $2h$ непосредственно в оцениваемой точке $x$ . Тогда оценка плотности примет вид:

$\hat{f}(x) = \frac{1}{2nh} \sum_{i=1}^{n} I\left(\left|\frac{x - X_i}{h}\right| \le 1\right)$

Заметим, что выражение $\frac{1}{2} I(|u| \le 1)$ в точности соответствует прямоугольному ядру. Заменяя прямоугольное ядро на произвольную гладкую ядерную функцию $K(u)$ , мы получаем непрерывную и дифференцируемую оценку.

Формула Розенблатта-Парзена

Строгим решением задачи непараметрического оценивания плотности является ядерная оценка плотности (оценка Розенблатта-Парзена), которая задается формулой:

$\hat{f}_h(x) = \frac{1}{nh} \sum_{i=1}^{n} K\left(\frac{x - X_i}{h}\right)$

В этой формуле каждый элемент выборки $X_i$ «окружается» собственной ядерной функцией плотности, а итоговая оценка представляет собой их нормированную сумму. Параметр $h > 0$ называется параметром сглаживания (или шириной окна, англ. bandwidth). Он масштабирует аргумент ядра и определяет степень локальности оценки.

Анализ качества оценки и выбор параметра сглаживания

Для математического обоснования качества оценки рассмотрим ее поведение в терминах математического ожидания и дисперсии. Основной мерой качества в непараметрической статистике выступает среднеквадратичная ошибка (MSE) в точке $x$ :

$\operatorname{MSE}(\hat{f}_h(x)) = \mathbb{E}\left[\left(\hat{f}_h(x) - f(x)\right)^2\right] = \operatorname{Bias}^2(\hat{f}_h(x)) + \mathbb{D}(\hat{f}_h(x))$

Используя разложение функции плотности $f(x)$ в ряд Тейлора в окрестности точки $x$ и свойства ядра, можно получить асимптотические выражения при $h \to 0$ и $n \to \infty$ .

Смещение (Bias):

$\operatorname{Bias}(\hat{f}_h(x)) = \mathbb{E}[\hat{f}_h(x)] - f(x) = \frac{1}{2} h^2 f''(x) \int_{-\infty}^{\infty} u^2 K(u) du + o(h^2)$

Смещение пропорционально квадрату ширины окна $h^2$ и второй производной истинной плотности $f''(x)$ , отражающей степень ее кривизны.

Дисперсия (Variance):

$\mathbb{D}(\hat{f}_h(x)) = \frac{1}{nh} f(x) \int_{-\infty}^{\infty} K^2(u) du + o\left(\frac{1}{nh}\right)$

Дисперсия обратно пропорциональна произведению объема выборки на ширину окна $nh$ .

Таким образом, возникает классический компромисс между смещением и дисперсией (англ. bias-variance tradeoff):

При слишком малых значениях $h$ (недосглаживание, англ. undersmoothing) смещение мало, но дисперсия резко возрастает, из-за чего оценка становится крайне осциллирующей и чувствительной к шуму.
При слишком больших значениях $h$ (пересглаживание, англ. oversmoothing) дисперсия мала, но смещение велико, что приводит к сглаживанию важных структур распределения (например, пики мультимодального распределения сливаются в один).

Для обеспечения состоятельности ядерной оценки необходимо, чтобы при возрастании объема выборки ширина окна стремилась к нулю, но медленнее, чем $1/n$ :

$h \to 0$ и ${nh} \to \infty$ при $n \to \infty$

При выполнении этих условий асимптотическая среднеквадратичная ошибка стремится к нулю, что строго доказывает сходимость ядерной оценки к истинной плотности распределения. Оптимальная ширина окна, минимизирующая интегральную среднеквадричную ошибку (MISE), имеет асимптотический порядок:

$h = O(n^{-1/5})$

См. также

Литература

Хардле В. Прикладная непараметрическая регрессия. — М.: Мир, 1993. — 349 с.
Wand M. P., Jones M. C. Kernel Smoothing. — London: Chapman & Hall/CRC, 1995. — 224 p.
Silverman B. W. Density Estimation for Statistics and Data Analysis. — London: Chapman & Hall/CRC, 1986. — 176 p.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%AF%D0%B4%D0%B5%D1%80%D0%BD%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%B2_%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B5»

@@ Строка 1: / Строка 1: @@
 {{well|Статья написана с использованием LLM '''Gemini Flash 3.5''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 20:38, 12 июля 2026 (MSD)}}
-{{Статья
+== Введение и мотивация ==
-| название = Математические основы ядерных методов
+В классической теории [[Математическая статистика|математической статистики]] при решении задачи оценивания неизвестной плотности распределения случайной величины традиционно преобладает параметрический подход. В рамках этого подхода априори предполагается, что истинная плотность распределения <tex>f(x)</tex> принадлежит некоторому известному параметрическому семейству функций (например, семейству [[Нормальное распределение|нормальных распределений]] <tex>N(\mu, \sigma^2)</tex>). Задача исследователя в таком случае сводится к оцениванию конечного числа неизвестных параметров (например, математического ожидания <tex>\mu</tex> и дисперсии <tex>\sigma^2</tex>) по имеющейся выборке с помощью таких методов, как [[Метод максимального правдоподобия|метод максимального правдоподобия]].
-| автор =
-| структура =
-}}
-== Мотивация: неявное погружение в гильбертовы пространства ==
+Однако на практике предположение о принадлежности распределения к конкретному параметрическому семейству часто оказывается слишком жестким или неверным. Реальные данные могут обладать мультимодальностью (иметь несколько локальных максимумов), тяжелыми хвостами или сложной асимметрией, которую невозможно адекватно описать стандартными законами распределения. Ошибка в выборе параметрического семейства приводит к систематическому смещению оценок, которое не компенсируется даже увеличением объема выборки.
-Пусть задана обучающая выборка объектов <tex>\{(x_i, y_i)\}_{i=1}^n</tex>, где <tex>x_i \in \mathcal{X} \subset \mathbb{R}^d</tex>, а <tex>y_i \in \mathbb{R}</tex>. Задача [[Линейная регрессия|линейной регрессии]] состоит в поиске вектора весов <tex>w \in \mathbb{R}^d</tex>, минимизирующего некоторый эмпирический риск. Однако если истинная зависимость <tex>y</tex> от <tex>x</tex> нелинейна, класс линейных функций обладает высоким [[Смещение и дисперсия|смещением]].
-Стандартный статистический подход для расширения класса гипотез — введение нелинейного отображения признаков:
+Для преодоления этих ограничений развиваются непараметрические подходы, в которых не накладывается никаких априорных предположений о глобальной форме функции плотности распределения. Вместо этого форма плотности «выводится» непосредственно из структуры самих данных. Основная идея непараметрического ядерного подхода заключается в локальном сглаживании: оценка плотности в заданной точке <tex>x</tex> формируется на основе информации о точках выборки, попавших в некоторую окрестность этой точки. При этом вклад каждой точки выборки взвешивается с помощью специальной функции — ядра, зависящей от расстояния до точки <tex>x</tex>.
-:<tex>\Phi: \mathcal{X} \to \mathcal{H}</tex>
-где <tex>\mathcal{H}</tex> — новое [[Гильбертово пространство|гильбертово пространство]] большей размерности <tex>\dim(\mathcal{H}) = D \gg d</tex>. Линейная модель в этом пространстве имеет вид <tex>f(x) = \langle w, \Phi(x) \rangle_{\mathcal{H}}</tex>, где <tex>w \in \mathcal{H}</tex>.
-Попытка явного вычисления и оптимизации такой модели сталкивается со следующими ограничениями:
+== Математический фундамент ==
-# Вычислительная сложность: если <tex>D</tex> велико (например, при полиномиальном расширении высокой степени), вычисление вектора <tex>\Phi(x)</tex> требует высоких временных и аппаратных затрат <tex>O(D)</tex>.
+Пусть задана выборка <tex>X_1, X_2, \dots, X_n</tex>, состоящая из независимых одинаково распределенных случайных величин, имеющих абсолютно непрерывное распределение с неизвестной плотностью <tex>f(x)</tex>.
-# Теоретическое ограничение: если <tex>D = \infty</tex> (пространство бесконечномерно), явное представление вектора <tex>\Phi(x)</tex> в памяти и покоординатное вычисление [[Скалярное произведение|скалярного произведения]] <tex>\langle \Phi(x), \Phi(x') \rangle_{\mathcal{H}}</tex> физически невозможны.
-== Математический фундамент: Ядра и пространства RKHS ==
+'''Определение.''' Ядром (или ядерной функцией) называется вещественная функция <tex>K(u)</tex>, удовлетворяющая следующим условиям, которые позволяют интерпретировать ее как плотность некоторого вспомогательного распределения:
-Вычислительный тупик разрешается, если алгоритм обучения можно переписать так, чтобы объекты <tex>x</tex> участвовали в нем исключительно в виде скалярных произведений. Это мотивирует введение функции ядра.
-'''Определение 1.''' Функция двух переменных <tex>K: \mathcal{X} \times \mathcal{X} \to \mathbb{R}</tex> называется [[Положительно определенная функция|положительно определенным ядром]], если она симметрична (<tex>K(x, x') = K(x', x)</tex>) и для любого конечного набора объектов <tex>\{x_i\}_{i=1}^n</tex> матрица Грама <tex>\mathbf{K} \in \mathbb{R}^{n \times n}</tex> с элементами <tex>\mathbf{K}_{ij} = K(x_i, x_j)</tex> является полуположительно определенной:
+# Неотрицательность для всех значений аргумента:
-:<tex>\forall c \in \mathbb{R}^n, \quad c^T \mathbf{K} c = \sum_{i=1}^n \sum_{j=1}^n c_i c_j K(x_i, x_j) \ge 0</tex>
+:<tex>K(u) \ge 0</tex>
+# Симметричность относительно нуля:
+:<tex>K(u) = K(-u)</tex>
+# Условие нормировки (интеграл по всей прямой равен единице):
+:<tex>\int_{-\infty}^{\infty} K(u) du = 1</tex>
-Связь между абстрактным положительно определенным ядром <tex>K</tex> и геометрическим пространством <tex>\mathcal{H}</tex> устанавливает '''Теорема Мерсера''': если ядро <tex>K</tex> непрерывно и положительно определено на компакте, то существует пространство <tex>\mathcal{H}</tex> и отображение <tex>\Phi: \mathcal{X} \to \mathcal{H}</tex>, такие что:
+Дополнительно в теоретических исследованиях часто требуют, чтобы ядро имело конечную дисперсию, то есть:
-:<tex>K(x, x') = \langle \Phi(x), \Phi(x') \rangle_{\mathcal{H}}</tex>
+:<tex>\int_{-\infty}^{\infty} u^2 K(u) du < \infty</tex>
-Для характеризации класса функций, который порождает такое ядро, вводится понятие '''воспроизводящего ядерного гильбертова пространства (RKHS)''' <tex>\mathcal{H}_K</tex>. Это пространство функций <tex>f: \mathcal{X} \to \mathbb{R}</tex>, конструируемое как замыкание линейной оболочки элементов вида <tex>\{K(x, \cdot) \mid x \in \mathcal{X}\}</tex>. Оно уникально для каждого ядра и обладает '''воспроизводящим свойством''':
+На практике наиболее часто используются следующие типы ядерных функций:
-# Функция <tex>K(x, \cdot)</tex> сама является элементом пространства <tex>\mathcal{H}_K</tex> для любого <tex>x</tex>.
+* '''Гауссово ядро:'''
-# Скалярное произведение любой функции <tex>f \in \mathcal{H}_K</tex> с «сечением» ядра вычисляет значение этой функции в точке <tex>x</tex>:
+:<tex>K(u) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}u^2}</tex>
-:<tex>\langle f, K(x, \cdot) \rangle_{\mathcal{H}_K} = f(x)</tex>
+* '''Ядро Епанечникова''' (минимизирующее среднеквадратичную ошибку):
+:<tex>K(u) = \frac{3}{4}(1 - u^2) \cdot I(|u| \le 1)</tex>
+* '''Прямоугольное (индикаторное) ядро:'''
+:<tex>K(u) = \frac{1}{2} \cdot I(|u| \le 1)</tex>
+Здесь и далее <tex>I</tex> обозначает индикаторную функцию, равную единице, если условие в скобках выполнено, и нулю в противном случае.
-Из этого свойства напрямую следует, что скалярное произведение самих ядерных функций возвращает значение ядра: <tex>\langle K(x, \cdot), K(x', \cdot) \rangle_{\mathcal{H}_K} = K(x, x')</tex>. Норма функции в этом пространстве <tex>\|f\|_{\mathcal{H}_K}^2</tex> служит строгой мерой её гладкости: чем сильнее функция осциллирует между точками, тем выше её норма.
+== Теоретическое обоснование решения задачи: Ядерная оценка плотности ==
-== Канонические ядра: анализ размерности признакового пространства ==
+=== От гистограммы к ядерной оценке ===
-Рассмотрим, как конкретная аналитическая форма ядра определяет размерность пространства <tex>\mathcal{H}_K</tex>.
+Простейшим и исторически первым непараметрическим способом визуализации и оценивания плотности является обычная гистограмма. Для ее построения область значений случайной величины разбивается на отрезки (бины) фиксированной ширины <tex>h</tex>. Оценка плотности в точке <tex>x</tex> определяется как доля элементов выборки, попавших в тот же отрезок, что и точка <tex>x</tex>, деленная на ширину отрезка. Однако гистограмма обладает существенными недостатками: она является разрывной (ступенчатой) функцией, даже если истинная плотность непрерывна, а ее форма критически зависит от выбора начальной точки разбиения на отрезки.
-'''Полиномиальное ядро:'''
+Модифицируем этот подход: вместо фиксированной сетки отрезков будем центрировать интервал длины <tex>2h</tex> непосредственно в оцениваемой точке <tex>x</tex>. Тогда оценка плотности примет вид:
-:<tex>K(x, x') = (x^T x' + 1)^d, \quad d \in \mathbb{N}</tex>
+:<tex>\hat{f}(x) = \frac{1}{2nh} \sum_{i=1}^{n} I\left(\left|\frac{x - X_i}{h}\right| \le 1\right)</tex>
-При раскрытии скобок по формуле бинома Ньютона ядро распадается на сумму скалярных произведений мономов всех степеней до <tex>d</tex>. Количество таких мономов конечно, следовательно, <tex>\dim(\mathcal{H}_K)</tex> конечно.
+Заметим, что выражение <tex>\frac{1}{2} I(|u| \le 1)</tex> в точности соответствует прямоугольному ядру. Заменяя прямоугольное ядро на произвольную гладкую ядерную функцию <tex>K(u)</tex>, мы получаем непрерывную и дифференцируемую оценку.
-'''Гауссово ядро (RBF):'''
+=== Формула Розенблатта-Парзена ===
-:<tex>K(x, x') = \exp\left(-\frac{1}{2} \|x - x'\|^2\right)</tex>
+Строгим решением задачи непараметрического оценивания плотности является '''ядерная оценка плотности''' (оценка Розенблатта-Парзена), которая задается формулой:
-Покажем, что это ядро порождает бесконечномерное пространство. Для простоты рассмотрим одномерный случай <tex>x, x' \in \mathbb{R}</tex>. Используя свойства экспоненты, перепишем ядро:
+:<tex>\hat{f}_h(x) = \frac{1}{nh} \sum_{i=1}^{n} K\left(\frac{x - X_i}{h}\right)</tex>
-:<tex>K(x, x') = e^{-\frac{1}{2}x^2} e^{-\frac{1}{2}(x')^2} e^{xx'}</tex>
+В этой формуле каждый элемент выборки <tex>X_i</tex> «окружается» собственной ядерной функцией плотности, а итоговая оценка представляет собой их нормированную сумму. Параметр <tex>h > 0</tex> называется '''параметром сглаживания''' (или шириной окна, англ. ''bandwidth''). Он масштабирует аргумент ядра и определяет степень локальности оценки.
-Разложим сомножитель <tex>e^{xx'}</tex> в бесконечный ряд Тейлора:
+=== Анализ качества оценки и выбор параметра сглаживания ===
-:<tex>K(x, x') = e^{-\frac{1}{2}x^2} e^{-\frac{1}{2}(x')^2} \sum_{m=0}^{\infty} \frac{(xx')^m}{m!} = \sum_{m=0}^{\infty} \left( \frac{e^{-\frac{1}{2}x^2} x^m}{\sqrt{m!}} \right) \left( \frac{e^{-\frac{1}{2}(x')^2} (x')^m}{\sqrt{m!}} \right)</tex>
+Для математического обоснования качества оценки рассмотрим ее поведение в терминах [[Математическое ожидание|математического ожидания]] и [[Дисперсия случайной величины|дисперсии]]. Основной мерой качества в непараметрической статистике выступает среднеквадратичная ошибка (MSE) в точке <tex>x</tex>:
+:<tex>\operatorname{MSE}(\hat{f}_h(x)) = \mathbb{E}\left[\left(\hat{f}_h(x) - f(x)\right)^2\right] = \operatorname{Bias}^2(\hat{f}_h(x)) + \mathbb{D}(\hat{f}_h(x))</tex>
-Полученное выражение эквивалентно стандартному определению скалярного произведения в пространстве последовательностей <tex>\ell_2</tex> для неявного отображения вида:
+Используя разложение функции плотности <tex>f(x)</tex> в [[Ряд Тейлора|ряд Тейлора]] в окрестности точки <tex>x</tex> и свойства ядра, можно получить асимптотические выражения при <tex>h \to 0</tex> и <tex>n \to \infty</tex>.
-:<tex>\Phi(x) = \left[ e^{-\frac{1}{2}x^2}, \ e^{-\frac{1}{2}x^2}x, \ \frac{1}{\sqrt{2!}}e^{-\frac{1}{2}x^2}x^2, \ \dots, \ \frac{1}{\sqrt{m!}}e^{-\frac{1}{2}x^2}x^m, \ \dots \right]^T</tex>
-Так как функции <tex>\{e^{-\frac{1}{2}x^2}x^m\}</tex> линейно независимы при разных <tex>m</tex>, базис пространства бесконечен. Соответственно, <tex>\dim(\mathcal{H}_K) = \infty</tex>.
-== Ядерный трюк и Теорема о представлении ==
+# '''Смещение (Bias):'''
-'''[[Ядерный трюк|Ядерный трюк]] (Kernel Trick)''' — это методология, позволяющая выполнять линейные операции в бесконечномерном пространстве <tex>\mathcal{H}_K</tex> без явного вычисления координат <tex>\Phi(x)</tex>, заменяя любые скалярные произведения на функцию ядра: <tex>\langle \Phi(x), \Phi(x') \rangle = K(x, x')</tex>.
+:<tex>\operatorname{Bias}(\hat{f}_h(x)) = \mathbb{E}[\hat{f}_h(x)] - f(x) = \frac{1}{2} h^2 f''(x) \int_{-\infty}^{\infty} u^2 K(u) du + o(h^2)</tex>
+Смещение пропорционально квадрату ширины окна <tex>h^2</tex> и второй производной истинной плотности <tex>f''(x)</tex>, отражающей степень ее кривизны.
+# '''Дисперсия (Variance):'''
+:<tex>\mathbb{D}(\hat{f}_h(x)) = \frac{1}{nh} f(x) \int_{-\infty}^{\infty} K^2(u) du + o\left(\frac{1}{nh}\right)</tex>
+Дисперсия обратно пропорциональна произведению объема выборки на ширину окна <tex>nh</tex>.
-Главное теоретическое обоснование применимости ядер к задачам оптимизации дает '''Теорема о представлении (Representer Theorem)'''.
+Таким образом, возникает классический компромисс между смещением и дисперсией (англ. ''bias-variance tradeoff''):
+* При слишком малых значениях <tex>h</tex> (недосглаживание, англ. ''undersmoothing'') смещение мало, но дисперсия резко возрастает, из-за чего оценка становится крайне осциллирующей и чувствительной к шуму.
+* При слишком больших значениях <tex>h</tex> (пересглаживание, англ. ''oversmoothing'') дисперсия мала, но смещение велико, что приводит к сглаживанию важных структур распределения (например, пики мультимодального распределения сливаются в один).
-'''Формулировка:''' Пусть задана произвольная [[Функция потерь|функция потерь]] <tex>\mathcal{L}(f(x_1), \dots, f(x_n), y_1, \dots, y_n)</tex> и строго возрастающая функция штрафа за сложность (регуляризатор) <tex>\Omega(\|f\|_{\mathcal{H}_K})</tex>. Тогда любая функция <tex>f^*</tex>, минимизирующая полный регуляризованный риск:
+Для обеспечения [[Состоятельная оценка|состоятельности]] ядерной оценки необходимо, чтобы при возрастании объема выборки ширина окна стремилась к нулю, но медленнее, чем <tex>1/n</tex>:
-:<tex>f^* = \arg\min_{f \in \mathcal{H}_K} \left( \mathcal{L}(f(x_1), \dots, f(x_n), y_1, \dots, y_n) + \Omega(\|f\|_{\mathcal{H}_K}) \right)</tex>
+:<tex>h \to 0</tex> и <tex>{nh} \to \infty</tex> при <tex>n \to \infty</tex>
-строго представима в виде конечной линейной комбинации ядер, центрированных на элементах обучающей выборки:
-:<tex>f^*(x) = \sum_{i=1}^n \alpha_i K(x, x_i), \quad \alpha_i \in \mathbb{R}</tex>
-'''Доказательство:''' Выделим конечномерное подпространство <tex>\mathcal{V} = \text{span}\left(\{K(x_i, \cdot)\}_{i=1}^n\right)</tex>. По теореме о проекции в гильбертовых пространствах, любую функцию <tex>f \in \mathcal{H}_K</tex> можно разложить на параллельную и ортогональную составляющие: <tex>f = f_{\mathcal{V}} + v</tex>, где <tex>f_{\mathcal{V}} \in \mathcal{V}</tex>, а <tex>v \in \mathcal{V}^{\perp}</tex> (то есть <tex>\langle v, K(x_i, \cdot) \rangle_{\mathcal{H}_K} = 0</tex> для всех <tex>i=1,\dots,n</tex>).
+При выполнении этих условий асимптотическая среднеквадратичная ошибка стремится к нулю, что строго доказывает сходимость ядерной оценки к истинной плотности распределения. Оптимальная ширина окна, минимизирующая интегральную среднеквадричную ошибку (MISE), имеет асимптотический порядок:
+:<tex>h = O(n^{-1/5})</tex>
-Вычислим значение функции <tex>f</tex> в точке обучения <tex>x_j</tex>, используя воспроизводящее свойство и линейность скалярного произведения:
-:<tex>f(x_j) = \langle f, K(x_j, \cdot) \rangle_{\mathcal{H}_K} = \langle f_{\mathcal{V}} + v, K(x_j, \cdot) \rangle_{\mathcal{H}_K} = \langle f_{\mathcal{V}}, K(x_j, \cdot) \rangle_{\mathcal{H}_K} + \langle v, K(x_j, \cdot) \rangle_{\mathcal{H}_K} = f_{\mathcal{V}}(x_j) + 0</tex>
-Поскольку значение функции во всех точках выборки определяется только компонентой <tex>f_{\mathcal{V}}</tex>, слагаемое эмпирического риска <tex>\mathcal{L}</tex> инвариантно к ортогональному сдвигу <tex>v</tex>.
-Теперь оценим норму функции <tex>f</tex> по теореме Пифагора для ортогональных векторов:
-:<tex>\|f\|_{\mathcal{H}_K}^2 = \|f_{\mathcal{V}} + v\|_{\mathcal{H}_K}^2 = \|f_{\mathcal{V}}\|_{\mathcal{H}_K}^2 + \|v\|_{\mathcal{H}_K}^2 \ge \|f_{\mathcal{V}}\|_{\mathcal{H}_K}^2</tex>
-Так как функция <tex>\Omega</tex> строго возрастает, добавление любой компоненты <tex>v \neq 0</tex> строго увеличивает штрафную часть функционала, не изменяя при этом значение эмпирических потерь. Следовательно, точка минимума <tex>f^*</tex> обязана иметь ортогональную компоненту <tex>\|v\| = 0 \implies v = 0</tex>. Значит, <tex>f^* \in \mathcal{V}</tex>, то есть является линейной комбинацией <tex>\sum_{i=1}^n \alpha_i K(x_i, \cdot)</tex>. Теорема доказана.
-== Ядерная гребневая регрессия (Kernel Ridge Regression) ==
-Продемонстрируем, как сквозной математический аппарат решает конкретную задачу непараметрической регрессии с квадратичным функционалом потерь и [[Регуляризация Тихонова|тихоновским регуляризатором]]:
-:<tex>\min_{f \in \mathcal{H}_K} \left( \sum_{i=1}^n (f(x_i) - y_i)^2 + \lambda \|f\|_{\mathcal{H}_K}^2 \right), \quad \lambda > 0</tex>
-По доказанной теореме о представлении, оптимум гарантированно ищется в виде <tex>f(x) = \sum_{i=1}^n \alpha_i K(x, x_i)</tex>. Подставим это выражение в функционал оптимизации, переходя к матричной форме. Вектор предсказаний модели на обучающей выборке равен <tex>\mathbf{K}\alpha</tex>, где <tex>\mathbf{K}</tex> — матрица Грама, а <tex>\alpha = [\alpha_1, \dots, \alpha_n]^T</tex>. Квадрат нормы функции раскрывается через скалярное произведение в RKHS:
-:<tex>\|f\|_{\mathcal{H}_K}^2 = \langle \sum_{i=1}^n \alpha_i K(x_i, \cdot), \sum_{j=1}^n \alpha_j K(x_j, \cdot) \rangle_{\mathcal{H}_K} = \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j K(x_i, x_j) = \alpha^T \mathbf{K} \alpha</tex>
-Задача минимизации полностью сводится к конечномерной квадратичной форме относительно вектора весов <tex>\alpha \in \mathbb{R}^n</tex>:
-:<tex>Q(\alpha) = \|\mathbf{K}\alpha - y\|_2^2 + \lambda \alpha^T \mathbf{K} \alpha = (\mathbf{K}\alpha - y)^T(\mathbf{K}\alpha - y) + \lambda \alpha^T \mathbf{K} \alpha</tex>
-:<tex>Q(\alpha) = \alpha^T \mathbf{K}^2 \alpha - 2 \alpha^T \mathbf{K} y + y^T y + \lambda \alpha^T \mathbf{K} \alpha</tex>
-Для нахождения глобального экстремума вычислим [[Градиент|градиент]] по вектору <tex>\alpha</tex> и приравняем его к нулю:
-:<tex>\nabla_{\alpha} Q(\alpha) = 2 \mathbf{K}^2 \alpha - 2 \mathbf{K} y + 2 \lambda \mathbf{K} \alpha = 2 \mathbf{K} \left( (\mathbf{K} + \lambda \mathbf{I})\alpha - y \right) = \mathbf{0}</tex>
-Поскольку матрица Грама <tex>\mathbf{K}</tex> полуположительно определена, а параметр регуляризации <tex>\lambda > 0</tex>, матрица в скобках <tex>(\mathbf{K} + \lambda \mathbf{I})</tex> строго положительно определена и гарантированно обратима. Следовательно, уравнение имеет единственное аналитическое решение:
-:<tex>\alpha^* = (\mathbf{K} + \lambda \mathbf{I})^{-1} y</tex>
-Для предсказания значения в новой произвольной точке <tex>x</tex> используется вектор значений ядра между новым объектом и обучающей выборкой <tex>\mathbf{k}(x) = [K(x, x_1), \dots, K(x, x_n)]^T</tex>:
-:<tex>f^*(x) = \sum_{i=1}^n \alpha_i^* K(x, x_i) = \mathbf{k}(x)^T (\mathbf{K} + \lambda \mathbf{I})^{-1} y</tex>
-== Резюме: класс решаемых задач и смысл решения ==
-Построенный математический аппарат позволяет строго очертить класс задач и физический смысл их решения в ядерной форме.
-'''Класс решаемых задач:'''
-Это задачи '''непараметрического восстановления функций''' (регрессии, интерполяции и аппроксимации) по конечной зашумленной выборке в условиях, когда:
-* Истинная зависимость существенно нелинейна, а её аналитический вид априори неизвестен.
-* Объекты выборки <tex>x</tex> имеют сложную нелинейную структуру или являются нечисловыми (последовательности, графы), но для них можно задать симметричную функцию близости, удовлетворяющую критерию положительной определенности Мерсера.
-'''Что значит «решить задачу» в данном случае:'''
-Решить задачу ядерным методом означает найти глобально оптимальную функцию <tex>f^*(x)</tex> в [[Гильбертово пространство|гильбертовом пространстве]] гипотез, что физически выражается в следующем:
-# '''Геометрически:''' Найти такую разделяющую или аппроксимирующую гиперплоскость в бесконечномерном пространстве <tex>\mathcal{H}_K</tex>, которая в исходном пространстве <tex>\mathcal{X}</tex> разворачивается в сложную нелинейную поверхность, идеально проходящую через точки данных с учетом заданного уровня шума.
-# '''Алгебраически:''' Свести бесконечномерную вариационную задачу к конечномерной системе линейных уравнений размерности <tex>n \times n</tex> (где <tex>n</tex> — размер выборки). Решением является единственный вектор коэффициентов <tex>\alpha^*</tex>, который определяет вклад каждого обучающего объекта в предсказание для новой точки.
-# '''Статистически:''' Найти компромисс между точностью приближения выборки ([[Эмпирический риск|эмпирическим риском]]) и гладкостью итоговой функции. Штраф за норму в RKHS <tex>\|f\|_{\mathcal{H}_K}^2</tex> гарантирует, что решение не будет хаотично осциллировать между точками обучения, подавляя [[Переобучение|переобучение]].
 == См. также ==
 * [[Метод опорных векторов]]
 * [[Метод главных компонент]]
-* [[Регуляризация Тихонова]]
+* [[Непараметрическая статистика]]
+* [[Ядерное сглаживание]]
 * [[Непараметрическая регрессия]]
+* [[Метод парзеновского окна]]
 == Литература ==
-# '' Schölkopf B., Smola A. J.'' Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. — MIT Press, 2002.
+# ''Хардле В.'' Прикладная непараметрическая регрессия. — М.: Мир, 1993. — 349 с.
-# '' Shawe-Taylor J., Cristianini N.'' Kernel Methods for Pattern Analysis. — Cambridge University Press, 2004.
+# ''Wand M. P., Jones M. C.'' Kernel Smoothing. — London: Chapman & Hall/CRC, 1995. — 224 p.
-# '' Расмуссен К. В., Уильямс К. И.'' Гауссовские процессы в машинном обучении. — Физматлит, 2014.
+# ''Silverman B. W.'' Density Estimation for Statistics and Data Analysis. — London: Chapman & Hall/CRC, 1986. — 176 p.
-# '' Мерсер Дж.'' Functions of positive and negative type, and their connection with the theory of integral equations. — Philosophical Transactions of the Royal Society A, 1909.