Функция ядра

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Полностью удалено содержимое страницы)
(стилевые правки)
 
(13 промежуточных версий не показаны.)
Строка 1: Строка 1:
 +
== Определение ==
 +
Пусть <tex>X</tex> – некоторое пространство. Тогда отображение <tex>K:\ X \times X \to \mathbb R</tex> называется '''ядром''' или '''kernel function''', если оно представимо в виде:
 +
<tex>K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H </tex>, где <tex> \psi </tex> – некоторое отображение <tex>\psi:\ X \to H </tex>. <br />
 +
 +
 +
[[Теорема Мерсера]] устанавливает необходимые и достаточные условия, при которых отображение <tex>K\left(x,x^{\prime} \right)</tex> является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.
 +
 +
== Конструктивные способы порождения ядер ==
 +
 +
Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:
 +
 +
1. '''Тривиальное ядро''': <tex>K(x,x^{\prime}) = \left< x,x^{\prime} \right></tex> - ''ядро'' по определению; <br />
 +
 +
2. '''Констатнта''': <tex>K(x,x^{\prime}) = 1 </tex> – также является ''ядром''; <br />
 +
 +
3. '''Произведение ядер''': <tex>K(x,x^{\prime}) = K_1(x,x^{\prime})K_2(x,x^{\prime})</tex> – ''ядро'', если <tex>K_1,K_2</tex> – ''ядра''; <br />
 +
 +
4. '''Произведение отображений''': <tex>K(x,x^{\prime}) = \psi(x) \psi(x^{\prime}) </tex> – ''ядро'' <tex>\forall \psi:\ X \to \mathbb R </tex>; <br/>
 +
 +
5. '''Линейная комбинация ядер''': <tex>K(x,x^{\prime}) = \alpha_1 K_1(x,x^{\prime}) + \alpha_2 K_2(x,x^{\prime}) </tex> - ''ядро'' <tex>\forall \alpha_1,\alpha_2 \geq 0 </tex> <br />
 +
 +
6. '''Композиция ядра и отображения''': <tex>K(x,x^{\prime}) = K_0\left(\varphi(x),\varphi(x^{\prime})\right) </tex> – ''ядро'', где <tex>K_0(x,x^{\prime})</tex> – произовльное ''ядро'' и <tex>\varphi(x)</tex> – произвольное отображение <tex>\varphi: \ X \to X</tex>; <br />
 +
 +
7. '''Интегральное скалярное произведение''': <tex>\int\limits_X S(x,z)S(x^{\prime},z)\,dz</tex> – ''ядро'' для любой симметричной интегрируемой функции <tex>S:\ X\times X \to \mathbb R</tex>; <br />
 +
 +
 +
8. '''Отображение с неотрицательным Фурье-образом''': <tex>K(x,x^{\prime}) = k(x-x^{\prime})</tex> (где <tex>k</tex> — отображение <tex>k:X \to \mathbb R</tex>) – ''ядро'' тогда и только тогда, когда неотрицателен Фурье-образ отображения <tex>k</tex>, то есть верно, что: <br />
 +
<tex>F[k] (w) = (2 \pi)^{\frac{n}{2}} \int\limits_X{ exp({-i \left<w,x \right>}) k(x)}\,dx \geq 0, \ \forall w \in \mathbb R </tex>; <br />
 +
 +
9. '''Степенной ряд''': Если <tex>K_0</tex> – ''ядро'', <tex>f: \ \mathbb R \to \mathbb R </tex> – сходящийся степенной ряд с неотрицательными коэффициентами, тогда <tex>K(x,x^{\prime}) = f(K_0(x,x^{\prime}))</tex> – ''ядро''. <br />
 +
 +
 +
Этот список можно пополнять другими различными правилами. Обычно ''ядро'' выбирают, исходя из специфики задачи.
 +
 +
== См. также ==
 +
* [[Метод опорных векторов]]
 +
* [[Теорема Мерсера]]
 +
* [[Спрямляющее пространство]]
 +
* [[Линейный классификатор]]
 +
 +
== Ссылки ==
 +
* [http://en.wikipedia.org/wiki/Kernel_trick Kernel trick on Wikipedia]
 +
 +
 +
[[Категория:Классификация]]
 +
[[Категория:Линейные классификаторы]]
 +
 +
 +
{{Задание|osa|Константин Воронцов|21 января 2010}}

Текущая версия

Содержание

Определение

Пусть X – некоторое пространство. Тогда отображение K:\ X \times X \to \mathbb R называется ядром или kernel function, если оно представимо в виде:

K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H , где  \psi – некоторое отображение \psi:\ X \to H .


Теорема Мерсера устанавливает необходимые и достаточные условия, при которых отображение K\left(x,x^{\prime} \right) является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.

Конструктивные способы порождения ядер

Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:

1. Тривиальное ядро: K(x,x^{\prime}) = \left< x,x^{\prime} \right> - ядро по определению;

2. Констатнта: K(x,x^{\prime}) = 1 – также является ядром;

3. Произведение ядер: K(x,x^{\prime}) = K_1(x,x^{\prime})K_2(x,x^{\prime})ядро, если K_1,K_2ядра;

4. Произведение отображений: K(x,x^{\prime}) = \psi(x) \psi(x^{\prime}) ядро \forall \psi:\ X \to \mathbb R ;

5. Линейная комбинация ядер: K(x,x^{\prime}) = \alpha_1 K_1(x,x^{\prime}) + \alpha_2 K_2(x,x^{\prime}) - ядро \forall \alpha_1,\alpha_2 \geq 0

6. Композиция ядра и отображения: K(x,x^{\prime}) = K_0\left(\varphi(x),\varphi(x^{\prime})\right) ядро, где K_0(x,x^{\prime}) – произовльное ядро и \varphi(x) – произвольное отображение \varphi: \ X \to X;

7. Интегральное скалярное произведение: \int\limits_X S(x,z)S(x^{\prime},z)\,dzядро для любой симметричной интегрируемой функции S:\ X\times X \to \mathbb R;


8. Отображение с неотрицательным Фурье-образом: K(x,x^{\prime}) = k(x-x^{\prime}) (где k — отображение k:X \to \mathbb R) – ядро тогда и только тогда, когда неотрицателен Фурье-образ отображения k, то есть верно, что:
F[k] (w) = (2 \pi)^{\frac{n}{2}} \int\limits_X{ exp({-i \left<w,x \right>}) k(x)}\,dx \geq 0, \ \forall w \in \mathbb R ;

9. Степенной ряд: Если K_0ядро, f: \ \mathbb R \to \mathbb R – сходящийся степенной ряд с неотрицательными коэффициентами, тогда K(x,x^{\prime}) = f(K_0(x,x^{\prime}))ядро.


Этот список можно пополнять другими различными правилами. Обычно ядро выбирают, исходя из специфики задачи.

См. также

Ссылки


Данная статья является непроверенным учебным заданием.
Студент: Участник:osa
Преподаватель: Участник:Константин Воронцов
Срок: 21 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты