Функция ядра

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Определение)
(стилевые правки)
 
(10 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
==Определение==
+
== Определение ==
Пусть <tex>X</tex> – некоторое пространство. Тогда отображение <tex>K:\ X \times X \to \mathbb R</tex> называется '''ядром''' или '''kernel function''', если оно представимо в виде:
Пусть <tex>X</tex> – некоторое пространство. Тогда отображение <tex>K:\ X \times X \to \mathbb R</tex> называется '''ядром''' или '''kernel function''', если оно представимо в виде:
-
<tex>K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H </tex>, где <tex> \psi </tex> – некоторое отображение <tex>\psi:\ X \to H </tex>.
+
<tex>K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H </tex>, где <tex> \psi </tex> – некоторое отображение <tex>\psi:\ X \to H </tex>. <br />
 +
 
[[Теорема Мерсера]] устанавливает необходимые и достаточные условия, при которых отображение <tex>K\left(x,x^{\prime} \right)</tex> является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.
[[Теорема Мерсера]] устанавливает необходимые и достаточные условия, при которых отображение <tex>K\left(x,x^{\prime} \right)</tex> является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.
-
==Конструктивные способы порождения ядер==
+
== Конструктивные способы порождения ядер ==
Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:
Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:
Строка 25: Строка 26:
-
8. '''Отображение с неотрицательным Фурье-образом''': <tex>K(x,x^{\prime}) = k(x-x^{\prime})</tex> – ''ядро'' тогда и только тогда, когда неотрицателен Фурье-образ отображения <tex>k</tex>, то есть:
+
8. '''Отображение с неотрицательным Фурье-образом''': <tex>K(x,x^{\prime}) = k(x-x^{\prime})</tex> (где <tex>k</tex> — отображение <tex>k:X \to \mathbb R</tex>) – ''ядро'' тогда и только тогда, когда неотрицателен Фурье-образ отображения <tex>k</tex>, то есть верно, что: <br />
-
<tex>F[k] (w) = (2 \pi)^{\frac{n}{2})} \int\limits_X exp(-i \left<w,x \right> k(x)\,dx \geq 0</tex>; <br />
+
<tex>F[k] (w) = (2 \pi)^{\frac{n}{2}} \int\limits_X{ exp({-i \left<w,x \right>}) k(x)}\,dx \geq 0, \ \forall w \in \mathbb R </tex>; <br />
-
9. '''Степенной ряд''': Если <tex>K_0</tex> – ''ядро'', <tex>f: \ \mathbb R \to \mathbb R </tex> – сходящийся степенной ряд с неотрицательными коэффициентами, тогда <tex>K(x,x^{\prime}) = f(K_0(x,x^{\prime}))</tex> – ''ядро''; <br />
+
9. '''Степенной ряд''': Если <tex>K_0</tex> – ''ядро'', <tex>f: \ \mathbb R \to \mathbb R </tex> – сходящийся степенной ряд с неотрицательными коэффициентами, тогда <tex>K(x,x^{\prime}) = f(K_0(x,x^{\prime}))</tex> – ''ядро''. <br />
Этот список можно пополнять другими различными правилами. Обычно ''ядро'' выбирают, исходя из специфики задачи.
Этот список можно пополнять другими различными правилами. Обычно ''ядро'' выбирают, исходя из специфики задачи.
-
 
== См. также ==
== См. также ==
 +
* [[Метод опорных векторов]]
* [[Теорема Мерсера]]
* [[Теорема Мерсера]]
-
* [[Спрямляющее пространство|Переход в спрямляющее пространство]]
+
* [[Спрямляющее пространство]]
* [[Линейный классификатор]]
* [[Линейный классификатор]]
 +
 +
== Ссылки ==
 +
* [http://en.wikipedia.org/wiki/Kernel_trick Kernel trick on Wikipedia]
 +
 +
 +
[[Категория:Классификация]]
 +
[[Категория:Линейные классификаторы]]
-
{{Задание|osa|Константин Воронцов|25 января 2010}}
+
{{Задание|osa|Константин Воронцов|21 января 2010}}

Текущая версия

Содержание

Определение

Пусть X – некоторое пространство. Тогда отображение K:\ X \times X \to \mathbb R называется ядром или kernel function, если оно представимо в виде:

K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H , где  \psi – некоторое отображение \psi:\ X \to H .


Теорема Мерсера устанавливает необходимые и достаточные условия, при которых отображение K\left(x,x^{\prime} \right) является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.

Конструктивные способы порождения ядер

Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:

1. Тривиальное ядро: K(x,x^{\prime}) = \left< x,x^{\prime} \right> - ядро по определению;

2. Констатнта: K(x,x^{\prime}) = 1 – также является ядром;

3. Произведение ядер: K(x,x^{\prime}) = K_1(x,x^{\prime})K_2(x,x^{\prime})ядро, если K_1,K_2ядра;

4. Произведение отображений: K(x,x^{\prime}) = \psi(x) \psi(x^{\prime}) ядро \forall \psi:\ X \to \mathbb R ;

5. Линейная комбинация ядер: K(x,x^{\prime}) = \alpha_1 K_1(x,x^{\prime}) + \alpha_2 K_2(x,x^{\prime}) - ядро \forall \alpha_1,\alpha_2 \geq 0

6. Композиция ядра и отображения: K(x,x^{\prime}) = K_0\left(\varphi(x),\varphi(x^{\prime})\right) ядро, где K_0(x,x^{\prime}) – произовльное ядро и \varphi(x) – произвольное отображение \varphi: \ X \to X;

7. Интегральное скалярное произведение: \int\limits_X S(x,z)S(x^{\prime},z)\,dzядро для любой симметричной интегрируемой функции S:\ X\times X \to \mathbb R;


8. Отображение с неотрицательным Фурье-образом: K(x,x^{\prime}) = k(x-x^{\prime}) (где k — отображение k:X \to \mathbb R) – ядро тогда и только тогда, когда неотрицателен Фурье-образ отображения k, то есть верно, что:
F[k] (w) = (2 \pi)^{\frac{n}{2}} \int\limits_X{ exp({-i \left<w,x \right>}) k(x)}\,dx \geq 0, \ \forall w \in \mathbb R ;

9. Степенной ряд: Если K_0ядро, f: \ \mathbb R \to \mathbb R – сходящийся степенной ряд с неотрицательными коэффициентами, тогда K(x,x^{\prime}) = f(K_0(x,x^{\prime}))ядро.


Этот список можно пополнять другими различными правилами. Обычно ядро выбирают, исходя из специфики задачи.

См. также

Ссылки


Данная статья является непроверенным учебным заданием.
Студент: Участник:osa
Преподаватель: Участник:Константин Воронцов
Срок: 21 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты