Метод потенциальных функций

Материал из MachineLearning.

Версия от 11:06, 3 января 2010; Osa (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Данная статья является непроверенным учебным заданием.

Студент: Участник:osa

Преподаватель: Участник:Константин Воронцов

Срок: 25 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Метод потенциальных функций - метрический классификатор, частный случай метода ближайших соседей.

Введение

Общая идея метода иллюстрируется на примере электростатического взаимодействия элементарных частиц. Известно, что потенциал электрического поля элементарной заряженной частицы в некоторой точке пространства пропорционален отношению заряда частицы (Q) к расстоянию до частицы (r): $\varphi(r) \sim \frac{Q}{r}$

Основная формула

$w(i,u)=\gamma(x_u^{(i)}) K \left(\frac{\rho(u,x_u{(i)})}{h(x_u{(i)})}\right)$ , где

$K(r) = \frac{1}{r+a}$ – потенциальная функция. Константа $a$ вводится чтобы избежать проблем с делением на ноль и берётся произвольно (например, $a=1$ ).

$\rho(u,x_u{(i)})$ – расстояние от объекта u до i-того ближайшего к u объекта – $x_u^{(i)}$ .

$\gamma(x_u^{(i)})$ – параметр;

$h(x_u{(i)})$ – параметр.

Вопрос о выборе параметров (их 2l). Необходимо обучать их по выборке.

Выбор параметров

Как мы уже заметили, в основной формуле метода потенциальных функций используются две группы параметров:

$\gamma(x_i)$ – «потенциал» объекта $x_i \in X^l$ , $i=\overline{1,l}$
$h(x_i)$ – «ширина потенциала» объекта $x_i \in X^l$ , $i=\overline{1,l}$ – своеобразный аналог ширины окна в методе парзеновского окна.

Ниже приведён алгоритм, который позволяет «обучать» параметры $(\gamma(x_1), \dots, \gamma(x_n))$ , то есть подбирать их значения по обучающей выборке $X^l$ .

Вход: Обучающая выборка из  объектов – . 

Выход: Значения параметров  для   
 

1.   Начало. Инициализация:  для всех ; 

2.   Повторять {

3.      Выбрать очередной объект  из выборки ;

4.      Если , то ;

5.   } пока  (то есть пока процесс не стабилизируется).