Однослойные сети RBF для решения задач регрессии (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 13: Строка 13:
<tex>p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j).</tex> <br />
<tex>p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j).</tex> <br />
<tex>N(x;\mu_j,\Sigma_j) = \frac{1}{\sqrt{(2\pi)^ndet\Sigma_j}}e^{-\frac{1}{2}(x-\mu_j)\Sigma_j^{-1}(x-\mu_j)^{T}}</tex> <br />
<tex>N(x;\mu_j,\Sigma_j) = \frac{1}{\sqrt{(2\pi)^ndet\Sigma_j}}e^{-\frac{1}{2}(x-\mu_j)\Sigma_j^{-1}(x-\mu_j)^{T}}</tex> <br />
-
Требуется восстановить эту смесь распределений с помощью EM-алгоритма с добавлением.
+
Требуется решить задачу [[регрессия|{{S|регрессии}}]] с помощью однослойной сети RBF, параметрами которой являются <br />
-
Далее требуется решить задачу [[регрессия|{{S|регрессии}}]] с помощью однослойной сети RBF, параметрами которой являются <br />
+
<tex>k, w_j, \theta_j=(\mu_j,\Sigma_j), y(\mu_j)=Y_j, j=1\dots k</tex> <br />
<tex>k, w_j, \theta_j=(\mu_j,\Sigma_j), y(\mu_j)=Y_j, j=1\dots k</tex> <br />
<tex>k</tex> - число компонент смеси <br />
<tex>k</tex> - число компонент смеси <br />
Строка 20: Строка 19:
<tex>\theta_j=(\mu_j,\Sigma_j)</tex> - центры и дисперсия компонент <br />
<tex>\theta_j=(\mu_j,\Sigma_j)</tex> - центры и дисперсия компонент <br />
<tex>y(\mu_j)=Y_j</tex> - значения свободных переменных в центрах компонент <br />
<tex>y(\mu_j)=Y_j</tex> - значения свободных переменных в центрах компонент <br />
-
 
+
Смесь распределений тербуется восстановить с помощью EM-алгоритма с добавлением.
-
обучаемой с помощью [[EM-алгоритм|{{S|EM-алгоритма с добавлением компонент}}]].
+
Таким образом решается задача [[регрессия|{{S|регрессии}}]] с помощью однослойной сети RBF, обучаемой с помощью [[EM-алгоритм|{{S|EM-алгоритма с добавлением компонент}}]].
== Описание алгоритма ==
== Описание алгоритма ==

Версия 10:07, 7 июня 2010

Радиальная функция — это функция f(x), зависящая только от расстояния между x и фиксированной точкой пространства X. В данной работе используются гауссианы p_j(x) = N(x; \mu _j ,\Sigma _j), которые можно представить в виде p_j(x) = N_j exp(-1/2 \rho  _j (x, \mu _j)
где N_j = (2\pi)^ {-n/2}(\sigma _{j1}, \dots ,\sigma _{jn})^{-1} — нормировочный множитель,
\rho _j(x, x') — взвешенная евклидова метрика в n-мерном пространстве X:
~\rho (x, x') = \sum ^n _{d = 1} \sigma ^{-2} _{jd} |\xi _d - \xi _d '| ,
 x = (\xi _1, . . . ,\xi _n), x' = (\xi _1 ', . . . , \xi _n').
Сеть радиальных базисных функций - нейронная сеть прямого распространения сигнала, которая содержит промежуточный (скрытый) слой радиально симметричных нейронов. Такой нейрон преобразовывает расстояние от данного входного вектора до соответствующего ему "центра" по некоторому нелинейному закону - с помощью радиальной функции. В данной статье мы рассмотрим применение этой нейронной сети к решению задачи регрессии с помощью восстановления смесей распределений.

Постановка задачи

Задана выборка — множество \{{x}_1,\ldots,{x}_N|x\in\R^M\} значений свободных переменных и множество \{y_1,\ldots, y_N| y\in\R\} соответствующих им значений зависимой переменной. Предполагается, что на множестве объектов задана плотность распределения p(x), представимая в виде смеси распределений - k гауссиан с параметрами \mu и \Sigma: p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j).
N(x;\mu_j,\Sigma_j) = \frac{1}{\sqrt{(2\pi)^ndet\Sigma_j}}e^{-\frac{1}{2}(x-\mu_j)\Sigma_j^{-1}(x-\mu_j)^{T}}
Требуется решить задачу регрессии с помощью однослойной сети RBF, параметрами которой являются
k, w_j, \theta_j=(\mu_j,\Sigma_j), y(\mu_j)=Y_j, j=1\dots k
k - число компонент смеси
w_j- веса компонент
\theta_j=(\mu_j,\Sigma_j) - центры и дисперсия компонент
y(\mu_j)=Y_j - значения свободных переменных в центрах компонент
Смесь распределений тербуется восстановить с помощью EM-алгоритма с добавлением. Таким образом решается задача регрессии с помощью однослойной сети RBF, обучаемой с помощью EM-алгоритма с добавлением компонент.

Описание алгоритма

Данная статья является непроверенным учебным заданием.
Студент: Участник:Кононенко Даниил
Преподаватель: Участник:В.В.Стрижов
Срок: 28 мая 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Личные инструменты