Однослойные сети RBF для решения задач регрессии (пример)
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
'''Радиальная функция''' — это функция <tex>f(x)</tex>, зависящая только от расстояния между x и фиксированной точкой пространства X. | '''Радиальная функция''' — это функция <tex>f(x)</tex>, зависящая только от расстояния между x и фиксированной точкой пространства X. | ||
- | В данной работе используются гауссианы <tex>p_j(x) = N(x; \mu _j ,\Sigma _j)</tex>, которые можно представить в виде <tex>p_j(x) = N_j exp(-1 | + | В данной работе используются гауссианы <tex>p_j(x) = N(x; \mu _j ,\Sigma _j)</tex>, которые можно представить в виде <tex>p_j(x) = N_j exp(-\frac{1}{2} \rho _j (x, \mu _j)</tex> <br /> |
где <tex>N_j = (2\pi)^ {-\frac{n}{2}}(\sigma _{j1}, \dots ,\sigma _{jn})^{-1}</tex> — нормировочный множитель,<br /> | где <tex>N_j = (2\pi)^ {-\frac{n}{2}}(\sigma _{j1}, \dots ,\sigma _{jn})^{-1}</tex> — нормировочный множитель,<br /> | ||
<tex>\rho _j(x, x')</tex> — взвешенная евклидова метрика в n-мерном пространстве X:<br /> | <tex>\rho _j(x, x')</tex> — взвешенная евклидова метрика в n-мерном пространстве X:<br /> | ||
Строка 39: | Строка 39: | ||
Значения зависимой переменной в центрах компонент <br /> | Значения зависимой переменной в центрах компонент <br /> | ||
- | <tex>Y_j=y(\mu_j)=</tex> | + | <tex>Y_j=y(\mu_j)=\frac{\sum_{i=1}^N y_i*p_j(x_i)}{\sum_{i=1}^N p_j(x_i)}</tex> |
Версия 11:26, 7 июня 2010
Радиальная функция — это функция , зависящая только от расстояния между x и фиксированной точкой пространства X.
В данной работе используются гауссианы
, которые можно представить в виде
где — нормировочный множитель,
— взвешенная евклидова метрика в n-мерном пространстве X:
,
.
Сеть радиальных базисных функций - нейронная сеть прямого распространения сигнала, которая содержит промежуточный (скрытый) слой радиально симметричных нейронов. Такой нейрон преобразовывает расстояние от данного входного вектора до соответствующего ему "центра" по некоторому нелинейному закону - с помощью радиальной функции. В данной статье мы рассмотрим применение этой нейронной сети к решению задачи регрессии с помощью восстановления смесей распределений.
Содержание |
Постановка задачи
Задана выборка — множество значений свободных переменных и множество
соответствующих им значений зависимой переменной. Предполагается, что на множестве объектов задана плотность распределения
, представимая в виде смеси распределений -
гауссиан с параметрами
и
:
Требуется решить задачу регрессии с помощью однослойной сети RBF, параметрами которой являются
, где
- число компонент смеси,
- веса компонент,
- центры и дисперсия компонент,
- значения зависимой переменной в центрах компонент.
Смесь распределений требуется восстановить с помощью EM-алгоритма с добавлением компонент.
Таким образом решается задача регрессии с помощью однослойной сети RBF, обучаемой с помощью EM-алгоритма с добавлением компонент.
Описание алгоритма
Разделение смеси рапределений
Настройка параметров RBF-сети происходит с помощью EM-алгоритма с добавлением компонент. Идея EM-алгоритма заключается во введении вспомогательного вектора скрытых переменных . С одной стороны, он может быть вычислен, если известны значения вектора параметров
, с другой стороны, поиск максимума правдоподобия сильно упрощается, если известны значения скрытых переменных.
EM-алгоритм состоит из итерационного повторения двух шагов. На E-шаге вычисляется ожидаемое значение (expectation) вектора скрытых переменных
по текущему приближению вектора параметров
. На М-шаге решается задача максимизации правдоподобия (maximization) и находится следующее приближение вектора
по текущим значениям векторов
и
.
Если число компонент смеси заранее неизвестно, то применяется EM-алгоритм с последовательным добавлением компонент. Его идея заключается в том, что если данные описаны смесью компонент, то можно добавить в смесь
-ю компоненту, построенную на элементах, описанных хуже всего (имеющих минимальное правдоподобие). Далее на смеси из
-ой компоненты запускается EM-алгоритм.
Для более подробного описания см.
Восстановление регрессии
Значения зависимой переменной в центрах компонент
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |