Материал из MachineLearning.
Прореживание двухслойной нейронной сети (optimal brain damage) - метод упрощения структуры нейронной сети. Идея прореживания состоит в том, что из сети удаляются параметры, оказывающие малое влияние на ошибку аппроксимации. Таким образом, модель упрощается, а ошибка аппроксимации возрастает незначительно.
Постановка задачи
Задана обучающая выборка 
. Требуется решить задачу классификации с использованием двухслойной нейронной сети; затем упростить сеть, выбросив из нее параметры, соответствующие наименьшей степени выпуклости; среднеквадратичная ошибка классификации при этом не должна сильно возрасти.
Настройка нейронной сети
Двухслойная нейронная сеть состоит из одного скрытого слоя и выходного слоя. Каждый нейрон сети имеет сигмоидальную функции активации  = 1 / (1 + e^{-z}))
. Значения признаков 
поступают на вход первому (скрытому) слою сети с весовой матрицей 
, выходы первого слоя поступают на вход второму с весовой матрицей 
.На выходе второго слоя вычисляется вектор-функция ,...,F_P(x)))
, где P - количество нейронов на втором слое. Необходимо настроить параметры сети, используя алгоритм обратного распространения (back propagation).  = \frac{1}{2N} \sum_{n = 1}^N \sum_{p = 1}^P(F_p(n) - Y_p(n))^2)
- нормированная среднеквадратичная ошибка. Пусть 
- вес, соединяющий нейрон i с нейроном j следующего слоя. Тогда коррекция веса, применяемая к )
, определяется согласно правилу y_i(n))
, где  = - \frac{\partial \bf{E}(n)}{\partial y_j(n)}\phi_j'(v_j(n)))
- локальный градиент нейрона j. Здесь )
- выход i-го нейрона,  = \sum_{i = 1}^m w_{ji}(n)y_i(n))
- значение, которое получает на вход функция активации, соответствующая j-му нейрону (m - количество его входов), η - темп обучения. Поскольку ошибка представляется в виде  = \frac{1}{2}\sum_{p = 1}^P (F_p(n) - y_p(n))^2)
, то для выходного слоя }{\partial y_j(n)} = y_j(n) - F_j(n) =: e_j(n))
, и для него справедливо \phi_j'(v_j(n))y_i(n))
.
Соответственно, для первого, скрытого, слоя справедлива формула обратного распространения  = \phi_j'(v_j(n)) \sum_{p = 1}^P \delta_p(n) w_{pj}(n) )
.
Алгоритм оптимального прореживания
Описание метода второго порядка приводится в статье[1]. Основное отличие данного метода состоит в допущении, что матрица Гессе является диагональной. Таким образом, алгоритм немного видоизменяется:
Задана выборка 
, модель )
, функция ошибки 
. Для упрощения структуры сети выполняем следующие шаги:
1. настраиваем модель, получаем параметры 
.
2. пока значение ошибки не превосходит заранее заданного (3-5):
3. вычисляем гессиан 
согласно формуле
^2 - \frac{\partial^2 F_p}{\partial w_{kj}^2}(F_p(n) - y_p(n))))
обозначим за })
аргумент функции активации нейрона 
на слое 
. Тогда частные производные на втором слое: }) \phi (U_j^{(1)}); \frac{\partial^2 F_p}{\partial w_{kj}^2} = \phi''(U_k^{(2)}) \phi^2 (U_j^{(1)}))
при 
= 
и равны 0 при !=
,
а на первом слое
})w_{pj}\phi'(U_j^{(1)})x_iw_{ij})
и })(w_{pj} \phi' (U_j^{(1)})x_iw_{ij})^2 + \phi' (U_p^{(2)})w_{pj} \phi'' (U_j^{(1)})(x_iw_{ij})^2 )
4. вычисляем функцию выпуклости 
, находим 
, соответствующее наименьшей степени выпуклости.
5. вес 
удаляется из сети
| Статья в настоящий момент дорабатывается.
Mikethehuman 00:42, 15 апреля 2010 (MSD)
|
