Прореживание двухслойной нейронной сети (пример)

Материал из MachineLearning.

Версия от 08:05, 14 апреля 2010; Mikethehuman (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Прореживание двухслойной нейронной сети (optimal brain damage) - метод упрощения структуры нейронной сети. Идея прореживания состоит в том, что из сети удаляются параметры, оказывающие малое влияние на ошибку аппроксимации. Таким образом, модель упрощается, а ошибка аппроксимации не возрастает значительно.

Постановка задачи

Задана обучающая выборка $X^l, Y^l$ , где $x = (x^1, ..., x^n)$ ∈ $X;$ $x^i, i >= 1$ - признаковое описание объекта. Значения признаков $x^i$ поступают на вход первому слою сети с весовой матрицей $W_1$ , выходы первого слоя поступают на вход второму с весовой матрицей $W_2$ . Функции активации на обоих слоях - сигмоидальные: $\phi(z) = 1 / (1 + e^{-z})$ .