Прореживание двухслойной нейронной сети (пример)

Материал из MachineLearning.

(Различия между версиями)

Mikethehuman (Обсуждение | вклад)
(Новая: '''Прореживание двухслойной нейронной сети '''(optimal brain damage) - метод упрощения структуры нейронной сети. ...)
К следующему изменению →

Версия 08:05, 14 апреля 2010

Прореживание двухслойной нейронной сети (optimal brain damage) - метод упрощения структуры нейронной сети. Идея прореживания состоит в том, что из сети удаляются параметры, оказывающие малое влияние на ошибку аппроксимации. Таким образом, модель упрощается, а ошибка аппроксимации не возрастает значительно.

Постановка задачи

Задана обучающая выборка $X^l, Y^l$ , где $x = (x^1, ..., x^n)$ ∈ $X;$ $x^i, i >= 1$ - признаковое описание объекта. Значения признаков $x^i$ поступают на вход первому слою сети с весовой матрицей $W_1$ , выходы первого слоя поступают на вход второму с весовой матрицей $W_2$ . Функции активации на обоих слоях - сигмоидальные: $\phi(z) = 1 / (1 + e^{-z})$ .