Обратное распространение ошибки

Материал из MachineLearning.

Версия от 13:25, 13 июля 2026; Stepan Suvorov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM DeepSeek-V4 Preview и проверена участником @goodbye3215 17:25, 13 июля 2026 (MSD)

Обратное распространение ошибки (англ. backpropagation, backprop) — алгоритм обучения нейронных сетей, основанный на вычислении градиента функции потерь по параметрам сети с использованием цепного правила дифференцирования. Алгоритм позволяет эффективно корректировать веса связей в многослойных архитектурах и является основным методом обучения в глубоком обучении.

Хотя идея обратного распространения ошибки была известна в различных формах с 1960-х годов, её широкое признание и практическое применение началось с работы Румельхарта, Хинтона и Уильямса (1986), которые показали, что алгоритм позволяет обучать многослойные сети, решая проблему, долгое время считавшуюся непреодолимой.

Содержание

1 Постановка задачи
2 Исторический контекст
3 Математический вывод алгоритма
4 Вычислительная сложность
5 Связь с автоматическим дифференцированием
6 Модификации и улучшения
7 Современные вызовы и ограничения
8 Применения
9 См. также
10 Литература

Постановка задачи

Пусть задана Нейронная сеть с параметрами $\theta$ (весами и смещениями), которая реализует функцию $f(x, \theta)$ . Для обучения сети на множестве примеров $\{(x_i, y_i)\}_{i=1}^N$ требуется минимизировать эмпирический риск:

$L(\theta) = \frac{1}{N} \sum_{i=1}^N \ell(f(x_i, \theta), y_i)$

где $\ell$ — функция потерь (например, среднеквадратичная ошибка или Кросс-энтропия).

Для минимизации $L(\theta)$ применяются методы градиентного спуска, требующие вычисления градиента $\nabla_\theta L$ . Прямое вычисление градиента для каждой связи требует $O(W^2)$ операций, где $W$ — число параметров, что непрактично для больших сетей. Алгоритм обратного распространения ошибки позволяет вычислить все компоненты градиента за $O(W)$ операций.

Исторический контекст

1960-е годы: Метод обратного распространения ошибки был независимо предложен в различных формах. В 1962 году Генри Келли в работах по теории управления применил метод для оптимизации траекторий. В 1965 году Артур Брайсон и Ю-Чи Хо описали аналогичную технику для обучения многослойных сетей.
1970 год: Сеппо Линнайнмаа в своей магистерской диссертации формализовал алгоритм обратного распространения для автоматического дифференцирования.
1974 год: Пол Вербос в диссертации описал обратное распространение как метод обучения нейросетей, но работа осталась малоизвестной.
1982 год: Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс переоткрыли алгоритм и в 1986 году опубликовали статью, сделавшую метод широко известным в сообществе.
1988–1989 годы: Алгоритм был усовершенствован — введены методы ускорения сходимости (импульс, стохастический градиентный спуск), показана возможность обучения глубоких сетей, что стимулировало развитие современных подходов.

Математический вывод алгоритма

Рассмотрим сеть с $L$ слоями. Для каждого слоя $l$ введём:

$z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)}$ — линейное преобразование (вход слоя до функции активации);
$a^{(l)} = f^{(l)}(z^{(l)})$ — выход слоя после функции активации (для первого слоя $a^{(0)} = x$ ).

Пусть задана функция потерь $L$ . Алгоритм обратного распространения состоит из двух проходов по сети:

Прямой проход (forward pass)

На этом этапе входной сигнал последовательно проходит через все слои сети, вычисляя $z^{(l)}$ и $a^{(l)}$ для каждого слоя. Выход сети на последнем слое — $a^{(L)}$ — сравнивается с целевым значением $y$ с помощью функции потерь $\ell(a^{(L)}, y)$ . Значения всех промежуточных активаций сохраняются для использования на обратном проходе.

Обратный проход (backward pass)

На этом этапе вычисляются частные производные функции потерь по всем параметрам. Для последнего слоя определяется ошибка (дельта):

$\delta^{(L)} = \nabla_{a^{(L)}} \ell \odot f'^{(L)}(z^{(L)})$

где $\odot$ — поэлементное умножение, а $f'^{(L)}$ — производная функции активации.

Для каждого предыдущего слоя $l = L-1, \dots, 1$ ошибка вычисляется как:

$\delta^{(l)} = \left((W^{(l+1)})^T \delta^{(l+1)}\right) \odot f'^{(l)}(z^{(l)})$

Градиенты по параметрам слоя $l$ вычисляются по формулам:

$\frac{\partial \ell}{\partial W^{(l)}} = \delta^{(l)} (a^{(l-1)})^T$

$\frac{\partial \ell}{\partial b^{(l)}} = \delta^{(l)}$

Обновление параметров

Найденные градиенты используются для обновления параметров с помощью правила градиентного спуска:

$W^{(l)} \leftarrow W^{(l)} - \eta \frac{\partial \ell}{\partial W^{(l)}}$

$b^{(l)} \leftarrow b^{(l)} - \eta \frac{\partial \ell}{\partial b^{(l)}}$

где $\eta$ — скорость обучения (learning rate).

Вычислительная сложность

Алгоритм обратного распространения имеет сложность $O(W)$ , где $W$ — число обучаемых параметров. Каждый параметр требует одного умножения для прямого прохода (вычисления активации) и одного для обратного прохода (вычисления градиента). Благодаря такой эффективности алгоритм применим к сетям с сотнями миллионов и даже триллионами параметров.

Связь с автоматическим дифференцированием

Современные фреймворки (PyTorch, TensorFlow, JAX) реализуют обратное распространение через Автоматическое дифференцирование (autodiff), которое строит вычислительный граф и использует режим обратного накопления для вычисления градиентов. Этот подход обобщает классический алгоритм и позволяет дифференцировать произвольные сложные функции, включая условные операторы и циклы.

Модификации и улучшения

Стохастический градиентный спуск — обновление весов по одному или нескольким случайным примерам вместо всей выборки, что ускоряет сходимость.
Импульс (Momentum) — добавление инерции для ускорения сходимости и преодоления локальных минимумов.
Adam — адаптивный метод оптимизации, сочетающий импульс и масштабирование градиентов.
Пакетная нормализация — нормализация промежуточных значений, стабилизирующая обучение глубоких сетей.
Механизм внимания — расширение алгоритма для обработки последовательностей, используемое в трансформерах.

Современные вызовы и ограничения

Затухающие градиенты — проблема, при которой градиенты становятся чрезвычайно малыми в глубоких сетях, особенно при использовании сигмоидальных или гиперболических функций активации. Решения включают использование функции активации ReLU, остаточных связей, инициализацию весов.
Взрывные градиенты — обратная ситуация, когда градиенты становятся слишком большими, нарушая сходимость. Решается методами клиппинга градиентов.
Локальные минимумы и седловые точки — функция потерь в глубоких сетях обладает сложным ландшафтом; современные методы (Adam, квазиньютоновские подходы) помогают находить хорошие решения.
Вычислительные затраты — обучение современных сетей требует ресурсов, что ограничивает доступность для исследователей и разработчиков.
Распределённое обучение — параллельные версии алгоритма (Data parallelism, Model parallelism) позволяют масштабировать обучение на кластеры.

Применения

Обратное распространение ошибки используется во всех областях, где применяются нейронные сети, включая:

Компьютерное зрение — классификация, детекция, сегментация изображений;
Обработка естественного языка — машинный перевод, генерация текста, диалоговые системы;
Генеративные модели — создание изображений, музыки, видео;
Робототехника — обучение управлению, планирование движений;
Медицинская диагностика — анализ снимков, прогнозирование заболеваний;
Автономные системы — управление беспилотными автомобилями, дронами.

См. также

Литература

Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature. — 1986. — Т. 323. — С. 533–536.

Werbos P. J. Backpropagation through time: what it does and how to do it // Proceedings of the IEEE. — 1990. — Т. 78. — № 10. — С. 1550–1560.

Rumelhart D. E., Hinton G. E., Williams R. J. Learning internal representations by error propagation // Parallel Distributed Processing: Explorations in the Microstructure of Cognition. — 1986. — Т. 1. — С. 318–362.

Bryson A. E., Ho Y. C. Applied Optimal Control // Blaisdell Publishing. — 1969.

LeCun Y., Bottou L., Orr G. B., Müller K. R. Efficient BackProp // Neural Networks: Tricks of the Trade. — 1998. — С. 9–50.

Kingma D. P., Ba J. L. Adam: A Method for Stochastic Optimization // ICLR. — 2015.

Goodfellow I., Bengio Y., Courville A. Deep Learning // MIT Press: книга. — 2016.

He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // CVPR. — 2016.

Bottou L. Large-Scale Machine Learning with Stochastic Gradient Descent

Vaswani A. et al. Attention Is All You Need // NeurIPS. — 2017. — Т. 30.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8»

Категории: Обучение нейронных сетей | Алгоритмы оптимизации | Глубокое обучение