Обсуждение:Проблема взрыва градиентов

Материал из MachineLearning.

История создания статьи (итеративный промптинг):

Промпт 1:

«Ты профессор и специалист по машинному обучению. Напиши статью "Проблема взрыва градиентов" для вики-энциклопедии MachineLearning.ru.

Начни с простого определения. Упомяни, что это одна из классических проблем (вместе с затуханием градиентов), но не пиши, что она была "самой главной исторической преградой". Дай интуитивное понимание через аналогию (например, испорченный телефон). Объясни, что при обратном распространении ошибки перемножение локальных градиентов > 1 приводит к экспоненциальному росту. Опиши симптомы проблемы: скачки лосса, появление значений NaN и Inf, переполнение типов данных. Пиши академично.»

Промпт 2:

«Теперь углубим статью. Добавь раздел с математическим описанием для рекуррентных нейросетей (RNN). Опиши, как при обратном распространении сквозь время (BPTT) возникает произведение матриц Якоби, и как спектральная норма весовой матрицы больше 1 приводит к взрыву.

Далее опиши два инженерных решения: 1. Усечение градиентов (Gradient Clipping). Опиши логику масштабирования вектора при превышении порога нормой. 2. Инициализация весов (He, Xavier) и ортогональная инициализация для RNN.»

Промпт 3:

«Добавь раздел "Архитектурные инновации". Аккуратно опиши, что остаточные связи (Residual Connections) создают короткие пути для градиентов (а не отменяют умножение на веса). Упомяни Layer Normalization наряду с Batch Normalization, а также вентили в LSTM и GRU. Обязательно добавь абзац о том, почему в современной архитектуре Трансформер эта проблема стоит не так остро.

Оформи текст в строгую вики-разметку. Математические формулы пиши обычным текстом, используя HTML-теги для подстрочных индексов (sub и sup) и юникод-символы, без использования LaTeX (так как движок ресурса его не поддерживает).

Сделай внутренние ссылки на термины: Нейросеть, Метод обратного распространения ошибки, Машинное обучение, Градиентный спуск, BPTT, LSTM, GRU, Batch Normalization, ResNet.

Список литературы оформи как ненумерованный список (через *). Обязательно используй шаблоны {{{заглавие}}}. и {{{заглавие}}}.. Приведи фундаментальную статью Pascanu et al. (2013), статью Glorot & Bengio (2010), и книгу "Deep Learning" (Goodfellow et al., 2016). Добавь категории.»