Обсуждение:Батч-нормализация

Целевая аудитория — это студенты и инженеры в области анализа данных и машинного обучения, в том числе начинающие. Статья должна быть полезна как новичку (понятно объясни на интуитивном уровне проблему internal covariate shift — смещения распределения активаций внутри сети по мере обучения, и почему нормализация активаций внутри мини-батча помогает ускорить и стабилизировать обучение), так и профессионалу (приведи точную формулу нормализации по статистикам мини-батча, покажи роль обучаемых параметров масштаба и сдвига gamma и beta, разбери отдельно поведение на этапе обучения и на этапе инференса — использование скользящих средних статистик).

Обязательно свяжи батч-нормализацию с проблемой затухающего и взрывающегося градиента (сошлись на статью про проблему затухающего градиента как на связанное понятие) — объясни, как нормализация активаций помогает удерживать сигнал в области, где производные функций активации не близки к нулю.

Добавь раздел с историей: кто и когда впервые предложил батч-нормализацию (Иоффе и Сегеди, 2015), какое объяснение эффективности метода было предложено изначально (internal covariate shift) и как это объяснение впоследствии подверглось критике и пересмотру (в частности, работы, показавшие, что эффект скорее связан со сглаживанием ландшафта функции потерь, а не с уменьшением covariate shift).

Разбери практические аспекты: как батч-нормализация взаимодействует с размером мини-батча (проблемы при малых батчах), альтернативные виды нормализации для случаев с малым батчем или для последовательностей (layer normalization, group normalization, instance normalization) с кратким указанием на отличия.

Не выдумывай факты. Ищи надёжные источники в научной литературе. В конце собери список научной литературы. Всегда проверяй корректность ссылок.

Важные понятия оформляй как внутренние ссылки, желательно с англоязычным термином в скобках, например Проблема затухающего градиента (vanishing gradient problem).

Используй форматирование вики-разметки: формулы через (не через <math>...</math>), все элементы в разделах "См. также" и "Литература" — как маркированный список через * в начале строки. Добавь в конец раздел "Примечания" с шаблоном и уместные категории.