Обсуждение:Метод инерции Поляка

Целевая аудитория: студенты профильных вузов (направление "Математические основы ИИ") и практикующие ML-инженеры. Материал должен вести читателя от интуитивного физического понимания инерции к строгой математике метода Поляка, его сравнению с классическим SGD, а также к его автоматическому расширению — ускоренному градиенту Нестерова (NAG) и реализации в коде.

ОБЯЗАТЕЛЬНАЯ СТРУКТУРА СТАТЬИ И ТРЕБОВАНИЯ К ОФОРМЛЕНИЮ:

В самом начале исходного кода строго выведи три строки (БЕЗ использования обратных апострофов и маркдауна): {{well|Статья написана с использованием LLM '''Gemini 3.1 Pro Preview''' и проверена участником ~~~~}} Промпт приводится полностью в Обсуждение:Метод инерции Поляка

== Введение == Дай чёткое определение концепции метода накопления инерции (Momentum), предложенного Б. Т. Поляком в 1964 году.

Сделай подробную, очень наглядную физическую аналогию с тяжелым шариком (методом «тяжёлого шарика» Поляка), катящимся по холмистому ландшафту в точку минимума. Оформи это сравнение в виде понятного структурированного списка, где сопоставь:

1. Положение шарика на холме — это текущий вектор весов модели. 2. Высота холма (рельеф ландшафта) — это значение функции потерь (эмпирического риска). 3. Сила тяжести, толкающая шарик вниз — это антиградиент (направление наискорейшего спуска). 4. Масса шарика — это инерция (накапливаемая скорость). В обычном градиентном спуске шарик невесомый (пушинка) и останавливается мгновенно, как только пропадает сила. В методе Поляка шарик тяжёлый и катится дальше по инерции. 5. Трение среды (сопротивление воздуха или вязкость жидкости) — это коэффициент затухания скорости \gamma, который не даёт шарику бесконечно проскакивать минимум и плавно тормозит его на дне.

== Математический аппарат и свойства == Распиши формулы шага метода инерции Поляка, используя обозначения из слайда 8 Лекции 2 К.В. Воронцова:

1. Формулу обновления вектора скорости: v = \gamma v + (1 - \gamma) \nabla \mathcal{L}(w, x_i) 2. Формулу обновления весов модели: w = w - h v 3. Объясни смысл параметров: h (шаг / темп обучения) и \gamma (коэффициент инерции). Объясни, почему это эквивалентно усреднению градиента по последним примерно 1 / (1 - \gamma) итерациям.

== Борьба с препятствиями оптимизации == Подробно опиши, как метод инерции помогает преодолевать проблемы классического градиентного спуска:

• Проблема "оврагов" (когда градиент колеблется между крутыми склонами, почти не двигаясь к минимуму по дну оврага). Объясни, как инерция гасит поперечные колебания и ускоряет движение вдоль дна.
• Проблема локальных экстремумов и седловых точек.

== Развитие метода: Ускоренный градиент Нестерова (NAG) == Опиши метод NAG (Ю. Е. Нестеров, 1983 г.) как эволюцию метода Поляка. Объясни разницу: метод Нестерова вычисляет градиент "заглядывая вперёд" (в точке w - h \gamma v). Приведи формулы NAG: 1. v = \gamma v + (1 - \gamma) \nabla \mathcal{L}(w - h \gamma v, x_i) 2. w = w - h v

== Практическая реализация на Python == Приведи чистый, лаконичный и понятный класс или функцию на Python (с использованием NumPy) для оптимизации методом инерции Поляка. КРИТИЧЕСКИ ВАЖНО: Весь код от первой до последней строчки должен находиться строго внутри ОДНОГО монолитного блока:

== См. также == Добавь ссылки на: Стохастический градиентный спуск, Минимизация эмпирического риска.

== Литература == Оформи список литературы строго по шаблонам {{{заглавие}}}.. Обязательно сошлись на фундаментальную работу Поляка 1964 г. и Нестерова 1983 г. (данные есть на слайде 8 Лекции 2).

КРИТИЧЕСКИ ВАЖНЫЕ ПРАВИЛА ФОРМАТИРОВАНИЯ (MediaWiki):

• Движок сайта КАТЕГОРИЧЕСКИ не поддерживает маркдаун (знаки доллара $). Их использование ЗАПРЕЩЕНО.
• Абсолютно все переменные, индексы и формулы в тексте должны быть строго внутри HTML-подобных тегов <tex>...</tex> (например: w_t, \gamma, \nabla \mathcal{L}).
• Выключные (отдельные) формулы начинай с двойного двоеточия: ::...
• Везде используй букву "ё".

Пожалуйста, перепиши статью заново, исправив ТОЛЬКО следующие технические ошибки оформления (весь текст, формулировки, примеры и физические аналогии оставь абсолютно нетронутыми!):

1. Исправь списки (убери синие рамки): Движок MediaWiki превращает списки в уродливые синие рамки кода, если перед строкой стоит хотя бы один пробел. Категорически запрещено ставить пробелы перед звёздочками или дефисами. Начни все пункты списков (в физической аналогии и расшифровке параметров) строго с начала строки с символа "*" без единого пробела перед ним. 2. Перенеси оглавление налево: Удали тег {{TOCright}} из самого начала кода статьи. Оглавление должно встать на свое стандартное место слева перед текстом. 3. Исправь формулы и переменные в тексте: Ты пропустила много одиночных латинских и греческих переменных (таких как w, v, h, \gamma, \nabla \mathcal{L}, x_i, t) внутри предложений. Найди абсолютно каждую математическую переменную, индекс и формулу в тексте и аккуратно оберни их в теги .... Например: w, \gamma, v, x_i. 4. Замени символ ":=" во всех формулах на стандартное равенство "=". Движок сайта выдает ошибку [?][?] при попытке отрендерить этот символ. Напиши формулы через обычный знак равенства. Например: v = \gamma v + (1 - \gamma)... 5. Замени все маркдаун-выделения (двойные звёздочки ** и обратные апострофы `) на стандартную разметку MediaWiki. Для жирного шрифта используй тройные апострофы текст.