Обсуждение:Методы уменьшения дисперсии (Variance Reduction) в Zero-Order-оптимизации

Изучи текущие статьи и материалы вики, посвящённые **оптимизации, стохастическим методам, безградиентной (Zero-Order, ZO) оптимизации и оцениванию градиента**, и используй их как основу для подготовки статьи **«Методы уменьшения дисперсии (Variance Reduction) в ZO-оптимизации»**. Не переписывай существующие материалы с нуля, а переработай и дополни их: сохрани терминологию и стиль энциклопедии, но сделай структуру статьи более логичной, объяснения — более понятными, современными и последовательными.

Статья должна быть лаконичной (10–15 тыс. символов), но самодостаточной. Целевая аудитория — студенты магистратуры, аспиранты, исследователи и инженеры машинного обучения, знакомые с основами оптимизации, вероятности и нейронных сетей.

Главная цель статьи — объяснить:

• что такое безградиентная (Zero-Order, ZO) оптимизация и в каких задачах она применяется;
• почему при оценивании градиента по значениям функции возникает высокая дисперсия и как она влияет на скорость и устойчивость сходимости алгоритмов;
• что понимается под **Variance Reduction** и почему методы уменьшения дисперсии являются ключевым направлением развития современной ZO-оптимизации;
• как строятся стохастические оценки градиента в ZO-методах (одноточечные и двухточечные оценки, случайные направления, сглаживание функции);
• какие основные источники дисперсии присутствуют в ZO-оценках градиента;
• какие методы уменьшения дисперсии используются в современной литературе, включая:

 * antithetic sampling;
 * common random numbers;
 * control variates;
 * mini-batching;
 * averaging;
 * orthogonal directions;
 * importance sampling;
 * SVRG/SARAH/SPIDER-подобные подходы для ZO-оптимизации;
 * другие современные методы, если они получили широкое распространение;

• как каждый метод уменьшает дисперсию оценки и какие вычислительные компромиссы при этом возникают;
• какие существуют теоретические гарантии (несмещённость оценки, уменьшение дисперсии, оценки скорости сходимости);
• как методы уменьшения дисперсии применяются в задачах обучения нейронных сетей, black-box оптимизации, adversarial attack, reinforcement learning, гиперпараметрической оптимизации и других приложениях;
• преимущества, ограничения и открытые направления исследований в области Variance Reduction для ZO-оптимизации;
• связь методов уменьшения дисперсии с градиентными алгоритмами оптимизации и классическими методами стохастической оптимизации.

Предложи более логичное оглавление, если оно улучшит восприятие материала. Структура должна вести читателя от мотивации использования ZO-оптимизации к причинам появления высокой дисперсии, затем к методам её уменьшения, теоретическим результатам и практическим применениям.

Используй только проверенные сведения из научной литературы. Основывайся на фундаментальных книгах и современных публикациях, включая (но не ограничиваясь):

• Nesterov & Spokoiny — *Random Gradient-Free Minimization of Convex Functions*;
• Duchi, Jordan, Wainwright и соавторы по стохастической оптимизации;
• Spall — *Introduction to Stochastic Search and Optimization*;
• Conn, Scheinberg, Vicente — *Introduction to Derivative-Free Optimization*;
• Larson, Menickelly, Wild — *Derivative-Free Optimization Methods*;
• Ghadimi & Lan;
• Wang, Liu, Fang, Liu и другие современные работы по Zero-Order Optimization и Variance Reduction;
• актуальные статьи NeurIPS, ICML, ICLR, AISTATS, JMLR и SIAM Journal on Optimization.

Не выдумывай факты. Все утверждения должны соответствовать современному научному консенсусу. При описании алгоритмов и теоретических результатов ссылайся на оригинальные публикации. Добавляй ссылки на научные источники и оформи список литературы в конце статьи.

Важные термины оформляй как внутренние ссылки энциклопедии. Используй вики-разметку MachineLearning.ru и математические выражения в формате ``.

При описании математической части обязательно используй корректные формулы, например:

• задачу оптимизации:

``

• сглаженную функцию:

``

• двухточечную оценку градиента:

``

• одноточечную оценку градиента:

``

• определение дисперсии оценки:

``

При необходимости приведи качественное сравнение различных методов уменьшения дисперсии по следующим характеристикам: вычислительная стоимость, снижение дисперсии, влияние на скорость сходимости, требования к памяти, область применения и теоретические гарантии.

Выдай результат в виде файла **.txt**, полностью готового для публикации на MachineLearning.ru раздели ответ на три части части и выдай первую