Обсуждение:Безградиентная оптимизация

Ты — специалист в области машинного обучения, математической оптимизации и редактор энциклопедических статей MachineLearning.ru. Изучи текущую статью «Безградиентная оптимизация» (или наиболее близкие по тематике статьи, посвящённые оптимизации, стохастическим методам и численным методам) на вики и используй их как основу. Не переписывай материалы с нуля, а улучши их: сохрани основные идеи, но переработай структуру, сделай объяснения более понятными, современными и последовательными. Статья должна быть лаконичной (10–15 тыс. символов), но самодостаточной. Целевая аудитория — студенты, начинающие исследователи, инженеры машинного обучения и специалисты по оптимизации, знакомые с базовыми понятиями математического анализа, линейной алгебры и методов машинного обучения. Главная цель статьи — объяснить:

что такое безградиентная оптимизация (Derivative-Free Optimization, DFO; Zero-Order Optimization, ZO) и какие задачи она решает; почему в ряде задач невозможно или нецелесообразно использовать градиентные методы оптимизации; чем отличаются производная-свободная (Derivative-Free) и безградиентная (Zero-Order) оптимизация, в каких случаях эти термины совпадают, а в каких — различаются; какие существуют основные классы безградиентных методов: методы прямого поиска (Direct Search); модельно-ориентированные методы (Model-Based Optimization); стохастические методы; эволюционные алгоритмы; байесовская оптимизация; Zero-Order методы, основанные на оценке градиента; как строятся оценки градиента только по значениям функции (одноточечные и двухточечные оценки, случайные направления, сглаживание функции); как происходит процесс оптимизации без доступа к аналитическому градиенту; какие существуют теоретические гарантии сходимости для различных классов безградиентных методов; в каких задачах машинного обучения применяется безградиентная оптимизация: black-box оптимизация; настройка гиперпараметров; обучение моделей при отсутствии дифференцируемой функции потерь; reinforcement learning; adversarial machine learning; федеративное обучение; оптимизация больших языковых моделей через API; научное машинное обучение и другие современные приложения; преимущества и недостатки безградиентной оптимизации по сравнению с классическими градиентными алгоритмами; современные направления развития области, включая методы уменьшения дисперсии (Variance Reduction), адаптивное сэмплирование, распределённую ZO-оптимизацию и высокоразмерную оптимизацию; связь безградиентной оптимизации с численной оптимизацией, стохастической оптимизацией, эволюционными алгоритмами и методами глобальной оптимизации. Предложи более логичное оглавление, если оно улучшит восприятие материала. Структура должна вести читателя от мотивации использования безградиентных методов к их математическим основам, основным алгоритмам, теоретическим свойствам и практическим применениям. Используй только проверенные сведения из научной литературы. Основывайся на фундаментальных книгах и современных публикациях, включая (но не ограничиваясь):

Conn, Scheinberg, Vicente — Introduction to Derivative-Free Optimization; Larson, Menickelly, Wild — Derivative-Free Optimization Methods; Nesterov & Spokoiny — Random Gradient-Free Minimization of Convex Functions; Spall — Introduction to Stochastic Search and Optimization; Nocedal & Wright — Numerical Optimization; Boyd & Vandenberghe — Convex Optimization; Wang, Liu, Ghadimi, Lan, Fang и другие современные работы по Zero-Order Optimization; актуальные публикации NeurIPS, ICML, ICLR, AISTATS, JMLR, SIAM Journal on Optimization и Mathematical Programming. Не выдумывай факты. Все утверждения должны соответствовать современному научному консенсусу. При описании алгоритмов и теоретических результатов ссылайся на оригинальные публикации. Добавляй ссылки на научные источники и оформи список литературы в конце статьи. Важные термины оформляй как внутренние ссылки энциклопедии. Используй вики-разметку MachineLearning.ru и математические выражения в формате . При описании математической части обязательно используй корректные формулы, например:

постановку задачи оптимизации:

одноточечную оценку градиента:

двухточечную оценку градиента:

сглаженную функцию:

типичное правило обновления параметров: При необходимости приведи сравнительную таблицу основных классов безградиентных методов по следующим характеристикам: необходимость построения модели функции, вычислительная сложность, число обращений к функции, масштабируемость, применимость к задачам высокой размерности, наличие теоретических гарантий и типичные области применения. Перед написанием статьи обязательно ознакомься с текущими материалами MachineLearning.ru по смежным темам (градиентный спуск, стохастическая оптимизация, эволюционные алгоритмы, байесовская оптимизация, методы прямого поиска и численная оптимизация) и используй принятую в энциклопедии терминологию и стиль оформления. Выдай результат в виде файла .txt, полностью готового для публикации на MachineLearning.ru.