Обсуждение:Метод зеркального спуска (оптимизация)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 2: Строка 2:
{{tip|
{{tip|
<pre>
<pre>
-
Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Субградиентные методы (оптимизация)».
+
Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Метод зеркального спуска в оптимизации и машинном обучении».
Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.
Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.
Строка 8: Строка 8:
Требования к содержанию:
Требования к содержанию:
-
* Дай формальную постановку субградиентного метода и объясни его геометрическую интуицию.
+
* Дай формальную постановку метода зеркального спуска и объясни его геометрическую интуицию.
-
* Покажи связь с градиентным спуском, проекционными и проксимальными методами, субдифференциалом и выпуклым анализом.
+
* Покажи связь с градиентным спуском, проекционными и проксимальными методами, дивергенцией Брэгмана и двойственной геометрией.
-
* Разбери выбор субградиента и соответствующего правила шага.
+
* Разбери выбор зеркального отображения и соответствующей геометрии пространства.
* Приведи алгоритм, псевдокод и основные оценки сходимости для выпуклых, сильно выпуклых и стохастических задач.
* Приведи алгоритм, псевдокод и основные оценки сходимости для выпуклых, сильно выпуклых и стохастических задач.
* Объясни роль норм и двойственных норм в анализе метода.
* Объясни роль норм и двойственных норм в анализе метода.
-
* Рассмотри важные частные случаи, включая евклидов субградиентный спуск и проекционное обновление на выпуклом множестве.
+
* Рассмотри важные частные случаи, включая евклидов градиентный спуск и экспоненциальное обновление на симплексе.
-
* Сделай акцент на применениях в машинном обучении: оптимизация негладких функций потерь, регуляризованные задачи, обучение линейных моделей, распределённая и стохастическая оптимизация.
+
* Сделай акцент на применениях в машинном обучении: оптимизация на вероятностном симплексе, онлайн-обучение, обучение линейных моделей, распределённая и стохастическая оптимизация.
-
* Сравни субградиентный метод с обычным градиентным спуском, projected subgradient descent, proximal gradient и bundle methods: гладкость, ограничения, сложность итерации, требования к памяти и гарантии сходимости.
+
* Сравни зеркальный спуск с обычным градиентным спуском, projected gradient descent, proximal gradient и dual averaging: геометрия, ограничения, сложность итерации, требования к памяти и гарантии сходимости.
-
* Укажи ограничения метода, типичные ошибки при выборе субградиента и шага и случаи, когда субградиентный метод практически предпочтительнее гладких методов.
+
* Укажи ограничения метода, типичные ошибки при выборе зеркального отображения и случаи, когда зеркальный спуск практически предпочтительнее евклидовых методов.
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов метода.
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов метода.
-
* Обязательно напиши про применение в ML.
 
Критерии качества:
Критерии качества:
Строка 25: Строка 24:
* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.
* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.
* Все утверждения об оценках сходимости сопровождай точными предпосылками.
* Все утверждения об оценках сходимости сопровождай точными предпосылками.
-
* Не смешивай субградиентный метод, stochastic subgradient descent, proximal gradient и bundle methods без явного объяснения различий.
+
* Не смешивай зеркальный спуск, proximal mirror descent, dual averaging и natural gradient без явного объяснения различий.
-
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Градиентный спуск]], [[Субдифференциал]], [[Стохастический градиентный спуск]].
+
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Градиентный спуск]], [[Дивергенция Брэгмана]], [[Стохастический градиентный спуск]].
* Для ключевых алгоритмов и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.
* Для ключевых алгоритмов и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.
Строка 38: Строка 37:
* Добавь раздел == Литература == с тегом <references/>.
* Добавь раздел == Литература == с тегом <references/>.
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.
-
 
-
В начале статьи добавь:
 
-
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 14:00, 15 июля 2026 (MSD)}}
 
-
{{TOCright}}
 
Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.
Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.
-
Ориентируйся на эталон: md.txt, который я тебе прикрепил.
+
 
 +
Также добавь это в начале: {{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 20:00, 14 июля 2026 (MSD)}}
 +
{{TOCright}}
 +
 
</pre>
</pre>
Строка 54: Строка 52:
{{tip|
{{tip|
<pre>
<pre>
-
Почти хорошо. Мне кажется нужно добавить больше ссылок на профильные термины. Также \varnothing в техе сейчас не рендерится - поправь это, замени например на \emptyset. Раздели литературу на примечания и литературу.
+
 
 +
Супер, сделай побольше ссылок на профильные темы. Также по поводу списка литературы: нужно использовать шаблоны {{статья}}, {{книга}}, {{cite web}} как в русскоязычной википедии и оформлять список литературы как ненумерованный (через *). Как пример: Шаблон для простановки библиографических ссылок на статьи из журналов и периодических сборников. В случаях, когда на издание есть ссылка из текста статьи, должен использоваться совместно с тегами <ref></ref> и <references />.
 +
 
 +
Пример использования:
 +
 
 +
{{статья
 +
|автор = Бубекина Н.В.
 +
|заглавие = Книга и библиотека в нравственном воспитании школьников
 +
|ссылка = http://www.lib.ru
 +
|издание = Массовая библиотека '93: Теория и практика
 +
|тип = Сб
 +
|место = М.
 +
|год = 1993
 +
|том = 2
 +
|номер = 5
 +
|страницы = 29—38
 +
}}
 +
 
</pre>
</pre>
}}
}}
-
После второго промпта результат оказался хорошим, дальше я занимался собственным вычитыванием статьи и ее правками.
+
После второго промпта результат оказался хорошим, далее я занимался собственным вычитыванием статьи и ее правками.

Текущая версия

Промпт 1:

Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Метод зеркального спуска в оптимизации и машинном обучении».

Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.

Требования к содержанию:

* Дай формальную постановку метода зеркального спуска и объясни его геометрическую интуицию.
* Покажи связь с градиентным спуском, проекционными и проксимальными методами, дивергенцией Брэгмана и двойственной геометрией.
* Разбери выбор зеркального отображения и соответствующей геометрии пространства.
* Приведи алгоритм, псевдокод и основные оценки сходимости для выпуклых, сильно выпуклых и стохастических задач.
* Объясни роль норм и двойственных норм в анализе метода.
* Рассмотри важные частные случаи, включая евклидов градиентный спуск и экспоненциальное обновление на симплексе.
* Сделай акцент на применениях в машинном обучении: оптимизация на вероятностном симплексе, онлайн-обучение, обучение линейных моделей, распределённая и стохастическая оптимизация.
* Сравни зеркальный спуск с обычным градиентным спуском, projected gradient descent, proximal gradient и dual averaging: геометрия, ограничения, сложность итерации, требования к памяти и гарантии сходимости.
* Укажи ограничения метода, типичные ошибки при выборе зеркального отображения и случаи, когда зеркальный спуск практически предпочтительнее евклидовых методов.
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов метода.

Критерии качества:

* Никакой воды, рекламных формулировок и типичных нейросетевых штампов.
* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.
* Все утверждения об оценках сходимости сопровождай точными предпосылками.
* Не смешивай зеркальный спуск, proximal mirror descent, dual averaging и natural gradient без явного объяснения различий.
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Градиентный спуск]], [[Дивергенция Брэгмана]], [[Стохастический градиентный спуск]].
* Для ключевых алгоритмов и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.

Формат:

* Используй только классическую вики-разметку MachineLearning.ru: заголовки вида == Раздел == и === Подраздел ===, списки через * и #. Markdown запрещён.
* Все математические формулы заключай только в теги <tex>...</tex>. Не используй <math>...</math> и символы $.
* Выключные формулы оформляй так:
  :: <tex>...</tex>
* Сноски оформляй через <ref>Библиографическое описание</ref>.
* Добавь раздел == Литература == с тегом <references/>.
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.

Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.


Также добавь это в начале: {{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 20:00, 14 июля 2026 (MSD)}}
{{TOCright}}




После получения результата были необходимы некоторые правки. Промпт 2:


Супер, сделай побольше ссылок на профильные темы. Также по поводу списка литературы:  нужно использовать шаблоны {{статья}}, {{книга}}, {{cite web}} как в русскоязычной википедии и оформлять список литературы как ненумерованный (через *). Как пример: Шаблон для простановки библиографических ссылок на статьи из журналов и периодических сборников. В случаях, когда на издание есть ссылка из текста статьи, должен использоваться совместно с тегами <ref></ref> и <references />.

Пример использования:

{{статья
|автор    = Бубекина Н.В.
|заглавие = Книга и библиотека в нравственном воспитании школьников
|ссылка   = http://www.lib.ru
|издание  = Массовая библиотека '93: Теория и практика
|тип      = Сб
|место    = М.
|год      = 1993
|том      = 2
|номер    = 5
|страницы = 29—38
}}


После второго промпта результат оказался хорошим, далее я занимался собственным вычитыванием статьи и ее правками.

Личные инструменты