Обсуждение:Метод зеркального спуска (оптимизация)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
(1 промежуточная версия не показана)
Строка 2: Строка 2:
{{tip|
{{tip|
<pre>
<pre>
-
Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Метод зеркального спуска в оптимизации и машинном обучении».
+
Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Субградиентные методы (оптимизация)».
Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.
Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.
Строка 8: Строка 8:
Требования к содержанию:
Требования к содержанию:
-
* Дай формальную постановку метода зеркального спуска и объясни его геометрическую интуицию.
+
* Дай формальную постановку субградиентного метода и объясни его геометрическую интуицию.
-
* Покажи связь с градиентным спуском, проекционными и проксимальными методами, дивергенцией Брэгмана и двойственной геометрией.
+
* Покажи связь с градиентным спуском, проекционными и проксимальными методами, субдифференциалом и выпуклым анализом.
-
* Разбери выбор зеркального отображения и соответствующей геометрии пространства.
+
* Разбери выбор субградиента и соответствующего правила шага.
* Приведи алгоритм, псевдокод и основные оценки сходимости для выпуклых, сильно выпуклых и стохастических задач.
* Приведи алгоритм, псевдокод и основные оценки сходимости для выпуклых, сильно выпуклых и стохастических задач.
* Объясни роль норм и двойственных норм в анализе метода.
* Объясни роль норм и двойственных норм в анализе метода.
-
* Рассмотри важные частные случаи, включая евклидов градиентный спуск и экспоненциальное обновление на симплексе.
+
* Рассмотри важные частные случаи, включая евклидов субградиентный спуск и проекционное обновление на выпуклом множестве.
-
* Сделай акцент на применениях в машинном обучении: оптимизация на вероятностном симплексе, онлайн-обучение, обучение линейных моделей, распределённая и стохастическая оптимизация.
+
* Сделай акцент на применениях в машинном обучении: оптимизация негладких функций потерь, регуляризованные задачи, обучение линейных моделей, распределённая и стохастическая оптимизация.
-
* Сравни зеркальный спуск с обычным градиентным спуском, projected gradient descent, proximal gradient и dual averaging: геометрия, ограничения, сложность итерации, требования к памяти и гарантии сходимости.
+
* Сравни субградиентный метод с обычным градиентным спуском, projected subgradient descent, proximal gradient и bundle methods: гладкость, ограничения, сложность итерации, требования к памяти и гарантии сходимости.
-
* Укажи ограничения метода, типичные ошибки при выборе зеркального отображения и случаи, когда зеркальный спуск практически предпочтительнее евклидовых методов.
+
* Укажи ограничения метода, типичные ошибки при выборе субградиента и шага и случаи, когда субградиентный метод практически предпочтительнее гладких методов.
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов метода.
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов метода.
 +
* Обязательно напиши про применение в ML.
Критерии качества:
Критерии качества:
Строка 24: Строка 25:
* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.
* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.
* Все утверждения об оценках сходимости сопровождай точными предпосылками.
* Все утверждения об оценках сходимости сопровождай точными предпосылками.
-
* Не смешивай зеркальный спуск, proximal mirror descent, dual averaging и natural gradient без явного объяснения различий.
+
* Не смешивай субградиентный метод, stochastic subgradient descent, proximal gradient и bundle methods без явного объяснения различий.
-
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Градиентный спуск]], [[Дивергенция Брэгмана]], [[Стохастический градиентный спуск]].
+
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Градиентный спуск]], [[Субдифференциал]], [[Стохастический градиентный спуск]].
* Для ключевых алгоритмов и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.
* Для ключевых алгоритмов и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.
Строка 37: Строка 38:
* Добавь раздел == Литература == с тегом <references/>.
* Добавь раздел == Литература == с тегом <references/>.
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.
 +
 +
В начале статьи добавь:
 +
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 14:00, 15 июля 2026 (MSD)}}
 +
{{TOCright}}
Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.
Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.
-
 
+
Ориентируйся на эталон: md.txt, который я тебе прикрепил.
-
Также добавь это в начале: {{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 20:00, 14 июля 2026 (MSD)}}
+
-
{{TOCright}}
+
</pre>
</pre>
Строка 49: Строка 52:
После получения результата были необходимы некоторые правки. Промпт 2:
После получения результата были необходимы некоторые правки. Промпт 2:
-
 
{{tip|
{{tip|
<pre>
<pre>
-
Некоторые части tex формул сейчас неверно отображаются, имей ввиду что на сайте используется система MediaWiki, используй формулы латеха конкретно под эту систему. Также сделай побольше ссылок на профильные темы. По поводу списка литературы: нужно использовать шаблоны {{статья}}, {{книга}}, {{cite web}} как в русскоязычной википедии и оформлять список литературы как ненумерованный (через *). Как написано в документации сайта: Шаблон для простановки библиографических ссылок на статьи из журналов и периодических сборников. В случаях, когда на издание есть ссылка из текста статьи, должен использоваться совместно с тегами <ref></ref> и <references />, пример использования:
+
Почти хорошо. Мне кажется нужно добавить больше ссылок на профильные термины. Также \varnothing в техе сейчас не рендерится - поправь это, замени например на \emptyset. Раздели литературу на примечания и литературу.
-
{{статья
+
-
|автор = Бубекина Н.В.
+
-
|заглавие = Книга и библиотека в нравственном воспитании школьников
+
-
|ссылка = http://www.lib.ru
+
-
|издание = Массовая библиотека '93: Теория и практика
+
-
|тип = Сб
+
-
|место = М.
+
-
|год = 1993
+
-
|том = 2
+
-
|номер = 5
+
-
|страницы = 29—38
+
-
}}
+
</pre>
</pre>
}}
}}
-
После второго промпта результат оказался хорошим, дальше я занимался собственным вычитыванием статьи и поправлением ее, если было необходимо
+
После второго промпта результат оказался хорошим, дальше я занимался собственным вычитыванием статьи и ее правками.

Текущая версия

Промпт 1:

Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Субградиентные методы (оптимизация)».

Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.

Требования к содержанию:

* Дай формальную постановку субградиентного метода и объясни его геометрическую интуицию.
* Покажи связь с градиентным спуском, проекционными и проксимальными методами, субдифференциалом и выпуклым анализом.
* Разбери выбор субградиента и соответствующего правила шага.
* Приведи алгоритм, псевдокод и основные оценки сходимости для выпуклых, сильно выпуклых и стохастических задач.
* Объясни роль норм и двойственных норм в анализе метода.
* Рассмотри важные частные случаи, включая евклидов субградиентный спуск и проекционное обновление на выпуклом множестве.
* Сделай акцент на применениях в машинном обучении: оптимизация негладких функций потерь, регуляризованные задачи, обучение линейных моделей, распределённая и стохастическая оптимизация.
* Сравни субградиентный метод с обычным градиентным спуском, projected subgradient descent, proximal gradient и bundle methods: гладкость, ограничения, сложность итерации, требования к памяти и гарантии сходимости.
* Укажи ограничения метода, типичные ошибки при выборе субградиента и шага и случаи, когда субградиентный метод практически предпочтительнее гладких методов.
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов метода.
* Обязательно напиши про применение в ML.

Критерии качества:

* Никакой воды, рекламных формулировок и типичных нейросетевых штампов.
* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.
* Все утверждения об оценках сходимости сопровождай точными предпосылками.
* Не смешивай субградиентный метод, stochastic subgradient descent, proximal gradient и bundle methods без явного объяснения различий.
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Градиентный спуск]], [[Субдифференциал]], [[Стохастический градиентный спуск]].
* Для ключевых алгоритмов и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.

Формат:

* Используй только классическую вики-разметку MachineLearning.ru: заголовки вида == Раздел == и === Подраздел ===, списки через * и #. Markdown запрещён.
* Все математические формулы заключай только в теги <tex>...</tex>. Не используй <math>...</math> и символы $.
* Выключные формулы оформляй так:
  :: <tex>...</tex>
* Сноски оформляй через <ref>Библиографическое описание</ref>.
* Добавь раздел == Литература == с тегом <references/>.
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.

В начале статьи добавь:
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 14:00, 15 июля 2026 (MSD)}}
{{TOCright}}

Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.

Ориентируйся на эталон: md.txt, который я тебе прикрепил.



После получения результата были необходимы некоторые правки. Промпт 2:

Почти хорошо. Мне кажется нужно добавить больше ссылок на профильные термины. Также \varnothing в техе сейчас не рендерится - поправь это, замени например на \emptyset. Раздели литературу на примечания и литературу.


После второго промпта результат оказался хорошим, дальше я занимался собственным вычитыванием статьи и ее правками.

Личные инструменты