Обсуждение:Двойственность (оптимизация)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 2: Строка 2:
{{tip|
{{tip|
<pre>
<pre>
-
Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Метод условного градиента (алгоритм Франка — Вульфа) (оптимизация)».
+
Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Двойственность в оптимизации».
Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.
Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.
Строка 8: Строка 8:
Требования к содержанию:
Требования к содержанию:
-
* Дай формальное определение метода условного градиента и объясни его геометрическую интуицию.
+
* Дай формальные определения прямой и двойственной задач оптимизации и объясни геометрическую и экономическую интуицию двойственности.
-
* Покажи связь с выпуклой оптимизацией, линейным оракулом минимизации, двойственностью, проекционным градиентным спуском и выпуклым анализом.
+
* Покажи связь с выпуклыми функциями, сопряжёнными функциями, преобразованием Лежандра — Фенхеля, функцией Лагранжа, седловыми задачами и выпуклым анализом.
-
* Разбери выбор шага, направления условного градиента и геометрии допустимого множества.
+
* Разбери построение двойственной задачи, выбор множителей Лагранжа и интерпретацию двойственных переменных.
-
* Приведи основные свойства, теоремы и оценки сходимости для гладких, выпуклых и сильно выпуклых целевых функций.
+
* Приведи основные свойства, теоремы и условия слабой и сильной двойственности для выпуклых, линейных и негладких задач оптимизации.
-
* Объясни роль норм, двойственных норм, константы кривизны и сильной выпуклости в оценках сходимости.
+
* Объясни роль условий Слейтера, условий Каруша — Куна — Таккера и ограничительной квалификации в устранении разрыва двойственности.
-
* Рассмотри важные варианты, включая классический алгоритм Франка — Вульфа, away-step Frank–Wolfe, pairwise Frank–Wolfe и fully corrective Frank–Wolfe.
+
* Рассмотри важные частные случаи, включая линейное программирование, квадратичное программирование, задачи на нормы и регуляризованные задачи эмпирического риска.
-
* Сделай акцент на применениях в машинном обучении: разреженное обучение, матричное дополнение, структурированные задачи, обучение на симплексе, оптимизация ядерных норм и обучение вероятностных моделей.
+
* Сделай акцент на применениях в машинном обучении: метод опорных векторов, логистическая регрессия, регуляризация, разреженное обучение, максимальная энтропия, вариационный вывод и распределённая оптимизация.
-
* Сравни метод условного градиента с проекционным градиентным спуском, зеркальным спуском, проксимальными методами и координатным спуском: требования к оракулам, оценки сходимости, разреженность решений, вычислительная сложность и области применения.
+
* Сравни лагранжеву двойственность с двойственностью Фенхеля, двойственностью линейного программирования и седловыми формулировками: предпосылки, геометрия, вычислительная сложность и области применения.
-
* Укажи ограничения алгоритма, типичные ошибки при выборе шага и линейного оракула и случаи, когда метод условного градиента практически предпочтительнее проекционных методов.
+
* Укажи ограничения теории двойственности, типичные ошибки при построении двойственной задачи и случаи, когда решение двойственной задачи практически предпочтительнее решения прямой.
-
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и вариантов алгоритма.
+
* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и алгоритмических вариантов двойственных методов.
* Обязательно напиши про применение в ML.
* Обязательно напиши про применение в ML.
Строка 38: Строка 38:
* Все утверждения об оценках и свойствах сопровождай точными предпосылками.
* Все утверждения об оценках и свойствах сопровождай точными предпосылками.
-
* Не смешивай метод условного градиента, проекционный градиентный спуск, зеркальный спуск и проксимальные методы без явного объяснения различий.
+
* Не смешивай слабую и сильную двойственность, двойственность Лагранжа, двойственность Фенхеля и условия оптимальности без явного объяснения различий.
-
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклая оптимизация]], [[Линейный оракул минимизации]], [[Проекционный градиентный спуск]], [[Метод условного градиента]]. Добавь их побольше.
+
* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклый анализ]], [[Сопряжённая функция]], [[Функция Лагранжа]], [[Условия Каруша — Куна — Таккера]]. Добавь их побольше.
* Для ключевых определений и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.
* Для ключевых определений и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.
Строка 56: Строка 56:
* Сноски оформляй через <ref>Библиографическое описание</ref>.
* Сноски оформляй через <ref>Библиографическое описание</ref>.
-
* Добавь раздел == Примечания == с тегом <references/>. Сделай отдельно Примечания и Литературу (литература - список статей и книг, использованных при написании). Для списка литературы используй шаблоны {{статья}}, {{книга}}, {{cite web}}, как в русскоязычной Википедии, и оформляй список литературы как ненумерованный, через *. Как написано в документации сайта: шаблон для простановки библиографических ссылок на статьи из журналов и периодических сборников в случаях, когда на издание есть ссылка из текста статьи, должен использоваться совместно с тегами <ref></ref> и <references />. Пример использования: {{статья |автор = Бубекина Н.В. |заглавие = Книга и библиотека в нравственном воспитании школьников |ссылка = [http://www.lib.ru](http://www.lib.ru) |издание = Массовая библиотека '93: Теория и практика |тип = Сб |место = М. |год = 1993 |том = 2 |номер = 5 |страницы = 29—38 }}
+
* Добавь раздел == Примечания == с тегом <references/>. Сделай отдельно Литературу и Примечания (литература - список статей и книг, использованных при написании). Для списка литературы используй шаблоны {{статья}}, {{книга}}, {{cite web}}, как в русскоязычной Википедии, и оформляй список литературы как ненумерованный, через *. Как написано в документации сайта: шаблон для простановки библиографических ссылок на статьи из журналов и периодических сборников в случаях, когда на издание есть ссылка из текста статьи, должен использоваться совместно с тегами <ref></ref> и <references />. Пример использования: {{статья |автор = Бубекина Н.В. |заглавие = Книга и библиотека в нравственном воспитании школьников |ссылка = http://www.lib.ru |издание = Массовая библиотека '93: Теория и практика |тип = Сб |место = М. |год = 1993 |том = 2 |номер = 5 |страницы = 29—38 }}
-
* Внизу страницы укажи категории [[Категория:Методы оптимизации]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.
+
* Внизу страницы укажи категории [[Категория:Оптимизация]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.
В начале статьи добавь:
В начале статьи добавь:
-
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 20:00, 15 июля 2026 (MSD). Промпт приводится полностью в [[Обсуждение:Метод условного градиента (алгоритм Франка — Вульфа) (оптимизация)]].}}
+
{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 19:00, 15 июля 2026 (MSD). Промпт приводится полностью в [[Обсуждение:Двойственность (оптимизация)]].}}
{{TOCright}}
{{TOCright}}
Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.
Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.
 +
</pre>
</pre>
}}
}}
Строка 72: Строка 73:
После получения результата были необходимы некоторые правки, а именно починка теха. Промпт 2:
После получения результата были необходимы некоторые правки, а именно починка теха. Промпт 2:
 +
{{tip|
{{tip|
<pre>
<pre>
-
Проблема в рендеринге теха: сейчас не отображается \mathop, \hbox, \substack, \gtrsim, также не поддерживается русский язык \text{} в формулах. Почини это.
+
Почти хорошо. Поправь формулы в техе: замени \varnothing на \emptyset, русский язык в формулах посредством \text{} не поддерживается. Также поменяй местами литературу и примечания. Сделай финальную вычитку.
</pre>
</pre>
}}
}}

Текущая версия

Промпт 1:

Роль: Ты — ведущий исследователь в области машинного обучения и математической оптимизации. Напиши эталонную энциклопедическую статью для профессионального ресурса MachineLearning.ru на тему «Двойственность в оптимизации».

Целевая аудитория: мотивированные студенты, преподаватели, исследователи и практикующие специалисты по AI/ML. Статья должна быть полезна как новичку — определения и основные идеи объясняются понятно и интуитивно, — так и профессионалу: приводятся строгие математические результаты, актуальные научные работы и полезные ссылки.

Требования к содержанию:

* Дай формальные определения прямой и двойственной задач оптимизации и объясни геометрическую и экономическую интуицию двойственности.

* Покажи связь с выпуклыми функциями, сопряжёнными функциями, преобразованием Лежандра — Фенхеля, функцией Лагранжа, седловыми задачами и выпуклым анализом.

* Разбери построение двойственной задачи, выбор множителей Лагранжа и интерпретацию двойственных переменных.

* Приведи основные свойства, теоремы и условия слабой и сильной двойственности для выпуклых, линейных и негладких задач оптимизации.

* Объясни роль условий Слейтера, условий Каруша — Куна — Таккера и ограничительной квалификации в устранении разрыва двойственности.

* Рассмотри важные частные случаи, включая линейное программирование, квадратичное программирование, задачи на нормы и регуляризованные задачи эмпирического риска.

* Сделай акцент на применениях в машинном обучении: метод опорных векторов, логистическая регрессия, регуляризация, разреженное обучение, максимальная энтропия, вариационный вывод и распределённая оптимизация.

* Сравни лагранжеву двойственность с двойственностью Фенхеля, двойственностью линейного программирования и седловыми формулировками: предпосылки, геометрия, вычислительная сложность и области применения.

* Укажи ограничения теории двойственности, типичные ошибки при построении двойственной задачи и случаи, когда решение двойственной задачи практически предпочтительнее решения прямой.

* Используй современные первичные источники и актуальные научные результаты. Чётко отделяй классические результаты от новых обобщений и алгоритмических вариантов двойственных методов.

* Обязательно напиши про применение в ML.

Критерии качества:

* Никакой воды, рекламных формулировок и типичных нейросетевых штампов.

* Стиль академический, строгий и связный, но доступный для первого знакомства с темой.

* Все утверждения об оценках и свойствах сопровождай точными предпосылками.

* Не смешивай слабую и сильную двойственность, двойственность Лагранжа, двойственность Фенхеля и условия оптимальности без явного объяснения различий.

* Профильные термины оформляй как внутренние вики-ссылки, например [[Выпуклый анализ]], [[Сопряжённая функция]], [[Функция Лагранжа]], [[Условия Каруша — Куна — Таккера]]. Добавь их побольше.

* Для ключевых определений и теорем приводи ссылки на оригинальные статьи или авторитетные монографии.

Формат:

* Используй только классическую вики-разметку MachineLearning.ru: заголовки вида == Раздел == и === Подраздел ===, списки через * и #. Markdown запрещён.

* Все математические формулы заключай только в теги <tex>...</tex>. Не используй <math>...</math> и символы $. Учти то, что на сайте используется система MediaWiki, не все формулы из латеха поддерживаются.

* Выключные формулы оформляй так:

  :: <tex>...</tex>

* Сноски оформляй через <ref>Библиографическое описание</ref>.

* Добавь раздел == Примечания == с тегом <references/>. Сделай отдельно Литературу и Примечания (литература - список статей и книг, использованных при написании). Для списка литературы используй шаблоны {{статья}}, {{книга}}, {{cite web}}, как в русскоязычной Википедии, и оформляй список литературы как ненумерованный, через *. Как написано в документации сайта: шаблон для простановки библиографических ссылок на статьи из журналов и периодических сборников в случаях, когда на издание есть ссылка из текста статьи, должен использоваться совместно с тегами <ref></ref> и <references />. Пример использования: {{статья |автор = Бубекина Н.В. |заглавие = Книга и библиотека в нравственном воспитании школьников |ссылка = http://www.lib.ru |издание = Массовая библиотека '93: Теория и практика |тип = Сб |место = М. |год = 1993 |том = 2 |номер = 5 |страницы = 29—38 }}

* Внизу страницы укажи категории [[Категория:Оптимизация]], [[Категория:Машинное обучение]], [[Категория:Энциклопедия анализа данных]] и при необходимости ещё 1–2 релевантные категории.

В начале статьи добавь:

{{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником [[Участник:Aleksei Kovalenko|Aleksei Kovalenko]] 19:00, 15 июля 2026 (MSD). Промпт приводится полностью в [[Обсуждение:Двойственность (оптимизация)]].}} 

{{TOCright}}

Выдай только готовый вики-код статьи в документе .txt. Не добавляй комментарии или пояснения до и после текста статьи.



После получения результата были необходимы некоторые правки, а именно починка теха. Промпт 2:


Почти хорошо. Поправь формулы в техе: замени \varnothing на \emptyset, русский язык в формулах посредством \text{} не поддерживается. Также поменяй местами литературу и примечания. Сделай финальную вычитку.



После второго промпта результат оказался хорошим, далее я занимался собственным вычитыванием статьи и ее правками.

Личные инструменты