Обсуждение:Условия Каруша–Куна–Таккера

Выступи в роли Senior ML Engineer и академического исследователя. Твоя задача — написать с нуля фундаментальную, глубокую и технически точную энциклопедическую статью для портала MachineLearning.ru на тему «Условия Каруша–Куна–Таккера».

Целевая аудитория: студенты профильных вузов, математики и практикующие ML-инженеры. Материал должен плавно вести читателя от базовой интуиции (классический метод множителей Лагранжа) к продвинутой математике (ограничения-неравенства, регулярность ограничений, седловые точки, сильная и слабая двойственность), практическому применению в машинном обучении (метод опорных векторов (SVM), регуляризованные задачи) и численной проверке условий в коде.

ОБЯЗАТЕЛЬНАЯ СТРУКТУРА СТАТЬИ:
В самом начале исходного кода (до первого абзаца) строго выведи следующие три строки:
{{well|Статья написана с использованием LLM ''Gemini 3.1 Pro'' и проверена участником ~~~~
Промпт приводится полностью в [[Обсуждение:Условия Каруша–Куна–Таккера]]}}
{{TOCright}}

== Введение ==

Вики-лид: Четкое определение концепции (обязательно в единственном числе, именительном падеже), приоритет русскоязычному термину, перевод на английский язык (Karush–Kuhn–Tucker conditions, KKT conditions), суть решаемой проблемы (необходимые и достаточные условия первого порядка для оптимальности решения в задачах нелинейного программирования при наличии ограничений как в виде равенств, так и в виде неравенств).

== Мотивировка и историческая справка ==
Предмет раздела: Предпосылки к созданию метода. Ограниченность классического метода Лагранжа при работе с односторонними ограничениями (неравенствами). Упомяни исторически значимые работы и авторов: неопубликованную магистерскую работу Уильяма Каруша (William Karush, 1939) и независимую классическую работу Гарольда Куна и Альберта Таккера (Harold W. Kuhn, Albert W. Tucker, 1951). Объясни исторический контекст признания этих условий.

== Математический аппарат и Теория ==
Предмет раздела: Детальный разбор математического фундамента. Распиши все ключевые формулы:
1. Постановка общей задачи математического программирования с минимизацией целевой функции при ограничениях-равенствах <tex>h_i(x) = 0</tex> и ограничениях-неравенствах <tex>g_j(x) \le 0</tex>.
2. Определение обобщённой функции Лагранжа (Лагранжиана).
3. Четыре фундаментальные группы условий ККТ первого порядка:
   - Стационарность (градиент Лагранжиана по прямым переменным равен нулю).
   - Допустимость по прямым переменным (primal feasibility).
   - Допустимость по двойственным переменным (dual feasibility, неотрицательность множителей Лагранжа для ограничений-неравенств).
   - Условие дополняющей нежёсткости (complementary slackness).
4. Условия регулярности ограничений (constraint qualifications), включая условие Слейтера (Slater's condition), необходимые для того, чтобы условия ККТ являлись необходимыми условиями локального экстремума.
5. Достаточность условий ККТ для глобальной оптимальности в случае выпуклой оптимизации.
6. Геометрическая интерпретация условий через конусы градиентов активных ограничений.

== Применение в машинном обучении ==
Предмет раздела: Роль условий ККТ в современных алгоритмах ML.
1. Метод опорных векторов ([[Метод опорных векторов|SVM]]): подробный вывод двойственной задачи (dual problem), интерпретация опорных векторов через призму условия дополняющей нежёсткости (почему множители Лагранжа равны нулю для точек вне разделяющей полосы).
2. Понятие слабой и сильной двойственности (weak and strong duality), зазор двойственности (duality gap) и его практическое значение для критериев остановки оптимизационных алгоритмов.

== Практика оптимизации на Python ==
Предмет раздела: Программная реализация численного решения задачи условной оптимизации и ручная валидация выполнения условий ККТ. Приведи чистый, понятный и эффективный код на Python с использованием библиотек scipy.optimize (метод SLSQP) или cvxpy. Покажи, как извлечь двойственные переменные (множители Лагранжа) после сходимости алгоритма и программно проверить выполнение всех четырёх условий ККТ (с учётом машинной точности <tex>\varepsilon</tex>). Избегай лишних абстракций, покажи суть математических проверок.

== Свойства алгоритмов и рекомендации ==
Предмет раздела: Нюансы численного поиска седловых точек Лагранжиана. Проблемы, возникающие при нарушении регулярности ограничений. Вычислительная сложность перехода к двойственной задаче при больших объёмах данных (например, в SVM) и пути её обхода (алгоритм последовательной минимальной оптимизации, [[SMO]]). Типичные ошибки ML-инженеров при некорректном задании невыпуклых ограничений.

== Современные подходы и модификации ==
Предмет раздела: Разбор применения принципов ККТ на переднем крае науки. Использование условной оптимизации в обучении с подкреплением (Constrained RL, TRPO), регуляризации нейронных сетей, оптимизации GAN. Современные крупномасштабные солверы, использующие методы внутренней точки (interior-point methods) и метод расщепления переменных (ADMM), способные обрабатывать миллионы параметров.

== См. также ==
Предмет раздела: Маркированный список внутренних ссылок на смежные алгоритмы и понятия:
* [[Метод множителей Лагранжа]]
* [[Метод опорных векторов]]
* [[Выпуклая оптимизация]]
* [[Двойственная задача]]
* [[Градиентный спуск]]

== Примечания ==
Предмет раздела: Выведи только один тег <references />.

== Литература ==
Предмет раздела: Список из 3-5 ключевых источников, оформленный строго по шаблонам. Включи классический учебник Стивена Бойда (Stephen Boyd "Convex Optimization"), а также оригинальные исторические статьи Куна и Таккера.

ЖЕСТКИЕ ТРЕБОВАНИЯ К ФОРМАТИРОВАНИЮ (MediaWiki) — ИСПОЛНЯТЬ НЕУКОСНИТЕЛЬНО:

СТИЛЬ И ЗАГОЛОВКИ: Статья должна быть исчерпывающей. Сохраняй строгий, академичный энциклопедический стиль. Обязательно используй букву «ё». Заголовки разделов оформляй через двойные равно (== Заголовок ==).

ВНУТРЕННИЕ ССЫЛКИ (ВИКИФИКАЦИЯ): Активно используй перекрестные ссылки на другие статьи портала. При первом упоминании ключевых ML-терминов, алгоритмов или математических понятий обязательно оборачивай их в двойные квадратные скобки: [[Термин]] или [[Термин|текст ссылки]] (например, [[Метод опорных векторов|методе опорных векторов]] или [[Функция потерь|функцией потерь]]).

МАТЕМАТИКА И LATEX (БЕЗ MARKDOWN):
Движок сайта категорически не поддерживает Markdown (знаки доллара). Их использование ЗАПРЕЩЕНО.
АБСОЛЮТНО ВСЕ переменные, индексы и формулы в тексте должны быть внутри HTML-подобных тегов <tex>...</tex>.
НЕПРАВИЛЬНО: центр \mathbf{c}_i и функция f(x).
ПРАВИЛЬНО: центр <tex>\mathbf{c}_i</tex> и функция <tex>f(x)</tex>.
Выключные (отдельные) формулы начинай с двойного двоеточия: ::<tex> \sum... </tex>

ОФОРМЛЕНИЕ КОДА (КРИТИЧЕСКИ ВАЖНО):
Движок сайта ломается от маркдауна. КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО использовать символ обратного апострофа (включая гравис) где-либо в тексте ответа. Вообще забудь про этот символ.
Весь код от первой до последней строчки должен быть строго монолитным и находиться внутри HTML-подобных тегов.
Используй ровно один такой блок для всей реализации:
<source lang="python">
import numpy as np
# твой код с отступами
</source>
ЗАПРЕЩЕНО разрывать блок <source> обычным текстом. Все пояснения пиши либо до блока, либо внутри в виде комментариев Python.

СНОСКИ И ЦИТИРОВАНИЕ (БЕЗ СВАЛКИ В ТЕКСТЕ):
В самом тексте статьи используй ТОЛЬКО короткие сноски: <ref>Kuhn H. W., Tucker A. W., 1951</ref>
КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО вставлять шаблоны литературы внутрь текста статьи. Эти шаблоны должны находиться ИСКЛЮЧИТЕЛЬНО в разделе «Литература».

ШАБЛОНЫ ЛИТЕРАТУРЫ: Полные библиографические описания помещай ТОЛЬКО в раздел «Литература» в самом конце. Строго используй встроенные шаблоны:
Для статей:
{{статья | автор = Фамилия И. О. | заглавие = Название | издание = Журнал | год = 2020 | страницы = 10-20 }}
Для книг:
{{книга | автор = Фамилия И. О. | заглавие = Название | место = Город | издательство = Издат | год = 2020 }}

КАТЕГОРИИ: В самом конце статьи обязательно добавь:
[[Категория:Машинное обучение]]
[[Категория:Методы оптимизации]]
[[Категория:Выпуклый анализ]]
Выведи только готовый исходный код разметки