Обсуждение:Дивергенция Йенсена — Шеннона
Материал из MachineLearning.
За базу был взят доработанный шаблон из Обсуждение:Метод радиальных базисных функций
| ✔ | Выступи в роли Senior ML Engineer и академического исследователя. Твоя задача — написать с нуля фундаментальную, глубокую и технически точную энциклопедическую статью для портала MachineLearning.ru на тему «[УКАЖИ ТЕМУ, например: Семантическая сегментация / Адаптивные оптимизаторы / Обучение с подкреплением]».
Целевая аудитория: студенты профильных вузов и практикующие ML-инженеры. Материал должен плавно вести читателя от базовой интуиции к продвинутой математике, современным пайплайнам обучения и реализации в коде.
ОБЯЗАТЕЛЬНАЯ СТРУКТУРА СТАТЬИ:
В самом начале исходного кода (до первого абзаца) строго выведи следующие три строки:
{{well|Статья написана с использованием LLM ''Gemini 3.1 Pro'' и проверена участником ~~~~
Промпт приводится полностью в [[Обсуждение:УКАЖИ ТЕМУ]]}}
{{TOCright}}
== Введение ==
Вики-лид: Четкое определение концепции (обязательно в единственном числе, именительном падеже), приоритет русскоязычному термину, перевод на английский язык, суть решаемой проблемы.
== Мотивировка и историческая справка ==
2. Предмет раздела: Предпосылки к созданию метода. Упомяни исторически значимые работы и авторов.
== Математический аппарат и Архитектура ==
3. Предмет раздела: Детальный разбор. Распиши все ключевые формулы (функции потерь, метрики, алгоритмы).
== Практика на [ЛЮБЫЕ ПОДХОДЯЩИЕ ФРЕЙМВОРКИ НА PYTHON] (ОПЦИОНАЛЬНО) ==
4. Предмет раздела (ОПЦИОНАЛЬНО): Если тема предполагает программную реализацию, приведи чистый, понятный и эффективный код. Избегай лишних абстракций, покажи суть алгоритма. Если тема сугубо теоретическая, полностью пропусти этот раздел и не создавай такой заголовок.
== Схема обучения и рекомендации ==
5. Предмет раздела: Нюансы тренировки, частые ошибки (например, утечка данных, проблемы масштабирования) и способы их избежать.
== Современные подходы и State-of-the-Art (SOTA) ==
6. Предмет раздела: Разбор применения метода на переднем крае науки. Упомяни актуальные бенчмарки и архитектуры (например, сравнение производительности на моделях с 10 млн и 80 млн параметров).
== См. также ==
7. Предмет раздела: Маркированный список внутренних ссылок на смежные алгоритмы (используй [[Термин]]).
== Примечания ==
8. Предмет раздела: Выведи только один тег .
== Литература ==
9. Предмет раздела: Список из 3-5 ключевых источников, оформленный строго по шаблонам.
ЖЕСТКИЕ ТРЕБОВАНИЯ К ФОРМАТИРОВАНИЮ (MediaWiki) — ИСПОЛНЯТЬ НЕУКОСНИТЕЛЬНО:
СТИЛЬ И ЗАГОЛОВКИ: Статья должна быть исчерпывающей. Сохраняй строгий, академичный энциклопедический стиль. Обязательно используй букву «ё». Заголовки разделов оформляй через двойные равно (== Заголовок ==).
ВНУТРЕННИЕ ССЫЛКИ (ВИКИФИКАЦИЯ): Активно используй перекрестные ссылки на другие статьи портала. При первом упоминании ключевых ML-терминов, алгоритмов или математических понятий обязательно оборачивай их в двойные квадратные скобки: [[Термин]] или [[Термин|текст ссылки]] (например, [[Градиентный спуск]] или [[Функция потерь|функцией потерь]]).
МАТЕМАТИКА И LATEX (БЕЗ MARKDOWN):
Движок сайта категорически не поддерживает Markdown (знаки доллара). Их использование ЗАПРЕЩЕНО.
АБСОЛЮТНО ВСЕ переменные, индексы и формулы в тексте должны быть внутри HTML-подобных тегов <tex>...</tex>.
НЕПРАВИЛЬНО: центр \mathbf{c}_i и функция f(x).
ПРАВИЛЬНО: центр <tex>\mathbf{c}_i</tex> и функция <tex>f(x)</tex>.
Выключные (отдельные) формулы начинай с двойного двоеточия: ::<tex> \sum... </tex>
ОФОРМЛЕНИЕ КОДА (КРИТИЧЕСКИ ВАЖНО):
Движок сайта ломается от маркдауна. КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО использовать символ обратного апострофа ( ` ) где-либо в тексте ответа. Вообще забудь про этот символ.
Весь код от первой до последней строчки должен быть строго монолитным и находиться внутри HTML-подобных тегов.
Используй ровно один такой блок для всей реализации (ТОЛЬКО ЕСЛИ ЕСТЬ РАЗДЕЛ С КОДОМ):
<source lang="python">
class Class(nn.Module):
# твой код с отступами
</source>
ЗАПРЕЩЕНО разрывать блок <source> обычным текстом. Все пояснения пиши либо до блока, либо внутри в виде комментариев Python
СНОСКИ И ЦИТИРОВАНИЕ (БЕЗ СВАЛКИ В ТЕКСТЕ):
В самом тексте статьи используй ТОЛЬКО короткие сноски: <ref>Micchelli C. A., 1986</ref
КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО вставлять шаблоны литературы внутрь текста статьи. Эти шаблоны должны находиться ИСКЛЮЧИТЕЛЬНО в разделе «Литература».
ШАБЛОНЫ ЛИТЕРАТУРЫ: Полные библиографические описания помещай ТОЛЬКО в раздел «Литература» в самом конце. Строго используй встроенные шаблоны:
Для статей:
{{статья | автор = Фамилия И. О. | заглавие = Название | издание = Журнал | год = 2020 | страницы = 10-20 }}
Для книг:
{{книга | автор = Фамилия И. О. | заглавие = Название | место = Город | издательство = Издат | год = 2020 }}
КАТЕГОРИИ: В самом конце статьи обязательно добавь:
[[Категория:Машинное обучение]]
[[Категория:Искусственные нейронные сети]]
[[Категория:Регрессионный анализ]]
Выведи только готовый исходный код разметки.
|
Далее он был доработан под тему Дивергенция Йенсена — Шеннона с помощью LLM:
| ✔ | Выступи в роли Senior ML Engineer и академического исследователя. Твоя задача — написать с нуля фундаментальную, глубокую и технически точную энциклопедическую статью для портала MachineLearning.ru на тему «Дивергенция Йенсена — Шеннона».
Целевая аудитория: студенты профильных вузов и практикующие ML-инженеры. Материал должен плавно вести читателя от базовой интуиции к продвинутой математике (связь с расстоянием Кульбака — Лейблера, энтропией Шеннона), современным применениям (например, в GAN) и реализации в коде.
ОБЯЗАТЕЛЬНАЯ СТРУКТУРА СТАТЬИ:
В самом начале исходного кода (до первого абзаца) строго выведи следующие три строки:
{{well|Статья написана с использованием LLM ''Gemini 3.1 Pro'' и проверена участником ~~~~
Промпт приводится полностью в [[Обсуждение:Дивергенция Йенсена — Шеннона]]}}
{{TOCright}}
== Введение ==
Вики-лид: Четкое определение концепции (обязательно в единственном числе, именительном падеже), приоритет русскоязычному термину, перевод на английский язык (Jensen–Shannon divergence, JSD), суть решаемой проблемы (измерение сходства между двумя распределениями вероятностей).
== Мотивировка и историческая справка ==
2. Предмет раздела: Предпосылки к созданию метода. Опиши проблемы несимметричности дивергенции Кульбака — Лейблера (KL) и возможные бесконечные значения. Упомяни исторически значимые работы (например, работу Цзяньхуа Линя 1991 года) и связь с энтропией Шеннона.
== Математический аппарат и свойства ==
3. Предмет раздела: Детальный разбор математики. Распиши все ключевые формулы: определение через KL-дивергенцию, определение через энтропию. Обязательно перечисли свойства: симметричность, неотрицательность, ограниченность значениями от 0 до 1 (при логарифме по основанию 2). Раскрой понятие метрики: объясни, что сама дивергенция метрикой не является, но квадратный корень из нее (Jensen–Shannon distance) — является.
== Практика на Python (NumPy / SciPy / PyTorch) ==
4. Предмет раздела: Приведи чистый, понятный и эффективный код для вычисления JSD. Покажи реализацию "с нуля" на NumPy, учитывая численную стабильность, а также упомяни готовые решения (например, scipy.spatial.distance.jensenshannon). Избегай лишних абстракций, покажи суть алгоритма.
== Особенности вычисления и численные проблемы ==
5. Предмет раздела: Нюансы использования на практике. Обсуди частые ошибки: проблемы с делением на ноль, вычисление логарифма от нуля, необходимость нормализации распределений, выбор основания логарифма (биты vs наты) и добавление малого эпсилон для стабильности.
== Применение в современном ML и Generative Adversarial Networks ==
6. Предмет раздела: Разбор применения метода на переднем крае науки. Обязательно (!!!) подробно опиши роль JSD в теории Генеративно-состязательных сетей (GAN) — оригинальная статья Goodfellow (2014) показывает, что оптимальный дискриминатор минимизирует дивергенцию Йенсена — Шеннона между распределением данных и генератором. Упомяни также применения в NLP (сравнение тематических моделей) и биоинформатике.
== См. также ==
7. Предмет раздела: Маркированный список внутренних ссылок на смежные алгоритмы (используй [[Расстояние Кульбака — Лейблера]], [[Энтропия Шеннона]], [[Генеративно-состязательная нейросеть]], [[Теория информации]]).
== Примечания ==
8. Предмет раздела: Выведи только один тег <references/>.
== Литература ==
9. Предмет раздела: Список из 3-5 ключевых источников, оформленный строго по шаблонам. (Обязательно включи статью Lin 1991 г. и Goodfellow 2014 г. про GAN).
ЖЕСТКИЕ ТРЕБОВАНИЯ К ФОРМАТИРОВАНИЮ (MediaWiki) — ИСПОЛНЯТЬ НЕУКОСНИТЕЛЬНО:
СТИЛЬ И ЗАГОЛОВКИ: Статья должна быть исчерпывающей. Сохраняй строгий, академичный энциклопедический стиль. Обязательно используй букву «ё». Заголовки разделов оформляй через двойные равно (== Заголовок ==).
ВНУТРЕННИЕ ССЫЛКИ (ВИКИФИКАЦИЯ): Активно используй перекрестные ссылки на другие статьи портала. При первом упоминании ключевых ML-терминов, алгоритмов или математических понятий обязательно оборачивай их в двойные квадратные скобки: [[Термин]] или [[Термин|текст ссылки]] (например, [[Распределение вероятностей]] или [[Дивергенция Кульбака — Лейблера|дивергенцией Кульбака — Лейблера]]).
МАТЕМАТИКА И LATEX (БЕЗ MARKDOWN):
Движок сайта категорически не поддерживает Markdown (знаки доллара). Их использование ЗАПРЕЩЕНО.
АБСОЛЮТНО ВСЕ переменные, индексы и формулы в тексте должны быть внутри HTML-подобных тегов <tex>...</tex>.
НЕПРАВИЛЬНО: распределения P и Q, функция f(x).
ПРАВИЛЬНО: распределения <tex>P</tex> и <tex>Q</tex>, функция <tex>f(x)</tex>.
Выключные (отдельные) формулы начинай с двойного двоеточия: ::<tex> JSD(P \parallel Q) = ... </tex>
ОФОРМЛЕНИЕ КОДА (КРИТИЧЕСКИ ВАЖНО):
Движок сайта ломается от маркдауна. КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО использовать символ обратного апострофа где-либо в тексте ответа. Вообще забудь про этот символ.
Весь код от первой до последней строчки должен быть строго монолитным и находиться внутри HTML-подобных тегов.
Используй ровно один такой блок для всей реализации:
<source lang="python">
import numpy as np
def jensen_shannon_divergence(p, q):
# твой код с отступами
</source>
ЗАПРЕЩЕНО разрывать блок source обычным текстом. Все пояснения пиши либо до блока, либо внутри в виде комментариев Python.
СНОСКИ И ЦИТИРОВАНИЕ (БЕЗ СВАЛКИ В ТЕКСТЕ):
В самом тексте статьи используй ТОЛЬКО короткие сноски: <ref>Lin J., 1991</ref>
КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО вставлять шаблоны литературы внутрь текста статьи. Эти шаблоны должны находиться ИСКЛЮЧИТЕЛЬНО в разделе «Литература».
ШАБЛОНЫ ЛИТЕРАТУРЫ: Полные библиографические описания помещай ТОЛЬКО в раздел «Литература» в самом конце. Строго используй встроенные шаблоны:
Для статей:
{{статья | автор = Фамилия И. О. | заглавие = Название | издание = Журнал | год = 2020 | страницы = 10-20 }}
Для книг:
{{книга | автор = Фамилия И. О. | заглавие = Название | место = Город | издательство = Издат | год = 2020 }}
КАТЕГОРИИ: В самом конце статьи обязательно добавь:
[[Категория:Машинное обучение]]
[[Категория:Теория информации]]
[[Категория:Математическая статистика]]
Выведи только готовый исходный код разметки.
|
