Расстояние Хеллингера

Материал из MachineLearning.

(Различия между версиями)

Версия 01:10, 19 июля 2026

Статья написана с использованием LLM DeepSeek-V3-0324 и проверена участником Nikita Elкhin 04:09, 19 июля 2026 (MSD)

Содержание

1 Определение и основные свойства
- 1.1 Дискретный случай
- 1.2 Основные свойства
2 Вычислительные аспекты
3 Приложения в машинном обучении
4 Заключение
5 Литература

Определение и основные свойства

Расстояние Хеллингера — симметричная метрика на пространстве вероятностных распределений, измеряющая сходство между двумя мерами на основе евклидова расстояния между квадратными корнями их плотностей. Названо в честь Эрнста Хеллингера, впервые применившего родственную квадратичную форму в теории операторов^[1]. В статистике и машинном обучении расстояние Хеллингера широко применяется как робастная альтернатива дивергенции Кульбака–Лейблера и расстоянию полной вариации.

Пусть $P$ и $Q$ — вероятностные распределения, абсолютно непрерывные относительно одной и той же доминирующей меры $\mu$ (обычно лебеговой или счётной), с плотностями $p = dP/d\mu$ и $q = dQ/d\mu$ . Тогда квадрат расстояния Хеллингера определяется как

$H^2(P, Q) = \frac{1}{2} \int \left( \sqrt{p(x)} - \sqrt{q(x)} \right)^2 d\mu(x) = 1 - \int \sqrt{p(x)q(x)}\, d\mu(x).$

Само расстояние равно

$H(P, Q) = \sqrt{ 1 - BC(P, Q) },$

где величина $BC(P, Q) = \int \sqrt{p(x)q(x)}\, d\mu(x)$ называется коэффициентом Бхаттачарии. Иногда используется определение без нормировочного множителя $1/2$ ; в данной статье мы придерживаемся приведённой нормировки, гарантирующей $0 \le H(P, Q) \le 1$ .

Дискретный случай

Если носитель распределений конечен или счётен, $P$ и $Q$ задаются векторами вероятностей $p_i = P(X = x_i)$ и $q_i = Q(X = x_i)$ . Квадрат расстояния Хеллингера принимает вид

$H^2(P, Q) = \frac{1}{2} \sum_{i} \left( \sqrt{p_i} - \sqrt{q_i} \right)^2 = 1 - \sum_{i} \sqrt{p_i q_i}.$

Эта форма наиболее употребительна при работе с гистограммами и эмпирическими распределениями.

Основные свойства

Метрика. Расстояние Хеллингера удовлетворяет всем аксиомам метрики: неотрицательность, симметричность и неравенство треугольника. В отличие от дивергенции Кульбака–Лейблера, оно симметрично и всегда конечно.
Границы. $0 \le H(P, Q) \le 1$ , причём $H(P, Q) = 0$ тогда и только тогда, когда $P = Q$ почти всюду, а $H(P, Q) = 1$ для взаимно сингулярных распределений.
Связь с расстоянием полной вариации. Для любых $P, Q$ выполняются неравенства: $H^2(P, Q) \le TV(P, Q) \le \sqrt{2}\, H(P, Q)$ , где $TV(P, Q) = \frac{1}{2} \int |p - q| d\mu$ — Расстояние полной вариации.
Принадлежность к классу f-дивергенций. Квадрат расстояния Хеллингера является f-дивергенцией с порождающей функцией $f(t) = \frac{1}{2}(\sqrt{t} - 1)^2$ . Это позволяет применять общие теоремы об f-дивергенциях (монотонность при преобразованиях данных, выпуклость по паре распределений).
Связь с нормой $L_2$ . Векторы $\sqrt{p}$ и $\sqrt{q}$ можно рассматривать как элементы единичной сферы в пространстве $L_2(\mu)$ ; тогда $H(P, Q) = \frac{1}{\sqrt{2}} \| \sqrt{p} - \sqrt{q} \|_{L_2}$ . Это обеспечивает гильбертову геометрию и простоту аналитических выкладок.

Вычислительные аспекты

Для непрерывных распределений точное вычисление расстояния Хеллингера требует интегрирования, что редко выполнимо аналитически. На практике применяют:

дискретизацию путём построения гистограмм и вычисление по дискретной формуле;
ядерные оценки плотности с последующим численным интегрированием;
методы на основе ближайших соседей (например, оценка информации через $k$ -NN), адаптированные для расстояния Хеллингера^[1];
аппроксимацию через коэффициент Бхаттачарии с предположением о нормальности распределений: если $P = \mathcal{N}(\mu_1, \Sigma_1)$ и $Q = \mathcal{N}(\mu_2, \Sigma_2)$ , то

$BC(P,Q) = \frac{\det(\Sigma_1)^{1/4} \det(\Sigma_2)^{1/4}}{\det\!\big(\frac{\Sigma_1+\Sigma_2}{2}\big)^{1/2}} \exp\!\Big\{-\frac{1}{8} (\mu_1-\mu_2)^T \big(\frac{\Sigma_1+\Sigma_2}{2}\big)^{-1} (\mu_1-\mu_2)\Big\}.$

Для многомерных данных вычислительная сложность может быть значительной, поэтому в машинном обучении часто используются упрощённые прокси-меры либо сценарные оценки на основе дискретных представлений.

Приложения в машинном обучении

Оценка качества генеративных моделей

В генеративно-состязательных сетях (GAN) и вариационных автоэнкодерах (VAE) требуется количественно сравнивать эмпирическое распределение реальных данных $P_{\text{data}}$ и распределение модели $P_{\text{model}}$ . Расстояние Хеллингера используется как метрика сходства, обладающая симметрией и ограниченностью, что упрощает мониторинг обучения. В отличие от дивергенции Кульбака–Лейблера, оно не штрафует бесконечно за непересекающиеся носители, а даёт значение строго меньше 1. На практике часто применяют аппроксимацию по конечным наборам признаков, извлечённых свёрточной нейронной сетью, где расстояние между гистограммами активаций служит суррогатом истинного расстояния Хеллингера.

Обнаружение дрейфа концепции

В потоковых задачах дрейф концепции диагностируется путём сравнения распределений данных в скользящих окнах. Пусть $P_{t}$ — распределение признаков в момент $t$ , а $P_{t+\Delta}$ — в следующий период. Расстояние Хеллингера между эмпирическими гистограммами (или ядерными оценками плотности) служит статистикой для детектирования изменений. Его симметричность и ограниченность в отрезке $[0,1]$ позволяют задать единый порог для всех признаков без дополнительной нормировки. Типичный подход: если $H(\hat{P}_t, \hat{P}_{t+\Delta}) > \tau$ , фиксируется предупреждение о возможном дрейфе^[1].

Робастный байесовский вывод

В байесовском анализе расстояние Хеллингера используется для измерения чувствительности апостериорного распределения к выбору априорного. Оценки, минимизирующие расстояние Хеллингера между моделью и данными (minimum Hellinger distance estimators), обладают высокой устойчивостью к выбросам, сохраняя при этом асимптотическую эффективность^[1]. Это делает их привлекательными в задачах робастного обучения, где классические методы максимального правдоподобия деградируют.

Кластеризация и снижение размерности

В иерархической кластеризации расстояние Хеллингера между распределениями признаков кластеров (или между тематическими распределениями в тематическом моделировании) даёт метрику сходства, учитывающую вероятностную природу данных. В методах снижения размерности, таких как t-SNE, минимизация расхождения между распределениями сходства в исходном и вложенном пространствах может выполняться с использованием симметризованной дивергенции Кульбака–Лейблера; расстояние Хеллингера предлагает альтернативу, не требующую коррекции на асимметрию.

Обнаружение аномалий

Для выявления аномальных наблюдений можно сравнивать локальное распределение $P_{\text{local}}(x)$ в окрестности точки $x$ с глобальным фоновым распределением $P_{\text{global}}$ . Высокое значение $H(P_{\text{local}}, P_{\text{global}})$ свидетельствует о том, что точка находится в регионе с аномальной плотностью. Такой подход естественно интегрируется с ядерными оценками плотности и не требует параметрических предположений.

Трансферное обучение и адаптация доменов

В трансферном обучении расстояние Хеллингера может выступать мерой расхождения между исходным и целевым доменами. Минимизация этой метрики в пространстве латентных представлений способствует выравниванию распределений, аналогично методам на основе состязательной адаптации, но с более устойчивым поведением благодаря свойствам метрики.

Заключение

Расстояние Хеллингера сочетает математические достоинства метрики с понятной геометрической интерпретацией и робастностью. В машинном обучении оно заполняет нишу между теоретико-информационными дивергенциями (KL, JS) и метриками на основе интегральной вероятностной метрики (Wasserstein), предоставляя компромисс между вычислительной простотой и статистической эффективностью. Благодаря ограниченности и симметрии оно особенно удобно для мониторинга распределений в динамических средах и для построения робастных процедур.

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%A5%D0%B5%D0%BB%D0%BB%D0%B8%D0%BD%D0%B3%D0%B5%D1%80%D0%B0»

@@ Строка 35: / Строка 35: @@
 * '''Метрика.''' Расстояние Хеллингера удовлетворяет всем аксиомам [[Метрика (математика)|метрики]]: неотрицательность, симметричность и неравенство треугольника. В отличие от дивергенции Кульбака–Лейблера, оно симметрично и всегда конечно.
 * '''Границы.''' <tex>0 \le H(P, Q) \le 1</tex>, причём <tex>H(P, Q) = 0</tex> тогда и только тогда, когда <tex>P = Q</tex> почти всюду, а <tex>H(P, Q) = 1</tex> для взаимно сингулярных распределений.
-* '''Связь с расстоянием полной вариации.''' Для любых <tex>P, Q</tex> выполняются неравенства
+* '''Связь с расстоянием полной вариации.''' Для любых <tex>P, Q</tex> выполняются неравенства: <tex>H^2(P, Q) \le TV(P, Q) \le \sqrt{2}\, H(P, Q)</tex>, где <tex>TV(P, Q) = \frac{1}{2} \int |p - q| d\mu</tex> — [[Расстояние полной вариации]].
-  <tex>H^2(P, Q) \le TV(P, Q) \le \sqrt{2}\, H(P, Q)</tex>,
-  где <tex>TV(P, Q) = \frac{1}{2} \int |p - q| d\mu</tex> — [[Расстояние полной вариации]].
 * '''Принадлежность к классу f-дивергенций.''' Квадрат расстояния Хеллингера является [[f-дивергенция|f-дивергенцией]] с порождающей функцией <tex>f(t) = \frac{1}{2}(\sqrt{t} - 1)^2</tex>. Это позволяет применять общие теоремы об f-дивергенциях (монотонность при преобразованиях данных, выпуклость по паре распределений).
 * '''Связь с нормой <tex>L_2</tex>.''' Векторы <tex>\sqrt{p}</tex> и <tex>\sqrt{q}</tex> можно рассматривать как элементы единичной сферы в пространстве <tex>L_2(\mu)</tex>; тогда <tex>H(P, Q) = \frac{1}{\sqrt{2}} \| \sqrt{p} - \sqrt{q} \|_{L_2}</tex>. Это обеспечивает гильбертову геометрию и простоту аналитических выкладок.
@@ Строка 49: / Строка 47: @@
 * методы на основе ближайших соседей (например, оценка информации через <tex>k</tex>-NN), адаптированные для расстояния Хеллингера<ref>Beran R. Minimum Hellinger distance estimates for parametric models // The Annals of Statistics. – 1977. – Vol. 5, No. 3. – P. 445–463.</ref>;
 * аппроксимацию через [[Коэффициент Бхаттачарии|коэффициент Бхаттачарии]] с предположением о нормальности распределений: если <tex>P = \mathcal{N}(\mu_1, \Sigma_1)</tex> и <tex>Q = \mathcal{N}(\mu_2, \Sigma_2)</tex>, то
-<tex>BC(P,Q) = \frac{\det(\Sigma_1)^{1/4} \det(\Sigma_2)^{1/4}}{\det\!\big(\tfrac{\Sigma_1+\Sigma_2}{2}\big)^{1/2}}
+<tex>BC(P,Q) = \frac{\det(\Sigma_1)^{1/4} \det(\Sigma_2)^{1/4}}{\det\!\big(\frac{\Sigma_1+\Sigma_2}{2}\big)^{1/2}}
-\exp\!\Big\{-\frac{1}{8} (\mu_1-\mu_2)^T \big(\tfrac{\Sigma_1+\Sigma_2}{2}\big)^{-1} (\mu_1-\mu_2)\Big\}.</tex>
+\exp\!\Big\{-\frac{1}{8} (\mu_1-\mu_2)^T \big(\frac{\Sigma_1+\Sigma_2}{2}\big)^{-1} (\mu_1-\mu_2)\Big\}.</tex>
 Для многомерных данных вычислительная сложность может быть значительной, поэтому в [[Машинное обучение|машинном обучении]] часто используются упрощённые прокси-меры либо сценарные оценки на основе дискретных представлений.