Метрика

Материал из MachineLearning.

Версия 19:45, 21 ноября 2009 (править) Vokov (Обсуждение | вклад) (уточнение, викификация, категория) ← К предыдущему изменению		Текущая версия (22:48, 9 июля 2026) (править) (отменить) Iurii Patrakov (Обсуждение | вклад)
(2 промежуточные версии не показаны)
Строка 1:		Строка 1:
-	'''Метрикой''' на множестве <tex>X</tex> называется отображение <tex>d:\: X \times X \to \mathbb R</tex> сопоставляющее каждой паре <tex>(x,y) \in X \times X</tex> вещественное число <tex>d(x,y)</tex>, удовлетворяющее следующим условиям:	+	{{well|Статья написана с использованием LLM '''GPT-5.5''' и проверена участником [[Участник:Iurii Patrakov|Iurii Patrakov]] 02:48, 10 июля 2026 (MSD)}}
-	* неотрицательность: <tex>d(x,y) \geq 0</tex> для любых <tex>(x,y)</tex>.	+	'''Метрика''' — это функция расстояния на множестве объектов, которая каждой паре объектов ставит в соответствие неотрицательное число и удовлетворяет аксиомам тождества, симметрии и неравенства треугольника. В [[машинное обучение|машинном обучении]] метрика задаёт, какие объекты считать близкими или похожими, а какие — существенно различными; от этого зависят [[кластеризация]], [[метод ближайших соседей]], поиск похожих объектов, [[понижение размерности]] и многие методы анализа данных. Следует отличать метрику как расстояние от ''метрики качества'' модели: точность, полнота, F-мера и другие показатели качества обычно являются числовыми критериями, но не обязательно являются метриками в математическом смысле.
-	* <tex>d(x,y) = 0</tex> тогда и только тогда, когда <tex>x = y</tex>.	+
-	* симметричность: <tex>d(x,y) = d(y,x)</tex>.	+
-	* неравенство треугольника: <tex>d(x,y) \leq d(x,z) + d(z,y)</tex> для любых <tex>x,y,z \in X</tex>.	+
-	Множество <tex>X</tex> вместе с отображением <tex> d </tex> называется ''метрическим пространством'', и обозначается <tex>(X,d)</tex>.	+	== Определение ==
-	Метрика является обобщением понятия ''расстояния'' на произвольные пространства. Всякое пространство может быть наделено метрикой.	+	Пусть <tex>X</tex> — непустое множество. Функция
		+
		+	:<tex>d:X\times X\to [0,\infty)</tex>
		+
		+	называется '''метрикой''' на <tex>X</tex>, если для любых <tex>x,y,z\in X</tex> выполнены условия:
		+
		+	# <tex>d(x,y)=0</tex> тогда и только тогда, когда <tex>x=y</tex>;
		+	# <tex>d(x,y)=d(y,x)</tex> — симметрия;
		+	# <tex>d(x,z)\leq d(x,y)+d(y,z)</tex> — неравенство треугольника.
		+
		+	Пара <tex>(X,d)</tex> называется [[метрическое пространство|метрическим пространством]]. Интуитивно метрика формализует идею расстояния: объект находится на нулевом расстоянии только от самого себя, расстояние не зависит от порядка сравнения, а путь через промежуточную точку не короче прямого пути.
		+
		+	Если нарушается первое условие, говорят о [[псевдометрика|псевдометрике]]: разные объекты могут иметь нулевое расстояние. Если нарушается симметрия, возникают квазиметрики, полезные для направленных графов, стоимостей перехода и некоторых задач ранжирования. В прикладных задачах также часто используют ''меры несходства'', которые похожи на расстояния, но не обязаны удовлетворять всем аксиомам метрики.
		+
		+	== Примеры ==
		+
		+	Наиболее распространённые метрики в анализе данных:
		+
		+	* '''Евклидова метрика''':
		+	:<tex>d(x,y)=\sqrt{\sum_i (x_i-y_i)^2}</tex>.
		+	Она соответствует обычному геометрическому расстоянию и часто используется для числовых признаков после нормировки.
		+
		+	* '''Манхэттенская метрика''':
		+	:<tex>d(x,y)=\sum_i |x_i-y_i|</tex>.
		+	Она измеряет расстояние как сумму покоординатных отличий и может быть устойчивее евклидовой метрики при разреженных или высокоразмерных данных.
		+
		+	* '''Метрика Минковского''':
		+	:<tex>d_p(x,y)=\left(\sum_i |x_i-y_i|^p\right)^{1/p},\quad p\geq 1</tex>.
		+	Евклидова и манхэттенская метрики являются её частными случаями.
		+
		+	* '''Расстояние Чебышёва''':
		+	:<tex>d(x,y)=\max_i |x_i-y_i|</tex>.
		+	Оно учитывает наибольшее покоординатное отклонение.
		+
		+	* '''Расстояние Хэмминга''' — число несовпадающих позиций в строках или векторах одинаковой длины. Используется для бинарных признаков, кодов, категориальных описаний и задач исправления ошибок.
		+
		+	* '''Расстояние редактирования Левенштейна''' — минимальное число вставок, удалений и замен символов, необходимых для преобразования одной строки в другую. Применяется в обработке текстов, биоинформатике и поиске опечаток.
		+
		+	* '''Расстояние Жаккара''' для множеств:
		+	:<tex>d(A,B)=1-\frac{|A\cap B|}{|A\cup B|}</tex>.
		+	Используется для сравнения множеств признаков, словарей, покупательских корзин и других разреженных объектов.
		+
		+	* '''Косинусная мера несходства''' часто определяется как <tex>1-\cos(x,y)</tex>. Она популярна в [[информационный поиск|информационном поиске]] и обработке текстов, но в таком виде не всегда является строгой метрикой. Для нормированных векторов вместо неё можно рассматривать угловое расстояние.
		+
		+	== Исторический контекст ==
		+
		+	Понятие метрики выросло из геометрии и математического анализа. В классической геометрии расстояние было связано прежде всего с евклидовым пространством. В XIX веке развитие [[неевклидова геометрия|неевклидовой геометрии]], теории функций и топологии привело к более абстрактному пониманию близости и сходимости. В начале XX века Морис Фреше ввёл аксиоматическое понятие метрического пространства, позволившее рассматривать расстояния между объектами произвольной природы: точками, функциями, последовательностями, множествами, строками и вероятностными распределениями.
		+
		+	Для анализа данных это обобщение оказалось принципиальным. Объектами могут быть не только точки в <tex>\mathbb{R}^n</tex>, но и тексты, изображения, графы, временные ряды, пользователи, документы, молекулы или распределения. Задача исследователя состоит не только в выборе алгоритма, но и в выборе пространства, в котором сравнение объектов имеет содержательный смысл.
		+
		+	== Роль в машинном обучении ==
		+
		+	Метрика отвечает на один из базовых вопросов [[искусственный интеллект|искусственного интеллекта]]: ''что значит быть похожим?'' Во многих алгоритмах это не техническая деталь, а часть постановки задачи.
		+
		+	В [[метод ближайших соседей|методе ближайших соседей]] предсказание для нового объекта определяется объектами обучающей выборки, находящимися на минимальном расстоянии. В [[кластеризация|кластеризации]] метрика задаёт форму и смысл кластеров: при евклидовой метрике близость геометрическая, при расстоянии Жаккара — основана на совпадении множеств, при редактировании — на сходстве строк. В [[метод опорных векторов|методах с ядрами]] расстояния и меры сходства определяют, какие объекты модель считает близкими в неявном признаковом пространстве. В [[поиск ближайших соседей|поиске ближайших соседей]] и рекомендательных системах метрика влияет на то, какие документы, товары или пользователи будут найдены как похожие.
		+
		+	Метрика также важна для [[обучение без учителя|обучения без учителя]], где нет целевой переменной, явно задающей правильный ответ. В таких задачах выбранное расстояние фактически задаёт гипотезу о структуре данных. Например, два текста могут быть близки по теме, по стилю, по длине, по автору или по набору ключевых слов; разные метрики выделят разные виды сходства.
		+
		+	== Метрика и признаки ==
		+
		+	Метрика почти никогда не существует независимо от представления данных. Если признаки измеряются в разных шкалах, евклидово расстояние может стать бессмысленным: признак с большими численными значениями будет доминировать над остальными. Поэтому перед применением метрических методов часто выполняют [[нормировка признаков|нормировку]], стандартизацию, отбор признаков или [[понижение размерности]].
		+
		+	Особенно важна проблема смешанных данных: числовые, категориальные, текстовые и пропущенные признаки требуют разных способов сравнения. Простая замена категорий числами может создать ложный порядок и исказить расстояния. В таких случаях используют специализированные меры несходства, комбинированные метрики или обучаемые представления.
		+
		+	== Обучение метрики ==
		+
		+	'''Обучение метрики''' — это семейство методов, в которых расстояние не задаётся вручную, а подбирается по данным. Цель состоит в том, чтобы объекты одного класса, одной семантической группы или одной пользовательской категории оказывались ближе друг к другу, а разные — дальше.
		+
		+	Один из классических вариантов — обучение матрицы в расстоянии Махаланобиса:
		+
		+	:<tex>d_M(x,y)=\sqrt{(x-y)^T M (x-y)},\quad M\succeq 0</tex>,
		+
		+	где матрица <tex>M</tex> задаёт веса признаков и связи между ними. Если <tex>M</tex> положительно полуопределена, такое расстояние является метрикой или псевдометрикой в зависимости от ранга матрицы.
		+
		+	В современных нейросетевых методах распространено обучение вложений: модель переводит объект в векторное пространство, где близость отражает нужное отношение сходства. Такой подход используется в распознавании лиц, поиске изображений, семантическом поиске, рекомендациях и обработке естественного языка. Обучение может опираться на пары похожих и непохожих объектов, тройки «якорь — положительный пример — отрицательный пример» или на контрастивные функции потерь.
		+
		+	== Метрики качества моделей ==
		+
		+	В прикладном машинном обучении слово «метрика» часто означает не расстояние между объектами, а показатель качества алгоритма. Например, для классификации используют [[точность]], [[полнота|полноту]], [[F-мера|F-меру]], долю правильных ответов, площадь под ROC-кривой; для регрессии — среднюю абсолютную ошибку, среднеквадратичную ошибку и коэффициент детерминации.
		+
		+	Эти показатели лучше называть '''метриками качества''' или '''критериями качества'''. Они помогают сравнивать модели, выбирать порог решения, контролировать переобучение и согласовывать модель с прикладной целью. Однако они не обязаны удовлетворять аксиомам расстояния. Например, F-мера — это агрегированный показатель баланса точности и полноты, а не расстояние между двумя объектами.
		+
		+	Выбор метрики качества должен соответствовать цене ошибок. В медицинской диагностике, кредитном скоринге, промышленном контроле и модерации контента ошибки разных типов имеют разную стоимость. Поэтому высокая средняя точность может скрывать неприемлемые риски: модель может хорошо работать на большинстве объектов и плохо — на редких, но важных случаях.
		+
		+	== Применения ==
		+
		+	Метрики и меры несходства применяются в следующих задачах:
		+
		+	* классификация методом ближайших соседей;
		+	* кластеризация и оценка структуры данных;
		+	* поиск похожих изображений, документов, пользователей и товаров;
		+	* дедупликация записей и сопоставление сущностей;
		+	* обработка текстов, строк и биологических последовательностей;
		+	* анализ графов и социальных сетей;
		+	* обнаружение аномалий;
		+	* построение рекомендательных систем;
		+	* оценка качества моделей;
		+	* контроль справедливости и устойчивости алгоритмов.
		+
		+	В каждом случае метрика задаёт прикладной смысл близости. Например, в рекомендательной системе близость пользователей может означать сходство покупок, интересов, оценок или поведения во времени. В биоинформатике расстояние между последовательностями связано с вероятными мутациями. В компьютерном зрении расстояние между изображениями может вычисляться не по пикселям, а по признакам, извлечённым нейронной сетью.
		+
		+	== Ограничения ==
		+
		+	Метрики полезны, но их применение имеет ряд ограничений.
		+
		+	Во-первых, в высоких размерностях возникает [[проклятие размерности]]: расстояния между объектами становятся менее различимыми, а понятие ближайшего соседа теряет устойчивость. Это особенно заметно при разреженных данных и большом числе нерелевантных признаков.
		+
		+	Во-вторых, выбранная метрика может не соответствовать предметной области. Евклидово расстояние между необработанными пикселями изображения часто плохо отражает визуальное сходство. Два предложения могут иметь разные слова, но один смысл; и наоборот, почти одинаковые строки могут иметь разный смысл.
		+
		+	В-третьих, метрика может наследовать смещения данных. Если представление объектов содержит социально чувствительные или косвенно связанные с ними признаки, то расстояние может закреплять нежелательные различия. В исследованиях справедливости алгоритмов это приводит к вопросу: кто и на каких основаниях определяет, какие люди или случаи являются «похожими»?
		+
		+	В-четвёртых, многие практически удобные меры сходства не являются метриками. Это не всегда плохо, но важно понимать последствия: часть алгоритмов и структур данных опирается на неравенство треугольника, а при его нарушении могут исчезнуть теоретические гарантии и ускорения поиска.
		+
		+	== Современные направления ==
		+
		+	Современные исследования метрик связаны с несколькими направлениями.
		+
		+	* '''Обучение представлений''' (англ. representation learning): построение таких векторных описаний объектов, где простая метрика отражает сложное семантическое сходство.
		+	* '''Контрастивное обучение''' (англ. contrastive learning): обучение моделей на сравнении похожих и непохожих примеров.
		+	* '''Метрики для мультимодальных данных''': совместное сравнение текста, изображения, звука, видео и табличных признаков.
		+	* '''Оптимальный транспорт''' и расстояние Вассерштейна: сравнение распределений, применяемое в генеративных моделях, доменной адаптации и анализе распределений признаков.
		+	* '''Справедливые метрики''': исследование того, как формализовать принцип «похожие индивиды должны получать похожие решения» без усиления социальных смещений.
		+	* '''Приближённый поиск ближайших соседей''': масштабирование метрических методов на миллионы и миллиарды объектов.
		+	* '''Робастные метрики''': расстояния, менее чувствительные к выбросам, шуму и сдвигу распределения данных.
		+
		+	Эти направления показывают, что метрика в ИИ — не только математическая формальность. Она является способом выразить знание о предметной области, ограничение на поведение модели и инструмент связи между данными, алгоритмом и прикладной целью.
		+
		+	== См. также ==
		+
		+	* [[Метрическое пространство]]
		+	* [[Расстояние]]
		+	* [[Псевдометрика]]
		+	* [[Метод ближайших соседей]]
		+	* [[Кластеризация]]
		+	* [[Обучение метрики]]
		+	* [[Расстояние Махаланобиса]]
		+	* [[Расстояние Хэмминга]]
		+	* [[Расстояние Левенштейна]]
		+	* [[F-мера]]
		+	* [[ROC-кривая]]
		+	* [[Проклятие размерности]]
		+
		+	== Литература ==
		+
		+	* Фреше М. ''Sur quelques points du calcul fonctionnel''. Rendiconti del Circolo Matematico di Palermo, 1906.
		+	* Burago D., Burago Y., Ivanov S. ''A Course in Metric Geometry''. American Mathematical Society, 2001.
		+	* Deza M. M., Deza E. ''Encyclopedia of Distances''. Springer, 2016.
		+	* Hastie T., Tibshirani R., Friedman J. ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction''. 2nd ed. Springer, 2009.
		+	* Bishop C. M. ''Pattern Recognition and Machine Learning''. Springer, 2006.
		+	* Murphy K. P. ''Machine Learning: A Probabilistic Perspective''. MIT Press, 2012.
		+	* Rousseeuw P. J. ''Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis''. Journal of Computational and Applied Mathematics, 1987.
		+	* Dwork C., Hardt M., Pitassi T., Reingold O., Zemel R. ''Fairness Through Awareness''. Proceedings of ITCS, 2012.
	== Ссылки ==		== Ссылки ==
-	[http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%82%D0%B2%D0%BE Метрическое пространство] — Википедия.
-	[[Категория:Общематематические термины]]	+	* [https://link.springer.com/book/10.1007/978-3-642-30958-8 Encyclopedia of Distances] — справочник по расстояниям и мерам несходства.
		+	* [https://hastie.su.domains/ElemStatLearn/ The Elements of Statistical Learning] — открытая страница книги Hastie, Tibshirani, Friedman.
		+	* [https://scikit-learn.org/stable/modules/metrics.html Metrics and scoring; pairwise metrics] — документация scikit-learn по метрикам качества и попарным расстояниям.
		+	* [https://arxiv.org/abs/1104.3913 Fairness Through Awareness] — статья о роли метрики сходства в алгоритмической справедливости.
		+
		+	[[Категория:Машинное обучение]]
		+	[[Категория:Анализ данных]]
		+	[[Категория:Математика]]
		+	[[Категория:Метрические методы]]

---

Текущая версия

Статья написана с использованием LLM GPT-5.5 и проверена участником Iurii Patrakov 02:48, 10 июля 2026 (MSD)

Метрика — это функция расстояния на множестве объектов, которая каждой паре объектов ставит в соответствие неотрицательное число и удовлетворяет аксиомам тождества, симметрии и неравенства треугольника. В машинном обучении метрика задаёт, какие объекты считать близкими или похожими, а какие — существенно различными; от этого зависят кластеризация, метод ближайших соседей, поиск похожих объектов, понижение размерности и многие методы анализа данных. Следует отличать метрику как расстояние от метрики качества модели: точность, полнота, F-мера и другие показатели качества обычно являются числовыми критериями, но не обязательно являются метриками в математическом смысле.

Содержание 1 Определение 2 Примеры 3 Исторический контекст 4 Роль в машинном обучении 5 Метрика и признаки 6 Обучение метрики 7 Метрики качества моделей 8 Применения 9 Ограничения 10 Современные направления 11 См. также 12 Литература 13 Ссылки

Определение

Пусть — непустое множество. Функция

называется метрикой на , если для любых выполнены условия:

1. тогда и только тогда, когда ;
2. — симметрия;
3. — неравенство треугольника.

Пара называется метрическим пространством. Интуитивно метрика формализует идею расстояния: объект находится на нулевом расстоянии только от самого себя, расстояние не зависит от порядка сравнения, а путь через промежуточную точку не короче прямого пути.

Если нарушается первое условие, говорят о псевдометрике: разные объекты могут иметь нулевое расстояние. Если нарушается симметрия, возникают квазиметрики, полезные для направленных графов, стоимостей перехода и некоторых задач ранжирования. В прикладных задачах также часто используют меры несходства, которые похожи на расстояния, но не обязаны удовлетворять всем аксиомам метрики.

Примеры

Наиболее распространённые метрики в анализе данных:

• Евклидова метрика:

.

Она соответствует обычному геометрическому расстоянию и часто используется для числовых признаков после нормировки.

• Манхэттенская метрика:

.

Она измеряет расстояние как сумму покоординатных отличий и может быть устойчивее евклидовой метрики при разреженных или высокоразмерных данных.

• Метрика Минковского:

.

Евклидова и манхэттенская метрики являются её частными случаями.

• Расстояние Чебышёва:

.

Оно учитывает наибольшее покоординатное отклонение.

• Расстояние Хэмминга — число несовпадающих позиций в строках или векторах одинаковой длины. Используется для бинарных признаков, кодов, категориальных описаний и задач исправления ошибок.

• Расстояние редактирования Левенштейна — минимальное число вставок, удалений и замен символов, необходимых для преобразования одной строки в другую. Применяется в обработке текстов, биоинформатике и поиске опечаток.

• Расстояние Жаккара для множеств:

.

Используется для сравнения множеств признаков, словарей, покупательских корзин и других разреженных объектов.

• Косинусная мера несходства часто определяется как . Она популярна в информационном поиске и обработке текстов, но в таком виде не всегда является строгой метрикой. Для нормированных векторов вместо неё можно рассматривать угловое расстояние.

Исторический контекст

Понятие метрики выросло из геометрии и математического анализа. В классической геометрии расстояние было связано прежде всего с евклидовым пространством. В XIX веке развитие неевклидовой геометрии, теории функций и топологии привело к более абстрактному пониманию близости и сходимости. В начале XX века Морис Фреше ввёл аксиоматическое понятие метрического пространства, позволившее рассматривать расстояния между объектами произвольной природы: точками, функциями, последовательностями, множествами, строками и вероятностными распределениями.

Для анализа данных это обобщение оказалось принципиальным. Объектами могут быть не только точки в , но и тексты, изображения, графы, временные ряды, пользователи, документы, молекулы или распределения. Задача исследователя состоит не только в выборе алгоритма, но и в выборе пространства, в котором сравнение объектов имеет содержательный смысл.

Роль в машинном обучении

Метрика отвечает на один из базовых вопросов искусственного интеллекта: что значит быть похожим? Во многих алгоритмах это не техническая деталь, а часть постановки задачи.

В методе ближайших соседей предсказание для нового объекта определяется объектами обучающей выборки, находящимися на минимальном расстоянии. В кластеризации метрика задаёт форму и смысл кластеров: при евклидовой метрике близость геометрическая, при расстоянии Жаккара — основана на совпадении множеств, при редактировании — на сходстве строк. В методах с ядрами расстояния и меры сходства определяют, какие объекты модель считает близкими в неявном признаковом пространстве. В поиске ближайших соседей и рекомендательных системах метрика влияет на то, какие документы, товары или пользователи будут найдены как похожие.

Метрика также важна для обучения без учителя, где нет целевой переменной, явно задающей правильный ответ. В таких задачах выбранное расстояние фактически задаёт гипотезу о структуре данных. Например, два текста могут быть близки по теме, по стилю, по длине, по автору или по набору ключевых слов; разные метрики выделят разные виды сходства.

Метрика и признаки

Метрика почти никогда не существует независимо от представления данных. Если признаки измеряются в разных шкалах, евклидово расстояние может стать бессмысленным: признак с большими численными значениями будет доминировать над остальными. Поэтому перед применением метрических методов часто выполняют нормировку, стандартизацию, отбор признаков или понижение размерности.

Особенно важна проблема смешанных данных: числовые, категориальные, текстовые и пропущенные признаки требуют разных способов сравнения. Простая замена категорий числами может создать ложный порядок и исказить расстояния. В таких случаях используют специализированные меры несходства, комбинированные метрики или обучаемые представления.

Обучение метрики

Обучение метрики — это семейство методов, в которых расстояние не задаётся вручную, а подбирается по данным. Цель состоит в том, чтобы объекты одного класса, одной семантической группы или одной пользовательской категории оказывались ближе друг к другу, а разные — дальше.

Один из классических вариантов — обучение матрицы в расстоянии Махаланобиса:

,

где матрица задаёт веса признаков и связи между ними. Если положительно полуопределена, такое расстояние является метрикой или псевдометрикой в зависимости от ранга матрицы.

В современных нейросетевых методах распространено обучение вложений: модель переводит объект в векторное пространство, где близость отражает нужное отношение сходства. Такой подход используется в распознавании лиц, поиске изображений, семантическом поиске, рекомендациях и обработке естественного языка. Обучение может опираться на пары похожих и непохожих объектов, тройки «якорь — положительный пример — отрицательный пример» или на контрастивные функции потерь.

Метрики качества моделей

В прикладном машинном обучении слово «метрика» часто означает не расстояние между объектами, а показатель качества алгоритма. Например, для классификации используют точность, полноту, F-меру, долю правильных ответов, площадь под ROC-кривой; для регрессии — среднюю абсолютную ошибку, среднеквадратичную ошибку и коэффициент детерминации.

Эти показатели лучше называть метриками качества или критериями качества. Они помогают сравнивать модели, выбирать порог решения, контролировать переобучение и согласовывать модель с прикладной целью. Однако они не обязаны удовлетворять аксиомам расстояния. Например, F-мера — это агрегированный показатель баланса точности и полноты, а не расстояние между двумя объектами.

Выбор метрики качества должен соответствовать цене ошибок. В медицинской диагностике, кредитном скоринге, промышленном контроле и модерации контента ошибки разных типов имеют разную стоимость. Поэтому высокая средняя точность может скрывать неприемлемые риски: модель может хорошо работать на большинстве объектов и плохо — на редких, но важных случаях.

Применения

Метрики и меры несходства применяются в следующих задачах:

• классификация методом ближайших соседей;
• кластеризация и оценка структуры данных;
• поиск похожих изображений, документов, пользователей и товаров;
• дедупликация записей и сопоставление сущностей;
• обработка текстов, строк и биологических последовательностей;
• анализ графов и социальных сетей;
• обнаружение аномалий;
• построение рекомендательных систем;
• оценка качества моделей;
• контроль справедливости и устойчивости алгоритмов.

В каждом случае метрика задаёт прикладной смысл близости. Например, в рекомендательной системе близость пользователей может означать сходство покупок, интересов, оценок или поведения во времени. В биоинформатике расстояние между последовательностями связано с вероятными мутациями. В компьютерном зрении расстояние между изображениями может вычисляться не по пикселям, а по признакам, извлечённым нейронной сетью.

Ограничения

Метрики полезны, но их применение имеет ряд ограничений.

Во-первых, в высоких размерностях возникает проклятие размерности: расстояния между объектами становятся менее различимыми, а понятие ближайшего соседа теряет устойчивость. Это особенно заметно при разреженных данных и большом числе нерелевантных признаков.

Во-вторых, выбранная метрика может не соответствовать предметной области. Евклидово расстояние между необработанными пикселями изображения часто плохо отражает визуальное сходство. Два предложения могут иметь разные слова, но один смысл; и наоборот, почти одинаковые строки могут иметь разный смысл.

В-третьих, метрика может наследовать смещения данных. Если представление объектов содержит социально чувствительные или косвенно связанные с ними признаки, то расстояние может закреплять нежелательные различия. В исследованиях справедливости алгоритмов это приводит к вопросу: кто и на каких основаниях определяет, какие люди или случаи являются «похожими»?

В-четвёртых, многие практически удобные меры сходства не являются метриками. Это не всегда плохо, но важно понимать последствия: часть алгоритмов и структур данных опирается на неравенство треугольника, а при его нарушении могут исчезнуть теоретические гарантии и ускорения поиска.

Современные направления

Современные исследования метрик связаны с несколькими направлениями.

• Обучение представлений (англ. representation learning): построение таких векторных описаний объектов, где простая метрика отражает сложное семантическое сходство.
• Контрастивное обучение (англ. contrastive learning): обучение моделей на сравнении похожих и непохожих примеров.
• Метрики для мультимодальных данных: совместное сравнение текста, изображения, звука, видео и табличных признаков.
• Оптимальный транспорт и расстояние Вассерштейна: сравнение распределений, применяемое в генеративных моделях, доменной адаптации и анализе распределений признаков.
• Справедливые метрики: исследование того, как формализовать принцип «похожие индивиды должны получать похожие решения» без усиления социальных смещений.
• Приближённый поиск ближайших соседей: масштабирование метрических методов на миллионы и миллиарды объектов.
• Робастные метрики: расстояния, менее чувствительные к выбросам, шуму и сдвигу распределения данных.

Эти направления показывают, что метрика в ИИ — не только математическая формальность. Она является способом выразить знание о предметной области, ограничение на поведение модели и инструмент связи между данными, алгоритмом и прикладной целью.

См. также

• Метрическое пространство
• Расстояние
• Псевдометрика
• Метод ближайших соседей
• Кластеризация
• Обучение метрики
• Расстояние Махаланобиса
• Расстояние Хэмминга
• Расстояние Левенштейна
• F-мера
• ROC-кривая
• Проклятие размерности

Литература

• Фреше М. Sur quelques points du calcul fonctionnel. Rendiconti del Circolo Matematico di Palermo, 1906.
• Burago D., Burago Y., Ivanov S. A Course in Metric Geometry. American Mathematical Society, 2001.
• Deza M. M., Deza E. Encyclopedia of Distances. Springer, 2016.
• Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd ed. Springer, 2009.
• Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
• Murphy K. P. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
• Rousseeuw P. J. Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis. Journal of Computational and Applied Mathematics, 1987.
• Dwork C., Hardt M., Pitassi T., Reingold O., Zemel R. Fairness Through Awareness. Proceedings of ITCS, 2012.

Ссылки

• Encyclopedia of Distances — справочник по расстояниям и мерам несходства.
• The Elements of Statistical Learning — открытая страница книги Hastie, Tibshirani, Friedman.
• Metrics and scoring; pairwise metrics — документация scikit-learn по метрикам качества и попарным расстояниям.
• Fairness Through Awareness — статья о роли метрики сходства в алгоритмической справедливости.