F-мера

Материал из MachineLearning.

(Различия между версиями)

Версия 16:48, 18 июля 2026

Статья написана с использованием LLM GPT-5.6 Thinking и проверена участником Alfit Gaifullin 13:50, 18 июля 2026 (MSD). Промпт приводится полностью в Обсуждение:F-мера.

Содержание

1 F-мера

F-мера

F-мера (англ. F-measure, F-score) — метрика качества бинарной и многоклассовой классификации, объединяющая точность и полноту в единый показатель посредством их гармонического среднего. В бинарной задаче F-мера оценивает одновременно способность классификатора избегать ложноположительных решений и находить объекты положительного класса.

Наиболее распространённым вариантом является F1-мера, при вычислении которой точность и полнота считаются одинаково значимыми:

$F_1 = 2\frac{P R}{P+R},$

где $P$ — точность, а $R$ — полнота.

В более общем случае используется Fβ-мера, позволяющая изменить относительную значимость точности и полноты:

$F_\beta = (1+\beta^2)\frac{P R}{\beta^2 P+R}, \qquad \beta>0.$

При $\beta>1$ большее значение придаётся полноте, а при $0<\beta<1$ — точности. Выбор параметра должен определяться последствиями разных типов ошибок в конкретной задаче.

F-мера принимает значения от 0 до 1. Значение 1 соответствует идеальной классификации по рассматриваемому положительному классу. Значение 0 получается, если отсутствуют истинно положительные ответы или одна из объединяемых величин равна нулю.

F-мера не является универсально лучшей оценкой классификатора. Она не учитывает истинно отрицательные ответы непосредственно, зависит от выбора положительного класса и порога принятия решения, а также объединяет два вида ошибок в соответствии с заранее выбранным соотношением. Поэтому её следует рассматривать вместе с другими показателями качества классификации.

Происхождение

F-мера возникла из методов оценки информационного поиска. В этой области система возвращает множество документов, часть которых является релевантной запросу.

Качество поиска традиционно оценивалось с помощью двух показателей:

точности — доли релевантных документов среди найденных;
полноты — доли найденных документов среди всех релевантных.

Эти показатели отражали разные свойства системы. Высокая точность означала, что среди результатов мало нерелевантных документов, тогда как высокая полнота означала, что система пропустила небольшую часть релевантных документов.

Кит ван Рейсберген рассматривал объединённую меру эффективности, основанную на точности и полноте, в книге Information Retrieval. Предложенная им величина $E$ представляла ошибку эффективности, а соответствующая ей величина $1-E$ приводила к форме, известной сегодня как Fβ-мера.^[1]

Формула F-меры получила широкое распространение в задачах автоматической обработки текста. В частности, она использовалась при оценивании систем извлечения информации на конференции MUC-4 в 1992 году. В материалах MUC-4 F-мера описывалась как способ объединить отрицательно связанные на практике точность и полноту в один показатель.^[1]

Позднее F-мера стала применяться в классификации текстов, распознавании образов, медицинской диагностике, компьютерном зрении, обнаружении объектов и других задачах, допускающих описание результатов через истинно положительные, ложноположительные и ложноотрицательные ответы.

Матрица ошибок

Для вычисления F-меры в бинарной классификации используется матрица ошибок. Её элементы определяются следующим образом:

истинно положительные ответы ( $TP$ , англ. true positives) — положительные объекты, правильно отнесённые к положительному классу;
ложноположительные ответы ( $FP$ , англ. false positives) — отрицательные объекты, ошибочно отнесённые к положительному классу;
истинно отрицательные ответы ( $TN$ , англ. true negatives) — отрицательные объекты, правильно отнесённые к отрицательному классу;
ложноотрицательные ответы ( $FN$ , англ. false negatives) — положительные объекты, ошибочно отнесённые к отрицательному классу.

Например, в задаче обнаружения заболевания положительным считается наличие заболевания. Тогда:

$TP$ — заболевание обнаружено у больного пациента;
$FP$ — заболевание ошибочно обнаружено у здорового пациента;
$TN$ — здоровый пациент правильно признан здоровым;
$FN$ — заболевание не обнаружено у больного пациента.

F-мера непосредственно использует $TP$ , $FP$ и $FN$ . Число истинно отрицательных ответов $TN$ в её формулу не входит.

Точность

Точность в смысле precision показывает, какая доля объектов, предсказанных как положительные, действительно принадлежит положительному классу:

$P = \frac{TP}{TP+FP}.$

Высокая точность означает небольшое количество ложноположительных ответов.

Например, если классификатор признал положительными 100 объектов, из которых 80 действительно являются положительными, то

$P = \frac{80}{100}=0{,}8.$

Термин precision не следует смешивать с долей правильных ответов, которая в англоязычной литературе называется accuracy. Доля правильных ответов учитывает как положительный, так и отрицательный класс:

$\operatorname{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}.$

Полнота

Полнота показывает, какая доля реально положительных объектов была найдена классификатором:

$R = \frac{TP}{TP+FN}.$

Высокая полнота означает небольшое количество ложноотрицательных ответов.

Например, если в выборке находится 100 положительных объектов, а модель правильно обнаружила 80 из них, то

$R = \frac{80}{100}=0{,}8.$

Полнота также называется чувствительностью, истинно положительной долей или true positive rate. Конкретная терминология зависит от предметной области.

Баланс точности и полноты

Точность и полнота часто изменяются в противоположных направлениях.

Если классификатор относит объект к положительному классу только при очень высокой уверенности, число ложноположительных ответов может уменьшиться. Точность при этом возрастает, но часть положительных объектов будет пропущена, что уменьшает полноту.

Если порог снизить, модель станет чаще выдавать положительный ответ. Полнота может увеличиться, однако вместе с ней обычно возрастает число ложноположительных решений, способное снизить точность.

Например, система поиска может вернуть только несколько наиболее релевантных документов. Точность окажется высокой, но значительная часть полезных документов не будет найдена. Если система вернёт почти всю коллекцию, полнота приблизится к единице, но точность станет низкой.

F-мера объединяет эти два показателя, отдавая высокое значение только тем моделям, у которых одновременно достаточно высоки и точность, и полнота.

Гармоническое среднее

F1-мера представляет собой гармоническое среднее точности и полноты:

$F_1 = \frac{2}{\frac{1}{P}+\frac{1}{R}}.$

После преобразования получается стандартная форма:

$F_1 = 2\frac{P R}{P+R}.$

Гармоническое среднее сильнее зависит от меньшего из двух значений, чем среднее арифметическое.

Например, при

$P=0{,}9, \qquad R=0{,}1$

среднее арифметическое равно

$\frac{0{,}9+0{,}1}{2}=0{,}5,$

а F1-мера составляет

$F_1 = 2\frac{0{,}9\cdot0{,}1}{0{,}9+0{,}1}=0{,}18.$

Низкое значение F1 отражает сильный дисбаланс между точностью и полнотой. Классификатор не получает высокой общей оценки только за счёт одного очень высокого показателя.

Если точность и полнота равны:

$P=R,$

то F1-мера совпадает с ними:

$F_1=P=R.$

Вычисление через матрицу ошибок

Подставим определения точности и полноты в формулу F1:

$F_1 = 2\frac{\frac{TP}{TP+FP}\frac{TP}{TP+FN}}{\frac{TP}{TP+FP}+\frac{TP}{TP+FN}}.$

После сокращения получаем:

$F_1 = \frac{2TP}{2TP+FP+FN}.$

Эта форма позволяет непосредственно вычислить F1 по элементам матрицы ошибок.

Из формулы видно, что:

истинно положительные ответы увеличивают F1;
ложноположительные ответы уменьшают F1;
ложноотрицательные ответы уменьшают F1;
истинно отрицательные ответы не влияют на F1.

Последнее свойство может быть как полезным, так и нежелательным. Если отрицательный класс очень велик и его правильное распознавание не представляет основного интереса, игнорирование $TN$ позволяет сосредоточиться на положительном классе. Если же правильная обработка отрицательных объектов важна, одной F-меры недостаточно.

Пример вычисления

Пусть классификатор получил следующие результаты:

$TP=72, \qquad FP=18, \qquad FN=28.$

Точность равна

$P = \frac{72}{72+18}=\frac{72}{90}=0{,}8.$

Полнота равна

$R = \frac{72}{72+28}=\frac{72}{100}=0{,}72.$

F1-мера:

$F_1 = 2\frac{0{,}8\cdot0{,}72}{0{,}8+0{,}72}\approx0{,}758.$

Тот же результат можно получить непосредственно через матрицу ошибок:

$F_1 = \frac{2\cdot72}{2\cdot72+18+28}=\frac{144}{190}\approx0{,}758.$

Fβ-мера

F1 предполагает равную значимость точности и полноты. В задачах с различной стоимостью ошибок используется Fβ-мера:

$F_\beta = (1+\beta^2)\frac{P R}{\beta^2P+R}.$

Параметр $\beta$ регулирует предпочтение между точностью и полнотой.

F2-мера

При $\beta=2$ полноте придаётся большее значение:

$F_2 = 5\frac{P R}{4P+R}.$

Такой вариант может использоваться, когда пропуск положительного объекта особенно нежелателен. Примерами могут служить предварительное медицинское обследование, поиск опасных дефектов или обнаружение мошеннических операций.

При этом применение F2 не означает, что ложноотрицательная ошибка буквально в четыре раза дороже ложноположительной в экономическом или медицинском смысле. Параметр задаёт математическую форму усреднения, а не полную функцию реальных затрат.

F0,5-мера

При $\beta=0{,}5$ большее значение имеет точность:

$F_{0{,}5} = 1{,}25\frac{P R}{0{,}25P+R}.$

Этот вариант может быть полезен, когда ложноположительные решения особенно нежелательны. Например, автоматическая система может передавать пользователю только небольшое число рекомендаций, каждая из которых должна обладать высокой достоверностью.

Предельные случаи

При уменьшении $\beta$ к нулю Fβ-мера приближается к точности:

$\lim_{\beta\to0}F_\beta=P.$

При неограниченном увеличении $\beta$ она приближается к полноте:

$\lim_{\beta\to\infty}F_\beta=R.$

Связь с оцениванием качества классификации

Оценивание качества классификации включает выбор показателей, соответствующих цели применения модели.

F-мера особенно полезна, когда:

положительный класс представляет основной интерес;
классы несбалансированы;
важны как ложноположительные, так и ложноотрицательные ошибки;
требуется один показатель для сравнения нескольких моделей;
решение классификатора уже преобразовано в дискретные метки.

Однако наличие несбалансированных классов само по себе не означает, что F1 обязательно является подходящей метрикой. Необходимо определить:

какой класс считается положительным;
важны ли истинно отрицательные ответы;
одинаковы ли последствия $FP$ и $FN$ ;
требуется ли оценивать качество вероятностных прогнозов;
должен ли показатель учитывать весь диапазон порогов;
одинаково ли важны редкие и распространённые классы.

F-мера описывает только один аспект качества. Для полного анализа вместе с ней могут использоваться:

точность и полнота по отдельности;
доля правильных ответов;
специфичность;
Сбалансированная точность;
Коэффициент корреляции Мэтьюса;
ROC-кривая;
PR-кривая;
площадь под ROC- или PR-кривой;
Логарифмическая функция потерь;
показатели калибровки вероятностей.

Несбалансированные классы

Рассмотрим выборку из 10 000 объектов, среди которых только 100 относятся к положительному классу.

Классификатор, всегда предсказывающий отрицательный класс, получит долю правильных ответов

$\operatorname{Accuracy} = \frac{9900}{10000}=0{,}99.$

Однако он не найдёт ни одного положительного объекта:

$TP=0, \qquad FN=100.$

Его полнота и F1-мера для положительного класса будут равны нулю.

Этот пример показывает, почему одна доля правильных ответов может быть недостаточна при редком положительном классе.

Однако F1 также не решает автоматически все проблемы дисбаланса. Она полностью игнорирует число правильно распознанных отрицательных объектов. Две модели с одинаковыми $TP$ , $FP$ и $FN$ , но существенно разным количеством $TN$ , будут иметь одинаковую F1-меру.

Кроме того, точность зависит от распространённости положительного класса. При изменении доли положительных объектов значение F-меры может измениться, даже если некоторые условные характеристики классификатора сохраняются.

Многоклассовая классификация

В задаче с $K$ взаимоисключающими классами F-мера обычно вычисляется отдельно для каждого класса.

Для класса $k$ он временно считается положительным, а все остальные классы объединяются в отрицательный. Такой подход называется схемой «один против остальных».

Для каждого класса вычисляются:

$P_k = \frac{TP_k}{TP_k+FP_k},$

$R_k = \frac{TP_k}{TP_k+FN_k},$

$F_{\beta,k} = (1+\beta^2)\frac{P_kR_k}{\beta^2P_k+R_k}.$

После этого значения по классам могут быть объединены несколькими способами.

Macro F-мера

Макроусреднённая F-мера представляет собой среднее арифметическое F-мер отдельных классов:

$F_\beta^{\mathrm{macro}} = \frac{1}{K}\sum_{k=1}^{K}F_{\beta,k}.$

Каждый класс получает одинаковый вес независимо от числа объектов.

Macro F-мера чувствительна к качеству на редких классах. Низкий результат хотя бы на одном малочисленном классе может заметно уменьшить итоговое значение.

Макроусреднённую F-меру следует вычислять как среднее F-мер классов. В общем случае она не равна гармоническому среднему макроусреднённых точности и полноты:

$\frac{1}{K}\sum_{k=1}^{K}F_{\beta,k} \neq F_\beta\left(\frac{1}{K}\sum_{k=1}^{K}P_k,\frac{1}{K}\sum_{k=1}^{K}R_k\right).$

Weighted F-мера

Взвешенная F-мера учитывает количество объектов каждого класса:

$F_\beta^{\mathrm{weighted}} = \sum_{k=1}^{K}\frac{n_k}{N}F_{\beta,k},$

где $n_k$ — число истинных объектов класса $k$ , а $N$ — общее число объектов.

Распространённые классы оказывают большее влияние на итоговый показатель. Поэтому высокий результат на крупных классах может скрывать низкое качество на редких.

Weighted F-мера не обязана находиться между соответствующими взвешенными значениями точности и полноты, поскольку усредняются уже рассчитанные F-меры классов.

Micro F-мера

При микроусреднении сначала суммируются элементы матриц ошибок по всем классам:

$TP_{\mathrm{micro}} = \sum_{k=1}^{K}TP_k,$

$FP_{\mathrm{micro}} = \sum_{k=1}^{K}FP_k,$

$FN_{\mathrm{micro}} = \sum_{k=1}^{K}FN_k.$

Затем вычисляется общая F-мера:

$F_1^{\mathrm{micro}} = \frac{2TP_{\mathrm{micro}}}{2TP_{\mathrm{micro}}+FP_{\mathrm{micro}}+FN_{\mathrm{micro}}}.$

Каждое отдельное решение имеет одинаковый вес, поэтому крупные классы сильнее влияют на результат.

В обычной многоклассовой классификации, где каждому объекту назначается ровно одна истинная и одна предсказанная метка, micro precision, micro recall и micro F1 совпадают с долей правильных ответов:

$P_{\mathrm{micro}}=R_{\mathrm{micro}}=F_1^{\mathrm{micro}}=\operatorname{Accuracy}.$

Поэтому micro F1 в такой задаче может не давать дополнительной информации по сравнению с accuracy.

Многометочная классификация

В многометочной классификации одному объекту может соответствовать несколько меток одновременно.

Например, документ может относиться сразу к темам «машинное обучение», «нейронные сети» и «обработка текста».

В такой задаче можно использовать:

micro F-меру по всем парам «объект — метка»;
macro F-меру по отдельным меткам;
weighted F-меру;
F-меру, усреднённую по отдельным объектам.

При усреднении по объектам для каждого объекта сначала сравниваются множество истинных и множество предсказанных меток, после чего полученные F-меры усредняются:

$F_\beta^{\mathrm{samples}} = \frac{1}{N}\sum_{i=1}^{N}F_{\beta,i}.$

Разные способы усреднения отвечают на разные вопросы. Поэтому при публикации результата необходимо явно указывать используемый вариант.

Выбор положительного класса

В бинарной классификации F-мера не является симметричной относительно выбора положительного класса.

Если положительный и отрицательный классы поменять местами, значения $TP$ , $FP$ и $FN$ изменятся. Следовательно, изменятся точность, полнота и F-мера.

Например, F1 для класса «заболевание» оценивает качество обнаружения больных пациентов. F1 для класса «здоров» оценивает уже способность распознавать здоровых пациентов.

Поэтому выражение «F1 модели» без указания положительного класса может быть неоднозначным. Для бинарной задачи следует сообщать, какой класс считался положительным, либо приводить показатели для обоих классов.

Зависимость от порога

Многие классификаторы выдают не готовую метку, а числовую оценку или вероятность положительного класса:

$s(\mathbf{x}) \in [0,1].$

Для преобразования оценки в класс выбирается порог $t$ :

$\widehat{y} = \begin{cases}1,&s(\mathbf{x})\geq t,\0,&s(\mathbf{x})<t.\end{cases}$

При изменении порога меняются $TP$ , $FP$ и $FN$ , а вместе с ними точность, полнота и F-мера.

Порог $0{,}5$ не обязательно максимизирует F1. Оптимальное значение зависит от распределения оценок, распространённости классов и выбранного варианта усреднения.^[1]

Порог разрешается подбирать на проверочной выборке. Выбор порога по тестовой выборке приводит к утечке информации и завышенной оценке качества.

F-мера характеризует модель только в одной точке, соответствующей выбранному порогу. Для оценки поведения во всём диапазоне порогов применяются PR- и ROC-кривые.

F-мера и PR-кривая

PR-кривая показывает зависимость точности от полноты при изменении порога классификации.

Каждому порогу соответствует своя точка:

$(R(t),P(t)).$

F1-мера в этой точке равна

$F_1(t)=2\frac{P(t)R(t)}{P(t)+R(t)}.$

Линии одинакового значения F1 образуют кривые в пространстве точности и полноты. Выбор максимальной F1 соответствует поиску точки PR-кривой с наибольшим гармоническим средним.

Однако максимальная F1 и площадь под PR-кривой измеряют разные свойства:

F1 оценивает один выбранный порог;
PR-AUC или average precision обобщает качество ранжирования при множестве порогов.

Модель может иметь хорошую PR-кривую, но низкую F1 при неудачно выбранном пороге. Возможна и обратная ситуация: высокий показатель при одном пороге не гарантирует устойчивого качества во всём диапазоне.

Граничные случаи

Некоторые значения точности и полноты могут быть математически не определены.

Если модель не предсказала ни одного положительного объекта:

$TP+FP=0,$

то в формуле точности возникает деление на ноль.

Если в оцениваемой выборке нет реальных положительных объектов:

$TP+FN=0,$

то не определена полнота.

Программные библиотеки используют различные соглашения. Неопределённый результат может заменяться нулём, единицей или специальным значением, сопровождаемым предупреждением.^[1]

Выбранное соглашение особенно важно при макроусреднении по редким классам. Если некоторый класс отсутствует в отдельной части данных, способ обработки неопределённого значения способен изменить итоговую оценку.

При сравнении результатов необходимо указывать:

какие классы включались в усреднение;
как обрабатывалось деление на ноль;
присутствовали ли все классы в тестовой выборке;
использовались ли веса объектов.

Преимущества

К основным преимуществам F-меры относятся:

объединение точности и полноты в один показатель;
чувствительность к ложноположительным и ложноотрицательным ошибкам;
удобство при оценивании редкого положительного класса;
интерпретируемый диапазон от 0 до 1;
возможность изменять предпочтение между точностью и полнотой с помощью $\beta$ ;
применимость к бинарным, многоклассовым и многометочным задачам;
простое вычисление по матрице ошибок.

F-мера особенно удобна для первичного сравнения моделей, когда имеется заранее определённый положительный класс и требуется баланс между его точностью и полнотой.

Ограничения

Игнорирование истинно отрицательных ответов

F-мера не использует $TN$ . Поэтому она не оценивает способность модели правильно отклонять отрицательные объекты непосредственно.

Если отрицательный класс имеет содержательную ценность, необходимо дополнительно рассматривать специфичность, balanced accuracy, MCC или полную матрицу ошибок.

Потеря информации при объединении показателей

Одинаковая F1-мера может получаться при разных сочетаниях точности и полноты.

Например, модели с показателями

$P=0{,}9,\qquad R=0{,}6$

$P=0{,}6,\qquad R=0{,}9$

имеют одинаковую F1:

$F_1=0{,}72.$

Однако практические последствия их ошибок могут существенно различаться.

Поэтому вместе с F-мерой желательно сообщать точность и полноту отдельно.

Зависимость от положительного класса

F-мера оценивает качество относительно выбранного положительного класса. Высокое значение для одного класса не гарантирует высокого качества для другого.

Зависимость от порога

F-мера вычисляется после преобразования оценок модели в дискретные решения. Изменение порога может значительно изменить результат.

Отсутствие оценки калибровки

F-мера не оценивает, насколько корректны предсказанные вероятности.

Две модели, выдающие одинаковые итоговые классы, имеют одинаковую F-меру, даже если одна из них формирует хорошо откалиброванные вероятности, а другая — чрезмерно уверенные оценки.

Для оценки вероятностных прогнозов используются логарифмическая функция потерь, Оценка Бриера и показатели калибровки.

Отсутствие прямого учёта стоимости ошибок

Параметр $\beta$ позволяет изменить баланс между точностью и полнотой, однако он не заменяет полноценную функцию стоимости.

Если известна денежная, медицинская или техническая стоимость каждого типа ошибки, целесообразно оценивать ожидаемые затраты непосредственно.

Зависимость от распределения классов

Точность, а следовательно и F-мера, зависит от доли положительных объектов. Значения, полученные на выборках с разной распространённостью класса, могут быть несопоставимыми без дополнительного анализа.

F-мера как целевая функция обучения

Стандартная F-мера вычисляется по дискретным решениям и содержит пороговые операции. Поэтому она не является гладкой дифференцируемой функцией параметров большинства моделей.

Нейронные сети обычно обучаются с помощью дифференцируемых функций потерь, например перекрёстной энтропии, а F-мера применяется для оценивания результата и выбора порога.

Существуют дифференцируемые приближения F-меры, однако их свойства зависят от способа сглаживания. Оптимизация приближённой функции не гарантирует получение максимальной F-меры на новых данных.

Типичная практическая процедура имеет вид:

модель обучается по дифференцируемой функции потерь;

порог подбирается на проверочной выборке;

F-мера один раз вычисляется на независимой тестовой выборке;

вместе с ней публикуются точность, полнота и другие значимые показатели.

Сравнение с долей правильных ответов

Доля правильных ответов учитывает все верные предсказания:

$\operatorname{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}.$

F1 учитывает только качество относительно положительного класса:

$F_1=\frac{2TP}{2TP+FP+FN}.$

Accuracy может быть предпочтительна, если:

классы имеют сопоставимую распространённость;
ошибки разных классов примерно одинаково значимы;
требуется оценить общую долю верных решений.

F1 может быть информативнее, если:

положительный класс редок;
истинно отрицательные ответы не являются основной целью;
важен баланс между $FP$ и $FN$ .

Ни одна из этих метрик не является универсально лучшей. Выбор зависит от структуры данных и назначения системы.

Сравнение с коэффициентом корреляции Мэтьюса

Коэффициент корреляции Мэтьюса использует все четыре элемента бинарной матрицы ошибок:

$\operatorname{MCC} = \frac{TP\cdot TN-FP\cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}.$

В отличие от F1, MCC учитывает истинно отрицательные ответы и симметрично рассматривает оба класса.

MCC может быть полезен, когда требуется единый показатель полной бинарной матрицы ошибок. F1 удобнее, когда анализ сосредоточен на качестве выделения одного положительного класса.

Статистическая неопределённость

F-мера, вычисленная на конечной тестовой выборке, является оценкой, зависящей от состава этой выборки.

Разница между двумя моделями может возникнуть случайно, особенно если:

тестовая выборка мала;
положительный класс редок;
модели отличаются на небольшом числе объектов;
оценивается большое число классов.

Поэтому при строгом сравнении могут использоваться:

бутстрэп-интервалы;
повторная кросс-валидация;
перестановочные тесты;
анализ результатов по отдельным подгруппам;
доверительные интервалы для разности показателей.

Одного значения F1 без информации о размере выборки и вариативности результатов может быть недостаточно для обоснованного вывода о превосходстве модели.

Заключение

F-мера — показатель качества классификации, объединяющий точность и полноту посредством гармонического среднего. Наиболее распространённый вариант, F1-мера, придаёт этим двум характеристикам одинаковое значение.

Точность отражает долю правильных положительных ответов среди всех положительных предсказаний, а полнота — долю найденных положительных объектов среди всех реально положительных. Благодаря гармоническому среднему F1 получает высокое значение только тогда, когда оба показателя достаточно велики.

Обобщённая Fβ-мера позволяет увеличить относительную значимость полноты или точности. При $\beta>1$ сильнее учитывается полнота, а при $\beta<1$ — точность.

В многоклассовых и многометочных задачах F-мера вычисляется для отдельных классов и объединяется посредством micro-, macro-, weighted- или другого усреднения. Эти способы отражают разные представления о значимости классов и не являются взаимозаменяемыми.

F-мера полезна при работе с редким положительным классом, однако она игнорирует истинно отрицательные ответы, зависит от порога и не оценивает качество вероятностных прогнозов. Поэтому её необходимо использовать совместно с матрицей ошибок, точностью, полнотой и другими показателями, соответствующими условиям конкретной задачи.

См. также

Литература

Chinchor N. MUC-4 Evaluation Metrics // Proceedings of the Fourth Message Understanding Conference. 1992. P. 22–29.
Davis J., Goadrich M. The Relationship Between Precision-Recall and ROC Curves // Proceedings of the 23rd International Conference on Machine Learning. 2006. P. 233–240.
Lipton Z. C., Elkan C., Narayanaswamy B. Optimal Thresholding of Classifiers to Maximize F1 Measure // Machine Learning and Knowledge Discovery in Databases. 2014. P. 225–239.
Powers D. M. W. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness and Correlation // Journal of Machine Learning Technologies. 2011. Vol. 2, No. 1. P. 37–63.
Sokolova M., Lapalme G. A Systematic Analysis of Performance Measures for Classification Tasks // Information Processing & Management. 2009. Vol. 45, No. 4. P. 427–437.
van Rijsbergen C. J. Information Retrieval. 2nd ed. London: Butterworths, 1979.
Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge: Cambridge University Press, 2008.
Bishop C. M., Bishop H. Deep Learning: Foundations and Concepts. Cham: Springer, 2024.

Примечания

Источник — «http://machinelearning.ru/wiki/index.php?title=F-%D0%BC%D0%B5%D1%80%D0%B0»

Версия 16:47, 18 июля 2026 (править) Alfit Gaifullin (Обсуждение \| вклад) (→См. также) ← К предыдущему изменению		Версия 16:48, 18 июля 2026 (править) (отменить) Alfit Gaifullin (Обсуждение \| вклад) К следующему изменению →
Строка 1:		Строка 1:
		+	{{well\|Статья написана с использованием LLM '''GPT-5.6 Thinking''' и проверена участником [[Участник:Alfit Gaifullin\|Alfit Gaifullin]] 13:50, 18 июля 2026 (MSD). Промпт приводится полностью в [[Обсуждение:F-мера]].}}
	= F-мера =		= F-мера =

F-мера

Материал из MachineLearning.

Версия 16:48, 18 июля 2026

Содержание

F-мера

Происхождение

Матрица ошибок

Точность

Полнота

Баланс точности и полноты

Гармоническое среднее

Вычисление через матрицу ошибок

Пример вычисления

Fβ-мера

F2-мера

F0,5-мера

Предельные случаи

Связь с оцениванием качества классификации

Несбалансированные классы

Многоклассовая классификация

Macro F-мера

Weighted F-мера

Micro F-мера

Многометочная классификация

Выбор положительного класса

Зависимость от порога

F-мера и PR-кривая

Граничные случаи

Преимущества

Ограничения

Игнорирование истинно отрицательных ответов

Потеря информации при объединении показателей

Зависимость от положительного класса

Зависимость от порога

Отсутствие оценки калибровки

Отсутствие прямого учёта стоимости ошибок

Зависимость от распределения классов

F-мера как целевая функция обучения

Сравнение с долей правильных ответов

Сравнение с коэффициентом корреляции Мэтьюса

Статистическая неопределённость

Заключение

См. также

Литература

Примечания

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты