F-оценка
Статистическая мера точности теста
Точность и отзыв

В статистическом анализе систем бинарной классификации и поиска информации F-оценка или F-мера является мерой предсказательной эффективности. Она рассчитывается на основе точности и полноты теста, где точность — это количество истинно положительных результатов, деленное на количество всех образцов, которые, как прогнозируется, будут положительными, включая те, которые были идентифицированы неправильно, а полнота — это количество истинно положительных результатов, деленное на количество всех образцов, которые должны были быть идентифицированы как положительные. Точность также известна как положительное предсказательное значение , а полнота также известна как чувствительность в диагностической бинарной классификации.

Оценка F 1 — это гармоническое среднее значение точности и полноты. Таким образом, она симметрично представляет как точность, так и полноту в одной метрике. Более общая оценка применяет дополнительные веса, оценивая одну из точности или полноты больше, чем другую. Ф β {\displaystyle F_{\beta}}

Максимально возможное значение F-оценки составляет 1,0, что указывает на идеальную точность и полноту, а минимально возможное значение составляет 0, если точность и полнота равны нулю.

Этимология

Считается, что название F-мера произошло от другой функции F из книги Ван Рийсбергена, представленной на Четвертой конференции по пониманию сообщений (MUC-4, 1992). [1]

Определение

Традиционная F-мера или сбалансированная F-оценка ( оценка F1 ) представляет собой гармоническое среднее значение точности и полноты: [2]

Ф 1 = 2 г е с а л л − 1 + п г е с я с я о н − 1 = 2 п г е с я с я о н ⋅ г е с а л л п г е с я с я о н + г е с а л л = 2 Т П 2 Т П + Ф П + Ф Н {\displaystyle F_{1}={\frac {2}{\mathrm {recall} ^{-1}+\mathrm {precision} ^{-1}}}=2{\frac {\mathrm {precision} \ cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}={\frac {2\mathrm {TP} {2\mathrm {TP} +\mathrm {FP} +\mathrm { ФН} }}} .

Фβсчет

Более общая оценка F, которая использует положительный действительный фактор , где выбрано так, что полнота считается в разы более важной, чем точность, выглядит следующим образом: Ф β {\displaystyle F_{\beta}} β {\displaystyle \бета} β {\displaystyle \бета} β {\displaystyle \бета}

Ф β = ( 1 + β 2 ) ⋅ п г е с я с я о н ⋅ г е с а л л ( β 2 ⋅ п г е с я с я о н ) + г е с а л л {\displaystyle F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {точность} \cdot \mathrm {отзыв} }{(\beta ^{2}\cdot \mathrm {точность} )+\mathrm {отзыв} }}} .

С точки зрения ошибок типа I и типа II это становится:

Ф β = ( 1 + β 2 ) ⋅ т г ты е   п о с я т я в е ( 1 + β 2 ) ⋅ т г ты е   п о с я т я в е + β 2 ⋅ ф а л с е   н е г а т я в е + ф а л с е   п о с я т я в е {\displaystyle F_{\beta }={\frac {(1+\beta ^{2})\cdot \mathrm {истина\ положительное} }{(1+\beta ^{2})\cdot \mathrm {истина\ положительное} +\beta ^{2}\cdot \mathrm {ложь\ отрицательное} +\mathrm {ложь\ положительное} }}\,} .

Два наиболее часто используемых значения — это 2, при котором полнота имеет больший вес, чем точность, и 0,5, при котором полнота имеет меньший вес, чем точность. β {\displaystyle \бета}

F-мера была выведена таким образом, чтобы «измерять эффективность поиска по отношению к пользователю, который придает в разы большее значение запоминанию, чем точности». [3] Она основана на мере эффективности Ван Рейсбергена Ф β {\displaystyle F_{\beta}} β {\displaystyle \бета}

Э = 1 − ( α п + 1 − α г ) − 1 {\displaystyle E=1-\left({\frac {\alpha }{p}}+{\frac {1-\alpha }{r}}\right)^{-1}} .

Их отношения - это то, где . Ф β = 1 − Э {\displaystyle F_{\beta }=1-E} α = 1 1 + β 2 {\displaystyle \alpha ={\frac {1}{1+\beta ^{2}}}}

Диагностическое тестирование

Это связано с областью бинарной классификации , где отзыв часто называют «чувствительностью».

Прогнозируемое состояниеИсточники: [4] [5] [6] [7] [8] [9] [10] [11]
Общая численность населения
= P + N		Прогнозируемый положительный (ПП)Прогнозируемый отрицательный (PN)Информированность , букмекерская информированность (БМ)
= TPR + TNR − 1		Порог распространенности (PT)
= ⁠√ TPR × FPR - FPR/ТПР - ФПР⁠
Фактическое состояние
Положительный (P) [a]Истинно положительный (TP),
удар [b]		Ложноотрицательный результат (ЛО),
промах, недооценка		Истинно положительный процент (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, процент попаданий, мощность
= ⁠ТП/П⁠ = 1 − ФНР		Ложноотрицательный коэффициент (ЛКО),
коэффициент
ошибок типа II [c]
= ⁠ФН/П⁠ = 1 − ТПР
Отрицательно (Н) [г]Ложноположительный результат (ЛП),
ложная тревога, переоценка		Истинно отрицательный (TN),
правильное отклонение [e]		Коэффициент ложных срабатываний (FPR),
вероятность ложной тревоги, ошибка
типа I [f]
= ⁠ФП/Н⁠ = 1 − ТНР		Истинно отрицательный показатель (TNR),
специфичность (SPC), селективность
= ⁠ТН/Н⁠ = 1 − ФПР
Распространенность
= ⁠П/П + Н⁠		Положительная прогностическая ценность (PPV), точность
= ⁠ТП/ПП⁠ = 1 − ФДР		Коэффициент ложного пропуска (FOR)
= ⁠ФН/ПН⁠ = 1 − ЧПС		Положительное отношение правдоподобия (LR+)
= ⁠ТПР/ФПР⁠		Отрицательное отношение правдоподобия (LR−)
= ⁠ФНР/ТНР⁠
Точность (ACC)
= ⁠ТП + ТН/П + Н⁠		Коэффициент ложных срабатываний (FDR)
= ⁠ФП/ПП⁠ = 1 − ППЦ		Отрицательная прогностическая ценность (NPV)
= ⁠ТН/ПН⁠ = 1 − ДЛЯ		Маркированность (МК), дельтаП (Δp)
= PPV + NPV − 1		Диагностическое отношение шансов (DOR)
= ⁠ЛР+/ЛР−⁠
Сбалансированная точность (BA)
= ⁠ТПР + ТНР/2⁠		F 1 оценка
= ⁠2 PPV × TPR/ППВ + ТПР⁠ = ⁠2 ТП/2 ТП + ФП + ФН⁠		Индекс Фаулкса–Мэллоуза (FM)
= √ PPV × TPR		Коэффициент корреляции Мэтьюса (MCC)
= √ TPR × TNR × PPV × NPV - √ FNR × FPR × FOR × FDR		Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара
= ⁠ТП/ТП + ФН + ФП⁠
  1. ^ количество реальных положительных случаев в данных
  2. ^ Результат теста, который правильно указывает на наличие состояния или характеристики.
  3. ^ Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.
  4. ^ количество реальных отрицательных случаев в данных
  5. ^ Результат теста, который правильно указывает на отсутствие состояния или характеристики.
  6. ^ Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного состояния или атрибута.
Нормализованный график гармонического среднего, где x — точность, y — полнота, а вертикальная ось — оценка F 1 в процентных пунктах.
Кривая точности-полноты: точки с разными пороговыми значениями обозначены цветом, точка с оптимальным F-баллом выделена красным

Зависимость F-оценки от дисбаланса классов

Кривая точности-полноты и, следовательно, оценка явно зависят от соотношения положительных и отрицательных тестовых случаев. [12] Это означает, что сравнение F-оценки по разным задачам с разными соотношениями классов проблематично. Одним из способов решения этой проблемы (см., например, Siblini et al., 2020 [13] ) является использование стандартного соотношения классов при проведении таких сравнений. Ф β {\displaystyle F_{\beta}} г {\displaystyle r} г 0 {\displaystyle r_{0}}

Приложения

F-оценка часто используется в области поиска информации для измерения производительности поиска , классификации документов и классификации запросов . [14] Она особенно актуальна в приложениях, которые в первую очередь связаны с положительным классом и где положительный класс встречается реже отрицательного класса.

Более ранние работы были сосредоточены в основном на оценке F 1 , но с распространением крупномасштабных поисковых систем цели производительности изменились, и теперь больше внимания уделяется либо точности, либо полноте [15] , поэтому этот метод нашел широкое применение. Ф β {\displaystyle F_{\beta}}

F-оценка также используется в машинном обучении . [16] Однако F-меры не учитывают истинно отрицательные значения, поэтому для оценки эффективности бинарного классификатора могут быть предпочтительны такие меры, как коэффициент корреляции Мэтьюза , информированность или каппа Коэна . [17]

F-оценка широко используется в литературе по обработке естественного языка [18] , например, при оценке распознавания именованных сущностей и сегментации слов .

Характеристики

Оценка F 1 представляет собой коэффициент Дайса для набора извлеченных элементов и набора соответствующих элементов. [19]

  • F - оценка классификатора, который всегда предсказывает положительный класс, стремится к 1 по мере увеличения вероятности положительного класса.
  • F 1 -оценка классификатора, который всегда предсказывает положительный класс, равна 2 * пропорция_положительного_класса / ( 1 + пропорция_положительного_класса ), поскольку полнота равна 1, а точность равна пропорции положительного класса. [20]
  • Если модель оценки неинформативна (не может различить положительный и отрицательный класс), то оптимальный порог равен 0, так что положительный класс всегда прогнозируется.
  • Показатель F 1 вогнут в истинно положительном показателе. [21]

Критика

Дэвид Хэнд и другие критикуют широкое использование оценки F 1 , поскольку она придает одинаковое значение точности и отзыву. На практике разные типы ошибочных классификаций влекут за собой разные издержки. Другими словами, относительная важность точности и отзыва является аспектом проблемы. [22]

По мнению Давиде Чикко и Джузеппе Юрмана, оценка F 1 менее правдива и информативна, чем коэффициент корреляции Мэтьюза (MCC) в бинарной оценочной классификации. [23]

Дэвид М. В. Пауэрс указал на то, что F 1 игнорирует истинно отрицательные значения и, таким образом, вводит в заблуждение для несбалансированных классов, в то время как меры каппа и корреляции симметричны и оценивают оба направления предсказуемости — классификатор, предсказывающий истинный класс, и истинный класс, предсказывающий предсказание классификатора, предлагая отдельные многоклассовые меры информированности и маркированности для двух направлений, отмечая, что их геометрическое среднее является корреляцией. [24]

Другим источником критики F 1 является его отсутствие симметрии. Это означает, что он может изменить свое значение при изменении маркировки набора данных - "положительные" образцы называются "отрицательными" и наоборот. Эта критика встречается с определением метрики P4 , которое иногда указывается как симметричное расширение F 1 . [25]

Отличие от индекса Фаулкса–Мэллоуза

В то время как F-мера представляет собой гармоническое среднее полноты и точности, индекс Фаулкса-Мэллоуза представляет собой их геометрическое среднее . [26]

Расширение многоклассовой классификации

F-оценка также используется для оценки проблем классификации с более чем двумя классами ( мультиклассовая классификация ). Распространенным методом является усреднение F-оценки по каждому классу с целью сбалансированного измерения производительности. [27]

Макрос F1

Macro F1 — это макроусредненная оценка F1, нацеленная на сбалансированное измерение производительности. Для расчета macro F1 использовались две различные формулы усреднения: оценка F1 (арифметических) средних значений точности и полноты по классам или среднее арифметическое оценок F1 по классам, где последняя демонстрирует более желательные свойства. [28]

Микро F1

Micro F1 — это гармоническое среднее микроточности (количество правильных предсказаний, нормализованное по ложным положительным результатам) и микроотзыва (количество правильных предсказаний, нормализованное по ложным отрицательным результатам). Поскольку при многоклассовой оценке общее количество ложных положительных результатов равно количеству ложных отрицательных результатов, micro F1 эквивалентно Accuracy . [27]

Смотрите также

Ссылки

  1. ^ Сасаки, Y. (2007). «Истина F-меры» (PDF) . Teach tutor mater . Том 1, № 5. С. 1–5.
  2. ^ Азиз Таха, Абдель (2015). «Метрики для оценки сегментации 3D-медицинских изображений: анализ, выбор и инструмент». BMC Medical Imaging . 15 (29): 1–28. doi : 10.1186/s12880-015-0068-x . PMC 4533825. PMID  26263899 . 
  3. ^ Ван Рейсберген, CJ (1979). Информационный поиск (2-е изд.). Баттерворт-Хайнеманн.
  4. ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Pattern Recognition Letters . 27 (8): 861–874. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
  5. ^ Провост, Фостер; Том Фосетт (2013-08-01). «Наука о данных для бизнеса: что вам нужно знать о добыче данных и аналитическом мышлении». O'Reilly Media, Inc.
  6. ^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, полноты и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
  7. ^ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (ред.). Энциклопедия машинного обучения . Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
  8. ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Кох, Тие-Йонг; Рёббер, Пол; Стивенсон, Дэвид (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research . World Meteorological Organization . Получено 17 июля 2019 г.
  9. ^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID  31898477. 
  10. ^ Chicco D, Toetsch N, Jurman G (февраль 2021 г.). «Коэффициент корреляции Мэтьюса (MCC) более надежен, чем сбалансированная точность, информированность букмекера и маркированность при оценке двухклассовой матрицы путаницы». BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449 . PMID  33541410. 
  11. ^ Tharwat A. (август 2018 г.). «Методы оценки классификации». Прикладная вычислительная техника и информатика . 17 : 168–192. doi : 10.1016/j.aci.2018.08.003 .
  12. ^ Брабец, Ян; Комарек, Томаш; Франк, Войтех; Махлица, Лукаш (2020). «Об оценке модели в условиях непостоянного классового дисбаланса». Международная конференция по вычислительной науке . Спрингер. стр. 74–87. arXiv : 2001.05571 . дои : 10.1007/978-3-030-50423-6_6 .
  13. ^ Siblini, W.; Fréry, J.; He-Guelton, L.; Oblé, F.; Wang, YQ (2020). «Овладейте своими метриками с помощью калибровки». В M. Berthold; A. Feelders; G. Krempl (ред.). Advances in Intelligent Data Analysis XVIII . Springer. стр. 457–469. arXiv : 1909.02827 . doi : 10.1007/978-3-030-44584-3_36 .
  14. ^ Beitzel., Steven M. (2006). О понимании и классификации веб-запросов (диссертация). IIT. CiteSeerX 10.1.1.127.634 . 
  15. ^ X. Li; Y.-Y. Wang; A. Acero (июль 2008 г.). Изучение намерения запроса с помощью регуляризованных графов кликов . Труды 31-й конференции SIGIR . стр. 339. doi :10.1145/1390334.1390393. ISBN 9781605581644. S2CID  8482989.
  16. ^ См., например, оценку [1].
  17. ^ Пауэрс, Дэвид М. В. (2015). «Что не измеряет F-мера». arXiv : 1503.06410 [cs.IR].
  18. ^ Дерчински, Л. (2016). Комплементарность, F-оценка и оценка НЛП. Труды Международной конференции по языковым ресурсам и оценке .
  19. ^ Мэннинг, Кристофер (1 апреля 2009 г.). Введение в информационный поиск (PDF) . Упражнение 8.7: Cambridge University Press. стр. 200. Получено 18 июля 2022 г.{{cite book}}: CS1 maint: местоположение ( ссылка )
  20. ^ «Каков базовый уровень оценки F1 для бинарного классификатора?».
  21. ^ Липтон, З. К., Элкан, К. П. и Нараянасвами, Б. (2014). Оптимальное пороговое значение F1 в многомаркерной настройке. ArXiv, abs/1402.1892.
  22. ^ Хэнд, Дэвид. «Заметка об использовании F-меры для оценки алгоритмов связывания записей — Измерения». app.dimensions.ai . doi :10.1007/s11222-017-9746-6. hdl : 10044/1/46235 . S2CID  38782128 . Получено 08.12.2018 .
  23. ^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) по сравнению с оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (6): 6. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID  31898477. 
  24. ^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-оценки до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63. hdl :2328/27165.
  25. ^ Ситарц, Миколай (2022). «Расширение метрики F1, вероятностный подход». arXiv : 2210.11997 [cs.LG].
  26. ^ Tharwat A (август 2018). «Методы оценки классификации». Прикладная вычислительная техника и информатика . 17 : 168–192. doi : 10.1016/j.aci.2018.08.003 .
  27. ^ ab Opitz, Juri (2024). «Более пристальный взгляд на метрики оценки классификации и критическое отражение общей практики оценки». Труды Ассоциации компьютерной лингвистики . 12 : 820–836. arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675.
  28. ^ J. Opitz; S. Burst (2019). «Макро F1 и макро F1». arXiv : 1911.03347 [stat.ML].
Взято с "https://en.wikipedia.org/w/index.php?title=F-score&oldid=1254386117"