Матрица путаницы

Табличный макет для визуализации производительности; также называется матрицей ошибок

В области машинного обучения и, в частности, в задаче статистической классификации , матрица путаницы , также известная как матрица ошибок , ^[1] представляет собой особую табличную структуру, которая позволяет визуализировать производительность алгоритма, как правило, контролируемого обучения ; в неконтролируемом обучении ее обычно называют матрицей соответствия .

Каждая строка матрицы представляет экземпляры в реальном классе, в то время как каждый столбец представляет экземпляры в предсказанном классе, или наоборот — оба варианта встречаются в литературе. ^[2] Таким образом, диагональ матрицы представляет все экземпляры, которые были правильно предсказаны. ^[3] Название происходит от того факта, что оно позволяет легко увидеть, путает ли система два класса (т. е. часто ошибочно маркирует один из них как другой).

Это особый вид таблицы сопряженности с двумя измерениями («фактическое» и «прогнозируемое») и идентичными наборами «классов» в обоих измерениях (каждая комбинация измерения и класса является переменной в таблице сопряженности).

Пример

Учитывая выборку из 12 человек, 8 из которых были диагностированы с раком, а 4 — без рака, где люди с раком относятся к классу 1 (положительные), а люди без рака — к классу 0 (отрицательные), мы можем отобразить эти данные следующим образом:

Индивидуальный номер	1	2	3	4	5	6	7	8	9	10	11	12
Фактическая классификация	1	1	1	1	1	1	1	1	0	0	0	0

Предположим, что у нас есть классификатор, который каким-то образом различает людей с раком и без него, мы можем взять 12 человек и пропустить их через классификатор. Затем классификатор делает 9 точных предсказаний и пропускает 3: 2 человека с раком, ошибочно предсказанных как не имеющих рака (выборки 1 и 2), и 1 человек без рака, ошибочно предсказанный как имеющий рак (выборка 9).

Индивидуальный номер	1	2	3	4	5	6	7	8	9	10	11	12
Фактическая классификация	1	1	1	1	1	1	1	1	0	0	0	0
Предсказуемая классификация	0	0	1	1	1	1	1	1	1	0	0	0

Обратите внимание, что если мы сравним фактический набор классификации с предсказанным набором классификации, то в любом конкретном столбце может быть 4 разных результата. Во-первых, если фактическая классификация положительна и предсказанная классификация положительна (1,1), это называется истинно положительным результатом, потому что положительный образец был правильно идентифицирован классификатором. Во-вторых, если фактическая классификация положительна и предсказанная классификация отрицательна (1,0), это называется ложноотрицательным результатом, потому что положительный образец неправильно идентифицирован классификатором как отрицательный. В-третьих, если фактическая классификация отрицательна и предсказанная классификация положительна (0,1), это называется ложноположительным результатом, потому что отрицательный образец неправильно идентифицирован классификатором как положительный. В-четвертых, если фактическая классификация отрицательна и предсказанная классификация отрицательна (0,0), это называется истинно отрицательным результатом, потому что отрицательный образец правильно идентифицирован классификатором.

Затем мы можем выполнить сравнение между фактическими и прогнозируемыми классификациями и добавить эту информацию в таблицу, отобразив правильные результаты зеленым цветом, чтобы их было легче идентифицировать.

Индивидуальный номер	1	2	3	4	5	6	7	8	9	10	11	12
Фактическая классификация	1	1	1	1	1	1	1	1	0	0	0	0
Предсказуемая классификация	0	0	1	1	1	1	1	1	1	0	0	0
Результат	ФН	ФН	ТП	ТП	ТП	ТП	ТП	ТП	ФП	ТН	ТН	ТН

Шаблон для любой бинарной матрицы путаницы использует четыре вида результатов, обсуждавшихся выше (истинно положительные, ложно отрицательные, ложно положительные и истинно отрицательные) вместе с положительными и отрицательными классификациями. Четыре результата можно сформулировать в матрице путаницы 2×2 следующим образом:

		Прогнозируемое состояние
	Общая численность населения = P + N	Положительный (ПП)	Отрицательный (ПН)
Фактическое состояние	Положительный (П)	Истинно положительный (TP)	Ложноотрицательный результат (ЛО)
Фактическое состояние	Отрицательно (Н)	Ложноположительный результат (ЛП)	Истинно отрицательный (TN)
^{Источники:}^[4]^[5]^[6]^[7]^[8]^[9]^[10]

Цветовая маркировка трех таблиц данных, приведенных выше, была выбрана в соответствии с этой матрицей неточностей, чтобы можно было легко различать данные.

Теперь мы можем просто суммировать каждый тип результата, подставить в шаблон и создать матрицу неточностей, которая кратко обобщит результаты тестирования классификатора:

		Прогнозируемое состояние
	Общий 8 + 4 = 12	Рак 7	Нерак 5
Фактическое состояние	Рак 8	6	2
Фактическое состояние	Нерак 4	1	3

В этой матрице путаницы из 8 образцов с раком система определила, что 2 не имеют рака, а из 4 образцов без рака она предсказала, что 1 имеет рак. Все правильные прогнозы расположены на диагонали таблицы (выделены зеленым), поэтому легко визуально проверить таблицу на наличие ошибок прогнозирования, поскольку значения за пределами диагонали будут их представлять. Суммируя 2 строки матрицы путаницы, можно также вывести общее количество положительных (P) и отрицательных (N) образцов в исходном наборе данных, т. е. и . $P=TP+FN$ $N=FP+TN$

Таблица путаницы

В предиктивной аналитике таблица путаницы (иногда также называемая матрицей путаницы ) представляет собой таблицу с двумя строками и двумя столбцами, в которой указано количество истинно положительных , ложно отрицательных , ложно положительных и истинно отрицательных результатов . Это позволяет проводить более подробный анализ, чем простое наблюдение за долей правильных классификаций (точностью). Точность приведет к вводящим в заблуждение результатам, если набор данных несбалансирован; то есть когда количество наблюдений в разных классах сильно различается.

Например, если бы в данных было 95 образцов рака и только 5 образцов нерака, определенный классификатор мог бы классифицировать все наблюдения как имеющие рак. Общая точность была бы 95%, но более подробно классификатор имел бы 100% уровень распознавания ( чувствительность ) для класса рака, но 0% уровень распознавания для класса нерака. Оценка F1 еще более ненадежна в таких случаях и здесь дала бы более 97,4%, тогда как информированность устраняет такую предвзятость и дает 0 как вероятность информированного решения для любой формы угадывания (здесь всегда угадывание рака).

По мнению Давиде Чикко и Джузеппе Юрмана, наиболее информативной метрикой для оценки матрицы путаницы является коэффициент корреляции Мэтьюза (MCC) . ^[11]

В матрицу неточностей можно включить и другие показатели, каждый из которых имеет свое значение и применение.

		Прогнозируемое состояние		^{Источники:}^[12]^[13]^[14]^[15]^[16]^[17]^[18]^[19] ^{вид разговаривать редактировать}
	Общая численность населения $= P + N$	Прогнозируемый положительный	Прогнозируемый отрицательный	Информированность , букмекерская информированность (БМ) $= TPR + TNR - 1$	Порог распространенности (PT) $= ⁠ \sqrt TPR \times FPR - FPR / ТПР - ФПР ⁠$
Фактическое состояние	Положительный (P) ^[a]	Истинно положительный (TP), удар ^[b]	Ложноотрицательный результат (ЛО), промах, недооценка	Истинно положительный процент (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, процент попаданий, мощность $= ⁠ ТП / П ⁠$ $= 1 - ФНР$	Ложноотрицательный коэффициент (ЛКО), коэффициент ошибок типа II ^[c] $= ⁠ ФН / П ⁠$ $= 1 - ТПР$
Фактическое состояние	Отрицательно (Н) ^[г]	Ложноположительный результат (ЛП), ложная тревога, переоценка	Истинно отрицательный (TN), правильное отклонение ^[e]	Коэффициент ложных срабатываний (FPR), вероятность ложной тревоги, ошибка типа I ^[f] $= ⁠ ФП / Н ⁠$ $= 1 - ТНР$	Истинно отрицательный показатель (TNR), специфичность (SPC), селективность $= ⁠ ТН / Н ⁠$ $= 1 - ФПР$
	Распространенность $= ⁠ П / П + Н ⁠$	Положительная прогностическая ценность (PPV), точность $= ⁠ ТП / ТП + ФП ⁠$ $= 1 - ФДР$	Коэффициент ложного пропуска (FOR) $= ⁠ ФН / ТН + ФН ⁠$ $= 1 - ЧПС$	Положительное отношение правдоподобия (LR+) $= ⁠ ТПР / ФПР ⁠$	Отрицательное отношение правдоподобия (LR−) $= ⁠ ФНР / ТНР ⁠$
	Точность (ACC) $= ⁠ ТП + ТН / П + Н ⁠$	Коэффициент ложных срабатываний (FDR) $= ⁠ ФП / ТП + ФП ⁠$ $= 1 - ППЦ$	Отрицательная прогностическая ценность (NPV) $= ⁠ ТН / ТН + ФН ⁠$ $= 1 - ДЛЯ$	Маркированность (МК), дельтаП (Δp) $= PPV + NPV - 1$	Диагностическое отношение шансов (DOR) $= ⁠ ЛР+ / ЛР- ⁠$
	Сбалансированная точность (BA) $= ⁠ ТПР + ТНР / 2 ⁠$	F ₁ оценка $= ⁠ 2 PPV \times TPR / ППВ + ТПР ⁠$ $= ⁠ 2 ТП / 2 ТП + ФП + ФН ⁠$	Индекс Фаулкса–Мэллоуза (FM) $= \sqrt PPV \times TPR$	Коэффициент корреляции Мэтьюса (MCC) $= \sqrt TPR \times TNR \times PPV \times NPV$ $- \sqrt FNR \times FPR \times FOR \times FDR$	Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара $= ⁠ ТП / ТП + ФН + ФП ⁠$

^ количество реальных положительных случаев в данных
^ Результат теста, который правильно указывает на наличие состояния или характеристики.
^ Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.
^ количество реальных отрицательных случаев в данных
^ Результат теста, который правильно указывает на отсутствие состояния или характеристики.
^ Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного состояния или атрибута.

Матрицы путаницы с более чем двумя категориями

Матрица путаницы не ограничивается бинарной классификацией и может использоваться также в многоклассовых классификаторах. Матрицы путаницы, обсуждаемые выше, имеют только два условия: положительное и отрицательное. Например, в таблице ниже суммируется коммуникация свистящего языка между двумя говорящими, при этом нулевые значения опущены для ясности. ^[20]

Воспринимаемая гласная Произносится гласный	я	а	о	ты
я	15	1
е	1	1
а		79	5
о		4	15	3
ты			2	2

Смотрите также

Положительные и отрицательные прогностические значения

Ссылки

^ Стехман, Стивен В. (1997). «Выбор и интерпретация мер точности тематической классификации». Дистанционное зондирование окружающей среды . 62 (1): 77– 89. Bibcode :1997RSEnv..62...77S. doi :10.1016/S0034-4257(97)00083-7.
^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63 . S2CID 55767944.
^ Опиц, Юри (2024). «Более пристальный взгляд на метрики оценки классификации и критическое отражение общей практики оценки». Труды Ассоциации компьютерной лингвистики . 12 : 820–836 . arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675.
^ Провост, Фостер; Фосетт, Том (2013). Наука о данных для бизнеса: что вам нужно знать о добыче данных и аналитическом мышлении (1-е изд., 2-е изд.). Пекин Кёльн: O'Reilly. ISBN 978-1-4493-6132-7.
^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. Bibcode : 2006PaReL..27..861F. doi : 10.1016/j.patrec.2005.10.010. S2CID 2027090.
^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63 .
^ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (ред.). Энциклопедия машинного обучения . Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Кох, Тие-Йонг; Рёббер, Пол; Стивенсон, Дэвид (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research . World Meteorological Organization . Получено 17 июля 2019 г.
^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID 31898477.
^ Tharwat A. (август 2018 г.). «Методы оценки классификации». Прикладная вычислительная техника и информатика . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID 31898477.
^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi :10.1016/j.patrec.2005.10.010. S2CID 2027090.
^ Провост, Фостер; Том Фосетт (2013-08-01). «Наука о данных для бизнеса: что вам нужно знать о добыче данных и аналитическом мышлении». O'Reilly Media, Inc.
^ Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63 .
^ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (ред.). Энциклопедия машинного обучения . Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Кох, Тие-Йонг; Рёббер, Пол; Стивенсон, Дэвид (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research . World Meteorological Organization . Получено 17 июля 2019 г.
^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID 31898477.
^ Chicco D, Toetsch N, Jurman G (февраль 2021 г.). «Коэффициент корреляции Мэтьюса (MCC) более надежен, чем сбалансированная точность, информированность букмекера и маркированность при оценке двухклассовой матрицы путаницы». BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449 . PMID 33541410.
^ Tharwat A. (август 2018 г.). «Методы оценки классификации». Прикладная вычислительная техника и информатика . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
^ Риалланд, Энни (август 2005 г.). «Фонологические и фонетические аспекты свистящих языков». Фонология . 22 (2): 237–271 . CiteSeerX 10.1.1.484.4384 . doi :10.1017/S0952675705000552. S2CID 18615779.

[20] количество реальных положительных случаев в данных

[21] Результат теста, который правильно указывает на наличие состояния или характеристики.

[22] Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.

[23] количество реальных отрицательных случаев в данных

[24] Результат теста, который правильно указывает на отсутствие состояния или характеристики.

[25] Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного состояния или атрибута.

[1] Стехман, Стивен В. (1997). «Выбор и интерпретация мер точности тематической классификации». Дистанционное зондирование окружающей среды . 62 (1): 77– 89. Bibcode :1997RSEnv..62...77S. doi :10.1016/S0034-4257(97)00083-7.

[Powers2011-2] Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63 . S2CID 55767944.

[3] Опиц, Юри (2024). «Более пристальный взгляд на метрики оценки классификации и критическое отражение общей практики оценки». Труды Ассоциации компьютерной лингвистики . 12 : 820–836 . arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675.

[4] Провост, Фостер; Фосетт, Том (2013). Наука о данных для бизнеса: что вам нужно знать о добыче данных и аналитическом мышлении (1-е изд., 2-е изд.). Пекин Кёльн: O'Reilly. ISBN 978-1-4493-6132-7.

[5] Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. Bibcode : 2006PaReL..27..861F. doi : 10.1016/j.patrec.2005.10.010. S2CID 2027090.

[6] Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63 .

[7] Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (ред.). Энциклопедия машинного обучения . Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.

[8] Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Кох, Тие-Йонг; Рёббер, Пол; Стивенсон, Дэвид (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research . World Meteorological Organization . Получено 17 июля 2019 г.

[9] Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID 31898477.

[10] Tharwat A. (август 2018 г.). «Методы оценки классификации». Прикладная вычислительная техника и информатика . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .

[11] Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID 31898477.

[12] Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi :10.1016/j.patrec.2005.10.010. S2CID 2027090.

[13] Провост, Фостер; Том Фосетт (2013-08-01). «Наука о данных для бизнеса: что вам нужно знать о добыче данных и аналитическом мышлении». O'Reilly Media, Inc.

[14] Пауэрс, Дэвид МВ (2011). «Оценка: от точности, отзыва и F-меры до ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63 .

[15] Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (ред.). Энциклопедия машинного обучения . Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.

[16] Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Кох, Тие-Йонг; Рёббер, Пол; Стивенсон, Дэвид (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research . World Meteorological Organization . Получено 17 июля 2019 г.

[17] Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюса (MCC) над оценкой F1 и точностью оценки бинарной классификации». BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID 31898477.

[18] Chicco D, Toetsch N, Jurman G (февраль 2021 г.). «Коэффициент корреляции Мэтьюса (MCC) более надежен, чем сбалансированная точность, информированность букмекера и маркированность при оценке двухклассовой матрицы путаницы». BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449 . PMID 33541410.

[19] Tharwat A. (август 2018 г.). «Методы оценки классификации». Прикладная вычислительная техника и информатика . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .

[26] Риалланд, Энни (август 2005 г.). «Фонологические и фонетические аспекты свистящих языков». Фонология . 22 (2): 237–271 . CiteSeerX 10.1.1.484.4384 . doi :10.1017/S0952675705000552. S2CID 18615779.