Коэффициент байесовской ошибки

Коэффициент ошибок в статистической математике

В статистической классификации байесовский коэффициент ошибок — это наименьший возможный коэффициент ошибок для любого классификатора случайного результата (например, в одну из двух категорий) и аналогичен неустранимой ошибке. ^[1]^[2]

Существует ряд подходов к оценке коэффициента байесовской ошибки. Один метод стремится получить аналитические границы, которые по своей сути зависят от параметров распределения, и, следовательно, их трудно оценить. Другой подход фокусируется на плотности классов, в то время как еще один метод объединяет и сравнивает различные классификаторы. ^[2]

Коэффициент ошибок Байеса находит важное применение в изучении закономерностей и методов машинного обучения . ^[3]

Определение ошибки

С точки зрения машинного обучения и классификации шаблонов метки набора случайных наблюдений можно разделить на 2 или более классов. Каждое наблюдение называется экземпляром , а класс, к которому оно принадлежит, — меткой . Коэффициент байесовской ошибки распределения данных — это вероятность того, что экземпляр будет неправильно классифицирован классификатором, который знает истинные вероятности классов с учетом предикторов.

Для многоклассового классификатора ожидаемая ошибка прогнозирования может быть рассчитана следующим образом: ^[3]

{\ displaystyle EPE = E_ {x} [\ sum _ {k = 1} ^ {K} L (C_ {k}, {\ шляпа {C}} (x)) P (C_ {k} | x)] }

где x — экземпляр, математическое ожидание, C _k — класс, в который классифицируется экземпляр, P(C _k |x) — условная вероятность метки k для экземпляра x , а L() — функция потерь 0–1: $E[]$

L(x,y)=1-\delta _{x,y}={\begin{cases}0&{\text{if }}x=y\\1&{\text{if }}x\neq y\end{cases}},

где находится дельта Кронекера . $\delta _{x,y}$

Когда учащийся знает условную вероятность, то одним из решений является:

{\hat {C}}_{B}(x)=\arg \max _{k\in \{1...K\}}P(C_{k}|X=x)

Это решение известно как классификатор Байеса.

Соответствующая ожидаемая ошибка прогнозирования называется коэффициентом байесовской ошибки:

BE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}_{B}(x))P(C_{k} |x)]=E_{x}[\sum _{k=1,\ C_{k}\neq {\hat {C}}_{B}(x)}^{K}P(C_{k} |x)]=E_{x}[1-P({\hat {C}}_{B}(x)|x)]

,

где сумма может быть опущена на последнем шаге из-за учета встречного события. По определению байесовского классификатора, он максимизирует и, следовательно, минимизирует байесовскую ошибку BE. $P({\hat {C}}_{B}(x)|x)$

Ошибка Байеса не равна нулю, если метки классификации не являются детерминированными, т. е. существует ненулевая вероятность принадлежности данного экземпляра более чем к одному классу. ^[4] В контексте регрессии с квадратичной ошибкой ошибка Байеса равна дисперсии шума. ^[3]

Доказательство минимальности

Доказательство того, что коэффициент ошибок Байеса действительно является минимально возможным и что классификатор Байеса, следовательно, является оптимальным, можно найти на странице Википедии Классификатор Байеса .

Правила подключаемого модуля для бинарных классификаторов

Правило плагина использует оценку апостериорной вероятности для формирования правила классификации. При наличии оценки избыточная байесовская частота ошибок соответствующего классификатора ограничена сверху: $\эта$ ${\tilde {\eta }}$

$2\mathbb {E} [|\eta (X) - {\tilde {\eta }}(X)|].$

Чтобы увидеть это, обратите внимание, что избыточная ошибка Байеса равна 0, где классификаторы согласны, и равна, где они не согласны. Чтобы сформировать границу, обратите внимание, что она по крайней мере так же далека, когда классификаторы не согласны. $2|\eta (X)-1/2|$ ${\tilde {\eta }}$ $1/2$

Смотрите также

Наивный байесовский классификатор

Ссылки

^ Фукунага, Кейносукэ (1990). Введение в статистическое распознавание образов . стр. 3, 97. ISBN 0122698517.
^ ab K. Tumer, K. (1996) «Оценка коэффициента байесовских ошибок путем комбинирования классификаторов» в Трудах 13-й Международной конференции по распознаванию образов , том 2, 695–699
^ abc Hastie, Trevor (2009). Элементы статистического обучения (2-е изд.). Springer. стр. 21. ISBN 978-0387848570.
^ Мори, Мехриар ; Ростамизаде, Афшин; Талвалкар, Амит (2018). Основы машинного обучения (2-е изд.). п. 22.

Эта статья, связанная со статистикой, является заглушкой . Вы можете помочь Википедии, расширив ее.

[stat-1] Фукунага, Кейносукэ (1990). Введение в статистическое распознавание образов . стр. 3, 97. ISBN 0122698517.

[Tumer-2] K. Tumer, K. (1996) «Оценка коэффициента байесовских ошибок путем комбинирования классификаторов» в Трудах 13-й Международной конференции по распознаванию образов , том 2, 695–699

[ESL-3] Hastie, Trevor (2009). Элементы статистического обучения (2-е изд.). Springer. стр. 21. ISBN 978-0387848570.

[4] Мори, Мехриар ; Ростамизаде, Афшин; Талвалкар, Амит (2018). Основы машинного обучения (2-е изд.). п. 22.