Bayesův klasifikátor - Bayes classifier

v statistická klasifikace, Bayesův klasifikátor minimalizuje pravděpodobnost nesprávné klasifikace.^[1]

Definice

Předpokládejme pár ${ displaystyle (X, Y)}$ bere hodnoty v ${ displaystyle mathbb {R} ^ {d} krát {1,2, tečky, K }}$, kde ${ displaystyle Y}$ je označení třídy z ${ displaystyle X}$. To znamená, že podmíněné rozdělení z X, vzhledem k tomu, že štítek Y bere hodnotu r je dána

${ displaystyle X mid Y = r sim P_ {r}}$ pro ${ displaystyle r = 1,2, tečky, K}$

kde "${ displaystyle sim}$„znamená“ je distribuováno jako „a kde ${ displaystyle P_ {r}}$ označuje rozdělení pravděpodobnosti.

A klasifikátor je pravidlo, které se přiřazuje k pozorování X=X odhad nebo odhad toho, co nepozorovaný štítek Y=r ve skutečnosti byl. Teoreticky je klasifikátor měřitelnou funkcí ${ displaystyle C: mathbb {R} ^ {d} až {1,2, tečky, K }}$, s výkladem, který C klasifikuje bod X do třídy C(X). Pravděpodobnost nesprávné klasifikace, nebo riziko, klasifikátoru C je definován jako

${ displaystyle { mathcal {R}} (C) = operatorname {P} {C (X) neq Y }.}$

Bayesův klasifikátor je

${ displaystyle C ^ { text {Bayes}} (x) = { podmnožina {r in {1,2, dots, K }} { operatorname {argmax}}} operatorname {P} ( Y = r mid X = x).}$

V praxi, stejně jako ve většině statistik, jsou potíže a jemnosti spojeny s efektivním modelováním rozdělení pravděpodobnosti - v tomto případě ${ displaystyle operatorname {P} (Y = r mid X = x)}$. Klasifikátor Bayes je užitečným měřítkem v statistická klasifikace.

Nadměrné riziko obecného klasifikátoru ${ displaystyle C}$ (možná v závislosti na některých tréninkových datech) je definována jako ${ displaystyle { mathcal {R}} (C) - { mathcal {R}} (C ^ { text {Bayes}}).}$Tato nezáporná veličina je tedy důležitá pro hodnocení výkonnosti různých klasifikačních technik. Klasifikátor se říká, že je konzistentní pokud nadměrné riziko konverguje k nule, protože velikost souboru tréninkových dat má sklon k nekonečnu.^[2]

Důkaz optimality

Důkaz, že klasifikátor Bayes je optimální a Míra chyb Bayes je minimální výtěžek následovně.

Definujte proměnné: Riziko ${ displaystyle R (h)}$, Bayesovo riziko ${ displaystyle R ^ {*}}$, všechny možné třídy, do kterých lze body klasifikovat ${ displaystyle Y = {0,1 }}$. Nechť je zadní pravděpodobnost bodu patřícího do třídy 1 ${ displaystyle eta (x) = Pr (Y = 1 | X = x)}$. Definujte klasifikátor ${ displaystyle { mathcal {h}} ^ {*}}$tak jako

${ displaystyle { mathcal {h}} ^ {*} (x) = { begin {případů} 1 &, eta (x) geqslant 0,5 0 &, eta (x) <0,5 end {případů} }}$

Pak máme následující výsledky:

(A) ${ displaystyle R (h ^ {*}) = R ^ {*}}$, tj. ${ displaystyle h ^ {*}}$ je Bayesův klasifikátor,

(b) Pro jakýkoli klasifikátor ${ displaystyle h}$, nadměrné riziko splňuje ${ displaystyle R (h) -R ^ {*} = 2 mathbb {E} _ {X} vlevo [| eta (x) -0,5 | cdot mathbb {I} _ { vlevo {h (X) neq h ^ {*} (X) doprava }} doprava]}$

(C) ${ displaystyle R ^ {*} = mathbb {E} _ {X} vlevo [ min ( eta (X), 1- eta (X)) vpravo)}$

Důkaz (a): Pro jakýkoli klasifikátor ${ displaystyle h}$, my máme

${ displaystyle { begin {aligned} R (h) & = mathbb {E} _ {XY} left [ mathbb {I} _ { left {h (X) neq Y right }} right] & = mathbb {E} mathbb {E} _ {Y | X} [ mathbb {I} _ { left {h (X) neq Y right }}]] & = mathbb {E} _ {X} [ eta (X) mathbb {I} _ { left {h (X) = 0 right }} + (1- eta (X)) mathbb {I} _ { left {h (X) = 1 right }}] end {zarovnáno}}}$

Všimněte si toho ${ displaystyle R (h)}$ je minimalizován tím, že ${ displaystyle forall x in X}$,

${ displaystyle h (x) = { začátek {případů} 1 &, eta (x) geqslant 1- eta (x) 0 &, { text {jinak}} konec {případů}}}$

Minimálním možným rizikem je tedy Bayesovo riziko, ${ displaystyle R ^ {*} = R (h ^ {*})}$.

Důkaz (b):

${ displaystyle { begin {zarovnaný} R (h) -R ^ {*} & = R (h) -R (h ^ {*}) & = mathbb {E} _ {X} [ eta (X) mathbb {I} _ { left {h (X) = 0 right }} + (1- eta (X)) mathbb {I} _ { left {h (X) = 1 right }} - eta (X) mathbb {I} _ { left {h ^ {*} (X) = 0 right }} - (1- eta (X)) mathbb {I} _ { left {h ^ {*} (X) = 1 right }}] & = mathbb {E} _ {X} [| 2 eta (X) -1 | mathbb {I} _ { left {h (X) neq h ^ {*} (X) right }}] & = 2 mathbb {E} _ {X} [| eta ( X) -0,5 | mathbb {I} _ { left {h (X) neq h ^ {*} (X) right }}] end {zarovnáno}}}$

Důkaz (c):

${ displaystyle { begin {aligned} R (h ^ {*}) & = mathbb {E} _ {X} [ eta (X) mathbb {I} _ { left {h ^ {*} (X) = 0 right }} + (1- eta (X)) mathbb {I} _ { left {h * (X) = 1 right }}] & = mathbb {E} _ {X} [ min ( eta (X), 1- eta (X))] end {zarovnáno}}}$

Obecný případ, že Bayesův klasifikátor minimalizuje chybu klasifikace, když každý prvek může patřit jednomu z n kategorie vycházejí z očekávání, a to následujícím způsobem.

${ displaystyle { begin {aligned} mathbb {E} ( mathbb {I} _ { {y neq { hat {y}} }}) & = mathbb {E} mathbb {E} left ( mathbb {I} _ { {y neq { hat {y}} }} | X = x right) & = mathbb {E} left [Pr (Y = 1 | X = x) mathbb {I} _ { {{ {{}} = 2,3, dots, n }} + Pr (Y = 2 | X = x) mathbb {I} _ { {{ hat {y}} = 1,3, dots, n }} + dots + Pr (Y = n | X = x) mathbb {I} _ { {{ hat {y} } = 1,2,3, dots, n-1 }} right] end {zarovnáno}}}$

To je minimalizováno klasifikací

${ Displaystyle h (x) = k, quad arg max _ {k} Pr (Y = k | X = x)}$

pro každé pozorování X.

Viz také

• Naivní Bayesův klasifikátor

Reference