Kvadratický klasifikátor - Quadratic classifier - Wikipedia

v strojové učení, a kvadratický klasifikátor je statistický klasifikátor který používá a kvadratický rozhodovací plocha oddělit měření dvou nebo více tříd objektů nebo událostí. Jedná se o obecnější verzi lineární klasifikátor.

Problém klasifikace

Statistická klasifikace považuje soubor vektory pozorování X objektu nebo události, z nichž každý má známý typ y. Tato sada se označuje jako tréninková sada. Poté je problém určit pro daný nový pozorovací vektor, jaká by měla být nejlepší třída. U kvadratického klasifikátoru se předpokládá, že správné řešení bude v měření kvadratické, takže y bude rozhodnuto na základě

{ displaystyle mathbf {x ^ {T} sekera} + mathbf {b ^ {T} x} + c}

Ve zvláštním případě, kdy každé pozorování sestává ze dvou měření, to znamená, že povrchy oddělující třídy budou kuželovité úseky (tj. buď a čára, a kruh nebo elipsa, a parabola nebo a hyperbola ). V tomto smyslu můžeme konstatovat, že kvadratický model je zobecněním lineárního modelu a jeho použití je odůvodněno touhou rozšířit schopnost klasifikátoru představovat složitější oddělující povrchy.

Kvadratická diskriminační analýza

S kvadratickou diskriminační analýzou (QDA) úzce souvisí lineární diskriminační analýza (LDA), kde se předpokládá, že měření z každé třídy jsou normálně distribuováno.^[1] Na rozdíl od LDA však v QDA neexistuje předpoklad, že by kovariance každé z tříd je identické.^[2] Je-li předpoklad normality pravdivý, nejlepším možným testem pro hypotézu, že dané měření pochází z dané třídy, je test poměru pravděpodobnosti. Předpokládejme, že existují pouze dvě skupiny (tak ${ displaystyle y in {0,1 }}$ ) a prostředky každé třídy jsou definovány jako ${ displaystyle mu _ {y = 0}, mu _ {y = 1}}$ a covariances jsou definovány jako ${ displaystyle Sigma _ {y = 0}, Sigma _ {y = 1}}$ . Pak bude poměr pravděpodobnosti dán vztahem

Poměr pravděpodobnosti =

{ displaystyle { frac {{ sqrt {| 2 pi Sigma _ {y = 1} |}} ^ {- 1} exp left (- { frac {1} {2}} (x- mu _ {y = 1}) ^ {T} Sigma _ {y = 1} ^ {- 1} (x- mu _ {y = 1}) right)} {{ sqrt {| 2 pi Sigma _ {y = 0} |}} ^ {- 1} exp left (- { frac {1} {2}} (x- mu _ {y = 0}) ^ {T} Sigma _ {y = 0} ^ {- 1} (x- mu _ {y = 0}) right)}}

pro nějaký práh ${ displaystyle t}$ . Po určitém přeskupení lze ukázat, že výsledná dělicí plocha mezi třídami je kvadratická. Odhady vzorků středních vektorových a rozptylově-kovariančních matic nahradí populační množství v tomto vzorci.

jiný

Zatímco QDA je nejčastěji používanou metodou pro získání klasifikátoru, jsou možné i jiné metody. Jednou z takových metod je vytvoření delšího vektoru měření ze starého přidáním všech párových produktů jednotlivých měření. Například vektor

{ displaystyle [x_ {1}, ; x_ {2}, ; x_ {3}]}

stal by se

{ displaystyle [x_ {1}, ; x_ {2}, ; x_ {3}, ; x_ {1} ^ {2}, ; x_ {1} x_ {2}, ; x_ {1 } x_ {3}, ; x_ {2} ^ {2}, ; x_ {2} x_ {3}, ; x_ {3} ^ {2}]}

.

Nalezení kvadratického klasifikátoru pro původní měření by se pak stalo stejným jako hledání lineárního klasifikátoru založeného na rozšířeném vektoru měření. Toto pozorování bylo použito při rozšiřování modelů neuronových sítí;^[3] „kruhový“ případ, který odpovídá zavedení pouze součtu čistě kvadratických výrazů ${ displaystyle ; x_ {1} ^ {2} + x_ {2} ^ {2} + x_ {3} ^ {2} ; ldots ;}$ bez smíšených produktů ( ${ displaystyle ; x_ {1} x_ {2}, ; x_ {1} x_ {3} ; ldots ;}$ ), se osvědčil jako optimální kompromis mezi rozšířením reprezentační síly klasifikátoru a kontrolou rizika nadměrného vybavení (Vapnik-Chervonenkisova dimenze ).^[4]

Pro lineární klasifikátory založené pouze na tečkované výrobky, tato rozšířená měření nemusí být ve skutečnosti vypočítávána, protože bodový produkt ve vyšším dimenzionálním prostoru jednoduše souvisí s tím v původním prostoru. Toto je příklad tzv trik s jádrem, které lze použít pro lineární diskriminační analýzu, stejně jako podporovat vektorový stroj.

Reference

^ Tharwat, Alaa (2016). „Klasifikátor lineární vs. kvadratické diskriminační analýzy: výukový program“. International Journal of Applied Pattern Recognition. 3 (2): 145. doi:10.1504 / IJAPR.2016.079050. ISSN 2049-887X.
^ „Lineární a kvadratická diskriminační analýza · Průvodce programováním UC Business Analytics R“. uc-r.github.io. Citováno 2020-03-29.
^ Cover TM (1965). "Geometrické a statistické vlastnosti systémů lineárních nerovností s aplikacemi v rozpoznávání vzorů". Transakce IEEE na elektronických počítačích. EC-14 (3): 326–334. doi:10.1109 / pgec.1965.264137.
^ Ridella S, Rovetta S, Zunino R (1997). "Kruhové sítě pro zpětné šíření pro klasifikaci". Transakce IEEE na neuronových sítích. 8 (1): 84–97. doi:10.1109/72.554194. PMID 18255613. href IEEE: [1].

Zdroje:

Sathyanarayana, Shashi (2010). "Primer rozpoznávání vzorů II". Demonstrační projekt Wolfram.

[1] Tharwat, Alaa (2016). „Klasifikátor lineární vs. kvadratické diskriminační analýzy: výukový program“. International Journal of Applied Pattern Recognition. 3 (2): 145. doi:10.1504 / IJAPR.2016.079050. ISSN 2049-887X.

[2] „Lineární a kvadratická diskriminační analýza · Průvodce programováním UC Business Analytics R“. uc-r.github.io. Citováno 2020-03-29.

[3] Cover TM (1965). "Geometrické a statistické vlastnosti systémů lineárních nerovností s aplikacemi v rozpoznávání vzorů". Transakce IEEE na elektronických počítačích. EC-14 (3): 326–334. doi:10.1109 / pgec.1965.264137.

[4] Ridella S, Rovetta S, Zunino R (1997). "Kruhové sítě pro zpětné šíření pro klasifikaci". Transakce IEEE na neuronových sítích. 8 (1): 84–97. doi:10.1109/72.554194. PMID 18255613. href IEEE: [1].

[1]

[2]

[3]

[4]