Předchozí znalosti pro rozpoznávání vzorů - Prior knowledge for pattern recognition

Rozpoznávání vzorů je velmi aktivní oblast výzkumu, která je úzce spjata strojové učení. Také známý jako klasifikace nebo statistická klasifikace, cílem rozpoznávání vzorů je budování klasifikátor které mohou určit třídu vstupního vzoru. Tento postup, známý jako trénink, odpovídá učení neznámé rozhodovací funkce založené pouze na sadě dvojic vstupů a výstupů ${displaystyle ({oldsymbol {x}} _ {i}, y_ {i})}$ které tvoří tréninková data (nebo tréninkovou sadu). Nicméně v reálných aplikacích, jako je rozpoznávání znaků je obvykle předem známo určité množství informací o problému. Začlenění těchto předchozích znalostí do školení je klíčovým prvkem, který umožní zvýšení výkonu v mnoha aplikacích.

Předchozí znalosti

Předchozí znalosti^[1] odkazuje na všechny dostupné informace o problému kromě údajů o školení. V této nejobecnější formě je však určující a Modelka z konečné sady vzorků bez předchozí znalosti je špatně pózoval problém v tom smyslu, že jedinečný model nemusí existovat. Mnoho klasifikátorů zahrnuje obecný předpoklad plynulosti, že testovací vzor podobný jednomu z tréninkových vzorků má tendenci být přiřazen ke stejné třídě.

Důležitost předchozích znalostí ve strojovém učení naznačuje její role při hledání a optimalizaci. Volně žádná věta o obědě zdarma uvádí, že všechny vyhledávací algoritmy mají stejný průměrný výkon ve všech problémech, a tedy implikuje, že k získání výkonu u určité aplikace je nutné použít specializovaný algoritmus, který zahrnuje určité předchozí znalosti o problému.

Různé typy předchozích znalostí, se kterými se setkáváme při rozpoznávání vzorů, jsou nyní přeskupeny do dvou hlavních kategorií: invariance tříd a znalosti o datech.

Třída invariance

Velmi běžným typem předchozích znalostí v rozpoznávání vzorů je invariance třídy (nebo výstup klasifikátoru) k proměna vstupního vzoru. Tento typ znalostí se označuje jako transformace-invariance. Nejčastěji používané transformace používané při rozpoznávání obrázků jsou:

• překlad;
• otáčení;
• zkosení;
• škálování.

Začlenění invariance do transformace ${displaystyle T_ {heta}: {oldsymbol {x}} mapsto T_ {heta} {oldsymbol {x}}}$ parametrizováno v ${displaystyle heta}$ do klasifikátoru výstupu ${displaystyle f ({oldsymbol {x}})}$ pro vstupní vzor ${displaystyle {oldsymbol {x}}}$ odpovídá prosazování rovnosti

${displaystyle f ({oldsymbol {x}}) = f (T_ {heta} {oldsymbol {x}}), quad forall {oldsymbol {x}}, heta.}$

U transformace se středem na lze také uvažovat o místní invariance ${displaystyle heta = 0}$, aby ${displaystyle T_ {0} {oldsymbol {x}} = {oldsymbol {x}}}$, pomocí omezení

${displaystyle left. {frac {částečné} {částečné heta}} večer | _ {heta = 0} f (T_ {heta} {oldsymbol {x}}) = 0.}$

Funkce ${displaystyle f}$ v těchto rovnicích může být buď rozhodovací funkce klasifikátoru, nebo jeho skutečný výstup.

Dalším přístupem je místo transformace zvážit invariance třídy s ohledem na „doménu vstupního prostoru“. V tomto případě se problémem stane hledání ${displaystyle f}$ aby

${displaystyle f ({oldsymbol {x}}) = y_ {mathcal {P}}, celkem {oldsymbol {x}} v {mathcal {P}},}$

kde ${displaystyle y_ {mathcal {P}}}$ je členská třída regionu ${displaystyle {mathcal {P}}}$ vstupního prostoru.

Jiný typ invariance třídy nalezený v rozpoznávání vzorů je permutace-invariance, tj. invariance třídy k permutaci prvků ve strukturovaném vstupu. Typickou aplikací tohoto typu předchozích znalostí je klasifikátor invariantní k permutacím řádků vstupů matice.

Znalost údajů

Jiné formy předchozích znalostí než invariance tříd se týkají konkrétněji dat, a jsou tedy zvláště zajímavé pro aplikace v reálném světě. Při shromažďování údajů se nejčastěji vyskytují tři konkrétní případy:

• Neoznačené vzorky jsou k dispozici s předpokládaným členstvím ve třídě;
• Nerovnováha tréninkové sady kvůli vysokému podílu vzorků třídy;
• Kvalita údajů se může u jednotlivých vzorků lišit.

Jejich předchozí znalost může zlepšit kvalitu uznání, pokud je součástí učení. Kromě toho může nezohlednění nekvalitní kvality některých údajů nebo velké nerovnováhy mezi třídami uvést v omyl rozhodnutí klasifikátora.

Poznámky

Reference

• E. Krupka a N. Tishby, “Začlenění předchozích znalostí o funkcích do učení ", Jedenáctá mezinárodní konference o umělé inteligenci a statistice (AISTATS 07)