Minimalizace strukturálních rizik - Structural risk minimization

Minimalizace strukturálních rizik (SRM) je indukční princip použití v strojové učení. Obyčejně ve strojovém učení musí být zobecněný model vybrán z konečné datové sady s následným problémem nadměrné vybavení - model se příliš silně přizpůsobil zvláštnostem tréninkového souboru a špatně generalizoval nová data. Princip SRM řeší tento problém vyvážením složitosti modelu proti jeho úspěšnosti při přizpůsobování tréninkových dat. Tento princip byl poprvé stanoven v dokumentu z roku 1974 od Vladimír Vapnik a Alexey Chervonenkis a používá VC rozměr.

Z praktického hlediska je minimalizace strukturálních rizik implementována minimalizací ${displaystyle E_ {vlak} + eta H (W)}$, kde ${displaystyle E_ {vlak}}$ je chyba vlaku, funkce ${displaystyle H (W)}$ se nazývá funkce regularizace a ${displaystyle eta}$ je konstanta. ${displaystyle H (W)}$ je vybráno tak, že má velké parametry ${displaystyle W}$ které patří k vysokokapacitním podmnožinám prostoru parametrů. Minimalizace ${displaystyle H (W)}$ ve skutečnosti omezuje kapacitu přístupných podmnožin prostoru parametrů, čímž kontroluje kompromis mezi minimalizací tréninkové chyby a minimalizací očekávané mezery mezi tréninkovou chybou a testovací chybou.^[1]

Problém SRM lze formulovat z hlediska údajů. Vzhledem k tomu, že n datových bodů se skládá z dat x a štítků y, je cílem ${displaystyle J (heta)}$ se často vyjadřuje následujícím způsobem:

${displaystyle J (heta) = {frac {1} {2n}} součet _ {i = 1} ^ {n} (h_ {heta} (x ^ {i}) - y ^ {i}) ^ {2} + {frac {lambda} {2}} součet _ {j = 1} ^ {d} heta _ {j} ^ {2}}$

První člen je pojem střední kvadratické chyby (MSE) mezi hodnotou naučeného modelu, ${displaystyle h_ {heta}}$a dané štítky ${displaystyle y}$. Tento termín je tréninková chyba, ${displaystyle E_ {vlak}}$, o kterém jsme hovořili dříve. Druhý člen umístí před váhy závaží, aby upřednostňoval řídkost a penalizoval větší závaží. Koeficient kompromisu, ${displaystyle lambda}$, je hyperparametr, který klade větší nebo menší důležitost na regularizační termín. Větší ${displaystyle lambda}$ podporuje menší váhy na úkor optimálnějšího MSE a menších ${displaystyle lambda}$ uvolňuje regularizaci a umožňuje modelu přizpůsobit se datům. Všimněte si, že jako ${displaystyle lambda o infty}$ váhy se stanou nulou a jako ${displaystyle lambda o 0}$, model obvykle trpí overfittingem.

Viz také

• Vapnik – Chervonenkisova teorie
• Podporujte vektorové stroje
• Výběr modelu
• Occam Learning
• Empirická minimalizace rizik

Reference

externí odkazy

• Minimalizace strukturálních rizik na webu podpory vektorových strojů.

Tento počítačová věda článek je a pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to.