tento článek poskytuje nedostatečný kontext pro ty, kteří danému tématu nejsou obeznámeni. Prosím pomozte vylepšit článek podle poskytuje čtenáři více kontextu.(Červen 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)
v statistická teorie učení, a reprezentativní věta je některý z několika souvisejících výsledků uvádějící, že minimalizátor legalizovaného empirické riziko funkční definované nad a reprodukce jádra Hilbertova prostoru lze reprezentovat jako konečnou lineární kombinaci produktů jádra vyhodnocených na vstupních bodech v datech tréninkové sady.
Následující věta o zástupci a její důkaz jsou způsobeny Schölkopf, Herbrich a Smola:
Teorém: Zvažte jádro se skutečnou hodnotou a pozitivní hodnotou na neprázdnou sadu s odpovídajícím reprodukčním jádrem Hilbertova prostoru . Ať tam bude uvedeno
tréninkový vzorek ,
přísně rostoucí funkce se skutečnou hodnotou , a
funkce libovolné chyby ,
které společně definují následující regulované empirické riziko funkční na :
Pak jakýkoli minimalizátor empirického rizika
připouští vyobrazení formuláře:
kde pro všechny .
Důkaz:Definujte mapování
(aby je sama o sobě mapou ). Od té doby je tedy reprodukční jádro
kde je vnitřní produkt na .
Vzhledem k jakékoli , k rozložení libovolné lze použít ortogonální projekci do součtu dvou funkcí, jedna leží uvnitř a druhý leží v ortogonálním doplňku:
kde pro všechny .
Výše uvedený ortogonální rozklad a rozmnožování majetku společně ukazují, že použití do kteréhokoli tréninkového bodu vyrábí
které pozorujeme, je nezávislé . V důsledku toho hodnota chybové funkce in (*) je rovněž nezávislý na . Pro druhý termín (regularizační termín) od je kolmý na a je přísně monotónní, máme
Proto nastavení neovlivní první člen z (*), zatímco přísně sníží druhý člen. V důsledku toho jakýkoli minimalizátor v (*) musí mít , tj. musí mít formu
což je požadovaný výsledek.
Zobecnění
Věta uvedená výše je konkrétním příkladem skupiny výsledků, které jsou souhrnně označovány jako „věty reprezentantů“; zde popisujeme několik takových.
První prohlášení věty o zástupcích bylo způsobeno Kimeldorfem a Wahbou pro zvláštní případ, ve kterém
pro . Schölkopf, Herbrich a Smola zobecnili tento výsledek uvolněním předpokladu nákladů na druhou mocninu a umožněním regulatoru být jakoukoli striktně monotónně rostoucí funkcí Hilbertovy vesmírné normy.
Je možné dále generalizovat rozšířením funkcionalizovaného empirického rizika funkcemi přidáním nepenalizovaných offsetových podmínek. Například Schölkopf, Herbrich a Smola také zvažují minimalizaci
tj. uvažujeme funkce formuláře , kde a je nepenalizovaná funkce ležící v rozsahu konečné sady funkcí se skutečnou hodnotou . Za předpokladu, že matice má hodnost , ukazují, že minimalizátor v připouští vyobrazení formuláře
kde a všechny jsou jednoznačně určeny.
Podmínky, za kterých existuje věta o reprezentantovi, zkoumali Argyriou, Micchelli a Pontil, kteří dokázali následující:
Teorém: Nechat být neprázdnou sadou, kladně definitivní skutečné jádro na s odpovídajícím reprodukčním jádrem Hilbertova prostoru a nechte být diferencovatelnou regularizační funkcí. Poté dostal ukázkový trénink a funkce libovolné chyby , minimalizátor
legalizovaného empirického rizika připouští reprezentaci formy
kde pro všechny , právě když existuje neklesající funkce pro který
Účinně tento výsledek poskytuje nezbytnou a dostatečnou podmínku diferencovatelného regulátoru podle kterého odpovídající legalizovaná empirická minimalizace rizik bude mít větu reprezentanta. To zejména ukazuje, že reprezentativní věty má široká třída regularizovaných minimalizací rizik (mnohem širší než ty, které původně zvažovali Kimeldorf a Wahba).
Aplikace
Reprezentativní věty jsou užitečné z praktického hlediska, protože dramaticky zjednodušují regularizované empirická minimalizace rizik problém . V nejzajímavějších aplikacích je doména vyhledávání pro minimalizaci bude nekonečně dimenzionální podprostor o , a proto hledání (jak je psáno) nepřipouští implementaci na počítačích s konečnou pamětí a konečnou přesností. Naproti tomu zastoupení poskytuje věta reprezentanta redukuje původní (nekonečně-dimenzionální) minimalizační problém na hledání optimálního -dimenzionální vektor koeficientů ; lze potom získat použitím libovolného standardního algoritmu minimalizace funkcí. V důsledku toho reprezentativní věty poskytují teoretický základ pro redukci obecného problému strojového učení na algoritmy, které lze skutečně implementovat do počítačů v praxi.
Tento článek obsahuje a seznam doporučení, související čtení nebo externí odkazy, ale její zdroje zůstávají nejasné, protože jí chybí vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace.(Červen 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)
Následující příklad poskytuje příklad řešení pro minimalizátor, jehož existence je zaručena větou reprezentanta. Tato metoda funguje pro jakékoli pozitivní určité jádro , a umožňuje nám transformovat komplikovaný (možná nekonečný rozměrný) optimalizační problém na jednoduchý lineární systém, který lze vyřešit numericky.
Předpokládejme, že používáme funkci chyby nejmenších čtverců
a regularizační funkce pro některé . Podle věty reprezentanta, minimalizátoru
má formu
pro některé . Všímat si toho
vidíme to má formu
kde a . To lze započítat a zjednodušit
Od té doby je kladně definitivní, pro toto vyjádření skutečně existuje jediné globální minimum. Nechat a všimněte si toho je konvexní. Pak , globální minima, lze vyřešit nastavením . Připomínáme, že všechny pozitivní určité matice jsou invertibilní, to vidíme
takže minimalizátor lze nalézt pomocí lineárního řešení.
Argyriou, Andreas; Micchelli, Charles A .; Pontil, Massimiliano (2009). „Kdy existuje věta o zástupci? Regulátory vektoru versus matice“. Journal of Machine Learning Research. 10 (Prosinec): 2507–2529.