Bias – varianční kompromis - Bias–variance tradeoff - Wikipedia

Funkční a hlučná data.

šíření = 5

šíření = 1

rozpětí = 0,1

Funkce (červená) je aproximována pomocí radiální základní funkce (modrý). V každém grafu je uvedeno několik pokusů. Pro každou zkoušku je jako tréninková sada (nahoře) poskytnuto několik hlučných datových bodů. U širokého rozpětí (obrázek 2) je odchylka vysoká: RBF nemohou plně aproximovat funkci (zejména centrální pokles), ale rozptyl mezi různými pokusy je nízký. Jak se šíření zmenšuje (obrázek 3 a 4), zkreslení klesá: modré křivky se blíží červené. V závislosti na hluku v různých pokusech se však rozptyl mezi pokusy zvyšuje. V nejspodnějším obrázku se přibližné hodnoty pro x = 0 divoce liší v závislosti na tom, kde byly datové body umístěny.

v statistika a strojové učení, kompromis zkreslení – odchylka je vlastnost modelu, který rozptyl odhadů parametrů napříč Vzorky lze snížit zvýšením zaujatost v odhadovaný parametry.v dilema zkreslení – odchylka nebo bias – variance problém je konflikt ve snaze tyto dva zdroje současně minimalizovat chyba které zabraňují učení pod dohledem algoritmy zobecňovat nad jejich tréninková sada:^[1][2]

• The chyba zkreslení je chyba z chybných předpokladů ve výuce algoritmus. Vysoké zkreslení může způsobit, že algoritmu chybí relevantní vztahy mezi funkcemi a cílovými výstupy (nedostatečné vybavení).
• The rozptyl je chyba z citlivosti na malé výkyvy v tréninkové sadě. Velká odchylka může způsobit, že algoritmus bude modelovat náhodně hluk namísto zamýšlených výstupů (nadměrné vybavení ).

Tento kompromis je univerzální: Ukázalo se, že model, který je asymptoticky nezaujatý, musí mít neomezenou odchylku.^[3]

The bias – varianční rozklad je způsob analýzy algoritmu učení očekávaný chyba generalizace s ohledem na konkrétní problém jako součet tří termínů, zkreslení, rozptylu a veličiny zvané neredukovatelná chyba, vyplývající z hluku v samotném problému.

Motivace

Kompenzace bias-variance je ústředním problémem v učení pod dohledem. V ideálním případě člověk chce vyberte model že oba přesně zachycují zákonitosti jeho tréninkových dat, ale také zevšeobecňuje dobře neviditelná data. Bohužel je obvykle nemožné provést obojí současně. Metody učení s vysokou variací mohou být schopny dobře reprezentovat jejich tréninkovou sadu, ale hrozí jim, že budou příliš hlučné nebo nereprezentativní tréninkové údaje. Naproti tomu algoritmy s vysokým zkreslením obvykle vytvářejí jednodušší modely, které nemají tendenci převyšovat, ale mohou spodní prádlo jejich tréninkové údaje, přičemž nezachytily důležité zákonitosti.

Je to často vyrobené klam^[4][5] předpokládat, že složité modely musí mít vysokou variabilitu; Modely s vysokou odchylkou jsou v určitém smyslu „složité“, ale nemusí to být pravda. Kromě toho je třeba dávat pozor, jak definovat složitost: Zejména počet parametrů použitých k popisu modelu je špatnou mírou složitosti. Ilustruje to příklad převzatý z:^[6] Model ${ displaystyle f_ {a, b} (x) = a sin (bx)}$ má pouze dva parametry (${ displaystyle a, b}$), ale může interpolovat libovolný počet bodů oscilováním s dostatečně vysokou frekvencí, což má za následek jak vysokou odchylku, tak velkou odchylku.

Intuitivně je zkreslení sníženo pomocí pouze místních informací, zatímco rozptyl lze snížit pouze průměrováním více pozorování, což ve své podstatě znamená použití informací z větší oblasti. Poučný příklad najdete v části k-nejbližším sousedům nebo na obrázku vpravo. Chcete-li vyvážit, kolik informací se použije ze sousedních pozorování, lze model uhlazen přes explicitní regulace, jako srážení.

Bias – varianční rozklad střední kvadratické chyby

Předpokládejme, že máme tréninkovou sadu sestávající ze sady bodů ${ displaystyle x_ {1}, tečky, x_ {n}}$ a skutečné hodnoty ${ displaystyle y_ {i}}$ spojené s každým bodem ${ displaystyle x_ {i}}$. Předpokládáme, že existuje funkce s hlukem ${ displaystyle y = f (x) + varepsilon}$, kde hluk, ${ displaystyle varepsilon}$, má nulový průměr a rozptyl ${ displaystyle sigma ^ {2}}$.

Chceme najít funkci ${ displaystyle { hat {f}} (x; D)}$, který přibližuje skutečnou funkci ${ displaystyle f (x)}$ pokud možno pomocí nějakého algoritmu učení založeného na tréninkové datové sadě (vzorek) ${ displaystyle D = {(x_ {1}, y_ {1}) tečky, (x_ {n}, y_ {n}) }}$. Měřením hodnoty „děláme co nejvíce“ přesné střední čtvercová chyba mezi ${ displaystyle y}$ a ${ displaystyle { hat {f}} (x; D)}$: chceme ${ displaystyle (y - { hat {f}} (x; D)) ^ {2}}$ být minimální, obojí pro ${ displaystyle x_ {1}, tečky, x_ {n}}$ a pro body mimo náš vzorek. Samozřejmě nemůžeme doufat, že to uděláme dokonale, protože ${ displaystyle y_ {i}}$ obsahovat hluk ${ displaystyle varepsilon}$; to znamená, že musíme být připraveni přijmout neredukovatelná chyba v jakékoli funkci, kterou vymyslíme.

Nalezení ${ displaystyle { hat {f}}}$ že zobecňuje na body mimo tréninkovou sadu lze provést pomocí některého z bezpočtu algoritmů použitých pro supervizované učení. Ukazuje se, že podle toho, která funkce ${ displaystyle { hat {f}}}$ vybereme, můžeme rozložit jeho očekávaný chyba na neviditelném vzorku ${ displaystyle x}$ jak následuje:^{[7]:34[8]:223}

${ displaystyle operatorname {E} _ {D} { Big [} { big (} y - { hat {f}} (x; D) { big)} ^ {2} { Big]} = { Big (} operatorname {Bias} _ {D} { big [} { hat {f}} (x; D) { big]} { Big)} ^ {2} + operatorname { Var} _ {D} { big [} { hat {f}} (x; D) { big]} + sigma ^ {2}}$

kde

${ displaystyle operatorname {Bias} _ {D} { big [} { hat {f}} (x; D) { big]} = operatorname {E} _ {D} { big [} { hat {f}} (x; D) { big]} - f (x)}$

a

${ displaystyle operatorname {Var} _ {D} { big [} { hat {f}} (x; D) { big]} = operatorname {E} _ {D} [{ big (} operatorname {E} _ {D} [{ hat {f}} (x; D)] - { hat {f}} (x; D) { big)} ^ {2}].}$

Očekávání se pohybuje nad různými možnostmi tréninkové sady ${ displaystyle D = {(x_ {1}, y_ {1}) tečky, (x_ {n}, y_ {n}) }}$, všechny odebrány ze stejné společné distribuce ${ displaystyle P (x, y)}$. Tyto tři pojmy představují:

• náměstí zaujatost metody učení, kterou lze považovat za chybu způsobenou zjednodušujícími předpoklady zabudovanými do metody. Např. Při aproximaci nelineární funkce ${ displaystyle f (x)}$ pomocí metody učení pro lineární modely, v odhadech bude chyba ${ displaystyle { hat {f}} (x)}$ kvůli tomuto předpokladu;
• the rozptyl metody učení, nebo intuitivně, jak moc je metoda učení ${ displaystyle { hat {f}} (x)}$ bude se pohybovat kolem své střední hodnoty;
• neredukovatelná chyba ${ displaystyle sigma ^ {2}}$.

Jelikož všechny tři termíny nejsou nezáporné, tvoří se spodní hranice očekávané chyby u neviditelných vzorků.^[7]:34

Složitější model ${ displaystyle { hat {f}} (x)}$ znamená, že čím více datových bodů zachytí, tím nižší bude zkreslení. Složitost však způsobí, že se model bude více „pohybovat“, aby zachytil datové body, a proto bude jeho rozptyl větší.

Derivace

Odvození zkreslení-rozptylu rozkladu na druhou chybu probíhá následovně.^[9][10] Z důvodu většího pohodlí zkracujeme ${ displaystyle f = f (x)}$, ${ displaystyle { hat {f}} = { hat {f}} (x; D)}$ a upustíme ${ displaystyle D}$ dolní index našich očekávaných operátorů. Nejprve si připomeňme, že podle definice pro libovolnou náhodnou proměnnou ${ displaystyle X}$, my máme

${ displaystyle operatorname {Var} [X] = operatorname {E} [X ^ {2}] - operatorname {E} [X] ^ {2}.}$

Přeskupením získáme:

${ displaystyle operatorname {E} [X ^ {2}] = operatorname {Var} [X] + operatorname {E} [X] ^ {2}.}$

Od té doby ${ displaystyle f}$ je deterministický, tj. nezávislé na ${ displaystyle D}$,

${ displaystyle operatorname {E} [f] = f.}$

Tak, vzhledem k tomu ${ displaystyle y = f + varepsilon}$ a ${ displaystyle operatorname {E} [ varepsilon] = 0}$ (protože ${ displaystyle varepsilon}$ je hluk), naznačuje ${ displaystyle operatorname {E} [y] = operatorname {E} [f + varepsilon] = operatorname {E} [f] = f.}$

Také od té doby ${ displaystyle operatorname {Var} [ varepsilon] = sigma ^ {2},}$

${ displaystyle operatorname {Var} [y] = operatorname {E} [(y- operatorname {E} [y]) ^ {2}] = operatorname {E} [(yf) ^ {2}] = operatorname {E} [(f + varepsilon -f) ^ {2}] = operatorname {E} [ varepsilon ^ {2}] = operatorname {Var} [ varepsilon] + operatorname {E} [ varepsilon] ^ {2} = sigma ^ {2} + 0 ^ {2} = sigma ^ {2}.}$

Tedy od té doby ${ displaystyle varepsilon}$ a ${ displaystyle { hat {f}}}$ jsou nezávislé, můžeme psát

${ displaystyle { begin {aligned} operatorname {E} { big [} (y - { hat {f}}) ^ {2} { big]} & = operatorname {E} { big [ } (f + varepsilon - { hat {f}}) ^ {2} { big]} [5pt] & = operatorname {E} { big [} (f + varepsilon - { hat {f }} + operatorname {E} [{ hat {f}}] - operatorname {E} [{ hat {f}}]) ^ {2} { big]} [5pt] & = operatorname {E} { big [} (f- operatorname {E} [{ hat {f}}]) ^ {2} { big]} + operatorname {E} [ varepsilon ^ {2}] + operatorname {E} { big [} ( operatorname {E} [{ hat {f}}] - { hat {f}}) ^ {2} { big]} + 2 operatorname {E } { big [} (f- operatorname {E} [{ hat {f}}]) varepsilon { big]} + 2 operatorname {E} { big [} varepsilon ( operatorname {E } [{ hat {f}}] - { hat {f}}) { big]} + 2 operatorname {E} { big [} ( operatorname {E} [{ hat {f}} ] - { hat {f}}) (f- operatorname {E} [{ hat {f}}])) { big]} [5pt] & = (f- operatorname {E} [{ hat {f}}]) ^ {2} + operatorname {E} [ varepsilon ^ {2}] + operatorname {E} { big [} ( operatorname {E} [{ hat {f} }] - { hat {f}}) ^ {2} { big]} + 2 (f- operatorname {E} [{ hat {f}}]) operatorname {E} [ vareps ilon] +2 operatorname {E} [ varepsilon] operatorname {E} { big [} operatorname {E} [{ hat {f}}] - { hat {f}} { big]} +2 operatorname {E} { big [} operatorname {E} [{ hat {f}}] - { hat {f}} { big]} (f- operatorname {E} [{ klobouk {f}}])) [5pt] & = (f- operatorname {E} [{ hat {f}}]) ^ {2} + operatorname {E} [ varepsilon ^ {2}] + operatorname {E} { big [} ( operatorname {E} [{ hat {f}}] - { hat {f}}) ^ {2} { big]} [5 bodů] & = (f- operatorname {E} [{ hat {f}}]) ^ {2} + operatorname {Var} [ varepsilon] + operatorname {Var} { big [} { hat {f} } { big]} [5pt] & = operatorname {Bias} [{ hat {f}}] ^ {2} + operatorname {Var} [ varepsilon] + operatorname {Var} { big [} { hat {f}} { big]} [5pt] & = operatorname {Bias} [{ hat {f}}] ^ {2} + sigma ^ {2} + operatorname { Var} { big [} { hat {f}} { big]}. End {zarovnáno}}}$

Nakonec se funkce ztráty MSE (nebo záporná logaritmická pravděpodobnost) získá převzetím očekávané hodnoty ${ displaystyle x sim P}$:

${ displaystyle { text {MSE}} = operatorname {E} _ {x} { bigg {} operatorname {Bias} _ {D} [{ hat {f}} (x; D)] ^ {2} + operatorname {Var} _ {D} { big [} { hat {f}} (x; D) { big]} { bigg }} + sigma ^ {2}.}$

Přístupy

Snížení rozměrů a výběr funkcí může snížit rozptyl zjednodušením modelů. Podobně větší tréninková sada má tendenci snižovat rozptyl. Přidávání funkcí (prediktorů) má tendenci snižovat zkreslení na úkor zavedení další odchylky. Učící se algoritmy mají obvykle některé nastavitelné parametry, které řídí zkreslení a rozptyl; například,

• lineární a Zobecněné lineární modely mohou být legalizovaný snížit jejich rozptyl za cenu zvýšení jejich zkreslení.^[11]
• v umělé neuronové sítě, rozptyl se zvyšuje a zkreslení se snižuje s rostoucím počtem skrytých jednotek,^[12] ačkoli tento klasický předpoklad byl předmětem nedávné debaty.^[5] Stejně jako v GLM se obvykle používá regularizace.
• v k-nejbližší soused modely, vysoká hodnota k vede k vysoké odchylce a nízké odchylce (viz níže).
• v instanční učení, regularizace lze dosáhnout změnou směsi prototypy a příklady.^[13]
• v rozhodovací stromy, hloubka stromu určuje rozptyl. Rozhodovací stromy se běžně prořezávají, aby řídily rozptyl.^[7]:307

Jedním ze způsobů řešení kompromisu je použití smíšené modely a souborové učení.^[14][15] Například, posílení kombinuje mnoho "slabých" (vysoce zkreslených) modelů v souboru, který má nižší zkreslení než jednotlivé modely, zatímco pytlování kombinuje „silné“ studenty způsobem, který snižuje jejich rozptyl.

Ověření modelu metody jako křížová validace (statistika) lze použít k vyladění modelů za účelem optimalizace kompromisu.

k- nejbližší sousedé

V případě k- nejbližší sousedé regrese, když je převzato očekávání možného označení pevné tréninkové sady, a uzavřený výraz existuje, která souvisí s rozkladem odchylky – odchylky k parametru k:^{[8]:37, 223}

${ displaystyle operatorname {E} [(y - { hat {f}} (x)) ^ {2} mid X = x] = left (f (x) - { frac {1} {k }} sum _ {i = 1} ^ {k} f (N_ {i} (x)) right) ^ {2} + { frac { sigma ^ {2}} {k}} + sigma ^ {2}}$

kde ${ displaystyle N_ {1} (x), tečky, N_ {k} (x)}$ jsou k nejbližší sousedé X v tréninkové sadě. Předpětí (první člen) je monotónní rostoucí funkce k, zatímco rozptyl (druhý člen) klesá jako k se zvyšuje. Ve skutečnosti za „rozumných předpokladů“ předpojatost odhadce prvního nejbližšího souseda (1-NN) úplně zmizí, jak se velikost tréninkové sady blíží nekonečnu.^[12]

Aplikace

V regresi

Dekompozice bias-variance tvoří koncepční základ pro regresi regulace metody jako Laso a hřebenová regrese. Regularizační metody zavádějí do regresního řešení předpětí, které může relativně snížit rozptyl vzhledem k obyčejné nejmenší čtverce (OLS) řešení. Ačkoli řešení OLS poskytuje nepřesné odhady regrese, řešení s nižší odchylkou produkovaná regularizačními technikami poskytují vynikající výkon MSE.

V klasifikaci

Rozklad zkreslení-odchylka byl původně formulován pro regresi nejmenších čtverců. Pro případ klasifikace pod Ztráta 0-1 (míra nesprávné klasifikace), je možné najít podobný rozklad.^[16][17] Alternativně, pokud lze problém s klasifikací formulovat jako pravděpodobnostní klasifikace, lze očekávanou čtvercovou chybu předpovězených pravděpodobností s ohledem na skutečné pravděpodobnosti rozložit jako dříve.^[18]

Při posilování učení

I když rozklad bias-variance přímo neplatí posilování učení, podobný kompromis může také charakterizovat zobecnění. Když má agent omezené informace o svém prostředí, lze suboptimalitu RL algoritmu rozložit na součet dvou termínů: termín související s asymptotickým zkreslením a termín kvůli nadměrnému vybavení. Asymptotické zkreslení přímo souvisí s algoritmem učení (nezávisle na množství dat), zatímco nadměrný termín pochází ze skutečnosti, že množství dat je omezené.^[19]

V lidském učení

I když je široce diskutováno v kontextu strojového učení, dilema zkreslení bylo zkoumáno v kontextu lidské poznání, zejména tím, že Gerd Gigerenzer a spolupracovníky v kontextu naučené heuristiky. Tvrdili (viz odkazy níže), že lidský mozek řeší dilema v případě typicky řídkých, špatně charakterizovaných tréninkových sestav poskytovaných zkušenostmi přijetím heuristiky s vysokou předpětím / nízkou odchylkou. To odráží skutečnost, že přístup s nulovým předpětím má špatnou obecnost pro nové situace, a také bezdůvodně předpokládá přesnou znalost skutečného stavu světa. Výsledné heuristiky jsou relativně jednoduché, ale vytvářejí lepší závěry v širším spektru situací.^[20]

Gemane et al.^[12] tvrdí, že dilema zkreslení předpokládá, že schopnosti jako obecné rozpoznávání objektů nelze se naučit od nuly, ale vyžaduje určitý stupeň „pevného zapojení“, který je později vyladěn zkušeností. Je to proto, že přístupy k odvození bez modelu vyžadují neprakticky velké tréninkové sady, pokud se mají vyhnout velkému rozptylu.

Viz také

Reference