Chyba vynechání - Leave-one-out error

Tento článek má několik problémů. Prosím pomozte zlepšit to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek možná matoucí nebo nejasné čtenářům. Prosím, pomoz nám objasnit článek. O tom by mohla být diskuse diskusní stránka. (Listopadu 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) tento článek poskytuje nedostatečný kontext pro ty, kteří danému tématu nejsou obeznámeni. Prosím pomozte vylepšit článek podle poskytuje čtenáři více kontextu. (Listopadu 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Chyba vynechání může odkazovat na následující:

• Stabilita křížové validace s vynecháním jedné položky (CVloo, pro stabilita křížové validace s vynecháním jednoho): An algoritmus f má CVloo stabilitu β vzhledem k funkce ztráty V, pokud platí:

${ displaystyle forall i in {1, ..., m }, mathbb {P} _ {S} { sup _ {z v Z} | V (f_ {S}, z_ { i}) - V (f_ {S ^ {| i}}, z_ {i}) | leq beta _ {CV} } geq 1- delta _ {CV}}$

• Očekává se, že bude ponechána jedna-ven chyba stability (${ displaystyle Eloo_ {chyba}}$, pro Očekávaná chyba při vynechání jednoho): Algoritmus f má ${ displaystyle Eloo_ {chyba}}$ stabilita, pokud pro každé n existuje a${ displaystyle beta _ {EL} ^ {m}}$ a a ${ displaystyle delta _ {EL} ^ {m}}$ takové, že:

${ displaystyle forall i in {1, ..., m }, mathbb {P} _ {S} {| I [f_ {S}] - { frac {1} {m}} sum _ {i = 1} ^ {m} V (f_ {S ^ {| i}}, z_ {i}) | leq beta _ {EL} ^ {m} } geq 1- delta _ {EL} ^ {m}}$, s ${ displaystyle beta _ {EL} ^ {m}}$a ${ displaystyle delta _ {EL} ^ {m}}$ jít na nulu pro ${ displaystyle n rightarrow inf}$

Předběžné notace

S X a Y jsou podmnožina z reálná čísla R, nebo X a Y ⊂ R, které jsou vstupním prostorem X a výstupním prostorem Y, považujeme za tréninková sada:

${ displaystyle S = {z_ {1} = (x_ {1}, y_ {1}) , .., z_ {m} = (x_ {m}, y_ {m}) }}$o velikosti m v ${ displaystyle Z = X krát Y}$ tažené nezávisle a identicky distribuovány (i.i.d.) z neznámé distribuce, zde zvané „D“. Pak algoritmus učení je funkce ${ displaystyle f}$ z ${ displaystyle Z_ {m}}$ do ${ displaystyle F podmnožina YX}$ který mapy A učební sada S na funkci ${ displaystyle f_ {S}}$ ze vstupního prostoru X do výstupního prostoru Y. Abychom se vyhnuli složité notaci, uvažujeme pouze deterministické algoritmy. Rovněž se předpokládá, že algoritmus ${ displaystyle f}$ je symetrický vzhledem k S, tj. nezávisí na pořadí prvků v tréninková sada. Dále předpokládáme, že všechny funkce jsou měřitelné a všechny sady jsou spočetné, což neomezuje zájem zde prezentovaných výsledků.

Ztráta hypotéza F s ohledem na příklad ${ displaystyle z = (x, y)}$ je pak definována jako ${ displaystyle V (f, z) = V (f (x), y)}$.v empirická chyba z F pak lze zapsat jako ${ displaystyle I_ {S} [f] = { frac {1} {n}} součet V (f, z_ {i})}$.

The skutečná chyba z F je ${ displaystyle I [f] = mathbb {E} _ {z} V (f, z)}$

Vzhledem k tréninkové sadě S o velikosti m sestavíme pro všechny i ​​= 1 ...., m upravené tréninkové sady takto:

• Odebráním i-tého prvku

${ displaystyle S ^ {| i} = {z_ {1}, ..., z_ {i-1}, z_ {i + 1}, ..., z_ {m} }}$

• a / nebo^{[je zapotřebí objasnění ]} nahrazením i-tého prvku

${ displaystyle S ^ {i} = {z_ {1}, ..., z_ {i-1}, z_ {i} ', z_ {i + 1}, ..., z_ { m} }}$

Viz také

• Převzorkování kapesního nože

Reference

• S. Mukherjee, P. Niyogi, T. Poggio a R. M. Rifkin. Učící se teorie: stabilita je dostatečná pro zobecnění a nezbytná a dostatečná pro konzistenci empirické minimalizace rizik. Adv. Comput. Math., 25 (1-3): 161–193, 2006