Huberova ztráta - Huber loss

v statistika, Huberova ztráta je funkce ztráty použito v robustní regrese, který je méně citlivý na odlehlé hodnoty v datech než druhá ztráta chyby. Někdy se také používá varianta pro klasifikaci.

Definice

Huberova ztráta (zelená,

{ displaystyle delta = 1}

) a druhá ztráta chyby (modrá) jako funkce

{ displaystyle y-f (x)}

Funkce Huberovy ztráty popisuje pokutu způsobenou postup odhadu $F$ . Huber (1964) definuje funkci ztráty po částech^[1]

{ displaystyle L _ { delta} (a) = { begin {cases} { frac {1} {2}} {a ^ {2}} & { text {for}} | a | leq delta , delta (| a | - { frac {1} {2}} delta), & { text {jinak.}} end {případy}}}

Tato funkce je kvadratická pro malé hodnoty $A$ a lineární pro velké hodnoty, se stejnými hodnotami a sklony různých sekcí ve dvou bodech, kde ${ displaystyle | a | = delta}$ . Proměnná $A$ často odkazuje na rezidua, to znamená na rozdíl mezi pozorovanými a předpovězenými hodnotami ${ displaystyle a = y-f (x)}$ , takže první lze rozšířit na^[2]

{ displaystyle L _ { delta} (y, f (x)) = { begin {cases} { frac {1} {2}} (yf (x)) ^ {2} & { textrm {for} } | yf (x) | leq delta, delta , | yf (x) | - { frac {1} {2}} delta ^ {2} & { textrm {jinak.}} end {případy}}}

Motivace

Dvě velmi často používané ztrátové funkce jsou druhá ztráta, ${ displaystyle L (a) = a ^ {2}}$ a absolutní ztráta, ${ displaystyle L (a) = | a |}$ . Výsledkem funkce druhé mocniny je aritmetický průměr -nezaujatý odhad a výsledkem funkce ztráty absolutní hodnoty je a medián -neobjektivní odhad (v jednorozměrném případě a geometrický medián - nestranný odhad pro vícerozměrný případ). Druhá ztráta má tu nevýhodu, že má tendenci být ovládána odlehlými hodnotami - při součtu za sadu ${ displaystyle a}$ (jako v ${ textstyle sum _ {i = 1} ^ {n} L (a_ {i})}$ ), průměr vzorku je příliš ovlivněn několika obzvláště velkými ${ displaystyle a}$ -hodnoty, když je distribuce těžce sledována: ve smyslu teorie odhadu, asymptotická relativní účinnost průměru je špatná pro distribuce těžkých ocasů.

Jak je definováno výše, funkce Huberovy ztráty je silně konvexní v jednotném sousedství svého minima ${ displaystyle a = 0}$ ; na hranici tohoto uniformního sousedství má Huberova ztrátová funkce diferencovatelné rozšíření na afinní funkci v bodech ${ displaystyle a = - delta}$ a ${ displaystyle a = delta}$ . Tyto vlastnosti mu umožňují kombinovat velkou část citlivosti odhadce střední hodnoty, minimální odchylky průměru (pomocí funkce kvadratické ztráty) a robustnosti mediánu nezaujatého odhadu (použití funkce absolutní hodnoty).

Funkce ztráty pseudo-Huberem

The Funkce ztráty pseudo-Huberem lze použít jako plynulé přiblížení funkce Huberovy ztráty. Kombinuje nejlepší vlastnosti L2 druhá ztráta a L1 absolutní ztráta tím, že je silně konvexní, když je blízko cíle / minimum a méně strmé pro extrémní hodnoty. Tuto strmost lze ovládat pomocí ${ displaystyle delta}$ hodnota. The Funkce ztráty pseudo-Huberem zajišťuje, že deriváty jsou spojité pro všechny stupně. Je definován jako^[3]^[4]

{ displaystyle L _ { delta} (a) = delta ^ {2} left ({ sqrt {1+ (a / delta) ^ {2}}} - 1 right).}

Tato funkce je tedy přibližná ${ displaystyle a ^ {2} / 2}$ pro malé hodnoty ${ displaystyle a}$ a přibližuje přímku se sklonem ${ displaystyle delta}$ pro velké hodnoty ${ displaystyle a}$ .

Zatímco výše uvedená je nejběžnější forma, existují i další plynulé aproximace Huberovy ztrátové funkce.^[5]

Varianta pro klasifikaci

Pro klasifikace účely se nazývá varianta ztráty Huber upravený Huber se někdy používá. Vzhledem k předpovědi ${ displaystyle f (x)}$ (skóre klasifikátoru se skutečnou hodnotou) a true binární označení třídy ${ displaystyle y in {+ 1, -1 }}$ , je upravená Huberova ztráta definována jako^[6]