Škálování funkcí - Feature scaling - Wikipedia

Škálování funkcí je metoda používaná k normalizaci rozsahu nezávislých proměnných nebo vlastností dat. v zpracování dat, je také známá jako normalizace dat a obvykle se provádí během kroku předzpracování dat.

Motivace

Protože rozsah hodnot nezpracovaných dat se v některých značně liší strojové učení algoritmy, objektivní funkce nebudou fungovat správně bez normalizace. Například mnoho klasifikátory vypočítat vzdálenost mezi dvěma body pomocí Euklidovská vzdálenost. Pokud má jedna z funkcí širokou škálu hodnot, bude se vzdálenost řídit touto konkrétní funkcí. Proto by měl být rozsah všech prvků normalizován tak, aby každý prvek přispíval přibližně úměrně konečné vzdálenosti.

Dalším důvodem, proč se používá škálování funkcí, je to klesání s měřítkem funkcí konverguje mnohem rychleji než bez něj.^[1]

Je také důležité použít měřítko funkcí, pokud regulace se používá jako součást funkce ztráty (aby byly koeficienty odpovídajícím způsobem penalizovány).

Metody

Změna měřítka (min-max normalizace)

Nejjednodušší metodou, která se také označuje jako škálování min-max nebo normalizace min-max, je změna měřítka rozsahu funkcí tak, aby se rozsah změnil na [0, 1] nebo [−1, 1]. Výběr cílového rozsahu závisí na povaze dat. Obecný vzorec pro min-max [0, 1] je uveden jako:

${ displaystyle x '= { frac {x - { text {min}} (x)} {{ text {max}} (x) - { text {min}} (x)}}}$

kde ${ displaystyle x}$ je původní hodnota, ${ displaystyle x '}$ je normalizovaná hodnota. Předpokládejme například, že máme údaje o hmotnosti studentů a váhy studentů pokrývají [160 liber, 200 liber]. Abychom změnili měřítko těchto dat, nejprve odečteme 160 od váhy každého studenta a výsledek vydělíme 40 (rozdíl mezi maximální a minimální hmotností).

Chcete-li změnit měřítko rozsahu mezi libovolnou sadou hodnot [a, b], stane se vzorec:

${ displaystyle x '= a + { frac {(x - { text {min}} (x)) (ba)} {{ text {max}} (x) - { text {min}} (x )}}}$

kde ${ displaystyle a, b}$ jsou hodnoty min-max.

Střední normalizace

${ displaystyle x '= { frac {x - { text {průměr}} (x)} {{ text {max}} (x) - { text {min}} (x)}}}$

kde ${ displaystyle x}$ je původní hodnota, ${ displaystyle x '}$ je normalizovaná hodnota. Existuje další forma normalizace prostředků, což je, když vydělíme směrodatnou odchylku, která se také nazývá standardizace.

Standardizace (normalizace Z-skóre)

Ve strojovém učení můžeme zpracovávat různé typy dat, např. zvukové signály a hodnoty pixelů pro obrazová data a tato data mohou zahrnovat více rozměry. Standardizace prvků způsobí, že hodnoty každého prvku v datech budou mít nulový průměr (při odečtení průměru v čitateli) a jednotkovou odchylku. Tato metoda je široce používána pro normalizaci v mnoha algoritmech strojového učení (např. podporovat vektorové stroje, logistická regrese, a umělé neuronové sítě ).^[2]^{[Citace je zapotřebí ]} Obecnou metodou výpočtu je určení rozdělení znamenat a standardní odchylka pro každou funkci. Dále odečteme průměr od každé funkce. Potom vydělíme hodnoty (průměr je již odečten) každého prvku jeho směrodatnou odchylkou.

${ displaystyle x '= { frac {x - { bar {x}}} { sigma}}}$

Kde ${ displaystyle x}$ je původní vektor funkcí, ${ displaystyle { bar {x}} = { text {průměr}} (x)}$ je průměr tohoto vektoru funkcí a ${ displaystyle sigma}$ je jeho směrodatná odchylka.

Škálování na délku jednotky

Další možností, která se široce používá ve strojovém učení, je škálování komponent vektoru funkcí tak, aby měl úplný vektor délku jedna. To obvykle znamená dělení každé složky znakem Euklidovská délka vektoru:

{ displaystyle x '= { frac {x} { vlevo | {x} vpravo |}}}

V některých aplikacích (např. Funkce histogramu) může být praktičtější použít L₁ norma (tj. geometrie taxíku ) vektoru funkcí. To je obzvláště důležité, pokud se v následujících krocích učení použije skalární metrika jako míra vzdálenosti.^{[proč? ]}

aplikace

v stochastický gradient, škálování funkcí může někdy zlepšit rychlost konvergence algoritmu^[2]^{[Citace je zapotřebí ]}. V podpůrných vektorových strojích^[3] může zkrátit dobu hledání podpůrných vektorů. Všimněte si, že změna měřítka funkce změní výsledek SVM^{[Citace je zapotřebí ]}.

Viz také

Normalizace (statistika)
Standardní skóre
fMLLR, Prostor funkce Maximální pravděpodobnost lineární regrese

Reference

^ Ioffe, Sergey; Christian Szegedy (2015). "Batch Normisation: Accelerating Deep Network Training by Reducing Internal Covariate Shift". arXiv:1502.03167 [cs.LG ].
^ ^A ^b Grus, Joel (2015). Data Science od nuly. Sebastopol, CA: O'Reilly. 99, 100. ISBN 978-1-491-90142-7.
^ Juszczak, P .; D. M. J. Tax; R. P. W. Dui (2002). Msgstr "Škálování prvků v popisech vektorových dat podpory". Proc. 8. Annu. Konf. Adv. School Comput. Zobrazování: 25–30. CiteSeerX 10.1.1.100.2524.

Další čtení

Han, Jiawei; Kamber, Micheline; Pei, Jian (2011). „Transformace dat a diskretizace dat“. Dolování dat: koncepty a techniky. Elsevier. 111–118.

externí odkazy

Přednáška Andrewa Ng o škálování funkcí

[1] Ioffe, Sergey; Christian Szegedy (2015). "Batch Normisation: Accelerating Deep Network Training by Reducing Internal Covariate Shift". arXiv:1502.03167 [cs.LG ].

[:0-2] A ^b Grus, Joel (2015). Data Science od nuly. Sebastopol, CA: O'Reilly. 99, 100. ISBN 978-1-491-90142-7.

[3] Juszczak, P .; D. M. J. Tax; R. P. W. Dui (2002). Msgstr "Škálování prvků v popisech vektorových dat podpory". Proc. 8. Annu. Konf. Adv. School Comput. Zobrazování: 25–30. CiteSeerX 10.1.1.100.2524.

[1]

[2]

[3]