Usměrňovač (neuronové sítě) - Rectifier (neural networks)

Plot reLU usměrňovače (modrá) a GELU (zelená) funguje poblíž X = 0

V kontextu umělé neuronové sítě, usměrňovač je aktivační funkce definována jako pozitivní část svého argumentu:

${ displaystyle f (x) = x ^ {+} = max (0, x)}$

kde X je vstup do neuronu. Toto se také nazývá a funkce rampy a je analogický k půlvlnová náprava v elektrotechnice.

Tento aktivační funkce byl poprvé představen dynamické síti Hahnloserem a kol. v roce 2000^{[pochybný – diskutovat]} se silným biologický motivace a matematická zdůvodnění.^[1][2] Poprvé bylo prokázáno v roce 2011, aby bylo možné lépe trénovat hlubší sítě,^[3] ve srovnání s široce používanými aktivačními funkcemi před rokem 2011, např logistický sigmoid (který je inspirován teorie pravděpodobnosti; vidět logistická regrese ) a jeho praktičtější^[4] protějšek, hyperbolická tečna. Usměrňovač je od roku 2017^{[Aktualizace]}, nejpopulárnější aktivační funkce pro hluboké neuronové sítě.^[5]

Jednotka využívající usměrňovač se také nazývá a usměrněná lineární jednotka (ReLU).^[6]

Rektifikované lineární jednotky nacházejí uplatnění v počítačové vidění^[3] a rozpoznávání řeči^[7][8] použitím hluboké neurální sítě a výpočetní neurověda.^[9][10][11]

Výhody

• Biologická věrohodnost: Jednostranný, ve srovnání s antisymetrie z tanh.^{[nenásledují ]}
• Řídká aktivace: Například v náhodně inicializované síti je aktivováno pouze asi 50% skrytých jednotek (mají nenulový výstup).
• Lepší šíření gradientu: Méně mizející přechod problémy ve srovnání s sigmoidálními aktivačními funkcemi, které saturují v obou směrech.^[3]
• Efektivní výpočet: Pouze srovnání, sčítání a násobení.
• Měřítko invariantní: ${ displaystyle max (0, sekera) = a max (0, x) { text {pro}} a geq 0}$.

Opravné aktivační funkce byly použity k oddělení specifické excitace a nespecifické inhibice v pyramidě neurální abstrakce, která byla trénována supervizovaným způsobem, aby se naučila několik úkolů počítačového vidění.^[12] V roce 2011,^[3] Ukázalo se, že použití usměrňovače jako nelinearity umožňuje hluboký trénink pod dohledem neuronové sítě bez nutnosti bez dozoru předškolení. Rektifikované lineární jednotky ve srovnání s sigmoidní funkce nebo podobné aktivační funkce, umožňují rychlejší a efektivnější trénování hlubokých neurálních architektur na velkých a složitých datových sadách.

Potenciální problémy

• Nediferencovatelné na nule; je však diferencovatelný kdekoli jinde a hodnotu derivace na nule lze libovolně zvolit jako 0 nebo 1.
• Není na střed.
• Bez omezení.
• Problém umírajícího ReLU: Neurony ReLU lze někdy tlačit do stavů, ve kterých se stanou neaktivními v podstatě pro všechny vstupy. V tomto stavu nepronikají neurony zpět žádné přechody, a tak se neuron zasekne v trvale neaktivním stavu a „zemře“. Toto je forma mizející přechodový problém. V některých případech může velké množství neuronů v síti uváznout v mrtvých stavech, což účinně snižuje kapacitu modelu. Tento problém obvykle nastává, když je nastavena příliš vysoká rychlost učení. Může to být zmírněno použitím děravých ReLU, které přiřazují malý pozitivní sklon X <0, ale výkon je snížen.

Varianty

Gaussova chyba lineární jednotka (GELU)

GELU je plynulá aproximace usměrňovače. Má non-monotónní „bouli“, když x <0, a slouží jako výchozí aktivace pro modely jako BERT.^[13]

${ displaystyle f (x) = x cdot Phi (x)}$,

kde Φ (x) je kumulativní distribuční funkce normy normální distribuce.

SiLU

SiLU (sigmoidní lineární jednotka) je další plynulá aproximace poprvé představená v článku GELU.^[13]

${ displaystyle f (x) = x cdot operatorname {sigmoid} (x)}$

Softplus

Hladkou aproximací usměrňovače je analytická funkce

${ displaystyle f (x) = ln (1 + e ^ {x}),}$

který se nazývá softplus^[14][3] nebo SmoothReLU funkce.^[15] Pro velké záporné ${ displaystyle x}$ to je asi ${ displaystyle e ^ {x}}$ takže těsně nad 0, zatímco pro velké klady ${ displaystyle x}$ o ${ displaystyle x + e ^ {- x}}$ takže právě výše ${ displaystyle x}$.

Parametr ostrosti ${ displaystyle k}$ mohou být zahrnuty:

${ displaystyle f (x) = { frac { ln (1 + e ^ {kx})} {k}}}$

Derivátem softplusu je logistická funkce. Počínaje parametrickou verzí,

${ displaystyle f '(x) = { frac {e ^ {kx}} {1 + e ^ {kx}}} = { frac {1} {1 + e ^ {- kx}}}}$

Logistické sigmoidní funkce je plynulá aproximace derivace usměrňovače, Funkce Heaviside step.

Multivariační zobecnění softplusu s jednou proměnnou je LogSumExp s prvním argumentem nastaveným na nulu:

${ displaystyle operatorname {LSE_ {0}} ^ {+} (x_ {1}, ..., x_ {n}): = operatorname {LSE} (0, x_ {1}, ..., x_ {n}) = log left (1 + e ^ {x_ {1}} + cdots + e ^ {x_ {n}} right).}$

Funkce LogSumExp je

${ displaystyle operatorname {LSE} (x_ {1}, dots, x_ {n}) = log left (e ^ {x_ {1}} + cdots + e ^ {x_ {n}} right ),}$

a jeho gradient je softmax; softmax s prvním argumentem nastaveným na nulu je vícerozměrné zobecnění logistické funkce. LogSumExp i softmax se používají ve strojovém učení.

Děravá ReLU

Děravé ReLU umožňují malý pozitivní gradient, když jednotka není aktivní.^[8]

${ displaystyle f (x) = { begin {cases} x & { text {if}} x> 0, 0,01x & { text {jinak}}. end {cases}}}$

Parametrická ReLU

Parametrické ReLU (PReLUs) posouvají tuto myšlenku dále tím, že činí koeficient úniku do parametru, který se učí spolu s dalšími parametry neurální sítě.^[16]

${ displaystyle f (x) = { begin {cases} x & { text {if}} x> 0, ax & { text {jinak}}. end {cases}}}$

Všimněte si, že pro ≤ 1 je to ekvivalent k

${ displaystyle f (x) = max (x, sekera)}$

a má tedy vztah k sítím „maxout“.^[16]

ELU

Exponenciální lineární jednotky se snaží přiblížit střední aktivaci nule, což zrychluje učení. Ukázalo se, že ELU mohou získat vyšší přesnost klasifikace než ReLU.^[17]

${ displaystyle f (x) = { begin {cases} x & { text {if}} x> 0, a (e ^ {x} -1) & { text {jinak}}, end { případy}}}$

kde ${ displaystyle a}$ je hyperparametr být naladěn a ${ displaystyle a geq 0}$ je omezení.

Viz také

• Funkce Softmax
• Sigmoidní funkce
• Tobitův model

Reference