Aktivační funkce - Activation function

Logistická aktivační funkce

v umělé neuronové sítě, aktivační funkce uzlu definuje výstup daného uzlu s daným vstupem nebo sadou vstupů. Standard integrovaný obvod může být viděn jako digitální síť aktivačních funkcí, které mohou být v závislosti na vstupu „ON“ (1) nebo „OFF“ (0). Je to podobné jako chování lineární perceptron v neuronové sítě. Avšak pouze nelineární aktivační funkce umožňují takovým sítím vypočítat netriviální problémy s použitím pouze malého počtu uzlů a tyto aktivační funkce se nazývají nelinearity.^[1]

Funkce

Nejběžnější aktivační funkce lze rozdělit do tří kategorií: hřebenové funkce, radiální funkce a funkce skládání.

Funkce aktivace hřebene

Ridge funkce jsou jednorozměrné funkce působící na lineární kombinaci vstupních proměnných. Mezi často používané příklady patří:

Lineární aktivace: ${ displaystyle phi ( mathbf {v}) = a + mathbf {v} ' mathbf {b}}$ ,
ReLU aktivace: ${ displaystyle phi ( mathbf {v}) = max (0, a + mathbf {v} ' mathbf {b})}$ ,
Heaviside aktivace: ${ displaystyle phi ( mathbf {v}) = 1_ {a + mathbf {v} ' mathbf {b}> 0}}$ ,
Logistické aktivace: ${ displaystyle phi ( mathbf {v}) = (1+ exp (-a- mathbf {v} ' mathbf {b})) ^ {- 1}}$ .

v biologicky inspirované neuronové sítě, aktivační funkce je obvykle abstrakce představující rychlost akční potenciál palba v cele.^[2] Ve své nejjednodušší podobě je tato funkce binární —To je, buď neuron střílí nebo ne. Funkce vypadá ${ displaystyle phi ( mathbf {v}) = U (a + mathbf {v} ' mathbf {b})}$ , kde ${ displaystyle U}$ je Funkce kroku Heaviside.

Řada pozitivních sklon lze použít k vyjádření zvýšení rychlosti střelby, ke kterému dochází při zvyšování vstupního proudu. Taková funkce by měla formu ${ displaystyle phi ( mathbf {v}) = a + mathbf {v} ' mathbf {b}}$ .

Protože biologické neurony nemohou snížit rychlost střelby pod nulu, usměrněné lineární používají se aktivační funkce: ${ displaystyle phi ( mathbf {v}) = max (0, a + mathbf {v} ' mathbf {b})}$ . Zavádějí nelinearitu na nule, kterou lze použít pro rozhodování.^[3]

Usměrněné lineární jednotky a funkce aktivace lineární jednotky s Gaussovou chybou

Neurony také nemohou motivovat rychleji než určitou rychlostí sigmoid aktivační funkce, jejichž doménou je konečný interval.

Funkce radiální aktivace

Speciální třída aktivačních funkcí známá jako radiální základní funkce (RBF) se používají v Sítě RBF, které jsou extrémně účinné jako aproximátory univerzálních funkcí. Tyto aktivační funkce mohou mít mnoho podob, ale obvykle se nacházejí jako jedna z následujících funkcí:

Gaussian: ${ displaystyle , phi ( mathbf {v}) = exp left (- { frac { | mathbf {v} - mathbf {c} | ^ {2}} {2 sigma ^ {2}}} vpravo)}$
Multiquadratics: ${ displaystyle , phi ( mathbf {v}) = { sqrt { | mathbf {v} - mathbf {c} | ^ {2} + a ^ {2}}}}$
Inverzní multiquadratics: ${ displaystyle , phi ( mathbf {v}) = left ( | mathbf {v} - mathbf {c} | ^ {2} + a ^ {2} right) ^ {- { frac {1} {2}}}}$
Polyharmonické splajny

kde ${ displaystyle mathbf {c}}$ je vektor představující funkci centrum a ${ displaystyle a}$ a ${ displaystyle sigma}$ jsou parametry ovlivňující šíření poloměru.

Byla navržena výpočetně efektivní radiální základní funkce,^[4] nazývá se RBF jádro založené na Square-law (SQ-RBF ), který eliminuje exponenciální člen, jak se nachází v Gaussian RBF.

SQ-RBF: ${ displaystyle f ( mathbf {v}) = { začátek {případů} 1 - { frac {1} {2}} | mathbf {v} - mathbf {c} | ^ {2} & : | mathbf {v} - mathbf {c} | leq 1 { frac {1} {2}} (2- | mathbf {v} - mathbf {c} |) ^ {2} &: 1 leq | mathbf {v} - mathbf {c} | leq 2 0 &: | mathbf {v} - mathbf {c} | geq 2. end {případy}}}$

Skládací aktivační funkce

Skládací aktivační funkce jsou široce používány v sdružování vrstev v konvoluční neuronové sítě a ve výstupních vrstvách sítí klasifikace více tříd. Tyto aktivace provádějí agregaci přes vstupy, například převzetí znamenat, minimální nebo maximum. V klasifikaci více tříd je softmax často se používá aktivace.

Porovnání aktivačních funkcí

Existuje mnoho aktivačních funkcí. Seminář Hinton et al. Z roku 2012 o automatickém rozpoznávání řeči používá funkci aktivace logistické sigmoidy.^[5] Seminář 2012 AlexNet architektura počítačového vidění využívá aktivační funkci ReLU, stejně jako klíčová architektura počítačového vidění 2015 ResNet. Klíčový model zpracování jazyka 2018 BERT používá hladkou verzi ReLU, GELU.^[6]

Kromě empirického výkonu mají aktivační funkce také různé matematické vlastnosti:

Nelineární: Když je aktivační funkce nelineární, lze prokázat dvouvrstvou neuronovou síť jako univerzální aproximátor funkcí.^[7] Toto je známé jako Věta o univerzální aproximaci. Funkce aktivace identity tuto vlastnost nesplňuje. Když více vrstev používá funkci aktivace identity, celá síť je ekvivalentní modelu s jednou vrstvou.
Rozsah: Když je rozsah aktivační funkce konečný, mají tréninkové metody založené na gradientu tendenci být stabilnější, protože prezentace vzorů významně ovlivňují pouze omezené váhy. Když je rozsah nekonečný, trénink je obecně efektivnější, protože prezentace vzorů významně ovlivňují většinu váh. V druhém případě menší míry učení jsou obvykle nutné.^{[Citace je zapotřebí ]}
Neustále diferencovatelné: Tato vlastnost je žádoucí (ReLU není průběžně diferencovatelný a má problémy s optimalizací na základě přechodu, ale stále je to možné) pro povolení metod optimalizace na základě přechodu. Funkce aktivace binárního kroku není diferencovatelná na 0 a rozlišuje se na 0 pro všechny ostatní hodnoty, takže metody založené na přechodu s ní nemohou dělat žádný pokrok.^[8]
Monotóní: Když je aktivační funkce monotónní, je zaručeno, že povrch chyby spojený s jednovrstvým modelem bude konvexní.^[9]
Hladké funkce s monotónním derivátem: Ukázalo se, že v některých případech lépe generalizují.
Přibližuje identitu blízko původu: Pokud mají aktivační funkce tuto vlastnost, neurální síť se efektivně naučí, když jsou její váhy inicializovány malými náhodnými hodnotami. Pokud aktivační funkce nepřibližuje identitu blízko počátku, je třeba při inicializaci vah věnovat zvláštní pozornost.^[10] V tabulce níže jsou aktivační funkce kde ${ displaystyle f (0) = 0}$ a ${ displaystyle f '(0) = 1}$ a ${ displaystyle f '}$ je spojitý na 0 jsou označeny jako mající tuto vlastnost.

Tyto vlastnosti nemají rozhodující vliv na výkon, ani nejsou jedinými matematickými vlastnostmi, které mohou být užitečné. Například striktně pozitivní rozsah softplusu je vhodný pro předpovídání odchylek v variační autoenkodéry.

Následující tabulka porovnává vlastnosti několika aktivačních funkcí, které jsou funkcemi jedné složit $X$ z předchozí vrstvy nebo vrstev:

název	Funkce, ${ displaystyle f (x)}$	Derivát z ${ displaystyle f}$ , ${ displaystyle f '(x)}$	Rozsah	Pořadí kontinuity	Monotónní	Monotónní derivát	Přibližuje identitu blízko původu
Identita	${ displaystyle x}$	${ displaystyle 1}$	${ displaystyle (- infty, infty)}$	${ displaystyle C ^ { infty}}$	Ano	Ano	Ano
Binární krok	${ displaystyle { begin {cases} 0 & { text {if}} x <0 1 & { text {if}} x geq 0 end {cases}}}$	${ displaystyle { begin {cases} 0 & { text {if}} x neq 0 { text {undefined}} & { text {if}} x = 0 end {cases}}}$	${ displaystyle {0,1 }}$	${ displaystyle C ^ {- 1}}$	Ano	Ne	Ne
Logistické, sigmoidní nebo měkké krok	${ displaystyle sigma (x) = { frac {1} {1 + e ^ {- x}}}}$ ^[1]	${ displaystyle f (x) (1-f (x))}$	${ displaystyle (0,1)}$	${ displaystyle C ^ { infty}}$	Ano	Ne	Ne
tanh	${ displaystyle tanh (x) = { frac {e ^ {x} -e ^ {- x}} {e ^ {x} + e ^ {- x}}}}$	${ displaystyle 1-f (x) ^ {2}}$	${ displaystyle (-1,1)}$	${ displaystyle C ^ { infty}}$	Ano	Ne	Ano
Usměrněná lineární jednotka (ReLU)^[11]	${ displaystyle { begin {aligned} & { begin {cases} 0 & { text {if}} x leq 0 x & { text {if}} x> 0 end {cases}} { } = {} & max {0, x } = x { textbf {1}} _ {x> 0} end {zarovnáno}}}$	${ displaystyle { begin {cases} 0 & { text {if}} x <0 1 & { text {if}} x> 0 { text {undefined}} & { text {if}} x = 0 end {cases}}}$	${ displaystyle [0, infty)}$	${ displaystyle C ^ {0}}$	Ano	Ano	Ne
Gaussova chyba lineární jednotka (GELU)^[6]	${ displaystyle { begin {aligned} & { frac {1} {2}} x left (1 + { text {erf}} left ({ frac {x} { sqrt {2}}} right) right) {} = {} & x Phi (x) end {zarovnáno}}}$	${ displaystyle Phi (x) + x phi (x)}$	${ displaystyle (-0,17 ldots, infty)}$	${ displaystyle C ^ { infty}}$	Ne	Ne	Ne
Softplus^[12]	${ displaystyle ln left (1 + e ^ {x} right)}$	${ displaystyle { frac {1} {1 + e ^ {- x}}}}$	${ displaystyle (0, infty)}$	${ displaystyle C ^ { infty}}$	Ano	Ano	Ne
Exponenciální lineární jednotka (ELU)^[13]	${ displaystyle { begin {cases} alpha left (e ^ {x} -1 right) & { text {if}} x leq 0 x & { text {if}} x> 0 konec {případů}}}$ s parametrem ${ displaystyle alpha}$	${ displaystyle { begin {cases} alpha e ^ {x} & { text {if}} x <0 1 & { text {if}} x> 0 1 & { text {if}} x = 0 { text {and}} alpha = 1 end {případů}}}$	${ displaystyle (- alfa, infty)}$	${ displaystyle { begin {cases} C ^ {1} & { text {if}} alpha = 1 C ^ {0} & { text {jinak}} end {případy}}}$	Iff ${ displaystyle alpha geq 0}$	Iff ${ displaystyle 0 leq alpha leq 1}$	Iff ${ displaystyle alpha = 1}$
Škálovaná exponenciální lineární jednotka (SELU)^[14]	${ displaystyle lambda { begin {cases} alpha (e ^ {x} -1) & { text {if}} x <0 x & { text {if}} x geq 0 end { případy}}}$ s parametry ${ displaystyle lambda = 1.0507}$ a ${ displaystyle alpha = 1,67326}$	${ displaystyle lambda { begin {cases} alpha e ^ {x} & { text {if}} x <0 1 & { text {if}} x geq 0 end {cases}}}$	${ displaystyle (- lambda alfa, infty)}$	${ displaystyle C ^ {0}}$	Ano	Ne	Ne
Děravá usměrněná lineární jednotka (Děravá ReLU)^[15]	${ displaystyle { begin {cases} 0,01x & { text {if}} x <0 x & { text {if}} x geq 0 end {cases}}}$	${ displaystyle { begin {cases} 0,01 & { text {if}} x <0 1 & { text {if}} x geq 0 end {cases}}}$	${ displaystyle (- infty, infty)}$	${ displaystyle C ^ {0}}$	Ano	Ano	Ne
Parametrová usměrněná lineární jednotka (PReLU)^[16]	${ displaystyle { begin {cases} alpha x & { text {if}} x <0 x & { text {if}} x geq 0 end {cases}}}$ s parametrem ${ displaystyle alpha}$	${ displaystyle { begin {cases} alpha & { text {if}} x <0 1 & { text {if}} x geq 0 end {cases}}}$	${ displaystyle (- infty, infty)}$ ^[2]	${ displaystyle C ^ {0}}$	Iff ${ displaystyle alpha geq 0}$	Ano	Iff ${ displaystyle alpha = 1}$
ElliotSig,^[17]^[18] softsign^[19]^[20]	${ displaystyle { frac {x} {1+ \| x \|}}}$	${ displaystyle { frac {1} {(1+ \| x \|) ^ {2}}}}$	${ displaystyle (-1,1)}$	${ displaystyle C ^ {1}}$	Ano	Ne	Ano
Čtvercová nelinearita (SQNL)^[21]	${ displaystyle { begin {cases} 1 & { text {if}} x> 2,0 x - { frac {x ^ {2}} {4}} & { text {if}} 0 leq x leq 2.0 x + { frac {x ^ {2}} {4}} & { text {if}} - 2,0 leq x <0 - 1 & { text {if}} x <-2,0 end {případy}}}$	${ displaystyle 1 mp { frac {x} {2}}}$	${ displaystyle (-1,1)}$	${ displaystyle C ^ {1}}$	Ano	Ne	Ano
Usměrněná lineární aktivační jednotka ve tvaru S (SReLU)^[22]	${ displaystyle { begin {cases} t_ {l} + a_ {l} (x-t_ {l}) & { text {if}} x leq t_ {l} x & { text {if} } t_ {l}$ kde ${ displaystyle t_ {l}, a_ {l}, t_ {r}, a_ {r}}$ jsou parametry.	${ displaystyle { begin {cases} a_ {l} & { text {if}} x leq t_ {l} 1 & { text {if}} t_ {l}$	${ displaystyle (- infty, infty)}$	${ displaystyle C ^ {0}}$	Ne	Ne	Ne
Ohnutá identita	${ displaystyle { frac {{ sqrt {x ^ {2} +1}} - 1} {2}} + x}$	${ displaystyle { frac {x} {2 { sqrt {x ^ {2} +1}}}} + 1}$	${ displaystyle (- infty, infty)}$	${ displaystyle C ^ { infty}}$	Ano	Ano	Ano
Sigmoidní lineární jednotka (SiLU,^[6] SiL,^[23] nebo Swish-‍1^[24])	${ displaystyle { frac {x} {1 + e ^ {- x}}}}$	${ displaystyle { frac {1 + e ^ {- x} + xe ^ {- x}} { vlevo (1 + e ^ {- x} vpravo) ^ {2}}}}$	${ displaystyle [-0,278 ldots, infty)}$	${ displaystyle C ^ { infty}}$	Ne	Ne	Pro ${ displaystyle 2f (x)}$
Gaussian	${ displaystyle e ^ {- x ^ {2}}}$	${ displaystyle -2xe ^ {- x ^ {2}}}$	${ displaystyle (0,1]}$	${ displaystyle C ^ { infty}}$	Ne	Ne	Ne
SQ-RBF	${ displaystyle { begin {cases} 1 - { frac {x ^ {2}} {2}} & { text {if}} \| x \| leq 1 { frac {1} {2} } (2- \| x \|) ^ {2} & { text {if}} 1 <\| x \| <2 0 & { text {if}} \| x \| geq 2 end {cases}}}$	${ displaystyle { begin {cases} -x & { text {if}} \| x \| leq 1 x-2 operatorname {sgn} (x) & { text {if}} 1 <\| x \| <2 0 & { text {if}} \| x \| geq 2 end {případy}}}$	${ displaystyle [0,1]}$	${ displaystyle C ^ {0}}$	Ne	Ne	Ne

^ Tady,

{ displaystyle sigma}

je logistická funkce.

^

{ displaystyle alpha> 0}

aby rozsah platil.

V následující tabulce jsou uvedeny aktivační funkce, které nejsou funkcemi jediné složit $X$ z předchozí vrstvy nebo vrstev:

název	Rovnice, ${ displaystyle f_ {i} vlevo ({ vec {x}} doprava)}$	Deriváty, ${ displaystyle { frac { částečné f_ {i} levé ({ vec {x}} pravé)} { částečné x_ {j}}}}$	Rozsah	Pořadí kontinuity
Softmax	${ displaystyle { frac {e ^ {x_ {i}}} { sum _ {j = 1} ^ {J} e ^ {x_ {j}}}}}$ pro $i$ = 1, …, $J$	${ displaystyle f_ {i} left ({ vec {x}} right) left ( delta _ {ij} -f_ {j} left ({ vec {x}} right) right) }$ ^[3]^[4]	${ displaystyle (0,1)}$	${ displaystyle C ^ { infty}}$
Max^[25]	${ displaystyle max _ {i} x_ {i}}$	${ displaystyle { begin {cases} 1 & { text {if}} j = { underset {i} { operatorname {argmax}}} , x_ {i} 0 & { text {if}} j neq { podmnožina {i} { operatorname {argmax}}} , x_ {i} end {případy}}}$	${ displaystyle (- infty, infty)}$	${ displaystyle C ^ {0}}$

^ Tady,

{ displaystyle delta _ {ij}}

je Kroneckerova delta.

^ Například,

{ displaystyle j}

by mohlo iterovat počtem jader předchozí vrstvy neuronové sítě, zatímco

{ displaystyle i}

iteruje přes počet jader aktuální vrstvy.

Viz také

Reference

^ Hinkelmann, Knut. „Neural Networks, s. 7“ (PDF). University of Applied Sciences Northwestern Switzerland.
^ Hodgkin, A. L .; Huxley, A. F. (1952-08-28). „Kvantitativní popis membránového proudu a jeho aplikace na vedení a excitaci v nervu“. The Journal of Physiology. 117 (4): 500–544. doi:10.1113 / jphysiol.1952.sp004764. PMC 1392413. PMID 12991237.
^ Behnke, Sven (2003). Hierarchické neurální sítě pro interpretaci obrazu. Přednášky z informatiky. 2766. Springer. doi:10.1007 / b11963. ISBN 978-3-540-40722-5. S2CID 1304548.
^ Wuraola, Adedamola; Patel, Nitish (2018), „Computationally Efficient Radial Basis Function“, 2018 Mezinárodní konference o zpracování neurálních informací (ICONIP), Siem reap Kambodža: Springer, str. 103–112, doi:10.1007/978-3-030-04179-3_9
^ Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012). "Hluboké neuronové sítě pro akustické modelování v rozpoznávání řeči". Citovat deník vyžaduje | deník = (Pomoc)
^ ^A ^b ^C Hendrycks, Dan; Gimpel, Kevin (2016). "Gaussovské chybové lineární jednotky (GELU)". arXiv:1606.08415 [cs.LG ].
^ Cybenko, G. (prosinec 1989). Msgstr "Aproximace sigmoidální funkce superpozicemi". Matematika řízení, signálů a systémů. 2 (4): 303–314. doi:10.1007 / BF02551274. ISSN 0932-4194. S2CID 3958369.
^ Snyman, Jan (3. března 2005). Praktická matematická optimalizace: Úvod do základní teorie optimalizace a klasických a nových algoritmů založených na přechodu. Springer Science & Business Media. ISBN 978-0-387-24348-1.
^ Wu, Huaiqin (2009). "Analýza globální stability obecné třídy diskontinuálních neuronových sítí s lineárními růstovými aktivačními funkcemi". Informační vědy. 179 (19): 3432–3441. doi:10.1016 / j.ins.2009.06.006.
^ Sussillo, David; Abbott, L. F. (2014-12-19). Msgstr "Inicializace náhodného procházení pro výcvik velmi hlubokých sítí předávání". arXiv:1412.6558 [cs.NE ].
^ Nair, Vinod; Hinton, Geoffrey E. (2010), „Usměrněné lineární jednotky zlepšují omezené Boltzmannovy stroje“, 27. mezinárodní konference o mezinárodní konferenci o strojovém učení, ICML'10, USA: Omnipress, s. 807–814, ISBN 9781605589077
^ Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). „Neuronové sítě s hlubokým rozptýlením“ (PDF). Mezinárodní konference o umělé inteligenci a statistice.
^ Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015-11-23). "Rychlé a přesné hluboké síťové učení pomocí exponenciálních lineárních jednotek (ELU)". arXiv:1511.07289 [cs.LG ].
^ Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (08.06.2017). "Samonormalizující se neuronové sítě". Pokroky v systémech zpracování neurálních informací. 30 (2017). arXiv:1706.02515. Bibcode:2017arXiv170602515K.
^ Maas, Andrew L .; Hannun, Awni Y .; Ng, Andrew Y. (červen 2013). "Nelineární usměrňovače zlepšují akustické modely neuronových sítí". Proc. ICML. 30 (1). S2CID 16489696.
^ On, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (06.02.2015). „Hluboce se ponoříme do usměrňovačů: Překonáváme výkon na úrovni člověka v klasifikaci ImageNet“. arXiv:1502.01852 [cs.CV ].
^ Elliot, David L. (1993), „Lepší aktivační funkce pro umělé neuronové sítě“, Technická zpráva ISR TR 93-8, University of Maryland, College Park, MD 20742., CiteSeerX 10.1.1.46.7204
^ "elliotsig, Elliotova symetrická funkce přenosu sigmoidu", příkaz představený v Matlabu R2012b, dokumentaci Matlabu, MathWorks.
^ Bergstra, James; Desjardins, Guillaume; Lamblin, Pascal; Bengio, Yoshua (2009). Msgstr "Kvadratické polynomy se učí lepší vlastnosti obrazu". Technická zpráva 1337 ". Département d’Informatique et de Recherche Opérationnelle, Université de Montréal. Archivovány od originál dne 25. 9. 2018.
^ Glorot, Xavier; Bengio, Yoshua (2010), „Pochopení obtížnosti trénování hlubokých dopředných neuronových sítí“ (PDF), Mezinárodní konference o umělé inteligenci a statistice (AISTATS'10), Společnost pro umělou inteligenci a statistiku
^ Wuraola, Adedamola; Patel, Nitish (2018), „SQNL: Nová výpočetně efektivní aktivační funkce“, 2018 Mezinárodní společná konference o neuronových sítích (IJCNN), Rio Rio de Janeiro, Brazílie: IEEE, s. 1–7
^ Jin, Xiaojie; Xu, Chunyan; Feng, Jiashi; Wei, Yunchao; Xiong, Junjun; Yan, Shuicheng (2015-12-22). "Hluboké učení s usměrněnými lineárními aktivačními jednotkami ve tvaru písmene S". arXiv:1512.07030 [cs.CV ].
^ Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). „Sigmoidně vážené lineární jednotky pro aproximaci funkcí neuronových sítí při učení výztuže“. Neuronové sítě. 107: 3–11. arXiv:1702.03118. doi:10.1016 / j.neunet.2017.12.012. PMID 29395652. S2CID 6940861.
^ Ramachandran, Prajit; Zoph, Barret; Le, Quoc V (2017). "Hledání aktivačních funkcí". arXiv:1710.05941 [cs.NE ].
^ Goodfellow, Ian J .; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (2013). "Maxout Networks". Sborníky a konference JMLR. 28 (3): 1319–1327. arXiv:1302.4389. Bibcode:2013arXiv1302.4389G.

[1] Hinkelmann, Knut. „Neural Networks, s. 7“ (PDF). University of Applied Sciences Northwestern Switzerland.

[2] Hodgkin, A. L .; Huxley, A. F. (1952-08-28). „Kvantitativní popis membránového proudu a jeho aplikace na vedení a excitaci v nervu“. The Journal of Physiology. 117 (4): 500–544. doi:10.1113 / jphysiol.1952.sp004764. PMC 1392413. PMID 12991237.

[NeuralAbstractionPyramid-3] Behnke, Sven (2003). Hierarchické neurální sítě pro interpretaci obrazu. Přednášky z informatiky. 2766. Springer. doi:10.1007 / b11963. ISBN 978-3-540-40722-5. S2CID 1304548.

[sq-rbf-4] Wuraola, Adedamola; Patel, Nitish (2018), „Computationally Efficient Radial Basis Function“, 2018 Mezinárodní konference o zpracování neurálních informací (ICONIP), Siem reap Kambodža: Springer, str. 103–112, doi:10.1007/978-3-030-04179-3_9

[5] Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012). "Hluboké neuronové sítě pro akustické modelování v rozpoznávání řeči". Citovat deník vyžaduje | deník = (Pomoc)

[ReferenceA-6] A ^b ^C Hendrycks, Dan; Gimpel, Kevin (2016). "Gaussovské chybové lineární jednotky (GELU)". arXiv:1606.08415 [cs.LG ].

[7] Cybenko, G. (prosinec 1989). Msgstr "Aproximace sigmoidální funkce superpozicemi". Matematika řízení, signálů a systémů. 2 (4): 303–314. doi:10.1007 / BF02551274. ISSN 0932-4194. S2CID 3958369.

[8] Snyman, Jan (3. března 2005). Praktická matematická optimalizace: Úvod do základní teorie optimalizace a klasických a nových algoritmů založených na přechodu. Springer Science & Business Media. ISBN 978-0-387-24348-1.

[9] Wu, Huaiqin (2009). "Analýza globální stability obecné třídy diskontinuálních neuronových sítí s lineárními růstovými aktivačními funkcemi". Informační vědy. 179 (19): 3432–3441. doi:10.1016 / j.ins.2009.06.006.

[10] Sussillo, David; Abbott, L. F. (2014-12-19). Msgstr "Inicializace náhodného procházení pro výcvik velmi hlubokých sítí předávání". arXiv:1412.6558 [cs.NE ].

[11] Nair, Vinod; Hinton, Geoffrey E. (2010), „Usměrněné lineární jednotky zlepšují omezené Boltzmannovy stroje“, 27. mezinárodní konference o mezinárodní konferenci o strojovém učení, ICML'10, USA: Omnipress, s. 807–814, ISBN 9781605589077

[12] Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). „Neuronové sítě s hlubokým rozptýlením“ (PDF). Mezinárodní konference o umělé inteligenci a statistice.

[13] Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015-11-23). "Rychlé a přesné hluboké síťové učení pomocí exponenciálních lineárních jednotek (ELU)". arXiv:1511.07289 [cs.LG ].

[14] Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (08.06.2017). "Samonormalizující se neuronové sítě". Pokroky v systémech zpracování neurálních informací. 30 (2017). arXiv:1706.02515. Bibcode:2017arXiv170602515K.

[15] Maas, Andrew L .; Hannun, Awni Y .; Ng, Andrew Y. (červen 2013). "Nelineární usměrňovače zlepšují akustické modely neuronových sítí". Proc. ICML. 30 (1). S2CID 16489696.

[16] On, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (06.02.2015). „Hluboce se ponoříme do usměrňovačů: Překonáváme výkon na úrovni člověka v klasifikaci ImageNet“. arXiv:1502.01852 [cs.CV ].

[17] Elliot, David L. (1993), „Lepší aktivační funkce pro umělé neuronové sítě“, Technická zpráva ISR TR 93-8, University of Maryland, College Park, MD 20742., CiteSeerX 10.1.1.46.7204

[18] "elliotsig, Elliotova symetrická funkce přenosu sigmoidu", příkaz představený v Matlabu R2012b, dokumentaci Matlabu, MathWorks.

[19] Bergstra, James; Desjardins, Guillaume; Lamblin, Pascal; Bengio, Yoshua (2009). Msgstr "Kvadratické polynomy se učí lepší vlastnosti obrazu". Technická zpráva 1337 ". Département d’Informatique et de Recherche Opérationnelle, Université de Montréal. Archivovány od originál dne 25. 9. 2018.

[20] Glorot, Xavier; Bengio, Yoshua (2010), „Pochopení obtížnosti trénování hlubokých dopředných neuronových sítí“ (PDF), Mezinárodní konference o umělé inteligenci a statistice (AISTATS'10), Společnost pro umělou inteligenci a statistiku

[sqln-21] Wuraola, Adedamola; Patel, Nitish (2018), „SQNL: Nová výpočetně efektivní aktivační funkce“, 2018 Mezinárodní společná konference o neuronových sítích (IJCNN), Rio Rio de Janeiro, Brazílie: IEEE, s. 1–7

[22] Jin, Xiaojie; Xu, Chunyan; Feng, Jiashi; Wei, Yunchao; Xiong, Junjun; Yan, Shuicheng (2015-12-22). "Hluboké učení s usměrněnými lineárními aktivačními jednotkami ve tvaru písmene S". arXiv:1512.07030 [cs.CV ].

[23] Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). „Sigmoidně vážené lineární jednotky pro aproximaci funkcí neuronových sítí při učení výztuže“. Neuronové sítě. 107: 3–11. arXiv:1702.03118. doi:10.1016 / j.neunet.2017.12.012. PMID 29395652. S2CID 6940861.

[24] Ramachandran, Prajit; Zoph, Barret; Le, Quoc V (2017). "Hledání aktivačních funkcí". arXiv:1710.05941 [cs.NE ].

[25] Goodfellow, Ian J .; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (2013). "Maxout Networks". Sborníky a konference JMLR. 28 (3): 1319–1327. arXiv:1302.4389. Bibcode:2013arXiv1302.4389G.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[1]

[11]

[12]

[13]

[14]

[15]

[16]

[2]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[3]

[4]

[25]