Extrémní stroj na učení - Extreme learning machine

Téma tohoto článku nemusí splňovat požadavky Wikipedie obecný pokyn k notabilitě. Pomozte prosím určit notabilitu citováním spolehlivé sekundární zdroje to jsou nezávislý tématu a poskytnout jeho významné pokrytí nad rámec pouhé triviální zmínky. Pokud nelze určit významnost, je pravděpodobné, že článek bude sloučeny, přesměrovánnebo smazáno. Najít zdroje: „Extrémní stroj na učení“  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Srpna 2020) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Extrémní výukové stroje jsou dopředné neuronové sítě pro klasifikace, regrese, shlukování, řídká aproximace, komprese a učení funkcí s jednou vrstvou nebo více vrstvami skrytých uzlů, kde nemusí být vyladěny parametry skrytých uzlů (nejen váhy spojující vstupy se skrytými uzly). Tyto skryté uzly lze náhodně přiřadit a nikdy neaktualizovat (tj. Jsou náhodná projekce ale s nelineárními transformacemi), nebo mohou být zděděny od svých předků, aniž by byly změněny. Ve většině případů se výstupní váhy skrytých uzlů obvykle učí v jediném kroku, což v podstatě znamená naučit se lineární model. Název „stroj extrémního učení“ (ELM) dal těmto modelům jeho hlavní vynálezce Guang-Bin Huang.

Podle jejich tvůrců jsou tyto modely schopné produkovat dobrý generalizační výkon a učit se tisíckrát rychleji než sítě trénované pomocí zpětná propagace.^[1] V literatuře také ukazuje, že tyto modely mohou překonat podporovat vektorové stroje v klasifikačních i regresních aplikacích.^[2][3][4]

Dějiny

V letech 2001–2010 se výzkum ELM zaměřoval hlavně na jednotný rámec učení pro „zobecněné“ dopředné neuronové sítě s jednou skrytou vrstvou (SLFN), mimo jiné včetně sigmoidních sítí, RBF sítí, prahových sítí,^[5] trigonometrické sítě, fuzzy inferenční systémy, Fourierova řada,^[6][7] Laplaciánova transformace, waveletové sítě,^[8] atd. Jedním z významných úspěchů dosažených v těchto letech je úspěšné prokázání univerzální aproximační a klasifikační schopnosti ELM teoreticky.^[6][9][10]

Od roku 2010 do roku 2015 se výzkum ELM rozšířil na jednotný rámec učení pro učení jádra, SVM a několik typických metod učení funkcí, jako je Analýza hlavních komponent (PCA) a Nezáporná maticová faktorizace (NMF). Ukazuje se, že SVM ve skutečnosti poskytuje neoptimální řešení ve srovnání s ELM a ELM může poskytnout mapování jádra bílé schránky, které je implementováno náhodným mapováním funkcí ELM, namísto jádra černé schránky používaného v SVM. PCA a NMF lze považovat za speciální případy, kdy se v ELM používají lineární skryté uzly.^[11][12]

Od roku 2015 do roku 2017 se větší důraz kladl na hierarchické implementace^[13][14] ELM. Od roku 2011 byly navíc provedeny významné biologické studie, které podporují určité teorie ELM.^[15][16][17]

Od roku 2017 k překonání problému s nízkou konvergencí během tréninku LU rozklad, Hessenbergův rozklad a QR rozklad přístupy založené na regulace začaly přitahovat pozornost^[18][19][20]

V oznámení z roku 2017 Google Scholar: "Classic Papers: Články, které prošly zkouškou času ", dva dokumenty ELM byly uvedeny v"Top 10 v oblasti umělé inteligence pro rok 2006 „zaujímají pozice 2 a 7.

Algoritmy

Vzhledem k jediné skryté vrstvě ELM předpokládejme, že výstupní funkce ${ displaystyle i}$-tý skrytý uzel je ${ displaystyle h_ {i} ( mathbf {x}) = G ( mathbf {a} _ {i}, b_ {i}, mathbf {x})}$, kde ${ displaystyle mathbf {a} _ {i}}$ a ${ displaystyle b_ {i}}$ jsou parametry ${ displaystyle i}$-tý skrytý uzel. Výstupní funkce ELM pro SLFN s ${ displaystyle L}$ skryté uzly je:

${ displaystyle f_ {L} ({ bf {x}}) = sum _ {i = 1} ^ {L} { boldsymbol { beta}} _ {i} h_ {i} ({ bf { X}})}$, kde ${ displaystyle { boldsymbol { beta}} _ {i}}$ je výstupní hmotnost ${ displaystyle i}$-tý skrytý uzel.

${ displaystyle mathbf {h} ( mathbf {x}) = [h_ {i} ( mathbf {x}), ..., h_ {L} ( mathbf {x})]}$ je mapování výstupu skryté vrstvy ELM. Dáno ${ displaystyle N}$ cvičné vzorky, výstupní matice skryté vrstvy ${ displaystyle mathbf {H}}$ ELM se udává jako: ${ displaystyle { bf {H}} = left [{ begin {matrix} { bf {h}} ({ bf {x}} _ {1}) vdots { bf { h}} ({ bf {x}} _ {N}) end {matrix}} right] = left [{ begin {matrix} G ({ bf {a}} _ {1}, b_ {1}, { bf {x}} _ {1}) & cdots & G ({ bf {a}} _ {L}, b_ {L}, { bf {x}} _ {1}) vdots & vdots & vdots G ({ bf {a}} _ {1}, b_ {1}, { bf {x}} _ {N}) & cdots & G ({ bf {a}} _ {L}, b_ {L}, { bf {x}} _ {N}) end {matrix}} right]}$

a ${ displaystyle mathbf {T}}$ je cílová matice tréninkových dat: ${ displaystyle { bf {T}} = left [{ begin {matrix} { bf {t}} _ {1} vdots { bf {t}} _ {N} end {matrix}} vpravo]}$

Obecně řečeno, ELM je druh regularizačních neuronových sítí, ale s nevyladěnými mapami skryté vrstvy (tvořenými buď náhodnými skrytými uzly, jádry nebo jinými implementacemi) je jeho objektivní funkcí:

${ displaystyle { text {Minimalizovat:}} | { boldsymbol { beta}} | _ {p} ^ { sigma _ {1}} + C | { bf {H}} { boldsymbol { beta}} - { bf {T}} | _ {q} ^ { sigma _ {2}}}$

kde ${ displaystyle sigma _ {1}> 0, sigma _ {2}> 0, p, q = 0, { frac {1} {2}}, 1,2, cdots, + infty}$.

Různé kombinace ${ displaystyle sigma _ {1}}$, ${ displaystyle sigma _ {2}}$, ${ displaystyle p}$ a ${ displaystyle q}$ lze použít a vyústit v různé algoritmy učení pro regresi, klasifikaci, řídké kódování, kompresi, učení funkcí a shlukování.

Jako speciální případ se nejjednodušší tréninkový algoritmus ELM naučí model formy (pro jednotlivé skryté sigmoidní neuronové sítě):

${ displaystyle mathbf { hat {Y}} = mathbf {W} _ {2} sigma ( mathbf {W} _ {1} x)}$

kde Ž₁ je matice závaží mezi vstupem a skrytou vrstvou, ${ displaystyle sigma}$ je aktivační funkce a Ž₂ je matice vah skryté vrstvy na výstupní vrstvu. Algoritmus probíhá následovně:

1. Vyplnit Ž₁ s náhodnými hodnotami (např. Gaussovský náhodný šum );
2. odhad Ž₂ podle nejmenší čtverce se hodí do matice proměnných odezvy Y, počítáno pomocí pseudoinverze ⋅⁺, vzhledem k tomu, návrhová matice X:

   ${ displaystyle mathbf {W} _ {2} = sigma ( mathbf {W} _ {1} mathbf {X}) ^ {+} mathbf {Y}}$

Architektury

Ve většině případů se ELM používá jako jedna skrytá vrstva dopředné sítě (SLFN), mimo jiné včetně sigmoidních sítí, RBF sítí, prahových sítí, fuzzy inferenčních sítí, komplexních neurálních sítí, vlnkových sítí, Fourierovy transformace, Laplaciánské transformace atd. Díky různým implementacím algoritmu učení pro regresi, klasifikaci, řídké kódování, kompresi, učení funkcí a shlukování byly k vytvoření sítí více skrytých vrstev použity více ELM, hluboké učení nebo hierarchické sítě.^[13][14][21]

Skrytý uzel v ELM je výpočetní prvek, který nemusí být považován za klasický neuron. Skrytým uzlem v ELM mohou být klasické umělé neurony, základní funkce nebo podsíť tvořená některými skrytými uzly.^[9]

Teorie

Možnosti univerzální aproximace a klasifikace^[2][3] byly prokázány pro ELM v literatuře. Zvláště, Guang-Bin Huang a jeho tým strávil téměř sedm let (2001-2008) nad důkladnými důkazy o univerzální aproximační schopnosti ELM.^[6][9][10]

Univerzální aproximační schopnost

Teoreticky lze jako aktivační funkci ve skrytých uzlech ELM použít jakoukoli nekonstantní po částech spojitou funkci, taková aktivační funkce nemusí být diferenciální. Pokud by vyladění parametrů skrytých uzlů mohlo SLFN přiblížit jakoukoli cílovou funkci ${ displaystyle f ( mathbf {x})}$, pak mohou být parametry skrytých uzlů náhodně generovány podle jakékoli pravděpodobnosti spojitého rozdělení a ${ displaystyle lim _ {L rightarrow infty} left | sum _ {i = 1} ^ {L} { boldsymbol { beta}} _ {i} h_ {i} ({ bf { x}}) - f ({ bf {x}}) doprava | = 0}$ drží s pravděpodobností jeden s odpovídajícími výstupními váhami ${ displaystyle { boldsymbol { beta}}}$.

Schopnost klasifikace

Vzhledem k jakékoli nekonstantní kusové spojité funkci jako aktivační funkci v SLFN může ladění parametrů skrytých uzlů způsobit, že SLFN přiblíží jakoukoli cílovou funkci ${ displaystyle f ( mathbf {x})}$, pak SLFN s náhodným mapováním skryté vrstvy ${ displaystyle mathbf {h} ( mathbf {x})}$ může oddělit libovolné nesouvislé oblasti libovolných tvarů.

Neurony

Široký typ nelineárních po částech spojitých funkcí ${ displaystyle G ( mathbf {a}, b, mathbf {x})}$ lze použít ve skrytých neuronech ELM, například:

Skutečná doména

Funkce sigmoidu: ${ displaystyle G ( mathbf {a}, b, mathbf {x}) = { frac {1} {1+ exp (- ( mathbf {a} cdot mathbf {x} + b)) }}}$

Fourierova funkce: ${ displaystyle G ( mathbf {a}, b, mathbf {x}) = sin ( mathbf {a} cdot mathbf {x} + b)}$

Hardlimit funkce: ${ displaystyle G ( mathbf {a}, b, mathbf {x}) = { begin {cases} 1, & { text {if}} { bf {a}} cdot { bf {x }} - b geq 0 0, & { text {jinak}} end {případy}}}$

Gaussova funkce: ${ displaystyle G ( mathbf {a}, b, mathbf {x}) = exp (-b | mathbf {x} - mathbf {a} | ^ {2})}$

Funkce Multiquadrics: ${ displaystyle G ( mathbf {a}, b, mathbf {x}) = ( | mathbf {x} - mathbf {a} | ^ {2} + b ^ {2}) ^ {1 / 2}}$

Wavelet: ${ displaystyle G ( mathbf {a}, b, mathbf {x}) = | a | ^ {- 1/2} Psi left ({ frac { mathbf {x} - mathbf { Jasný)}$ kde ${ displaystyle Psi}$ je funkce vlnky svobodné matky.

Komplexní doména

Kruhové funkce:

${ displaystyle tan (z) = { frac {e ^ {iz} -e ^ {- iz}} {i (e ^ {iz} + e ^ {- iz})}}}$

${ displaystyle sin (z) = { frac {e ^ {iz} -e ^ {- iz}} {2i}}}$

Inverzní kruhové funkce:

${ displaystyle arctan (z) = int _ {0} ^ {z} { frac {dt} {1 + t ^ {2}}}}$

${ displaystyle arccos (z) = int _ {0} ^ {z} { frac {dt} {(1-t ^ {2}) ^ {1/2}}}}$

Hyperbolické funkce:

${ displaystyle tanh (z) = { frac {e ^ {z} -e ^ {- z}} {e ^ {z} + e ^ {- z}}}}$

${ displaystyle sinh (z) = { frac {e ^ {z} -e ^ {- z}} {2}}}$

Inverzní hyperbolické funkce:

${ displaystyle { text {arctanh}} (z) = int _ {0} ^ {z} { frac {dt} {1-t ^ {2}}}}$

${ displaystyle { text {arcsinh}} (z) = int _ {0} ^ {z} { frac {dt} {(1 + t ^ {2}) ^ {1/2}}}}$

Spolehlivost

The Černá skříňka charakter neuronových sítí obecně a zejména strojů pro extrémní učení (ELM) je jednou z hlavních obav, která odpuzuje inženýry od aplikací v nebezpečných automatizačních úlohách. K této konkrétní otázce se přistupovalo pomocí několika různých technik. Jedním z přístupů je snížit závislost na náhodném vstupu.^[22][23] Další přístup se zaměřuje na začlenění trvalých omezení do procesu učení ELM^[24][25] které jsou odvozeny z předchozích znalostí o konkrétním úkolu. To je rozumné, protože řešení strojového učení musí zaručovat bezpečný provoz v mnoha aplikačních doménách. Zmíněné studie odhalily, že speciální forma ELM se svým funkčním oddělením a váhami lineárního čtení je zvláště vhodná pro efektivní začlenění spojitých omezení do předem definovaných oblastí vstupního prostoru.

Kontroverze

Pokud jde o tuto práci, existují dvě hlavní stížnosti akademické komunity, první se týká „objevování a ignorování předchozích myšlenek“, druhá se týká „nesprávného pojmenování a popularizace“, jak se ukázalo v některých debatách v letech 2008 a 2015.^[26] Zejména na to bylo poukázáno v dopise^[27] redaktorovi Transakce IEEE na neuronových sítích že myšlenka použití skryté vrstvy spojené se vstupy náhodnými netrénovanými váhami byla již navržena v původních dokumentech Sítě RBF na konci 80. let; Guang-Bin Huang odpověděl poukázáním na jemné rozdíly.^[28] V článku z roku 2015^[3] Huang reagoval na stížnosti na jeho vynález názvu ELM pro již existující metody, stěžoval si na „velmi negativní a neužitečné komentáře k ELM ani akademicky, ani profesionálně z různých důvodů a záměrů“ a „nezodpovědný anonymní útok, jehož cílem je zničit výzkumné prostředí harmonie ", argumentuje tím, že jeho práce„ poskytuje sjednocující učební platformu "pro různé typy neuronových sítí,^[3] včetně hierarchicky strukturovaných ELM.^[21] V roce 2015 Huang také formálně vyvrátil to, co považoval za „zhoubné a útočné“.^[29] Nedávný výzkum nahrazuje náhodné váhy omezenými náhodnými váhami.^[2][30]

Otevřené zdroje

• Knihovna Matlab
• Knihovna Pythonu^[31]

Viz také

• Výpočet nádrže
• Náhodná projekce
• Náhodná matice

Reference