Rekurzivní neurální síť - Recursive neural network

Nesmí být zaměňována s rekurentní neuronová síť.

A rekurzivní neuronová síť je druh hluboká neuronová síť vytvořeno použitím stejné sady vah rekurzivně přes strukturovaný vstup, k vytvoření a strukturovaná předpověď přes vstupní struktury s proměnnou velikostí nebo skalární predikci na ní procházením dané struktury v topologické pořadí. Rekurzivní neuronové sítě, někdy zkráceně RvNN, byly úspěšné například při učení sekvence a stromových struktur v zpracování přirozeného jazyka, hlavně frázové a větné spojité reprezentace založené na vkládání slov. RvNN byly poprvé zavedeny k učení distribuovaná reprezentace struktury, jako je logické termíny.[1]Modely a obecné rámce byly vyvinuty v dalších pracích od 90. let.[2][3]

Architektury

Základní

Jednoduchá rekurzivní architektura neuronové sítě

V nejjednodušší architektuře jsou uzly kombinovány do rodičů pomocí matice váhy, která je sdílena v celé síti, a nelinearity, jako je tanh. Li C1 a C2 jsou n-dimenzionální vektorová reprezentace uzlů, jejich rodič bude také n-dimenzionální vektor, počítaný jako

Kde Ž je naučený váhová matice.

Tato architektura s několika vylepšeními byla použita pro úspěšnou analýzu přirozených scén a pro syntaktickou analýzu vět v přirozeném jazyce.[4]

Rekurzivní kaskádová korelace (RecCC)

RecCC je konstruktivní přístup neurální sítě k řešení domén stromů[2] s průkopnickými aplikacemi v chemii[5] a rozšíření na směrované acyklické grafy.[6]

Bez dohledu RNN

Rámec pro bezkontaktní RNN byl zaveden v roce 2004.[7][8]

Tenzor

Rekurzivní neurální tenzor sítě používají pro všechny uzly ve stromu jednu kompoziční funkci založenou na tenzorech.[9]

Výcvik

Stochastický gradient

Typicky, stochastický gradient (SGD) se používá k trénování sítě. Gradient se počítá pomocí zpětná propagace strukturou (BPTS), varianta zpětné šíření v čase používá rekurentní neuronové sítě.

Vlastnosti

Univerzální aproximační schopnost RNN nad stromy byla prokázána v literatuře.[10][11]

Související modely

Rekurentní neuronové sítě

Hlavní článek: Rekurentní neuronová síť

Rekurentní neuronové sítě jsou rekurzivní umělé neuronové sítě s určitou strukturou: strukturou lineárního řetězce. Zatímco rekurzivní neurální sítě fungují na jakékoli hierarchické struktuře a kombinují podřízené reprezentace do nadřazených reprezentací, rekurentní neuronové sítě fungují na lineárním postupu času, který kombinuje předchozí časový krok a skrytou reprezentaci do reprezentace aktuálního časového kroku.

State Echo State Networks

Efektivní přístup k implementaci rekurzivních neuronových sítí poskytuje síť Tree Echo State Network[12] v rámci výpočetní nádrž paradigma.

Rozšíření o grafy

Rozšíření do grafy zahrnout Graph Neural Network (GNN),[13] Neuronová síť pro grafy (NN4G),[14] a více nedávno konvoluční neuronové sítě pro grafy.

Reference

  1. ^ Goller, C .; Küchler, A. (1996). Msgstr "Učení distribuovaných reprezentací závislých na úkolech zpětným šířením prostřednictvím struktury". Sborník mezinárodní konference o neuronových sítích (ICNN'96). 1. str. 347–352. CiteSeerX  10.1.1.52.4759. doi:10.1109 / ICNN.1996.548916. ISBN  978-0-7803-3210-2.
  2. ^ A b Sperduti, A .; Starita, A. (01.05.1997). "Dohlížené neuronové sítě pro klasifikaci struktur". Transakce IEEE na neuronových sítích. 8 (3): 714–735. doi:10.1109/72.572108. ISSN  1045-9227. PMID  18255672.
  3. ^ Frasconi, P .; Gori, M .; Sperduti, A. (01.09.1998). "Obecný rámec pro adaptivní zpracování datových struktur". Transakce IEEE na neuronových sítích. 9 (5): 768–786. CiteSeerX  10.1.1.64.2580. doi:10.1109/72.712151. ISSN  1045-9227. PMID  18255765.
  4. ^ Socher, Richard; Lin, Cliff; Ng, Andrew Y .; Manning, Christopher D. „Analýza přirozených scén a přirozeného jazyka pomocí rekurzivních neuronových sítí“ (PDF). 28. mezinárodní konference o strojovém učení (ICML 2011).
  5. ^ Bianucci, Anna Maria; Micheli, Alessio; Sperduti, Alessandro; Starita, Antonina (2000). "Aplikace kaskádových korelačních sítí pro struktury v chemii". Aplikovaná inteligence. 12 (1–2): 117–147. doi:10.1023 / A: 1008368105614. ISSN  0924-669X.
  6. ^ Micheli, A .; Sona, D .; Sperduti, A. (01.11.2004). "Kontextové zpracování strukturovaných dat rekurzivní kaskádovou korelací". Transakce IEEE na neuronových sítích. 15 (6): 1396–1410. CiteSeerX  10.1.1.135.8772. doi:10.1109 / TNN.2004.837783. ISSN  1045-9227. PMID  15565768.
  7. ^ Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickert, Marc (2004). "Rekurzivní samoorganizující se síťové modely". Neuronové sítě. 17 (8–9): 1061–1085. CiteSeerX  10.1.1.129.6155. doi:10.1016 / j.neunet.2004.06.009. PMID  15555852.
  8. ^ Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickert, Marc (01.03.2004). "Obecný rámec pro nekontrolované zpracování strukturovaných dat". Neuropočítání. 57: 3–35. CiteSeerX  10.1.1.3.984. doi:10.1016 / j.neucom.2004.01.008.
  9. ^ Socher, Richard; Perelygin, Alex; Y. Wu, Jean; Chuang, Jason; D. Manning, Christopher; Y. Ng, Andrew; Potts, Christopher. „Rekurzivní hluboké modely pro sémantickou kompozičnost nad stromem sentimentů“ (PDF). Emnlp 2013.
  10. ^ Hammer, Barbara (03.10.2007). Učení pomocí opakujících se neuronových sítí. Springer. ISBN  9781846285677.
  11. ^ Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro (01.05.2005). "Univerzální aproximační schopnost kaskádové korelace pro struktury". Neurální výpočet. 17 (5): 1109–1159. CiteSeerX  10.1.1.138.2224. doi:10.1162/0899766053491878.
  12. ^ Gallicchio, Claudio; Micheli, Alessio (04.02.2013). Msgstr "Sítě státu s ozvěnou stromu". Neuropočítání. 101: 319–337. doi:10.1016 / j.neucom.2012.08.017. hdl:11568/158480.
  13. ^ Scarselli, F .; Gori, M .; Tsoi, A. C .; Hagenbuchner, M .; Monfardini, G. (01.01.2009). „Model grafové neuronové sítě“. Transakce IEEE na neuronových sítích. 20 (1): 61–80. doi:10.1109 / TNN.2008.2005605. ISSN  1045-9227. PMID  19068426.
  14. ^ Micheli, A. (01.03.2009). "Neuronová síť pro grafy: kontextový konstruktivní přístup". Transakce IEEE na neuronových sítích. 20 (3): 498–511. doi:10.1109 / TNN.2008.2010350. ISSN  1045-9227. PMID  19193509.