Algoritmus probuzení-spánku - Wake-sleep algorithm - Wikipedia

Vrstvy neuronové sítě. R, G jsou váhy používané algoritmem probuzení-spánku k úpravě dat uvnitř vrstev.

The algoritmus probuzení-spánku[1] je neřízené učení algoritmus pro a stochastický vícevrstvý[je zapotřebí objasnění ] nervová síť. Algoritmus upravuje parametry tak, aby poskytoval dobrý odhad hustoty.[2] Existují dvě fáze učení, fáze „probuzení“ a fáze „spánku“, které se provádějí střídavě.[3] Poprvé byl navržen jako model pro fungování mozku pomocí variační Bayesovské učení. Poté byl algoritmus přizpůsoben strojové učení. Lze to považovat za způsob trénování a Helmholtzův stroj[4][5]. Může být také použit v Deep Belief Networks (DBN).

Popis

Algoritmus probuzení-spánku je vizualizován jako hromada vrstev obsahujících reprezentace dat.[6] Vrstvy nahoře představují data z vrstvy pod ní. Skutečná data jsou umístěna pod spodní vrstvou, což způsobí, že vrstvy nad ní budou postupně abstraktnější. Mezi každou dvojicí vrstev je rozpoznávací váha a generativní váha, které jsou trénovány pro zlepšení spolehlivosti během běhu algoritmu.[7]

Algoritmus probuzení-spánku je konvergentní[8] a může být stochastická[9] pokud se vhodně střídá.

Výcvik

Trénink se skládá ze dvou fází - fáze „probuzení“ a fáze „spánku“.

Fáze „probuzení“

Neurony jsou vypalovány spojením rozpoznávání (od toho, co by bylo vstupem do toho, co by bylo výstupem). Generativní připojení (vedoucí z výstupů na vstupy) se poté upraví, aby se zvýšila pravděpodobnost, že by znovu vytvořily správnou aktivitu ve vrstvě níže - blíže ke skutečným datům ze senzorického vstupu.[10]

Fáze „spánku“

Proces je obrácen ve fázi „spánku“ - neurony jsou odpalovány generativními spoji, zatímco rozpoznávací spojení jsou upravována, aby se zvýšila pravděpodobnost, že by znovu vytvořily správnou aktivitu ve výše uvedené vrstvě - dále ke skutečným datům ze smyslového vstupu.[11]

Potenciální rizika

Variační Bayesovské učení je založeno na pravděpodobnosti. Existuje šance, že se aproximace provede s chybami, což poškodí další reprezentace dat. Další nevýhoda se týká komplikovaných nebo poškozených vzorků dat, takže je obtížné odvodit reprezentační vzor.

Algoritmus probuzení-spánku byl navržen tak, aby nebyl dostatečně silný pro vrstvy odvozovací sítě, aby se obnovil dobrý odhad zadního rozdělení latentních proměnných.[12]

Viz také

Reference

  1. ^ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (1995-05-26). „Algoritmus probuzení - spánku pro neuronové sítě bez dozoru“. Věda. 268 (5214): 1158–1161. Bibcode:1995Sci ... 268.1158H. doi:10.1126 / science.7761831. PMID  7761831. S2CID  871473.
  2. ^ Frey, Brendan J .; Hinton, Geoffrey E .; Dayan, Peter (1996-05-01). „Vytváří algoritmus probuzení - spánku dobré odhady hustoty?“ (PDF). Pokroky v systémech zpracování neurálních informací.
  3. ^ Katayama, Katsuki; Ando, ​​Masataka; Horiguchi, Tsuyoshi (04.04.2004). "Modely oblastí MT a MST využívající algoritmus probuzení - spánku". Neuronové sítě. 17 (3): 339–351. doi:10.1016 / j.neunet.2003.07.004. PMID  15037352.
  4. ^ Hinton, Geoffrey E .; Dayan, Peter; Frey, Brendan J .; Neal, Radford (1995-05-26). „Algoritmus probuzení - spánku pro neuronové sítě bez dozoru“. Věda. 268 (5214): 1158–1161. Bibcode:1995Sci ... 268.1158H. doi:10.1126 / science.7761831. PMID  7761831. S2CID  871473.
  5. ^ Dayan, Peter; Hinton, Geoffrey E. (01.11.1996). "Odrůdy stroje Helmholtz". Neuronové sítě. Čtyři hlavní hypotézy v neurovědě. 9 (8): 1385–1403. CiteSeerX  10.1.1.29.1677. doi:10.1016 / S0893-6080 (96) 00009-3. PMID  12662541.
  6. ^ Maei, Hamid Reza (2007-01-25). „Algoritmus probuzení - spánku pro reprezentativní učení“. University of Montreal. Citováno 2011-11-01.
  7. ^ Neal, Radford M .; Dayan, Peter (1996-11-24). „Faktorová analýza pomocí pravidel Delta Wake-Sleep Learning“ (PDF). University of Toronto. Citováno 2015-11-01.
  8. ^ Ikeda, Shiro; Amari, Shun-ichi; Nakahara, Hiroyuki. „Konvergence algoritmu probuzení-spánku“ (PDF). Ústav statistické matematiky. Citováno 2015-11-01.
  9. ^ Dalzell, R.W.H .; Murray, A.F. (1999-01-01). „Rámec pro diskrétní ceněný stroj Helmholtz“. 9. mezinárodní konference o umělých neuronových sítích: ICANN '99. 1. str. 49–54 obj. 1. doi:10,1049 / cp: 19991083. ISBN  0-85296-721-7.
  10. ^ Hinton, Geoffrey; Dayan, Peter; Frey, Brendan J; Neal, Radford M (03.04.1995). „Algoritmus probuzení - spánku pro neuronové sítě bez dozoru“ (PDF). PMID  7761831. Citováno 2015-11-01. Citovat deník vyžaduje | deník = (Pomoc)
  11. ^ Dayan, Peter. „Helmholtzovy stroje a probuzení spánkem“ (PDF). Citováno 2015-11-01.
  12. ^ Bornschein, Jörg; Bengio, Yoshua (06.06.2014). "Reweighted Wake-Sleep". arXiv:1406.2751 [cs.LG ].