Vratná rekurentní jednotka - Gated recurrent unit

Vratná rekurentní jednotkas (GRUs) jsou hradlovací mechanismus v rekurentní neuronové sítě, představený v roce 2014 Kyunghyun Cho a kol.^[1] GRU je jako dlouhodobá krátkodobá paměť (LSTM) se zapomenutou bránou,^[2] ale má méně parametrů než LSTM, protože postrádá výstupní bránu.^[3] Bylo zjištěno, že výkon GRU v určitých úlohách polyfonního hudebního modelování, modelování řečových signálů a zpracování přirozeného jazyka je podobný jako u LSTM.^[4][5] Ukázalo se, že GRU vykazují lepší výkon u určitých menších a méně častých datových sad.^[6][7]

Jak však ukázali Gail Weiss, Yoav Goldberg a Eran Yahav, LSTM je „přísně silnější“ než GRU, protože může snadno provádět neomezené počítání, zatímco GRU nikoli. Proto se GRU nedokáže naučit jednoduché jazyky, které se LSTM naučí.^[8]

Podobně, jak ukazují Denny Britz, Anna Goldie, Minh-Thang Luong a Quoc Le z Google Brain „LSTM buňky soustavně překonávají buňky GRU v„ první rozsáhlé analýze variant architektury pro Neural Machine Translation “.^[9]

Architektura

Existuje několik variant plné bránové jednotky, přičemž hradlování se provádí pomocí předchozího skrytého stavu a zkreslení v různých kombinacích a zjednodušená forma se nazývá minimální bránová jednotka.^[10]

Operátor ${ displaystyle odot}$ označuje Produkt Hadamard v následujícím.

Plně bránou jednotka

Gated Reccurrent Unit, plně hradlová verze

Zpočátku pro ${ displaystyle t = 0}$, výstupní vektor je ${ displaystyle h_ {0} = 0}$.

${ displaystyle { begin {aligned} z_ {t} & = sigma _ {g} (W_ {z} x_ {t} + U_ {z} h_ {t-1} + b_ {z}) r_ {t} & = sigma _ {g} (W_ {r} x_ {t} + U_ {r} h_ {t-1} + b_ {r}) { hat {h}} _ {t} & = phi _ {h} (W_ {h} x_ {t} + U_ {h} (r_ {t} odot h_ {t-1}) + b_ {h}) h_ {t} & = (1-z_ {t}) odot h_ {t-1} + z_ {t} odot { hat {h}} _ {t} end {zarovnáno}}}$

Proměnné

• ${ displaystyle x_ {t}}$: vstupní vektor
• ${ displaystyle h_ {t}}$: výstupní vektor
• ${ displaystyle { hat {h}} _ {t}}$: vektor aktivace kandidáta
• ${ displaystyle z_ {t}}$: aktualizovat vektor brány
• ${ displaystyle r_ {t}}$: resetovat vektor brány
• ${ displaystyle W}$, ${ displaystyle U}$ a ${ displaystyle b}$: matice parametrů a vektor

Aktivační funkce

• ${ displaystyle sigma _ {g}}$: Originál je a sigmoidní funkce.
• ${ displaystyle phi _ {h}}$: Originál je a hyperbolická tečna.

Jsou možné alternativní aktivační funkce, pokud ${ displaystyle sigma _ {g} (x) v [0,1]}$.

Typ 1

Typ 2

Typ 3

Alternativní formuláře lze vytvořit změnou ${ displaystyle z_ {t}}$ a ${ displaystyle r_ {t}}$^[11]

• Typ 1, každá brána závisí pouze na předchozím skrytém stavu a zkreslení.

  ${ displaystyle { begin {aligned} z_ {t} & = sigma _ {g} (U_ {z} h_ {t-1} + b_ {z}) r_ {t} & = sigma _ { g} (U_ {r} h_ {t-1} + b_ {r}) end {zarovnáno}}}$

• Typ 2, každá brána závisí pouze na předchozím skrytém stavu.

  ${ displaystyle { begin {aligned} z_ {t} & = sigma _ {g} (U_ {z} h_ {t-1}) r_ {t} & = sigma _ {g} (U_ { r} h_ {t-1}) end {zarovnáno}}}$

• Typ 3, každá brána se počítá pouze pomocí zkreslení.

  ${ displaystyle { begin {aligned} z_ {t} & = sigma _ {g} (b_ {z}) r_ {t} & = sigma _ {g} (b_ {r}) konec {zarovnáno}}}$

Minimální bránou jednotka

Minimální hradlová jednotka je podobná plně hradlované jednotce, kromě toho, že vektor aktualizace a resetování brány je sloučen do brány pro zapomenutí. To také znamená, že rovnice pro výstupní vektor musí být změněna:^[12]

${ displaystyle { begin {aligned} f_ {t} & = sigma _ {g} (W_ {f} x_ {t} + U_ {f} h_ {t-1} + b_ {f}) { hat {h}} _ {t} & = phi _ {h} (W_ {h} x_ {t} + U_ {h} (f_ {t} odot h_ {t-1}) + b_ {h }) h_ {t} & = (1-f_ {t}) odot h_ {t-1} + f_ {t} odot { hat {h}} _ {t} end {zarovnáno}} }$

Proměnné

• ${ displaystyle x_ {t}}$: vstupní vektor
• ${ displaystyle h_ {t}}$: výstupní vektor
• ${ displaystyle { hat {h}} _ {t}}$: vektor aktivace kandidáta
• ${ displaystyle f_ {t}}$: zapomeňte na vektor
• ${ displaystyle W}$, ${ displaystyle U}$ a ${ displaystyle b}$: matice parametrů a vektor

Reference