Omezený stroj Boltzmann - Restricted Boltzmann machine

Schéma omezeného Boltzmannova stroje se třemi viditelnými jednotkami a čtyřmi skrytými jednotkami (bez předpětí).

A omezený Boltzmannův stroj (RBM) je generativní stochastický umělá neuronová síť který se může naučit a rozdělení pravděpodobnosti přes jeho sadu vstupů.

RBM byly původně vynalezeny pod tímto názvem Harmonium podle Paul Smolensky v roce 1986,^[1]a poté se dostal do popředí Geoffrey Hinton a spolupracovníci pro ně v polovině roku 2000 vymysleli algoritmy rychlého učení. RBM našly aplikace v snížení rozměrů,^[2]klasifikace,^[3]společné filtrování,^[4] učení funkcí,^[5]modelování témat^[6]a dokonce mnoho kvantové mechaniky těla.^[7][8] Mohou být vyškoleni v obou pod dohledem nebo bez dozoru způsoby, v závislosti na úkolu.

Jak naznačuje jejich název, RBM jsou variantou Boltzmann stroje, s omezením, že jejich neurony musí tvořit a bipartitní graf: dvojice uzlů z každé ze dvou skupin jednotek (běžně označovaných jako „viditelné“ a „skryté“ jednotky) může mít mezi sebou symetrické spojení; a mezi uzly ve skupině nejsou žádná spojení. Naproti tomu „neomezené“ Boltzmannovy stroje mohou mít spojení mezi nimi skryté jednotky. Toto omezení umožňuje efektivnější výcvikové algoritmy, než jaké jsou k dispozici pro obecnou třídu strojů Boltzmann, zejména pro gradientní kontrastivní divergence algoritmus.^[9]

Lze použít i omezené Boltzmannovy stroje hluboké učení sítí. Zejména, sítě hlubokého vyznání mohou být vytvořeny „stohováním“ RBM a volitelně dolaďováním výsledné hluboké sítě pomocí klesání a zpětná propagace.^[10]

Struktura

Standardní typ RBM má binární hodnotu (Booleovský /Bernoulli ) skryté a viditelné jednotky a skládá se z a matice závaží ${ displaystyle W = (w_ {i, j})}$ (velikost m×n) spojené se spojením mezi skrytou jednotkou ${ displaystyle h_ {j}}$ a viditelná jednotka ${ displaystyle v_ {i}}$, stejně jako zkreslení váhy (posuny) ${ displaystyle a_ {i}}$ pro viditelné jednotky a ${ displaystyle b_ {j}}$ pro skryté jednotky. Vzhledem k těmto skutečnostem energie konfigurace (pár logických vektorů) (proti,h) je definován jako

${ displaystyle E (v, h) = - součet _ {i} a_ {i} v_ {i} - součet _ {j} b_ {j} h_ {j} - součet _ {i} součet _ {j} v_ {i} w_ {i, j} h_ {j}}$

nebo v maticovém zápisu

${ displaystyle E (v, h) = - a ^ { mathrm {T}} v-b ^ { mathrm {T}} h-v ^ { mathrm {T}} Wh}$

Tato energetická funkce je obdobou funkce a Hopfieldova síť. Stejně jako obecně Boltzmannovy stroje jsou rozdělení pravděpodobnosti na skrytých a / nebo viditelných vektorech definována z hlediska energetické funkce:^[11]

${ displaystyle P (v, h) = { frac {1} {Z}} e ^ {- E (v, h)}}$

kde ${ displaystyle Z}$ je funkce oddílu definována jako součet ${ displaystyle e ^ {- E (v, h)}}$ přes všechny možné konfigurace (jinými slovy, jen a normalizační konstanta k zajištění součtu rozdělení pravděpodobnosti na 1). Podobně (okrajový ) pravděpodobnost viditelného (vstupního) vektoru booleanů je součet všech možných konfigurací skryté vrstvy:^[11]

${ displaystyle P (v) = { frac {1} {Z}} součet _ {h} e ^ {- E (v, h)}}$

Vzhledem k tomu, že RBM má tvar bipartitního grafu, bez spojení uvnitř vrstvy, jsou skryté aktivace jednotek vzájemně nezávislý vzhledem k aktivacím viditelné jednotky a naopak, aktivace viditelné jednotky jsou vzájemně nezávislé vzhledem k aktivacím skryté jednotky.^[9] To je pro ${ displaystyle m}$ viditelné jednotky a ${ displaystyle n}$ skryté jednotky, podmíněná pravděpodobnost konfigurace viditelných jednotek proti, vzhledem ke konfiguraci skrytých jednotek h, je

${ displaystyle P (v | h) = prod _ {i = 1} ^ {m} P (v_ {i} | h)}$.

Naopak podmíněná pravděpodobnost h daný proti je

${ displaystyle P (h | v) = prod _ {j = 1} ^ {n} P (h_ {j} | v)}$.

Jednotlivé pravděpodobnosti aktivace jsou dány vztahem

${ displaystyle P (h_ {j} = 1 | v) = sigma doleva (b_ {j} + součet _ {i = 1} ^ {m} w_ {i, j} v_ {i} doprava) }$ a ${ displaystyle , P (v_ {i} = 1 | h) = sigma vlevo (a_ {i} + součet _ {j = 1} ^ {n} w_ {i, j} h_ {j} že jo)}$

kde ${ displaystyle sigma}$ označuje logistický sigmoid.

Viditelné jednotky omezeného Boltzmannova stroje mohou být multinomiální, ačkoli skryté jednotky jsou Bernoulli. V tomto případě je logistická funkce pro viditelné jednotky nahrazena znakem funkce softmax

${ displaystyle P (v_ {i} ^ {k} = 1 | h) = { frac { exp (a_ {i} ^ {k} + Sigma _ {j} W_ {ij} ^ {k} h_ {j})} { Sigma _ {k '= 1} ^ {K} exp (a_ {i} ^ {k'} + Sigma _ {j} W_ {ij} ^ {k '} h_ {j })}}}$

kde K. je počet diskrétních hodnot, které mají viditelné hodnoty. Aplikují se při modelování témat,^[6] a doporučující systémy.^[4]

Vztah k jiným modelům

Omezené Boltzmannovy stroje jsou zvláštním případem Boltzmann stroje a Markovova náhodná pole.^[12][13]Jejich grafický model odpovídá tomu z faktorová analýza.^[14]

Výcvikový algoritmus

Omezené Boltzmannovy stroje jsou trénovány, aby maximalizovaly součin pravděpodobností přiřazených nějaké tréninkové sadě ${ displaystyle V}$ (matice, jejíž každý řádek je považován za viditelný vektor ${ displaystyle v}$),

${ displaystyle arg max _ {W} prod _ {v ve V} P (v)}$

nebo ekvivalentně maximalizovat očekávaný log pravděpodobnost tréninkového vzorku ${ displaystyle v}$ vybráno náhodně z ${ displaystyle V}$:^[12][13]

${ displaystyle arg max _ {W} mathbb {E} doleva [ log P (v) doprava]}$

Algoritmus nejčastěji používaný k trénování RBM, to znamená k optimalizaci váhového vektoru ${ displaystyle W}$, je algoritmus kontrastivní divergence (CD) způsobený Hinton, původně vyvinutý pro výcvik PoE (produkt odborníků ) modely.^[15][16]Algoritmus funguje Gibbsův odběr vzorků a používá se uvnitř a klesání postup (podobný způsobu, jakým se v takovém postupu používá zpětná propagace při tréninku dopředných neuronových sítí) k výpočtu aktualizace hmotnosti.

Základní postup jednokrokové kontrastní divergence (CD-1) pro jeden vzorek lze shrnout takto:

1. Vezměte ukázku tréninku proti, spočítejte pravděpodobnost skrytých jednotek a vyzkoušejte skrytý aktivační vektor h z tohoto rozdělení pravděpodobnosti.
2. Vypočítat vnější produkt z proti a h a nazvat to pozitivní gradient.
3. Z h, ochutnat rekonstrukci proti' viditelných jednotek, poté převzorkujte skryté aktivace h ' z tohoto. (Krok vzorkování Gibbs)
4. Vypočítat vnější produkt z proti' a h ' a nazvat to negativní gradient.
5. Nechte aktualizaci matice hmotnosti ${ displaystyle W}$ být kladný gradient minus negativní gradient, krát určitá rychlost učení: ${ displaystyle Delta W = epsilon (vh ^ { mathsf {T}} - v'h '^ { mathsf {T}})}$.
6. Aktualizujte předpětí A a b analogicky: ${ displaystyle Delta a = epsilon (v-v ')}$, ${ displaystyle Delta b = epsilon (h-h ')}$.

Praktický průvodce tréninkem RBM od Hintona najdete na jeho domovské stránce.^[11]

Viz také

• Autoencoder
• Helmholtzův stroj

Reference

externí odkazy

• Úvod do omezených Boltzmannových strojů. Blog Edwina Chena, 18. července 2011.
• „Průvodce pro začátečníky omezenými Boltzmannovými stroji“. Archivovány od originálu 11. února 2017. Citováno 15. listopadu 2018.CS1 maint: BOT: stav původní adresy URL neznámý (odkaz). Deeplearning4j Dokumentace
• „Porozumění RBM“. Archivovány od originál 20. září 2016. Citováno 29. prosince 2014.. Dokumentace Deeplearning4j
• Krajta implementace Bernoulli RBM a tutorial
• SimpleRBM je velmi malý kód RBM (24 kB) užitečný pro to, abyste se dozvěděli o tom, jak se RBM učí a fungují.