Neuronová síť kapslí - Capsule neural network

A Neuronová síť kapslí (CapsNet) je systém strojového učení, který je typem umělá neuronová síť (ANN), které lze použít k lepšímu modelování hierarchických vztahů. Tento přístup je pokusem o bližší napodobení biologické neurální organizace.^[1]

Cílem je přidat struktury zvané „tobolky“ do a konvoluční neuronová síť (CNN) a znovu použít výstup z několika z těchto tobolek, aby vytvořily stabilnější (s ohledem na různé poruchy) reprezentace vyšších tobolek.^[2] Výstupem je vektor skládající se z pravděpodobnost pozorování a představují pro toto pozorování. Tento vektor je podobný tomu, co se děje například při provádění klasifikace s lokalizací v CNN.

Mezi další výhody patří kapsle, které se zabývají „problémem Picassa“ v rozpoznávání obrázků: obrázky, které mají všechny správné části, ale které nejsou ve správném prostorovém vztahu (např. V „obličeji“ se mění pozice úst a jednoho oka ). Pro rozpoznávání obrázků využívají kapslové sítě skutečnost, že zatímco změny pohledu mají nelineární efekty na úrovni pixelů, mají lineární efekty na úrovni části / objektu.^[3] To lze přirovnat k invertování vykreslení objektu z více částí.^[4]

Dějiny

V roce 2000 Geoffrey Hinton et al. popsal zobrazovací systém, který kombinoval segmentace a rozpoznávání do jednoho odvozovacího procesu pomocí analyzovat stromy. Tzv. Sítě důvěryhodnosti popsaly společné rozdělení přes latentní proměnné a přes možné parse stromy. Tento systém se ukázal jako užitečný pro MNIST ručně psaná databáze číslic.^[4]

Mechanismus dynamického směrování pro kapslové sítě zavedl Hinton a jeho tým v roce 2017. Tvrdilo se, že tento přístup snižuje chybovost na MNIST a zmenšit velikost tréninkové sady. Výsledky byly prohlášeny za výrazně lepší než CNN na vysoce překrývajících se číslicích.^[1]

V Hintonově původním nápadu by jeden miniko sloupec představoval a detekoval jednu vícerozměrnou entitu.^{[5][poznámka 1]}

Transformace

An neměnný je vlastnost objektu, která se nemění v důsledku nějaké transformace. Například oblast kruhu se nezmění, pokud je kruh posunut doleva.

Neformálně, an ekvivariant je vlastnost, která se při transformaci předvídatelně mění. Například střed kruhu se při posunutí pohybuje o stejnou částku jako kruh.^[6]

Nonequivariant je vlastnost, jejíž hodnota se při transformaci předvídatelně nezmění. Například transformace kruhu na elipsu znamená, že jeho obvod již nelze vypočítat jako π krát průměr.

V počítačovém vidění se očekává, že třída objektu bude neměnná během mnoha transformací. Tj. Kočka je stále kočkou, pokud je posunutá, obrácená vzhůru nohama nebo zmenšená. Mnoho dalších vlastností je však místo toho ekvivalentních. Objem kočky se mění, když je zmenšen.

Ekvivariantní vlastnosti, jako je prostorový vztah, jsou zachyceny v a pózadata popisující objekt překlad, otáčení, měřítko a odraz. Překlad je změna umístění v jedné nebo více dimenzích. Rotace je změna orientace. Měřítko je změna velikosti. Odraz je zrcadlový obraz.^[1]

Bez dozoru capsnets se učí globálně lineární potrubí mezi objektem a jeho pózou jako matice vah. Jinými slovy, kapsle mohou identifikovat objekt nezávisle na jeho póze, než aby se museli naučit rozpoznávat objekt a zároveň zahrnout jeho prostorové vztahy jako součást objektu. V kapsách může póza obsahovat jiné vlastnosti než prostorové vztahy, např. Barvu (kočky mohou mít různé barvy).

Vynásobením objektu rozdělovačem se získá objekt (pro objekt v prostoru).^[7]

Sdružování

Kapsety odmítají sdružovací vrstva strategie konvenčních CNN, která snižuje množství detailů, které mají být zpracovány v další vyšší vrstvě. Sdružování umožňuje určitý stupeň translační invariance (dokáže rozpoznat stejný objekt na poněkud jiném místě) a umožňuje reprezentaci většího počtu typů prvků. Navrhovatelé Capsnet tvrdí, že sdružování:^[1]

• porušuje vnímání biologického tvaru tím, že nemá žádný vlastní souřadnicový rámec;
• poskytuje invariance (vyřazení pozičních informací) namísto ekvivariance (rozdělení těchto informací);
• ignoruje lineární potrubí, které je základem mnoha variací mezi obrázky;
• namísto sdělování potenciálního „nálezu“ funkci, která ji dokáže ocenit, směruje staticky;
• poškodí blízké detektory funkcí odstraněním informací, na které spoléhají.

Kapsle

Kapsle je sada neuronů, které se jednotlivě aktivují pro různé vlastnosti typu objektu, jako je poloha, velikost a odstín. Formálně je kapsle sada neuronů, které společně produkují vektor aktivity s jedním prvkem pro každý neuron, který udržuje hodnotu instance neuronu (např. odstín).^[1] Grafické programy používají k vykreslení objektu hodnotu instance. Kapsety se je snaží odvodit ze svého vstupu. Pravděpodobnost přítomnosti entity na konkrétním vstupu je délka vektoru, zatímco orientace vektoru kvantifikuje vlastnosti kapsle.^[1][3]

Umělé neurony tradičně vydávají skalární aktivaci se skutečnou hodnotou, která volně představuje pravděpodobnost pozorování. Capsnets nahrazují detektory funkcí skalárního výstupu kapslemi s vektorovým výstupem a max-pooling s routing-by-agreement.^[1]

Vzhledem k tomu, že kapsle jsou nezávislé, je-li více tobolek shodných, je pravděpodobnost správné detekce mnohem vyšší. Minimální shluk dvou tobolek, který uvažuje o šestrozměrné entitě, by souhlasil do 10% náhodou pouze jednou z milionu pokusů. Jak se počet dimenzí zvyšuje, pravděpodobnost náhodného souhlasu napříč větším klastrem s vyššími dimenzemi exponenciálně klesá.^[1]

Kapsle ve vyšších vrstvách přijímají výstupy z kapslí ve spodních vrstvách a přijímají ty, jejichž výstupy se shlukují. Shluk způsobí, že vyšší kapsle vyprodukuje vysokou pravděpodobnost pozorování, že je přítomna entita, a také vyprodukuje vysoko-dimenzionální (20-50 +) pózu.^[1]

Kapsle vyšší úrovně ignorují odlehlé hodnoty a soustředí se na shluky. To je podobné jako Hough transformace, RHT a RANSAC od klasiky digitální zpracování obrazu.^[1]

Směrování po dohodě

Výstupy z jedné tobolky (dítě) jsou směrovány do tobolek v další vrstvě (rodič) podle schopnosti dítěte předvídat výstupy rodičů. V průběhu několika iterací se výstupy každého rodiče mohou sblížit s předpovědi některých dětí a odchýlit se od předpovědí ostatních, což znamená, že daný rodič je na scéně přítomen nebo chybí.^[1]

Pro každého možného rodiče každé dítě vypočítá vektor predikce vynásobením jeho výstupu váhovou maticí (trénovanou uživatelem zpětná propagace ).^[3] Dále je výstup nadřazeného prvku vypočítán jako skalární součin predikce s koeficientem představujícím pravděpodobnost, že toto dítě patří tomuto rodiči. Dítě, jehož předpovědi jsou relativně blízké výslednému výstupu, postupně zvyšuje koeficient mezi tímto rodičem a dítětem a snižuje jej u rodičů, které se mu méně dobře shodují. Tím se zvyšuje příspěvek, který dané dítě přispívá tomuto rodiči, čímž se zvyšuje skalární součin predikce kapsle s výstupem rodiče. Po několika iteracích koeficienty silně spojí rodiče s jeho nejpravděpodobnějšími dětmi, což naznačuje, že přítomnost dětí znamená přítomnost rodiče ve scéně.^[1] Čím více dětí, jejichž předpovědi se blíží výstupu rodičů, tím rychleji rostou koeficienty, což vede ke konvergenci. Póza rodiče (odráží se v jeho výstupu) se postupně stává kompatibilní s pózou jejích dětí.^[3]

Počáteční logity koeficientů jsou pravděpodobnosti předchozího protokolu, že dítě patří rodiči. Předkové mohou být trénováni diskriminačně spolu s váhami. Prior závisí na umístění a typu kapslí dítěte a rodiče, ale ne na aktuálním vstupu. Při každé iteraci se koeficienty upravují pomocí „směrování“ softmax takže pokračují v součtu 1 (k vyjádření pravděpodobnosti, že daná tobolka je rodičem daného dítěte.) Softmax zesiluje větší hodnoty a snižuje menší hodnoty nad jejich podíl na celkovém počtu. Podobně pravděpodobnost, že je ve vstupu přítomna nějaká vlastnost, je zveličena nelineární funkcí „squashing“, která snižuje hodnoty (menší drasticky a větší tak, že jsou menší než 1).^[3]

Tento mechanismus dynamického směrování poskytuje nezbytné zastarání alternativ („vysvětlení“), které jsou potřebné pro segmentaci překrývajících se objektů.

Toto naučené směrování signálů nemá jasný biologický ekvivalent. Některé operace lze nalézt v kortikálních vrstvách, ale zdá se, že tuto techniku ​​nesouvisí.

Matematika / kód

Póza vektor ${ textstyle mathbf {u} _ {i}}$ se otáčí a překládá maticí ${ textstyle mathbf {W} _ {ij}}$ do vektoru ${ textstyle mathbf { hat {u}} _ {j | i}}$ který předpovídá výstup mateřské kapsle.

${ displaystyle mathbf { hat {u}} _ {j | i} = mathbf {W} _ {ij} mathbf {u} _ {i}}$

Kapsle ${ textstyle s_ {j}}$ v další vyšší úrovni se přivádí součet předpovědí ze všech tobolek ve spodní vrstvě, každá s vazebním koeficientem ${ textstyle c_ {ij}}$

${ displaystyle s_ {j} = součet {c_ {ij} mathbf { hat {u}} _ {j | i}}}$

Postup softmax

Spojovací koeficienty z kapsle ${ textový styl i}$ ve vrstvě ${ textový styl}$ na všechny tobolky ve vrstvě ${ textový styl l + 1}$ součet k jedné a jsou definovány „směrování softmax ". Počáteční logity ${ textstyle b_ {ij}}$ jsou předchozí pravděpodobnosti protokolu pro směrování. Toto je předchozí pravděpodobnost ta kapsle ${ textový styl i}$ ve vrstvě ${ textový styl}$ by se měl připojit k tobolce ${ textstyle j}$ ve vrstvě ${ textový styl l + 1}$. Normalizace vazebních koeficientů:^[1]

${ displaystyle { begin {array} {lcl} 1: mathbf {postup} ~ mathrm {softmax} ( mathbf {b}, i) 2: quad triangleright { mbox {argument matrix}} 3: quad triangleright { mbox {argument skalární}} 4: quad triangleright { mbox {zapamatovat si}} ~ mathbf {b} 5: quad triangleright { mbox { návratový vektor}} 6: quad mathbf {foreach} ~ { mbox {index}} ~ i, j ~ mathbf {do} 7: qquad c_ {ij} leftarrow { frac {e ^ {b_ {ij}}} { sum _ {k} {e ^ {b_ {ik}}}}} 8: quad mathbf {návrat} ~ mathbf {c} _ {i} end {pole}}}$

Aby byl tento postup optimální, musel by si zapamatovat několik hodnot a resetovat tyto hodnoty při každé iteraci. To je v případě, že vektor ${ displaystyle mathbf {b}}$ změny, pak musí být hodnoty uložené do paměti aktualizovány. Není ukázáno, jak by to mělo být provedeno. Nezobrazí se ani zapamatování dělitele.^[1]

Postup squash

Protože délka vektorů představuje pravděpodobnosti, měly by být mezi nulou (0) a jednou (1), a k tomu je použita squashingová funkce:^[1]

${ displaystyle { begin {array} {lcl} 1: mathbf {postup} ~ mathrm {squash} ( mathbf {a}) 2: quad triangleright { mbox {argument vektor}} 2: quad triangleright { mbox {návratový vektor}} 3: qquad mathbf {a} leftarrow { frac { | mathbf {a} | ^ {2}} {1+ | mathbf {a} | ^ {2}}} { frac { mathbf {a}} { | mathbf {a} |}} 4: quad mathbf {návrat} ~ mathbf { a} konec {pole}}}$

Vektor stlačený na nulu má mizející gradient.

Směrování postupu

Jeden přístup ke směrování je následující^[1]

${ displaystyle { begin {pole} {lcl} ~~ 1: mathbf {postup} ~ mathrm {směrování} ( mathbf { hat {u}} _ {j | i}, r, l) ~~ 2: quad triangleright { mbox {argument vektor}} ~~ 3: quad triangleright { mbox {argument skalární}} ~~ 4: quad triangleright { mbox {argument skalární }} ~~ 5: quad triangleright { mbox {návratový vektor}} ~~ 6: quad mathbf {foreach} ~ { mbox {kapsle}} ~ i ~ { mbox {ve vrstvě }} ~ l, ~ { mbox {capsule}} ~ j ~ { mbox {ve vrstvě}} ~ (l + 1) ~ mathbf {do} ~ b_ {ij} leftarrow 0 ~~ 7: quad mathbf {for} ~ { mbox {iterace}} ~ r ~ mathbf {do} ~~ 8: qquad mathbf {foreach} ~ { mbox {kapsle}} ~ i ~ { mbox {ve vrstvě}} ~ l ~ mathbf {do} ~ mathbf {c} _ {i} leftarrow operatorname {softmax} ( mathbf {b}, i) ~~ 9: qquad mathbf { foreach} ~ { mbox {capsule}} ~ j ~ { mbox {ve vrstvě}} ~ (l + 1) ~ mathbf {do} ~ mathbf {s} _ {j} leftarrow sum _ {i } {c_ {ij} mathbf { hat {u}} _ {j | i}} 10: qquad mathbf {foreach} ~ { mbox {kapsle}} ~ j ~ { mbox {ve vrstvě }} ~ (l + 1) ~ mathbf {do} ~ mathbf {v} _ {j} leftarrow operatorname {squash} ( mathbf {s} _ {j}) 11: qquad math bf {foreach} ~ { mbox {capsule}} ~ i ~ { mbox {ve vrstvě}} ~ l, ~ j ~ { mbox {ve vrstvě}} ~ (l + 1) ~ mathbf {do} ~ mathbf {b} _ {ij} leftarrow mathbf {b} _ {ij} + mathbf { hat {u}} _ {j | i} cdot mathbf {v} _ {j} 12 : quad mathbf {návrat} ~ mathbf {v} _ {j} konec {pole}}}$

Na řádku 8 lze funkci softmax nahradit jakýmkoli typem vítěz bere vše síť. Biologicky to trochu připomíná lustrové buňky, ale mohou se také podílet na výpočtu vazebních koeficientů (řádek 9) nebo výpočtu dohod (řádek 11).

Na řádku 9 je zobrazena váhová matice pro vazební koeficienty a skrytá predikční matice. Struktura ve vrstvách I a II je poněkud podobná struktuře mozková kůra -li hvězdné buňky Předpokládá se, že se účastní transpozice vstupních vektorů. Zda oba typy hvězdicových buněk mají stejnou funkci, není jasné, protože vrstva I má excitační ostnaté buňky a vrstva II má inhibiční aspinové buňky. Druhá označuje mnohem jinou síť.

Na řádku 10 lze squashovou funkci nahradit jinými funkcemi a topologiemi sítě, které zachovávají směr vektoru.

Postup probíhá ${ textstyle r}$ iterace, obvykle 4–5, s ${ textový styl}$ index pro vrstvu zdrojové kapsle nebo primární vrstvu, kam směřuje směrování za vrstva tobolky ${ textový styl l + 1}$ další vyšší vrstva.

Výcvik

Učení je pod dohledem.^[3] Síť je trénována minimalizací euklidovská vzdálenost mezi obrazem a výstupem CNN, který rekonstruuje vstup z výstupu koncových pouzder.^[1]

Síť je diskriminačně proškolena pomocí iterativního směrování podle dohody.^[1]

Vektory aktivity všech kromě správného rodiče jsou maskované.^[1]

Ztráta marže

Délka vektoru instance představuje pravděpodobnost, že se ve scéně nachází entita kapsle. Kapsle nejvyšší úrovně má dlouhý vektor právě tehdy, je-li přítomna její přidružená entita. Chcete-li povolit více entit, samostatný ztráta marže se počítá pro každou kapsli. Snížení váhy ztráty pro chybějící entity zastaví učení od zmenšování délek vektorů aktivity pro všechny entity. Celková ztráta je součtem ztrát všech subjektů.^[1] V Hintonově příkladu je funkce ztráty:^[1]

${ displaystyle { begin {aligned} L_ {k} & = underbrace {T_ {k} ~ { max left (0, m ^ {+} - | mathbf {v} _ {k} | right)} ^ {2}} _ { mbox {class present}} + underbrace { lambda left (1-T_ {k} right) ~ { max left (0, | mathbf { v} _ {k} | -m ^ {-} right)} ^ {2}} _ { mbox {třída není k dispozici}}, & T_ {k} = { begin {cases} 1, & { mbox {číslice třídy}} ~ k ~ { mbox {present}} 0, & { mbox {jinak}} konec {případů}} konec {zarovnáno}}}$

Tento typ funkce ztráty je běžný v ANN. Parametry ${ textstyle m ^ {+}}$ a ${ textstyle m ^ {-}}$ jsou nastaveny tak, aby se délka maximálně nevysunula nebo nesbalila ${ textstyle m ^ {+} = 0,9}$ a ${ textstyle m ^ {-} = 0,1}$. Nižší váha počátečních vah pro chybějící třídy je řízena pomocí ${ textstyle lambda}$, s ${ textstyle lambda = 0,5}$ jako rozumná volba.^[1]

Ztráta rekonstrukce

Další ztráta rekonstrukce povzbuzuje entity k zakódování instančních parametrů jejich vstupů. Výsledný vektor aktivity se poté použije k rekonstrukci vstupního obrazu pomocí dekodéru CNN skládajícího se ze 3 plně spojených vrstev. Rekonstrukce minimalizuje součet čtvercových rozdílů mezi výstupy logistických jednotek a intenzitami pixelů. Tato ztráta při rekonstrukci je zmenšena o 0,0005, takže během tréninku nedominuje ztrátu marže.^[1]

Příklad konfigurace

První konvoluční vrstvy provádějí extrakci funkcí. Pro test obrazu MNIST 28x28 pixelů je úvodních 256 9x9 pixel konvoluční jádra (pomocí kroku 1 a usměrněná lineární jednotka (ReLU) aktivace, definování 20x20 receptivní pole ) převeďte vstup pixelů na aktivaci 1D funkce a indukujte nelinearitu.^[1]

Primární (nejnižší) vrstva tobolky rozděluje 256 jader na 32 tobolek po 8 jádrech 9x9 (pomocí kroku 2, definujících 6x6 receptivních polí). Aktivace kapslí účinně invertují proces vykreslování grafiky od pixelů k funkcím. Každá tobolka ve všech receptivních polích používá jednu váhovou matici. Každá primární kapsle vidí všechny výstupy nižší vrstvy, jejichž pole se překrývají se středem pole v primární vrstvě. Každý primární výstup kapsle (pro konkrétní pole) je 8-dimenzionální vektor.^[1][3]

Druhá, číslicová vrstva kapsle má jednu 16-dimenzionální kapsli pro každou číslici (0-9). Dynamické směrování spojuje (pouze) primární a číselné vrstvy kapslí. Matice hmotnosti [32x6x6] x 10 řídí mapování mezi vrstvami.^[1]

Kapsety jsou hierarchické v tom, že každá kapsle nižší úrovně významně přispívá pouze k jedné kapsli vyšší úrovně.^[1]

Replikace naučených znalostí však zůstává cenná. K dosažení tohoto cíle jsou nižší vrstvy capsnetu konvoluční, včetně skrytých vrstev kapslí. Vyšší vrstvy tak pokrývají větší oblasti, přičemž zachovávají informace o přesné poloze každého objektu v oblasti. U nízkoúrovňových kapslí jsou informace o poloze „místně kódovány“ podle toho, která kapsle je aktivní. Vyšší je stále více a více pozičních informací kódované sazbou ve výstupním vektoru kapsle. Tento posun od místního kódování k rychlostnímu kódování v kombinaci se skutečností, že kapsle vyšší úrovně představují složitější objekty s více stupni volnosti, naznačuje, že dimenze kapslí se zvyšuje s úrovní.^[1]

Lidská vize

Lidské vidění zkoumá sled ohniskových bodů (režie sakády ), zpracování pouze zlomku scény v nejvyšším rozlišení. Kapsety staví na inspiracích od kortikální minikolony (nazývané také kortikální mikrokolony) v mozková kůra. Minicolumn je struktura obsahující 80-120 neuronů, o průměru asi 28-40 um, pokrývající všechny vrstvy v mozkové kůře. Všechny neurony ve větších minisloupcích mají stejné receptivní pole a své aktivace vydávají jako akční potenciály nebo hroty.^[1] Neurony uvnitř mikrokolony přijímají společné vstupy, mají společné výstupy, jsou vzájemně propojeny a mohou tvořit základní výpočetní jednotku mozková kůra.^[8]

Capsnets prozkoumají intuici, kterou vytváří lidský vizuální systém strom struktura podobná každému kontaktnímu bodu a koordinuje tyto stromy, aby rozpoznaly objekty. S kapsnety je však každý strom „vyřezán“ z pevné sítě (úpravou koeficientů), spíše než sestavován za chodu.^[1]

Alternativy

O CapsNets se tvrdí, že má čtyři hlavní koncepční výhody oproti konvoluční neuronové sítě (CNN):

• Invariance pohledu: použití matic pólů umožňuje kapslovým sítím rozpoznávat objekty bez ohledu na perspektivu, ze které jsou zobrazeny.
• Méně parametrů: Protože kapsle seskupují neurony, vyžaduje spojení mezi vrstvami méně parametrů.
• Lepší zobecnění na nové úhly pohledu: CNN, když jsou vycvičeni v porozumění rotacím, se často učí, že na objekt lze nahlížet podobně z několika různých rotací. Síť kapslí se však lépe zobecňuje na nová hlediska, protože matice pólů mohou tyto charakteristiky zachytit jako lineární transformace.
• Obrana proti nepřátelským útokům typu white-box: Metoda rychlého přechodu (FGSM) je typickou metodou pro útok na CNN. Vyhodnocuje gradient každého pixelu proti ztrátě sítě a mění každý pixel maximálně epsilon (chybový termín), aby maximalizoval ztrátu. Ačkoli tato metoda může dramaticky snížit přesnost CNN (např .: pod 20%), kapslové sítě udržují přesnost nad 70%.

Čistě konvoluční sítě nelze zobecnit na odnaučené pohledy (jiné než překlad). Pro ostatní afinní transformace, buď se detektory prvků musí opakovat na mřížce, která exponenciálně roste s počtem dimenzí transformace, nebo se velikost označené tréninkové sady musí (exponenciálně) rozšířit tak, aby zahrnovala tato hlediska. Tyto exponenciální exploze je činí nevhodnými pro větší problémy.^[1]

Transformační matice společnosti Capsnet se učí prostorovému vztahu (nezávislému na pohledu) mezi částí a celkem, což umožňuje rozpoznání druhé na základě těchto vztahů. Kapsle však předpokládají, že každé umístění zobrazuje nejvýše jednu instanci objektu kapsle. Tento předpoklad umožňuje kapsli použít distribuovanou reprezentaci (její vektor aktivity) objektu k reprezentaci daného objektu v daném místě.^[1]

Kapsety používají neurální aktivity, které se liší podle hlediska. Nemusí normalizovat objekty (jako v sítě prostorových transformátorů ) a dokáže dokonce rozpoznat i několikanásobně transformované objekty. Capsnets mohou také zpracovávat segmentované objekty.^[1]

Viz také

• Konvoluční neuronová síť
• Geoffrey Hinton
• MNIST databáze

Poznámky

Reference

externí odkazy

• Pytorchův kód: Směrování kapslí přes Variational Bayes, Únor 2020, vyvoláno 2020-10-23
• Implementace PyTorch dokumentu NIPS 2017 „Dynamické směrování mezi kapslemi“, Gram.AI, 2017-12-08, vyvoláno 2017-12-08
• Co je špatného na konvolučních neurálních sítích na Youtube
• "Hluboké učení". www.cedar.buffalo.edu. Citováno 2017-12-07.
• Bourdakos, Nick (12.02.2018). „Porozumění kapslovým sítím - lákavá nová architektura AI“. freeCodeCamp.org. Citováno 2019-04-23.
• Dai, Jifeng; Qi, Haozhi; Xiong, Yuwen; Li, Yi; Zhang, Guodong; Hu, Han; Wei, Yichen (2017-03-17). "Deformovatelné konvoluční sítě". arXiv:1703.06211 [cs.CV ].
• De Brabandere, Bert; Jia, Xu; Tuytelaars, Tinne; Van Gool, Luc (2016-05-31). "Sítě s dynamickým filtrem". arXiv:1605.09673 [cs.LG ].Guo, Xifeng (08.12.2017), CapsNet-Keras: Kerasová implementace CapsNet v dokumentu NIPS2017 „Dynamické směrování mezi kapslemi“. Nyní chyba testu ＝ 0,34%., vyvoláno 2017-12-08
• Hinton, Geoffrey; Sabour, Sara; Frosst, Nicholas (listopad 2017). "MATRIXOVÉ KAPSULY S EM ROUTINGEM".
• Hinton a Google Brain - kapslové sítě na Youtube
• Liao, Huadong (08.12.2017), CapsNet-Tensorflow: Implementace Tensorflow CapsNet (Capsules Net) v Hintonově dokumentu Dynamické směrování mezi kapslemi, vyvoláno 2017-12-08