Modulární neurální síť - Modular neural network

tento článek potřebuje víc odkazy na další články pomoci integrovat to do encyklopedie. Prosím pomozte vylepšit tento článek přidáním odkazů které jsou relevantní pro kontext v rámci stávajícího textu. (Prosinec 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

A modulární neuronová síť je umělá neuronová síť charakterizovaná sérií nezávislých neuronových sítí moderovaných nějakým prostředníkem. Každá nezávislá neuronová síť slouží jako modul a pracuje na samostatných vstupech, aby splnila nějakou dílčí úlohu úkolu, v který doufá, že bude provádět.^[1] Zprostředkovatel bere výstupy každého modulu a zpracovává je, aby vytvořil výstup sítě jako celku. Zprostředkovatel přijímá pouze výstupy modulů - nereaguje na moduly ani na ně jinak nesignalizuje. Moduly také vzájemně neinteragují.

Biologický základ

Tak jako umělá neuronová síť v průběhu výzkumu je vhodné, aby umělé neuronové sítě i nadále čerpaly ze své biologické inspirace a emulovaly segmentaci a modularizaci nalezenou v mozku. Mozek například rozděluje složitý úkol vizuálního vnímání na mnoho dílčích úkolů.^[2] V rámci části mozek, volal thalamus, leží boční geniculate jádro (LGN), která je rozdělena do vrstev, které samostatně zpracovávají barvu a kontrast: obě hlavní složky vidění.^[3] Poté, co LGN zpracuje každou komponentu paralelně, předá výsledek do jiné oblasti, aby výsledky zkompiloval.

Některé úkoly, které mozek zpracovává, jako je vize, používají hierarchii podsítí. Není však jasné, zda někteří zprostředkovatelé spojují tyto samostatné procesy dohromady. Spíše, jak budou úkoly abstraktnější, moduly na rozdíl od modelu modulární neuronové sítě vzájemně komunikují.

Design

Na rozdíl od jedné velké sítě, kterou lze přiřadit libovolným úkolům, musí být každému modulu v modulární síti přiřazen konkrétní úkol a návrhářem musí být k ostatním modulům přidružen konkrétním způsobem. V příkladu vidění se mozek vyvinul (spíše než naučil), aby vytvořil LGN. V některých případech se návrhář může rozhodnout sledovat biologické modely. V ostatních případech mohou být lepší jiné modely. Kvalita výsledku bude záviset na kvalitě designu.

Složitost

Modulární neurální sítě redukují jednu velkou nepraktickou neurální síť na menší, potenciálně lépe zvládnutelné komponenty.^[1] Některé úkoly jsou pro jednu neuronovou síť neodolatelně velké. Mezi výhody modulárních neuronových sítí patří:

Účinnost

Možné neuron (uzel) připojení se kvadraticky zvyšuje s přidáváním uzlů do sítě. Výpočetní doba závisí na počtu uzlů a jejich připojení, jakékoli zvýšení má drastické důsledky pro dobu zpracování. Přiřazení konkrétních dílčích úkolů jednotlivým modulům snižuje počet potřebných připojení.

Výcvik

Velký nervová síť pokus o modelování více parametrů může trpět interferencí, protože nová data mohou změnit stávající připojení nebo jen zmást. Každý modul lze trénovat samostatně a přesněji zvládnout jeho jednodušší úkol. To znamená trénink algoritmus a tréninková data mohou být implementována rychleji.

Robustnost

Bez ohledu na to, zda je velká neurální síť biologická nebo umělá, zůstává do značné míry náchylná k interferenci a selhání v kterémkoli z jejích uzlů. Rozdělením dílčích úkolů je mnohem snadněji diagnostikována porucha a interference a jejich účinky na jiné podsítě jsou eliminovány, protože každá z nich je na sobě nezávislá.

Poznámky

Reference

• Azam, Farooq (2000). "Biologicky inspirované modulární neurální sítě. Doktorská disertační práce". Virginia Tech.CS1 maint: ref = harv (odkaz)
• Happel, Bart; Murre, Jacob (1994). „Návrh a vývoj architektur modulárních neurálních sítí“ (PDF). Neuronové sítě. 7 (6–7): 985–1004. doi:10.1016 / s0893-6080 (05) 80155-8.CS1 maint: ref = harv (odkaz)^{[trvalý mrtvý odkaz ]}
• Hubel, DH; Livingstone, MS (1990). "Barevná a kontrastní citlivost v postranním geniculárním těle a primární vizuální kůře opice makaka". Journal of Neuroscience. 10 (7): 2223–2237. doi:10.1523 / JNEUROSCI.10-07-02223.1990.CS1 maint: ref = harv (odkaz)
• Tahmasebi, P .; Hezarkhani, A. (2011). "Aplikace modulární zpětné vazby pro odhad stupně". Výzkum přírodních zdrojů. 20 (1): 25–32. doi:10.1007 / s11053-011-9135-3.
• Clune, Jeff; Mouret, Jean-Baptiste; Lipson, Hod (2013-01-30). „Evoluční počátky modularity“. Sborník Královské společnosti B: Biologické vědy. 280 (1755): 20122863. arXiv:1207.2743. doi:10.1098 / rspb.2012.2863. ISSN  0962-8452. PMC  3574393. PMID  23363632.
• Tahmasebi, Pejman; Hezarkhani, Ardeshir (2012). "Rychlá a nezávislá architektura umělé neuronové sítě pro predikci propustnosti". Journal of Petroleum Science and Engineering. 86: 118–126. doi:10.1016 / j.petrol.2012.03.019.