Regulátor artikulace mozečkového modelu - Cerebellar model articulation controller

Blokové schéma systému CMAC pro jeden spoj. Vektor S je prezentován jako vstup do všech kloubů. Každý kloub zvlášť počítá S -> A * mapování a signál akčního členu pi. Nastavitelné hmotnosti pro všechny klouby mohou být uloženy ve stejné fyzické paměti.[1]

The mozečkový model aritmetický počítač (CMAC) je typ neuronové sítě založené na modelu savce mozeček. To je také známé jako cerebelární model řízení artikulace. Je to typ asociativní Paměť.[2]

CMAC byl poprvé navržen jako modelář funkcí pro robotické ovladače od James Albus v roce 1975[1] (odtud název), ale byl značně používán v posilování učení a také pokud jde o automatizovanou klasifikaci v strojové učení společenství. CMAC je rozšířením perceptron Modelka. Vypočítá funkci pro vstupní rozměry. Vstupní prostor je rozdělen do hyper obdélníků, z nichž každý je spojen s paměťovou buňkou. Obsahem paměťových buněk jsou váhy, které se upravují během tréninku. Obvykle se používá více než jedna kvantizace vstupního prostoru, takže jakýkoli bod ve vstupním prostoru je spojen s počtem hyperobdélníků, a tedy s počtem paměťových buněk. Výstupem CMAC je algebraický součet hmotností ve všech paměťových buňkách aktivovaných vstupním bodem.

Změna hodnoty vstupního bodu má za následek změnu v sadě aktivovaných hyper-obdélníků, a tedy změnu v sadě paměťových buněk účastnících se výstupu CMAC. Výstup CMAC je proto uložen distribuovaným způsobem, takže výstup odpovídající libovolnému bodu ve vstupním prostoru je odvozen od hodnoty uložené v řadě paměťových buněk (odtud název asociativní paměti). To poskytuje zobecnění.

Stavební bloky

CMAC, reprezentovaný jako 2D prostor

Na sousedním obrázku jsou dva vstupy do CMAC, představované jako 2D prostor. K rozdělení tohoto prostoru na dvě překrývající se mřížky (jedna je zobrazena těžšími čarami) byly použity dvě kvantizační funkce. Blízko středu je zobrazen jeden vstup, který aktivoval dvě paměťové buňky odpovídající stínované oblasti. Pokud se v blízkosti zobrazeného bodu vyskytne další bod, bude sdílet některé stejné paměťové buňky a poskytne zobecnění.

CMAC je trénován prezentací dvojic vstupních bodů a výstupních hodnot a úpravou vah v aktivovaných buňkách o podíl chyby pozorované na výstupu. Tento jednoduchý tréninkový algoritmus má důkaz konvergence.[3]

Je normální přidat do hyperobdélníku funkci jádra, takže body padající k okraji hyperobdélníku mají menší aktivaci než ty, které padají blízko středu.[4]

Jedním z hlavních problémů uváděných při praktickém používání CMAC je požadovaná velikost paměti, která přímo souvisí s počtem použitých buněk. To se obvykle zlepšuje použitím a hashovací funkce a poskytuje pouze paměťové úložiště pro skutečné buňky, které jsou aktivovány vstupy.

Jednostupňový konvergentní algoritmus

K aktualizaci vah CMAC se používá metoda nejméně středního čtverce (LMS). Konvergence používání LMS pro školení CMAC je citlivá na míru učení a mohla by vést k divergenci. V roce 2004[5] byl zaveden algoritmus rekurzivního nejmenších čtverců (RLS) pro online trénování CMAC. Není třeba vyladit rychlost učení. Jeho konvergence byla teoreticky prokázána a lze zaručit, že konverguje v jednom kroku. Výpočtová složitost tohoto algoritmu RLS je O (N3).

Paralelní struktura potrubí neuronové sítě CMAC [6]
Levý panel: skutečné funkce; pravý panel: aproximace CMAC s deriváty

Infrastruktura implementace hardwaru

Na základě QR rozkladu byl dále zjednodušen algoritmus (QRLS), který má složitost O (N). To následně výrazně snižuje využití paměti a časovou náročnost. Byla zavedena paralelní struktura pole potrubí při implementaci tohoto algoritmu.[6]

Celkově lze pomocí algoritmu QRLS zaručit konvergenci neurální sítě CMAC a váhy uzlů lze aktualizovat pomocí jednoho kroku tréninku. Jeho paralelní struktura pole potrubí nabízí velký potenciál pro implementaci do hardwaru pro rozsáhlé průmyslové použití.

Kontinuální CMAC

Vzhledem k tomu, že obdélníkový tvar funkcí receptivního pole CMAC produkuje diskontinuální aproximaci funkce schodiště, integrací CMAC s funkcemi B-splajnů nabízí kontinuální CMAC schopnost získat libovolné pořadí derivátů přibližných funkcí.

Hluboký CMAC

V posledních letech četné studie potvrdily, že skládáním několika mělkých struktur do jedné hluboké struktury by celkový systém mohl dosáhnout lepší reprezentace dat, a tedy efektivněji řešit nelineární a vysoce složité úkoly. V roce 2018[7] byl navržen hluboký rámec CMAC (DCMAC) a byl odvozen algoritmus zpětného šíření pro odhad parametrů DCMAC. Experimentální výsledky úlohy adaptivního potlačení šumu ukázaly, že navrhovaný DCMAC může dosáhnout lepšího výkonu potlačení šumu ve srovnání s konvenčním jednovrstvým CMAC.

souhrn

ŠkálovatelnostPřímé rozšíření na miliony neuronů nebo dále
KonvergenceVýcvik se může vždy sblížit v jednom kroku
Funkční derivátyPřímo k získání pomocí interpolace B-splajny
Struktura hardwaruParalelní struktura potrubí
Využití pamětiLineární vzhledem k počtu neuronů
Výpočetní složitostNA)

Viz také

Reference

  1. ^ A b J.S. Albus (1975). „Nový přístup k ovládání manipulátoru: Cerebellar Model Articulation Controller (CMAC)“. V: Trans. ASME, Series G. Journal of Dynamic Systems, Measurement and Control, Sv. 97, str. 220–233, 1975.
  2. ^ J.S. Albus (1979). "Mechanismy plánování a řešení problémů v mozku". V: Matematické biologické vědy. Sv. 45, str. 247293, 1979.
  3. ^ Y. Wong, CMAC Learning je řízen jediným parametrem, IEEE International Conference on Neural Networks, San Francisco, sv. 1, str. 1439–1443, 1993.
  4. ^ P.C.E. An, W.T. Miller a P.C. Parky, vylepšení designu v asociativních pamětí pro řadiče artikulace mozkových modelů, Proc. ICANN, s. 1207–10, 1991.
  5. ^ Ting Qin a kol. „Algoritmus učení CMAC založený na RLS.“ Neural Processing Letters 19.1 (2004): 49-61.
  6. ^ A b Ting Qin a kol. "Kontinuální CMAC-QRLS a jeho systolické pole." Neural Processing Letters 22.1 (2005): 1-16.
  7. ^ * Yu Tsao a kol. „Adaptivní potlačení šumu pomocí artikulačního ovladače modelu Deep Cerebellar.“ IEEE Access sv. 6, s. 37395 - 37402, 2018.

Další čtení

externí odkazy