ADALINE - ADALINE - Wikipedia

Učení uvnitř jedné vrstvy ADALINE

ADALINE (Adaptivní lineární neuron nebo později Adaptivní lineární prvek) je raná jednovrstvá umělá neuronová síť a název fyzického zařízení, které tuto síť implementovalo.^{[1][2][3][4][5]} Síť používá memistory. Byl vyvinut profesorem Bernard Widrow a jeho postgraduální student Ted Hoff na Stanfordská Univerzita v roce 1960. Je založen na McCulloch – Pittsův neuron. Skládá se z váhy, vychýlení a funkce součtu.

Rozdíl mezi adalinem a standardem (McCulloch – Pitts ) perceptron je to, že ve fázi učení se váhy upravují podle váženého součtu vstupů (síť). Ve standardním perceptronu je síť předána do aktivace (převod ) a výstup funkce se používá k nastavení vah.

Vícevrstvá síť jednotek ADALINE je známá jako MADALINE.

Definice

Adaline je neuronová síť s jednou vrstvou s více uzly, kde každý uzel přijímá více vstupů a generuje jeden výstup. Vzhledem k následujícím proměnným jako:

• ${ displaystyle x}$ je vstupní vektor
• ${ displaystyle w}$ je váhový vektor
• ${ displaystyle n}$ je počet vstupů
• ${ displaystyle theta}$ nějaká konstanta
• ${ displaystyle y}$ je výstupem modelu

pak zjistíme, že výstup je ${ displaystyle y = sum _ {j = 1} ^ {n} x_ {j} w_ {j} + theta}$. Pokud to dále předpokládáme

• ${ displaystyle x_ {0} = 1}$
• ${ displaystyle w_ {0} = theta}$

pak se výstup dále snižuje na: ${ displaystyle y = sum _ {j = 0} ^ {n} x_ {j} w_ {j}}$

Algoritmus učení

Předpokládejme:

• ${ displaystyle eta}$ je míra učení (nějaká pozitivní konstanta)
• ${ displaystyle y}$ je výstupem modelu
• ${ displaystyle o}$ je cílový (požadovaný) výstup

potom se váhy aktualizují následujícím způsobem ${ displaystyle w leftarrow w + eta (o-y) x}$. ADALINE konverguje k chybě nejmenších čtverců, která je ${ displaystyle E = (o-y) ^ {2}}$.^[6]Toto pravidlo aktualizace je ve skutečnosti stochastický gradient aktualizace pro lineární regrese.^[7]

MADALINE

MADALINE (mnoho ADALINE^[8]) je třívrstvá (vstupní, skrytá, výstupní), plně připojená, dopředná umělá neuronová síť architektura pro klasifikace , který používá jednotky ADALINE ve své skryté a výstupní vrstvě, tj. jeho aktivační funkce je znaková funkce.^[9] Třívrstvá síť používá memistory. Tři různé tréninkové algoritmy pro sítě MADALINE, které nelze naučit pomocí zpětná propagace protože znaková funkce není diferencovatelná, byly navrženy, nazývané Pravidlo I, Pravidlo II a Pravidlo III.

MADALINE Rule 1 (MRI) - První z nich pochází z roku 1962 a nemůže přizpůsobit váhy spojení se skrytým výstupem.^[10]

MADALINE Rule 2 (MRII) - Druhý tréninkový algoritmus se zlepšil u pravidla I a byl popsán v roce 1988.^[8] Výcvikový algoritmus pravidla II je založen na principu zvaném „minimální rušení“. Postupuje opakováním příkladů tréninku, poté pro každý příklad:

• najde jednotku skryté vrstvy (klasifikátor ADALINE) s nejnižší spolehlivostí ve své predikci,
• předběžně převrátí znamení jednotky,
• přijímá nebo odmítá změnu na základě toho, zda je snížena chyba sítě,
• zastaví se, když je chyba nula.

MADALINE Pravidlo 3 - Třetí "Pravidlo" aplikované na upravenou síť s sigmoid aktivace namísto signum; později se zjistilo, že to odpovídá zpětnému šíření.^[10]

Navíc, když překlopení značek jednotlivých jednotek nezpůsobí u konkrétního příkladu chybu na nulu, tréninkový algoritmus začne převracet páry značek jednotek, poté trojité jednotky atd.^[8]

Viz také

• Vícevrstvý perceptron

Reference

externí odkazy

• „Delta Learning Rule: ADALINE“. Umělé neuronové sítě. Universidad Politécnica de Madrid. Archivovány od originál dne 15. 6. 2002.
• "Memristorové vícevrstvé neuronové sítě s tréninkem klesání online ". Implementace algoritmu ADALINE s memristory v analogovém výpočtu.