Delta pravidlo - Delta rule

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek potřebuje další citace pro ověření. Prosím pomozte vylepšit tento článek podle přidávání citací ke spolehlivým zdrojům. Zdroj bez zdroje může být napaden a odstraněn. Najít zdroje: „Pravidlo Delta“  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Listopad 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) tento článek možná matoucí nebo nejasné čtenářům. Prosím, pomoz nám objasnit článek. Možná o tom bude diskuse diskusní stránka. (Září 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v strojové učení, pravidlo delta je klesání učící pravidlo pro aktualizaci vah vstupů na umělé neurony v jednovrstvá neuronová síť.^[1] Jedná se o speciální případ obecnějších zpětná propagace algoritmus. Pro neuron ${ displaystyle j}$ s aktivační funkce ${ displaystyle g (x)}$, pravidlo delta pro ${ displaystyle j}$je ${ displaystyle i}$th hmotnost ${ displaystyle w_ {ji}}$ darováno

${ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) g '(h_ {j}) x_ {i}}$,

kde

	${ displaystyle alpha}$ je malá konstanta zvaná míra učení
	${ displaystyle g (x)}$ je aktivační funkce neuronu
	${ displaystyle g '}$ je derivát z ${ displaystyle g}$
	${ displaystyle t_ {j}}$ je cílový výstup
	${ displaystyle h_ {j}}$ je vážený součet vstupů neuronu
	${ displaystyle y_ {j}}$ je skutečný výstup
	${ displaystyle x_ {i}}$ je ${ displaystyle i}$th vstup.

To platí ${ displaystyle h_ {j} = součet x_ {i} w_ {ji}}$ a ${ displaystyle y_ {j} = g (h_ {j})}$.

Pravidlo delta se běžně uvádí ve zjednodušené formě pro neuron s funkcí lineární aktivace jako

${ displaystyle Delta w_ {ji} = alfa (t_ {j} -y_ {j}) x_ {i}}$

Zatímco pravidlo delta je podobné pravidlu perceptron pravidlo aktualizace, odvození je jiné. Perceptron používá Funkce Heaviside step jako aktivační funkce ${ displaystyle g (h)}$, a to znamená, že ${ displaystyle g '(h)}$ neexistuje na nule a jinde se rovná nule, což znemožňuje přímou aplikaci pravidla delta.

Odvození pravidla delta

Pravidlo delta je odvozeno pokusem minimalizovat chybu ve výstupu neuronové sítě prostřednictvím klesání. Chyba neuronové sítě s ${ displaystyle j}$ výstupy lze měřit jako

${ displaystyle E = sum _ {j} { frac {1} {2}} (t_ {j} -y_ {j}) ^ {2}}$.

V tomto případě bychom chtěli procházet „váhovým prostorem“ neuronu (prostorem všech možných hodnot všech hmotností neuronu) v poměru k gradientu chybové funkce s ohledem na každou váhu. Abychom to mohli udělat, vypočítáme parciální derivace chyby vzhledem ke každé hmotnosti. Pro ${ displaystyle i}$této hmotnosti, lze tuto derivaci zapsat jako

${ displaystyle { frac { částečné E} { částečné w_ {ji}}}}$.

Protože se týká pouze nás ${ displaystyle j}$th neuron, můžeme dosadit výše uvedený chybový vzorec při vynechání součtu:

${ displaystyle { frac { částečné E} { částečné w_ {ji}}} = { frac { částečné vlevo ({ frac {1} {2}} vlevo (t_ {j} -y_ { j} right) ^ {2} right)} { částečné w_ {ji}}}}$

Dále použijeme řetězové pravidlo rozdělit to na dva deriváty:

${ displaystyle = { frac { částečné vlevo ({ frac {1} {2}} vlevo (t_ {j} -y_ {j} vpravo) ^ {2} vpravo)} { částečné y_ {j}}} { frac { částečné y_ {j}} { částečné w_ {ji}}}}$

Abychom našli levou derivaci, jednoduše použijeme řetězové pravidlo:

${ displaystyle = - left (t_ {j} -y_ {j} right) { frac { částečné y_ {j}} { částečné w_ {ji}}}}$

Abychom našli správnou derivaci, znovu použijeme pravidlo řetězu, tentokrát se odlišujeme s ohledem na celkový vstup do ${ displaystyle j}$, ${ displaystyle h_ {j}}$:

${ displaystyle = - left (t_ {j} -y_ {j} right) { frac { částečné y_ {j}} { částečné h_ {j}}} { frac { částečné h_ {j} } { částečné w_ {ji}}}}$

Všimněte si, že výstup ${ displaystyle j}$th neuron, ${ displaystyle y_ {j}}$, je jen aktivační funkce neuronu ${ displaystyle g}$ aplikován na vstup neuronu ${ displaystyle h_ {j}}$. Můžeme tedy napsat derivaci ${ displaystyle y_ {j}}$ s ohledem na ${ displaystyle h_ {j}}$ jednoduše jako ${ displaystyle g}$první derivát:

${ displaystyle = - left (t_ {j} -y_ {j} right) g '(h_ {j}) { frac { částečné h_ {j}} { částečné w_ {ji}}}}$

Dále přepisujeme ${ displaystyle h_ {j}}$ v posledním semestru jako součet za všechny ${ displaystyle k}$ hmotnosti každé váhy ${ displaystyle w_ {jk}}$ krát jeho odpovídající vstup ${ displaystyle x_ {k}}$:

${ displaystyle = - left (t_ {j} -y_ {j} right) g '(h_ {j}) { frac { částečné left ( sum _ {k} x_ {k} w_ {jk } right)} { částečné w_ {ji}}}}$

Protože se zajímáme pouze o ${ displaystyle i}$ta váha, jediný relevantní výraz součtu je ${ displaystyle x_ {i} w_ {ji}}$. Jasně,

${ displaystyle { frac { částečné x_ {i} w_ {ji}} { částečné w_ {ji}}} = x_ {i}}$,

což nám dává naši konečnou rovnici pro gradient:

${ displaystyle { frac { částečné E} { částečné w_ {ji}}} = - vlevo (t_ {j} -y_ {j} vpravo) g '(h_ {j}) x_ {i}}$

Jak je uvedeno výše, sestup gradientu nám říká, že naše změna pro každou váhu by měla být úměrná gradientu. Volba konstanty proporcionality ${ displaystyle alpha}$ a odstranění znaménka mínus, které nám umožní přesunout váhu v záporném směru gradientu, aby se minimalizovala chyba, dospějeme k naší cílové rovnici:

${ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) g '(h_ {j}) x_ {i}}$.

Viz také

• Stochastický gradient
• Zpětná propagace
• Model Rescorla – Wagner - původ pravidla delta

Reference