Quickprop - Quickprop - Wikipedia

Quickprop je iterační metoda pro stanovení minima funkce ztráty z umělá neuronová síť^[1], podle algoritmu inspirovaného Newtonova metoda. Někdy je algoritmus klasifikován do skupiny metod učení druhého řádu. Sleduje kvadratickou aproximaci předchozí spád krok a aktuální gradient, u kterého se očekává, že bude blízký minimu ztrátové funkce, za předpokladu, že ztrátová funkce je místně přibližně čtvercová, snaží se ji popsat pomocí vzhůru otevřeného parabola. Minimum se hledá ve vrcholu paraboly. Postup vyžaduje pouze místní informace o umělý neuron na které se vztahuje ${ displaystyle k}$-tý krok aproximace je dán vztahem:

${ displaystyle Delta ^ {(k)} , w_ {ij} = Delta ^ {(k-1)} , w_ {ij} vlevo ({ frac { nabla _ {ij} , E ^ {(k)}} { nabla _ {ij} , E ^ {(k-1)} - nabla _ {ij} , E ^ {(k)}}} vpravo)}$

Bytost ${ displaystyle w_ {ij}}$ neuron ${ displaystyle j}$ hmotnost jeho ${ displaystyle i}$ vstup a ${ displaystyle E}$ je funkce ztráty.

Algoritmus Quickprop je implementací chyby zpětná propagace algoritmus, ale síť se může během fáze učení chovat chaoticky kvůli velkým velikostem kroků.

Reference

Bibliografie

• Scott E. Fahlman: Empirická studie rychlosti učení v sítích zpětného šíření, Září 1988