Přechodový sestup - Gradient descent

Přechodový sestup je první objednávka iterativní optimalizace algoritmus pro nalezení a místní minimum rozlišitelné funkce. Cílem je podniknout opakované kroky v opačném směru než spád (nebo přibližný gradient) funkce v aktuálním bodě, protože to je směr nejstrmějšího klesání. Naopak krokování ve směru přechodu povede k a místní maximum této funkce; postup je pak známý jako gradientní výstup.

Gradientní sestup se obecně připisuje Cauchy, který to poprvé navrhl v roce 1847,^[1] ale jeho konvergenční vlastnosti pro nelineární optimalizační problémy byly nejprve studovány Haskell Curry v roce 1944.^[2]

Popis

Ilustrace přechodu klesání na sérii sady úrovní

Gradientní sestup je založen na pozorování, že pokud funkce s více proměnnými ${ displaystyle F ( mathbf {x})}$ je definovaný a rozlišitelný v sousedství bodu ${ displaystyle mathbf {a}}$, pak ${ displaystyle F ( mathbf {x})}$ klesá nejrychlejší pokud jde od ${ displaystyle mathbf {a}}$ ve směru záporného gradientu ${ displaystyle F}$ na ${ displaystyle mathbf {a}, - nabla F ( mathbf {a})}$. Z toho vyplývá, že pokud

${ displaystyle mathbf {a} _ {n + 1} = mathbf {a} _ {n} - gamma nabla F ( mathbf {a} _ {n})}$

pro ${ displaystyle gamma v mathbb {R} _ {+}}$ tedy dost malý ${ displaystyle F ( mathbf {a_ {n}}) geq F ( mathbf {a_ {n + 1}})}$. Jinými slovy, termín ${ displaystyle gamma nabla F ( mathbf {a})}$ je odečteno od ${ displaystyle mathbf {a}}$ protože se chceme pohybovat proti přechodu směrem k místnímu minimu. S ohledem na toto pozorování je třeba začít odhadem ${ displaystyle mathbf {x} _ {0}}$ pro místní minimum ${ displaystyle F}$, a zvažuje sekvenci ${ displaystyle mathbf {x} _ {0}, mathbf {x} _ {1}, mathbf {x} _ {2}, ldots}$ takhle

${ displaystyle mathbf {x} _ {n + 1} = mathbf {x} _ {n} - gamma _ {n} nabla F ( mathbf {x} _ {n}), n geq 0.}$

Máme monotóní sekvence

${ displaystyle F ( mathbf {x} _ {0}) geq F ( mathbf {x} _ {1}) geq F ( mathbf {x} _ {2}) geq cdots,}$

doufejme, že sekvence ${ displaystyle ( mathbf {x} _ {n})}$ konverguje na požadované místní minimum. Všimněte si, že hodnota velikost kroku ${ displaystyle gamma}$ se může měnit při každé iteraci. S určitými předpoklady o funkci ${ displaystyle F}$ (například, ${ displaystyle F}$ konvexní a ${ displaystyle nabla F}$ Lipschitz ) a konkrétní možnosti ${ displaystyle gamma}$ (např. zvoleno buď prostřednictvím a vyhledávání linek který uspokojuje Wolfe podmínky nebo Barzilai – Borweinova metoda^[3][4] zobrazeno následovně),

${ displaystyle gamma _ {n} = { frac { vlevo | vlevo ( mathbf {x} _ {n} - mathbf {x} _ {n-1} vpravo) ^ {T} vlevo [ nabla F ( mathbf {x} _ {n}) - nabla F ( mathbf {x} _ {n-1}) right] right |} { left | nabla F ( mathbf {x} _ {n}) - nabla F ( mathbf {x} _ {n-1}) right | ^ {2}}}}$

konvergence lze zaručit na místní minimum. Když funkce ${ displaystyle F}$ je konvexní, všechna místní minima jsou také globální minima, takže v tomto případě může gradientní sestup konvergovat ke globálnímu řešení.

Tento proces je znázorněn na vedlejším obrázku. Tady ${ displaystyle F}$ se předpokládá, že je definován v rovině a že jeho graf má a miska tvar. Modré křivky jsou vrstevnice, tj. regiony, ve kterých je hodnota ${ displaystyle F}$ je konstantní. Červená šipka pocházející z bodu ukazuje směr negativního gradientu v tomto bodě. Všimněte si, že (negativní) gradient v bodě je ortogonální k vrstevnici procházející tímto bodem. Vidíme ten přechod klesání vede nás na dno mísy, to znamená do bodu, kde je hodnota funkce ${ displaystyle F}$ je minimální.

Analogie pro pochopení gradientního sestupu

Mlha v horách

Základní intuici za gradientním sestupem lze ilustrovat hypotetickým scénářem. Osoba je zaseknutá v horách a snaží se dostat dolů (tj. Snaží se najít globální minimum). Existuje hustá mlha, takže viditelnost je extrémně nízká. Cesta z hory proto není viditelná, proto musí k vyhledání minima použít místní informace. Mohou použít metodu gradientního klesání, která spočívá v pohledu na strmost kopce v jejich aktuální poloze, a pak ve směru s nejstrmějším klesáním (tj. Z kopce). Pokud by se snažili najít vrchol hory (tj. Maximum), postupovali by směrem k nejstrmějšímu výstupu (tj. Do kopce). Pomocí této metody by nakonec našli cestu z hory nebo by se mohli zaseknout v nějaké díře (tj. Místní minimum nebo sedlový bod ), jako horské jezero. Předpokládejme však také, že strmost kopce není hned při jednoduchém pozorování zřejmá, ale spíše vyžaduje sofistikovaný nástroj k měření, který člověk v tuto chvíli náhodou má. Měření strmosti kopce pomocí nástroje trvá poměrně dlouho, proto by měli své použití nástroje minimalizovat, pokud chtějí sjet z hory před západem slunce. Obtíž pak spočívá ve volbě frekvence, s jakou by měli měřit strmost kopce, aby nešli z cesty.

V této analogii představuje osoba algoritmus a cesta dolů z hory představuje posloupnost nastavení parametrů, které algoritmus prozkoumá. Strmost kopce představuje sklon chybového povrchu v daném bodě. Přístroj používaný k měření strmosti je diferenciace (sklon chybové plochy lze vypočítat pomocí derivát funkce druhé mocniny chyby v daném bodě). Směr, který se rozhodnou cestovat, je v souladu s spád povrchu chyby v daném bodě. Doba, kterou urazí před dalším měřením, je rychlost učení algoritmu. Vidět Zpětná propagace § Omezení pro diskusi o omezeních tohoto typu algoritmu „klesání z kopce“.

Příklady

Gradientní sestup má problémy s patologickými funkcemi, jako je Funkce Rosenbrock zde zobrazené.

${ displaystyle f (x_ {1}, x_ {2}) = (1-x_ {1}) ^ {2} +100 (x_ {2} - {x_ {1}} ^ {2}) ^ {2 }.}$

Funkce Rosenbrock má úzké zakřivené údolí, které obsahuje minimum. Dno údolí je velmi ploché. Kvůli zakřivenému plochému údolí se optimalizace pomalu klikatí s malými velikostmi kroků směrem k minimu.

Klikatá povaha metody je také zřejmá níže, kde je použita metoda gradientního sestupu

${ displaystyle F (x, y) = sin left ({ frac {1} {2}} x ^ {2} - { frac {1} {4}} y ^ {2} +3 right ) cos left (2x + 1-e ^ {y} right).}$

Volba velikosti kroku a směru sestupu

Od použití velikosti kroku ${ displaystyle gamma}$ to je příliš malé, by zpomalilo konvergenci, a ${ displaystyle gamma}$ příliš velké by vedlo k odlišnostem a nalezení dobrého nastavení ${ displaystyle gamma}$ je důležitý praktický problém. Philip Wolfe také obhajoval používání „chytrých voleb směru [sestupu]“ v praxi.^[5] Zatímco používání směru, který se odchyluje od nejstrmějšího směru klesání, se může zdát protiintuitivní, myšlenka je, že menší sklon může být kompenzován udržením na mnohem delší vzdálenost.

Abychom to matematicky zdůvodnili, pojďme použít směr ${ displaystyle mathbf {p} _ {n}}$ a velikost kroku ${ displaystyle gamma _ {n}}$ a zvažte obecnější aktualizaci:

${ displaystyle mathbf {a} _ {n + 1} = mathbf {a} _ {n} - gamma _ {n} , mathbf {p} _ {n}}$.

Hledání dobrého nastavení ${ displaystyle mathbf {p} _ {n}}$ a ${ displaystyle gamma _ {n}}$ vyžaduje trochu přemýšlení. Nejprve bychom chtěli, aby směr aktualizace směřoval z kopce. Matematicky, nechám ${ displaystyle theta _ {n}}$ označte úhel mezi ${ displaystyle nabla F ( mathbf {a_ {n}})}$ a ${ displaystyle mathbf {p} _ {n}}$to vyžaduje ${ displaystyle cos theta _ {n}> 0.}$ Abychom řekli více, potřebujeme více informací o objektivní funkci, kterou optimalizujeme. Za poměrně slabého předpokladu, že ${ displaystyle F}$ je neustále diferencovatelné, můžeme dokázat, že:^[6]

${ displaystyle F ( mathbf {a} _ {n + 1}) leq F ( mathbf {a} _ {n}) - gamma _ {n} | nabla F ( mathbf {a} _ {n}) | _ {2} | mathbf {p} _ {n} | _ {2} left [ cos theta _ {n} - max _ {t v [0,1 ]} { frac { | nabla F ( mathbf {a} _ {n} -t gamma _ {n} mathbf {p} _ {n}) - nabla F ( mathbf {a} _ {n}) | _ {2}} { | nabla F ( mathbf {a} _ {n}) | _ {2}}} vpravo]}$

(1)

Tato nerovnost znamená, že částka, o kterou si můžeme být jisti funkcí ${ displaystyle F}$ je snížena závisí na kompromisu mezi těmito dvěma podmínkami v hranatých závorkách. První člen v hranatých závorkách měří úhel mezi směrem sestupu a záporným gradientem. Druhý člen měří, jak rychle se gradient mění ve směru sestupu.

V zásadě nerovnost (1) lze optimalizovat ${ displaystyle mathbf {p} _ {n}}$ a ${ displaystyle gamma _ {n}}$ zvolit optimální velikost a směr kroku. Problém je v tom, že hodnocení druhého členu v hranatých závorkách vyžaduje hodnocení ${ displaystyle nabla F ( mathbf {a} _ {n} -t gamma _ {n} mathbf {p} _ {n})}$a další vyhodnocení gradientu jsou obecně drahá a nežádoucí. Tento problém lze vyřešit některými způsoby:

• Zapomeňte na výhody chytrého směru klesání nastavením ${ displaystyle mathbf {p} _ {n} = nabla F ( mathbf {a_ {n}})}$a použít vyhledávání linek najít vhodnou velikost kroku ${ displaystyle gamma _ {n}}$, jako je ten, který vyhovuje Wolfe podmínky.
• Za předpokladu, že ${ displaystyle F}$ je dvakrát diferencovatelný, použijte jeho hesén ${ displaystyle nabla ^ {2} F}$ odhadovat ${ displaystyle | nabla F ( mathbf {a} _ {n} -t gamma _ {n} mathbf {p} _ {n}) - nabla F ( mathbf {a} _ {n} ) | _ {2} přibližně | t gamma _ {n} nabla ^ {2} F ( mathbf {a} _ {n}) mathbf {p} _ {n} |.}$Pak vyberte ${ displaystyle mathbf {p} _ {n}}$ a ${ displaystyle gamma _ {n}}$ optimalizací nerovnosti (1).
• Za předpokladu, že ${ displaystyle nabla F}$ je Lipschitz, použijte jeho Lipschitzovu konstantu ${ displaystyle L}$ svázat ${ displaystyle | nabla F ( mathbf {a} _ {n} -t gamma _ {n} mathbf {p} _ {n}) - nabla F ( mathbf {a} _ {n} ) | _ {2} leq Lt gamma _ {n} | mathbf {p} _ {n} |.}$ Pak vyberte ${ displaystyle mathbf {p} _ {n}}$ a ${ displaystyle gamma _ {n}}$ optimalizací nerovnosti (1).
• Vytvořte si vlastní model ${ displaystyle max _ {t v [0,1]} { frac { | nabla F ( mathbf {a} _ {n} -t gamma _ {n} mathbf {p} _ { n}) - nabla F ( mathbf {a} _ {n}) | _ {2}} { | nabla F ( mathbf {a} _ {n}) | _ {2}}} }$ pro ${ displaystyle F}$. Pak vyberte ${ displaystyle mathbf {p} _ {n}}$ a ${ displaystyle gamma _ {n}}$ optimalizací nerovnosti (1).
• Za silnějších předpokladů o funkci ${ displaystyle F}$ jako konvexnost, více pokročilé techniky může být možné.

Obvykle dodržováním jednoho z výše uvedených receptů, konvergence lze zaručit na místní minimum. Když funkce ${ displaystyle F}$ je konvexní, všechna místní minima jsou také globální minima, takže v tomto případě může gradientní sestup konvergovat ke globálnímu řešení.

Řešení lineárního systému

Algoritmus nejstrmějšího sestupu aplikovaný na Wienerův filtr.^[7]

Gradientní sestup lze použít k řešení systému lineárních rovnic, přeformulovaných jako problém kvadratické minimalizace, např. Pomocí lineární nejmenší čtverce. Řešení

${ displaystyle A mathbf {x} - mathbf {b} = 0}$

ve smyslu lineárních nejmenších čtverců je definován jako minimalizace funkce

${ displaystyle F ( mathbf {x}) = left | A mathbf {x} - mathbf {b} right | ^ {2}.}$

V tradičních lineárních nejmenších čtvercích pro skutečné ${ displaystyle A}$ a ${ displaystyle mathbf {b}}$ the Euklidovská norma je použito, v takovém případě

${ displaystyle nabla F ( mathbf {x}) = 2A ^ {T} (A mathbf {x} - mathbf {b}).}$

V tomto případě vyhledávání linek minimalizace, nalezení lokálně optimální velikosti kroku ${ displaystyle gamma}$ na každé iteraci lze provést analyticky a explicitní vzorce pro lokálně optimální ${ displaystyle gamma}$ jsou známy.^[8]

Algoritmus se zřídka používá k řešení lineárních rovnic s metoda sdruženého gradientu je jednou z nejpopulárnějších alternativ. Počet iterací gradientu sestupu je obvykle úměrný spektru číslo podmínky ${ displaystyle kappa (A)}$ matice systému ${ displaystyle A}$ (poměr maxima k minimu vlastní čísla z ${ displaystyle A ^ {T} A}$), zatímco konvergence metoda sdruženého gradientu je obvykle určena druhou odmocninou čísla podmínky, tj. je mnohem rychlejší. Obě metody mohou těžit předběžná úprava, kde gradientní sestup může vyžadovat menší předpoklady pro preconditioner.^[9]

Řešení nelineárního systému

Gradientní sestup lze také použít k řešení systému nelineární rovnice. Níže je uveden příklad, který ukazuje, jak použít sestup gradientu k řešení tří neznámých proměnných, X₁, X₂, a X₃. Tento příklad ukazuje jednu iteraci sestupu gradientu.

Uvažujme nelineární systém rovnic

${ displaystyle { begin {cases} 3x_ {1} - cos (x_ {2} x_ {3}) - { tfrac {3} {2}} = 0 4x_ {1} ^ {2} - 625x_ {2} ^ {2} + 2x_ {2} -1 = 0 exp (-x_ {1} x_ {2}) + 20x_ {3} + { tfrac {10 pi -3} {3 }} = 0 end {cases}}}$

Představme si přidruženou funkci

${ displaystyle G ( mathbf {x}) = { begin {bmatrix} 3x_ {1} - cos (x_ {2} x_ {3}) - { tfrac {3} {2}} 4x_ { 1} ^ {2} -625x_ {2} ^ {2} + 2x_ {2} -1 exp (-x_ {1} x_ {2}) + 20x_ {3} + { tfrac {10 pi -3} {3}} end {bmatrix}},}$

kde

${ displaystyle mathbf {x} = { začátek {bmatrix} x_ {1} x_ {2} x_ {3} konec {bmatrix}}.}$

Dalo by se nyní definovat objektivní funkci

${ displaystyle F ( mathbf {x}) = { frac {1} {2}} G ^ { mathrm {T}} ( mathbf {x}) G ( mathbf {x}) = { frac {1} {2}} left [ left (3x_ {1} - cos (x_ {2} x_ {3}) - { frac {3} {2}} right) ^ {2} + left (4x_ {1} ^ {2} -625x_ {2} ^ {2} + 2x_ {2} -1 right) ^ {2} + left ( exp (-x_ {1} x_ {2}) + 20x_ {3} + { frac {10 pi -3} {3}} vpravo) ^ {2} vpravo],}$

které se pokusíme minimalizovat. Jako první odhad použijeme

${ displaystyle mathbf {x} ^ {(0)} = mathbf {0} = { begin {bmatrix} 0 0 0 end {bmatrix}}.}$

Víme, že

${ displaystyle mathbf {x} ^ {(1)} = mathbf {0} - gamma _ {0} nabla F ( mathbf {0}) = mathbf {0} - gamma _ {0} J_ {G} ( mathbf {0}) ^ { mathrm {T}} G ​​( mathbf {0}),}$

Kde Jacobian matrix ${ displaystyle J_ {G}}$ darováno

${ displaystyle J_ {G} ( mathbf {x}) = { begin {bmatrix} 3 & sin (x_ {2} x_ {3}) x_ {3} & sin (x_ {2} x_ {3} ) x_ {2} 8x_ {1} & - 1250x_ {2} + 2 & 0 - x_ {2} exp {(-x_ {1} x_ {2})} & - x_ {1} exp ( -x_ {1} x_ {2}) a 20 end {bmatrix}}.}$

Počítáme:

${ displaystyle J_ {G} ( mathbf {0}) = { begin {bmatrix} 3 & 0 & 0 0 & 2 & 0 0 & 0 & 20 end {bmatrix}}, qquad G ( mathbf {0}) = { begin { bmatrix} -2,5 - 1 10,472 end {bmatrix}}.}$

Tím pádem

${ displaystyle mathbf {x} ^ {(1)} = mathbf {0} - gamma _ {0} { begin {bmatrix} -7,5 - 2 209,44 end {bmatrix}},}$

a

${ displaystyle F ( mathbf {0}) = 0,5 vlevo ((- 2,5) ^ {2} + (- 1) ^ {2} + (10,472) ^ {2} vpravo) = 58,456.}$

Animace zobrazující prvních 83 iterací sestupného přechodu aplikovaných na tento příklad. Povrchy jsou isosurfaces z ${ displaystyle F ( mathbf {x} ^ {(n)})}$ při aktuálním odhadu ${ displaystyle mathbf {x} ^ {(n)}}$a šipky ukazují směr sestupu. Vzhledem k malé a konstantní velikosti kroku je konvergence pomalá.

Nyní vhodný ${ displaystyle gamma _ {0}}$ musí být nalezen tak

${ displaystyle F left ( mathbf {x} ^ {(1)} right) leq F left ( mathbf {x} ^ {(0)} right) = F ( mathbf {0}) .}$

Toho lze dosáhnout pomocí libovolného z různých nástrojů vyhledávání linek algoritmy. Dalo by se také jednoduše uhodnout ${ displaystyle gamma _ {0} = 0,001,}$ který dává

${ displaystyle mathbf {x} ^ {(1)} = { začátek {bmatrix} 0,0075 0,002 - 0,20944 konec {bmatrix}}.}$

Hodnocení objektivní funkce při této hodnotě přináší výnosy

${ displaystyle F left ( mathbf {x} ^ {(1)} right) = 0,5 left ((- 2,48) ^ {2} + (- 1,00) ^ {2} + (6,28) ^ {2 } vpravo) = 23.306.}$

Pokles od ${ displaystyle F ( mathbf {0}) = 58,456}$ na hodnotu dalšího kroku ve výši

${ displaystyle F left ( mathbf {x} ^ {(1)} right) = 23,306}$

je značný pokles objektivní funkce. Další kroky by dále snižovaly jeho hodnotu, dokud nebylo nalezeno přibližné řešení systému.

Komentáře

Gradientní sestup funguje v prostorech libovolného počtu dimenzí, dokonce i v nekonečně dimenzionálních. V druhém případě je vyhledávacím prostorem obvykle a funkční prostor a jeden vypočítá Fréchetův derivát funkce, která se má minimalizovat, aby se určil směr sestupu.^[10]

Že sestup gradientu funguje v jakémkoli počtu dimenzí (alespoň konečné číslo), lze považovat za důsledek Cauchy-Schwarzova nerovnost. Tento článek dokazuje, že velikost vnitřního (tečkového) produktu dvou vektorů jakékoli dimenze je maximalizována, pokud jsou kolineární. V případě sestupu gradientu by to bylo, když je vektor nezávislých úprav proměnných úměrný vektoru přechodu částečných derivací.

Klesání gradientu může vyžadovat mnoho iterací k výpočtu lokálního minima přesnost, pokud zakřivení v různých směrech je pro danou funkci velmi odlišná. U těchto funkcí předběžná úprava, který mění geometrii prostoru tak, aby tvaroval sady funkčních úrovní jako soustředné kruhy, léčí pomalou konvergenci. Konstrukce a použití předběžné úpravy však může být výpočetně nákladné.

Sestup gradientu lze kombinovat s a vyhledávání linek, nalezení lokálně optimální velikosti kroku ${ displaystyle gamma}$ na každé iteraci. Hledání linky může být časově náročné. Naopak pomocí pevné malé ${ displaystyle gamma}$ může přinést špatnou konvergenci.

Metody založené na Newtonova metoda a inverze Hesián použitím konjugovaný gradient techniky mohou být lepší alternativou.^[11][12] Obecně se takové metody sbíhají v menším počtu iterací, ale náklady na každou iteraci jsou vyšší. Příkladem je Metoda BFGS který spočívá ve výpočtu na každém kroku matice, kterou se vektor přechodu znásobí tak, aby šel do „lepšího“ směru, v kombinaci s propracovanějším vyhledávání linek algoritmus, najít "nejlepší" hodnotu ${ displaystyle gamma.}$ Pro extrémně velké problémy, kde převládají problémy s pamětí počítače, je metoda s omezenou pamětí jako např L-BFGS by měl být použit místo BFGS nebo nejstrmějšího klesání.

Gradientní klesání lze považovat za použití Eulerova metoda k řešení obyčejné diferenciální rovnice ${ displaystyle x '(t) = - nabla f (x (t))}$ do a gradientní tok. Na druhé straně může být tato rovnice odvozena jako optimální regulátor^[13] pro řídicí systém ${ displaystyle x '(t) = u (t)}$ s ${ displaystyle u (t)}$ uveden ve formě zpětné vazby ${ displaystyle u (t) = - nabla f (x (t))}$.

Rozšíření

Přechodové klesání lze rozšířit, aby zvládlo omezení zahrnutím a projekce na množinu omezení. Tato metoda je proveditelná, pouze pokud je projekce v počítači efektivně vypočítatelná. Za vhodných předpokladů tato metoda konverguje. Tato metoda je specifickým případem algoritmus dopředu-dozadu pro monotónní inkluze (což zahrnuje konvexní programování a variační nerovnosti ).^[14]

Rychlé gradientní metody

Další rozšíření klesání je způsobeno Yurii Nesterov od roku 1983,^[15] a byl následně zobecněn. Poskytuje jednoduchou modifikaci algoritmu, která umožňuje rychlejší konvergenci konvexních problémů. Pro neomezené plynulé problémy se metoda nazývá Metoda rychlého přechodu (FGM) nebo Metoda zrychleného přechodu (AGM). Konkrétně, pokud je rozlišitelná funkce ${ displaystyle F}$ je konvexní a ${ displaystyle nabla F}$ je Lipschitz, a to se nepředpokládá ${ displaystyle F}$ je silně konvexní, pak chyba v objektivní hodnotě generovaná v každém kroku ${ displaystyle k}$ metodou gradientního sestupu bude ohraničen ${ textstyle { mathcal {O}} vlevo ({ tfrac {1} {k}} vpravo)}$. Při použití techniky zrychlení Nesterov chyba klesá v ${ textstyle { mathcal {O}} vlevo ({ tfrac {1} {k ^ {2}}} vpravo)}$.^[16] Je známo, že sazba ${ displaystyle { mathcal {O}} doleva ({k ^ {- 2}} doprava)}$ pro pokles nákladová funkce je optimální pro metody optimalizace prvního řádu. Přesto existuje příležitost vylepšit algoritmus snížením konstantního faktoru. The optimalizovaná metoda přechodu (OGM)^[17] snižuje tuto konstantu dvakrát a je optimální metodou prvního řádu pro rozsáhlé problémy.^[18]

Pro omezené nebo nerovné problémy se Nesterovova FGM nazývá metoda rychlého proximálního gradientu (FPGM), zrychlení metoda proximálního gradientu.

Hybnost

Ještě další rozšíření, které snižuje riziko uvíznutí na místním minimu a také výrazně urychluje konvergenci v případech, kdy by proces jinak silně cik-cak, je metoda hybnosti, který analogicky používá termín hybnosti k „hmotnosti newtonských částic, které se pohybují viskózním médiem v konzervativním silovém poli“.^[19] Tato metoda se často používá jako rozšíření zpětná propagace algoritmy používané k trénování umělé neuronové sítě.^[20][21]

Viz také

Reference

Další čtení

• Boyd, Stephen; Vandenberghe, Lieven (2004). „Neomezená minimalizace“ (PDF). Konvexní optimalizace. New York: Cambridge University Press. 457–520. ISBN  0-521-83378-7.
• Chong, Edwin K. P .; Żak, Stanislaw H. (2013). „Metody přechodu“. Úvod do optimalizace (Čtvrté vydání). Hoboken: Wiley. str. 131–160. ISBN  978-1-118-27901-4.
• Himmelblau, David M. (1972). "Neomezené minimalizační postupy využívající deriváty". Aplikované nelineární programování. New York: McGraw-Hill. str. 63–132. ISBN  0-07-028921-2.

externí odkazy

• Pomocí gradientního klesání v C ++, Boost, Ublas pro lineární regresi
• Řada videí Khan Academy pojednává o stoupání
• Online výuka přechodu knihy v kontextu hluboké neurální sítě
• „Gradient Descent, How Neural Networks Learn“. 3Modrá1Hnědá. 16. října 2017 - prostřednictvím Youtube.