Zkrácená Newtonova metoda - Truncated Newton method

Zkrácené Newtonovy metody, také známý jako Bezesenská optimalizace,[1] jsou rodina optimalizační algoritmy navržen pro optimalizaci nelineárních funkcí s velkým počtem nezávislé proměnné. Zkrácená Newtonova metoda spočívá v opakované aplikaci iteračního optimalizačního algoritmu k přibližně vyřešení Newtonovy rovnice, k určení aktualizace parametrů funkce. Vnitřní řešitel je zkrácen, tj. spusťte pouze omezený počet iterací. Z toho vyplývá, že aby fungovaly zkrácené Newtonovy metody, musí vnitřní řešič vytvořit dobrou aproximaci v konečném počtu iterací;[2] konjugovaný gradient byla navržena a hodnocena jako vnitřní smyčka kandidáta.[1] Další předpoklad je dobrý předběžná úprava pro vnitřní algoritmus.[3]

Reference

  1. ^ A b Martens, James (2010). Hluboké učení prostřednictvím hesenské optimalizace (PDF). Proc. Mezinárodní konference o strojovém učení.
  2. ^ Nash, Stephen G. (2000). „Přehled zkrácených Newtonových metod“. Journal of Computational and Applied Mathematics. 124 (1–2): 45–59. doi:10.1016 / S0377-0427 (00) 00426-X.
  3. ^ Nash, Stephen G. (1985). "Předběžná úprava zkrácených Newtonových metod" (PDF). SIAM J. Sci. Stat. Comput. 6 (3): 599–616.

Další čtení

  • Grippo, L .; Lampariello, F .; Lucidi, S. (1989). Msgstr "Zkrácená Newtonova metoda s nonmonotonovým hledáním řádků pro neomezenou optimalizaci". J. Teorie optimalizace a aplikace. 60 (3). CiteSeerX  10.1.1.455.7495.
  • Nash, Stephen G .; Nocedal, Jorge (1991). "Numerická studie metody BFGS s omezenou pamětí a zkrácené Newtonovy metody pro optimalizaci ve velkém měřítku". SIAM J. Optim. 1 (3): 358–372. CiteSeerX  10.1.1.474.3400.