Algoritmus Levenberg – Marquardt - Levenberg–Marquardt algorithm

v matematika a výpočetní technika Algoritmus Levenberg – Marquardt (LMA nebo prostě LM), také známý jako tlumené nejmenší čtverce (DLS), se používá k řešení nelineární nejmenší čtverce problémy. Tyto problémy s minimalizací vznikají zejména v nejmenší čtverce přizpůsobení křivky.

LMA se používá v mnoha softwarových aplikacích pro řešení obecných problémů s přizpůsobením křivky. Stejně jako u mnoha vhodných algoritmů však LMA najde pouze a místní minimum, což nemusí být nutně globální minimum. LMA interpoluje mezi Gauss – Newtonův algoritmus (GNA) a metoda klesání. LMA je více robustní než GNA, což znamená, že v mnoha případech najde řešení, i když začíná velmi daleko od konečného minima. U dobře vychovaných funkcí a rozumných počátečních parametrů má LMA tendenci být o něco pomalejší než GNA. LMA lze také zobrazit jako Gauss – Newton používat důvěryhodný region přístup.

Algoritmus byl poprvé publikován v roce 1944 autorem Kenneth Levenberg,^[1] při práci v Frankford Army Arsenal. To bylo nově objevené v roce 1963 Donald Marquardt,^[2] kdo pracoval jako statistik na DuPont a nezávisle Girard,^[3] Wynne^[4] a Morrison.^[5]

Problém

Primární aplikace algoritmu Levenberg – Marquardt je v problému přizpůsobení křivky nejmenších čtverců: vzhledem k sadě ${ displaystyle m}$ empirické páry ${ displaystyle left (x_ {i}, y_ {i} right)}$ nezávislých a závislých proměnných, vyhledejte parametry ${ displaystyle { boldsymbol { beta}}}$ modelové křivky ${ displaystyle f left (x, { boldsymbol { beta}} right)}$ takže součet čtverců odchylek ${ displaystyle S left ({ boldsymbol { beta}} right)}$ je minimalizováno:

{ displaystyle { hat { boldsymbol { beta}}} v operatorname {argmin} limity _ { boldsymbol { beta}} S vlevo ({ boldsymbol { beta}} vpravo) ekv operatorname {argmin} limits _ { boldsymbol { beta}} sum _ {i = 1} ^ {m} left [y_ {i} -f left (x_ {i}, { boldsymbol { beta}} right) right] ^ {2},}

o kterém se předpokládá, že není prázdný.

Řešení

Stejně jako ostatní numerické minimalizační algoritmy je Levenberg – Marquardtův algoritmus iterativní postup. Chcete-li zahájit minimalizaci, musí uživatel poskytnout počáteční odhad vektoru parametru ${ displaystyle { boldsymbol { beta}}}$ . V případech pouze s jedním minimem, neinformovaný standardní odhad ${ displaystyle { boldsymbol { beta}} ^ { text {T}} = { begin {pmatrix} 1, 1, tečky, 1 end {pmatrix}}}$ bude fungovat dobře; v případech s několik minim, algoritmus konverguje na globální minimum pouze v případě, že počáteční odhad je již poněkud blízký konečnému řešení.

V každém iteračním kroku vektor parametru ${ displaystyle { boldsymbol { beta}}}$ je nahrazen novým odhadem ${ displaystyle { boldsymbol { beta}} + { boldsymbol { delta}}}$ . Určit ${ displaystyle { boldsymbol { delta}}}$ , funkce ${ displaystyle f left (x_ {i}, { boldsymbol { beta}} + { boldsymbol { delta}} right)}$ je aproximován jeho linearizace:

{ displaystyle f left (x_ {i}, { boldsymbol { beta}} + { boldsymbol { delta}} right) přibližně f left (x_ {i}, { boldsymbol { beta} } right) + mathbf {J} _ {i} { boldsymbol { delta}},}

kde

{ displaystyle mathbf {J} _ {i} = { frac { částečné f vlevo (x_ {i}, { boldsymbol { beta}} vpravo)} { částečné { boldsymbol { beta} }}}}

je spád (v tomto případě řádkový vektor) z ${ displaystyle f}$ s ohledem na ${ displaystyle { boldsymbol { beta}}}$ .

Součet ${ displaystyle S left ({ boldsymbol { beta}} right)}$ čtvercových odchylek má své minimum na nule spád s ohledem na ${ displaystyle { boldsymbol { beta}}}$ . Výše uvedená aproximace prvního řádu ${ displaystyle f left (x_ {i}, { boldsymbol { beta}} + { boldsymbol { delta}} right)}$ dává

{ displaystyle S left ({ boldsymbol { beta}} + { boldsymbol { delta}} right) přibližně sum _ {i = 1} ^ {m} left [y_ {i} -f left (x_ {i}, { boldsymbol { beta}} right) - mathbf {J} _ {i} { boldsymbol { delta}} right] ^ {2},}

nebo ve vektorovém zápisu,

{ displaystyle { begin {zarovnáno} S left ({ boldsymbol { beta}} + { boldsymbol { delta}} right) & přibližně left | mathbf {y} - mathbf {f } left ({ boldsymbol { beta}} right) - mathbf {J} { boldsymbol { delta}} right | ^ {2} & = left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) - mathbf {J} { boldsymbol { delta}} right] ^ { mathrm {T}} left [ mathbf { y} - mathbf {f} left ({ boldsymbol { beta}} right) - mathbf {J} { boldsymbol { delta}} right] & = left [ mathbf {y } - mathbf {f} left ({ boldsymbol { beta}} right) right] ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] - left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] ^ { mathrm { T}} mathbf {J} { boldsymbol { delta}} - left ( mathbf {J} { boldsymbol { delta}} right) ^ { mathrm {T}} left [ mathbf { y} - mathbf {f} vlevo ({ boldsymbol { beta}} vpravo) vpravo] + { boldsymbol { delta}} ^ { mathrm {T}} mathbf {J} ^ { mathrm {T}} mathbf {J} { boldsymbol { delta}} & = left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] -2 left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] ^ { mathrm { T}} mathbf {J} { boldsymbol { delta}} + { boldsymbol { delta}} ^ { mathrm {T}} mathbf {J} ^ { mathrm {T}} mathbf {J } { boldsymbol { delta}}. end {zarovnáno}}}

Užívání derivátu ${ displaystyle S left ({ boldsymbol { beta}} + { boldsymbol { delta}} right)}$ s ohledem na ${ displaystyle { boldsymbol { delta}}}$ a nastavení výsledku na nulu dává

{ displaystyle left ( mathbf {J} ^ { mathrm {T}} mathbf {J} right) { boldsymbol { delta}} = mathbf {J} ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right],}

kde ${ displaystyle mathbf {J}}$ je Jacobian matrix, jehož ${ displaystyle i}$ -tý řádek se rovná ${ displaystyle mathbf {J} _ {i}}$ , a kde ${ displaystyle mathbf {f} vlevo ({ boldsymbol { beta}} vpravo)}$ a ${ displaystyle mathbf {y}}$ jsou vektory s ${ displaystyle i}$ -tá složka ${ displaystyle f left (x_ {i}, { boldsymbol { beta}} right)}$ a ${ displaystyle y_ {i}}$ resp. Výše uvedený výraz získaný pro ${ displaystyle { boldsymbol { beta}}}$ spadá pod Gauss-Newtonovu metodu. Jakobiánská matice, jak je definována výše, není (obecně) čtvercová matice, ale obdélníková matice velikosti ${ displaystyle m krát n}$ , kde ${ displaystyle n}$ je počet parametrů (velikost vektoru ${ displaystyle { boldsymbol { beta}}}$ ). Násobení matice ${ displaystyle left ( mathbf {J} ^ { mathrm {T}} mathbf {J} right)}$ poskytuje požadované ${ displaystyle n krát n}$ čtvercová matice a produkt matice-vektor na pravé straně poskytuje vektor velikosti ${ displaystyle n}$ . Výsledkem je sada ${ displaystyle n}$ lineární rovnice, které lze vyřešit ${ displaystyle { boldsymbol { delta}}}$ .

Levenbergovým příspěvkem je nahradit tuto rovnici „tlumenou verzí“:

{ displaystyle left ( mathbf {J} ^ { mathrm {T}} mathbf {J} + lambda mathbf {I} right) { boldsymbol { delta}} = mathbf {J} ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right],}

kde ${ displaystyle mathbf {I}}$ je matice identity, udávající jako přírůstek ${ displaystyle { boldsymbol { delta}}}$ na odhadovaný vektor parametru ${ displaystyle { boldsymbol { beta}}}$ .

(Nezáporný) tlumicí faktor ${ displaystyle lambda}$ se upravuje při každé iteraci. Pokud snížení o ${ displaystyle S}$ je rychlý, lze použít menší hodnotu, čímž se algoritmus přiblíží k Gauss – Newtonův algoritmus, vzhledem k tomu, že pokud iterace neposkytne dostatečné snížení zbytku, ${ displaystyle lambda}$ lze zvýšit, což je o krok blíže ke směru sestupu a sestupu. Všimněte si, že spád z ${ displaystyle S}$ s ohledem na ${ displaystyle { boldsymbol { beta}}}$ rovná se ${ displaystyle -2 left ( mathbf {J} ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) vpravo] vpravo) ^ { mathrm {T}}}$ . Proto pro velké hodnoty ${ displaystyle lambda}$ , krok bude proveden přibližně ve směru opačném k přechodu. Pokud buď délka vypočítaného kroku ${ displaystyle { boldsymbol { delta}}}$ nebo snížení součtu čtverců z nejnovějšího vektoru parametrů ${ displaystyle { boldsymbol { beta}} + { boldsymbol { delta}}}$ klesnout pod předdefinované limity, iterace se zastaví a poslední vektor parametru ${ displaystyle { boldsymbol { beta}}}$ je považováno za řešení.

Levenbergův algoritmus má tu nevýhodu, že pokud je hodnota tlumicího faktoru ${ displaystyle lambda}$ je velký, převrácený ${ displaystyle mathbf {J} ^ { text {T}} mathbf {J} + lambda mathbf {I}}$ se vůbec nepoužívá. Fletcher poskytl vhled, že můžeme škálovat každou složku gradientu podle zakřivení, takže dochází k většímu pohybu ve směrech, kde je gradient menší. Tím se zabrání pomalé konvergenci ve směru malého gradientu. Fletcher proto ve svém příspěvku z roku 1971 Upravený Marquardtův podprogram pro nelineární nejmenší čtverce nahradil matici identity ${ displaystyle mathbf {I}}$ s diagonální maticí skládající se z diagonálních prvků ${ displaystyle mathbf {J} ^ { text {T}} mathbf {J}}$ , čímž se měřítko řešení nemění:

{ displaystyle left [ mathbf {J} ^ { mathrm {T}} mathbf {J} + lambda operatorname {diag} left ( mathbf {J} ^ { mathrm {T}} mathbf {J} right) right] { boldsymbol { delta}} = mathbf {J} ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right].}

Podobný tlumicí faktor se objeví v Tichonovova regularizace, který se používá k řešení lineárního špatně uložené problémy, stejně jako v hřebenová regrese, an odhad technika v statistika.

Volba parametru tlumení

Pro nejlepší volbu parametru tlumení byly předloženy různé více či méně heuristické argumenty ${ displaystyle lambda}$ . Existují teoretické argumenty ukazující, proč některé z těchto voleb zaručují lokální konvergenci algoritmu; tyto volby však mohou způsobit, že globální konvergence algoritmu bude mít nežádoucí vlastnosti nejstrmější sestup, zejména velmi pomalá konvergence blízká optimálnímu.

Absolutní hodnoty jakékoli volby závisí na tom, jak dobře je škálován počáteční problém. Marquardt doporučil začít s hodnotou ${ displaystyle lambda _ {0}}$ a faktor ${ displaystyle nu> 1}$ . Počáteční nastavení ${ displaystyle lambda = lambda _ {0}}$ a výpočet zbytkového součtu čtverců ${ displaystyle S left ({ boldsymbol { beta}} right)}$ po jednom kroku od výchozího bodu s tlumícím faktorem ${ displaystyle lambda = lambda _ {0}}$ a za druhé s ${ displaystyle lambda _ {0} / nu}$ . Pokud jsou oba horší než počáteční bod, pak se tlumení zvýší postupným násobením ${ displaystyle nu}$ dokud nebude nalezen lepší bod s novým tlumicím faktorem ${ displaystyle lambda _ {0} nu ^ {k}}$ pro některé ${ displaystyle k}$ .

Při použití tlumicího faktoru ${ displaystyle lambda / nu}$ má za následek snížení na druhou zbytku, pak se to bere jako nová hodnota ${ displaystyle lambda}$ (a nové optimální umístění je bráno jako místo získané s tímto tlumícím faktorem) a proces pokračuje; pokud používáte ${ displaystyle lambda / nu}$ vedlo k horšímu zbytku, ale použití ${ displaystyle lambda}$ vedlo k lepšímu zbytku ${ displaystyle lambda}$ se ponechá beze změny a nové optimum se bude brát jako hodnota získaná pomocí ${ displaystyle lambda}$ jako tlumicí faktor.

Účinná strategie pro řízení parametru tlumení, tzv opožděné uspokojení, spočívá ve zvýšení parametru o malou částku pro každý krok do kopce a snížení o velkou částku pro každý krok z kopce. Myšlenkou této strategie je vyhnout se příliš rychlému pohybu z kopce na začátku optimalizace, a tím omezit kroky dostupné v budoucích iteracích a zpomalit tak konvergenci.^[6] Zvýšení o faktor 2 a pokles o faktor 3 se ve většině případů ukázalo jako efektivní, zatímco u velkých problémů mohou extrémnější hodnoty fungovat lépe, se zvýšením o faktor 1,5 a snížením o faktor z 5.^[7]

Geodetické zrychlení

Když interpretujeme krok Levenberg – Marquardt jako rychlost ${ displaystyle { boldsymbol {v}} _ {k}}$ podél a geodetické cesta v parametrickém prostoru, je možné vylepšit metodu přidáním výrazu druhého řádu, který zohledňuje zrychlení ${ displaystyle { boldsymbol {a}} _ {k}}$ podél geodetické

{ displaystyle { boldsymbol {v}} _ {k} + { frac {1} {2}} { boldsymbol {a}} _ {k}}

kde ${ displaystyle { boldsymbol {a}} _ {k}}$ je řešením

{ displaystyle { boldsymbol {J}} _ {k} { boldsymbol {a}} _ {k} = - f_ {vv}.}

Protože tento termín geodetické akcelerace závisí pouze na směrový derivát ${ displaystyle f_ {vv} = součet _ { mu nu} v _ { mu} v _ { nu} částečný _ { mu} částečný _ { nu} f ({ boldsymbol {x}} )}$ ve směru rychlosti ${ displaystyle { boldsymbol {v}}}$ , nevyžaduje výpočet celé derivační matice druhého řádu, vyžadující pouze malou režii, pokud jde o výpočetní náklady.^[8] Protože derivace druhého řádu může být poměrně složitým výrazem, může být vhodné ji nahradit a konečný rozdíl přiblížení

{ displaystyle { begin {zarovnáno} f_ {vv} ^ {i} & přibližně { frac {f_ {i} ({ boldsymbol {x}} + h { boldsymbol { delta}}) - 2f_ { i} ({ boldsymbol {x}}) + f_ {i} ({ boldsymbol {x}} - h { boldsymbol { delta}})} {h ^ {2}}} & = { frac {2} {h}} left ({ frac {f_ {i} ({ boldsymbol {x}} + h { boldsymbol { delta}}) - f_ {i} ({ boldsymbol {x} })} {h}} - { boldsymbol {J}} _ {i} { boldsymbol { delta}} right) end {zarovnáno}}}

kde ${ displaystyle f ({ boldsymbol {x}})}$ a ${ displaystyle { boldsymbol {J}}}$ již byly vypočítány algoritmem, a proto k výpočtu vyžadují pouze jedno další vyhodnocení funkce ${ displaystyle f ({ boldsymbol {x}} + h { boldsymbol { delta}})}$ . Volba kroku konečné diference ${ displaystyle h}$ může ovlivnit stabilitu algoritmu a obecně je přiměřená hodnota kolem 0,1.^[7]

Vzhledem k tomu, že zrychlení může směřovat opačným směrem než rychlost, aby se zabránilo zastavení metody v případě, že je tlumení příliš malé, je přidáno další kritérium pro zrychlení, aby bylo možné přijmout krok, který vyžaduje, aby

{ displaystyle { frac {2 left | { boldsymbol {a}} _ {k} right |} { left | { boldsymbol {v}} _ {k} right |}} leq alpha}

kde ${ displaystyle alpha}$ je obvykle fixováno na hodnotu menší než 1, s menšími hodnotami pro řešení těžších problémů.^[7]

Přidání termínu geodetické akcelerace může umožnit významné zvýšení rychlosti konvergence a je obzvláště užitečné, když se algoritmus pohybuje úzkými kaňony v prostředí objektivní funkce, kde jsou povolené kroky menší a vyšší přesnost kvůli druhému řádu výraz významně vylepšuje.^[7]

Příklad

Špatný střih

Lepší fit

Nejlépe fit

V tomto příkladu se pokusíme přizpůsobit funkci ${ displaystyle y = a cos left (bX right) + b sin left (aX right)}$ pomocí algoritmu Levenberg – Marquardt implementovaného v GNU oktáva jako leasqr funkce. Grafy ukazují postupně lepší přizpůsobení parametrům ${ displaystyle a = 100}$ , ${ displaystyle b = 102}$ použitý v počáteční křivce. Křivky přesně zapadají, pouze když jsou parametry v posledním grafu vybrány nejblíže originálu. Tato rovnice je příkladem velmi citlivých počátečních podmínek pro algoritmus Levenberg – Marquardt. Jedním z důvodů této citlivosti je existence několika minim - funkce ${ displaystyle cos left ( beta x right)}$ má minima na hodnotě parametru ${ displaystyle { hat { beta}}}$ a ${ displaystyle { hat { beta}} + 2n pi}$ .

Viz také

Důvěryhodný region
Metoda Nelder – Mead
Varianty Levenberg – Marquardtova algoritmu byly také použity pro řešení nelineárních systémů rovnic.^[9]

Reference

^ Levenberg, Kenneth (1944). „Metoda řešení některých nelineárních problémů v nejmenších čtvercích“. Quarterly of Applied Mathematics. 2 (2): 164–168. doi:10.1090 / qam / 10666.
^ Marquardt, Donald (1963). "Algoritmus pro odhad nejmenších čtverců nelineárních parametrů". SIAM Journal on Applied Mathematics. 11 (2): 431–441. doi:10.1137/0111030. hdl:10338.dmlcz / 104299.
^ Girard, André (1958). "Výpis z Revue d'optique théorique et instrumentale". Rev. Opt. 37: 225–241, 397–424.
^ Wynne, C. G. (1959). "Návrh objektivu elektronickým digitálním počítačem: I". Proc. Phys. Soc. Lond. 73 (5): 777–787. Bibcode:1959 PPS ... 73..777 W.. doi:10.1088/0370-1328/73/5/310.
^ Morrison, David D. (1960). "Metody pro řešení problémů s nelineárními metodami nejmenších čtverců a důkazy o konvergenci". Proceedings of the Jet Propulsion Laboratory Seminar on Tracking Programmes and Orbit Determination: 1–9.
^ Transtrum, Mark K; Machta, Benjamin B; Sethna, James P (2011). "Geometrie nelineárních nejmenších čtverců s aplikacemi na nedbalé modely a optimalizace". Fyzický přehled E. APS. 83 (3): 036701.
^ ^A ^b ^C ^d Transtrum, Mark K; Sethna, James P (2012). "Vylepšení algoritmu Levenberg-Marquardt pro nelineární minimalizaci nejmenších čtverců". arXiv:1201.5885.
^ „Nelineární montáž nejmenších čtverců“. Vědecká knihovna GNU. Archivovány od originál dne 2020-04-14.
^ Kanzow, Christian; Yamashita, Nobuo; Fukushima, Masao (2004). „Levenberg – Marquardtova metoda se silnými vlastnostmi místní konvergence pro řešení nelineárních rovnic s konvexními omezeními“. Journal of Computational and Applied Mathematics. 172 (2): 375–397. doi:10.1016 / j.cam.2004.02.013.

Další čtení

Moré, Jorge J .; Sorensen, Daniel C. (1983). „Výpočet kroku v oblasti důvěryhodnosti“ (PDF). SIAM J. Sci. Stat. Comput. 4 (3): 553–572. doi:10.1137/0904038.
Gill, Philip E .; Murray, Walter (1978). "Algoritmy pro řešení nelineárního problému nejmenších čtverců". Časopis SIAM o numerické analýze. 15 (5): 977–992. Bibcode:1978SJNA ... 15..977G. doi:10.1137/0715063.
Pujol, Jose (2007). „Řešení nelineárních inverzních problémů a metoda Levenberg-Marquardt“. Geofyzika. SEG. 72 (4): W1 – W16. Bibcode:2007Geop ... 72W ... 1P. doi:10.1190/1.2732552.^{[trvalý mrtvý odkaz ]}
Nocedal, Jorge; Wright, Stephen J. (2006). Numerická optimalizace (2. vyd.). Springer. ISBN 978-0-387-30303-1.

externí odkazy

Podrobný popis algoritmu najdete v Numerické recepty v C, kapitola 15.5: Nelineární modely
C. T. Kelley, Iterativní metody pro optimalizaci, SIAM Frontiers in Applied Mathematics, no 18, 1999, ISBN 0-89871-433-8. Online kopie
Historie algoritmu ve zprávách SIAM
Výukový program Ananth Ranganathan
K. Madsen, H. B. Nielsen, O. Tingleff, Metody pro řešení problémů s nelineárními metodami nejmenších čtverců (nelineární tutoriál nejmenších čtverců; L-M kód: analytický Jacobian sekán )
T. Strutz: Přizpůsobení dat a nejistota (praktický úvod do vážených nejmenších čtverců a dále). 2. vydání, Springer Vieweg, 2016, ISBN 978-3-658-11455-8.
H. P. Gavin, Levenbergova-Marquardtova metoda pro řešení problémů s nelineárními křivkami nejmenších čtverců (MATLAB včetně implementace)

[Levenberg-1] Levenberg, Kenneth (1944). „Metoda řešení některých nelineárních problémů v nejmenších čtvercích“. Quarterly of Applied Mathematics. 2 (2): 164–168. doi:10.1090 / qam / 10666.

[Marquardt-2] Marquardt, Donald (1963). "Algoritmus pro odhad nejmenších čtverců nelineárních parametrů". SIAM Journal on Applied Mathematics. 11 (2): 431–441. doi:10.1137/0111030. hdl:10338.dmlcz / 104299.

[Girard-3] Girard, André (1958). "Výpis z Revue d'optique théorique et instrumentale". Rev. Opt. 37: 225–241, 397–424.

[Wynne-4] Wynne, C. G. (1959). "Návrh objektivu elektronickým digitálním počítačem: I". Proc. Phys. Soc. Lond. 73 (5): 777–787. Bibcode:1959 PPS ... 73..777 W.. doi:10.1088/0370-1328/73/5/310.

[Morrison-5] Morrison, David D. (1960). "Metody pro řešení problémů s nelineárními metodami nejmenších čtverců a důkazy o konvergenci". Proceedings of the Jet Propulsion Laboratory Seminar on Tracking Programmes and Orbit Determination: 1–9.

[Transtrum2011-6] Transtrum, Mark K; Machta, Benjamin B; Sethna, James P (2011). "Geometrie nelineárních nejmenších čtverců s aplikacemi na nedbalé modely a optimalizace". Fyzický přehled E. APS. 83 (3): 036701.

[Transtrum2012-7] A ^b ^C ^d Transtrum, Mark K; Sethna, James P (2012). "Vylepšení algoritmu Levenberg-Marquardt pro nelineární minimalizaci nejmenších čtverců". arXiv:1201.5885.

[8] „Nelineární montáž nejmenších čtverců“. Vědecká knihovna GNU. Archivovány od originál dne 2020-04-14.

[9] Kanzow, Christian; Yamashita, Nobuo; Fukushima, Masao (2004). „Levenberg – Marquardtova metoda se silnými vlastnostmi místní konvergence pro řešení nelineárních rovnic s konvexními omezeními“. Journal of Computational and Applied Mathematics. 172 (2): 375–397. doi:10.1016 / j.cam.2004.02.013.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]