Omezené nejméně čtverců - Constrained least squares - Wikipedia

v omezené nejmenší čtverce jeden řeší a lineární nejmenší čtverce problém s dalším omezením řešení.^[1] Tj. Neomezená rovnice ${ displaystyle mathbf {X} { boldsymbol { beta}} = mathbf {y}}$ musí být co nejtěsnější (ve smyslu nejmenších čtverců) a přitom musí být zajištěna nějaká další vlastnost ${ displaystyle { boldsymbol { beta}}}$ je udržovaný.

K efektivnímu řešení těchto problémů často existují speciální algoritmy. Některé příklady omezení jsou uvedeny níže:

Rovnost omezena nejmenší čtverce: prvky ${ displaystyle { boldsymbol { beta}}}$ musí přesně uspokojit ${ displaystyle mathbf {L} { boldsymbol { beta}} = mathbf {d}}$ (vidět Obyčejné nejmenší čtverce ).
Regularizováno nejmenší čtverce: prvky ${ displaystyle { boldsymbol { beta}}}$ musí uspokojit ${ displaystyle | mathbf {L} { boldsymbol { beta}} - mathbf {y} | leq alpha}$ (výběr ${ displaystyle alpha}$ v poměru ke směrodatné odchylce hluku y zabraňuje nadměrnému usazení).
Nezáporné nejmenší čtverce (NNLS): Vektor ${ displaystyle { boldsymbol { beta}}}$ musí uspokojit vektorová nerovnost ${ displaystyle { boldsymbol { beta}} geq { boldsymbol {0}}}$ definováno po částech - to znamená, že každá složka musí být buď kladná, nebo nulová.
Nejmenší čtverce s omezeným rámečkem: Vektor ${ displaystyle { boldsymbol { beta}}}$ musí uspokojit vektorové nerovnosti ${ displaystyle { boldsymbol {b}} _ { ell} leq { boldsymbol { beta}} leq { boldsymbol {b}} _ {u}}$ , z nichž každý je definován po částech.
Celé číslo omezené nejmenší čtverce: všechny prvky ${ displaystyle { boldsymbol { beta}}}$ musí být celá čísla (namísto reálná čísla ).
Fázově omezené nejmenší čtverce: všechny prvky ${ displaystyle { boldsymbol { beta}}}$ musí být reálná čísla vynásobená stejným komplexním počtem jednotkových modulů.

Když se omezení vztahuje pouze na některé z proměnných, lze smíšený problém vyřešit pomocí oddělitelné nejmenší čtverce necháním ${ displaystyle mathbf {X} = [ mathbf {X_ {1}} mathbf {X_ {2}}]}}$ a ${ displaystyle mathbf { beta} ^ { rm {T}} = [ mathbf { beta _ {1}} ^ { rm {T}} mathbf { beta _ {2}} ^ { rm {T}}]}$ představují neomezené (1) a omezené (2) komponenty. Poté dosaďte řešení nejmenších čtverců za ${ displaystyle mathbf { beta _ {1}}}$ , tj.

{ displaystyle { hat { boldsymbol { beta}}} _ {1} = mathbf {X} _ {1} ^ {+} ( mathbf {y} - mathbf {X} _ {2} { boldsymbol { beta}} _ {2})}

(kde ⁺ označuje Moore – Penroseova pseudoinverze ) zpět do původního výrazu dává (po určitém přeskupení) rovnici, kterou lze vyřešit jako čistě omezený problém v ${ displaystyle mathbf { beta} _ {2}}$ .

{ displaystyle mathbf {P} mathbf {X} _ {2} { boldsymbol { beta}} _ {2} = mathbf {P} mathbf {y},}

kde ${ displaystyle mathbf {P}: = mathbf {I} - mathbf {X} _ {1} mathbf {X} _ {1} ^ {+}}$ je projekční matice. Po omezeném odhadu ${ displaystyle { hat { boldsymbol { beta}}} _ {2}}$ vektor ${ displaystyle { hat { boldsymbol { beta}}} _ {1}}$ se získá z výše uvedeného výrazu.

Viz také

Reference

^ Stephen Boyd; Lieven Vandenberghe (7. června 2018). Úvod do aplikované lineární algebry: vektory, matice a nejmenší čtverce. Cambridge University Press. ISBN 978-1-316-51896-0.

[BoydVandenberghe2018-1] Stephen Boyd; Lieven Vandenberghe (7. června 2018). Úvod do aplikované lineární algebry: vektory, matice a nejmenší čtverce. Cambridge University Press. ISBN 978-1-316-51896-0.

[1]