Princip ortogonality - Orthogonality principle

v statistika a zpracování signálu, princip ortogonality je nezbytnou a dostatečnou podmínkou pro optimálnost a Bayesovský odhad. Volně řečeno, princip ortogonality říká, že chybový vektor optimálního odhadce (v a střední kvadratická chyba sense) je kolmý na jakýkoli možný odhad. Princip ortogonality je nejčastěji uváděn pro lineární odhady, ale jsou možné obecnější formulace. Protože princip je nezbytnou a dostatečnou podmínkou pro optimálnost, lze jej použít k nalezení minimální střední kvadratická chyba odhadce.

Princip ortogonality pro lineární odhady

Při nastavení lineárního odhadu se nejčastěji používá princip ortogonality.^[1] V této souvislosti pojďme X být neznámý náhodný vektor který je třeba odhadnout na základě pozorovacího vektoru y. Jeden si přeje zkonstruovat lineární odhad ${displaystyle {hat {x}} = Hy + c}$ pro nějakou matici H a vektor C. Princip ortogonality pak říká, že odhad ${displaystyle {hat {x}}}$ dosahuje minimální střední kvadratická chyba kdyby a jen kdyby

• ${displaystyle operatorname {E} {({hat {x}} - x) y ^ {T}} = 0,}$ a
• ${displaystyle operatorname {E} {{hat {x}} - x} = 0.}$

Li X a y mít nulovou střední hodnotu, pak stačí vyžadovat první podmínku.

Příklad

Předpokládat X je Gaussova náhodná proměnná s průměrem m a rozptyl ${displaystyle sigma _ {x} ^ {2}.}$ Předpokládejme také, že sledujeme hodnotu ${displaystyle y = x + w,}$ kde w je Gaussův šum, který je nezávislý na X a má průměr 0 a rozptyl ${displaystyle sigma _ {w} ^ {2}.}$ Chtěli bychom najít lineární odhad ${displaystyle {hat {x}} = hy + c}$ minimalizace MSE. Nahrazení výrazu ${displaystyle {hat {x}} = hy + c}$ do dvou požadavků principu ortogonality dostaneme

${displaystyle 0 = operatorname {E} {({hat {x}} - x) y}}$

${displaystyle 0 = operatorname {E} {(hx + hw + c-x) (x + w)}}$

${displaystyle 0 = h (sigma _ {x} ^ {2} + sigma _ {w} ^ {2}) + hm ^ {2} + cm-sigma _ {x} ^ {2} -m ^ {2} }$

a

${displaystyle 0 = operatorname {E} {{hat {x}} - x}}$

${displaystyle 0 = operatorname {E} {hx + hw + c-x}}$

${displaystyle 0 = (h-1) m + c.}$

Řešení těchto dvou lineárních rovnic pro h a C výsledky v

${displaystyle h = {frac {sigma _ {x} ^ {2}} {sigma _ {x} ^ {2} + sigma _ {w} ^ {2}}}, quad c = {frac {sigma _ {w } ^ {2}} {sigma _ {x} ^ {2} + sigma _ {w} ^ {2}}} m,}$

takže lineární odhad střední střední kvadratické chyby je dán vztahem

${displaystyle {hat {x}} = {frac {sigma _ {x} ^ {2}} {sigma _ {x} ^ {2} + sigma _ {w} ^ {2}}} y + {frac {sigma _ {w} ^ {2}} {sigma _ {x} ^ {2} + sigma _ {w} ^ {2}}} m.}$

Tento odhad lze interpretovat jako vážený průměr mezi hlučnými měřeními y a předchozí očekávaná hodnota m. Pokud je rozptyl šumu ${displaystyle sigma _ {w} ^ {2}}$ je nízký ve srovnání s rozptylem předchozího ${displaystyle sigma _ {x} ^ {2}}$ (odpovídá vysoké SNR ), pak se většina váhy přičte měření y, které jsou považovány za spolehlivější než předchozí informace. Naopak, pokud je odchylka šumu relativně vyšší, bude odhad blízký m, protože měření nejsou dostatečně spolehlivá, aby převažovala nad předchozími informacemi.

Nakonec si povšimněte, že proto, že proměnné X a y jsou společně Gaussian, minimální odhad MSE je lineární.^[2] V tomto případě tedy výše uvedený odhad minimalizuje MSE mezi všemi odhady, nejen lineárními odhady.

Obecná formulace

Nechat ${displaystyle V}$ být Hilbertův prostor náhodných proměnných s vnitřní produkt definován ${displaystyle langle x, yangle = operatorname {E} {x ^ {H} y}}$. Předpokládat ${displaystyle W}$ je Zavřeno podprostor ${displaystyle V}$, představující prostor všech možných odhadů. Jeden si přeje najít vektor ${displaystyle {hat {x}} ve W}$ který bude aproximovat vektor ${displaystyle xin V}$. Přesněji bychom chtěli minimalizovat střední kvadratickou chybu (MSE) ${displaystyle operatorname {E} | x- {hat {x}} | ^ {2}}$ mezi ${displaystyle {hat {x}}}$ a ${displaystyle x}$.

Ve zvláštním případě výše popsaných lineárních odhadů je to prostor ${displaystyle V}$ je sada všech funkcí ${displaystyle x}$ a ${displaystyle y}$, zatímco ${displaystyle W}$ je sada lineárních odhadů, tj. lineárních funkcí ${displaystyle y}$ pouze. Další nastavení, která lze takto formulovat, zahrnují podprostor kauzální lineární filtry a podprostor všech (možná nelineárních) odhadů.

Geometricky můžeme tento problém vidět podle následujícího jednoduchého případu kde ${displaystyle W}$ je jednorozměrný podprostor:

Chceme najít nejbližší přiblížení k vektoru ${displaystyle x}$ vektorem ${displaystyle {hat {x}}}$ v prostoru ${displaystyle W}$. Z geometrické interpretace je intuitivní, že nejlepší aproximace nebo nejmenší chyba nastane, když vektor chyby, ${displaystyle e}$, je kolmý na vektory v prostoru ${displaystyle W}$.

Přesněji řečeno, obecný princip ortogonality uvádí následující: Vzhledem k uzavřenému podprostoru ${displaystyle W}$ odhadů v Hilbertově prostoru ${displaystyle V}$ a prvek ${displaystyle x}$ v ${displaystyle V}$prvek ${displaystyle {hat {x}} ve W}$ dosáhne minimálního MSE mezi všemi prvky v ${displaystyle W}$ kdyby a jen kdyby ${displaystyle operatorname {E} {(x- {hat {x}}) y ^ {T}} = 0}$ pro všechny ${displaystyle yin W.}$

Takto vyjádřený princip je pouhým vyjádřením Hilbertova věta o projekci. Nicméně rozsáhlé použití tohoto výsledku při zpracování signálu vedlo k názvu „princip ortogonality“.

Řešení problémů s minimalizací chyb

Toto je jeden způsob, jak najít minimální střední kvadratická chyba odhad pomocí principu ortogonality.

Chceme být schopni aproximovat vektor ${displaystyle x}$ podle

${displaystyle x = {hat {x}} + e,}$

kde

${displaystyle {hat {x}} = součet _ {i} c_ {i} p_ {i}}$

je aproximace ${displaystyle x}$ jako lineární kombinace vektorů v podprostoru ${displaystyle W}$ překlenul ${displaystyle p_ {1}, p_ {2}, ldots.}$ Proto chceme být schopni řešit koeficienty, ${displaystyle c_ {i}}$, abychom mohli napsat naši aproximaci známými termíny.

Podle věty o ortogonalitě je druhá mocnina vektoru chyby, ${displaystyle leftVert eightVert ^ {2}}$, je minimalizován, když pro všechny j,

${displaystyle leftlangle x-sum _ {i} c_ {i} p_ {i}, p_ {j} ightangle = 0.}$

Při vývoji této rovnice získáme

${displaystyle leftlangle x, p_ {j} ightangle = leftlangle sum _ {i} c_ {i} p_ {i}, p_ {j} ightangle = sum _ {i} c_ {i} leftlangle p_ {i}, p_ {j } pravý úhel.}$

Pokud existuje konečné číslo ${displaystyle n}$ vektorů ${displaystyle p_ {i}}$, lze tuto rovnici napsat v maticové formě jako

${displaystyle {egin {bmatrix} leftlangle x, p_ {1} ightangle leftlangle x, p_ {2} ightangle vdots leftlangle x, p_ {n} ightangle end {bmatrix}} = {egin {bmatrix} leftlangle p_ {1 }, p_ {1} ightangle & leftlangle p_ {2}, p_ {1} ightangle & cdots & leftlangle p_ {n}, p_ {1} ightangle leftlangle p_ {1}, p_ {2} ightangle & leftlangle p_ {2}, p_ { 2} ightangle & cdots & leftlangle p_ {n}, p_ {2} ightangle vdots & vdots & ddots & vdots leftlangle p_ {1}, p_ {n} ightangle & leftlangle p_ {2}, p_ {n} ightangle & cdots & leftlangle p_ {n}, p_ {n} ightangle end {bmatrix}} {egin {bmatrix} c_ {1} c_ {2} vdots c_ {n} end {bmatrix}}.}$

Za předpokladu, že ${displaystyle p_ {i}}$ jsou lineárně nezávislé, Gramianova matice lze převrátit získat

${displaystyle {egin {bmatrix} c_ {1} c_ {2} vdots c_ {n} end {bmatrix}} = {egin {bmatrix} leftlangle p_ {1}, p_ {1} ightangle & leftlangle p_ {2} , p_ {1} ightangle & cdots & leftlangle p_ {n}, p_ {1} ightangle leftlangle p_ {1}, p_ {2} ightangle & leftlangle p_ {2}, p_ {2} ightangle & cdots & leftlangle p_ {n}, p_ { 2} ightangle vdots & vdots & ddots & vdots leftlangle p_ {1}, p_ {n} ightangle & leftlangle p_ {2}, p_ {n} ightangle & cdots & leftlangle p_ {n}, p_ {n} ightangle end {bmatrix}} ^ { -1} {egin {bmatrix} leftlangle x, p_ {1} ightangle leftlangle x, p_ {2} ightangle vdots leftlangle x, p_ {n} ightangle end {bmatrix}},}$

čímž poskytuje vyjádření koeficientů ${displaystyle c_ {i}}$ minimálního středního odhadce čtvercové chyby.

Viz také

• Minimální střední kvadratická chyba
• Hilbertova věta o projekci

Poznámky

Reference

• Kay, S. M. (1993). Základy statistického zpracování signálu: teorie odhadu. Prentice Hall. ISBN  0-13-042268-1.
• Moon, Todd K. (2000). Matematické metody a algoritmy pro zpracování signálu. Prentice-Hall. ISBN  0-201-36186-8.