Teorie odhadu - Estimation theory

Teorie odhadu je pobočkou statistika která se zabývá odhadováním hodnot parametry na základě naměřených empirických dat, která mají náhodnou složku. Parametry popisují základní fyzické nastavení takovým způsobem, že jejich hodnota ovlivňuje distribuci měřených dat. An odhadce pokusy o přiblížení neznámých parametrů pomocí měření.

V teorii odhadu se obecně uvažuje o dvou přístupech.^[1]

• Pravděpodobnostní přístup (popsaný v tomto článku) předpokládá, že naměřená data jsou náhodná rozdělení pravděpodobnosti v závislosti na sledovaných parametrech
• The přístup set-membership předpokládá, že měřený datový vektor patří do sady, která závisí na vektoru parametru.

Příklady

Například je žádoucí odhadnout podíl populace voličů, kteří budou hlasovat pro konkrétního kandidáta. Tento podíl je hledaným parametrem; odhad vychází z malého náhodného vzorku voličů. Alternativně je žádoucí odhadnout pravděpodobnost hlasování voličů pro konkrétního kandidáta na základě některých demografických rysů, jako je věk.

Nebo například v radar cílem je najít rozsah objektů (letadla, čluny atd.) analýzou obousměrného tranzitního načasování přijatých ozvěn vysílaných pulsů. Vzhledem k tomu, že odražené impulsy jsou nevyhnutelně zakomponovány do elektrického šumu, jsou jejich naměřené hodnoty náhodně rozloženy, takže je třeba odhadnout dobu přechodu.

Jako další příklad v teorii elektrické komunikace jsou měření, která obsahují informace týkající se sledovaných parametrů, často spojována s a hlučný signál.

Základy

Pro daný model je zapotřebí několik statistických „složek“, aby bylo možné implementovat odhadce. První je a statistický vzorek - sada datových bodů převzatých z a náhodný vektor (RV) o velikosti N. Vložit do vektor,

${ displaystyle mathbf {x} = { begin {bmatrix} x [0] x [1] vdots x [N-1] end {bmatrix}}.}$

Zadruhé existují M parametry

${ displaystyle mathbf { theta} = { begin {bmatrix} theta _ {1} theta _ {2} vdots theta _ {M} end {bmatrix}},}$

jejichž hodnoty mají být odhadnuty. Za třetí, kontinuální funkce hustoty pravděpodobnosti (pdf) nebo jeho diskrétní protějšek, funkce pravděpodobnostní hmotnosti (pmf), podkladové distribuce, která generovala data, musí být uvedena podmíněně hodnotami parametrů:

${ displaystyle p ( mathbf {x} | mathbf { theta}). ,}$

Je také možné, aby samotné parametry měly rozdělení pravděpodobnosti (např. Bayesovské statistiky ). Poté je nutné definovat Bayesovská pravděpodobnost

${ displaystyle pi ( mathbf { theta}). ,}$

Po vytvoření modelu je cílem odhadnout parametry, přičemž odhady se běžně označují ${ displaystyle { hat { mathbf { theta}}}}$, kde „klobouk“ označuje odhad.

Jedním běžným odhadcem je minimální střední kvadratická chyba (MMSE) odhad, který využívá chybu mezi odhadovanými parametry a skutečnou hodnotou parametrů

${ displaystyle mathbf {e} = { hat { mathbf { theta}}} - mathbf { theta}}$

jako základ optimality. Tento chybový termín se pak na druhou a očekávaná hodnota této čtvercové hodnoty je pro odhad MMSE minimalizováno.

Odhady

Mezi běžně používané odhady (metody odhadu) a témata s nimi související patří:

• Maximální pravděpodobnost odhady
• Bayesovy odhady
• Metoda momentů odhady
• Cramér – Rao vázán
• Nejmenší čtverce
• Minimální střední kvadratická chyba (MMSE), také známý jako Bayesova chyba nejmenších čtverců (BLSE)
• Maximálně a posteriori (MAPA)
• Nestranný odhad minimální odchylky (MVUE)
• Nelineární identifikace systému
• Nejlepší lineární nezaujatý odhad (MODRÝ)
• Nestranný odhad - viz zkreslení odhadu.
• Filtr částic
• Markovský řetězec Monte Carlo (MCMC)
• Kalmanův filtr a jeho různé deriváty
• Wienerův filtr

Příklady

Neznámá konstanta v aditivním bílém gaussovském šumu

Zvažte přijaté diskrétní signál, ${ displaystyle x [n]}$, z ${ displaystyle N}$ nezávislý Vzorky který se skládá z neznámé konstanty ${ displaystyle A}$ s aditivní bílý gaussovský šum (AWGN) ${ displaystyle w [n]}$ s nulou znamenat a známé rozptyl ${ displaystyle sigma ^ {2}}$ (tj., ${ displaystyle { mathcal {N}} (0, sigma ^ {2})}$Protože je známa odchylka, je jediným neznámým parametrem ${ displaystyle A}$.

Model pro signál je pak

${ displaystyle x [n] = A + w [n] quad n = 0,1, tečky, N-1}$

Dva možné (z mnoha) odhadů parametru ${ displaystyle A}$ jsou:

• ${ displaystyle { hat {A}} _ {1} = x [0]}$
• ${ displaystyle { hat {A}} _ {2} = { frac {1} {N}} součet _ {n = 0} ^ {N-1} x [n]}$ který je průměr vzorku

Oba tyto odhady mají a znamenat z ${ displaystyle A}$, což lze prokázat převzetím očekávaná hodnota každého odhadce

${ displaystyle mathrm {E} left [{ hat {A}} _ {1} right] = mathrm {E} left [x [0] right] = A}$

a

${ displaystyle mathrm {E} left [{ hat {A}} _ {2} right] = mathrm {E} left [{ frac {1} {N}} sum _ {n = 0} ^ {N-1} x [n] right] = { frac {1} {N}} left [ sum _ {n = 0} ^ {N-1} mathrm {E} left [x [n] right] right] = { frac {1} {N}} left [NA right] = A}$

V tomto okamžiku se zdá, že tyto dva odhady fungují stejně. Rozdíl mezi nimi se však projeví při porovnání odchylek.

${ displaystyle mathrm {var} left ({ hat {A}} _ {1} right) = mathrm {var} left (x [0] right) = sigma ^ {2}}$

a

${ displaystyle mathrm {var} left ({ hat {A}} _ {2} right) = mathrm {var} left ({ frac {1} {N}} sum _ {n = 0} ^ {N-1} x [n] right) { overset { text {independent}} {=}} { frac {1} {N ^ {2}}} left [ sum _ { n = 0} ^ {N-1} mathrm {var} (x [n]) right] = { frac {1} {N ^ {2}}} left [N sigma ^ {2} vpravo] = { frac { sigma ^ {2}} {N}}}$

Zdá se, že průměr vzorku je lepší odhad, protože jeho rozptyl je u každého nižšíN > 1.

Maximální pravděpodobnost

Pokračování příkladu pomocí maximální pravděpodobnost odhadce, funkce hustoty pravděpodobnosti (pdf) hluku pro jeden vzorek ${ displaystyle w [n]}$ je

${ displaystyle p (w [n]) = { frac {1} { sigma { sqrt {2 pi}}}} exp left (- { frac {1} {2 sigma ^ {2 }}} w [n] ^ {2} vpravo)}$

a pravděpodobnost ${ displaystyle x [n]}$ se stává (${ displaystyle x [n]}$ lze myslet na ${ displaystyle { mathcal {N}} (A, sigma ^ {2})}$)

${ displaystyle p (x [n]; A) = { frac {1} { sigma { sqrt {2 pi}}}} exp left (- { frac {1} {2 sigma ^ {2}}} (x [n] -A) ^ {2} vpravo)}$

Podle nezávislost, pravděpodobnost ${ displaystyle mathbf {x}}$ se stává

${ displaystyle p ( mathbf {x}; A) = prod _ {n = 0} ^ {N-1} p (x [n]; A) = { frac {1} { vlevo ( sigma { sqrt {2 pi}} vpravo) ^ {N}}} exp vlevo (- { frac {1} {2 sigma ^ {2}}} sum _ {n = 0} ^ { N-1} (x [n] -A) ^ {2} vpravo)}$

Užívání přirozený logaritmus pdf

${ displaystyle ln p ( mathbf {x}; A) = - N ln vlevo ( sigma { sqrt {2 pi}} vpravo) - { frac {1} {2 sigma ^ { 2}}} sum _ {n = 0} ^ {N-1} (x [n] -A) ^ {2}}$

a odhad maximální pravděpodobnosti je

${ displaystyle { hat {A}} = arg max ln p ( mathbf {x}; A)}$

Vezmeme první derivát funkce logaritmické pravděpodobnosti

${ displaystyle { frac { částečné} { částečné A}} ln p ( mathbf {x}; A) = { frac {1} { sigma ^ {2}}} vlevo [ součet _ {n = 0} ^ {N-1} (x [n] -A) right] = { frac {1} { sigma ^ {2}}} left [ sum _ {n = 0} ^ {N-1} x [n] -NA vpravo]}$

a nastavení na nulu

${ displaystyle 0 = { frac {1} { sigma ^ {2}}} left [ sum _ {n = 0} ^ {N-1} x [n] -NA right] = sum _ {n = 0} ^ {N-1} x [n] -NA}$

Výsledkem je odhad maximální pravděpodobnosti

${ displaystyle { hat {A}} = { frac {1} {N}} součet _ {n = 0} ^ {N-1} x [n]}$

Z tohoto příkladu bylo zjištěno, že průměr vzorku je odhadem maximální pravděpodobnosti ${ displaystyle N}$ vzorky pevného, ​​neznámého parametru poškozeného AWGN.

Cramér – Rao dolní mez

Chcete-li najít Cramér – Rao dolní mez (CRLB) odhadu průměrné hodnoty vzorku, je nejprve nutné najít Fisher informace číslo

${ displaystyle { mathcal {I}} (A) = mathrm {E} left ( left [{ frac { částečné} { částečné A}} ln p ( mathbf {x}; A) right] ^ {2} right) = - mathrm {E} left [{ frac { částečné ^ {2}} { částečné A ^ {2}}} ln p ( mathbf {x} ;Správně]}$

a kopírování shora

${ displaystyle { frac { částečné} { částečné A}} ln p ( mathbf {x}; A) = { frac {1} { sigma ^ {2}}} vlevo [ součet _ {n = 0} ^ {N-1} x [n] -NA right]}$

Vezmeme druhou derivaci

${ displaystyle { frac { částečné ^ {2}} { částečné A ^ {2}}} ln p ( mathbf {x}; A) = { frac {1} { sigma ^ {2} }} (- N) = { frac {-N} { sigma ^ {2}}}}$

a nalezení záporné očekávané hodnoty je triviální, protože je nyní deterministickou konstantou${ displaystyle - mathrm {E} vlevo [{ frac { částečné ^ {2}} { částečné A ^ {2}}} ln p ( mathbf {x}; A) vpravo] = { frac {N} { sigma ^ {2}}}}$

Nakonec vložíme informace o Fisherovi

${ displaystyle mathrm {var} left ({ hat {A}} right) geq { frac {1} { mathcal {I}}}}$

výsledky v

${ displaystyle mathrm {var} vlevo ({ hat {A}} vpravo) geq { frac { sigma ^ {2}} {N}}}$

Porovnání s rozptylem průměrného vzorku (určeného dříve) ukazuje, že průměrný vzorek je rovná dolní mez Cramér – Rao pro všechny hodnoty ${ displaystyle N}$ a ${ displaystyle A}$Jinými slovy, průměr vzorku je (nutně jedinečný) efektivní odhad, a tedy také objektivní odhad minimální odchylky (MVUE), kromě toho, že je maximální pravděpodobnost odhadce.

Maximum rovnoměrného rozdělení

Jedním z nejjednodušších netriviálních příkladů odhadu je odhad maxima jednotného rozdělení. Používá se jako praktické cvičení ve třídě a pro ilustraci základních principů teorie odhadu. Dále v případě odhadu založeného na jediném vzorku demonstruje filozofické problémy a možná nedorozumění při používání maximální pravděpodobnost odhady a funkce pravděpodobnosti.

Vzhledem k tomu, diskrétní rovnoměrné rozdělení ${ displaystyle 1,2, tečky, N}$ s neznámým maximem, UMVU odhad pro maximum je dán vztahem

${ displaystyle { frac {k + 1} {k}} m-1 = m + { frac {m} {k}} - 1}$

kde m je maximální vzorek a k je velikost vzorku, vzorkování bez výměny.^[2][3] Tento problém je obecně známý jako Problém německého tanku kvůli použití maximálního odhadu na odhady německé výroby tanků v průběhu roku 2006 druhá světová válka.

Vzorec lze chápat intuitivně jako;

"Maximum vzorku plus průměrná mezera mezi pozorováními ve vzorku",

mezera se přidává k vyrovnání záporného vychýlení maxima vzorku jako odhadu maxima populace.^{[poznámka 1]}

To má rozptyl^[2]

${ displaystyle { frac {1} {k}} { frac {(Nk) (N + 1)} {(k + 2)}} přibližně { frac {N ^ {2}} {k ^ { 2}}} { text {pro malé ukázky}} k ll N}$

takže směrodatná odchylka přibližně ${ displaystyle N / k}$„(populační) průměrná velikost mezery mezi vzorky; porovnat ${ displaystyle { frac {m} {k}}}$ výše. To lze považovat za velmi jednoduchý případ odhad maximální vzdálenosti.

Ukázkové maximum je maximální pravděpodobnost odhadce populačního maxima, ale jak je uvedeno výše, je zaujatý.

Aplikace

Četná pole vyžadují použití teorie odhadu. Některá z těchto polí zahrnují (ale v žádném případě nejsou omezena na):

• Interpretace vědecké experimenty
• Zpracování signálu
• Klinické testy
• Názorový průzkum
• Kontrola kvality
• Telekomunikace
• Projektový management
• Softwarové inženýrství
• Teorie řízení (zejména Adaptivní ovládání )
• Systém detekce vniknutí do sítě
• Určení oběžné dráhy

Měřené údaje budou pravděpodobně předmětem hluk nebo nejistota a je to prostřednictvím statistik pravděpodobnost že optimální hledají se řešení, která by vyťažila co nejvíce informace z údajů, jak je to možné.

Viz také

Poznámky

Reference

Citace

Zdroje

externí odkazy

• Média související s Teorie odhadu na Wikimedia Commons