Cramér – Rao vázán - Cramér–Rao bound - Wikipedia

v teorie odhadu a statistika, Cramér – Rao vázán (CRB) vyjadřuje dolní mez na rozptyl nezaujatý odhady deterministického (fixního, i když neznámého) parametru s tím, že rozptyl každého takového odhadce je přinejmenším stejně vysoký jako inverzní k Fisher informace. Výsledek je pojmenován na počest Harald Cramér a C. R. Rao,^[1][2][3] ale nezávisle byl také odvozen od Maurice Fréchet,^[4] Georges Darmois,^[5] stejně jako Alexander Aitken a Harold Silverstone.^[6][7]

O nezaujatém odhadci, který dosahuje této dolní hranice, se říká, že je (plně) účinný. Takového řešení je dosaženo nejnižší možné hodnoty střední čtvercová chyba mezi všemi nezaujatými metodami, a proto je minimální rozptyl nestranný (MVU) odhad. V některých případech však neexistuje žádná nezaujatá technika, která by dosáhla tohoto cíle. K tomu může dojít, pokud pro libovolný nezaujatý odhad existuje jiný s přísně menší odchylkou, nebo pokud existuje odhad MVU, ale jeho odchylka je přísně větší než inverzní informace k Fisherovi.

Cramér – Rao vázaný lze také použít k vázání rozptylu předpojatý odhady daného zkreslení. V některých případech může zaujatý přístup vést k rozptylu i a střední čtvercová chyba to jsou níže nezaujatý dolní mez Cramér – Rao; vidět zkreslení odhadu.

Prohlášení

Vazba Cramér – Rao je v této části uvedena pro několik stále obecnějších případů, počínaje případem, ve kterém je parametr skalární a jeho odhad je objektivní. Všechny verze vázaného vyžadují určité podmínky pravidelnosti, které platí pro většinu dobře chovaných distribucí. Tyto podmínky jsou uvedeny dále v této části.

Skalární nezaujatý případ

Předpokládat ${ displaystyle theta}$ je neznámý deterministický parametr, ze kterého se má odhadnout ${ displaystyle n}$ nezávislá pozorování (měření) ${ displaystyle x}$, každý distribuován podle některých funkce hustoty pravděpodobnosti ${ displaystyle f (x; theta)}$. The rozptyl ze všech objektivní odhadce ${ displaystyle { hat { theta}}}$ z ${ displaystyle theta}$ je pak ohraničen reciproční z Fisher informace ${ displaystyle I ( theta)}$:

${ displaystyle operatorname {var} ({ hat { theta}}) geq { frac {1} {I ( theta)}}}$

kde jsou informace o Fisherovi ${ displaystyle I ( theta)}$ je definováno

${ displaystyle I ( theta) = n operatorname {E} vlevo [ vlevo ({ frac { částečné ell (x; theta)} { částečné theta}} pravé) ^ {2} že jo]}$

a ${ displaystyle ell (x; theta) = log (f (x; theta))}$ je přirozený logaritmus z funkce pravděpodobnosti pro jeden vzorek ${ displaystyle x}$ a ${ displaystyle operatorname {E}}$ označuje očekávaná hodnota (přes ${ displaystyle x}$). Li ${ displaystyle ell (x; theta)}$ je dvakrát diferencovatelné a platí určité podmínky pravidelnosti, pak lze informace o Fisherovi definovat také takto:^[8]

${ displaystyle I ( theta) = - n operatorname {E} left [{ frac { částečné ^ {2} ell (x; theta)} { částečné theta ^ {2}}} že jo]}$

The účinnost nezaujatého odhadce ${ displaystyle { hat { theta}}}$ měří, jak blízko se rozptyl tohoto odhadce blíží této dolní hranici; účinnost odhadce je definována jako

${ displaystyle e ({ hat { theta}}) = { frac {I ( theta) ^ {- 1}} { operatorname {var} ({ hat { theta}})}}}$

nebo minimální možná odchylka pro nezaujatého odhadce děleno její skutečnou odchylkou. Dolní mez Cramér – Rao tedy dává

${ displaystyle e ({ hat { theta}}) leq 1.}$

Obecný skalární případ

Obecnější formu vázaného lze získat zvážením zkresleného odhadu ${ displaystyle T (X)}$, jehož očekávání není ${ displaystyle theta}$ ale funkce tohoto parametru, řekněme, ${ displaystyle psi ( theta)}$. Proto ${ displaystyle E {T (X) } - theta = psi ( theta) - theta}$ se obecně nerovná 0. V tomto případě je vazba dána vztahem

${ displaystyle operatorname {var} (T) geq { frac {[ psi '( theta)] ^ {2}} {I ( theta)}}}$

kde ${ displaystyle psi '( theta)}$ je derivát ${ displaystyle psi ( theta)}$ (podle ${ displaystyle theta}$), a ${ displaystyle I ( theta)}$ jsou výše definované Fisherovy informace.

Omezeno na rozptyl neobjektivních odhadů

Kromě toho, že je vázán na odhady funkcí parametru, lze tento přístup použít k odvození vázaného na rozptyl zkreslených odhadů s daným zkreslením, jak je uvedeno níže. Zvažte odhad ${ displaystyle { hat { theta}}}$ se zaujatostí ${ displaystyle b ( theta) = E {{ hat { theta}} } - theta}$a nechte ${ displaystyle psi ( theta) = b ( theta) + theta}$. Podle výše uvedeného výsledku jakýkoli nezaujatý odhadce, jehož očekávání je ${ displaystyle psi ( theta)}$ má odchylku větší nebo rovnou ${ displaystyle ( psi '( theta)) ^ {2} / I ( theta)}$. Tedy jakýkoli odhad ${ displaystyle { hat { theta}}}$ jehož zkreslení je dáno funkcí ${ displaystyle b ( theta)}$ splňuje

${ displaystyle operatorname {var} left ({ hat { theta}} right) geq { frac {[1 + b '( theta)] ^ {2}} {I ( theta)} }.}$

Nestranná verze vázaného je zvláštním případem tohoto výsledku, s ${ displaystyle b ( theta) = 0}$.

Je triviální mít malou odchylku - „odhadovatel“, který je konstantní, má odchylku nula. Ale z výše uvedené rovnice zjistíme, že střední čtvercová chyba zkresleného odhadu je omezen

${ displaystyle operatorname {E} left (({{hat { theta}} - theta) ^ {2} right) geq { frac {[1 + b '( theta)] ^ {2 }} {I ( theta)}} + b ( theta) ^ {2},}$

pomocí standardního rozkladu MSE. Pamatujte však, že pokud ${ displaystyle 1 + b '( theta) <1}$ tato vazba může být menší než nezaujatá vazba Cramér – Rao ${ displaystyle 1 / I ( theta)}$. Například v níže uvedený příklad odhadu rozptylu, ${ displaystyle 1 + b '( theta) = { frac {n} {n + 2}} <1}$.

Vícerozměrný případ

Rozšířením vazby Cramér – Rao na více parametrů definujte sloupec parametrů vektor

${ displaystyle { boldsymbol { theta}} = left [ theta _ {1}, theta _ {2}, dots, theta _ {d} right] ^ {T} in mathbb { R} ^ {d}}$

s funkcí hustoty pravděpodobnosti ${ displaystyle f (x; { boldsymbol { theta}})}$ který tyto dva uspokojuje podmínky pravidelnosti níže.

The Fisherova informační matice je ${ displaystyle d krát d}$ matice s prvkem ${ displaystyle I_ {m, k}}$ definováno jako

${ displaystyle I_ {m, k} = operatorname {E} left [{ frac { částečné} { částečné theta _ {m}}} log f left (x; { boldsymbol { theta }} right) { frac { částečné} { částečné theta _ {k}}} log f left (x; { boldsymbol { theta}} right) right] = - operatorname { E} left [{ frac { částečné ^ {2}} { částečné theta _ {m} , částečné theta _ {k}}} log f left (x; { boldsymbol { theta}} right) right].}$

Nechat ${ displaystyle { boldsymbol {T}} (X)}$ být odhadcem jakékoli vektorové funkce parametrů, ${ displaystyle { boldsymbol {T}} (X) = (T_ {1} (X), ldots, T_ {d} (X)) ^ {T}}$a označte jeho vektor očekávání ${ displaystyle operatorname {E} [{ boldsymbol {T}} (X)]}$ podle ${ displaystyle { boldsymbol { psi}} ({ boldsymbol { theta}})}$. Vazba Cramér – Rao pak uvádí, že kovarianční matice z ${ displaystyle { boldsymbol {T}} (X)}$ splňuje

${ displaystyle operatorname {cov} _ { boldsymbol { theta}} left ({ boldsymbol {T}} (X) right) geq { frac { částečný { boldsymbol { psi}} left ({ boldsymbol { theta}} right)} { partial { boldsymbol { theta}}}} [I left ({ boldsymbol { theta}} right)] ^ {- 1} left ({ frac { partial { boldsymbol { psi}} left ({ boldsymbol { theta}} right)} { partial { boldsymbol { theta}}}} right) ^ {T }}$

kde

• Maticová nerovnost ${ displaystyle A geq B}$ Rozumí se, že znamená matici ${ displaystyle A-B}$ je pozitivní semidefinit, a
• ${ displaystyle částečný { boldsymbol { psi}} ({ boldsymbol { theta}}) / částečný { boldsymbol { theta}}}$ je Jacobian matrix jehož ${ displaystyle ij}$ prvek je dán ${ displaystyle částečné psi _ {i} ({ boldsymbol { theta}}) / částečné theta _ {j}}$.

Li ${ displaystyle { boldsymbol {T}} (X)}$ je objektivní odhadce ${ displaystyle { boldsymbol { theta}}}$ (tj., ${ displaystyle { boldsymbol { psi}} left ({ boldsymbol { theta}} right) = { boldsymbol { theta}}}$), pak se vazba Cramér – Rao sníží na

${ displaystyle operatorname {cov} _ { boldsymbol { theta}} left ({ boldsymbol {T}} (X) right) geq I left ({ boldsymbol { theta}} right) ^ {- 1}.}$

Pokud je nepohodlné vypočítat inverzní funkci k Fisherova informační matice, pak lze jednoduše vzít převrácenou hodnotu příslušného diagonálního prvku a najít (případně uvolněnou) dolní mez.^[9]

${ displaystyle operatorname {var} _ { boldsymbol { theta}} (T_ {m} (X)) = left [ operatorname {cov} _ { boldsymbol { theta}} left ({ boldsymbol {T}} (X) right) right] _ {mm} geq left [I left ({ boldsymbol { theta}} right) ^ {- 1} right] _ {mm} geq left ( left [I left ({ boldsymbol { theta}} right) right] _ {mm} right) ^ {- 1}.}$

Podmínky pravidelnosti

Vázaný spoléhá na dvě slabé podmínky pravidelnosti na funkce hustoty pravděpodobnosti, ${ displaystyle f (x; theta)}$a odhadce ${ displaystyle T (X)}$:

• Informace o Fisherovi jsou vždy definovány; ekvivalentně pro všechny ${ displaystyle x}$ takhle ${ displaystyle f (x; theta)> 0}$,

${ displaystyle { frac { částečné} { částečné theta}} log f (x; theta)}$

existuje a je konečný.

• Operace integrace s ohledem na ${ displaystyle x}$ a diferenciace s ohledem na ${ displaystyle theta}$ lze zaměnit v očekávání ${ displaystyle T}$; to je

${ displaystyle { frac { částečné} { částečné theta}} levé [ int T (x) f (x; theta) , dx pravé] = int T (x) levé [{ frac { částečné} { částečné theta}} f (x; theta) vpravo] , dx}$

kdykoli je pravá strana konečná.

Tuto podmínku lze často potvrdit pomocí skutečnosti, že integraci a diferenciaci lze vyměnit, když platí některý z následujících případů:

1. Funkce ${ displaystyle f (x; theta)}$ má omezenou podporu v ${ displaystyle x}$, a hranice nezávisí na ${ displaystyle theta}$;
2. Funkce ${ displaystyle f (x; theta)}$ má nekonečnou podporu, je průběžně diferencovatelné a integrál konverguje jednotně pro všechny ${ displaystyle theta}$.

Zjednodušená forma informací o Fisherovi

Předpokládejme navíc, že ​​operace integrace a diferenciace lze vyměnit za druhou derivaci ${ displaystyle f (x; theta)}$ stejně, tj.,

${ displaystyle { frac { částečné ^ {2}} { částečné theta ^ {2}}} vlevo [ int T (x) f (x; theta) , dx vpravo] = int T (x) left [{ frac { částečné ^ {2}} { částečné theta ^ {2}}} f (x; theta) vpravo] , dx.}$

V tomto případě je možné ukázat, že Fisherova informace se rovná

${ displaystyle I ( theta) = - operatorname {E} left [{ frac { částečné ^ {2}} { částečné theta ^ {2}}} log f (X; theta) že jo].}$

Cramèr – Rao vázaný pak může být zapsán jako

${ displaystyle operatorname {var} left ({ widehat { theta}} right) geq { frac {1} {I ( theta)}} = { frac {1} {- operatorname { E} left [{ frac { částečné ^ {2}} { částečné theta ^ {2}}} log f (X; theta) right]}}}$

V některých případech poskytuje tento vzorec pohodlnější techniku ​​pro vyhodnocení vázaného.

Jednoparametrový důkaz

Následuje důkaz obecného skalárního případu popsané vazby Cramér – Rao výše. Předpokládat, že ${ displaystyle T = t (X)}$ je odhad s očekáváním ${ displaystyle psi ( theta)}$ (na základě pozorování ${ displaystyle X}$), tj. to ${ displaystyle operatorname {E} (T) = psi ( theta)}$. Cílem je dokázat, že pro všechny ${ displaystyle theta}$,

${ displaystyle operatorname {var} (t (X)) geq { frac {[ psi ^ { prime} ( theta)] ^ {2}} {I ( theta)}}}}$

Nechat ${ displaystyle X}$ být náhodná proměnná s funkcí hustoty pravděpodobnosti ${ displaystyle f (x; theta)}$.Tady ${ displaystyle T = t (X)}$ je statistický, který se používá jako odhadce pro ${ displaystyle psi ( theta)}$. Definovat ${ displaystyle V}$ jako skóre:

${ displaystyle V = { frac { částečné} { částečné theta}} ln f (X; theta) = { frac {1} {f (X; theta)}} { frac { částečné} { částečné theta}} f (X; theta)}$

Kde řetězové pravidlo se používá v závěrečné rovnosti výše. Pak očekávání z ${ displaystyle V}$, psaný ${ displaystyle operatorname {E} (V)}$, je nula. To je proto, že:

${ displaystyle operatorname {E} (V) = int f (x; theta) vlevo [{ frac {1} {f (x; theta)}} { frac { částečné} { částečné theta}} f (x; theta) vpravo] , dx = { frac { částečné} { částečné theta}} int f (x; theta) , dx = 0}$

kde byla zaměněna integrální a parciální derivace (odůvodněno druhou podmínkou pravidelnosti).

Pokud vezmeme v úvahu kovariance ${ displaystyle operatorname {cov} (V, T)}$ z ${ displaystyle V}$ a ${ displaystyle T}$, my máme ${ displaystyle operatorname {cov} (V, T) = operatorname {E} (VT)}$, protože ${ displaystyle operatorname {E} (V) = 0}$. Rozšíření tohoto výrazu máme

${ displaystyle { begin {aligned} operatorname {cov} (V, T) & = operatorname {E} left (T cdot left [{ frac {1} {f (X; theta)} } { frac { částečné} { částečné theta}} f (X; theta) doprava] doprava) [6pt] & = int t (x) doleva [{ frac {1} {f (x; theta)}} { frac { částečné} { částečné theta}} f (x; theta) doprava] f (x; theta) , dx [6pt] & = { frac { částečné} { částečné theta}} vlevo [ int t (x) f (x; theta) , dx vpravo] = psi ^ { prime} ( theta) konec {zarovnáno}}}$

opět proto, že dochází k dojíždění integračních a diferenciačních operací (druhá podmínka).

The Cauchy – Schwarzova nerovnost ukázat to

${ displaystyle { sqrt { operatorname {var} (T) operatorname {var} (V)}} geq left | operatorname {cov} (V, T) right | = left | psi ^ { prime} ( theta) vpravo |}$

proto

${ displaystyle operatorname {var} (T) geq { frac {[ psi ^ { prime} ( theta)] ^ {2}} { operatorname {var} (V)}} = { frac {[ psi ^ { prime} ( theta)] ^ {2}} {I ( theta)}}}$

což dokazuje tvrzení.

Příklady

Vícerozměrné normální rozdělení

Pro případ a d-měňte normální rozdělení

${ displaystyle { boldsymbol {x}} sim N_ {d} left ({ boldsymbol { mu}} ({ boldsymbol { theta}}), { boldsymbol {C}} ({ boldsymbol { theta}}) right)}$

the Fisherova informační matice má prvky^[10]

${ displaystyle I_ {m, k} = { frac { částečný { boldsymbol { mu}} ^ {T}} { částečný theta _ {m}}} { boldsymbol {C}} ^ {- 1} { frac { částečný { boldsymbol { mu}}} { částečný theta _ {k}}} + { frac {1} {2}} operatorname {tr} vlevo ({ boldsymbol {C}} ^ {- 1} { frac { částečné { boldsymbol {C}}} { částečné theta _ {m}}} { boldsymbol {C}} ^ {- 1} { frac { částečný { boldsymbol {C}}} { částečný theta _ {k}}} vpravo)}$

kde "tr" je stopa.

Například nechte ${ displaystyle w [n]}$ být ukázkou ${ displaystyle N}$ nezávislá pozorování s neznámým průměrem ${ displaystyle theta}$ a známá odchylka ${ displaystyle sigma ^ {2}}$ .

${ displaystyle w [n] sim mathbb {N} _ {N} vlevo ( theta { boldsymbol {1}}, sigma ^ {2} { boldsymbol {I}} vpravo).}$

Informace o Fisherovi jsou pak skalární dané

${ displaystyle I ( theta) = left ({ frac { částečné { boldsymbol { mu}} ( theta)} { částečné theta}} pravé) ^ {T} { boldsymbol {C }} ^ {- 1} left ({ frac { částečné { boldsymbol { mu}} ( theta)} { částečné theta}} vpravo) = součet _ {i = 1} ^ { N} { frac {1} { sigma ^ {2}}} = { frac {N} { sigma ^ {2}}},}$

a tak je vázán Cramér – Rao

${ displaystyle operatorname {var} left ({ hat { theta}} right) geq { frac { sigma ^ {2}} {N}}.}$

Normální rozptyl se známým průměrem

Předpokládat X je normálně distribuováno náhodná veličina se známým průměrem ${ displaystyle mu}$ a neznámá odchylka ${ displaystyle sigma ^ {2}}$. Zvažte následující statistiku:

${ displaystyle T = { frac { součet _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2}} {n}}.}$

Pak T je nezaujatý pro ${ displaystyle sigma ^ {2}}$, tak jako ${ displaystyle E (T) = sigma ^ {2}}$. Jaká je odchylka T?

${ displaystyle operatorname {var} (T) = { frac { operatorname {var} (X- mu) ^ {2}} {n}} = { frac {1} {n}} vlevo [ operatorname {E} left {(X- mu) ^ {4} right } - left ( operatorname {E} {(X- mu) ^ {2} } right) ^ {2} vpravo]}$

(druhá rovnost vyplývá přímo z definice rozptylu). První termín je čtvrtý moment o průměru a má hodnotu ${ displaystyle 3 ( sigma ^ {2}) ^ {2}}$; druhý je čtverec rozptylu, nebo ${ displaystyle ( sigma ^ {2}) ^ {2}}$.Tím pádem

${ displaystyle operatorname {var} (T) = { frac {2 ( sigma ^ {2}) ^ {2}} {n}}.}$

Co je to? Fisher informace ve vzorku? Připomeňme, že skóre PROTI je definován jako

${ displaystyle V = { frac { částečné} { částečné sigma ^ {2}}} log L ( sigma ^ {2}, X)}$

kde ${ displaystyle L}$ je funkce pravděpodobnosti. V tomto případě tedy

${ displaystyle V = { frac { částečné} { částečné sigma ^ {2}}} log left [{ frac {1} { sqrt {2 pi sigma ^ {2}}}} e ^ {- (X- mu) ^ {2} / {2 sigma ^ {2}}} right] = { frac {(X- mu) ^ {2}} {2 ( sigma ^ {2}) ^ {2}}} - { frac {1} {2 sigma ^ {2}}}}$

kde druhá rovnost je z elementárního počtu. Informace v jediném pozorování je tedy pouze minus očekávání derivace PROTInebo

${ displaystyle I = - operatorname {E} vlevo ({ frac { částečné V} { částečné sigma ^ {2}}} vpravo) = - operatorname {E} vlevo (- { frac {(X- mu) ^ {2}} {( sigma ^ {2}) ^ {3}}} + { frac {1} {2 ( sigma ^ {2}) ^ {2}}} right) = { frac { sigma ^ {2}} {( sigma ^ {2}) ^ {3}}} - { frac {1} {2 ( sigma ^ {2}) ^ {2 }}} = { frac {1} {2 ( sigma ^ {2}) ^ {2}}}.}$

Tedy informace ve vzorku ${ displaystyle n}$ nezávislá pozorování jsou spravedlivá ${ displaystyle n}$ krát toto, nebo ${ displaystyle { frac {n} {2 ( sigma ^ {2}) ^ {2}}}.}$

Uvádí to Cramer-Rao

${ displaystyle operatorname {var} (T) geq { frac {1} {I}}.}$

V tomto případě je nerovnost nasycena (je dosaženo rovnosti), což ukazuje, že odhadce je účinný.

Můžeme však dosáhnout nižší střední čtvercová chyba pomocí zkresleného odhadu. Odhadce

${ displaystyle T = { frac { suma _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2}} {n + 2}}.}$

samozřejmě má menší rozptyl, což je ve skutečnosti

${ displaystyle operatorname {var} (T) = { frac {2n ( sigma ^ {2}) ^ {2}} {(n + 2) ^ {2}}}.}$

Jeho zaujatost je

${ displaystyle left (1 - { frac {n} {n + 2}} right) sigma ^ {2} = { frac {2 sigma ^ {2}} {n + 2}}}$

takže jeho střední kvadratická chyba je

${ displaystyle operatorname {MSE} (T) = left ({ frac {2n} {(n + 2) ^ {2}}} + { frac {4} {(n + 2) ^ {2} }} right) ( sigma ^ {2}) ^ {2} = { frac {2 ( sigma ^ {2}) ^ {2}} {n + 2}}}$

což je zjevně méně než výše uvedená vazba Cramér – Rao.

Není-li průměr znám, je dosaženo minimálního odhadu střední kvadratické odchylky rozptylu vzorku z Gaussova rozdělení vydělením n + 1, spíše než n - 1 nebo n + 2.

Viz také

• Chapman – Robbins vázán
• Kullbackova nerovnost
• Nerovnost Brascamp – Lieb

Odkazy a poznámky

Další čtení

• Amemiya, Takeshi (1985). Pokročilá ekonometrie. Cambridge: Harvard University Press. str.14 –17. ISBN  0-674-00560-0.
• Bos, Adriaan van den (2007). Odhad parametrů pro vědce a inženýry. Hoboken: John Wiley & Sons. str. 45–98. ISBN  0-470-14781-4.
• Kay, Steven M. (1993). Základy statistického zpracování signálů, svazek I: Teorie odhadu. Prentice Hall. ISBN  0-13-345711-7.. Kapitola 3.
• Shao, červen (1998). Matematická statistika. New York: Springer. ISBN  0-387-98674-X.. Oddíl 3.1.3.

externí odkazy

• FandPLimitTool software založený na grafickém uživatelském rozhraní pro výpočet Fisherových informací a Cramer-Rao Lower Bound s aplikací na mikroskopii s jednou molekulou.