Příklad Steins - Proof of Steins example - Wikipedia

tento článek potřebuje další citace pro ověření. Prosím pomozte vylepšit tento článek podle přidávání citací ke spolehlivým zdrojům. Zdroj bez zdroje může být napaden a odstraněn. Najít zdroje: „Důkaz Steinova příkladu“  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Prosinec 2006) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Steinův příklad je důležitým výsledkem v teorie rozhodování které lze uvést jako

Běžné rozhodovací pravidlo pro odhad střední hodnoty vícerozměrného Gaussova rozdělení je nepřípustné vzhledem k riziku střední kvadratické chyby v dimenzi alespoň 3.

Následuje přehled jeho důkazů.^[1] Čtenář je odkazován na Hlavní článek Pro více informací.

Načrtnutý důkaz

The riziková funkce pravidla rozhodování ${ displaystyle d ( mathbf {x}) = mathbf {x}}$ je

${ displaystyle R ( theta, d) = operatorname {E} _ { theta} [| mathbf { theta -X} | ^ {2}]}$

${ displaystyle = int ( mathbf { theta -x}) ^ {T} ( mathbf { theta -x}) left ({ frac {1} {2 pi}} right) ^ { n / 2} e ^ {(- 1/2) ( mathbf { theta -x}) ^ {T} ( mathbf { theta -x})} m (dx)}$

${ displaystyle = n.}$

Nyní zvažte pravidlo rozhodování

${ displaystyle d '( mathbf {x}) = mathbf {x} - { frac { alpha} {| mathbf {x} | ^ {2}}} mathbf {x}}$

kde ${ displaystyle alpha = n-2}$. To ukážeme ${ displaystyle d '}$ je lepší rozhodovací pravidlo než ${ displaystyle d}$. Funkce rizika je

${ displaystyle R ( theta, d ') = operatorname {E} _ { theta} left [ left | mathbf { theta -X} + { frac { alpha} {| mathbf {X } | ^ {2}}} mathbf {X} vpravo | ^ {2} vpravo]}$

${ displaystyle = operatorname {E} _ { theta} left [| mathbf { theta -X} | ^ {2} +2 ( mathbf { theta -X}) ^ {T} { frac { alpha} {| mathbf {X} | ^ {2}}} mathbf {X} + { frac { alpha ^ {2}} {| mathbf {X} | ^ {4}}} | mathbf {X} | ^ {2} vpravo]}$

${ displaystyle = operatorname {E} _ { theta} left [| mathbf { theta -X} | ^ {2} right] +2 alpha operatorname {E} _ { theta} left [{ frac { mathbf {( theta -X) ^ {T} X}} {| mathbf {X} | ^ {2}}} right] + alpha ^ {2} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right]}$

- kvadratický v ${ displaystyle alpha}$. Můžeme střednědobý termín zjednodušit zvážením obecné „dobře vychované“ funkce ${ displaystyle h: mathbf {x} mapsto h ( mathbf {x}) in mathbb {R}}$ a pomocí integrace po částech. Pro ${ Displaystyle 1 leq i leq n}$, pro každou kontinuálně diferencovatelnou ${ displaystyle h}$ roste dostatečně pomalu na velké ${ displaystyle x_ {i}}$ my máme:

${ displaystyle operatorname {E} _ { theta} [( theta _ {i} -X_ {i}) h ( mathbf {X}) | X_ {j} = x_ {j} (j neq i )] = int ( theta _ {i} -x_ {i}) h ( mathbf {x}) left ({ frac {1} {2 pi}} right) ^ {n / 2} e ^ {- (1/2) mathbf {(x- theta)} ^ {T} mathbf {(x- theta)}} m (dx_ {i})}$

${ displaystyle = left [h ( mathbf {x}) left ({ frac {1} {2 pi}} right) ^ {n / 2} e ^ {- (1/2) mathbf {(x- theta)} ^ {T} mathbf {(x- theta)}} vpravo] _ {x_ {i} = - infty} ^ { infty} - int { frac { částečné h} { částečné x_ {i}}} ( mathbf {x}) vlevo ({ frac {1} {2 pi}} vpravo) ^ {n / 2} e ^ {- (1 / 2) mathbf {(x- theta)} ^ {T} mathbf {(x- theta)}} m (dx_ {i})}$

${ displaystyle = - operatorname {E} _ { theta} left [{ frac { částečné h} { částečné x_ {i}}} ( mathbf {X}) | X_ {j} = x_ { j} (j neq i) vpravo].}$

Proto,

${ displaystyle operatorname {E} _ { theta} [( theta _ {i} -X_ {i}) h ( mathbf {X})] = - operatorname {E} _ { theta} vlevo [{ frac { částečné h} { částečné x_ {i}}} ( mathbf {X}) vpravo].}$

(Tento výsledek je znám jako Steinovo lemma.)

Nyní jsme si vybrali

${ displaystyle h ( mathbf {x}) = { frac {x_ {i}} {| mathbf {x} | ^ {2}}}.}$

Li ${ displaystyle h}$ splnili podmínku „dobře vychovaného“ (není, ale lze to napravit - viz níže), měli bychom

${ displaystyle { frac { částečné h} { částečné x_ {i}}} = { frac {1} {| mathbf {x} | ^ {2}}} - { frac {2x_ {i} ^ {2}} {| mathbf {x} | ^ {4}}}}$

a tak

${ displaystyle operatorname {E} _ { theta} left [{ frac { mathbf {( theta -X) ^ {T} X}} {| mathbf {X} | ^ {2}}} right] = sum _ {i = 1} ^ {n} operatorname {E} _ { theta} left [( theta _ {i} -X_ {i}) { frac {X_ {i} } {| mathbf {X} | ^ {2}}} vpravo]}$

${ displaystyle = - sum _ {i = 1} ^ {n} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} - { frac {2X_ {i} ^ {2}} {| mathbf {X} | ^ {4}}} vpravo]}$

${ displaystyle = - (n-2) operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right].}$

Poté návrat k rizikové funkci ${ displaystyle d '}$:

${ displaystyle R ( theta, d ') = n-2 alpha (n-2) operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right] + alpha ^ {2} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} right ].}$

Toto kvadratické v ${ displaystyle alpha}$ je minimalizován na

${ displaystyle alpha = n-2,}$

dávat

${ displaystyle R ( theta, d ') = R ( theta, d) - (n-2) ^ {2} operatorname {E} _ { theta} left [{ frac {1} {| mathbf {X} | ^ {2}}} vpravo]}$

což samozřejmě vyhovuje

${ displaystyle R ( theta, d ')$

tvorba ${ displaystyle d}$ pravidlo nepřípustného rozhodnutí.

Zbývá ospravedlnit použití

${ displaystyle h ( mathbf {X}) = { frac { mathbf {X}} {| mathbf {X} | ^ {2}}}.}$

Tato funkce není nepřetržitě diferencovatelná, protože je singulární v ${ displaystyle mathbf {x} = 0}$. Funkce však

${ displaystyle h ( mathbf {X}) = { frac { mathbf {X}} { varepsilon + | mathbf {X} | ^ {2}}}}$

je průběžně diferencovatelné a poté, co prošel algebrou a nechal ${ displaystyle varepsilon až 0}$, jeden získá stejný výsledek.

Reference