Steins nezaujatý odhad rizika - Steins unbiased risk estimate - Wikipedia

v statistika, Steinův nezaujatý odhad rizika (SURE) je objektivní odhadce z střední kvadratická chyba „téměř libovolného, ​​nelineárního zkresleného odhadu.“^[1] Jinými slovy poskytuje indikaci přesnosti daného odhadce. To je důležité, protože skutečná střední hodnota kvadratické chyby odhadce je funkcí neznámého parametru, který má být odhadnut, a proto ji nelze přesně určit.

Tato technika je pojmenována po svém objeviteli, Charles Stein.^[2]

Formální prohlášení

Nechat ${ displaystyle mu in { mathbb {R}} ^ {d}}$ být neznámým parametrem a nechat ${ displaystyle x in { mathbb {R}} ^ {d}}$ být měřicí vektor, jehož komponenty jsou nezávislé a distribuované normálně se střední hodnotou ${ displaystyle mu _ {i}, i = 1, ..., d,}$ a rozptyl ${ displaystyle sigma ^ {2}}$. Předpokládat ${ displaystyle h (x)}$ je odhadcem ${ displaystyle mu}$ z ${ displaystyle x}$, a lze psát ${ displaystyle h (x) = x + g (x)}$, kde ${ displaystyle g}$ je slabě rozlišitelný. Poté je Steinův nezaujatý odhad rizika dán vztahem^[3]

${ displaystyle operatorname {SURE} (h) = d sigma ^ {2} + | g (x) | ^ {2} +2 sigma ^ {2} sum _ {i = 1} ^ { d} { frac { částečné} { částečné x_ {i}}} g_ {i} (x) = - d sigma ^ {2} + | g (x) | ^ {2} +2 sigma ^ {2} sum _ {i = 1} ^ {d} { frac { částečné} { částečné x_ {i}}} h_ {i} (x),}$

kde ${ displaystyle g_ {i} (x)}$ je ${ displaystyle i}$tá složka funkce ${ displaystyle g (x)}$, a ${ displaystyle | cdot |}$ je Euklidovská norma.

Důležitost SURE spočívá v tom, že se jedná o nestranný odhad průměrné chyby na druhou (nebo rizika druhé mocniny) ${ displaystyle h (x)}$, tj.

${ displaystyle operatorname {E} _ { mu} { operatorname {SURE} (h) } = operatorname {MSE} (h), , !}$

s

${ displaystyle operatorname {MSE} (h) = operatorname {E} _ { mu} | h (x) - mu | ^ {2}.}$

Minimalizace SURE tedy může fungovat jako náhrada za minimalizaci MSE. Všimněte si, že neexistuje žádná závislost na neznámém parametru ${ displaystyle mu}$ ve výrazu pro SURE výše. Lze jej tedy manipulovat (např. Určit optimální nastavení odhadu) bez znalosti ${ displaystyle mu}$.

Důkaz

Rádi bychom to ukázali

${ displaystyle operatorname {E} _ { mu} | h (x) - mu | ^ {2} = operatorname {E} _ { mu} { operatorname {SURE} (h) }.}$

Začínáme rozšiřováním MSE as

${ displaystyle { begin {aligned} operatorname {E} _ { mu} | h (x) - mu | ^ {2} & = operatorname {E} _ { mu} | g ( x) + x- mu | ^ {2} & = operatorname {E} _ { mu} | g (x) | ^ {2} + operatorname {E} _ { mu} | x- mu | ^ {2} +2 operatorname {E} _ { mu} g (x) ^ {T} (x- mu) & = operatorname {E} _ { mu} | g (x) | ^ {2} + d sigma ^ {2} +2 operatorname {E} _ { mu} g (x) ^ {T} (x- mu). konec {zarovnáno}}}$

Nyní používáme integrace po částech přepsat poslední termín:

${ displaystyle { begin {aligned} operatorname {E} _ { mu} g (x) ^ {T} (x- mu) & = int _ {{ mathbb {R}} ^ {d} } { frac {1} { sqrt {2 pi sigma ^ {2d}}}} exp left (- { frac { | x- mu | ^ {2}} {2 sigma ^ {2}}} vpravo) sum _ {i = 1} ^ {d} g_ {i} (x) (x_ {i} - mu _ {i}) d ^ {d} x & = sigma ^ {2} sum _ {i = 1} ^ {d} int _ {{ mathbb {R}} ^ {d}} { frac {1} { sqrt {2 pi sigma ^ {2d}}}} exp left (- { frac { | x- mu | ^ {2}} {2 sigma ^ {2}}} right) { frac {dg_ {i }} {dx_ {i}}} d ^ {d} x & = sigma ^ {2} sum _ {i = 1} ^ {d} operatorname {E} _ { mu} { frac {dg_ {i}} {dx_ {i}}}. end {zarovnáno}}}$

Dosazením do výrazu pro MSE se dostáváme k

${ displaystyle operatorname {E} _ { mu} | h (x) - mu | ^ {2} = operatorname {E} _ { mu} vlevo (d sigma ^ {2} + | g (x) | ^ {2} +2 sigma ^ {2} sum _ {i = 1} ^ {d} { frac {dg_ {i}} {dx_ {i}}} vpravo ).}$

Aplikace

Standardní aplikací SURE je vybrat parametrickou formu pro odhad a poté optimalizovat hodnoty parametrů, aby se minimalizoval odhad rizika. Tato technika byla použita v několika nastaveních. Například varianta James – Stein odhadce lze odvodit nalezením optima odhad zmenšení.^[2] Tuto techniku ​​také použil Donoho a Johnstone k určení optimálního faktoru smrštění v a vlnka odšumění nastavení.^[1]

Reference