Invariantní odhad - Invariant estimator

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Červenec 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) tento článek potřebuje další citace pro ověření. Prosím pomozte vylepšit tento článek podle přidávání citací ke spolehlivým zdrojům. Zdroj bez zdroje může být napaden a odstraněn. Najít zdroje: "Invariantní odhad"  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Červenec 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v statistika, pojem bytí invariantní odhad je kritérium, které lze použít k porovnání vlastností různých odhady pro stejné množství. Jedná se o způsob formalizace myšlenky, že odhadce by měl mít určité intuitivně přitažlivé vlastnosti. Přesněji řečeno, „invariantní“ by znamenalo, že samotné odhady se nezmění, když se měření i parametry transformují kompatibilním způsobem, ale význam byl rozšířen, aby se odhady mohly vhodnými způsoby změnit pomocí těchto transformací.^[1] Termín ekvivariantní odhad se používá ve formálních matematických kontextech, které obsahují přesný popis vztahu způsobu, jakým se odhad odhaduje v reakci na změny v datové sadě a parametrizaci: odpovídá použití „ekvivariance „v obecnější matematice.

Obecné nastavení

Pozadí

v statistická inference, existuje několik přístupů k teorie odhadu které lze použít k okamžitému rozhodnutí, jaké odhady by měly být použity podle těchto přístupů. Například nápady od Bayesovský závěr by vedlo přímo k Bayesovské odhady. Podobně teorie klasické statistické inference může někdy vést k silným závěrům o tom, jaký odhadce by měl být použit. Užitečnost těchto teorií však závisí na úplném předepsání statistický model a může také záviset na tom, zda je k určení odhadce relevantní funkce ztráty. Tak a Bayesovská analýza může být provedeno, což vede k zadní distribuci relevantních parametrů, ale použití specifické funkce nebo funkce ztráty může být nejasné. Myšlenky invariance lze poté aplikovat na úkol shrnutí zadní distribuce. V ostatních případech se statistické analýzy provádějí bez plně definovaného statistického modelu, nebo nelze klasickou teorii statistické inference snadno použít, protože uvažovaná skupina modelů není takovým způsobem přístupná. Kromě těchto případů, kdy obecná teorie nepředepisuje odhadce, lze koncept invariance odhadce použít při hledání odhadů alternativních forem, buď pro jednoduchost použití odhadce, nebo pro odhad robustní.

Koncept invariance se někdy používá sám o sobě jako způsob výběru mezi odhady, ale není to nutně definitivní. Například požadavek invariance může být neslučitelný s požadavkem, že odhadce být průměrný-nezaujatý; na druhé straně kritérium střední nestrannost je definována z hlediska distribuce vzorkování odhadce a je tak invariantní při mnoha transformacích.

Jedno použití konceptu invariance je tam, kde je navržena třída nebo skupina odhadů a mezi nimi musí být vybrána konkrétní formulace. Jedním z postupů je uložení příslušných invariantních vlastností a poté nalezení formulace v této třídě, která má nejlepší vlastnosti, což vede k tomu, co se nazývá optimální invariantní odhad.

Některé třídy invariantních odhadů

Existuje několik typů transformací, které jsou užitečné při řešení invariantních odhadů. Každý z nich vede ke třídě odhadů, které jsou invariantní k těmto konkrétním typům transformace.

• Shift invariance: Pomyslně, odhady a parametr umístění by měl být neměnný jednoduchým posunům datových hodnot. Pokud jsou všechny hodnoty dat zvýšeny o danou částku, měl by se odhad změnit o stejnou částku. Při zvažování odhadu pomocí a vážený průměr, tento požadavek invariance okamžitě znamená, že váhy by se měly rovnat jedné. Zatímco stejný výsledek je často odvozen od požadavku na nezaujatost, použití „invariance“ nevyžaduje existenci střední hodnoty a vůbec nevyužívá žádné rozdělení pravděpodobnosti.
• Scale invariance: Všimněte si, že toto téma o invariance parametru scale odhadce nelze zaměňovat s obecnějším škálová invariance o chování systémů za agregovaných vlastností (ve fyzice).
• Invariance transformace parametrů: Zde se transformace vztahuje pouze na parametry. Koncept zde spočívá v tom, že z dat a modelu, který zahrnuje parametr θ, by měl být v podstatě stejný závěr, jaký by byl proveden ze stejných dat, pokud by model používal parametr φ, kde φ je individuální transformace θ, φ =h(θ). Podle tohoto typu invariance by výsledky z odhadů invariantních transformací měly také souviset s φ =h(θ). Odhady maximální pravděpodobnosti mít tuto vlastnost, když je transformace monotóní. Ačkoli asymptotické vlastnosti odhadce mohou být neměnné, malé vlastnosti vzorku se mohou lišit a je třeba odvodit konkrétní distribuci.^[2]
• Permutační invariance: Kde lze sadu datových hodnot reprezentovat statistickým modelem, z něhož jsou výsledkem nezávislé a identicky distribuované náhodné proměnné, je rozumné zavést požadavek, aby jakýkoli odhadce jakékoli vlastnosti společné distribuce měl být permutačně invariantní: konkrétně to, že odhadce, považovaný za funkci sady datových hodnot, by se neměl měnit, pokud jsou položky dat vyměňovány v datové sadě.

Kombinace permutační invariance a invariance polohy pro odhad umístění parametru z nezávislé a identicky distribuované datová sada používající vážený průměr znamená, že váhy by měly být identické a součtem jedné. Samozřejmě mohou být vhodnější jiné odhady než vážený průměr.

Optimální invariantní odhady

V tomto nastavení dostaneme sadu měření ${ displaystyle x}$ který obsahuje informace o neznámém parametru ${ displaystyle theta}$. Měření ${ displaystyle x}$ jsou modelovány jako a vektorová náhodná proměnná mít a funkce hustoty pravděpodobnosti ${ displaystyle f (x | theta)}$ což závisí na vektoru parametru ${ displaystyle theta}$.

Problém je odhadnout ${ displaystyle theta}$ daný ${ displaystyle x}$. Odhad označený ${ displaystyle a}$, je funkcí měření a patří do sady ${ displaystyle A}$. Kvalitu výsledku definuje a funkce ztráty ${ displaystyle L = L (a, theta)}$ který určuje a riziková funkce ${ displaystyle R = R (a, theta) = E [L (a, theta) | theta]}$. Sady možných hodnot ${ displaystyle x}$, ${ displaystyle theta}$, a ${ displaystyle a}$ jsou označeny ${ displaystyle X}$, ${ displaystyle Theta}$, a ${ displaystyle A}$, resp.

V klasifikaci

v statistická klasifikace, pravidlo, které přiřazuje třídu nové datové položce, lze považovat za speciální typ odhadce. Při formulování lze uplatnit řadu úvah typu invariance předchozí znalosti pro rozpoznávání vzorů.

Matematické nastavení

Definice

An invariantní odhad je odhad, který se řídí následujícími dvěma pravidly:^{[Citace je zapotřebí ]}

1. Princip racionální invariance: Akce přijatá v rozhodovacím problému by neměla záviset na transformaci použitého měření
2. Princip invariance: Pokud mají dva problémy s rozhodováním stejnou formální strukturu (pokud jde o ${ displaystyle X}$, ${ displaystyle Theta}$, ${ displaystyle f (x | theta)}$ a ${ displaystyle L}$), pak by mělo být v každém problému použito stejné rozhodovací pravidlo.

Chcete-li formálně definovat invariantní nebo ekvivariantní odhad, je nejprve třeba provést některé definice týkající se skupin transformací. Nechat ${ displaystyle X}$ označit soubor možných vzorků dat. A skupina transformací z ${ displaystyle X}$, bude označen ${ displaystyle G}$, je sada (měřitelná) 1: 1 a na transformace ${ displaystyle X}$ do sebe, která splňuje následující podmínky:

1. Li ${ displaystyle g_ {1} v G}$ a ${ displaystyle g_ {2} v G}$ pak ${ displaystyle g_ {1} g_ {2} v G ,}$
2. Li ${ displaystyle g v G}$ pak ${ displaystyle g ^ {- 1} v G}$, kde ${ displaystyle g ^ {- 1} (g (x)) = x ,.}$ (To znamená, že každá transformace má ve skupině inverzi.)
3. ${ displaystyle e v G}$ (tj. došlo k transformaci identity ${ displaystyle e (x) = x ,}$)

Datové sady ${ displaystyle x_ {1}}$ a ${ displaystyle x_ {2}}$ v ${ displaystyle X}$ jsou ekvivalentní, pokud ${ displaystyle x_ {1} = g (x_ {2})}$ pro některé ${ displaystyle g v G}$. Všechny ekvivalentní body tvoří třída ekvivalence Takové třídě ekvivalence se říká obíhat (v ${ displaystyle X}$). The ${ displaystyle x_ {0}}$ obíhat, ${ displaystyle X (x_ {0})}$, je sada ${ displaystyle X (x_ {0}) = {g (x_ {0}): g v G }}$.Li ${ displaystyle X}$ se skládá z jediné oběžné dráhy ${ displaystyle g}$ se říká, že je tranzitivní.

Rodina hustot ${ displaystyle F}$ je podle skupiny invariantní ve skupině ${ displaystyle G}$ pokud pro každého ${ displaystyle g v G}$ a ${ displaystyle theta v theta}$ existuje jedinečný ${ displaystyle theta ^ {*} v Theta}$ takhle ${ displaystyle Y = g (x)}$ má hustotu ${ displaystyle f (y | theta ^ {*})}$. ${ displaystyle theta ^ {*}}$ bude označeno ${ displaystyle { bar {g}} ( theta)}$.

Li ${ displaystyle F}$ je neměnný ve skupině ${ displaystyle G}$ pak funkce ztráty ${ displaystyle L ( theta, a)}$ je řekl, aby byl neměnný pod ${ displaystyle G}$ pokud pro každého ${ displaystyle g v G}$ a ${ displaystyle a v A}$ existuje ${ displaystyle a ^ {*} v A}$ takhle ${ displaystyle L ( theta, a) = L ({ bar {g}} ( theta), a ^ {*})}$ pro všechny ${ displaystyle theta v theta}$. Transformovaná hodnota ${ displaystyle a ^ {*}}$ bude označen ${ displaystyle { tilde {g}} (a)}$.

Ve výše uvedeném ${ displaystyle { bar {G}} = {{ bar {g}}: g v G }}$ je skupina transformací z ${ displaystyle Theta}$ pro sebe a ${ displaystyle { tilde {G}} = {{ tilde {g}}: g v G }}$ je skupina transformací z ${ displaystyle A}$ pro sebe.

Problém odhadu je neměnný (ekvivariantní) pod ${ displaystyle G}$ pokud existují tři skupiny ${ displaystyle G, { bar {G}}, { tilde {G}}}$ jak je definováno výše.

Pro problém odhadu, který je neměnný pod ${ displaystyle G}$, odhadce ${ displaystyle delta (x)}$ je invariantní odhad pod ${ displaystyle G}$ pokud pro všechny ${ displaystyle x v X}$ a ${ displaystyle g v G}$,

${ displaystyle delta (g (x)) = { tilde {g}} ( delta (x)).}$

Vlastnosti

1. Funkce rizika invariantního odhadce, ${ displaystyle delta}$, je na oběžných drahách konstantní ${ displaystyle Theta}$. Ekvivalentně ${ displaystyle R ( theta, delta) = R ({ bar {g}} ( theta), delta)}$ pro všechny ${ displaystyle theta v theta}$ a ${ displaystyle { bar {g}} v { bar {G}}}$.
2. Riziková funkce invariantního odhadce s tranzitivem ${ displaystyle { bar {g}}}$ je konstantní.

Pro daný problém se invariantní odhadce s nejnižším rizikem říká „nejlepší odhadce invariantu“. Nejlepší invariantní odhad nelze vždy dosáhnout. Zvláštní případ, kterého lze dosáhnout, je případ, kdy ${ displaystyle { bar {g}}}$ je tranzitivní.

Příklad: parametr umístění

Předpokládat ${ displaystyle theta}$ je parametr umístění, pokud hustota ${ displaystyle X}$ je ve formě ${ displaystyle f (x- theta)}$. Pro ${ displaystyle Theta = A = mathbb {R} ^ {1}}$ a ${ displaystyle L = L (a- theta)}$, problém je neměnný pod ${ displaystyle g = { bar {g}} = { tilde {g}} = {g_ {c}: g_ {c} (x) = x + c, c in mathbb {R} } }$. Invariantní odhad v tomto případě musí vyhovovat

${ displaystyle delta (x + c) = delta (x) + c, { text {pro všechny}} c v mathbb {R},}$

má tedy formu ${ displaystyle delta (x) = x + K}$ (${ displaystyle K in mathbb {R}}$). ${ displaystyle { bar {g}}}$ je tranzitivní na ${ displaystyle Theta}$ s tím se riziko nemění ${ displaystyle theta}$: to znamená, ${ displaystyle R ( theta, delta) = R (0, delta) = operatorname {E} [L (X + K) | theta = 0]}$. Nejlepší invariantní odhad je ten, který přináší riziko ${ displaystyle R ( theta, delta)}$ na minimum.

V případě, že L je čtvercová chyba ${ displaystyle delta (x) = x- operatorname {E} [X | theta = 0].}$

Pitmanův odhad

Problém odhadu je ten ${ displaystyle X = (X_ {1}, tečky, X_ {n})}$ má hustotu ${ displaystyle f (x_ {1} - theta, tečky, x_ {n} - theta)}$, kde θ je parametr, který se má odhadnout, a kde funkce ztráty je ${ displaystyle L (| a- theta |)}$. Tento problém je neměnný s následujícími (doplňkovými) transformačními skupinami:

${ displaystyle G = {g_ {c}: g_ {c} (x) = (x_ {1} + c, dots, x_ {n} + c), c in mathbb {R} ^ {1 } },}$

${ displaystyle { bar {G}} = {g_ {c}: g_ {c} ( theta) = theta + c, c in mathbb {R} ^ {1} },}$

${ displaystyle { tilde {G}} = {g_ {c}: g_ {c} (a) = a + c, c in mathbb {R} ^ {1} }.}$

Nejlepší odhad invariantů ${ displaystyle delta (x)}$ je ten, který minimalizuje

${ displaystyle { frac { int _ {- infty} ^ { infty} L ( delta (x) - theta) f (x_ {1} - theta, tečky, x_ {n} - theta) d theta} { int _ {- infty} ^ { infty} f (x_ {1} - theta, dots, x_ {n} - theta) d theta}},}$

a toto je Pitmanova odhadce (1939).

Výsledkem je případ ztráty druhé mocniny

${ displaystyle delta (x) = { frac { int _ {- infty} ^ { infty} theta f (x_ {1} - theta, dots, x_ {n} - theta) d theta} { int _ {- infty} ^ { infty} f (x_ {1} - theta, dots, x_ {n} - theta) d theta}}.}$

Li ${ displaystyle x sim N ( theta 1_ {n}, já) , !}$ (tj vícerozměrné normální rozdělení s nezávislými komponentami rozptylu jednotek)

${ displaystyle delta _ {pitman} = delta _ {ML} = { frac { sum {x_ {i}}} {n}}.}$

Li ${ displaystyle x sim C ( theta 1_ {n}, I sigma ^ {2}) , !}$ (nezávislé komponenty mající a Cauchyovo rozdělení s parametrem měřítka σ) pak${ displaystyle delta _ {pitman} neq delta _ {ML}}$, Výsledkem však je

${ displaystyle delta _ {pitman} = součet _ {k = 1} ^ {n} {x_ {k} left [{ frac {{ text {Re}} {w_ {k} }} { sum _ {m = 1} ^ {n} {{ text {Re}} {w_ {k} }}}} right]}, qquad n> 1,}$

s

${ displaystyle w_ {k} = prod _ {j neq k} left [{ frac {1} {(x_ {k} -x_ {j}) ^ {2} +4 sigma ^ {2} }} right] left [1 - { frac {2 sigma} {(x_ {k} -x_ {j})}} i right].}$

Reference

• Berger, James O. (1985). Teorie statistického rozhodování a Bayesova analýza (2. vyd.). New York: Springer-Verlag. ISBN  0-387-96098-8. PAN  0804611.^{[stránka potřebná ]}
• Freue, Gabriela V. Cohen (2007). Msgstr "Pitmanův odhad Cauchyho parametru umístění". Journal of Statistical Planning and Inference. 137: 1900–1913. doi:10.1016 / j.jspi.2006.05.002.
• Pitman, E.J.G. (1939). Msgstr "Odhad umístění a parametrů měřítka spojité populace jakékoli dané formy". Biometrika. 30 (3/4): 391–421. doi:10.1093 / biomet / 30.3-4.391. JSTOR  2332656.
• Pitman, E.J.G. (1939). "Testy hypotéz týkajících se umístění a parametrů měřítka". Biometrika. 31 (1/2): 200–215. doi:10.1093 / biomet / 31.1-2.200. JSTOR  2334983.