Nepřesný Dirichletův proces - Imprecise Dirichlet process

V teorii pravděpodobnosti a statistice se Dirichletův proces (DP) je jedním z nejpopulárnějších bayesiánských neparametrických modelů. Zavedl ji Thomas Ferguson^[1] jako předchozí nad pravděpodobnostní rozdělení.

A Dirichletův proces ${ displaystyle mathrm {DP} vlevo (s, G_ {0} vpravo)}$ je zcela definován svými parametry: ${ displaystyle G_ {0}}$ (dále jen základní rozdělení nebo základní míra) je libovolné rozdělení a ${ displaystyle s}$ (dále jen parametr koncentrace ) je kladné reálné číslo (často se označuje jako ${ displaystyle alpha}$ Podle Bayesovského paradigmatu by tyto parametry měly být zvoleny na základě dostupných předběžných informací o doméně.

Otázka zní: jak bychom měli zvolit předchozí parametry ${ displaystyle left (s, G_ {0} right)}$ DP, zejména ten nekonečný dimenzionální ${ displaystyle G_ {0}}$ , v případě nedostatku předchozích informací?

Abychom tento problém vyřešili, dosud byl navržen pouze omezující RP získaný pro ${ displaystyle s rightarrow 0}$ , který byl zaveden pod názvem Bayesian bootstrap Rubin;^[2] ve skutečnosti lze dokázat, že Bayesianský bootstrap je asymptoticky ekvivalentní častému bootstrapu zavedenému Bradley Efron.^[3]Omezující Dirichletův proces ${ displaystyle s rightarrow 0}$ byl kritizován z různých důvodů. Z a-a priori hlediska je hlavním kritikem to přijetí ${ displaystyle s rightarrow 0}$ zdaleka nevede k neinformativnímu předchozímu.^[4]Kromě toho a-a posteriori přiřadí nulovou pravděpodobnost jakékoli sadě, která nezahrnuje pozorování.^[2]

Nepřesný Dirichlet^[5] k překonání těchto problémů byl navržen proces. Základní myšlenkou je opravit ${ displaystyle s> 0}$ ale nevybírejte žádnou přesnou základní míru ${ displaystyle G_ {0}}$ .

Přesněji řečeno nepřesný Dirichletův proces (IDP) je definován takto:

{ displaystyle ~~ mathrm {IDP}: ~ left { mathrm {DP} left (s, G_ {0} right): ~~ G_ {0} in mathbb {P} right }}

kde ${ displaystyle mathbb {P}}$ je soubor všech pravděpodobnostních opatření. Jinými slovy, IDP je množina všech Dirichletových procesů (s pevným ${ displaystyle s> 0}$ ) získaný necháním základního opatření ${ displaystyle G_ {0}}$ k překlenutí množiny všech míry pravděpodobnosti.

Závěry s nepřesným Dirichletovým procesem

Nechat ${ displaystyle P}$ rozdělení pravděpodobnosti na ${ displaystyle ( mathbb {X}, { mathcal {B}})}$ (tady ${ displaystyle mathbb {X}}$ je standard Borelův prostor s Borelem ${ displaystyle sigma}$ -pole ${ displaystyle { mathcal {B}}}$ ) a předpokládejme to ${ displaystyle P sim mathrm {DP} (s, G_ {0})}$ .Pak zvažte omezenou funkci se skutečnou hodnotou ${ displaystyle f}$ definováno dne ${ displaystyle ( mathbb {X}, { mathcal {B}})}$ . Je dobře známo, že očekávání ${ displaystyle E [f]}$ s ohledem na Dirichletův proces je

{ displaystyle { mathcal {E}} [E (f)] = { mathcal {E}} vlevo [ int f , dP vpravo] = int f , d { mathcal {E}} [P] = int f , dG_ {0}.}

Jednou z nejpozoruhodnějších vlastností DP předních je to, že zadní distribuce ${ displaystyle P}$ je opět DP. Pojďme ${ displaystyle X_ {1}, tečky, X_ {n}}$ být nezávislým a identicky distribuovaným vzorkem z ${ displaystyle P}$ a ${ displaystyle P sim Dp (s, G_ {0})}$ , pak zadní distribuce ${ displaystyle P}$ vzhledem k pozorování je

{ displaystyle P mid X_ {1}, dots, X_ {n} sim Dp left (s + n, G_ {n} right), ~~~ { text {with}} ~~~~ ~~ G_ {n} = { frac {s} {s + n}} G_ {0} + { frac {1} {s + n}} sum limity _ {i = 1} ^ {n} delta _ {X_ {i}},}

kde ${ displaystyle delta _ {X_ {i}}}$ je míra atomové pravděpodobnosti (Diracova delta) se středem na ${ displaystyle X_ {i}}$ . Z toho tedy vyplývá, že ${ displaystyle { mathcal {E}} [E (f) mid X_ {1}, dots, X_ {n}] = int f , dG_ {n}.}$ Proto pro všechny pevné ${ displaystyle G_ {0}}$ , můžeme využít předchozí rovnice k odvození předchozích a zadních očekávání.

V IDP ${ displaystyle G_ {0}}$ může překlenout množinu všech distribucí ${ displaystyle mathbb {P}}$ . To znamená, že budeme mít odlišné předchozí a zadní očekávání ${ displaystyle E (f)}$ pro jakoukoli volbu ${ displaystyle G_ {0}}$ . Způsob, jak charakterizovat závěry pro IDP je výpočtem dolní a horní hranice pro očekávání ${ displaystyle E (f)}$ w.r.t. ${ displaystyle G_ {0} in mathbb {P}}$ .A priori tyto hranice jsou:

{ displaystyle { underline { mathcal {E}}} [E (f)] = inf limity _ {G_ {0} in mathbb {P}} int f , dG_ {0} = inf f, ~~~~ { overline { mathcal {E}}} [E (f)] = sup limity _ {G_ {0} v mathbb {P}} int f , dG_ { 0} = sup f,}

dolní (horní) mez je získána mírou pravděpodobnosti, která vloží veškerou hmotnost na infimum (supremum) ${ displaystyle f}$ , tj., ${ displaystyle G_ {0} = delta _ {X_ {0}}}$ s ${ displaystyle X_ {0} = arg inf f}$ (nebo příslušně s ${ displaystyle X_ {0} = arg sup f}$ ). Z výše uvedených výrazů dolní a horní hranice lze pozorovat, že rozsah ${ displaystyle { mathcal {E}} [E (f)]}$ pod IDP je stejný jako originál rozsah z ${ displaystyle f}$ . Jinými slovy, uvedením IDP neposkytujeme žádné předchozí informace o hodnotě očekávání ${ displaystyle f}$ . A priori, IDP je tedy modelem předchozí (téměř) -ororance pro ${ displaystyle E (f)}$ .

A-a posteriori, IDP se může učit z údajů. Zadní dolní a horní hranice pro očekávání ${ displaystyle E (f)}$ jsou ve skutečnosti dány:

{ displaystyle { begin {aligned} { underline { mathcal {E}}} [E (f) mid X_ {1}, dots, X_ {n}] & = inf limits _ {G_ { 0} in mathbb {P}} int f , dG_ {n} = { frac {s} {s + n}} inf f + int f (X) { frac {1} {s + n}} sum limity _ {i = 1} ^ {n} delta _ {X_ {i}} (dX) & = { frac {s} {s + n}} inf f + { frac {n} {s + n}} { frac { sum limity _ {i = 1} ^ {n} f (X_ {i})} {n}}, [6pt] { overline { mathcal {E}}} [E (f) mid X_ {1}, dots, X_ {n}] & = sup limits _ {G_ {0} in mathbb {P}} int f , dG_ {n} = { frac {s} {s + n}} sup f + int f (X) { frac {1} {s + n}} sum limity _ {i = 1} ^ {n} delta _ {X_ {i}} (dX) & = { frac {s} {s + n}} sup f + { frac {n} {s + n}} { frac { sum limits _ {i = 1} ^ {n} f (X_ {i})} {n}}. end {aligned}}}

Lze pozorovat, že zadní závěry nezávisí ${ displaystyle G_ {0}}$ . K definování IDP musí modelář pouze vybrat ${ displaystyle s}$ (parametr koncentrace). To vysvětluje význam přídavného jména u v předchozí téměř neznalosti, protože IDP vyžaduje od modeláře vyvolání parametru. Jedná se však o jednoduchý problém elicitace pro neparametrického předchozího, protože musíme zvolit pouze hodnotu kladného skaláru (v modelu IDP nezbývá nekonečně mnoho parametrů).

Nakonec to pozorujte pro ${ displaystyle n rightarrow infty}$ , IDP vyhovuje

{ displaystyle { underline { mathcal {E}}} vlevo [E (f) mid X_ {1}, dots, X_ {n} right], quad { overline { mathcal {E} }} left [E (f) mid X_ {1}, dots, X_ {n} right] rightarrow S (f),}

kde ${ displaystyle S (f) = lim _ {n rightarrow infty} { tfrac {1} {n}} sum _ {i = 1} ^ {n} f (X_ {i})}$ . Jinými slovy, IDP je konzistentní.

Dolní (červená) a horní (modrá) kumulativní distribuce pro pozorování {−1,17, 0,44, 1,17, 3,28, 1,44, 1,98}

Volba předchozí síly ${ displaystyle s}$

IDP je zcela specifikováno ${ displaystyle s}$ , což je jediný parametr zbývající v předchozím modelu. od hodnoty ${ displaystyle s}$ určuje, jak rychle se dolní a horní zadní očekávání sbíhají při zvýšení počtu pozorování, ${ displaystyle s}$ lze zvolit tak, aby odpovídal určité konvergenční rychlosti.^[5]Parametr ${ displaystyle s}$ může být také vybráno tak, aby mělo některé žádoucí frekventované vlastnosti (např. důvěryhodné intervaly k kalibraci frekventovaných intervalů, testy hypotéz, které mají být kalibrovány na chybu typu I atd.), viz Příklad: střední test

Příklad: odhad kumulativního rozdělení

Nechat ${ displaystyle X_ {1}, tečky, X_ {n}}$ být i.i.d. skutečné náhodné proměnné s kumulativní distribuční funkce ${ displaystyle F (x)}$ .

Od té doby ${ displaystyle F (x) = E [ mathbb {I} _ {( infty, x]}]}$ , kde ${ displaystyle mathbb {I} _ {( infty, x]}}$ je funkce indikátoru, můžeme použít IDP k odvození závěrů o ${ displaystyle F (x).}$ Dolní a horní zadní průměr ${ displaystyle F (x)}$ jsou

{ displaystyle { begin {aligned} & { underline { mathcal {E}}} left [F (x) mid X_ {1}, dots, X_ {n} right] = { underline { mathcal {E}}} [E ( mathbb {I} _ {( infty, x]}) mid X_ {1}, dots, X_ {n}] = {} & { frac { n} {s + n}} { frac { sum limity _ {i = 1} ^ {n} mathbb {I} _ {( infty, x]} (X_ {i})} {n} } = { frac {n} {s + n}} { hat {F}} (x), [12pt] & { overline { mathcal {E}}} left [F (x) mid X_ {1}, dots, X_ {n} right] = { overline { mathcal {E}}} left [E ( mathbb {I} _ {( infty, x]}) mid X_ {1}, dots, X_ {n} right] = {} & { frac {s} {s + n}} + { frac {n} {s + n}} { frac { sum limits _ {i = 1} ^ {n} mathbb {I} _ {( infty, x]} (X_ {i})} {n}} = { frac {s} {s + n }} + { frac {n} {s + n}} { hat {F}} (x). end {zarovnáno}}}

kde ${ displaystyle { hat {F}} (x)}$ je empirická distribuční funkce. Tady, abychom získali nižší, jsme využili skutečnost, že ${ displaystyle inf mathbb {I} _ {( infty, x]} = 0}$ a pro horní část ${ displaystyle sup mathbb {I} _ {( infty, x]} = 1}$ .

Distribuce beta pro dolní (červenou) a horní (modrou) pravděpodobnost odpovídající pozorování {-1,17, 0,44, 1,17, 3,28, 1,44, 1,98}. Oblast v [0,0,5] dává nižší (0,891) a horní (0,9375) pravděpodobnost hypotézy „medián je větší než nula“.

Všimněte si, že pro jakoukoli přesnou volbu ${ displaystyle G_ {0}}$ (např. normální rozdělení ${ displaystyle { mathcal {N}} (x; 0,1)}$ ), zadní očekávání ${ displaystyle F (x)}$ budou zahrnuty mezi dolní a horní mez.

Příklad: střední test

IDP lze také použít k testování hypotéz, například k testování hypotézy ${ displaystyle F (0) <0,5}$ , tj. medián ${ displaystyle F}$ je větší než nula. Zvažováním oddílu ${ displaystyle (- infty, 0], (0, infty)}$ a vlastnost Dirichletova procesu lze ukázat, že zadní distribuce ${ displaystyle F (0)}$ je

{ displaystyle F (0) sim mathrm {Beta} ( alpha _ {0} + n _ {<0}, beta _ {0} + n-n _ {<0})}

kde ${ displaystyle n _ {<0}}$ je počet pozorování, který je menší než nula,

{ displaystyle alpha _ {0} = s int _ {- infty} ^ {0} dG_ {0}}

a

{ displaystyle beta _ {0} = s int _ {0} ^ { infty} dG_ {0}.}

Využitím této vlastnosti z toho vyplývá

{ displaystyle { underline { mathcal {P}}} [F (0) <0,5 mid X_ {1}, dots, X_ {n}] = int limity _ {0} ^ {0,5} mathrm {Beta} ( theta; s + n _ {<0}, n-n _ {<0}) d theta = I_ {1/2} (s + n _ {<0}, n-n _ {<0} ),}

{ displaystyle { overline { mathcal {P}}} [F (0) <0,5 střední X_ {1}, tečky, X_ {n}] = int limity _ {0} ^ {0,5} mathrm {Beta} ( theta; n _ {<0}, s + n-n _ {<0}) d theta = I_ {1/2} (n _ {<0}, s + n-n _ {<0} ).}

kde ${ displaystyle I_ {x} ( alfa, beta)}$ je legalizovaná neúplná beta funkce Můžeme tedy provést test hypotézy

{ displaystyle { underline { mathcal {P}}} [F (0) <0,5 mid X_ {1}, dots, X_ {n}]> 1- gamma, ~~ { overline { mathcal {P}}} [F (0) <0,5 mid X_ {1}, dots, X_ {n}]> 1- gamma,}

(s ${ displaystyle 1- gamma = 0,95}$ například) a poté

pokud jsou obě nerovnosti splněny, můžeme to prohlásit ${ displaystyle F (0) <0,5}$ s pravděpodobností větší než ${ displaystyle 1- gamma}$ ;
pokud je uspokojena pouze jedna z nerovností (což musí nutně být ta pro horní), jsme v neurčité situaci, tj. nemůžeme se rozhodnout;
pokud oba nejsou spokojeni, můžeme prohlásit, že pravděpodobnost, že ${ displaystyle F (0) <0,5}$ je nižší než požadovaná pravděpodobnost ${ displaystyle 1- gamma}$ .

IDP vrátí neurčité rozhodnutí, když je rozhodnutí závislé na předchozím (tj. Kdy by to záleželo na výběru ${ displaystyle G_ {0}}$ ).

Využíváním vztahu mezi kumulativní distribuční funkce z Distribuce beta a kumulativní distribuční funkce a náhodná proměnná Z od a binomická distribuce, kde je „pravděpodobnost úspěchu“ str a velikost vzorku je n:

{ Displaystyle F (k; n, p) = Pr (Z leq k) = I_ {1-p} (n-k, k + 1) = 1-I_ {p} (k + 1, n-k),}

můžeme ukázat, že mediánový test odvozený s tímto IDP pro jakoukoli volbu ${ displaystyle s geq 1}$ zahrnuje jednostranný test častého přihlášení jako test mediánu. Lze ve skutečnosti ověřit, že pro ${ displaystyle s = 1}$ the ${ displaystyle p}$ -hodnota testu znaménka se rovná ${ displaystyle 1 - { underline { mathcal {P}}} [F (0) <0,5 mid X_ {1}, dots, X_ {n}]}$ . Pokud tedy ${ displaystyle { underline { mathcal {P}}} [F (0) <0,5 mid X_ {1}, dots, X_ {n}]> 0,95}$ pak ${ displaystyle p}$ -hodnota je menší než ${ displaystyle 0,05}$ a tedy mají dva testy stejnou sílu.

Aplikace nepřesného Dirichletova procesu

Dirichletovy procesy se často používají v Bayesovské neparametrické statistice. Nepřesný Dirichletův proces lze použít místo Dirichletových procesů v jakékoli aplikaci, ve které chybí předchozí informace (je proto důležité modelovat tento stav předchozí nevědomosti).

V tomto ohledu byl pro neparametrické testování hypotéz použit nepřesný Dirichletův proces, viz statistický balíček nepřesného Dirichletova procesu Na základě nepřesného Dirichletova procesu byly odvozeny Bayesovské neparametrické téměř ignorující verze následujících klasických neparametrických odhadů: Wilcoxonův test součtu hodnot^[5] a Wilcoxonův podepsaný test.^[6]

Bayesovský neparametrický model téměř ignorance představuje několik výhod s ohledem na tradiční přístup k testování hypotéz.

Bayesovský přístup nám umožňuje formulovat test hypotézy jako rozhodovací problém. To znamená, že můžeme ověřit důkazy ve prospěch nulové hypotézy a nejen je odmítnout a přijímat rozhodnutí, která minimalizují očekávanou ztrátu.
Kvůli neparametrické předchozí téměř neznalosti nám testy založené na IDP umožňují zahájit test hypotézy s velmi slabými předchozími předpoklady, hodně ve směru, kdy necháme data mluvit sama za sebe.
Ačkoli test IDP sdílí několik podobností se standardním bayesovským přístupem, zároveň ztělesňuje významnou změnu paradigmatu, pokud jde o přijímání rozhodnutí. Ve skutečnosti mají testy založené na IDP tu výhodu, že produkují neurčitý výsledek, když je rozhodnutí závislé na předchozím. Jinými slovy, test IDP pozastavuje úsudek, když se možnost, která minimalizuje očekávané ztráty, mění v závislosti na základním měřítku Dirichletova procesu, na které se zaměřujeme.
Empiricky bylo ověřeno, že když je test IDP neurčitý, frekventistické testy se chovají prakticky jako náhodní hádači. Tento překvapivý výsledek má praktické důsledky při testování hypotéz. Předpokládejme, že se pokoušíme porovnat účinky dvou lékařských ošetření (Y je lepší než X) a že vzhledem k dostupným údajům je test IDP neurčitý. V takové situaci vydá testovací metoda vždy rozhodnou odpověď (mohu například říci, že Y je lepší než X), ale ukázalo se, že její reakce je zcela náhodná, jako kdybychom hodili mincí. Na druhé straně test IDP uznává v těchto případech nemožnost rozhodnutí. Test IDP tedy slovy „nevím“ poskytuje analytikovi bohatší informace. Analytik by například mohl tyto informace použít ke shromažďování více údajů.

Kategorické proměnné

Pro kategorické proměnné, tj. kdy ${ displaystyle mathbb {X}}$ má konečný počet prvků, je známo, že Dirichletův proces se redukuje na a Dirichletova distribuce V tomto případě se nepřesný Dirichletův proces redukuje na Nepřesný Dirichletův model navrhl Walley^[7] jako model pro šanci na předchozí (téměř) slabost.

Viz také

Nepřesná pravděpodobnost

Robustní Bayesiánská analýza

Reference

^ Ferguson, Thomas (1973). „Bayesiánská analýza některých neparametrických problémů“. Annals of Statistics. 1 (2): 209–230. doi:10.1214 / aos / 1176342360. PAN 0350949.
^ ^A ^b Rubin D (1981). Bayesian bootstrap. Ann. Stat. 9 130–134
^ Efron B (1979). Metody bootstrapu: Další pohled na kapesní nůž. Ann. Stat. 7 1–26
^ Sethuraman, J .; Tiwari, R. C. (1981). "Konvergence Dirichletových opatření a interpretace jejich parametrů". Obranné technické informační centrum.
^ ^A ^b ^C Benavoli, Alessio; Mangili, Francesca; Ruggeri, Fabrizio; Zaffalon, Marco (2014). „Nepřesný Dirichletův proces s aplikací na test hypotézy o pravděpodobnosti, že X arXiv:1402.2755 [matematika ].
^ Benavoli, Alessio; Mangili, Francesca; Corani, Giorgio; Ruggeri, Fabrizio; Zaffalon, Marco (2014). „Bayesian Wilcoxon podepsal test na základě Dirichletova procesu“. Sborník z 30. mezinárodní konference o strojovém učení (ICML 2014). Citovat deník vyžaduje | deník = (Pomoc)
^ Walley, Peter (1991). Statistické uvažování s nepřesnými pravděpodobnostmi. London: Chapman and Hall. ISBN 0-412-28660-2.

externí odkazy

[1] Ferguson, Thomas (1973). „Bayesiánská analýza některých neparametrických problémů“. Annals of Statistics. 1 (2): 209–230. doi:10.1214 / aos / 1176342360. PAN 0350949.

[Rubin1981-2] A ^b Rubin D (1981). Bayesian bootstrap. Ann. Stat. 9 130–134

[Efron1979-3] Efron B (1979). Metody bootstrapu: Další pohled na kapesní nůž. Ann. Stat. 7 1–26

[4] Sethuraman, J .; Tiwari, R. C. (1981). "Konvergence Dirichletových opatření a interpretace jejich parametrů". Obranné technické informační centrum.

[Benavoliarxiv-5] A ^b ^C Benavoli, Alessio; Mangili, Francesca; Ruggeri, Fabrizio; Zaffalon, Marco (2014). „Nepřesný Dirichletův proces s aplikací na test hypotézy o pravděpodobnosti, že X arXiv:1402.2755 [matematika ].

[6] Benavoli, Alessio; Mangili, Francesca; Corani, Giorgio; Ruggeri, Fabrizio; Zaffalon, Marco (2014). „Bayesian Wilcoxon podepsal test na základě Dirichletova procesu“. Sborník z 30. mezinárodní konference o strojovém učení (ICML 2014). Citovat deník vyžaduje | deník = (Pomoc)

[WALLEY1991-7] Walley, Peter (1991). Statistické uvažování s nepřesnými pravděpodobnostmi. London: Chapman and Hall. ISBN 0-412-28660-2.

[1]

[2]

[3]

[4]

[5]

[6]

[7]