Zadní prediktivní distribuce - Posterior predictive distribution

v Bayesovské statistiky, zadní prediktivní distribuce je rozdělení možných nepozorovaných hodnot podmíněné sledovanými hodnotami.^[1]^[2]

Vzhledem k souboru N i.i.d. pozorování ${ displaystyle mathbf {X} = {x_ {1}, tečky, x_ {N} }}$ , nová hodnota ${ displaystyle { tilde {x}}}$ bude čerpáno z distribuce, která závisí na parametru ${ displaystyle theta v theta}$ :

{ displaystyle p ({ tilde {x}} | theta)}

Může se zdát lákavé připojit jediný nejlepší odhad ${ displaystyle { hat { theta}}}$ pro ${ displaystyle theta}$ , ale to ignoruje nejistotu ohledně ${ displaystyle theta}$ , a protože je zdroj nejistoty ignorován, bude předpokládané rozdělení příliš úzké. Extrémní hodnoty ${ displaystyle { tilde {x}}}$ dojde častěji, než naznačuje zadní distribuce.

Zadní prediktivní distribuce odpovídá za nejistotu ${ displaystyle theta}$ . Zadní rozdělení možné ${ displaystyle theta}$ hodnoty závisí na ${ displaystyle mathbf {X}}$ :

{ displaystyle p ( theta | mathbf {X})}

A zadní prediktivní distribuce ${ displaystyle { tilde {x}}}$ daný ${ displaystyle mathbf {X}}$ se počítá opomíjení distribuce ${ displaystyle { tilde {x}}}$ daný ${ displaystyle theta}$ nad zadní distribucí ${ displaystyle theta}$ daný ${ displaystyle mathbf {X}}$ :

{ displaystyle p ({ tilde {x}} | mathbf {X}) = int _ { Theta} p ({ tilde {x}} | theta, mathbf {X}) , p ( theta | mathbf {X}) operatorname {d} ! theta}

Protože to odpovídá nejistotě ohledně ${ displaystyle theta}$ , zadní prediktivní distribuce bude obecně širší než prediktivní distribuce, která zapojí jeden nejlepší odhad pro ${ displaystyle theta}$ .

Předchozí a zadní prediktivní rozdělení

The předchozí prediktivní distribuce, v Bayesovském kontextu, je distribuce datového bodu na okraji jeho předchozí distribuce. To je, pokud ${ displaystyle { tilde {x}} sim F ({ tilde {x}} | theta)}$ a ${ displaystyle theta sim G ( theta | alfa)}$ , pak předchozí prediktivní distribuce je odpovídající distribuce ${ displaystyle H ({ tilde {x}} | alpha)}$ , kde

{ displaystyle p_ {H} ({ tilde {x}} | alpha) = int _ { theta} p_ {F} ({ tilde {x}} | theta) , p_ {G} ( theta | alpha) operatorname {d} ! theta}

To je podobné zadní prediktivní distribuci s tím rozdílem, že marginalizace (nebo ekvivalentně očekávání) je brána s ohledem na předchozí distribuci místo zadní distribuce.

Kromě toho, pokud předchozí distribuce ${ displaystyle G ( theta | alfa)}$ je před konjugátem potom zadní prediktivní distribuce bude patřit do stejné rodiny distribucí jako předchozí prediktivní distribuce. To je snadné vidět. Pokud je předchozí distribuce ${ displaystyle G ( theta | alfa)}$ je tedy konjugovaný

{ displaystyle p ( theta | mathbf {X}, alpha) = p_ {G} ( theta | alpha '),}

tj. zadní distribuce také patří ${ displaystyle G ( theta | alfa),}$ ale jednoduše s jiným parametrem ${ displaystyle alpha '}$ místo původního parametru ${ displaystyle alpha.}$ Pak,

{ displaystyle { begin {aligned} p ({ tilde {x}} | mathbf {X}, alpha) & = int _ { theta} p_ {F} ({ tilde {x}} | theta) , p ( theta | mathbf {X}, alpha) operatorname {d} ! theta & = int _ { theta} p_ {F} ({ tilde {x} } | theta) , p_ {G} ( theta | alpha ') operatorname {d} ! theta & = p_ {H} ({ tilde {x}} | alpha') konec {zarovnáno}}}

Zadní prediktivní distribuce tedy sleduje stejnou distribuci H jako předchozí prediktivní distribuce, ale se zadními hodnotami hyperparametrů nahrazených předchozími.

Předchozí prediktivní distribuce je ve formě a složená distribuce, a ve skutečnosti je často zvyklý definovat A složená distribuce, kvůli nedostatku jakýchkoli komplikujících faktorů, jako je závislost na datech ${ displaystyle mathbf {X}}$ a otázka konjugace. Například Studentova t-distribuce může být definovaný jako předchozí prediktivní distribuce a normální distribuce se známým znamenat μ ale neznámý rozptyl σ_X², s konjugátem před distribuce v měřítku-inverze-chi-kvadrát umístěno na σ_X²s hyperparametry ν a σ². Výsledná distribuce sloučeniny ${ displaystyle t (x | mu, nu, sigma ^ {2})}$ je skutečně nestandardizovaný Studentova t-distribuce, a sleduje jednu ze dvou nejběžnějších parametrizací této distribuce. Potom by odpovídající zadní prediktivní distribuce byla opět Studentova t, s aktualizovanými hyperparametry ${ displaystyle nu ', { sigma ^ {2}}'}$ které se objevují v zadní distribuci, se také přímo objevují v zadní prediktivní distribuci.

V některých případech je vhodná složená distribuce definována pomocí jiné parametrizace, než je ta, která by byla nejpřirozenější pro prediktivní distribuce v aktuálním problému. To často vede k tomu, že předchozí distribuce použitá k definování složené distribuce se liší od předchozí distribuce použité v aktuálním problému. Například, jak je uvedeno výše, Studentova t-distribuce byl definován v pojmech a distribuce v měřítku-inverze-chi-kvadrát umístěn na rozptyl. Je však běžnější používat inverzní rozdělení gama jako konjugát před v této situaci. Ty dva jsou ve skutečnosti ekvivalentní, kromě parametrizace; tudíž Studentovu t-distribuci lze stále použít buď pro prediktivní distribuci, ale hyperparametry musí být před připojením znovu nastaveny.

V exponenciálních rodinách

Většina, ale ne všechny, běžné distribuční rodiny patří do exponenciální rodina distribucí. Exponenciální rodiny mají velké množství užitečných vlastností. Jedním z nich je, že všichni členové mají před konjugátem distribuce - zatímco jen velmi málo dalších distribucí má konjugované předchůdce.

Předchozí prediktivní rozdělení v exponenciálních rodinách

Další užitečnou vlastností je, že funkce hustoty pravděpodobnosti z složená distribuce odpovídající předchozímu prediktivnímu rozdělení an exponenciální rodina rozdělení na okraji společnosti přes jeho před konjugátem distribuci lze určit analyticky. Předpokládat, že ${ displaystyle F (x | { boldsymbol { theta}})}$ je členem exponenciální rodiny s parametrem ${ displaystyle { boldsymbol { theta}}}$ který je parametrizován podle přirozený parametr ${ displaystyle { boldsymbol { eta}} = { boldsymbol { eta}} ({ boldsymbol { theta}})}$ a je distribuován jako

{ displaystyle p_ {F} (x | { boldsymbol { eta}}) = h (x) g ({ boldsymbol { eta}}) e ^ {{ boldsymbol { eta}} ^ { rm {T}} mathbf {T} (x)}}

zatímco ${ displaystyle G ({ boldsymbol { eta}} | { boldsymbol { chi}}, nu)}$ je vhodný předchozí konjugát, distribuovaný jako

{ displaystyle p_ {G} ({ boldsymbol { eta}} | { boldsymbol { chi}}, nu) = f ({ boldsymbol { chi}}, nu) g ({ boldsymbol { eta}}) ^ { nu} e ^ {{ boldsymbol { eta}} ^ { rm {T}} { boldsymbol { chi}}}}

Pak předchozí prediktivní distribuce ${ displaystyle H}$ (výsledek složení ${ displaystyle F}$ s ${ displaystyle G}$ ) je

{ displaystyle { begin {aligned} p_ {H} (x | { boldsymbol { chi}}, nu) & = { displaystyle int limits _ { boldsymbol { eta}} p_ {F} (x | { boldsymbol { eta}}) p_ {G} ({ boldsymbol { eta}} | { boldsymbol { chi}}, nu) , operatorname {d} { boldsymbol { eta}}} & = { displaystyle int limity _ { boldsymbol { eta}} h (x) g ({ boldsymbol { eta}}) e ^ {{ boldsymbol { eta}} ^ { rm {T}} mathbf {T} (x)} f ({ boldsymbol { chi}}, nu) g ({ boldsymbol { eta}}) ^ { nu} e ^ { { boldsymbol { eta}} ^ { rm {T}} { boldsymbol { chi}}} , operatorname {d} { boldsymbol { eta}}} & = { displaystyle h ( x) f ({ boldsymbol { chi}}, nu) int limity _ { boldsymbol { eta}} g ({ boldsymbol { eta}}) ^ { nu +1} e ^ { { boldsymbol { eta}} ^ { rm {T}} ({ boldsymbol { chi}} + mathbf {T} (x))} , operatorname {d} { boldsymbol { eta} }} & = h (x) { dfrac {f ({ boldsymbol { chi}}, nu)} {f ({ boldsymbol { chi}} + mathbf {T} (x), nu +1)}} end {zarovnáno}}}

Poslední řádek vyplývá z předchozího rozpoznáním, že funkcí uvnitř integrálu je funkce hustoty náhodné proměnné distribuované jako ${ displaystyle G ({ boldsymbol { eta}} | { boldsymbol { chi}} + mathbf {T} (x), nu +1)}$ , kromě normalizace funkce ${ displaystyle f ( dots) ,}$ . Výsledkem integrace bude tedy převrácená hodnota normalizační funkce.

Výše uvedený výsledek je nezávislý na volbě parametrizace ${ displaystyle { boldsymbol { theta}}}$ jako žádný z ${ displaystyle { boldsymbol { theta}}}$ , ${ displaystyle { boldsymbol { eta}}}$ a ${ displaystyle g ( dots) ,}$ objeví se. ( ${ displaystyle g ( dots) ,}$ je funkcí parametru, a proto bude mít různé formy v závislosti na volbě parametrizace.) Pro standardní volby ${ displaystyle F}$ a ${ displaystyle G}$ , je často snazší pracovat přímo s obvyklými parametry než přepisovat pomocí přirozené parametry.

Důvod, proč je integrál přitažlivý, je ten, že zahrnuje výpočet normalizační konstanta hustoty definované produktem a předchozí distribuce a a pravděpodobnost. Když jsou dva sdružené, produkt je a zadní distribuce, a za předpokladu, že je známa normalizační konstanta tohoto rozdělení. Jak je uvedeno výše, funkce hustoty distribuce sloučeniny následuje určitou formu, sestávající z produktu funkce ${ displaystyle h (x)}$ který je součástí funkce hustoty pro ${ displaystyle F}$ , s podílem dvou forem normalizační „konstanty“ pro ${ displaystyle G}$ , jeden je odvozen z předchozí distribuce a druhý ze zadní distribuce. The beta-binomická distribuce je dobrým příkladem toho, jak tento proces funguje.

Navzdory analytické použitelnosti těchto distribucí samy o sobě obvykle nejsou členy exponenciální rodina. Například tři parametry Studentova distribuce, beta-binomická distribuce a Dirichletovo-multinomické rozdělení jsou všechna prediktivní distribuce distribucí exponenciální rodiny ( normální distribuce, binomická distribuce a multinomické distribuce ), ale žádný z nich není členem exponenciální rodiny. To lze vidět výše kvůli přítomnosti funkční závislosti na ${ displaystyle { boldsymbol { chi}} + mathbf {T} (x)}$ . V distribuci exponenciální rodiny musí být možné rozdělit celou funkci hustoty na multiplikativní faktory tří typů: (1) faktory obsahující pouze proměnné, (2) faktory obsahující pouze parametry a (3) faktory, jejichž logaritmus faktorizuje mezi proměnnými a parametry. Přítomnost někoho ${ displaystyle { boldsymbol { chi}} + mathbf {T} (x) { chi}}$ to znemožňuje, pokud funkce „normalizace“ není ${ displaystyle f ( dots) ,}$ buď zcela ignoruje odpovídající argument, nebo jej použije pouze v exponentu výrazu.

Zadní prediktivní distribuce v exponenciálních rodinách

Když se používá konjugovaný prior, zadní prediktivní distribuce patří do stejné rodiny jako předchozí prediktivní distribuce a je určena jednoduše zapojením aktualizovaných hyperparametrů pro zadní distribuci parametrů (parametrů) do vzorce pro předchozí prediktivní distribuci . Použití obecné formy zadních aktualizačních rovnic pro distribuce exponenciální rodiny (viz příslušná část v článku exponenciální rodiny ), můžeme napsat explicitní vzorec pro zadní prediktivní rozdělení:

{ displaystyle { begin {array} {lcl} p ({ tilde {x}} | mathbf {X}, { boldsymbol { chi}}, nu) & = & p_ {H} left ({ tilde {x}} | { boldsymbol { chi}} + mathbf {T} ( mathbf {X}), nu + N right) end {pole}}}

kde

{ displaystyle mathbf {T} ( mathbf {X}) = součet _ {i = 1} ^ {N} mathbf {T} (x_ {i})}

To ukazuje, že zadní prediktivní distribuce řady pozorování v případě, že pozorování následují za exponenciální rodina s příslušným před konjugátem, má stejnou hustotu pravděpodobnosti jako složené rozdělení s parametry, jak je uvedeno výše. Samotná pozorování se zadávají pouze ve formě ${ displaystyle mathbf {T} ( mathbf {X}) = součet _ {i = 1} ^ {N} mathbf {T} (x_ {i}).}$

Toto se nazývá dostatečná statistika pozorování, protože nám říká vše, co potřebujeme vědět o pozorováních, abychom na jejich základě mohli vypočítat zadní nebo zadní prediktivní distribuci (nebo, cokoli jiného, založeného na pravděpodobnost z pozorování, jako je mezní pravděpodobnost ).

Společné prediktivní rozdělení, mezní pravděpodobnost

Je také možné vzít v úvahu výsledek sloučení společného rozdělení na pevný počet nezávislé identicky distribuované vzorky s předchozí distribucí přes sdílený parametr. V bayesovském prostředí to přichází v různých kontextech: výpočet předchozího nebo zadního prediktivního rozdělení několika nových pozorování a výpočet mezní pravděpodobnost sledovaných údajů (jmenovatel v roce 2006) Bayesův zákon ). Když je distribuce vzorků z exponenciální rodiny a předchozí distribuce je konjugovaná, výsledná distribuce sloučeniny bude spojitelná a bude mít podobnou formu jako výše uvedený výraz. Je snadné ukázat, ve skutečnosti, že společné složené rozdělení sady ${ displaystyle mathbf {X} = {x_ {1}, tečky, x_ {N} }}$ pro ${ displaystyle N}$ pozorování je

{ displaystyle p_ {H} ( mathbf {X} | { boldsymbol { chi}}, nu) = left ( prod _ {i = 1} ^ {N} h (x_ {i}) vpravo) { dfrac {f ({ boldsymbol { chi}}, nu)} {f vlevo ({ boldsymbol { chi}} + mathbf {T} ( mathbf {X}), nu + N doprava)}}}

Tento výsledek a výše uvedený výsledek pro jednu sloučeninu se triviálně rozšíří na případ distribuce přes pozorování s vektorovou hodnotou, jako je například vícerozměrná Gaussova distribuce.

Vztah k Gibbsovu vzorkování

Sbalení uzlu v a zhroutil Gibbsův vzorkovač je ekvivalentní k složení. Jako výsledek, když soubor nezávislé identicky distribuované (i.i.d.) uzly všechny závisí na stejném předchozím uzlu a tento uzel je sbalen, výsledný podmíněná pravděpodobnost jednoho uzlu vzhledem k ostatním stejně jako rodičům zhrouceného uzlu (ale není podmínkou pro jiné uzly, např. jakékoli podřízené uzly) je stejné jako zadní prediktivní distribuce všech zbývajících i.i.d. uzly (nebo přesněji dříve uzly i.i.d., protože kolaps zavádí závislosti mezi uzly). To znamená, že je obecně možné implementovat kolaps z uzlu jednoduše připojením všech rodičů uzlu přímo ke všem dětem a nahrazením dřívějšího podmíněného rozdělení pravděpodobnosti spojeného s každým dítětem odpovídajícím zadním prediktivním rozdělením pro dítě podmíněné jeho rodiče a druhý dříve iid uzly, které byly také potomky odstraněného uzlu. Například pro podrobnější diskusi a pro některá upozornění týkající se určitých složitých problémů viz Dirichletovo-multinomické rozdělení článek.

Viz také

Reference

^ „Zadní prediktivní distribuce“. SAS. Citováno 19. července 2014.
^ Gelman A, Carlin J. B., Stern H. S., Dunson D. B., Vehtari A., Rubin D. B. (2014) Bayesovská analýza dat, Chapman & Hall, str

[1] „Zadní prediktivní distribuce“. SAS. Citováno 19. července 2014.

[BDA3-2] Gelman A, Carlin J. B., Stern H. S., Dunson D. B., Vehtari A., Rubin D. B. (2014) Bayesovská analýza dat, Chapman & Hall, str

[1]

[2]