Bayesovská redukce modelu - Bayesian model reduction - Wikipedia

Bayesovská redukce modelu je metoda výpočtu důkaz a zadní nad parametry Bayesian modely, které se liší svými předchůdci.^[1]^[2] Plný model je přizpůsoben datům pomocí standardních přístupů. Hypotézy jsou poté testovány definováním jednoho nebo více „redukovaných“ modelů s alternativními (a obvykle přísnějšími) předchozími, které obvykle - v limitu - vypínají určité parametry. Důkazy a parametry redukovaných modelů lze poté vypočítat z důkazů a odhadnout (zadní ) parametry celého modelu pomocí redukce Bayesovského modelu. Pokud jsou přední a zadní normálně distribuováno, pak existuje analytické řešení, které lze rychle vypočítat. To má několik vědeckých a technických aplikací: mezi ně patří velmi rychlé získávání důkazů pro velký počet modelů a usnadnění odhadu hierarchických modelů (Parametrické empirické pozice ).

Teorie

Zvažte nějaký model s parametry ${ displaystyle theta}$ a předchozí hustota pravděpodobnosti u těchto parametrů ${ displaystyle p ( theta)}$ . Zadní víra o ${ displaystyle theta}$ poté, co viděl data ${ displaystyle p ( theta mid y)}$ darováno Bayesovo pravidlo:

{ displaystyle { begin {zarovnáno} p ( theta mid y) & = { frac {p (y mid theta) p ( theta)} {p (y)}} p (y) & = int p (y mid theta) p ( theta) , d theta end {zarovnáno}}}

(1)

Druhá linie rovnice 1 je důkazem modelu, což je pravděpodobnost pozorování dat daného modelu. V praxi nelze obvykle posteriorně vypočítat analyticky kvůli obtížnosti výpočtu integrálu přes parametry. Proto jsou zadní části odhadovány pomocí přístupů, jako jsou Vzorkování MCMC nebo variační Bayes. Zmenšený model lze poté definovat s alternativní sadou předchůdců ${ displaystyle { tilde {p}} ( theta)}$ :

{ displaystyle { begin {zarovnaný} { tilde {p}} ( theta mid y) & = { frac {p (y mid theta) { tilde {p}} ( theta)} { { tilde {p}} (y)}} { tilde {p}} (y) & = int p (y mid theta) { tilde {p}} ( theta) , d theta end {zarovnáno}}}

(2)

Cílem Bayesovské redukce modelu je vypočítat zadní ${ displaystyle { tilde {p}} ( theta mid y)}$ a důkazy ${ displaystyle { tilde {p}} (y)}$ zmenšeného modelu zezadu ${ displaystyle p ( theta mid y)}$ a důkazy ${ displaystyle p (y)}$ celého modelu. Kombinace rovnice 1 a rovnice 2 a nové uspořádání, redukovaná zadní část ${ displaystyle { tilde {p}} ( theta mid y)}$ lze vyjádřit jako součin celé zadní části, poměr předchozích a poměr důkazů:

{ displaystyle { begin {zarovnaný} { frac {{ tilde {p}} ( theta mid y) { tilde {p}} (y)} {p ( theta mid y) p (y )}} & = { frac {p (y mid theta) { tilde {p}} ( theta)} {p (y mid theta) p ( theta)}} Rightarrow { tilde {p}} ( theta mid y) & = p ( theta mid y) { frac {{ tilde {p}} ( theta)} {p ( theta)}} { frac {p (y)} {{ tilde {p}} (y)}} end {zarovnáno}}}

(3)

Důkaz pro redukovaný model se získá integrací přes parametry každé strany rovnice:

{ displaystyle int { tilde {p}} ( theta mid y) , d theta = int p ( theta mid y) { frac {{ tilde {p}} ( theta) } {p ( theta)}} { frac {p (y)} {{ tilde {p}} (y)}} d theta = 1}

(4)

A podle nového uspořádání:

{ displaystyle { begin {aligned} 1 & = int p ( theta mid y) { frac {{ tilde {p}} ( theta)} {p ( theta)}} { frac {p (y)} {{ tilde {p}} (y)}} , d theta & = { frac {p (y)} {{ tilde {p}} (y)}} int p ( theta mid y) { frac {{ tilde {p}} ( theta)} {p ( theta)}} d theta Rightarrow { tilde {p}} (y ) & = p (y) int p ( theta mid y) { frac {{ tilde {p}} ( theta)} {p ( theta)}} , d theta end {zarovnáno }}}

(5)

Gaussoví prior a posteriors

Pod Gaussian předchozí a zadní hustoty, jak se používají v kontextu variační Bayes „Bayesovská redukce modelu má jednoduché analytické řešení.^[1] Nejprve definujte normální hustoty pro předchozí a zadní:

{ displaystyle { begin {aligned} p ( theta) & = N ( theta; mu _ {0}, Sigma _ {0}) { tilde {p}} ( theta) & = N ( theta; { tilde { mu}} _ {0}, { tilde { Sigma}} _ {0}) p ( theta mid y) & = N ( theta; mu , Sigma) { tilde {p}} ( theta mid y) & = N ( theta; { tilde { mu}}, { tilde { Sigma}}) end { zarovnaný}}}

(6)

kde symbol vlnovky (~) označuje veličiny vztahující se ke zmenšenému modelu a dolní nule - například ${ displaystyle mu _ {0}}$ - označuje parametry předchozích. Pro usnadnění definujeme také přesné matice, které jsou inverzní k každé kovarianční matici:

{ displaystyle { begin {aligned} Pi & = Sigma ^ {- 1} Pi _ {0} & = Sigma _ {0} ^ {- 1} { tilde { Pi} } & = { tilde { Sigma}} ^ {- 1} { tilde { Pi}} _ {0} & = { tilde { Sigma}} _ {0} ^ {- 1} end {zarovnáno}}}

(7)

Volná energie celého modelu ${ displaystyle F}$ je aproximace (dolní mez) důkazu logového modelu: ${ displaystyle F přibližně ln {p (y)}}$ který je výslovně optimalizován ve variačních Bayes (nebo může být získán z aproximací vzorkování). Omezená volná energie modelu ${ displaystyle { tilde {F}}}$ a parametry ${ displaystyle ({ tilde { mu}}, { tilde { Sigma}})}$ jsou pak dány výrazy:

{ displaystyle { begin {aligned} { tilde {F}} & = { frac {1} {2}} ln | { tilde { Pi}} _ {0} cdot Pi cdot { tilde { Sigma}} cdot Sigma _ {0} | & - { frac {1} {2}} ( mu ^ {T} Pi mu + { tilde { mu}} _ {0} ^ {T} { tilde { Pi}} _ {0} { tilde { mu}} _ {0} - mu _ {0} ^ {T} Pi _ {0} mu _ {0} - { tilde { mu}} ^ {T} { tilde { Pi}} { tilde { mu}}) + F { tilde { mu}} & = { tilde { Sigma}} ( Pi mu + { tilde { Pi}} _ {0} { tilde { mu}} _ {0} - Pi _ {0} mu _ {0} ) { tilde { Sigma}} & = ( Pi + { tilde { Pi}} _ {0} - Pi _ {0}) ^ {- 1} end {zarovnáno}} }

(8)

Příklad

Příklad předchůdců. V „úplném“ modelu vlevo má parametr Gaussovu prioritu se střední hodnotou 0 a směrodatnou odchylkou 0,5. V „redukovaném“ modelu má stejný parametr předchozí průměrnou nulu a směrodatnou odchylku 1/1000. Bayesiánská redukce modelu umožňuje odvodit důkazy a parametry redukovaného modelu z důkazů a parametrů celého modelu.

Zvažte model s parametrem ${ displaystyle theta}$ a Gaussian předchozí ${ displaystyle p ( theta) = N (0,0,5 ^ {2})}$ , což je normální rozdělení se střední nulou a směrodatnou odchylkou 0,5 (znázorněno na obrázku vlevo). Tento předchozí říká, že bez jakýchkoli dat se očekává, že parametr bude mít hodnotu nula, ale jsme ochotni pobavit kladné nebo záporné hodnoty (s 99% intervalem spolehlivosti [−1,16,1,16]). Model s tímto předchozím je přizpůsoben datům, aby poskytl odhad parametru ${ displaystyle q ( theta)}$ a modelové důkazy ${ displaystyle p (y)}$ .

K posouzení, zda parametr přispěl k důkazu modelu, tj. Zda jsme se o tomto parametru něco dozvěděli, je specifikován alternativní „redukovaný“ model, ve kterém má parametr předchůdce s mnohem menší odchylkou: např. ${ displaystyle { tilde {p}} _ {0} = N (0,0,001 ^ {2})}$ . To je znázorněno na obrázku (vpravo). Toto dříve účinně „vypíná“ parametr s tím, že jsme si téměř jisti, že má hodnotu nula. Parametr ${ displaystyle { tilde {q}} ( theta)}$ a důkazy ${ displaystyle { tilde {p}} (y)}$ pro tento redukovaný model se rychle počítají z úplného modelu pomocí Bayesiánské redukce modelu.

Hypotéza, že parametr přispěl k modelu, je poté testována porovnáním plného a redukovaného modelu pomocí Bayesův faktor, což je poměr modelových důkazů:

{ displaystyle { text {BF}} = { frac {p (y)} {{ tilde {p}} (y)}}}

Čím větší je tento poměr, tím větší jsou důkazy pro celý model, který obsahoval parametr jako volný parametr. Naopak, čím silnější jsou důkazy pro redukovaný model, tím jistější si můžeme být, že parametr nepřispěl. Všimněte si, že tato metoda není specifická pro porovnávání parametrů „zapnuto“ nebo „vypnuto“ a lze také vyhodnotit jakékoli mezilehlé nastavení předchozích položek.

Aplikace

Neuroimaging

Bayesovská redukce modelu byla původně vyvinuta pro použití v neuroimagingové analýze,^[1]^[3] v kontextu modelování mozkové konektivity jako součást dynamické kauzální modelování rámec (kde se původně označoval jako post-hoc výběr Bayesiánského modelu).^[1] Dynamické kauzální modely (DCM) jsou modely diferenciální rovnice dynamiky mozku.^[4] Experimentátor specifikuje několik konkurenčních modelů, které se liší svými předchozími - např. při výběru parametrů, které jsou fixovány na jejich předchozí očekávání nuly. Po namontování jediného „úplného“ modelu se všemi sledovanými parametry informovanými údaji umožňuje Bayesianova redukce modelu rychle vypočítat důkazy a parametry konkurenčních modelů za účelem testování hypotéz. Tyto modely mohou být experimentátorem specifikovány ručně nebo automaticky prohledány, aby se „prořezaly“ všechny nadbytečné parametry, které nepřispívají k důkazům.

Bayesiánská redukce modelu byla následně zobecněna a aplikována například na jiné formy Bayesiánských modelů parametrický empirický Bayes (PEB) modely skupinových efektů.^[2] Zde se používá k výpočtu důkazů a parametrů pro jakoukoli danou úroveň hierarchického modelu v rámci omezení (empirických priorit) uložených výše uvedenou úrovní.

Neurobiologie

Bayesiánská redukce modelu byla použita k vysvětlení funkcí mozku. Analogicky k jeho použití při eliminaci nadbytečných parametrů z modelů experimentálních dat bylo navrženo, aby mozek eliminoval nadbytečné parametry interních modelů světa v režimu offline (např. Během spánku).^[5]^[6]

Softwarové implementace

Bayesiánská redukce modelu je implementována v Statistické parametrické mapování panel nástrojů v Matlab funkce spm_log_evidence_reduce.m .

Reference

^ ^A ^b ^C ^d Friston, Karl; Penny, Will (červen 2011). „Post hoc výběr Bayesiánského modelu“. NeuroImage. 56 (4): 2089–2099. doi:10.1016 / j.neuroimage.2011.03.062. ISSN 1053-8119. PMC 3112494. PMID 21459150.
^ ^A ^b Friston, Karl J .; Litvak, Vladimir; Oswal, Ashwini; Razi, Adeel; Stephan, Klaas E .; van Wijk, Bernadette C.M .; Ziegler, Gabriel; Zeidman, Peter (březen 2016). „Bayesiánská redukce modelu a empirická Bayesova studie pro skupiny (DCM)“. NeuroImage. 128: 413–431. doi:10.1016 / j.neuroimage.2015.11.015. ISSN 1053-8119. PMC 4767224. PMID 26569570.
^ Rosa, M.J .; Friston, K .; Penny, W. (červen 2012). „Post-hoc výběr dynamických kauzálních modelů“. Journal of Neuroscience Methods. 208 (1): 66–78. doi:10.1016 / j.jneumeth.2012.04.013. ISSN 0165-0270. PMC 3401996. PMID 22561579.
^ Friston, K.J .; Harrison, L .; Penny, W. (srpen 2003). "Dynamické kauzální modelování". NeuroImage. 19 (4): 1273–1302. doi:10.1016 / s1053-8119 (03) 00202-7. ISSN 1053-8119. PMID 12948688. S2CID 2176588.
^ Friston, Karl J .; Lin, Marco; Frith, Christopher D .; Pezzulo, Giovanni; Hobson, J. Allan; Ondobaka, Sasha (říjen 2017). „Aktivní závěry, zvědavost a vhled“ (PDF). Neurální výpočet. 29 (10): 2633–2683. doi:10.1162 / neco_a_00999. ISSN 0899-7667. PMID 28777724. S2CID 13354308.
^ Tononi, Giulio; Cirelli, Chiara (únor 2006). "Funkce spánku a synaptická homeostáza". Recenze spánkové medicíny. 10 (1): 49–62. doi:10.1016 / j.smrv.2005.05.002. ISSN 1087-0792. PMID 16376591.

[Friston1-1] A ^b ^C ^d Friston, Karl; Penny, Will (červen 2011). „Post hoc výběr Bayesiánského modelu“. NeuroImage. 56 (4): 2089–2099. doi:10.1016 / j.neuroimage.2011.03.062. ISSN 1053-8119. PMC 3112494. PMID 21459150.

[Friston2-2] A ^b Friston, Karl J .; Litvak, Vladimir; Oswal, Ashwini; Razi, Adeel; Stephan, Klaas E .; van Wijk, Bernadette C.M .; Ziegler, Gabriel; Zeidman, Peter (březen 2016). „Bayesiánská redukce modelu a empirická Bayesova studie pro skupiny (DCM)“. NeuroImage. 128: 413–431. doi:10.1016 / j.neuroimage.2015.11.015. ISSN 1053-8119. PMC 4767224. PMID 26569570.

[Rosa-3] Rosa, M.J .; Friston, K .; Penny, W. (červen 2012). „Post-hoc výběr dynamických kauzálních modelů“. Journal of Neuroscience Methods. 208 (1): 66–78. doi:10.1016 / j.jneumeth.2012.04.013. ISSN 0165-0270. PMC 3401996. PMID 22561579.

[Friston3-4] Friston, K.J .; Harrison, L .; Penny, W. (srpen 2003). "Dynamické kauzální modelování". NeuroImage. 19 (4): 1273–1302. doi:10.1016 / s1053-8119 (03) 00202-7. ISSN 1053-8119. PMID 12948688. S2CID 2176588.

[Friston4-5] Friston, Karl J .; Lin, Marco; Frith, Christopher D .; Pezzulo, Giovanni; Hobson, J. Allan; Ondobaka, Sasha (říjen 2017). „Aktivní závěry, zvědavost a vhled“ (PDF). Neurální výpočet. 29 (10): 2633–2683. doi:10.1162 / neco_a_00999. ISSN 0899-7667. PMID 28777724. S2CID 13354308.

[Tononi-6] Tononi, Giulio; Cirelli, Chiara (únor 2006). "Funkce spánku a synaptická homeostáza". Recenze spánkové medicíny. 10 (1): 49–62. doi:10.1016 / j.smrv.2005.05.002. ISSN 1087-0792. PMID 16376591.

[1]

[2]

[3]

[4]

[5]

[6]