Bayesovské informační kritérium - Bayesian information criterion - Wikipedia

v statistika, Bayesovské informační kritérium (BIC) nebo Schwarzovo informační kritérium (taky SIC, SBC, SBIC) je kritériem pro výběr modelu mezi konečnou sadou modelů; upřednostňuje se model s nejnižším BIC. Je částečně založen na funkce pravděpodobnosti a úzce souvisí s Informační kritérium Akaike (AIC).

Při montáži modelů je možné zvýšit pravděpodobnost přidáním parametrů, ale může to mít za následek nadměrné vybavení. Jak BIC, tak AIC se pokoušejí vyřešit tento problém zavedením trestního termínu pro počet parametrů v modelu; trestní období je v BIC větší než v AIC.

BIC byl vyvinut Gideonem E. Schwarzem a publikován v článku z roku 1978,^[1] kde dal Bayesian argument pro jeho přijetí.

Definice

BIC je formálně definován jako^[2]^[A]

{ displaystyle mathrm {BIC} = k ln (n) -2 ln ({ widehat {L}}). }

kde

${ displaystyle { hat {L}}}$ = maximální hodnota funkce pravděpodobnosti modelu ${ displaystyle M}$ , tj. ${ displaystyle { hat {L}} = p (x mid { widehat { theta}}, M)}$ , kde ${ displaystyle { widehat { theta}}}$ jsou hodnoty parametrů, které maximalizují funkci pravděpodobnosti;
${ displaystyle x}$ = pozorovaná data;
${ displaystyle n}$ = počet datových bodů v ${ displaystyle x}$ , počet pozorování nebo ekvivalentně velikost vzorku;
${ displaystyle k}$ = počet parametry odhaduje model. Například v vícenásobná lineární regrese, odhadované parametry jsou průsečík, ${ displaystyle q}$ parametry sklonu a konstantní rozptyl chyb; tím pádem, ${ displaystyle k = q + 2}$ .

Konishi a Kitagawa^[4]^:217 odvodit BIC k aproximaci distribuce dat, integraci parametrů pomocí Laplaceova metoda, počínaje následujícím modelový důkaz:

{ Displaystyle p (X mid M) = int p (x mid theta, M) pi ( theta mid M) , d theta}

kde ${ displaystyle pi ( theta střední M)}$ je předchozí pro ${ displaystyle theta}$ pod modelem ${ displaystyle M}$ .

Protokol (pravděpodobnost), ${ displaystyle ln (p (x | theta, M))}$ , se poté rozšíří do druhého řádu Taylor série o MLE, ${ displaystyle { widehat { theta}}}$ , za předpokladu, že je dvakrát diferencovatelný takto:

{ displaystyle ln (p (x mid theta, M)) = ln ({ widehat {L}}) - 0,5 ( theta - { widehat { theta}}) 'n { mathcal { I}} ( theta) ( theta - { widehat { theta}}) + R (x, theta),}

kde ${ displaystyle { mathcal {I}} ( theta)}$ je průměr pozorované informace na jedno pozorování, a připravit ( ${ displaystyle '}$ ) označuje transpozici vektoru ${ displaystyle ( theta - { widehat { theta}})}$ . Do té míry ${ displaystyle R (x, theta)}$ je zanedbatelný a ${ displaystyle pi ( theta střední M)}$ je relativně lineární blízko ${ displaystyle { widehat { theta}}}$ , můžeme se integrovat ${ displaystyle theta}$ získat následující:

{ displaystyle p (x mid M) cca { hat {L}} (2 pi / n) ^ {k / 2} | { mathcal {I}} ({ widehat { theta}}) | ^ {- 1/2} pi ({ widehat { theta}})}

Tak jako ${ displaystyle n}$ zvyšuje, můžeme ignorovat ${ displaystyle | { mathcal {I}} ({ widehat { theta}}) |}$ a ${ displaystyle pi ({ widehat { theta}})}$ jak jsou ${ displaystyle O (1)}$ . Tím pádem,

{ displaystyle p (x mid M) = exp { ln { widehat {L}} - (k / 2) ln (n) + O (1) } = exp (- mathrm { BIC} / 2 + O (1)),}

kde BIC je definován výše, a ${ displaystyle { widehat {L}}}$ buď (a) je Bayesovský zadní režim, nebo (b) používá MLE a předchozí ${ displaystyle pi ( theta střední M)}$ má nenulový sklon na MLE. Pak zadní

{ Displaystyle p (M mid x) propto p (x mid M) p (M) přibližně exp (- mathrm {BIC} / 2) p (M)}

Vlastnosti

Je nezávislý na předchozím.
Může měřit účinnost parametrizovaného modelu z hlediska predikce dat.
Penalizuje složitost modelu, kde složitost odkazuje na počet parametrů v modelu.
To je přibližně stejné jako minimální délka popisu kritérium, ale se záporným znaménkem.
Lze jej použít k výběru počtu klastrů podle vnitřní složitosti přítomné v konkrétní datové sadě.
Úzce souvisí s dalšími kritérii pravděpodobnosti, jako je penalizovaná Informační kritérium odchylky a Informační kritérium Akaike.

Omezení

BIC trpí dvěma hlavními omezeními^[5]

výše uvedená aproximace je platná pouze pro velikost vzorku ${ displaystyle n}$ mnohem větší než číslo ${ displaystyle k}$ parametrů v modelu.
BIC nemůže zpracovat složité kolekce modelů jako při výběru proměnné (nebo výběr funkcí ) problém ve vysoké dimenzi.^[5]

Gaussův speciální případ

Za předpokladu, že chyby nebo poruchy modelu jsou nezávislé a identicky distribuované podle a normální distribuce a že okrajová podmínka, že derivát zaznamenat pravděpodobnost s ohledem na skutečnou odchylku je nula, stane se (až do aditivní konstanty, což záleží jen na n a ne na modelu):^[6]

{ displaystyle mathrm {BIC} = n ln ({ widehat { sigma _ {e} ^ {2}}}) + k ln (n) }

kde ${ displaystyle { widehat { sigma _ {e} ^ {2}}}}$ je odchylka chyby. Rozptyl chyb je v tomto případě definován jako

{ displaystyle { widehat { sigma _ {e} ^ {2}}} = { frac {1} {n}} součet _ {i = 1} ^ {n} (x_ {i} - { widehat {x_ {i}}}) ^ {2}.}

který je zkreslený odhad pro skutečnou odchylku.

Z hlediska zbytkový součet čtverců (RSS) BIC je

{ displaystyle mathrm {BIC} = n ln (RSS / n) + k ln (n) }

Při testování více lineárních modelů proti nasycenému modelu lze BIC přepsat z hlediskadeviace ${ displaystyle chi ^ {2}}$ tak jako:^[7]

{ displaystyle mathrm {BIC} = chi ^ {2} + k ln (n)}

kde ${ displaystyle k}$ je počet parametrů modelu v testu.

Při výběru z několika modelů je preferován model s nejnižším BIC. BIC se zvyšuje funkce odchylky chyby ${ displaystyle sigma _ {e} ^ {2}}$ a rostoucí funkce k. To znamená nevysvětlitelné rozdíly v závislá proměnná a počet vysvětlujících proměnných zvyšuje hodnotu BIC. Nižší BIC tedy znamená buď méně vysvětlujících proměnných, lepší shodu, nebo obojí. Síla důkazů proti modelu s vyšší hodnotou BIC lze shrnout takto:^[7]

ΔBIC	Důkazy proti vyššímu BIC
0 až 2	Nestojí za to víc než holá zmínka
2 až 6	Pozitivní
6 až 10	Silný
>10	Velmi silný

BIC obecně penalizuje volné parametry silněji než Informační kritérium Akaike, i když to záleží na velikosti n a relativní velikost n ak.

Je důležité mít na paměti, že BIC lze použít k porovnání odhadovaných modelů, pouze když jsou numerické hodnoty závislé proměnné^[b] jsou identické pro všechny srovnávané modely. Srovnávané modely nemusí být vnořené, na rozdíl od případu, kdy jsou modely porovnávány pomocí F-test nebo a test poměru pravděpodobnosti.^{[Citace je zapotřebí ]}

Viz také

Poznámky

^ AIC, AICc a BIC definované Claeskensem a Hjortem^[3] jsou negativy negativ definovaných v tomto článku a ve většině ostatních standardních odkazů.
^ Závislá proměnná se také nazývá a proměnná odezvy nebo výsledná proměnná. Vidět Regresní analýza.

Reference

^ Schwarz, Gideon E. (1978), „Odhad dimenze modelu“, Annals of Statistics, 6 (2): 461–464, doi:10.1214 / aos / 1176344136, PAN 0468014.
^ Wit, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). "'Všechny modely se mýlí ... ': úvod k nejistotě modelu " (PDF). Statistica Neerlandica. 66 (3): 217–236. doi:10.1111 / j.1467-9574.2012.00530.x.
^ Claeskens, G.; Hjort, N.L. (2008), Výběr modelu a průměrování modelu, Cambridge University Press
^ Konishi, Sadanori; Kitagawa, Genshiro (2008). Informační kritéria a statistické modelování. Springer. ISBN 978-0-387-71886-6.
^ ^A ^b Giraud, C. (2015). Úvod do vysoce dimenzionální statistiky. Chapman & Hall / CRC. ISBN 9781482237948.
^ Priestley, M.B. (1981). Spektrální analýza a časové řady. Akademický tisk. ISBN 978-0-12-564922-3. (str. 375).
^ ^A ^b Kass, Robert E .; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association, 90 (430): 773–795, doi:10.2307/2291091, ISSN 0162-1459, JSTOR 2291091.

Další čtení

Bhat, H. S .; Kumar, N (2010). „O odvození Bayesovského informačního kritéria“ (PDF). Archivovány od originál (PDF) dne 28. března 2012. Citovat deník vyžaduje | deník = (Pomoc)
Findley, D. F. (1991). "Protiklady k šetrnosti a BIC". Annals of the Institute of Statistical Mathematics. 43 (3): 505–514. doi:10.1007 / BF00053369.
Kass, R.E .; Wasserman, L. (1995). "Referenční Bayesianův test pro vnořené hypotézy a jeho vztah ke Schwarzovu kritériu". Journal of the American Statistical Association. 90 (431): 928–934. doi:10.2307/2291327. JSTOR 2291327.
Liddle, A. R. (2007). Msgstr "Informační kritéria pro výběr astrofyzikálního modelu". Měsíční oznámení Královské astronomické společnosti. 377 (1): L74 – L78. arXiv:astro-ph / 0701113. Bibcode:2007MNRAS.377L..74L. doi:10.1111 / j.1745-3933.2007.00306.x.
McQuarrie, A. D. R .; Tsai, C.-L. (1998). Výběr modelu regrese a časové řady. World Scientific.

externí odkazy

[4] AIC, AICc a BIC definované Claeskensem a Hjortem^[3] jsou negativy negativ definovaných v tomto článku a ve většině ostatních standardních odkazů.

[9] Závislá proměnná se také nazývá a proměnná odezvy nebo výsledná proměnná. Vidět Regresní analýza.

[1] Schwarz, Gideon E. (1978), „Odhad dimenze modelu“, Annals of Statistics, 6 (2): 461–464, doi:10.1214 / aos / 1176344136, PAN 0468014.

[2] Wit, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). "'Všechny modely se mýlí ... ': úvod k nejistotě modelu " (PDF). Statistica Neerlandica. 66 (3): 217–236. doi:10.1111 / j.1467-9574.2012.00530.x.

[3] Claeskens, G.; Hjort, N.L. (2008), Výběr modelu a průměrování modelu, Cambridge University Press

[5] Konishi, Sadanori; Kitagawa, Genshiro (2008). Informační kritéria a statistické modelování. Springer. ISBN 978-0-387-71886-6.

[Giraud-6] A ^b Giraud, C. (2015). Úvod do vysoce dimenzionální statistiky. Chapman & Hall / CRC. ISBN 9781482237948.

[Priestley-7] Priestley, M.B. (1981). Spektrální analýza a časové řady. Akademický tisk. ISBN 978-0-12-564922-3. (str. 375).

[Raftery1995-8] A ^b Kass, Robert E .; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association, 90 (430): 773–795, doi:10.2307/2291091, ISSN 0162-1459, JSTOR 2291091.

[1]

[2]

[A]

[4]

[5]

[6]

[7]

[b]

[3]