Věta Bernstein – von Mises - Bernstein–von Mises theorem
v Bayesovský závěr, Věta Bernstein-von Mises poskytuje základ pro použití Bayesovských důvěryhodných sad pro prohlášení o důvěryhodnosti v parametrické modely. Uvádí, že za určitých podmínek zadní distribuce konverguje v limitu nekonečných dat na vícerozměrné normální rozdělení soustředěné na odhad maximální pravděpodobnosti s kovarianční maticí danou , kde je skutečný parametr populace a je Fisherova informační matice při skutečné hodnotě parametru populace.[1]
Úvod
The Věta Bernstein-von Mises je výsledek, který odkazuje Bayesovský závěr s Časté závěry. Předpokládá, že existuje nějaký skutečný pravděpodobnostní proces, který generuje pozorování, jako v častosti, a poté studuje kvalitu Bayesianových metod obnovy tohoto procesu a prohlášení o nejistotě o tomto procesu. Zejména uvádí, že Bayesovské důvěryhodné soubory určité úrovně důvěryhodnosti asymptoticky budou sady spolehlivosti úrovně spolehlivosti , což umožňuje interpretaci Bayesovských věrohodných množin.
Heuristické prohlášení
V modelu , za určitých podmínek pravidelnosti (konečně-rozměrný, dobře specifikovaný, hladký, existence testů), pokud předchozí distribuce na má hustotu vzhledem k lebeské míře, která je dostatečně plynulá (blízko ohraničený od nuly), celková variační vzdálenost mezi zadním rozdělením se změněnou stupnicí (centrováním a změnou měřítka na ) a Gaussova distribuce zaměřená na libovolné efektivní odhad a s inverzní Fisherovou informací, protože rozptyl se s pravděpodobností sblíží k nule.
Bernstein-von Mises a odhad maximální věrohodnosti
V případě, že odhad maximální pravděpodobnosti je efektivní odhad, můžeme jej připojit a obnovíme běžnou, konkrétnější verzi Věta Bernstein-von Mises.
Dopady
Nejdůležitější důsledky Věta Bernstein-von Mises je, že Bayesianova inference je asymptoticky správná z hlediska frekventanta. To znamená, že u velkého množství dat lze pomocí zadní distribuce vytvořit z častého hlediska platná prohlášení o odhadu a nejistotě.
Dějiny
Věta je pojmenována po Richard von Mises a S.N.Bernstein ačkoli první řádný důkaz podal Joseph L. Doob v roce 1949 pro náhodné proměnné s konečnými pravděpodobnostní prostor.[2] Později Lucien Le Cam, jeho doktorand Lorraine Schwartz, David A. Freedman a Persi Diaconis rozšířil důkaz za obecnějších předpokladů.
Omezení
V případě modelu specifikovaného pro misi se zadní distribuce také stane asymptoticky Gaussianem se správným průměrem, ale ne nutně s Fisherovou informací jako rozptylem. To znamená, že Bayesovské důvěryhodné sady úrovní nelze interpretovat jako sady spolehlivosti úrovně .[3]
V případě neparametrických statistik se věta Bernstein-von Mises obvykle neudrží s výraznou výjimkou Dirichletův proces.
Pozoruhodný výsledek našel Freedman v roce 1965: Bernstein – von Misesova věta neplatí téměř jistě pokud má náhodná proměnná nekonečný počet pravděpodobnostní prostor; to však záleží na povolení velmi široké škály možných předchůdců. V praxi mají přednosti, které se obvykle používají ve výzkumu, požadovanou vlastnost i při nekonečném spočítání pravděpodobnostní prostor.
Různé souhrnné statistiky, například režimu a průměr se může chovat odlišně v zadní distribuci. V příkladech Freedmana může zadní hustota a její průměr konvergovat na nesprávný výsledek, ale zadní režim je konzistentní a bude konvergovat na správný výsledek.
Citace
Statistik A. W. F. Edwards poznamenal: „Na obranu Bayesovského konceptu se někdy říká, že volba předchozí distribuce je v praxi nedůležitá, protože jen těžko ovlivňuje zadní distribuci, když je k dispozici malé množství dat. ' ten lepší."[4]
Poznámky
- ^ van der Vaart, A.W. (1998). „10.2 Bernstein – von Misesova věta“. Asymptotické statistiky. Cambridge University Press. ISBN 0-521-78450-6.
- ^ Doob, Joseph L. (1949). "Aplikace teorie martingales". Colloq. Internovat. du C.N.R.S (Paříž). 13: 23–27.
- ^ Kleijn, B.J.K .; van der Vaart, A.W. (2012). „The Bernstein-Von-Mises theorem under misspecification“. Elektronický statistický věstník. 6 (0): 354–381. doi:10.1214 / 12-EJS675.
- ^ Edwards, A.W.F. (1992). Pravděpodobnost. Baltimore: Johns Hopkins University Press. ISBN 0-8018-4443-6.
Reference
- Vaart, A.W. van der (1998). „10.2 Bernstein – von Misesova věta“. Asymptotické statistiky. Cambridge University Press. ISBN 0-521-49603-9.
- Doob, Joseph L. (1949), Aplikace teorie martingales. Colloq. Internovat. du C.N.R.S (Paříž), č. 13, s. 23–27.
- Freedman, David A. (1963). O asymptotickém chování Bayesových odhadů v diskrétním případě I. The Annals of Mathematical Statistics, sv. 34, s. 1386–1403.
- Freedman, David A. (1965). O asymptotickém chování Bayesových odhadů v diskrétním případě II. The Annals of Mathematical Statistics, sv. 36, s. 454–456.
- Le Cam, Lucien (1986). Asymptotické metody v teorii statistického rozhodováníSpringer. ISBN 0-387-96307-3 (Strany 336 a 618–621).
- Lorraine Schwartz (1965). O postupech Bayes. Z. Wahrscheinlichkeitstheorie, č. 4, s. 10–26.