Steinsova metoda - Steins method - Wikipedia
Steinova metoda je obecná metoda v teorie pravděpodobnosti získat hranice vzdálenosti mezi dvěma rozdělení pravděpodobnosti s ohledem na a metrika pravděpodobnosti. To bylo představeno Charles Stein, který ji poprvé publikoval v roce 1972,[1] získat vazbu mezi distribucí součtu -závislá posloupnost náhodné proměnné a a standardní normální rozdělení v Kolmogorov (jednotný) metrický a tedy dokázat nejen a teorém centrálního limitu, ale také omezuje sazby konvergence pro danou metriku.
Dějiny
Na konci 60. let nebyl spokojen s tehdy známými důkazy konkrétního teorém centrálního limitu Charles Stein vyvinul pro svůj nový způsob dokazování věty statistika přednáška.[2] Jeho seminární práce byla prezentována v roce 1970 na šestém Berkeley Symposium a publikována v příslušných sbornících.[1]
Později jeho Ph.D. student Louis Chen Hsiao Yun upravil metodu tak, aby získal přibližné výsledky pro Poissonovo rozdělení;[3] proto se Steinova metoda aplikovaná na problém Poissonovy aproximace často označuje jako Stein-Chenova metoda.
Pravděpodobně nejdůležitějšími příspěvky jsou monografie Steina (1986), kde prezentuje svůj pohled na metodu a koncept pomocná randomizace, zejména pomocí vyměnitelné páry, a články Barbour (1988) a Götze (1991), kteří představili tzv interpretace generátoru, což umožnilo snadno přizpůsobit metodu mnoha dalším rozdělení pravděpodobnosti. Důležitým příspěvkem byl také článek Bolthausena (1984) o tzv kombinatorická centrální limitní věta.[Citace je zapotřebí ]
V 90. letech byla metoda přizpůsobena různým distribucím, jako např Gaussovské procesy podle Barbour (1990), binomická distribuce podle Ehm (1991), Poissonovy procesy Barbour a Brown (1992), Distribuce gama Luk (1994) a mnoho dalších.
Základní přístup
Metriky pravděpodobnosti
Steinova metoda je způsob, jak omezit vzdálenost mezi dvěma rozděleními pravděpodobnosti pomocí konkrétního metrika pravděpodobnosti.
Nechť je metrika uvedena ve formuláři
Tady, a jsou míra pravděpodobnosti na a měřitelný prostor , a jsou náhodné proměnné s distribucí a respektive je obvyklým operátorem očekávání a je sada funkcí od do množiny reálných čísel. Soubor musí být dostatečně velký, aby výše uvedená definice skutečně poskytla a metrický.
Důležitými příklady jsou metrika celkové variace, kde jsme to nechali se skládají ze všech funkce indikátorů měřitelných množin Kolmogorov (jednotná) metrika pro míry pravděpodobnosti na reálných číslech, kde vezmeme v úvahu všechny funkce indikátoru poloviční čáry, a Lipschitz (první řád Wasserstein; Kantorovich) metrika, kde podkladový prostor je sám o sobě metrický prostor a vezmeme množinu být všichni Lipschitz kontinuální funkce s Lipschitzovou konstantou 1. Pamatujte však, že ne každou metriku lze reprezentovat ve formě (1.1).
V tom, co následuje je komplikované rozdělení (např. rozdělení součtu závislých náhodných proměnných), které chceme aproximovat mnohem jednodušším a traktovatelnějším rozdělením (např. standardní normální rozdělení).
Operátor Stein
Nyní předpokládáme distribuci je pevná distribuce; v následujícím budeme uvažovat zejména případ, kdy je standardní normální rozdělení, které slouží jako klasický příklad.
Nejprve potřebujeme operátora , který působí na funkce z na množinu reálných čísel a „charakterizuje“ rozdělení v tom smyslu, že platí tato rovnocennost:
Takového operátora nazýváme Operátor Stein.
Pro standardní normální rozdělení Steinovo lemma poskytuje takový operátor:
Můžeme tedy vzít
Těchto operátorů je obecně nekonečně mnoho a stále zůstává otevřenou otázkou, kterou zvolit. Zdá se však, že pro mnoho distribucí existuje zvláštní dobrý jeden, jako (2.3) pro normální rozdělení.
Existují různé způsoby, jak najít operátory Stein.[4]
Steinova rovnice
je blízko s ohledem na pokud je rozdíl očekávání v (1.1) blízký 0. Doufáme nyní, že operátor vykazuje stejné chování: pokud pak a doufejme, že pokud my máme .
Obvykle je možné definovat funkci takhle
Říkáme (3.1) Steinova rovnice. Výměna podle a brát očekávání s ohledem na , dostaneme
Všechno úsilí nyní stojí za to, pouze pokud je levá strana (3.2) snadněji vázána než pravá strana. To se překvapivě často stává.
Li je standardní normální rozdělení a používáme (2.3), pak je odpovídající Steinova rovnice
Pokud má rozdělení pravděpodobnosti Q absolutně spojitou (s ohledem na Lebesgueovu míru) hustotu q, pak[4]
Řešení Steinovy rovnice
Analytické metody. Rovnici (3.3) lze snadno vyřešit explicitně:
Metoda generátoru. Li je generátor Markovova procesu (viz Barbour (1988), Götze (1991)), pak řešení (3.2) je
kde označuje očekávání s ohledem na proces začíná v . Je však stále třeba prokázat, že řešení (4.2) existuje pro všechny požadované funkce .
Vlastnosti řešení Steinovy rovnice
Obvykle se člověk snaží omezit a jeho deriváty (nebo rozdíly), pokud jde o a jeho deriváty (nebo rozdíly), tj. nerovnosti formy
pro některé konkrétní (typicky nebo , v závislosti na formě operátora Stein), kde často je nadřazená norma. Tady, označuje operátor diferenciálu, ale v diskrétním nastavení obvykle odkazuje na a operátor rozdílu. Konstanty může obsahovat parametry distribuce . Pokud nějaké existují, jsou často označovány jako Steinovy faktory.
V případě (4.1) lze prokázat pro nadřazená norma že
kde poslední mez je samozřejmě použitelná pouze pokud je diferencovatelný (nebo alespoň Lipschitzův spojitý, což například neplatí, pokud vezmeme v úvahu metriku celkové variace nebo metodu Kolmogorovovu!). Protože standardní normální rozdělení nemá žádné další parametry, v tomto konkrétním případě jsou konstanty bez dalších parametrů.
Pokud máme hranice v obecné podobě (5.1), jsme obvykle schopni zpracovat mnoho metrik pravděpodobnosti společně. Často lze začít s dalším krokem níže, pokud jsou již k dispozici hranice formuláře (5.1) (což je případ mnoha distribucí).
Věta o abstraktní aproximaci
Nyní jsme v pozici, abychom mohli svázat levou stranu (3.1). Protože tento krok silně závisí na formě Steinova operátoru, považujeme přímo případ standardního normálního rozdělení.
V tomto okamžiku jsme mohli přímo připojit náhodnou proměnnou , kterou chceme přiblížit, a pokusíme se najít horní hranice. Často je však plodné formulovat obecnější větu. Zvažte zde případ místní závislosti.
Předpokládat, že je součet náhodných proměnných, takže a rozptyl . Předpokládejme, že pro každého , existuje sada , takový, že je nezávislá na všech náhodných proměnných s . Tento soubor nazýváme „sousedství“ . Podobně nechte být souborem takovým, že vše s jsou na všech nezávislí , . Můžeme myslet jako sousedé v sousedství , sousedství druhého řádu, abych tak řekl. Pro sadu definujte nyní součet .
Pomocí Taylorovy expanze je možné to dokázat
Všimněte si, že pokud se budeme řídit touto argumentací, můžeme vázat (1.1) pouze na funkce kde je omezen kvůli třetí nerovnosti (5.2) (a ve skutečnosti, pokud má diskontinuity, tak bude ). Získat vazbu podobnou (6.1), která obsahuje pouze výrazy a , argument je mnohem více zapojen a výsledek není tak jednoduchý jako (6.1); lze to však udělat.
Věta A. Li jak je popsáno výše, máme pro Lipschitzovu metriku že
Důkaz. Připomeňme, že Lipschitzova metrika má formu (1.1), kde jsou funkce jsou tedy Lipschitzova spojitost s Lipschitzovou konstantou 1 . Kombinace s (6.1) a poslední vazbou v (5.2) dokazuje teorém.
Zhruba řečeno jsme tedy dokázali, že pro výpočet Lipschitzovy vzdálenosti mezi a se strukturou místní závislosti a standardním normálním rozdělením potřebujeme znát jen třetí momenty a velikost čtvrtí a .
Aplikace věty
Můžeme zacházet s případem součtu nezávislé a identicky distribuované náhodné proměnné s větou A.
Předpokládat, že , a . Můžeme vzít . Z věty A to získáme
U součtů náhodných proměnných je jiný přístup související se Steinsovou metodou známý jako transformace nulového zkreslení.
Připojení k jiným metodám
- Lindebergovo zařízení. Lindeberg (1922) představil zařízení, kde rozdíl
je reprezentován jako součet rozdílů krok za krokem.
- Tikhomirovova metoda. Je zřejmé, že přístup prostřednictvím (1.1) a (3.1) nezahrnuje charakteristické funkce. Tikhomirov (1980) však předložil důkaz o centrální limitní větě založené na charakteristických funkcích a diferenciálním operátoru podobném (2.3). Základní pozorování spočívá v tom, že charakteristická funkce standardního normálního rozdělení splňuje diferenciální rovnici pro všechny . Pokud tedy charakteristická funkce z je takový to očekáváme a proto to je blízké normálnímu rozdělení. Tikhomirov ve své práci uvádí, že se nechal inspirovat Steinovou klíčovou prací.
Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace.Únor 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) ( |
Viz také
Poznámky
- ^ A b Stein, C. (1972). "Vazba na chybu v normální aproximaci k rozdělení součtu závislých náhodných proměnných". Proceedings of the Sixth Berkeley Symposium on Mathematical Statistics and Probability, Volume 2. University of California Press. str. 583–602. PAN 0402873. Zbl 0278.60026.
- ^ Charles Stein: Invariant, přímý a „domýšlivý“ Archivováno 2007-07-05 na Wayback Machine. Rozhovor poskytnutý v roce 2003 v Singapuru
- ^ Chen, L.H.Y. (1975). "Poissonova aproximace pro závislé zkoušky". Annals of Probability. 3 (3): 534–545. doi:10.1214 / aop / 1176996359. JSTOR 2959474. PAN 0428387. Zbl 0335.60016.
- ^ A b Novak, S.Y. (2011). Metody extrémní hodnoty s aplikacemi na financování. Monografie o statistice a aplikované pravděpodobnosti. 122. CRC Press. Ch. 12. ISBN 978-1-43983-574-6.
Reference
- Barbour, A. D. (1988). „Steinova metoda a konvergence Poissonova procesu“. Journal of Applied Probability. 25: 175–184. doi:10.2307/3214155. JSTOR 3214155.
- Barbour, A. D. (1990). "Steinova metoda pro difúzní aproximace". Teorie pravděpodobnosti a související pole. 84 (3): 297–322. doi:10.1007 / BF01197887.
- Barbour, A. D. & Brown, T. C. (1992). "Steinova metoda a aproximace bodového procesu". Stochastické procesy a jejich aplikace. 43 (1): 9–31. doi:10.1016 / 0304-4149 (92) 90073-Y.
- Bolthausen, E. (1984). "Odhad zbytku v kombinatorické centrální limitní větě". Zeitschrift für Wahrscheinlichkeitstheorie und verwandte Gebiete. 66 (3): 379–386. doi:10.1007 / BF00533704.
- Ehm, W. (1991). "Binomické přiblížení k Poissonově binomickému rozdělení". Statistiky a pravděpodobnostní dopisy. 11 (1): 7–16. doi:10.1016 / 0167-7152 (91) 90170-V.
- Götze, F. (1991). „O rychlosti konvergence ve vícerozměrném CLT“. Letopisy pravděpodobnosti. 19 (2): 724–739. doi:10.1214 / aop / 1176990448.
- Lindeberg, J. W. (1922). „Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechung“. Mathematische Zeitschrift. 15 (1): 211–225. doi:10.1007 / BF01494395.
- Luk, H. M. (1994). Steinova metoda pro distribuci gama a související statistické aplikace. Disertační práce.
- Novak, S. Y. (2011). Metody extrémní hodnoty s aplikacemi k financování. Monografie o statistice a aplikované pravděpodobnosti. 122. CRC Press. ISBN 978-1-43983-574-6.
- Stein, C. (1986). Přibližný výpočet očekávání. Série přednášek - monografie. 7. Ústav matematické statistiky. ISBN 0-940600-08-0.
- Tikhomirov, A. N. (1980). Msgstr "Míra konvergence v centrální limitní větě pro slabě závislé náhodné proměnné". Teoriya Veroyatnostei i ee Primeneniya. 25: 800–818. Anglický překlad v Tikhomirov, A. N. (1981). "O míře konvergence v centrální limitní větě pro slabě závislé náhodné proměnné". Teorie pravděpodobnosti a její aplikace. 25 (4): 790–809. doi:10.1137/1125092.
Literatura
Následující text je pokročilý a poskytuje komplexní přehled o běžném případě
- Chen, L.H.Y., Goldstein, L. a Shao, Q.M (2011). Normální aproximace Steinovou metodou. www.springer.com. ISBN 978-3-642-15006-7.CS1 maint: více jmen: seznam autorů (odkaz)
Další pokročilá kniha, která má ale úvodní charakter, je
- vyd. Barbour, A.D. a Chen, L.H.Y. (2005). Úvod do Steinovy metody. Series Lecture Notes Series, Institute for Mathematical Sciences, National University of Singapore. 4. Singapore University Press. ISBN 981-256-280-X.CS1 maint: více jmen: seznam autorů (odkaz) CS1 maint: další text: seznam autorů (odkaz)
Standardní reference je kniha od Steina,
- Stein, C. (1986). Přibližný výpočet očekávání. Institute of Mathematical Statistics Lecture Notes, Monograph Series, 7. Hayward, Calif .: Institute of Mathematical Statistics. ISBN 0-940600-08-0.
který obsahuje spoustu zajímavého materiálu, ale může být při prvním čtení trochu těžko pochopitelný.
Přes svůj věk je k dispozici několik standardních úvodních knih o Steinově metodě. Následující nedávná učebnice má kapitolu (Kapitola 2) věnovanou představení Steinovy metody:
- Ross, Sheldon & Peköz, Erol (2007). Druhý kurz pravděpodobnosti. ISBN 978-0-9795704-0-7.
Ačkoli kniha
- Barbour, A. D. a Holst, L. a Janson, S. (1992). Poissonova aproximace. Oxfordská studia pravděpodobnosti. 2. Clarendon Press Oxford University Press. ISBN 0-19-852235-5.CS1 maint: více jmen: seznam autorů (odkaz)
je z velké části o Poissonově aproximaci, obsahuje nicméně mnoho informací o přístupu generátoru, zejména v kontextu aproximace Poissonova procesu.
Následující učebnice má kapitolu (Kapitola 10) věnovanou představení Steinovy metody Poissonovy aproximace:
- Sheldon M. Ross (1995). Stochastické procesy. Wiley. ISBN 978-0471120629.