Test poměru pravděpodobnosti - Likelihood-ratio test

v statistika, test poměru pravděpodobnosti hodnotí dobrota fit dvou soutěžících statistické modely na základě poměru jejich pravděpodobnosti, konkrétně jeden nalezený uživatelem maximalizace přes celý prostor parametrů a další našel po uložení některé omezení. Pokud je omezení (tj nulová hypotéza ) je podporován pozorovaná data, dvě pravděpodobnosti by se neměly lišit o více než chyba vzorkování.^[1] Test pravděpodobnostního poměru tedy testuje, zda tento poměr je výrazně odlišné od jednoho, nebo ekvivalentně, zda jeho přirozený logaritmus se výrazně liší od nuly.

Test poměru pravděpodobnosti je nejstarší ze tří klasických přístupů k testování hypotéz spolu s Lagrangeův multiplikátorový test a Waldův test.^[2] Ve skutečnosti lze posledně uvedené dva pojmout jako aproximace testu pravděpodobnostního poměru a jsou asymptoticky ekvivalentní.^[3]^[4]^[5] V případě porovnání dvou modelů nemá každý neznámou parametry, použití testu poměru pravděpodobnosti lze odůvodnit Neymanovo-Pearsonovo lemma. Lemma ukazuje, že test má nejvyšší Napájení mezi všemi konkurenty.^[6]

Definice

Všeobecné

Předpokládejme, že máme statistický model s prostor parametrů ${ displaystyle Theta}$ . A nulová hypotéza se často říká, že parametr ${ displaystyle theta}$ je v zadané podmnožině ${ displaystyle Theta _ {0}}$ z ${ displaystyle Theta}$ . The alternativní hypotéza je tedy to ${ displaystyle theta}$ je v doplněk z ${ displaystyle Theta _ {0}}$ , tj. v ${ displaystyle Theta ~ zpětné lomítko ~ Theta _ {0}}$ , který je označen ${ displaystyle Theta _ {0} ^ { text {c}}}$ . Statistika testu poměru pravděpodobnosti pro nulovou hypotézu ${ displaystyle H_ {0} ,: , theta v theta _ {0}}$ darováno:^[7]

{ displaystyle lambda _ { text {LR}} = - 2 ln left [{ frac {~ sup _ { theta in Theta _ {0}} { mathcal {L}} ( theta) ~} {~ sup _ { theta in Theta} { mathcal {L}} ( theta) ~}} vpravo]}

kde množství uvnitř závorek se nazývá poměr pravděpodobnosti. Tady je ${ displaystyle sup}$ zápis odkazuje na supremum funkce. Jelikož jsou všechny pravděpodobnosti kladné a protože omezené maximum nemůže překročit neomezené maximum, je poměr pravděpodobnosti ohraničený mezi nulou a jednou.

Statistika testu poměru pravděpodobnosti je často vyjádřena jako rozdíl mezi pravděpodobnosti logu

{ displaystyle lambda _ { text {LR}} = - 2 left [~ ell ( theta _ {0}) - ell ({ hat { theta}}) ~ right]}

kde

{ displaystyle ell ({ hat { theta}}) equiv ln left [~ sup _ { theta in Theta} { mathcal {L}} ( theta) ~ vpravo] ~ }

je logaritmus funkce maximální pravděpodobnosti ${ displaystyle { mathcal {L}}}$ , a ${ displaystyle ell ( theta _ {0})}$ je maximální hodnota ve zvláštním případě, že nulová hypotéza je pravdivá (ale ne nutně hodnota, která maximalizuje ${ displaystyle { mathcal {L}}}$ pro vzorkovaná data) a

{ displaystyle theta _ {0} in Theta _ {0} qquad { text {a}} qquad { hat { theta}} in Theta ~}

označit příslušné argumenty maxim a povolené rozsahy, do kterých jsou vloženy. Násobení −2 zajistí matematicky, že (o Wilksova věta ) ${ displaystyle lambda _ { text {LR}}}$ konverguje asymptoticky k bytí $χ$ ²-distribuováno pokud bude nulová hypotéza pravdivá.^[8] The distribuce konečných vzorků testy pravděpodobnosti jsou obecně neznámé.^[9]

Test pravděpodobnostního poměru vyžaduje, aby modely byly vnořené - tj. Složitější model lze transformovat do jednoduššího modelu zavedením omezení na jeho parametry. Mnoho běžných statistik testů jsou testy pro vnořené modely a lze je formulovat jako poměry logaritmické pravděpodobnosti nebo jejich aproximace: např. the Z-test, F-test, G-test, a Pearsonův test chí-kvadrát; pro ilustraci s jeden vzorek t-test, viz. níže.

Pokud modely nejsou vnořené, pak místo testu poměru pravděpodobnosti existuje zobecnění testu, které lze obvykle použít: podrobnosti viz relativní pravděpodobnost.

Případ jednoduchých hypotéz

Test jednoduché hypotézy vs. jednoduché hypotézy má zcela specifikované modely jak pro nulovou hypotézu, tak pro alternativní hypotézu, které jsou pro větší pohodlí psány jako pevné hodnoty pomyslného parametru ${ displaystyle theta}$ :

{ displaystyle { begin {aligned} H_ {0} &: & theta = theta _ {0}, H_ {1} &: & theta = theta _ {1}. end {aligned} }}

V tomto případě je za každé hypotézy distribuce dat plně specifikována: neexistují žádné neznámé parametry k odhadu. V tomto případě je k dispozici varianta testu poměru pravděpodobnosti:^[10]^[11]

{ displaystyle Lambda (x) = { frac {~ { mathcal {L}} ( theta _ {0} mid x) ~} {~ { mathcal {L}} ( theta _ {1} mid x) ~}}}

Některé starší odkazy mohou používat jako definici převrácenou funkci výše.^[12] Poměr pravděpodobnosti je tedy malý, pokud je alternativní model lepší než nulový.

Test pravděpodobnostního poměru poskytuje pravidlo rozhodování takto:

Li

{ displaystyle ~ Lambda> c ~}

, neodmítněte

{ displaystyle H_ {0}}

;

Li

{ displaystyle ~ Lambda

, odmítnout

{ displaystyle H_ {0}}

;

Odmítněte s pravděpodobností

{ displaystyle ~ q ~}

-li

{ displaystyle ~ Lambda = c ~.}

Hodnoty ${ displaystyle c}$ a ${ displaystyle q}$ jsou obvykle vybrány pro získání zadaného úroveň významnosti ${ displaystyle alpha}$ prostřednictvím vztahu

{ displaystyle ~ q cdot operatorname {P} ( Lambda = c mid H_ {0}) ~ + ~ operatorname {P} ( Lambda

The Neymanovo-Pearsonovo lemma uvádí, že tento test poměru pravděpodobnosti je nejmocnější mezi všemi úrovněmi ${ displaystyle alpha}$ testy pro tento případ.^[6]^[11]

Výklad

Poměr pravděpodobnosti je funkcí dat ${ displaystyle x}$ ; proto se jedná o statistický, i když neobvyklé v tom, že hodnota statistiky závisí na parametru, ${ displaystyle theta}$ . Test pravděpodobnostního poměru odmítá nulovou hypotézu, pokud je hodnota této statistiky příliš malá. Jak malé je příliš malé, závisí na úrovni významnosti testu, tj. Na jaké pravděpodobnosti Chyba typu I. je považován za přijatelný (chyby typu I spočívají v odmítnutí nulové hypotézy, která je pravdivá).

The čitatel odpovídá pravděpodobnosti pozorovaného výsledku v rámci nulová hypotéza. The jmenovatel odpovídá maximální pravděpodobnosti pozorovaného výsledku, měnícím se parametrům v celém prostoru parametrů. Čitatel tohoto poměru je menší než jmenovatel; poměr pravděpodobnosti je tedy mezi 0 a 1. Nízké hodnoty poměru pravděpodobnosti znamenají, že pozorovaný výsledek je mnohem méně pravděpodobný, že se vyskytne při nulové hypotéze ve srovnání s alternativou. Vysoké hodnoty statistiky znamenají, že pozorovaný výsledek je téměř stejně pravděpodobný, že nastane při nulové hypotéze jako alternativa, a proto nulovou hypotézu nelze odmítnout.

Příklad

Následující příklad je upraven a zkrácen z Stuart, Ord & Arnold (1999, §22.2).

Předpokládejme, že máme náhodný vzorek velikosti $n$ z populace, která je normálně distribuována. Oba znamenají, $μ$ a směrodatná odchylka, $σ$ , populace není známo. Chceme otestovat, zda se průměr rovná dané hodnotě, $μ 0$ .

Naše nulová hypotéza tedy je $H 0 : μ = μ 0$ a naše alternativní hypotéza je $H 1 : μ \neq μ 0$ . Funkce pravděpodobnosti je

{ displaystyle { mathcal {L}} ( mu, sigma mid x) = left (2 pi sigma ^ {2} right) ^ {- n / 2} exp left (- součet _ {i = 1} ^ {n} { frac {(x_ {i} - mu) ^ {2}} {2 sigma ^ {2}}} vpravo) ,.}

S určitým výpočtem (zde vynechaným) lze potom ukázat, že

{ displaystyle lambda = left (1 + { frac {t ^ {2}} {n-1}} right) ^ {- n / 2}}

kde $t$ je $t$ -statistický s $n - 1$ stupně svobody. Proto můžeme použít známé přesné rozdělení $t n -1$ vyvodit závěry.

Asymptotická distribuce: Wilksova věta

Pokud lze explicitně určit rozdělení poměru pravděpodobnosti odpovídající určité nulové a alternativní hypotéze, lze ji přímo použít k vytvoření rozhodovacích oblastí (k udržení nebo odmítnutí nulové hypotézy). Ve většině případů je však velmi obtížné určit přesné rozdělení poměru pravděpodobnosti odpovídající konkrétním hypotézám.^{[Citace je zapotřebí ]}

Za předpokladu $H 0$ je pravda, že existuje zásadní výsledek Samuel S. Wilks: Jako velikost vzorku ${ displaystyle n}$ přístupy ${ displaystyle infty}$ , statistika testu ${ displaystyle -2 log ( lambda)}$ asymptoticky bude chi-kvadrát distribuován ( ${ displaystyle chi ^ {2}}$ ) s stupně svobody rovnající se rozdílu v rozměrnosti ${ displaystyle Theta}$ a ${ displaystyle Theta _ {0}}$ .^[13] To znamená, že pro nejrůznější hypotézy můžeme vypočítat poměr pravděpodobnosti ${ displaystyle lambda}$ pro data a poté porovnat ${ displaystyle -2 log ( lambda)}$ do ${ displaystyle chi ^ {2}}$ hodnota odpovídající požadované hodnotě statistická významnost jako přibližný statistický test. Existují i další rozšíření.^{[který? ]}

Viz také

Reference

^ Králi, Gary (1989). Sjednocující politická metodologie: Teorie pravděpodobnosti statistické inference. New York: Cambridge University Press. str. 84. ISBN 0-521-36697-6.
^ Maddala, G. S.; Lahiri, Kajal (2010). Úvod do ekonometrie (Čtvrté vydání). New York: Wiley. str. 200.
^ Buse, A. (1982). „Zkoušky multiplikátoru poměru pravděpodobnosti, Waldova a Lagrangeova: vysvětlující poznámka“. Americký statistik. 36 (3a): 153–157. doi:10.1080/00031305.1982.10482817.
^ Pickles, Andrew (1985). Úvod do analýzy pravděpodobnosti. Norwich: W. H. Hutchins & Sons. str.24–27. ISBN 0-86094-190-6.
^ Severini, Thomas A. (2000). Metody pravděpodobnosti ve statistice. New York: Oxford University Press. str. 120–121. ISBN 0-19-850650-3.
^ ^A ^b Neyman, J.; Pearson, E. S. (1933), „K problému nejúčinnějších testů statistických hypotéz“ (PDF), Filozofické transakce Královské společnosti v Londýně A, 231 (694–706): 289–337, Bibcode:1933RSPTA.231..289N, doi:10.1098 / rsta.1933.0009, JSTOR 91247
^ Koch, Karl-Rudolf (1988). Odhad parametrů a testování hypotéz v lineárních modelech. New York: Springer. str.306. ISBN 0-387-18840-1.
^ Silvey, S.D. (1970). Statistická inference. London: Chapman & Hall. str. 112–114. ISBN 0-412-13820-4.
^ Mittelhammer, Ron C.; Soudce, George G.; Miller, Douglas J. (2000). Ekonometrické základy. New York: Cambridge University Press. str.66. ISBN 0-521-62394-4.
^ Mood, A.M .; Graybill, F.A.; Boes, D.C. (1974). Úvod do teorie statistiky (3. vyd.). McGraw-Hill. §9.2.
^ ^A ^b Stuart, A .; Ord, K .; Arnold, S. (1999), Kendall's Advanced Theory of Statistics, 2A, Arnold, §§20.10–20.13
^ Cox, D. R.; Hinkley, D. V. (1974), Teoretická statistika, Chapman & Hall, str. 92, ISBN 0-412-12420-3
^ Wilks, S.S. (1938). „Rozdělení velkého vzorku poměru pravděpodobnosti pro testování složených hypotéz“. Annals of Mathematical Statistics. 9 (1): 60–62. doi:10.1214 / aoms / 1177732360.

Další čtení

Glover, Scott; Dixon, Peter (2004), „Pravděpodobnostní poměry: Jednoduchá a flexibilní statistika pro empirické psychology“, Psychonomic Bulletin & Review, 11 (5): 791–806, doi:10,3758 / BF03196706
Drženo, Leonhard; Sabanés Bové, Daniel (2014), Aplikovaná statistická inference - pravděpodobnost a Bayes, Springer
Kalbfleisch, J. G. (1985), Pravděpodobnost a statistická inference, 2, Springer-Verlag
Perlman, Michael D .; Wu, Lang (1999), „Nové testy císaře“, Statistická věda, 14 (4): 355–381, doi:10.1214 / ss / 1009212517
Perneger, Thomas V. (2001), „Prosévání důkazů: Pravděpodobnostní poměry jsou alternativami k hodnotám P“, BMJ, 322 (7295): 1184–5, doi:10.1136 / bmj.322.7295.1184, PMC 1120301, PMID 11379590
Pinheiro, José C .; Bates, Douglas M. (2000), Modely se smíšenými efekty v S a S-PLUS, Springer-Verlag, s. 82–93
Solomon, Daniel L. (1975), „Poznámka k neekvivalenci Neyman-Pearsonových testů a obecných testů poměru pravděpodobnosti pro testování jednoduché nulové versus jednoduché alternativní hypotézy“ (PDF), Americký statistik, 29 (2): 101–102, doi:10.1080/00031305.1975.10477383

externí odkazy

[1] Králi, Gary (1989). Sjednocující politická metodologie: Teorie pravděpodobnosti statistické inference. New York: Cambridge University Press. str. 84. ISBN 0-521-36697-6.

[2] Maddala, G. S.; Lahiri, Kajal (2010). Úvod do ekonometrie (Čtvrté vydání). New York: Wiley. str. 200.

[3] Buse, A. (1982). „Zkoušky multiplikátoru poměru pravděpodobnosti, Waldova a Lagrangeova: vysvětlující poznámka“. Americký statistik. 36 (3a): 153–157. doi:10.1080/00031305.1982.10482817.

[4] Pickles, Andrew (1985). Úvod do analýzy pravděpodobnosti. Norwich: W. H. Hutchins & Sons. str.24–27. ISBN 0-86094-190-6.

[5] Severini, Thomas A. (2000). Metody pravděpodobnosti ve statistice. New York: Oxford University Press. str. 120–121. ISBN 0-19-850650-3.

[NeymanPearson1933-6] A ^b Neyman, J.; Pearson, E. S. (1933), „K problému nejúčinnějších testů statistických hypotéz“ (PDF), Filozofické transakce Královské společnosti v Londýně A, 231 (694–706): 289–337, Bibcode:1933RSPTA.231..289N, doi:10.1098 / rsta.1933.0009, JSTOR 91247

[7] Koch, Karl-Rudolf (1988). Odhad parametrů a testování hypotéz v lineárních modelech. New York: Springer. str.306. ISBN 0-387-18840-1.

[8] Silvey, S.D. (1970). Statistická inference. London: Chapman & Hall. str. 112–114. ISBN 0-412-13820-4.

[9] Mittelhammer, Ron C.; Soudce, George G.; Miller, Douglas J. (2000). Ekonometrické základy. New York: Cambridge University Press. str.66. ISBN 0-521-62394-4.

[10] Mood, A.M .; Graybill, F.A.; Boes, D.C. (1974). Úvod do teorie statistiky (3. vyd.). McGraw-Hill. §9.2.

[Stuart_et_al._20.10–20.13-11] A ^b Stuart, A .; Ord, K .; Arnold, S. (1999), Kendall's Advanced Theory of Statistics, 2A, Arnold, §§20.10–20.13

[12] Cox, D. R.; Hinkley, D. V. (1974), Teoretická statistika, Chapman & Hall, str. 92, ISBN 0-412-12420-3

[13] Wilks, S.S. (1938). „Rozdělení velkého vzorku poměru pravděpodobnosti pro testování složených hypotéz“. Annals of Mathematical Statistics. 9 (1): 60–62. doi:10.1214 / aoms / 1177732360.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]