Chi-kvadrát test - Chi-squared test

Distribuce chí-kvadrát, zobrazeno χ² na X- osa a p-hodnota (pravděpodobnost pravého ocasu) na y-osa.

A chí-kvadrát test, také psáno jako χ² test, je statistický test hypotéz to je platný provést, když je statistika testu chi-kvadrát distribuován pod nulová hypotéza konkrétně Pearsonův test chí-kvadrát a jejich varianty. Pearsonův test chí-kvadrát se používá k určení, zda existuje statisticky významný rozdíl mezi očekávaným frekvence a pozorované frekvence v jedné nebo více kategoriích a pohotovostní tabulka.

Ve standardních aplikacích tohoto testu jsou pozorování klasifikována do vzájemně se vylučujících tříd. Pokud nulová hypotéza že neexistují žádné rozdíly mezi třídami v populaci, je pravda, statistika testu vypočítaná z pozorování následuje a χ² rozdělení frekvence. Účelem testu je vyhodnotit, jak pravděpodobné by pozorované frekvence byly za předpokladu, že je nulová hypotéza pravdivá.

Statistiky testu, které následují a χ² rozdělení nastává, když jsou pozorování nezávislá a normálně distribuováno, které předpoklady jsou často oprávněné podle teorém centrálního limitu. Jsou tu také χ² testy pro testování nulové hypotézy nezávislosti dvojice náhodné proměnné na základě pozorování párů.

Chi-kvadrát testy často odkazují na testy, u nichž se distribuce statistik testu blíží k χ² rozdělení asymptoticky, což znamená, že Distribuce vzorků (pokud je nulová hypotéza pravdivá) se statistika testu přibližuje chi-kvadrát distribuci čím dál tím blíže vzorek velikosti se zvětšují.

Dějiny

V 19. století se statistické analytické metody používaly hlavně při analýze biologických dat a bylo obvyklé, že vědci předpokládali, že pozorování normální distribuce, jako Sir George Airy a Profesore Merrimane, jehož díla byla kritizována Karl Pearson ve svém příspěvku z roku 1900.^[1]

Na konci 19. století si Pearson všiml existence významných šikmost v rámci některých biologických pozorování. Aby bylo možné modelovat pozorování bez ohledu na to, zda jsou normální nebo zkosená, Pearson v sérii článků publikovaných od roku 1893 do roku 1916^[2][3][4][5] vymyslel Pearsonova distribuce, rodina spojitých distribucí pravděpodobnosti, která zahrnuje normální rozdělení a mnoho zkosených distribucí, a navrhla metodu statistické analýzy spočívající v použití Pearsonova rozdělení k modelování pozorování a provedení testu dobré shody k určení, jak dobře je model ve skutečnosti odpovídá pozorování.

Pearsonův test chí-kvadrát

V roce 1900 Pearson publikoval článek^[1] na χ² test, který je považován za jeden ze základů moderní statistiky.^[6] V tomto článku Pearson zkoumal test dobré shody.

Předpokládejme to n pozorování v náhodném vzorku z populace jsou klasifikována do k vzájemně se vylučující třídy s příslušnými pozorovanými čísly X_i (pro i = 1,2,…,k) a pravděpodobnost dává nulová hypotéza p_i že pozorování spadá do ith třída. Máme tedy očekávaná čísla m_i = np_i pro všechny i, kde

${ displaystyle { begin {aligned} & sum _ {i = 1} ^ {k} {p_ {i}} = 1 [8pt] & sum _ {i = 1} ^ {k} {m_ {i}} = n sum _ {i = 1} ^ {k} {p_ {i}} = sum _ {i = 1} ^ {k} x_ {i} end {zarovnáno}}}$

Pearson navrhl, že za předpokladu, že nulová hypotéza bude správná, jako n → ∞ mezní rozdělení níže uvedeného množství je: χ² rozdělení.

${ displaystyle X ^ {2} = součet _ {i = 1} ^ {k} { frac {(x_ {i} -m_ {i}) ^ {2}} {m_ {i}}} = součet _ {i = 1} ^ {k} {{ frac {x_ {i} ^ {2}} {m_ {i}}} - n}}$

Pearson se nejprve zabýval případem, ve kterém byla očekávaná čísla m_i jsou dostatečně velká známá čísla ve všech buňkách za předpokladu každého X_i lze brát jako normálně distribuováno, a dospěl k výsledku, že v limitu jako n se zvětší, X² následuje χ² distribuce s k − 1 stupně svobody.

Pearson však dále zvažoval případ, kdy očekávané počty závisely na parametrech, které musely být odhadnuty ze vzorku, a navrhl, že se zápisem m_i jsou skutečná očekávaná čísla a m′_i je odhadovaný očekávaný počet, rozdíl

${ displaystyle X ^ {2} - {X '} ^ {2} = součet _ {i = 1} ^ {k} { frac {x_ {i} ^ {2}} {m_ {i}}} - sum _ {i = 1} ^ {k} { frac {x_ {i} ^ {2}} {m '_ {i}}}}$

bude obvykle pozitivní a dostatečně malý na to, aby byl vynechán. Na závěr Pearson tvrdil, že pokud to vezmeme v úvahu X′² distribuováno také jako χ² distribuce s k − 1 stupně volnosti by chyba v této aproximaci neměla vliv na praktická rozhodnutí. Tento závěr způsobil určitou polemiku v praktických aplikacích a nebyl vyřešen po dobu 20 let, dokud nebyly zveřejněny Fisherovy dokumenty z let 1922 a 1924.^[7][8]

Další příklady chí-kvadrát testů

Jeden statistika testu následuje a distribuce chí-kvadrát přesně je test, že rozptyl normálně distribuované populace má danou hodnotu založenou na a rozptyl vzorku. Takové testy jsou v praxi neobvyklé, protože skutečná odchylka populace je obvykle neznámá. Existuje však několik statistických testů, kde distribuce chí-kvadrát je přibližně platný:

Fisherův přesný test

Přesný test použitý místo 2 x 2 chi-kvadrát testu nezávislosti viz Fisherův přesný test.

Binomický test

Přesný test používaný místo 2 x 1 testu chí-kvadrát na dobrou shodu, viz Binomický test.

Další testy chí-kvadrát

• Cochran – Mantel – Haenszel test chí-kvadrát.
• McNemarův test, používá se jistě 2 × 2 stoly s párováním
• Tukeyho test aditivity
• The portmanteau test v analýza časových řad, testování na přítomnost autokorelace
• Testy poměru pravděpodobnosti obecně statistické modelování, pro testování, zda existují důkazy o potřebě přechodu z jednoduchého modelu na složitější (kde je jednoduchý model vnořen do komplikovaného).

Yatesova korekce na kontinuitu

Za použití distribuce chí-kvadrát interpretovat Pearsonova statistika chí-kvadrát vyžaduje, aby se předpokládalo, že oddělený pravděpodobnost pozorování binomické frekvence v tabulce lze aproximovat spojitostí distribuce chí-kvadrát. Tento předpoklad není zcela správný a zavádí určitou chybu.

Chcete-li snížit chybu v přibližování, Frank Yates navrhl opravu kontinuity, která upraví vzorec pro Pearsonův test chí-kvadrát odečtením 0,5 od absolutního rozdílu mezi každou pozorovanou hodnotou a její očekávanou hodnotou v a 2 × 2 pohotovostní tabulka.^[9] To snižuje získanou hodnotu chí-kvadrát a tím zvyšuje její p-hodnota.

Chi-kvadrát test na rozptyl v normální populaci

Pokud vzorek velikosti n je převzato z populace mající a normální distribuce, pak je tu výsledek (viz rozdělení rozptylu vzorku ), který umožňuje provést test, zda má rozptyl populace předem stanovenou hodnotu. Například výrobní proces mohl být po dlouhou dobu ve stabilním stavu, což umožňovalo určit hodnotu odchylky v podstatě bez chyby. Předpokládejme, že se testuje varianta procesu, která vede k malému vzorku n výrobky, jejichž variace se mají testovat. Statistika testu T v tomto případě by mohl být nastaven jako součet čtverců o střední hodnotě vzorku, dělený nominální hodnotou pro rozptyl (tj. hodnotou, která má být testována jako držení). Pak T má distribuci chí-kvadrát s n − 1 stupně svobody. Například pokud je velikost vzorku 21, oblast přijetí pro T s úrovní významnosti 5% je mezi 9,59 a 34,17.

Příklad testu chí-kvadrát pro kategorická data

Předpokládejme, že existuje město s 1 000 000 obyvateli se čtyřmi čtvrtí: A, B, C, a D. Je odebrán náhodný vzorek 650 obyvatel města a jejich zaměstnání je zaznamenáno jako „bílý límec“, „modrý límec“ nebo „žádný límec“. Nulová hypotéza je, že sousedství bydliště každé osoby je nezávislé na profesní klasifikaci dané osoby. Data jsou uvedena v tabulce jako:

	A	B	C	D	celkový
bílý límeček	90	60	104	95	349
Modrý límec	30	50	51	20	151
Bez límce	30	40	45	35	150
Celkový	150	150	200	150	650

Vezměme si vzorek žijící v sousedství A, 150, odhadnout, jaký podíl z celkových 1 000 000 žije v sousedství A. Podobně bereme 349/650 odhadnout, jaký podíl z 1 000 000 tvoří dělníci. Za předpokladu nezávislosti podle hypotézy bychom měli „očekávat“ počet úřednických pracovníků v sousedství A být

${ displaystyle 150 krát { frac {349} {650}} přibližně 80,54}$

Pak v té „buňce“ tabulky máme

${ displaystyle { frac { vlevo ({ text {pozorováno}} - { text {očekáváno}} vpravo) ^ {2}} { text {očekáváno}}} = { frac { vlevo (90 -80,54 vpravo) ^ {2}} {80,54}} přibližně 1,11}$

Součet těchto veličin ve všech buňkách je statistikou testu; v tomto případě, ${ displaystyle přibližně 24,6}$. Podle nulové hypotézy má tento součet přibližně chí-kvadrát rozdělení, jehož počet stupňů volnosti je

${ displaystyle ({ text {počet řádků}} - 1) ({ text {počet sloupců}} - 1) = (3-1) (4-1) = 6}$

Pokud je statistika testu podle tohoto rozdělení chí-kvadrát nepravděpodobně velká, pak se odmítne nulová hypotéza nezávislosti.

Souvisejícím problémem je test homogenity. Předpokládejme, že místo toho, abychom každému obyvateli každého ze čtyř čtvrtí měli stejnou šanci na zahrnutí do vzorku, předem se rozhodneme, kolik obyvatel každého sousedství zahrnout. Pak má každý obyvatel stejnou šanci být vybrán stejně jako všichni obyvatelé stejného sousedství, ale obyvatelé různých čtvrtí by měli jinou pravděpodobnost, že budou vybráni, pokud velikost čtyř vzorků nebude úměrná populacím čtyř čtvrtí. V takovém případě bychom testovali spíše „homogenitu“ než „nezávislost“. Otázkou je, zda jsou poměry dělnických, bílých a bez límečků ve čtyřech čtvrtích stejné. Test se však provádí stejným způsobem.

Aplikace

v dešifrování se k porovnání distribuce používá test chí-kvadrát prostý text a (případně) dešifrován šifrový text. Nejnižší hodnota testu znamená, že dešifrování proběhlo s vysokou pravděpodobností.^[10][11] Tuto metodu lze zobecnit pro řešení moderních kryptografických problémů.^[12]

v bioinformatika, chí-kvadrát test se používá k porovnání distribuce určitých vlastností genů (např. genomový obsah, rychlost mutace, shlukování interakčních sítí atd.) patřících do různých kategorií (např. geny chorob, esenciální geny, geny na určitém chromozomu) atd.).^[13][14]

Viz také

• Pohotovostní tabulka
• Chi-kvadrát testovací nomogram
• G-test
• Minimální odhad chí-kvadrát
• Neparametrické statistiky
• Waldův test
• Interval Wilsonova skóre

Reference

Další čtení

• Weisstein, Eric W. "Test kvadrátů". MathWorld.
• Corder, G. W .; Foreman, D. I. (2014), Neparametrická statistika: podrobný přístup, New York: Wiley, ISBN  978-1118840313
• Greenwood, Cindy; Nikulin, M. S. (1996), Průvodce testování chí-kvadrát, New York: Wiley, ISBN  0-471-55779-X
• Nikulin, M. S. (1973), „Chi-kvadrát test normality“, Sborník z mezinárodní konference ve Vilniusu o teorii pravděpodobnosti a matematické statistice, 2, str. 119–122
• Bagdonavicius, V .; Nikulin, M. S. (2011), „Chi-kvadrát test dobré shody pro správně cenzurovaná data“, International Journal of Applied Mathematics and Statistics, str. 30–50^{[úplná citace nutná ]}