Hypergeometrická distribuce - Hypergeometric distribution

Hypergeometrické

Funkce pravděpodobnostní hmotnosti
Funkce kumulativní distribuce
Parametry	${ displaystyle { begin {zarovnáno} N & in left {0,1,2, dots right } K & in left {0,1,2, dots, N right } n & in left {0,1,2, dots, N right } end {zarovnáno}} ,}$
Podpěra, podpora	${ displaystyle scriptstyle {k , v , vlevo { max {(0, , n + KN)}, , tečky, , min {(n, , K)} že jo}},}$
PMF	${ displaystyle {{{K zvolit k} {{N-K} zvolit {n-k}}} přes {N zvolit n}}}$
CDF	${ displaystyle 1 - {{{n zvolit {k + 1}} {{Nn} zvolit {Kk-1}}} přes {N zvolit K}} , _ {3} F_ {2} ! ! left [{ begin {array} {c} 1, k + 1-K, k + 1-n k + 2, N + k + 2-Kn end {array}} ; 1 vpravo],}$ kde ${ displaystyle , _ {p} F_ {q}}$ je generalizovaná hypergeometrická funkce
Znamenat	${ displaystyle n {K přes N}}$
Režim	${ displaystyle left lceil { frac {(n + 1) (K + 1)} {N + 2}} right rceil -1, left lfloor { frac {(n + 1) (K +1)} {N + 2}} doprava podlaha$
Rozptyl	${ displaystyle n {K přes N} {(N-K) přes N} {N-n přes N-1}}$
Šikmost	${ displaystyle { frac {(N-2K) (N-1) ^ { frac {1} {2}} (N-2n)} {[nK (NK) (Nn)] ^ { frac {1 } {2}} (N-2)}}}$
Př. špičatost	${ displaystyle left. { frac {1} {nK (N-K) (N-n) (N-2) (N-3)}} cdot right.}$${ displaystyle { Big [} (N-1) N ^ {2} { Big (} N (N + 1) -6K (N-K) -6n (N-n) { Big)} + {}}$ ${ displaystyle {} + 6nK (N-K) (N-n) (5N-6) { Big]}}$
MGF	${ displaystyle { frac {{NK zvolit n} scriptstyle {, _ {2} F_ {1} (- n, -K; NK-n + 1; e ^ {t})}}} {N zvolte n}} , !}$
CF	${ displaystyle { frac {{NK zvolit n} scriptstyle {, _ {2} F_ {1} (- n, -K; NK-n + 1; e ^ {it})}}} {N zvolte n}}}$

v teorie pravděpodobnosti a statistika, hypergeometrická distribuce je diskrétní rozdělení pravděpodobnosti který popisuje pravděpodobnost ${ displaystyle k}$ úspěchy (náhodné losování, pro které má nakreslený objekt specifikovaný rys) v ${ displaystyle n}$ Kreslí, bez výměna, z konečné populace velikosti ${ displaystyle N}$ který obsahuje přesně ${ displaystyle K}$ objekty s touto funkcí, přičemž každý tah je buď úspěch, nebo neúspěch. Naproti tomu binomická distribuce popisuje pravděpodobnost ${ displaystyle k}$ úspěchy v ${ displaystyle n}$ Kreslí s výměna, nahrazení.

Definice

Funkce pravděpodobnostní hmotnosti

Hypergeometrické rozdělení charakterizují následující podmínky:

• Výsledek každého losování (prvky populace, ze které se odebírají vzorky) lze klasifikovat do jednoho z dvě vzájemně se vylučující kategorie (např. Pass / Fail nebo Employed / Unemployed).
• Pravděpodobnost úspěchu se při každém losování mění, protože každý los snižuje populaci (vzorkování bez náhrady z konečné populace).

A náhodná proměnná ${ displaystyle X}$ sleduje hypergeometrické rozdělení, pokud je funkce pravděpodobnostní hmotnosti (pmf) je dáno^[1]

${ displaystyle p_ {X} (k) = Pr (X = k) = { frac {{ binom {K} {k}} { binom {NK} {nk}}} { binom {N} {n}}},}$

kde

• ${ displaystyle N}$ je velikost populace,
• ${ displaystyle K}$ je počet úspěšných států v populaci,
• ${ displaystyle n}$ je počet losování (tj. množství čerpané v každém pokusu),
• ${ displaystyle k}$ je počet pozorovaných úspěchů,
• ${ textstyle textstyle {a vyberte b}}$ je binomický koeficient.

The odpoledne je pozitivní, když ${ Displaystyle max (0, n + K-N) leq k leq min (K, n)}$.

Náhodná proměnná distribuovaná hypergeometricky s parametry ${ displaystyle N}$, ${ displaystyle K}$ a ${ displaystyle n}$ je psáno ${ textstyle X sim operatorname {Hypergeometric} (N, K, n)}$ a má funkce pravděpodobnostní hmotnosti ${ textový styl p_ {X} (k)}$ výše.

Kombinatorické identity

Podle potřeby máme

$${ displaystyle sum _ {0 leq k leq min (n, K)} {{K vybrat k} {N-K vybrat n-k} nad {N zvolit n}} = 1,}$$

což v zásadě vyplývá z Vandermondeova identita z kombinatorika.

Všimněte si také, že

${ displaystyle {{K zvolit k} {NK zvolit nk} přes {N zvolit n}} = {{{n zvolit k} {{Nn} zvolit {Kk}}} přes {N zvolte K}};}$

Tuto identitu lze ukázat vyjádřením binomických koeficientů z hlediska faktoriálů a jejich přeuspořádáním, ale italso vyplývá ze symetrie problému. Zvažte dvě kola kreslení bez výměny. V prvním kole ${ displaystyle K}$ mimo ${ displaystyle N}$ neutrální kuličky jsou čerpány z urny bez výměny a zbarveny zeleně. Poté jsou barevné kuličky vráceny zpět. Ve druhém kole ${ displaystyle n}$ kuličky jsou kresleny bez náhrady a zbarveny červeně. Poté má počet kuliček s oběma barvami (tj. Počet kuliček, které byly nakresleny dvakrát) hypergeometrické rozdělení. Symetrie v ${ displaystyle K}$ a ${ displaystyle n}$ pramení ze skutečnosti, že obě kola jsou nezávislá a jedna mohla začít kreslením ${ displaystyle n}$ koule a nejprve je zbarvíte červeně.

Vlastnosti

Pracovní příklad

Klasická aplikace hypergeometrické distribuce je vzorkování bez náhrady. Přemýšlejte o urna se dvěma barvami kuličky, červená a zelená. Definujte kreslení zeleného mramoru jako úspěch a kreslení červeného mramoru jako neúspěch (analogicky k binomickému rozdělení). Pokud proměnná N popisuje počet všechny kuličky v urně (viz pohotovostní tabulka níže) a K. popisuje počet zelené kuličky, pak N − K. odpovídá počtu červené kuličky. V tomto příkladu X je náhodná proměnná jehož výsledek je k, počet zelených kuliček skutečně nakreslených v experimentu. Tuto situaci ilustruje následující pohotovostní tabulka:

Nyní předpokládejme (například), že v urně je 5 zelených a 45 červených kuliček. Stojíte vedle urny, zavřete oči a bez náhrady nakreslíte 10 kuliček. Jaká je pravděpodobnost, že přesně 4 z 10 jsou zelené? Všimněte si, že i když se díváme na úspěch / neúspěch, data nejsou přesně modelována pomocí binomická distribuce, protože pravděpodobnost úspěchu v každé studii není stejná, protože velikost zbývající populace se mění, když odstraňujeme každý mramor.

Tento problém shrnuje následující pohotovostní tabulka:

Pravděpodobnost přesného kreslení k zelené kuličky lze vypočítat podle vzorce

${ displaystyle P (X = k) = f (k; N, K, n) = {{{K vybrat k} {{NK} zvolit {nk}}} přes {N zvolit n}}. }$

Proto v tomto příkladu spočítejte

${ displaystyle P (X = 4) = f (4; 50,5,10) = {{{5 zvolit 4} {{45} zvolit {6}}} přes {50 zvolit 10}} = {5 cdot 8145060 nad 10272278170} = 0,003964583 tečky.}$

Intuitivně bychom očekávali, že bude ještě nepravděpodobnější, že všech 10 zelených kuliček bude mezi 10 vylosovanými.

${ displaystyle P (X = 5) = f (5; 50,5,10) = {{{5 zvolit 5} {{45} zvolit {5}}} přes {50 zvolit 10}} = {1 cdot 1221759 přes 10272278170} = 0,0001189375 tečky,}$

Podle očekávání je pravděpodobnost čerpání 5 zelených kuliček zhruba 35krát méně pravděpodobná než pravděpodobnost čerpání 4.

Symetrie

Výměna rolí zelených a červených kuliček:

${ displaystyle f (k; N, K, n) = f (n-k; N, N-K, n)}$

Výměna rolí vytažených a nevytažených kuliček:

${ displaystyle f (k; N, K, n) = f (K-k; N, K, N-n)}$

Výměna rolí zelených a nakreslených kuliček:

${ displaystyle f (k; N, K, n) = f (k; N, n, K)}$

Tyto symetrie generují dihedrální skupina ${ displaystyle D_ {4}}$.

Pořadí losování

Pravděpodobnost nakreslení libovolné sady zelených a červených kuliček (hypergeometrické rozdělení) závisí pouze na počtu zelených a červených kuliček, nikoli na pořadí, ve kterém se objevují; tj. je to vyměnitelné rozdělení. Výsledkem je pravděpodobnost nakreslení zeleného mramoru v ${ displaystyle i ^ { text {th}}}$ remíza je^[2]

${ displaystyle P (G_ {i}) = { frac {K} {N}}.}$

Toto je pravděpodobnost ex ante - to znamená, že je založena na neznámu výsledků předchozích losování.

Ocasní meze

Nechat ${ displaystyle X sim operatorname {Hypergeometric} (K, N, n)}$ a ${ displaystyle p = K / N}$. Pak pro ${ displaystyle 0$ můžeme odvodit následující hranice:^[3]

${ displaystyle { begin {zarovnáno} Pr [X leq (pt) n] & leq e ^ {- n { text {D}} (pt paralelní p)} leq e ^ {- 2t ^ {2} n} Pr [X geq (p + t) n] & leq e ^ {- n { text {D}} (p + t paralelní p)} leq e ^ {- 2t ^ {2} n} end {zarovnáno}} !}$

kde

${ displaystyle D (a paralelní b) = a log { frac {a} {b}} + (1-a) log { frac {1-a} {1-b}}}$

je Kullback-Leiblerova divergence a používá se to ${ displaystyle D (a paralelní b) geq 2 (a-b) ^ {2}}$.^[4]

Li n je větší než N/ 2, může být užitečné použít symetrii k „invertování“ hranic, které vám poskytnou následující:^[4][5]

${ displaystyle { begin {aligned} Pr [X leq (pt) n] & leq e ^ {- (Nn) { text {D}} (p + { tfrac {tn} {Nn}} | | p)} leq e ^ {- 2t ^ {2} n { tfrac {n} {Nn}}} \ Pr [X geq (p + t) n] & leq e ^ { - (Nn) { text {D}} (p - { tfrac {tn} {Nn}} || p)} leq e ^ {- 2t ^ {2} n { tfrac {n} {Nn} }} end {zarovnáno}} !}$

Statistická inference

Hypergeometrický test

The hypergeometrický test používá hypergeometrickou distribuci k měření statistické významnosti odebrání vzorku skládajícího se ze specifického počtu ${ displaystyle k}$ úspěchy (z ${ displaystyle n}$ celkem čerpá) z populace velikosti ${ displaystyle N}$ obsahující ${ displaystyle K}$ úspěchy. V testu nadměrného zastoupení úspěchů ve vzorku se hypergeometrická hodnota p vypočítá jako pravděpodobnost náhodného vykreslení ${ displaystyle k}$ nebo více úspěchů populace v roce 2006 ${ displaystyle n}$ celkem čerpá. V testu nedostatečného zastoupení je hodnota p pravděpodobnost náhodného vykreslení ${ displaystyle k}$ nebo méně úspěchů.

Biolog a statistik Ronald Fisher

Test založený na hypergeometrickém rozdělení (hypergeometrický test) je identický s odpovídající jednostrannou verzí Fisherův přesný test.^[6] Recipročně lze p-hodnotu oboustranného Fisherova přesného testu vypočítat jako součet dvou příslušných hypergeometrických testů (další informace viz^[7]).

Test se často používá k identifikaci, které subpopulace jsou ve vzorku nadměrně nebo nedostatečně zastoupeny. Tento test má širokou škálu aplikací. Například marketingová skupina by mohla pomocí testu porozumět své zákaznické základně testováním sady známých zákazníků na nadměrné zastoupení různých demografických podskupin (např. Ženy, lidé do 30 let).

Související distribuce

Nechat ${ displaystyle X sim operatorname {Hypergeometric} (N, K, n)}$ a ${ displaystyle p = K / N}$.

• Li ${ displaystyle n = 1}$ pak ${ displaystyle X}$ má Bernoulliho distribuce s parametrem ${ displaystyle p}$.
• Nechat ${ displaystyle Y}$ mít binomická distribuce s parametry ${ displaystyle n}$ a ${ displaystyle p}$; to modeluje počet úspěchů v analogickém problému vzorkování s výměna, nahrazení. Li ${ displaystyle N}$ a ${ displaystyle K}$ jsou velké v porovnání s ${ displaystyle n}$, a ${ displaystyle p}$ není tedy blízko 0 nebo 1 ${ displaystyle X}$ a ${ displaystyle Y}$ mají podobné distribuce, tj. ${ Displaystyle P (X leq k) přibližně P (Y leq k)}$.
• Li ${ displaystyle n}$ je velký, ${ displaystyle N}$ a ${ displaystyle K}$ jsou velké v porovnání s ${ displaystyle n}$, a ${ displaystyle p}$ není tedy blízko 0 nebo 1

${ displaystyle P (X leq k) přibližně Phi vlevo ({ frac {k-np} { sqrt {np (1-p)}}} vpravo)}$

kde ${ displaystyle Phi}$ je standardní funkce normálního rozdělení

• Pokud se pravděpodobnost nakreslení zeleného nebo červeného mramoru nerovná (např. Protože zelené kuličky jsou větší / snadněji uchopitelné než červené kuličky), pak ${ displaystyle X}$ má necentrální hypergeometrická distribuce
• The beta-binomická distribuce je před konjugátem pro hypergeometrickou distribuci.

Následující tabulka popisuje čtyři distribuce související s počtem úspěchů v pořadí losování:

Vícerozměrná hypergeometrická distribuce

Vícerozměrná hypergeometrická distribuce

Parametry	${ displaystyle c in mathbb {N} _ {+} = lbrace 1,2, ldots rbrace}$ ${ displaystyle (K_ {1}, ldots, K_ {c}) in mathbb {N} ^ {c}}$ ${ displaystyle N = součet _ {i = 1} ^ {c} K_ {i}}$ ${ displaystyle n in lbrace 0, ldots, N rbrace}$
Podpěra, podpora	${ displaystyle left { mathbf {k} in mathbb {Z} _ {0 +} ^ {c} ,: , forall i k_ {i} leq K_ {i}, součet _ {i = 1} ^ {c} k_ {i} = n doprava }}$
PMF	${ displaystyle { frac { prod _ {i = 1} ^ {c} { binom {K_ {i}} {k_ {i}}}} { binom {N} {n}}}}$
Znamenat	${ displaystyle operatorname {E} (X_ {i}) = n { frac {K_ {i}} {N}}}$
Rozptyl	${ displaystyle operatorname {Var} (X_ {i}) = n { frac {Nn} {N-1}} ; { frac {K_ {i}} {N}} vlevo (1 - { frac {K_ {i}} {N}} vpravo)}$ ${ displaystyle operatorname {Cov} (X_ {i}, X_ {j}) = - n { frac {Nn} {N-1}} ; { frac {K_ {i}} {N}} { frac {K_ {j}} {N}}}$

Model modelu urna se zelenými a červenými kuličkami lze rozšířit na případ, kdy jsou více než dvě barvy kuliček. Pokud existují K._i barevné kuličky i v urně a bereš n kuličky náhodně bez výměny, pak počet kuliček každé barvy ve vzorku (k₁, k₂,..., k_C) má vícerozměrné hypergeometrické rozdělení. To má stejný vztah k multinomiální distribuce že hypergeometrická distribuce má binomickou distribuci - multinomiální distribuce je distribucí „s náhradou“ a multivariační hypergeometrická distribuce je „bez nahrazení“ distribucí.

Vlastnosti této distribuce jsou uvedeny v sousední tabulce, kde C je počet různých barev a ${ displaystyle N = součet _ {i = 1} ^ {c} K_ {i}}$ je celkový počet kuliček.

Příklad

Předpokládejme, že v urně je 5 černých, 10 bílých a 15 červených kuliček. Pokud je vybráno šest kuliček bez náhrady, je pravděpodobnost, že jsou vybrány přesně dva z každé barvy

${ displaystyle P (2 { text {black}}, 2 { text {white}}, 2 { text {red}}) = {{{5 zvolit 2} {10 zvolit 2} {15 zvolte 2}} nad {30 vyberte 6}} = 0,079575596816976}$

Výskyt a aplikace

Aplikace na audit voleb

Vzorky použité pro volební audity a z toho vyplývající šance, že mu chybí problém

Volební audity typicky otestujte vzorek okrsků počítaných strojem, abyste zjistili, zda se ruční přepočítávání nebo stroj shodují s původními počty. Neshody vedou buď k sestavě, nebo k většímu přepočítání. Míry vzorkování jsou obvykle definovány zákonem, nikoli statistickým designem, takže pro zákonně definovanou velikost vzorku n, jaká je pravděpodobnost, že vám chybí problém, který je přítomen v K. okrsky, jako je hack nebo chyba? To je pravděpodobnost, že k = 0. Chyby jsou často nejasné a hacker může minimalizovat detekci tím, že ovlivní pouze několik okrsků, což stále ovlivní blízké volby, takže je pravděpodobný scénář pro K. být řádově 5% z N. Audity obvykle pokrývají 1% až 10% okrsků (často 3%),^[8][9][10] takže mají vysokou šanci, že jim chybí problém. Například pokud je problém přítomen v 5 ze 100 okrsků, 3% vzorek má 86% pravděpodobnost, že k = 0, takže problém by nebyl zaznamenán, a pouze 14% pravděpodobnost výskytu problému ve vzorku (pozitivní k):

${ displaystyle { begin {aligned} Pr (X = 0) & = { frac {{ binom { text {Hack}} {0}} { binom {N - { text {Hack}}} {n-0}}} { binom {N} {n}}} = { frac { binom {N - { text {Hack}}} {n}} { binom {N} {n}} } = { frac { frac {(N - { text {Hack}})!} {n! (N - { text {Hack}} - n)!}} { frac {N!} {n ! (Nn)!}}} = { Frac { frac {(N - { text {Hack}})!} {(N - { text {Hack}} - n)!}} { Frac { N!} {(Nn)!}}} [8pt] & = { frac { binom {100-5} {3}} { binom {100} {3}}} = { frac { frac {(100-5)!} {(100-5-3)!}} { frac {100!} {(100-3)!}}} = { frac { frac {95!} {92 !}} { frac {100!} {97!}}} = { frac {95 krát 94 krát 93} {100 krát 99 krát 98}} = 86 \% end {zarovnáno}}}$

Vzorek by potřeboval 45 okrsků, aby měla pravděpodobnost pod 5% k = 0 ve vzorku, a proto mají pravděpodobnost více než 95% nalezení problému:

${ displaystyle P (X = 0) = { frac { binom {100-5} {45}} { binom {100} {45}}} = { frac { frac {95!} {50! }} { frac {100!} {55!}}} = { frac {95 krát 94 krát cdots krát 51} {100 krát 99 krát cdots krát 56}} = { frac {55 krát 54 krát 53 krát 52 krát 51} {100 krát 99 krát 98 krát 97 krát 96}} = 4,6 \%}$

Aplikace na Texas Hold'em Poker

v hold'em hráči pokeru dělají to nejlepší, co mohou, kombinováním obou karet v ruce s 5 kartami (společnými kartami), které se nakonec objeví na stole. Balíček má 52 a v každé barvě je 13. Předpokládejme například, že hráč má v ruce 2 kluby a na stole jsou 3 karty, z nichž 2 jsou také kluby. Hráč by rád věděl, jak je pravděpodobné, že jedna z následujících 2 karet bude klubem, který splní flush.
(Všimněte si, že pravděpodobnost vypočítaná v tomto příkladu předpokládá, že nejsou známy žádné informace o kartách v rukou ostatních hráčů; avšak zkušení hráči pokeru mohou zvážit, jak ostatní hráči při sázení (check, call, raise nebo fold) zvažují pravděpodobnost pro každý scénář. Přesně řečeno, zde popsaný přístup k výpočtu pravděpodobnosti úspěchu je přesný ve scénáři, kde je u stolu pouze jeden hráč; ve hře pro více hráčů může být tato pravděpodobnost do určité míry upravena na základě sázkové hry oponentů .)

K dispozici jsou 4 kluby, takže 9 klubů je stále neviditelných. Zobrazeno je 5 karet (2 v ruce a 3 na stole), takže jsou ${ displaystyle 52-5 = 47}$ stále neviditelné.

Pravděpodobnost, že jedna z následujících dvou otočených karet je klubová, lze vypočítat pomocí hypergeometrické metody s ${ displaystyle k = 1, n = 2, K = 9}$ a ${ displaystyle N = 47}$. (přibližně 31,64%)

Pravděpodobnost, že obě následující dvě otočené karty jsou kluby, lze vypočítat pomocí hypergeometrické metody s ${ displaystyle k = 2, n = 2, K = 9}$ a ${ displaystyle N = 47}$. (asi 3,33%)

Pravděpodobnost, že žádná z následujících dvou otočených karet nejsou kluby, lze vypočítat pomocí hypergeometrického s ${ displaystyle k = 0, n = 2, K = 9}$ a ${ displaystyle N = 47}$. (asi 65,03%)

Viz také

• Noncentrální hypergeometrické distribuce
• Negativní hypergeometrická distribuce
• Multinomiální distribuce
• Vzorkování (statistika)
• Zobecněná hypergeometrická funkce
• Problém sběratelů kupónů
• Geometrické rozdělení
• Keno
• Dáma ochutnávající čaj

Reference

Citace

Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Srpna 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Zdroje

externí odkazy

• Hypergeometrická distribuce a Binomická aproximace na hypergeometrickou náhodnou proměnnou Chris Boucher, Demonstrační projekt Wolfram.
• Weisstein, Eric W. „Hypergeometrická distribuce“. MathWorld.