Neviditelný druhový problém - Unseen species problem

The neviditelný druhový problém se běžně označuje v ekologii a zabývá se odhadem počtu druhů zastoupených v ekosystému, které nebyly pozorovány vzorky. Konkrétněji se týká toho, kolik nových druhů by bylo objeveno, kdyby bylo v ekosystému odebráno více vzorků. Studium problému neviditelných druhů bylo zahájeno počátkem 40. let 20. století Alexander Steven Corbet. V roce strávil 2 roky Britská Malajska chytal motýly a byl zvědavý, kolik nových druhů by objevil, kdyby strávil další 2 roky v pasti. Bylo vyvinuto mnoho různých metod odhadu, aby se určilo, kolik nových druhů by bylo objeveno při více vzorcích. Problém neviditelných druhů platí také v širším měřítku, protože odhady lze použít k odhadu jakýchkoli nových prvků sady, které dříve nebyly ve vzorcích nalezeny. Příkladem toho je určení počtu slov William Shakespeare věděl na základě všech svých písemných prací. Problém neviditelných druhů lze matematicky rozdělit takto:

Li ${ textstyle n}$ jsou odebírány nezávislé vzorky, ${ textstyle X ^ {n} triangleq X_ {1}, ldots, X_ {n}}$ , a pak pokud ${ textstyle m}$ bylo odebráno více nezávislých vzorků, počet neviditelných druhů, které budou objeveny dalšími vzorky, je dán vztahem

{ displaystyle U triangleq U left (X ^ {n}, X_ {n + 1} ^ {m + n} right) triangleq left | {X_ {n + 1} ^ {m + n} } smallsetminus {X ^ {n} } doprava |}

s

{ textstyle X_ {n + 1} ^ {m + n} triangleq X_ {n + 1}, ldots, X_ {n + m}}

je druhou sadou

{ displaystyle m}

Vzorky.

Dějiny

Na počátku 40. let Alexander Steven Corbet strávil 2 roky v britské Malajsii chycením motýlů.^[1] Sledoval, kolik druhů pozoroval a kolik členů každého druhu bylo zajato. Například zajal pouze 2 členy 74 různých druhů. Po návratu do Velké Británie se obrátil na statistika Ronald Fisher, a zeptal se, kolik nových druhů motýlů by mohl očekávat, že uloví, pokud bude chytat další dva roky do pasti.^[2] Corbet se v podstatě ptal, kolik druhů pozoroval nulakrát. Fisher odpověděl jednoduchým odhadem: po další 2 roky odchytu mohl Corbet očekávat, že uloví 75 nových druhů. Udělal to pomocí jednoduchého součtu (údaje poskytl Orlitsky^[2] v tabulce 1 níže v části Příklad):

{ displaystyle U = - součet _ {i = 1} ^ {n} (- 1) ^ {i} varphi _ {i} = 118-74 + 44-24 + cdots -12 + 6 = 75}

Tady,

{ textstyle varphi _ {i}}

odpovídá počtu jednotlivých druhů, které byly pozorovány

{ textový styl i}

krát. Fisherovu částku později potvrdil Good – Toulmin.^[1]

Odhady

Chcete-li odhadnout počet neviditelných druhů, dovolte ${ textstyle t triangleq m / n}$ být počet budoucích vzorků ( ${ displaystyle m}$ ) děleno počtem minulých vzorků ( ${ displaystyle n}$ ), nebo ${ displaystyle m = tn}$ . Nechat ${ displaystyle varphi _ {i}}$ je počet pozorovaných jednotlivých druhů ${ displaystyle i}$ krát (například pokud ve vzorcích bylo 74 druhů motýlů se 2 pozorovanými členy, pak ${ displaystyle varphi _ {2} = 74}$ ).

Odhad Good – Toulmin

Good – Toulminův odhad byl vyvinut I. J. Goodem a G. H. Toulminem v roce 1953.^[3] Odhad neviditelných druhů na základě Good-Toulminova odhadu je dán vztahem

{ displaystyle U ^ {GT} triangleq U ^ {GT} vlevo (X ^ {n}, t vpravo) triangleq - součet _ {i = 1} ^ { infty} (- t) ^ { i} varphi _ {i}}

Good – Toulmin Estimator se ukázal jako dobrý odhad hodnot

{ textstyle t leq 1}

. Odhad Good-Toulmin to také přibližuje

{ displaystyle operatorname {E} vlevo (U ^ {GT} -U vpravo) ^ {2} lesssim nt ^ {2}}

Tohle znamená tamto

{ textstyle U ^ {GT}}

odhady

{ textový styl}

uvnitř

{ textstyle { sqrt {n}} cdot t}

tak dlouho jak

{ textstyle t leq 1}

. Nicméně pro

{ displaystyle t> 1}

odhad Good-Toulmin nedokáže zachytit přesné výsledky. Je to proto, že pokud

{ displaystyle t> 1}

,

{ displaystyle U ^ {GT}}

zvyšuje o

{ displaystyle (-t) ^ {i} varphi _ {i}}

pro

{ displaystyle i}

s

{ displaystyle varphi _ {i}> 0}

, což znamená, že pokud

{ displaystyle varphi _ {i}> 0}

,

{ displaystyle U ^ {GT}}

roste superlineárně dovnitř

{ displaystyle t}

, ale

{ displaystyle U}

může růst maximálně lineárně s

{ displaystyle t}

. Proto kdy

{ displaystyle t> 1}

,

{ displaystyle U ^ {GT}}

roste rychleji než

{ displaystyle U}

a nepřibližuje skutečnou hodnotu.^[2]

Aby to kompenzovali, Efron a Thisted^[4] ukázal, že zkrácený Eulerova transformace může být také použitelný odhad:

{ displaystyle U ^ {ET} triangleq sum _ {i = 1} ^ {n} h_ {h} ^ {ET} cdot varphi _ {i}}

s

{ displaystyle h_ {i} ^ {ET} triangleq - (- t) ^ {i} cdot Pr left ({ text {Bin}} left (k, { frac {1} {1+ t}} vpravo) geq i vpravo)}

a

{ displaystyle Pr left ({ text {Bin}} left (k, { frac {1} {1 + t}} right) geq i right) = { begin {cases} sum _ {j = i} ^ {k} {k vyberte j} { frac {t ^ {kj}} {(1 + t) ^ {k}}} & i leq k, 0 & i> k end {případy}}}

kde

{ displaystyle k}

je umístění zvolené pro zkrácení Eulerovy transformace.

Vyhlazený Good – Toulminův odhad

Podobně jako přístup Efrona a Thisteda, Alon Orlitsky, Ananda Theertha Suresh a Yihong Wu vyvinuli hladký Dobrý – Toulmin odhadce. Uvědomili si, že Good – Toulminův odhadce selhal kvůli exponenciálnímu růstu, a ne jeho zkreslení.^[2] Proto odhadli počet neviditelných druhů zkrácením série.

{ displaystyle U ^ { ell} triangleq - sum _ {i = 1} ^ { ell} (- t) ^ {i} varphi _ {i}}

Orlitsky, Suresh a Wu také poznamenali, že pro distribuce s

{ displaystyle t> 1}

, hnací termín v odhadu součtu je

{ displaystyle ell ^ { text {th}}}

období, bez ohledu na to, jakou hodnotu

{ displaystyle ell}

je vybrán.^[1] Aby to vyřešili, zvolili náhodné nezáporné celé číslo

{ displaystyle L}

, zkrátil sérii na

{ displaystyle L}

, a poté vzal průměr nad distribuci kolem

{ displaystyle L}

.^[2] Výsledný odhad je

{ displaystyle U ^ {L} = operatorname {E} _ {L} vlevo [- součet _ {i = 1} ^ {L} (- t) ^ {i} varphi _ {i} vpravo ]}

Tato metoda byla zvolena z důvodu zkreslení

{ displaystyle U ^ { ell}}

posunuje značky kvůli

{ displaystyle (-t) ^ {i}}

součinitel. Průměrování nad distribucí

{ displaystyle L}

proto snižuje zkreslení. To znamená, že odhad lze zapsat jako lineární kombinaci prevalence:^[1]

{ displaystyle U ^ {L} = operatorname {E} _ {L} vlevo [ sum _ {i geq 1} (- t) ^ {i} varphi _ {i} mathbf {1} _ {i leq L} right] = - sum _ {i geq 1} (- t) ^ {i} Pr (L geq i) varphi _ {i}}

V závislosti na distribuci

{ displaystyle L}

zvoleny, výsledky se budou lišit. Pomocí této metody lze provést odhady pro

{ displaystyle t propto ln n}

, a to je nejlepší možné.^[2]

Křivka objevu druhů

The křivka objevu druhů lze také použít. Tato křivka souvisí s počtem druhů nalezených v oblasti jako funkce času. Tyto křivky lze také vytvořit pomocí odhadů (například Good – Toulminův odhad) a vynesením počtu neviditelných druhů při každé hodnotě pro ${ displaystyle t}$ .^[5]

Křivka objevování druhů se vždy zvyšuje, protože nikdy neexistuje vzorek, který by mohl snížit počet objevených druhů. Křivka objevování druhů se také zpomaluje; čím více odebraných vzorků, tím méně neočekávaných druhů se očekává. Křivka objevování druhů také nikdy nebude asymptotická, protože se předpokládá, že i když se rychlost objevování může nekonečně zpomalit, ve skutečnosti se nikdy nezastaví.^[5] Dva běžné modely pro křivku objevu druhů jsou logaritmický a exponenciální funkce.

Příklad - Corbetovi motýli

Jako příklad zvažte data, která Corbet poskytl Fisherovi ve 40. letech 20. století.^[2] Pomocí modelu Good – Toulmin je počet neznámých druhů zjištěn pomocí

{ displaystyle U = - součet _ {i = 1} ^ { infty} (- t) ^ {i} varphi _ {i}}

To pak lze použít k vytvoření vztahu mezi

{ displaystyle t}

a

{ displaystyle U}

.

Tabulka 1 - Údaje poskytnuté společnosti Fisher společností Corbet^[2]
Počet pozorovaných členů, ${ displaystyle i}$	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Počet druhů, ${ displaystyle varphi _ {i}}$	118	74	44	24	29	22	20	19	20	15	12	14	6	12	6

Tento vztah je uveden na grafu níže.

Počet neviditelných druhů jako funkce t, poměr nových vzorků k předchozím vzorkům.

Z pozemku je vidět, že na ${ displaystyle t = 1}$ , což byla hodnota ${ displaystyle t}$ které Corbet přinesl Fisherovi, výsledný odhad ${ displaystyle U}$ je 75, což odpovídá tomu, co našel Fisher. Tento graf také funguje jako křivka objevování druhů pro tento ekosystém a definuje, kolik nových druhů bude objeveno jako ${ displaystyle t}$ zvyšuje (a odebírá se více vzorků).

Jiná použití

Existuje mnoho použití prediktivního algoritmu. Vědomí, že odhady jsou přesné, umožňuje vědcům přesně extrapolovat výsledky dotazování lidí o faktor 2. Mohou předpovídat počet jedinečných odpovědí na základě počtu lidí, kteří odpověděli podobně. Metodu lze také použít k určení rozsahu znalostí někoho jiného. Ukázkovým příkladem je určení počtu jedinečných slov, která Shakespeare znal na základě písemných prací, která dnes máme.

Příklad - Kolik slov znal Shakespeare?

Na základě výzkumu provedeného Thistedem a Efronem je ze Shakespearových známých děl celkem 884 647 slov.^[4] Výzkum také zjistil, že existuje celkem ${ displaystyle N = 864}$ různá slova, která se objevují více než 100krát. Proto bylo zjištěno, že celkový počet jedinečných slov je 31 534.^[4] Při použití modelu Good – Toulmin, pokud by byl objeven stejný počet Shakespearových děl, pak se odhaduje, že ${ displaystyle U ^ { text {words}} přibližně 11 460}$ našla by se jedinečná slova. Cílem by bylo odvodit ${ displaystyle U ^ { text {slova}}}$ pro ${ displaystyle t = infty}$ . Thisted a Efron to odhadují ${ displaystyle U ^ { text {words}} (t rightarrow infty) přibližně 35 000}$ , což znamená, že Shakespeare s největší pravděpodobností znal více než dvakrát tolik slov, kolik skutečně použil ve všech svých spisech.^[4]

Viz také

Reference

^ ^A ^b ^C ^d Orlitsky, Alon; Suresh, Ananda Theertha; Wu, Yihong (2016-11-22). „Optimální predikce počtu neviditelných druhů“. Sborník Národní akademie věd. 113 (47): 13283–13288. doi:10.1073 / pnas.1607774113. PMC 5127330. PMID 27830649.
^ ^A ^b ^C ^d ^E ^F ^G ^h Orlitsky, Alon; Suresh, Ananda Theertha; Wu, Yihong (2015-11-23). „Odhad počtu neviditelných druhů: Pták v ruce stojí za log n v keři". arXiv:1511.07428 [matematika ].
^ DOBRÝ, I.J .; TOULMIN, G. H. (1956). „Počet nových druhů a nárůst pokrytí populace, když je zvýšen vzorek“. Biometrika. 43 (1–2): 45–63. doi:10.1093 / biomet / 43,1-2,45. ISSN 0006-3444.
^ ^A ^b ^C ^d Efron, Bradley; Thisted, Ronald (1976). „Odhad počtu neznámých druhů: Kolik slov znal Shakespeare?“. Biometrika. 63 (3): 435–447. doi:10.2307/2335721. JSTOR 2335721.
^ ^A ^b Bebber, D. P; Marriott, F. H.C .; Gaston, K. J; Harris, S. A; Scotland, R. W (7. července 2007). „Predikce počtu neznámých druhů pomocí objevovacích křivek“. Sborník Královské společnosti B: Biologické vědy. 274 (1618): 1651–1658. doi:10.1098 / rspb.2007.0464. PMC 2169286. PMID 17456460.

[Orlitsky_2016-1] A ^b ^C ^d Orlitsky, Alon; Suresh, Ananda Theertha; Wu, Yihong (2016-11-22). „Optimální predikce počtu neviditelných druhů“. Sborník Národní akademie věd. 113 (47): 13283–13288. doi:10.1073 / pnas.1607774113. PMC 5127330. PMID 27830649.

[Orlitsky_2015-2] A ^b ^C ^d ^E ^F ^G ^h Orlitsky, Alon; Suresh, Ananda Theertha; Wu, Yihong (2015-11-23). „Odhad počtu neviditelných druhů: Pták v ruce stojí za log n v keři". arXiv:1511.07428 [matematika ].

[3] DOBRÝ, I.J .; TOULMIN, G. H. (1956). „Počet nových druhů a nárůst pokrytí populace, když je zvýšen vzorek“. Biometrika. 43 (1–2): 45–63. doi:10.1093 / biomet / 43,1-2,45. ISSN 0006-3444.

[Efron_1976-4] A ^b ^C ^d Efron, Bradley; Thisted, Ronald (1976). „Odhad počtu neznámých druhů: Kolik slov znal Shakespeare?“. Biometrika. 63 (3): 435–447. doi:10.2307/2335721. JSTOR 2335721.

[Bebber_2007-5] A ^b Bebber, D. P; Marriott, F. H.C .; Gaston, K. J; Harris, S. A; Scotland, R. W (7. července 2007). „Predikce počtu neznámých druhů pomocí objevovacích křivek“. Sborník Královské společnosti B: Biologické vědy. 274 (1618): 1651–1658. doi:10.1098 / rspb.2007.0464. PMC 2169286. PMID 17456460.

[1]

[2]

[3]

[4]

[5]