Výběr modelu - Model selection

Výběr modelu je úkolem vybrat a statistický model ze sady kandidátských modelů, dané údaje. V nejjednodušších případech se uvažuje o již existující sadě dat. Úkol však může zahrnovat i návrh experimentů takové, že shromážděné údaje se dobře hodí k problému výběru modelu. Vzhledem k kandidátským modelům podobné prediktivní nebo vysvětlující síly je nejpravděpodobnější tou nejjednodušší model (Occamova břitva ).

Konishi & Kitagawa (2008, str. 75) uveďte: „Většina problémů v statistická inference lze považovat za problémy související se statistickým modelováním. “ Cox (2006, str. 197) uvedl: „Jak je [překlad] z problému předmětu do statistického modelu prováděn, je často nejdůležitější částí analýzy“.

Výběr modelu může také odkazovat na problém výběru několika reprezentativních modelů z velké sady výpočetních modelů pro účely rozhodování nebo optimalizace za nejistoty. ^[1]

Úvod

Vědecký pozorovací cyklus.

Ve svých nejzákladnějších formách je výběr modelu jedním ze základních úkolů vědeckého bádání. Určení principu, který vysvětluje řadu pozorování, je často spojeno přímo s matematickým modelem předpovídajícím tato pozorování. Například když Galileo provedl své nakloněná rovina experimenty prokázal, že pohyb koulí zapadá do paraboly předpovídané jeho modelem^{[Citace je zapotřebí ]}.

Jak si člověk může z toho nespočetného množství možných mechanismů a procesů, které mohla data vyprodukovat, vůbec vybrat ten nejlepší model? Matematický přístup, který se běžně používá, rozhoduje mezi množinou kandidátských modelů; tuto sadu musí zvolit výzkumný pracovník. Často jednoduché modely jako např polynomy jsou použity, alespoň zpočátku^{[Citace je zapotřebí ]}. Burnham & Anderson (2002) v celé své knize zdůrazňují důležitost výběru modelů založených na spolehlivých vědeckých principech, jako je pochopení fenomenologických procesů nebo mechanismů (např. chemických reakcí), z nichž data vycházejí.

Jakmile je vybrána sada kandidátských modelů, statistická analýza nám umožňuje vybrat nejlepší z těchto modelů. Co se myslí tím nejlepší je kontroverzní. Dobrá technika výběru modelu bude vyvážena dobrota fit s jednoduchostí^{[Citace je zapotřebí ]}. Složitější modely budou lépe schopné přizpůsobit svůj tvar tak, aby se vešly na data (například polynom pátého řádu může přesně pasovat na šest bodů), ale další parametry nemusí představovat nic užitečného. (Možná, že těchto šest bodů je ve skutečnosti jen náhodně rozloženo kolem přímky.) Dobrá shoda se obecně určuje pomocí a míra pravděpodobnosti přiblížení nebo jeho přiblížení, vedoucí k a chí-kvadrát test. Složitost se obecně měří počítáním počtu parametry v modelu.

Techniky výběru modelu lze považovat za odhady nějaké fyzické veličiny, jako je pravděpodobnost, že model produkuje daná data. The zaujatost a rozptyl jsou obě důležitá měřítka kvality tohoto odhadce; účinnost je také často zvažován.

Standardní příklad výběru modelu je křivka, kde vzhledem k souboru bodů a dalším znalostem pozadí (např. body jsou výsledkem i.i.d. vzorky), musíme vybrat křivku, která popisuje funkci, která generovala body.

Metody, které pomáhají při výběru sady kandidátských modelů

Kritéria

Níže je uveden seznam kritérií pro výběr modelu. Nejčastěji používanými kritérii jsou (i) informační kritérium Akaike a (ii) Bayesův faktor a / nebo Bayesovské informační kritérium (které se do určité míry přibližuje Bayesově faktoru).

Informační kritérium Akaike (AIC), míra shody dobroty odhadovaného statistického modelu
Bayesův faktor
Bayesovské informační kritérium (BIC), také známé jako Schwarzovo informační kritérium, statistické kritérium pro výběr modelu
Křížová validace
Informační kritérium odchylky (DIC), další kritérium výběru modelu orientované na Bayesian
Falešná míra objevení
Kritérium zaměřené informace (FIC), výběrové kritérium třídění statistických modelů podle jejich účinnosti pro daný parametr zaostření
Informační kritérium Hannan – Quinn, alternativa k kritériím Akaike a Bayesian
Informační kritérium Kashyap (KIC) je výkonná alternativa k AIC a BIC, protože KIC využívá Fisherovu informační matici
Test poměru pravděpodobnosti
Sléz C_p
Minimální délka popisu
Minimální délka zprávy (MML)
TISKOVÁ statistika, známé také jako kritérium TISK
Minimalizace strukturálních rizik
Postupná regrese
Informační kritérium Watanabe – Akaike (WAIC), nazývané také široce použitelné informační kritérium
Rozšířené Bayesovské informační kritérium (EBIC) je rozšíření obyčejného Bayesovské informační kritérium (BIC) pro modely s vysokými parametry.
Rozšířené rybářské informační kritérium (EFIC) je kritériem výběru modelu pro modely lineární regrese.

Z těchto kritérií je křížová validace obvykle nejpřesnější a výpočetně nejdražší pro problémy s učením pod dohledem.

Burnham & Anderson (2002, §6.3) říkají následující (s přidanými wikilinks).

Existuje celá řada metod výběru modelu. Z hlediska statistické výkonnosti metody a zamýšleného kontextu jejího použití však existují pouze dvě odlišné třídy metod: Tyto byly označeny účinný a konzistentní. .... Podle frekventovaného paradigmatu pro výběr modelu má člověk obecně tři hlavní přístupy: (I) optimalizace některých výběrových kritérií, (II) testy hypotéz a (III) metody ad hoc.

Viz také

Poznámky

^ Shirangi, Mehrdad G .; Durlofsky, Louis J. (2016). "Obecná metoda výběru reprezentativních modelů pro rozhodování a optimalizaci za nejistoty". Počítače a geovědy. 96: 109–123. Bibcode:2016CG ..... 96..109S. doi:10.1016 / j.cageo.2016.08.002.

Reference

Aha, dobře.; Derryberry, D .; Peterson, T. (2014), „Výběr modelu pro ekologové: pohled na svět AIC a BIC“, Ekologie, 95 (3): 631–636, doi:10.1890/13-1452.1, PMID 24804445
Akaike, H. (1994), „Důsledky informačního pohledu na vývoj statistické vědy“, Bozdogan, H. (ed.), Sborník z první konference USA / JAPONSKO o hranicích statistického modelování: informační přístup - svazek 3, Kluwer Academic Publishers, s. 27–38
Anderson, D.R. (2008), Modelová odvození v biologických vědách Springer, ISBN 9780387740751
Ando, T. (2010), Výběr Bayesovského modelu a statistické modelování, CRC Press, ISBN 9781439836156
Breiman, L. (2001), „Statistické modelování: dvě kultury“, Statistická věda, 16: 199–231, doi:10.1214 / ss / 1009213726
Burnham, K.P .; Anderson, D.R. (2002), Výběr modelu a odvození multimodelu: praktický informační-teoretický přístup (2. vyd.), Springer-Verlag, ISBN 0-387-95364-7 [má více než 38 000 citací dne Google Scholar ]
Chamberlin, T.C. (1890), „Metoda vícenásobných pracovních hypotéz“, Věda, 15 (366): 92–6, Bibcode:1890Sci .... 15R..92., doi:10.1126 / science.ns-15.366.92, PMID 17782687 (dotisk 1965, Věda 148: 754–759 [1] doi:10.1126 / science.148.3671.754 )
Claeskens, G. (2016), "Výběr statistického modelu" (PDF), Roční přehled statistik a jejich aplikace, 3 (1): 233–256, Bibcode:2016AnRSA ... 3..233C, doi:10.1146 / annurev-statistics-041715-033413^{[trvalý mrtvý odkaz ]}
Claeskens, G .; Hjort, N.L. (2008), Výběr modelu a průměrování modelu, Cambridge University Press, ISBN 9781139471800
Cox, D.R. (2006), Principy statistické inference, Cambridge University Press
Kashyap, R.L. (1982), „Optimální výběr AR a MA dílů v modelech s autoregresním klouzavým průměrem“, Transakce IEEE na analýze vzorů a strojové inteligenci, IEEE, PAMI-4 (2): 99–104, doi:10.1109 / TPAMI.1982.4767213, PMID 21869012, S2CID 18484243
Konishi, S .; Kitagawa, G. (2008), Informační kritéria a statistické modelování Springer, Bibcode:2007icsm.book ..... K., ISBN 9780387718866
Lahiri, P. (2001), Výběr modelu, Ústav matematické statistiky
Leeb, H .; Pötscher, B. M. (2009), „Model selection“, Anderson, T. G. (ed.), Příručka finanční časové řady, Springer, str. 889–925, doi:10.1007/978-3-540-71297-8_39, ISBN 978-3-540-71296-1
Lukacs, P. M .; Thompson, W. L .; Kendall, W. L .; Gould, W. R .; Doherty, P. F. Jr.; Burnham, K. P .; Anderson, D. R. (2007), „Obavy týkající se výzvy k pluralismu teorie informací a testování hypotéz“, Journal of Applied Ecology, 44 (2): 456–460, doi:10.1111 / j.1365-2664.2006.01267.x
McQuarrie, Allan D. R .; Tsai, Chih-Ling (1998), Výběr modelu regrese a časové řady, Singapur: World Scientific, ISBN 981-02-3242-X
Massart, P. (2007), Koncentrační nerovnosti a výběr modelu Springer
Massart, P. (2014), „Neasymptotická procházka pravděpodobností a statistikami“, v Lin, Xihong (ed.), Minulost, současnost a budoucnost statistické vědy, Chapman & Hall, str. 309–321, ISBN 9781482204988
Navarro, D. J. (2019), „Between the Devil and the Deep Blue Sea: Napětí mezi vědeckým úsudkem a výběrem statistického modelu“, Výpočetní mozek a chování, 2: 28–34, doi:10.1007 / s42113-018-0019-z
Resende, Paulo Angelo Alves; Dorea, Chang Chung Yu (2016), „Identifikace modelu pomocí kritéria efektivního stanovení“, Journal of Multivariate Analysis, 150: 229–244, arXiv:1409.7441, doi:10.1016 / j.jmva.2016.06.002, S2CID 5469654
Shmueli, G. (2010), „Vysvětlit nebo předpovědět?“, Statistická věda, 25 (3): 289–310, arXiv:1101.0891, doi:10.1214 / 10-STS330, PAN 2791669, S2CID 15900983
Wit, E .; van den Heuvel, E .; Romeijn, J.-W. (2012), "'Všechny modely se mýlí ... ': úvod k nejistotě modelu " (PDF), Statistica Neerlandica, 66 (3): 217–236, doi:10.1111 / j.1467-9574.2012.00530.x
Wit, E .; McCullagh, P. (2001), Viana, M. A. G .; Richards, D. St. P. (eds.), „The extendability of statistics models“, Algebraické metody ve statistice a pravděpodobnosti, str. 327–340
Wójtowicz, Anna; Bigaj, Tomasz (2016), „Ospravedlnění, potvrzení a problém vzájemně se vylučujících hypotéz“, v Kuźniar, Adrian; Odrowąż-Sypniewska, Joanna (eds.), Odhalování faktů a hodnot, Vydavatelé Brill, str. 122–143, doi:10.1163/9789004312654_009, ISBN 9789004312654
Owrang, Arash; Jansson, Magnus (2018), „Kritérium výběru modelu pro vysokodimenzionální lineární regresi“, Transakce IEEE při zpracování signálu , 66 (13): 3436–3446, Bibcode:2018ITSP ... 66,3436O, doi:10.1109 / TSP.2018.2821628, ISSN 1941-0476, S2CID 46931136

[1] Shirangi, Mehrdad G .; Durlofsky, Louis J. (2016). "Obecná metoda výběru reprezentativních modelů pro rozhodování a optimalizaci za nejistoty". Počítače a geovědy. 96: 109–123. Bibcode:2016CG ..... 96..109S. doi:10.1016 / j.cageo.2016.08.002.

[1]