Proč jsou většina zveřejněných zjištění výzkumu nepravdivá - Why Most Published Research Findings Are False

"Proč jsou většina zveřejněných zjištění výzkumu nepravdivá"^[1] je esej z roku 2005, kterou napsal John Ioannidis, profesor na Stanfordská lékařská fakulta a publikováno v PLOS Medicine. Považuje se za základní v oboru metascience.

V článku Ioannidis tvrdil, že velký počet, ne-li většina, publikovaných lékařský výzkum příspěvky obsahují výsledky, které nemohou být replikováno. Jednoduše řečeno, esej uvádí, že vědci používají testování hypotéz určit, zda jsou vědecké objevy významné. "Význam" je formalizován z hlediska pravděpodobnosti a jednoho formálního výpočtu ("Hodnota P. „) je ve vědecké literatuře uváděn jako screeningový mechanismus. Ioannidis předpokládal předpoklady o způsobu, jakým lidé provádějí a vykazují tyto testy, a poté zkonstruoval statistický model, který naznačuje, že většina publikovaných zjištění je falešně pozitivní výsledky.

Argument

Předpokládejme, že v daném vědeckém oboru existuje známá základní pravděpodobnost, že výsledek je pravdivý, označený ${ displaystyle mathbb {P} ({ text {True}})}$. Je-li provedena studie, je pravděpodobnost, že bude dosaženo pozitivního výsledku ${ displaystyle mathbb {P} (+)}$. Vzhledem k těmto dvěma faktorům chceme vypočítat podmíněná pravděpodobnost ${ displaystyle mathbb {P} ({ text {True}} mid +)}$, který je známý jako pozitivní prediktivní hodnota (PPV). Bayesova věta umožňuje nám vypočítat PPV jako:

kde ${ displaystyle alpha}$ je chybovost typu I. a ${ displaystyle beta}$ je chybovost typu II; the statistická síla je ${ displaystyle 1- beta}$. Ve většině vědeckých výzkumů je obvyklé toužit ${ displaystyle alpha = 0,05}$ a ${ displaystyle beta = 0,2}$. Pokud předpokládáme ${ displaystyle mathbb {P} ({ text {True}}) = 0,1}$ pro daný vědecký obor můžeme vypočítat PPV pro různé hodnoty ${ displaystyle alpha}$ a ${ displaystyle beta}$:

	${ displaystyle beta}$
${ displaystyle alpha}$	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9
0.01	0.91	0.90	0.89	0.87	0.85	0.82	0.77	0.69	0.53
0.02	0.83	0.82	0.80	0.77	0.74	0.69	0.63	0.53	0.36
0.03	0.77	0.75	0.72	0.69	0.65	0.60	0.53	0.43	0.27
0.04	0.71	0.69	0.66	0.63	0.58	0.53	0.45	0.36	0.22
0.05	0.67	0.64	0.61	0.57	0.53	0.47	0.40	0.31	0.18

Jednoduchý vzorec pro PPV odvozený z Bayesovy věty však nebere v úvahu zaujatost v designu studie nebo reportingu. V přítomnosti zaujatosti ${ displaystyle u v [0,1]}$, PPV je dáno obecnějším výrazem:

Zavedení předpětí bude mít tendenci snižovat PPV; v krajním případě, kdy je zkreslení studie maximalizováno, ${ displaystyle mathbb {P} ({ text {True}} | +) = mathbb {P} ({ text {True}})}$. I když studie splňuje referenční požadavky pro ${ displaystyle alpha}$ a ${ displaystyle beta}$„a je bez předpojatosti, stále existuje 36% pravděpodobnost, že práce s pozitivním výsledkem bude nesprávná; pokud je základní pravděpodobnost skutečného výsledku nižší, pak to také sníží PPV. Kromě toho existují přesvědčivé důkazy o tom, že průměrná statistická síla studie v mnoha vědeckých oborech je hluboko pod referenční úrovní 0,8.^[2][3][4]

Vzhledem k realitě zkreslení, nízké statistické síle a malému počtu pravdivých hypotéz Ioannidis dochází k závěru, že většina studií v různých vědeckých oborech pravděpodobně uvádí nepravdivé výsledky.

Dodatky

Kromě hlavního výsledku uvádí Ioannidis šest důsledků faktorů, které mohou ovlivnit spolehlivost publikovaného výzkumu:

1. Čím menší jsou studie prováděné ve vědeckém oboru, tím menší je pravděpodobnost, že výsledky výzkumu budou pravdivé.
2. Čím menší je velikosti efektů ve vědecké oblasti, tím méně je pravděpodobné, že výsledky výzkumu budou pravdivé.
3. Čím větší je počet a tím menší je výběr testované vztahy ve vědecké oblasti, tím méně je pravděpodobné, že výsledky výzkumu budou pravdivé.
4. Čím větší flexibilitu vzory, definice, výsledky a analytické režimy ve vědecké oblasti, tím méně je pravděpodobné, že výsledky výzkumu budou pravdivé.
5. Čím větší finanční a jiné zájmy a předsudky ve vědecké oblasti, tím méně je pravděpodobné, že výsledky výzkumu budou pravdivé.
6. Čím teplejší je vědecký obor (s více vědeckými týmy), tím méně je pravděpodobné, že výsledky výzkumu budou pravdivé.

Příjem a vliv

Navzdory skepticismu ohledně extrémních výroků uvedených v příspěvku byla Ioannidisova širší argumentace a varování přijata velkým počtem výzkumníků.^[5] Růst metascience a uznání vědeckého krize replikace posílily důvěryhodnost příspěvku a vedly k výzvám k metodickým reformám ve vědeckém výzkumu.^[6][7]

V komentářích a technických odpovědích statistici Goodman a Grónsko identifikovali několik klamů v Ioannidisově modelu.^[8][9] Ioannidis používal dramatický a přehnaný jazyk, který „dokázal“, že většina výzkumných zjištění tvrdí, že jsou nepravdivá a že „většina výzkumných zjištění je nepravdivá většina výzkumných návrhů a pro většina polí„[kurzíva přidána] byla zamítnuta, a přesto souhlasili se závěry a doporučeními jeho příspěvku. Biostatisti Jager a Leek kritizovali model jako založený na ospravedlnitelných, ale svévolných předpokladech spíše než na empirických datech a provedli vlastní vyšetřování, které vypočítalo, že falešné pozitivní míra v biomedicínských studiích byla odhadnuta na přibližně 14%, ne více než 50%, jak tvrdil Ionnidis.^[10] Jejich práce byla zveřejněna ve zvláštním vydání časopisu z roku 2014 Biostatistika spolu s rozšířenými podpůrnými kritikami od jiných statistiků. Pór shrnul klíčové body dohody takto: když hovoříme o vědecky věrohodné míře falešných objevů, musíme přinést data; existují různé rámce pro odhad míry vědy falešných objevů; a „je dost nepravděpodobné, že většina publikovaných výzkumů je nepravdivá,“ ale to se pravděpodobně liší podle definice „většiny“ a „nepravdivosti“.^[11] Statistik Ullrich Schimmick zdůraznil význam empirického základu pro modely tím, že si všiml, že uváděná míra falešných objevů v některých vědeckých oborech není skutečná míra objevů, protože nevýznamné výsledky jsou hlášeny jen zřídka. Ioannidisův teoretický model to nezohledňuje, ale když se na dva příklady použije statistická metoda („křivka z“) pro odhad počtu nepublikovaných nevýznamných výsledků, míra falešně pozitivních výsledků se pohybuje mezi 8% a 17%, ne více než 50%.^[12] Navzdory těmto slabostem existuje obecný souhlas s problémem a doporučeními, o nichž Ioannidis diskutuje, přesto byl jeho tón popsán jako „dramatický“ a „znepokojivě zavádějící“, což riskuje, že lidé budou ve vědě zbytečně skeptičtí nebo cyničtí.^[8][13]

Trvalým dopadem této práce bylo povědomí o základních faktorech vysoké míry falešně pozitivních výsledků v klinické medicíně a biomedicínském výzkumu a úsilí časopisů a vědců o jejich zmírnění. Ioannidis přepracoval tyto ovladače v roce 2016 jako:^[14]

• Sólo, hloupý vyšetřovatel omezený na malé velikosti vzorků
• Žádná předběžná registrace testovaných hypotéz
• Post-hoc výběr třešní hypotéz s nejlepšími hodnotami P.
• Vyžaduje pouze P <0,05
• Žádná replikace
• Žádné sdílení dat

Viz také

• Bayesova věta
• Metascience
• Krize replikace
  • Berkeleyova iniciativa pro transparentnost ve společenských vědách
  • Bagrování dat
  • Předpětí publikace
  • Projekt reprodukovatelnosti

Reference

Další čtení

• Carnegie Mellon University, Statistický deník Club: Shrnutí a diskuse o: „Proč jsou většina zveřejněných zjištění výzkumu nepravdivá“
• Aplikace do ekonomiky: De Long, J. Bradford; Lang, Kevine. „Jsou všechny ekonomické hypotézy nepravdivé?“ Journal of Political Economy. 100 (6): 1257–1272, 1992
• Aplikace do sociálních věd: Hardwicke, Tom E .; Wallach, Joshua D .; Kidwell, Mallory C .; Bendixen, Theiss; Crüwell Sophia a Ioannidis, John P. A. „Empirické hodnocení transparentních a reprodukovatelných výzkumných postupů v sociálních vědách (2014–2017).“ Royal Society Open Science. 7: 190806, 2020.

externí odkazy

• Videa YouTube z webu Berkeleyova iniciativa pro transparentnost ve společenských vědách, 2016, „Proč je většina zveřejněných zjištění výzkumu nepravdivá“ (Část I., Část II, Část III )
• Video z YouTube Johna Ioannidise na Přednášky na Googlu, 2014 „Reprodukovatelný výzkum: pravdivý nebo nepravdivý?“