Bayesovský experimentální design - Bayesian experimental design - Wikipedia

Bayesovský experimentální design poskytuje obecný teoreticko-pravděpodobnostní rámec, ze kterého vycházejí další teorie experimentální design lze odvodit. Je to založeno na Bayesovský závěr interpretovat pozorování / data získaná během experimentu. To umožňuje zohlednit jak jakékoli předchozí znalosti o parametrech, tak i nejistoty v pozorováních.

Teorie Bayesian experimentálního designu je do jisté míry založena na teorii pro výrobu optimální rozhodnutí za nejistoty. Cílem při navrhování experimentu je maximalizovat očekávanou užitečnost výsledku experimentu. Nástroj je nejčastěji definován z hlediska míry přesnosti informací poskytovaných experimentem (např Shannon informace nebo negativní rozptyl ), ale může zahrnovat i takové faktory, jako jsou finanční náklady na provedení experimentu. Jaký bude optimální design experimentu, závisí na konkrétním zvoleném kritériu užitečnosti.

Vztahy ke specializovanější teorii optimálního návrhu

Lineární teorie

Pokud je model lineární, předchozí funkce hustoty pravděpodobnosti (PDF) je homogenní a pozorovací chyby ano normálně distribuováno, teorie se zjednodušuje na klasiku teorie optimálního experimentálního designu.

Přibližná normalita

V mnoha publikacích o Bayesianově experimentálním designu se (často implicitně) předpokládá, že všechna zadní PDF budou přibližně normální. To umožňuje výpočet očekávané užitečnosti pomocí lineární teorie, průměrování v prostoru parametrů modelu, přístup přezkoumaný v Chaloner & Verdinelli (1995). Při použití této metody je však třeba postupovat opatrně, protože je obtížné ověřit přibližnou normálnost všech možných zadních stran, a to ani v případě běžných pozorovacích chyb a jednotného předchozího PDF.

Zadní distribuce

V poslední době zvýšené výpočetní zdroje umožňují odvodit zadní distribuce parametrů modelu, které lze přímo použít pro návrh experimentu. Vanlier a kol. (2012) navrhla přístup, který využívá zadní prediktivní distribuce posoudit vliv nových měření na nejistotu predikce, zatímco Liepe a kol. (2013) navrhnout maximalizaci vzájemných informací mezi parametry, předpovědi a potenciálními novými experimenty.

Matematická formulace

Zápis ${ displaystyle theta ,}$ parametry, které mají být stanoveny ${ displaystyle y ,}$ pozorování nebo data ${ displaystyle xi ,}$ design ${ Displaystyle p (y mid theta, xi) ,}$ PDF pro pozorování ${ displaystyle y}$, dané hodnoty parametrů ${ displaystyle theta}$ a design ${ displaystyle xi}$ ${ displaystyle p ( theta) ,}$ předchozí PDF ${ Displaystyle p (y mid xi) ,}$ okrajové PDF v pozorovacím prostoru ${ Displaystyle p ( theta mid y, xi) ,}$    zadní PDF ${ displaystyle U ( xi) ,}$    užitečnost designu ${ displaystyle xi}$ ${ displaystyle U (y, xi) ,}$    užitečnost výsledku experimentu po pozorování ${ displaystyle y}$ s designem ${ displaystyle xi}$

Vzhledem k vektoru ${ displaystyle theta}$ parametrů k určení, a předchozí PDF ${ displaystyle p ( theta)}$ přes tyto parametry a PDF ${ Displaystyle p (y mid theta, xi)}$ pro pozorování ${ displaystyle y}$, dané hodnoty parametrů ${ displaystyle theta}$ a design experimentu ${ displaystyle xi}$, zadní PDF lze vypočítat pomocí Bayesova věta

${ displaystyle p ( theta mid y, xi) = { frac {p (y mid theta, xi) p ( theta)} {p (y mid xi)}} ,, }$

kde ${ Displaystyle p (y mid xi)}$ je mezní hustota pravděpodobnosti v pozorovacím prostoru

${ Displaystyle p (y mid xi) = int p ( theta) p (y mid theta, xi) , d theta ,.}$

Očekávaná užitečnost experimentu s designem ${ displaystyle xi}$ pak lze definovat

${ displaystyle U ( xi) = int p (y mid xi) U (y, xi) , dy,}$

kde ${ displaystyle U (y, xi)}$ je nějaká skutečná funkce funkce zadní PDF ${ Displaystyle p ( theta mid y, xi)}$ po provedení pozorování ${ displaystyle y}$ pomocí návrhu experimentu ${ displaystyle xi}$.

Získejte v Shannon informace jako nástroj

Užitek lze definovat jako zisk před a za sebou Shannon informace

${ Displaystyle U (y, xi) = int log (p ( theta mid y, xi)) , p ( theta | y, xi) , d theta - int log (p ( theta)) , p ( theta) , d theta ,.}$

Další možností je definovat nástroj jako

${ displaystyle U (y, xi) = D_ {KL} (p ( theta mid y, xi) | p ( theta)) ,,}$

the Kullback – Leiblerova divergence předchozího ze zadní distribuce.Lindley (1956) poznamenal, že očekávaný nástroj bude poté nezávislý na souřadnicích a lze jej napsat ve dvou formách

${ displaystyle { begin {alignedat} {2} U ( xi) & = int int log (p ( theta mid y, xi)) , p ( theta, y mid xi ) , d theta , dy- int log (p ( theta)) , p ( theta) , d theta & = int int log (p (y mid theta, xi)) , p ( theta, y mid xi) , dy , d theta - int log (p (y mid xi)) , p (y mid xi) , dy, end {alignedat}} ,}$

z nichž druhý lze hodnotit bez nutnosti hodnocení jednotlivých zadních souborů PDF${ Displaystyle p ( theta mid y, xi)}$ pro všechna možná pozorování ${ displaystyle y}$. Stojí za zmínku, že první člen na druhé rovnici nebude záviset na návrhu ${ displaystyle xi}$, pokud pozorovací nejistota ne. Na druhou stranu integrál ${ Displaystyle p ( theta) log p ( theta)}$ v první formě je konstantní pro všechny ${ displaystyle xi}$Pokud je tedy cílem vybrat design s nejvyšší užitností, nemusí být tento výraz vůbec vypočítán. Několik autorů zvažovalo numerické techniky pro hodnocení a optimalizaci tohoto kritéria, např. van den Berg, Curtis & Trampert (2003) a Ryan (2003). Všimněte si, že

${ displaystyle U ( xi) = I ( theta; y) ,,}$

očekávané zisk informací být přesně tím vzájemné informace mezi parametrem θ a pozorování y. Příklad Bayesiánského návrhu pro rozlišení lineárního dynamického modelu je uveden v Bania (2019). Od té doby ${ displaystyle I ( theta; y) ,,}$ bylo obtížné vypočítat, jeho dolní mez byla použita jako užitečná funkce. Dolní mez je poté maximalizována pod omezením energie signálu. Navrhovaný bayesovský design byl také porovnán s klasickým průměrným D-optimálním designem. Ukázalo se, že Bayesianův design je lepší než D-optimální design.

The Kellyho kritérium také popisuje takovou užitečnou funkci pro hráče, který se snaží maximalizovat zisk, který se používá v teorie hazardních her a informací; Kellyho situace je stejná jako v předchozím případě, místo experimentu byla použita vedlejší informace nebo „soukromá komunikace“.

Viz také

• Bayesovská optimalizace
• Optimální design
• Aktivní učení

Tento článek obsahuje a seznam doporučení, související čtení nebo externí odkazy, ale jeho zdroje zůstávají nejasné, protože mu chybí vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Březen 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Reference

• Vanlier; Tiemann; Pomocníci; van Riel (2012), „Bayesovský přístup k cílenému navrhování experimentů“ (PDF), Bioinformatika, 28 (8): 1136–1142, doi:10.1093 / bioinformatika / bts092, PMC  3324513, PMID  22368245

• Liepe; Filippi; Komorowski; Stumpf (2013), „Maximalizace informačního obsahu experimentů v biologii systémů“, PLOS výpočetní biologie, 9 (1): e1002888, doi:10.1371 / journal.pcbi.1002888, PMC  3561087, PMID  23382663

• van den Berg; Curtis; Trampert (2003), „Optimální nelineární Bayesiánský experimentální design: aplikace pro experimenty s amplitudou versus offset“ (PDF), Geophysical Journal International, 155 (2): 411–421, doi:10.1046 / j.1365-246x.2003.02048.x, archivovány z originál (PDF) dne 17.07.2011

• Chaloner, Kathryn; Verdinelli, Isabella (1995), „Bayesovský experimentální design: recenze“ (PDF), Statistická věda, 10 (3): 273–304, doi:10.1214 / ss / 1177009939

• DasGupta, A. (1996), „Recenze optimálních návrhů Bayes“ (PDF), v Ghosh, S .; Rao, C. R. (eds.), Návrh a analýza experimentů, Příručka statistiky, 13, Severní Holandsko, str. 1099–1148, ISBN  978-0-444-82061-7

• Lindley, D. V. (1956), „O míře informací poskytovaných experimentem“, Annals of Mathematical Statistics, 27 (4): 986–1005, doi:10.1214 / aoms / 1177728069

• Ryan, K. J. (2003), „Odhad očekávaných zisků informací pro experimentální návrhy s využitím modelu náhodného limitu únavy“, Journal of Computational and Graphical Statistics, 12 (3): 585–603, doi:10.1198/1061860032012
• Bania, P. (2019), „Bayesiánský návrh vstupu pro diskriminaci lineárního dynamického modelu“, Entropie, 21 (4), doi:10,3390 / e21040351