Mezní pravděpodobnost - Marginal likelihood

v statistika, a funkce mezní pravděpodobnostinebo integrovaná pravděpodobnost, je funkce pravděpodobnosti ve kterých byly některé proměnné parametrů na okraji společnosti. V kontextu Bayesovské statistiky, může být také označován jako důkaz nebo modelový důkaz.

Pojem

Vzhledem k souboru nezávislé identicky distribuované datové body ${ displaystyle mathbf {X} = (x_ {1}, ldots, x_ {n}),}$ kde ${ displaystyle x_ {i} sim p (x_ {i} | theta)}$ podle některých rozdělení pravděpodobnosti parametrizováno pomocí ${ displaystyle theta}$, kde ${ displaystyle theta}$ sám o sobě je náhodná proměnná popsáno distribucí, tj. ${ displaystyle theta sim p ( theta | alfa),}$ mezní pravděpodobnost se obecně ptá, jaká je pravděpodobnost ${ displaystyle p ( mathbf {X} | alpha)}$ je kde ${ displaystyle theta}$ byl na okraji společnosti (integrováno):

${ displaystyle p ( mathbf {X} | alpha) = int _ { theta} p ( mathbf {X} | theta) , p ( theta | alpha) operatorname {d} ! theta}$

Výše uvedená definice je formulována v kontextu Bayesovské statistiky. V klasickém (častý ) statistik, koncept mezní pravděpodobnosti se místo toho vyskytuje v kontextu společného parametru ${ displaystyle theta = ( psi, lambda)}$, kde ${ displaystyle psi}$ je skutečný parametr zájmu a ${ displaystyle lambda}$ je nezajímavý obtěžující parametr. Pokud existuje rozdělení pravděpodobnosti pro ${ displaystyle lambda}$, je často žádoucí uvažovat o funkci pravděpodobnosti pouze z hlediska ${ displaystyle psi}$, marginalizací ${ displaystyle lambda}$:

${ displaystyle { mathcal {L}} ( psi; mathbf {X}) = p ( mathbf {X} | psi) = int _ { lambda} p ( mathbf {X} | lambda , psi) , p ( lambda | psi) operatorname {d} ! lambda}$

Bohužel okrajové pravděpodobnosti je obecně obtížné vypočítat. Přesná řešení jsou známá pro malou třídu distribucí, zvláště když je parametr marginalized-out před konjugátem distribuce údajů. V ostatních případech nějaký druh numerická integrace metoda je nutná, buď obecná metoda jako např Gaussova integrace nebo a Metoda Monte Carlo, nebo metoda specializovaná na statistické problémy, jako je Laplaceova aproximace, Gibbs /Metropole vzorkování nebo EM algoritmus.

Je také možné použít výše uvedené úvahy na jednu náhodnou proměnnou (datový bod) ${ displaystyle x}$, spíše než soubor pozorování. V Bayesovském kontextu je to ekvivalentní s předchozí prediktivní distribuce datového bodu.

Aplikace

Bayesovské srovnání modelů

v Bayesovské srovnání modelů, marginalizované proměnné jsou parametry pro konkrétní typ modelu a zbývající proměnná je identita samotného modelu. V tomto případě je marginalizovaná pravděpodobnost pravděpodobnost dat daného typu modelu, nepředpokládají se žádné konkrétní parametry modelu. Zápis θ pro parametry modelu, mezní pravděpodobnost pro model M je

${ displaystyle p (x | M) = int p (x | theta, M) , p ( theta | M) , operatorname {d} ! theta}$

Právě v této souvislosti se jedná o pojem modelový důkaz se běžně používá. Toto množství je důležité, protože poměr zadních šancí pro model M₁ proti jinému modelu M₂ zahrnuje poměr mezních pravděpodobností, tzv Bayesův faktor:

${ displaystyle { frac {p (M_ {1} | x)} {p (M_ {2} | x)}} = { frac {p (M_ {1})} {p (M_ {2}) }} , { frac {p (x | M_ {1})} {p (x | M_ {2})}}}$

které lze schematicky vyjádřit jako

zadní šance = předchozí kurzy × Bayesův faktor

Viz také

• Empirické Bayesovy metody
• Lindleyův paradox
• Mezní pravděpodobnost

Tento článek obsahuje a seznam doporučení, související čtení nebo externí odkazy, ale jeho zdroje zůstávají nejasné, protože mu chybí vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Červenec 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Reference

• Charles S. Bos. Msgstr "Porovnání metod výpočtu mezní pravděpodobnosti". Ve editorech W. Härdle a B. Ronz, COMPSTAT 2002: Sborník ve výpočetní statistice, str. 111–117. 2002. (K dispozici jako předtisk na webu: [1] )
• On-line učebnice: Informační teorie, odvozování a výukové algoritmy tím, že David J.C.MakKay.