Normální-inverzní-Wishartovo rozdělení - Normal-inverse-Wishart distribution - Wikipedia

normální-inverzní-Wishart

Zápis	${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}}) sim mathrm {NIW} ({ boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Psi}}, nu)}$
Parametry	${ displaystyle { boldsymbol { mu}} _ {0} in mathbb {R} ^ {D} ,}$ umístění (vektor nemovitý ) ${ displaystyle lambda> 0 ,}$ (nemovitý) ${ displaystyle { boldsymbol { Psi}} v mathbb {R} ^ {D krát D}}$ matice inverzní stupnice (poz. def. ) ${ displaystyle nu> D-1 ,}$ (nemovitý)
Podpěra, podpora	${ displaystyle { boldsymbol { mu}} in mathbb {R} ^ {D}; { boldsymbol { Sigma}} in mathbb {R} ^ {D krát D}}$ kovarianční matice (poz. def. )
PDF	${ displaystyle f ({ boldsymbol { mu}}, { boldsymbol { Sigma}} | { boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Psi}}, nu ) = { mathcal {N}} ({ boldsymbol { mu}} | { boldsymbol { mu}} _ {0}, { tfrac {1} { lambda}} { boldsymbol { Sigma} }) { mathcal {W}} ^ {- 1} ({ boldsymbol { Sigma}} | { boldsymbol { Psi}}, nu)}$

v teorie pravděpodobnosti a statistika, normální-inverzní-Wishartovo rozdělení (nebo Gaussovo-inverzní-Wishartovo rozdělení) je vícerozměrná čtyřparametrická rodina spojitých rozdělení pravděpodobnosti. To je před konjugátem a vícerozměrné normální rozdělení s neznámým znamenat a kovarianční matice (inverzní k přesná matice ).^[1]

Definice

Předpokládat

${ displaystyle { boldsymbol { mu}} | { boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Sigma}} sim { mathcal {N}} vlevo ({ boldsymbol { mu}} { Big |} { boldsymbol { mu}} _ {0}, { frac {1} { lambda}} { boldsymbol { Sigma}} vpravo)}$

má vícerozměrné normální rozdělení s znamenat ${ displaystyle { boldsymbol { mu}} _ {0}}$ a kovarianční matice ${ displaystyle { tfrac {1} { lambda}} { boldsymbol { Sigma}}}$, kde

${ displaystyle { boldsymbol { Sigma}} | { boldsymbol { Psi}}, nu sim { mathcal {W}} ^ {- 1} ({ boldsymbol { Sigma}} | { boldsymbol { Psi}}, nu)}$

má inverzní Wishartova distribuce. Pak ${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}})}$má normální inverzní Wishartovo rozdělení, označené jako

${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}}) sim mathrm {NIW} ({ boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Psi}}, nu).}$

Charakterizace

Funkce hustoty pravděpodobnosti

${ displaystyle f ({ boldsymbol { mu}}, { boldsymbol { Sigma}} | { boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Psi}}, nu ) = { mathcal {N}} left ({ boldsymbol { mu}} { Big |} { boldsymbol { mu}} _ {0}, { frac {1} { lambda}} { boldsymbol { Sigma}} right) { mathcal {W}} ^ {- 1} ({ boldsymbol { Sigma}} | { boldsymbol { Psi}}, nu)}$

Plná verze souboru PDF je následující:^[2]

${ displaystyle f ({ boldsymbol { mu}}, { boldsymbol { Sigma}} | alpha, { boldsymbol { Psi}}, gamma, { boldsymbol { delta}}) = { frac { gamma ^ {D / 2} | { boldsymbol { Psi}} | ^ { alpha / 2} | { boldsymbol { Sigma}} | ^ {- { frac { alpha + D + 2 } {2}}}} {(2 pi) ^ {D / 2} 2 ^ { frac { alpha D} {2}} Gamma _ {D} ({ frac { alpha} {2} })}} { text {exp}} left {- { frac {1} {2}} (Tr ({ boldsymbol { Psi Sigma}} ^ {- 1}) + gamma ({ boldsymbol { mu}} - { boldsymbol { delta}}) ^ {T} { boldsymbol { Sigma}} ^ {- 1} ({ boldsymbol { mu}} - { boldsymbol { delta }}))že jo}}$

Tady ${ displaystyle Gamma _ {D} [ cdot]}$ je vícerozměrná gama funkce a ${ displaystyle Tr ({ boldsymbol { Psi}})}$ je Trace dané matice.

Vlastnosti

Škálování

Okrajové rozdělení

Podle konstrukce je mezní rozdělení přes ${ displaystyle { boldsymbol { Sigma}}}$ je inverzní Wishartova distribuce a podmíněné rozdělení přes ${ displaystyle { boldsymbol { mu}}}$ daný ${ displaystyle { boldsymbol { Sigma}}}$ je vícerozměrné normální rozdělení. The mezní rozdělení přes ${ displaystyle { boldsymbol { mu}}}$ je vícerozměrná t-distribuce.

Zadní rozdělení parametrů

Předpokládejme, že hustota vzorkování je vícerozměrné normální rozdělení

${ displaystyle { boldsymbol {y_ {i}}} | { boldsymbol { mu}}, { boldsymbol { Sigma}} sim { mathcal {N}} _ {p} ({ boldsymbol { mu}}, { boldsymbol { Sigma}})}$

kde ${ displaystyle { boldsymbol {y}}}$ je ${ displaystyle n krát p}$ matice a ${ displaystyle { boldsymbol {y_ {i}}}}$ (délky ${ displaystyle p}$) je řádek ${ displaystyle i}$ matice.

Protože střední a kovarianční matice distribuce vzorkování není známa, můžeme umístit Normal-Inverse-Wishart před parametry střední a kovarianční hodnoty společně

${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}}) sim mathrm {NIW} ({ boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Psi}}, nu).}$

Výsledná zadní distribuce pro střední a kovarianční matici bude také Normal-Inverse-Wishart

${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}} | y) sim mathrm {NIW} ({ boldsymbol { mu}} _ {n}, lambda _ {n }, { boldsymbol { Psi}} _ {n}, nu _ {n}),}$

kde

${ displaystyle { boldsymbol { mu}} _ {n} = { frac { lambda { boldsymbol { mu}} _ {0} + n { bar { boldsymbol {y}}}} { lambda + n}}}$

${ displaystyle lambda _ {n} = lambda + n}$

${ displaystyle nu _ {n} = nu + n}$

${ displaystyle { boldsymbol { Psi}} _ {n} = { boldsymbol { Psi + S}} + { frac { lambda n} { lambda + n}} ({ boldsymbol {{ bar {y}} - mu _ {0}}}) ({ boldsymbol {{ bar {y}} - mu _ {0}}}) ^ {T} ~~~ mathrm {s,} ~ ~ { boldsymbol {S}} = sum _ {i = 1} ^ {n} ({ boldsymbol {y_ {i} - { bar {y}}}}) ({ boldsymbol {y_ {i} - { bar {y}}}}) ^ {T}}$.

Chcete-li odebrat vzorek ze zadního kloubu ${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}})}$, jeden jednoduše čerpá vzorky z ${ displaystyle { boldsymbol { Sigma}} | { boldsymbol {y}} sim { mathcal {W}} ^ {- 1} ({ boldsymbol { Psi}} _ {n}, nu _ {n})}$, pak nakreslete ${ displaystyle { boldsymbol { mu}} | { boldsymbol { Sigma, y}} sim { mathcal {N}} _ {p} ({ boldsymbol { mu}} _ {n}, { boldsymbol { Sigma}} / lambda _ {n})}$. Chcete-li kreslit ze zadní predikce nového pozorování, kreslete ${ displaystyle { boldsymbol { tilde {y}}} | { boldsymbol { mu, Sigma, y}} sim { mathcal {N}} _ {p} ({ boldsymbol { mu}} , { boldsymbol { Sigma}})}$ , vzhledem k již nakresleným hodnotám ${ displaystyle { boldsymbol { mu}}}$ a ${ displaystyle { boldsymbol { Sigma}}}$.^[3]

Generování náhodných variací normal-inverse-Wishart se liší

Generování náhodných variací je jednoduché:

1. Vzorek ${ displaystyle { boldsymbol { Sigma}}}$ z inverzní Wishartova distribuce s parametry ${ displaystyle { boldsymbol { Psi}}}$ a ${ displaystyle nu}$
2. Vzorek ${ displaystyle { boldsymbol { mu}}}$ od a vícerozměrné normální rozdělení s průměrem ${ displaystyle { boldsymbol { mu}} _ {0}}$ a rozptyl ${ displaystyle { boldsymbol { tfrac {1} { lambda}}} { boldsymbol { Sigma}}}$

Související distribuce

• The normální Wishartova distribuce je v podstatě stejná distribuce parametrizovaná spíše přesností než rozptylem. Li ${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}}) sim mathrm {NIW} ({ boldsymbol { mu}} _ {0}, lambda, { boldsymbol { Psi}}, nu)}$ pak ${ displaystyle ({ boldsymbol { mu}}, { boldsymbol { Sigma}} ^ {- 1}) sim mathrm {NW} ({ boldsymbol { mu}} _ {0}, lambda , { boldsymbol { Psi}} ^ {- 1}, nu)}$ .
• The normální-inverzní-gama distribuce je jednorozměrný ekvivalent.
• The vícerozměrné normální rozdělení a inverzní Wishartova distribuce jsou distribuce komponent, ze kterých je tato distribuce provedena.

Poznámky

Reference

• Bishop, Christopher M. (2006). Rozpoznávání vzorů a strojové učení. Springer Science + Business Media.
• Murphy, Kevin P. (2007). „Konjugujte Bayesovu analýzu Gaussova rozdělení.“ [2]