Normální rozdělení matice - Matrix normal distribution

Matice normální

Zápis	${ displaystyle { mathcal {MN}} _ {n, p} ( mathbf {M}, mathbf {U}, mathbf {V})}$
Parametry	${ displaystyle mathbf {M}}$ umístění (nemovitý ${ displaystyle n krát p}$ matice ) ${ displaystyle mathbf {U}}$ měřítko (pozitivní-definitivní nemovitý ${ displaystyle n krát n}$ matice ) ${ displaystyle mathbf {V}}$ měřítko (pozitivní-definitivní nemovitý ${ Displaystyle p krát p}$ matice )
Podpěra, podpora	${ displaystyle mathbf {X} in mathbb {R} ^ {n krát p}}$
PDF	${ displaystyle { frac { exp left (- { frac {1} {2}} , mathrm {tr} left [ mathbf {V} ^ {- 1} ( mathbf {X} - mathbf {M}) ^ {T} mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) right] right)} {(2 pi) ^ {np / 2} | mathbf {V} | ^ {n / 2} | mathbf {U} | ^ {p / 2}}}}$
Znamenat	${ displaystyle mathbf {M}}$
Rozptyl	${ displaystyle mathbf {U}}$ (mezi řádky) a ${ displaystyle mathbf {V}}$ (mezi sloupci)

v statistika, normální rozdělení matice nebo Gaussovo rozdělení matice je rozdělení pravděpodobnosti to je zobecnění vícerozměrné normální rozdělení na maticové náhodné proměnné.

Definice

The funkce hustoty pravděpodobnosti pro náhodnou matici X (n × str), která následuje po normálním rozdělení matice ${ displaystyle { mathcal {MN}} _ {n, p} ( mathbf {M}, mathbf {U}, mathbf {V})}$ má formu:

${ displaystyle p ( mathbf {X} mid mathbf {M}, mathbf {U}, mathbf {V}) = { frac { exp left (- { frac {1} {2} } , mathrm {tr} left [ mathbf {V} ^ {- 1} ( mathbf {X} - mathbf {M}) ^ {T} mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) right] right)} {(2 pi) ^ {np / 2} | mathbf {V} | ^ {n / 2} | mathbf {U} | ^ {p / 2}}}}$

kde ${ displaystyle mathrm {tr}}$ označuje stopa a M je n × str, U je n × n a PROTI je str × str.

Normální matice souvisí s vícerozměrné normální rozdělení následujícím způsobem:

${ displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {U}, mathbf {V}),}$

kdyby a jen kdyby

${ displaystyle mathrm {vec} ( mathbf {X}) sim { mathcal {N}} _ {np} ( mathrm {vec} ( mathbf {M}), mathbf {V} otimes mathbf {U})}$

kde ${ displaystyle otimes}$ označuje Produkt Kronecker a ${ displaystyle mathrm {vec} ( mathbf {M})}$ označuje vektorizace z ${ displaystyle mathbf {M}}$.

Důkaz

Rovnocennost mezi výše uvedeným matice normální a vícerozměrný normální funkce hustoty lze zobrazit pomocí několika vlastností souboru stopa a Produkt Kronecker, jak následuje. Začneme argumentem exponenta maticového normálního PDF:

${ displaystyle { begin {aligned} & ; ; ; ; - { frac {1} {2}} { text {tr}} left [ mathbf {V} ^ {- 1} ( mathbf {X} - mathbf {M}) ^ {T} mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) right] & = - { frac {1} {2}} { text {vec}} left ( mathbf {X} - mathbf {M} right) ^ {T} { text {vec}} left ( mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) mathbf {V} ^ {- 1} right) & = - { frac {1} {2}} { text { vec}} left ( mathbf {X} - mathbf {M} right) ^ {T} left ( mathbf {V} ^ {- 1} otimes mathbf {U} ^ {- 1} right) { text {vec}} left ( mathbf {X} - mathbf {M} right) & = - { frac {1} {2}} left [{ text {vec} } ( mathbf {X}) - { text {vec}} ( mathbf {M}) right] ^ {T} left ( mathbf {V} otimes mathbf {U} right) ^ { -1} left [{ text {vec}} ( mathbf {X}) - { text {vec}} ( mathbf {M}) right] end {zarovnáno}}}$

což je argument exponenta vícerozměrného normálního PDF. Důkaz je dokončen pomocí vlastnosti determinant: ${ displaystyle | mathbf {V} otimes mathbf {U} | = | mathbf {V} | ^ {n} | mathbf {U} | ^ {p}.}$

Vlastnosti

Li ${ displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {U}, mathbf {V})}$, pak máme následující vlastnosti:^[1][2]

Očekávané hodnoty

Průměr, nebo očekávaná hodnota je:

${ displaystyle E [ mathbf {X}] = mathbf {M}}$

a máme následující očekávání druhého řádu:

${ displaystyle E [( mathbf {X} - mathbf {M}) ( mathbf {X} - mathbf {M}) ^ {T}] = mathbf {U} operatorname {tr} ( mathbf {V})}$

${ displaystyle E [( mathbf {X} - mathbf {M}) ^ {T} ( mathbf {X} - mathbf {M})] = mathbf {V} operatorname {tr} ( mathbf {U})}$

kde ${ displaystyle operatorname {tr}}$ označuje stopa.

Obecněji pro vhodně dimenzované matice A,B,C:

${ displaystyle { begin {aligned} E [ mathbf {X} mathbf {A} mathbf {X} ^ {T}] & = mathbf {U} operatorname {tr} ( mathbf {A} ^ {T} mathbf {V}) + mathbf {MAM} ^ {T} E [ mathbf {X} ^ {T} mathbf {B} mathbf {X}] & = mathbf {V} operatorname {tr} ( mathbf {U} mathbf {B} ^ {T}) + mathbf {M} ^ {T} mathbf {BM} E [ mathbf {X} mathbf {C} mathbf {X}] & = mathbf {V} mathbf {C} ^ {T} mathbf {U} + mathbf {MCM} end {zarovnáno}}}$

Proměna

Přemístit přeměnit:

${ displaystyle mathbf {X} ^ {T} sim { mathcal {MN}} _ {p times n} ( mathbf {M} ^ {T}, mathbf {V}, mathbf {U} )}$

Lineární transformace: let D (r-podle-n), být plný hodnost r ≤ n a C (str-podle-s), mít úplnou hodnost s ≤ p, pak:

${ displaystyle mathbf {DXC} sim { mathcal {MN}} _ {r times s} ( mathbf {DMC}, mathbf {DUD} ^ {T}, mathbf {C} ^ {T} mathbf {VC})}$

Příklad

Představme si vzorek n nezávislý str-dimenzionální náhodné proměnné shodně rozložené podle a vícerozměrné normální rozdělení:

${ displaystyle mathbf {Y} _ {i} sim { mathcal {N}} _ {p} ({ boldsymbol { mu}}, { boldsymbol { Sigma}}) { text {with} } i in {1, ldots, n }}$.

Při definování n × str matice ${ displaystyle mathbf {X}}$ pro které iTřetí řádek je ${ displaystyle mathbf {Y} _ {i}}$, získáváme:

${ displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {U}, mathbf {V})}$

kde každý řádek ${ displaystyle mathbf {M}}$ je rovný ${ displaystyle { boldsymbol { mu}}}$, to je ${ displaystyle mathbf {M} = mathbf {1} _ {n} krát { boldsymbol { mu}} ^ {T}}$, ${ displaystyle mathbf {U}}$ je n × n matice identity, to znamená, že řádky jsou nezávislé, a ${ displaystyle mathbf {V} = { boldsymbol { Sigma}}}$.

Odhad parametru maximální věrohodnosti

Dáno k matice, každá o velikosti n × str, označeno ${ displaystyle mathbf {X} _ {1}, mathbf {X} _ {2}, ldots, mathbf {X} _ {k}}$, u nichž předpokládáme, že byly odebrány vzorky i.i.d. z maticového normálního rozdělení je odhad maximální věrohodnosti parametrů lze získat maximalizací:

${ displaystyle prod _ {i = 1} ^ {k} { mathcal {MN}} _ {n times p} ( mathbf {X} _ {i} mid mathbf {M}, mathbf { U}, mathbf {V}).}$

Řešení pro průměr má uzavřenou formu, a to

${ displaystyle mathbf {M} = { frac {1} {k}} součet _ {i = 1} ^ {k} mathbf {X} _ {i}}$

ale kovarianční parametry ne. Tyto parametry však lze iteračně maximalizovat vynulováním jejich gradientů na:

${ displaystyle mathbf {U} = { frac {1} {kp}} součet _ {i = 1} ^ {k} ( mathbf {X} _ {i} - mathbf {M}) mathbf {V} ^ {- 1} ( mathbf {X} _ {i} - mathbf {M}) ^ {T}}$

a

${ displaystyle mathbf {V} = { frac {1} {kn}} sum _ {i = 1} ^ {k} ( mathbf {X} _ {i} - mathbf {M}) ^ { T} mathbf {U} ^ {- 1} ( mathbf {X} _ {i} - mathbf {M}),}$

Viz například ^[3] a odkazy v nich uvedené. Parametry kovariance jsou neidentifikovatelné v tom smyslu, že pro jakýkoli faktor měřítka s> 0, my máme:

${ displaystyle { mathcal {MN}} _ {n times p} ( mathbf {X} mid mathbf {M}, mathbf {U}, mathbf {V}) = { mathcal {MN} } _ {n times p} ( mathbf {X} mid mathbf {M}, s mathbf {U}, 1 / s mathbf {V}).}$

Kreslení hodnot z distribuce

Odběr vzorků z normálního rozdělení matice je zvláštním případem postupu odběru vzorků pro vícerozměrné normální rozdělení. Nechat ${ displaystyle mathbf {X}}$ být n podle str matice np nezávislé vzorky ze standardního normálního rozdělení, takže

${ displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {0}, mathbf {I}, mathbf {I}).}$

Pak nechte

${ displaystyle mathbf {Y} = mathbf {M} + mathbf {A} mathbf {X} mathbf {B},}$

aby

${ displaystyle mathbf {Y} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {AA} ^ {T}, mathbf {B} ^ {T} mathbf {B}),}$

kde A a B lze zvolit pomocí Choleský rozklad nebo podobná operace s druhou odmocninou matice.

Vztah k jiným distribucím

Dawid (1981) poskytuje diskusi o vztahu normálního rozdělení s maticovou hodnotou k jiným distribucím, včetně Wishart distribuce, Inverzní distribuce Wishart a maticové t-rozdělení, ale používá jinou notaci, než je zde použitá.

Viz také

• Vícerozměrné normální rozdělení.

Reference

• Dawid, A.P. (1981). „Some theory-variate distribution theory: Notational considerations and a Bayesian application“. Biometrika. 68 (1): 265–274. doi:10.1093 / biomet / 68.1.265. JSTOR  2335827. PAN  0614963.
• Dutilleul, P (1999). Msgstr "Algoritmus MLE pro normální rozdělení matice". Journal of Statistical Computation and Simulation. 64 (2): 105–123. doi:10.1080/00949659908811970.
• Arnold, S.F. (1981), Teorie lineárních modelů a vícerozměrná analýza, New York: John Wiley & Sons, ISBN  0471050652