Bayesovská vícerozměrná lineární regrese - Bayesian multivariate linear regression - Wikipedia

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váha Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

v statistika, Bayesovská vícerozměrná lineární regrese jeBayesian přístup k vícerozměrná lineární regrese, tj. lineární regrese kde předpokládaný výsledek je vektorem korelace náhodné proměnné spíše než jediná skalární náhodná proměnná. Obecnější zacházení s tímto přístupem lze nalézt v článku Odhad MMSE.

Detaily

Zvažte regresní problém, kde závislá proměnná předvídat není jediný skutečný skalární, ale m- délka vektoru korelovaných reálných čísel. Stejně jako ve standardním regresním nastavení existují n pozorování, kde každé pozorování i skládá se z k-1vysvětlující proměnné, seskupené do vektoru ${ displaystyle mathbf {x} _ {i}}$délky k (kde fiktivní proměnná s hodnotou 1 byla přidána, aby byl umožněn koeficient průsečíku). To lze považovat za dílo m související regresní problémy pro každé pozorování i:

${ displaystyle y_ {i, 1} = mathbf {x} _ {i} ^ { rm {T}} { boldsymbol { beta}} _ {1} + epsilon _ {i, 1}}$

${ displaystyle cdots}$

${ displaystyle y_ {i, m} = mathbf {x} _ {i} ^ { rm {T}} { boldsymbol { beta}} _ {m} + epsilon _ {i, m}}$

kde sada chyb ${ displaystyle { epsilon _ {i, 1}, ldots, epsilon _ {i, m} }}$všechny jsou ve vzájemném vztahu. Ekvivalentně to lze považovat za jediný regresní problém, kde je výsledek řádek vektor ${ displaystyle mathbf {y} _ {i} ^ { rm {T}}}$a vektory regresních koeficientů se skládají vedle sebe, a to následovně:

${ displaystyle mathbf {y} _ {i} ^ { rm {T}} = mathbf {x} _ {i} ^ { rm {T}} mathbf {B} + { boldsymbol { epsilon }} _ {i} ^ { rm {T}}.}$

Matice koeficientů B je ${ displaystyle k krát m}$ matice, kde vektory koeficientů ${ displaystyle { boldsymbol { beta}} _ {1}, ldots, { boldsymbol { beta}} _ {m}}$ pro každý regresní problém se skládají vodorovně:

${ displaystyle mathbf {B} = { begin {bmatrix} { begin {pmatrix} { boldsymbol { beta}} _ {1} \ end {pmatrix}} cdots { begin {pmatrix} { boldsymbol { beta}} _ {m} \ end {pmatrix}} end {bmatrix}} = { begin {bmatrix} { begin {pmatrix} beta _ { 1,1} vdots beta _ {k, 1} end {pmatrix}} cdots { begin {pmatrix} beta _ {1, m} vdots beta _ {k, m} end {pmatrix}} end {bmatrix}}.}$

Vektor šumu ${ displaystyle { boldsymbol { epsilon}} _ {i}}$ pro každé pozorování ije společně normální, takže výsledky pro dané pozorování jsou v korelaci:

${ displaystyle { boldsymbol { epsilon}} _ {i} sim N (0, { boldsymbol { Sigma}} _ { epsilon}).}$

Celý regresní problém můžeme napsat do maticového tvaru jako:

${ displaystyle mathbf {Y} = mathbf {X} mathbf {B} + mathbf {E},}$

kde Y a E jsou ${ displaystyle n krát m}$ matice. The návrhová matice X je ${ displaystyle n krát k}$ matice s pozorováním naskládanými svisle, jako ve standardu lineární regrese založit:

${ displaystyle mathbf {X} = { begin {bmatrix} mathbf {x} _ {1} ^ { rm {T}} mathbf {x} _ {2} ^ { rm {T} } vdots mathbf {x} _ {n} ^ { rm {T}} end {bmatrix}} = { begin {bmatrix} x_ {1,1} & cdots & x_ {1, k} x_ {2,1} & cdots & x_ {2, k} vdots & ddots & vdots x_ {n, 1} & cdots & x_ {n, k} end {bmatrix }}.}$

Klasičtí, frekventanti lineární nejmenší čtverce řešením je jednoduše odhadnout matici regresních koeficientů ${ displaystyle { hat { mathbf {B}}}}$ za použití Moore-Penrose pseudoinverze:

${ displaystyle { hat { mathbf {B}}} = ( mathbf {X} ^ { rm {T}} mathbf {X}) ^ {- 1} mathbf {X} ^ { rm { T}} mathbf {Y}}$.

Abychom získali Bayesovské řešení, musíme specifikovat podmíněnou pravděpodobnost a poté najít vhodný konjugát. Stejně jako u jednorozměrného případu lineární Bayesova regrese, zjistíme, že můžeme určit přirozený podmíněný konjugát před (který je závislý na měřítku).

Napišme naši podmíněnou pravděpodobnost jako^[1]

${ displaystyle rho ( mathbf {E} | { boldsymbol { Sigma}} _ { epsilon}) propto | { boldsymbol { Sigma}} _ { epsilon} | ^ {- n / 2} exp (- { frac {1} {2}} { rm {tr}} ( mathbf {E} ^ { rm {T}} mathbf {E} { boldsymbol { Sigma}} _ { epsilon} ^ {- 1})),}$

zápis chyby ${ displaystyle mathbf {E}}$ ve smyslu ${ displaystyle mathbf {Y}, mathbf {X},}$ a ${ displaystyle mathbf {B}}$ výnosy

${ displaystyle rho ( mathbf {Y} | mathbf {X}, mathbf {B}, { boldsymbol { Sigma}} _ { epsilon}) propto | { boldsymbol { Sigma}} _ { epsilon} | ^ {- n / 2} exp (- { frac {1} {2}} { rm {tr}} (( mathbf {Y} - mathbf {X} mathbf { mathbf {B}}) ^ { rm {T}} ( mathbf {Y} - mathbf {X} mathbf { mathbf {B}}) { boldsymbol { Sigma}} _ { epsilon} ^ {-1})),}$

Hledáme přirozený konjugát před - hustotu kloubů ${ displaystyle rho ( mathbf {B}, Sigma _ { epsilon})}$ který má stejnou funkční formu jako pravděpodobnost. Protože pravděpodobnost je kvadratická ${ displaystyle mathbf {B}}$, přepíšeme pravděpodobnost, takže je normální ${ displaystyle ( mathbf {B} - { hat { mathbf {B}}})}$ (odchylka od odhadu klasického vzorku).

Stejnou technikou jako u Bayesiánská lineární regrese, exponenciální člen rozložíme pomocí maticové formy techniky součtu čtverců. Zde však také budeme muset použít Maticový diferenciální počet (Produkt Kronecker a vektorizace transformace).

Nejprve použijeme součty čtverců, abychom získali nový výraz pravděpodobnosti:

${ displaystyle rho ( mathbf {Y} | mathbf {X}, mathbf {B}, { boldsymbol { Sigma}} _ { epsilon}) propto | { boldsymbol { Sigma}} _ { epsilon} | ^ {- (nk) / 2} exp (- { rm {tr}} ({ frac {1} {2}} mathbf {S} ^ { rm {T}} mathbf {S} { boldsymbol { Sigma}} _ { epsilon} ^ {- 1})) | { boldsymbol { Sigma}} _ { epsilon} | ^ {- k / 2} exp (- { frac {1} {2}} { rm {tr}} (( mathbf {B} - { hat { mathbf {B}}}) ^ { rm {T}} mathbf {X} ^ { rm {T}} mathbf {X} ( mathbf {B} - { hat { mathbf {B}}}) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1} )),}$

${ displaystyle mathbf {S} = mathbf {Y} - mathbf {X} { hat { mathbf {B}}}}$

Rádi bychom vytvořili podmíněnou formu pro předky:

${ displaystyle rho ( mathbf {B}, { boldsymbol { Sigma}} _ { epsilon}) = rho ({ boldsymbol { Sigma}} _ { epsilon}) rho ( mathbf { B} | { boldsymbol { Sigma}} _ { epsilon}),}$

kde ${ displaystyle rho ({ boldsymbol { Sigma}} _ { epsilon})}$ je inverzní Wishartova distribuce a ${ displaystyle rho ( mathbf {B} | { boldsymbol { Sigma}} _ { epsilon})}$ je nějaká forma normální distribuce v matici ${ displaystyle mathbf {B}}$. Toho je dosaženo pomocí vektorizace transformace, která převádí pravděpodobnost z funkce matic ${ displaystyle mathbf {B}, { hat { mathbf {B}}}}$ na funkci vektorů ${ displaystyle { boldsymbol { beta}} = { rm {vec}} ( mathbf {B}), { hat { boldsymbol { beta}}} = { rm {vec}} ({ klobouk { mathbf {B}}})}$.

Psát si

${ displaystyle { rm {tr}} (( mathbf {B} - { hat { mathbf {B}}}) ^ { rm {T}} mathbf {X} ^ { rm {T} } mathbf {X} ( mathbf {B} - { hat { mathbf {B}}}) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}) = { rm {vec }} ( mathbf {B} - { hat { mathbf {B}}}) ^ { rm {T}} { rm {vec}} ( mathbf {X} ^ { rm {T}} mathbf {X} ( mathbf {B} - { hat { mathbf {B}}}) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1})}$

Nechat

${ displaystyle { rm {vec}} ( mathbf {X} ^ { rm {T}} mathbf {X} ( mathbf {B} - { hat { mathbf {B}}}) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}) = ({ boldsymbol { Sigma}} _ { epsilon} ^ {- 1} otimes mathbf {X} ^ { rm {T }} mathbf {X}) { rm {vec}} ( mathbf {B} - { hat { mathbf {B}}}),}$

kde ${ displaystyle mathbf {A} mnohokrát mathbf {B}}$ označuje Produkt Kronecker matic A a B, zobecnění vnější produkt což znásobuje ${ displaystyle m krát n}$ matice a ${ displaystyle p times q}$ matice pro generování ${ displaystyle mp times nq}$ matice, skládající se z každé kombinace produktů prvků ze dvou matic.

Pak

${ displaystyle { rm {vec}} ( mathbf {B} - { hat { mathbf {B}}}) ^ { rm {T}} ({ boldsymbol { Sigma}} _ { epsilon } ^ {- 1} otimes mathbf {X} ^ { rm {T}} mathbf {X}) { rm {vec}} ( mathbf {B} - { hat { mathbf {B} }})}$

${ displaystyle = ({ boldsymbol { beta}} - { hat { boldsymbol { beta}}}) ^ { rm {T}} ({ boldsymbol { Sigma}} _ { epsilon} ^ {-1} otimes mathbf {X} ^ { rm {T}} mathbf {X}) ({ boldsymbol { beta}} - { hat { boldsymbol { beta}}})}$

což povede k pravděpodobnosti, která je v ${ displaystyle ({ boldsymbol { beta}} - { hat { boldsymbol { beta}}})}$.

S pravděpodobností ve více přitažlivé formě můžeme nyní najít přirozený (podmíněný) konjugát dříve.

Konjugujte předchozí distribuci

Přirozený konjugát před použitím vektorizované proměnné ${ displaystyle { boldsymbol { beta}}}$ má tvar:^[1]

${ displaystyle rho ({ boldsymbol { beta}}, { boldsymbol { Sigma}} _ { epsilon}) = rho ({ boldsymbol { Sigma}} _ { epsilon}) rho ( { boldsymbol { beta}} | { boldsymbol { Sigma}} _ { epsilon})}$,

kde

${ displaystyle rho ({ boldsymbol { Sigma}} _ { epsilon}) sim { mathcal {W}} ^ {- 1} ( mathbf {V_ {0}}, { boldsymbol { nu }} _ {0})}$

a

${ displaystyle rho ({ boldsymbol { beta}} | { boldsymbol { Sigma}} _ { epsilon}) sim N ({ boldsymbol { beta}} _ {0}, { boldsymbol { Sigma}} _ { epsilon} otimes { boldsymbol { Lambda}} _ {0} ^ {- 1}).}$

Zadní distribuce

Pomocí výše uvedeného předchozího a pravděpodobnosti lze zadní distribuci vyjádřit jako:^[1]

${ displaystyle rho ({ boldsymbol { beta}}, { boldsymbol { Sigma}} _ { epsilon} | mathbf {Y}, mathbf {X}) propto | { boldsymbol { Sigma }} _ { epsilon} | ^ {- ({ boldsymbol { nu}} _ {0} + m + 1) / 2} exp {(- { frac {1} {2}} { rm {tr}} ( mathbf {V_ {0}} { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}))}}$

${ displaystyle times | { boldsymbol { Sigma}} _ { epsilon} | ^ {- k / 2} exp {(- { frac {1} {2}} { rm {tr}} ( ( mathbf {B} - mathbf {B_ {0}}) ^ { rm {T}} { boldsymbol { Lambda}} _ {0} ( mathbf {B} - mathbf {B_ {0} }) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}))}}$

${ displaystyle times | { boldsymbol { Sigma}} _ { epsilon} | ^ {- n / 2} exp {(- { frac {1} {2}} { rm {tr}} ( ( mathbf {Y} - mathbf {XB}) ^ { rm {T}} ( mathbf {Y} - mathbf {XB}) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}))},}$

kde ${ displaystyle { rm {vec}} ( mathbf {B_ {0}}) = { boldsymbol { beta}} _ {0}}$Podmínky zahrnující ${ displaystyle mathbf {B}}$ lze seskupit (s ${ displaystyle { boldsymbol { Lambda}} _ {0} = mathbf {U} ^ { rm {T}} mathbf {U}}$) použitím:

${ displaystyle ( mathbf {B} - mathbf {B_ {0}}) ^ { rm {T}} { boldsymbol { Lambda}} _ {0} ( mathbf {B} - mathbf {B_ {0}}) + ( mathbf {Y} - mathbf {XB}) ^ { rm {T}} ( mathbf {Y} - mathbf {XB})}$

${ displaystyle = left ({ begin {bmatrix} mathbf {Y} mathbf {UB_ {0}} end {bmatrix}} - { begin {bmatrix} mathbf {X} mathbf {U} end {bmatrix}} mathbf {B} right) ^ { rm {T}} left ({ begin {bmatrix} mathbf {Y} mathbf {UB_ {0}} end {bmatrix}} - { begin {bmatrix} mathbf {X} mathbf {U} end {bmatrix}} mathbf {B} right)}$

${ displaystyle = left ({ begin {bmatrix} mathbf {Y} mathbf {UB_ {0}} end {bmatrix}} - { begin {bmatrix} mathbf {X} mathbf {U} end {bmatrix}} mathbf {B_ {n}} right) ^ { rm {T}} left ({ begin {bmatrix} mathbf {Y} mathbf {UB_ {0) }} end {bmatrix}} - { begin {bmatrix} mathbf {X} mathbf {U} end {bmatrix}} mathbf {B_ {n}} right) + ( mathbf {B } - mathbf {B_ {n}}) ^ { rm {T}} ( mathbf {X} ^ { rm {T}} mathbf {X} + { boldsymbol { Lambda}} _ {0 }) ( mathbf {B} - mathbf {B_ {n}})}$

${ displaystyle = ( mathbf {Y} - mathbf {XB_ {n}}) ^ { rm {T}} ( mathbf {Y} - mathbf {XB_ {n}}) + ( mathbf {B_ {0}} - mathbf {B_ {n}}) ^ { rm {T}} { boldsymbol { Lambda}} _ {0} ( mathbf {B_ {0}} - mathbf {B_ {n }}) + ( mathbf {B} - mathbf {B_ {n}}) ^ { rm {T}} ( mathbf {X} ^ { rm {T}} mathbf {X} + { boldsymbol { Lambda}} _ {0}) ( mathbf {B} - mathbf {B_ {n}})}$,

s

${ displaystyle mathbf {B_ {n}} = ( mathbf {X} ^ { rm {T}} mathbf {X} + { boldsymbol { Lambda}} _ {0}) ^ {- 1} ( mathbf {X} ^ { rm {T}} mathbf {X} { hat { mathbf {B}}} + { boldsymbol { Lambda}} _ {0} mathbf {B_ {0} }) = ( mathbf {X} ^ { rm {T}} mathbf {X} + { boldsymbol { Lambda}} _ {0}) ^ {- 1} ( mathbf {X} ^ { rm {T}} mathbf {Y} + { boldsymbol { Lambda}} _ {0} mathbf {B_ {0}})}$.

To nám nyní umožňuje napsat zadní část v užitečnější formě:

${ displaystyle rho ({ boldsymbol { beta}}, { boldsymbol { Sigma}} _ { epsilon} | mathbf {Y}, mathbf {X}) propto | { boldsymbol { Sigma }} _ { epsilon} | ^ {- ({ boldsymbol { nu}} _ {0} + m + n + 1) / 2} exp {(- { frac {1} {2}} { rm {tr}} (( mathbf {V_ {0}} + ( mathbf {Y} - mathbf {XB_ {n}}) ^ { rm {T}} ( mathbf {Y} - mathbf {XB_ {n}}) + ( mathbf {B_ {n}} - mathbf {B_ {0}}) ^ { rm {T}} { boldsymbol { Lambda}} _ {0} ( mathbf {B_ {n}} - mathbf {B_ {0}})) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}))}}$

${ displaystyle times | { boldsymbol { Sigma}} _ { epsilon} | ^ {- k / 2} exp {(- { frac {1} {2}} { rm {tr}} ( ( mathbf {B} - mathbf {B_ {n}}) ^ { rm {T}} ( mathbf {X} ^ {T} mathbf {X} + { boldsymbol { Lambda}} _ { 0}) ( mathbf {B} - mathbf {B_ {n}}) { boldsymbol { Sigma}} _ { epsilon} ^ {- 1}))}}$.

To má podobu inverzní Wishartova distribuce krát a Normální rozdělení matice:

${ displaystyle rho ({ boldsymbol { Sigma}} _ { epsilon} | mathbf {Y}, mathbf {X}) sim { mathcal {W}} ^ {- 1} ( mathbf { V_ {n}}, { boldsymbol { nu}} _ {n})}$

a

${ displaystyle rho ( mathbf {B} | mathbf {Y}, mathbf {X}, { boldsymbol { Sigma}} _ { epsilon}) sim { mathcal {MN}} _ {k , m} ( mathbf {B_ {n}}, { boldsymbol { Lambda}} _ {n} ^ {- 1}, { boldsymbol { Sigma}} _ { epsilon})}$.

Parametry tohoto zadku jsou dány vztahem:

${ displaystyle mathbf {V_ {n}} = mathbf {V_ {0}} + ( mathbf {Y} - mathbf {XB_ {n}}) ^ { rm {T}} ( mathbf {Y } - mathbf {XB_ {n}}) + ( mathbf {B_ {n}} - mathbf {B_ {0}}) ^ { rm {T}} { boldsymbol { Lambda}} _ {0 } ( mathbf {B_ {n}} - mathbf {B_ {0}})}$

${ displaystyle { boldsymbol { nu}} _ {n} = { boldsymbol { nu}} _ {0} + n}$

${ displaystyle mathbf {B_ {n}} = ( mathbf {X} ^ { rm {T}} mathbf {X} + { boldsymbol { Lambda}} _ {0}) ^ {- 1} ( mathbf {X} ^ { rm {T}} mathbf {Y} + { boldsymbol { Lambda}} _ {0} mathbf {B_ {0}})}$

${ displaystyle { boldsymbol { Lambda}} _ {n} = mathbf {X} ^ { rm {T}} mathbf {X} + { boldsymbol { Lambda}} _ {0}}$

Viz také

• Bayesiánská lineární regrese
• Normální rozdělení matice

Reference

Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Listopad 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

• Box, G. E. P.; Tiao, G. C. (1973). „8“. Bayesovský závěr ve statistické analýze. Wiley. ISBN  0-471-57428-7.
• Geisser, S. (1965). "Bayesiánský odhad ve vícerozměrné analýze". Annals of Mathematical Statistics. 36 (1): 150–159. JSTOR  2238083.
• Tiao, G. C .; Zellner, A. (1964). „O bayesovském odhadu vícerozměrné regrese“. Journal of the Royal Statistical Society. Řada B (metodická). 26 (2): 277–285. JSTOR  2984424.