Bayesiánská lineární regrese - Bayesian linear regression

Část série na
Bayesovské statistiky
Teorie
Pravidlo přípustného rozhodnutí Bayesiánská účinnost Bayesovská pravděpodobnost Výklady pravděpodobnosti Bayesova věta Bayesův faktor Bayesovský závěr Bayesovská síť Prior Zadní Pravděpodobnost Konjugujte před Zadní prediktivní Hyperparametr Hyperprior Princip lhostejnosti Princip maximální entropie Empirická Bayesova metoda Cromwellova vláda Věta Bernstein – von Mises Schwarzovo kritérium Důvěryhodný interval Maximální a posteriori odhad Radikální pravděpodobnost
Techniky
Bayesiánská lineární regrese Bayesovský odhad Přibližný Bayesiánský výpočet Markovský řetězec Monte Carlo
Matematický portál

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

v statistika, Bayesiánská lineární regrese je přístup k lineární regrese ve kterém je statistická analýza prováděna v kontextu Bayesovský závěr. Když má regresní model chyby které mají normální distribuce, a pokud konkrétní forma předchozí distribuce Předpokládá se, že pro zadní rozdělení pravděpodobnosti parametrů modelu.

Nastavení modelu

Zvažte standard lineární regrese problém, ve kterém pro ${displaystyle i = 1, ldots, n}$ zadáme průměr z podmíněné rozdělení z ${displaystyle y_ {i}}$ daný a ${displaystyle k imes 1}$ vektor prediktoru ${displaystyle mathbf {x} _ {i}}$:

${displaystyle y_ {i} = mathbf {x} _ {i} ^ {m {T}} {oldsymbol {eta}} + varepsilon _ {i},}$

kde ${displaystyle {oldsymbol {eta}}}$ je ${displaystyle k imes 1}$ vektor a ${displaystyle varepsilon _ {i}}$ jsou nezávislé a identické normálně distribuováno náhodné proměnné:

${displaystyle varepsilon _ {i} sim N (0, sigma ^ {2}).}$

To odpovídá následujícímu funkce pravděpodobnosti:

${displaystyle ho (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma ^ {2}) propto (sigma ^ {2}) ^ {- n / 2} exp left (- {frac {1 } {2sigma ^ {2}}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) v noci).}$

The obyčejné nejmenší čtverce řešení se používá k odhadu vektoru koeficientu pomocí Moore – Penroseova pseudoinverze:

${displaystyle {hat {oldsymbol {eta}}} = (mathbf {X} ^ {m {T}} mathbf {X}) ^ {- 1} mathbf {X} ^ {m {T}} mathbf {y}}$

kde ${displaystyle mathbf {X}}$ je ${displaystyle n imes k}$ návrhová matice, z nichž každý řádek je vektor prediktoru ${displaystyle mathbf {x} _ {i} ^ {m {T}}}$; a ${displaystyle mathbf {y}}$ je sloupec ${displaystyle n}$-vektor ${displaystyle [y_ {1}; cdots; y_ {n}] ^ {m {T}}}$.

Tohle je častý a předpokládá, že existuje dostatek měření, aby bylo možné říci něco smysluplného ${displaystyle {oldsymbol {eta}}}$. V Bayesian přístupu jsou data doplněna o další informace v podobě a předchozí rozdělení pravděpodobnosti. Předchozí přesvědčení o parametrech je kombinováno s funkcí pravděpodobnosti dat podle Bayesova věta výtěžek zadní víra o parametrech ${displaystyle {oldsymbol {eta}}}$ a ${displaystyle sigma}$. Předchozí může mít různé funkční formy v závislosti na doméně a informacích, které jsou k dispozici a priori.

S předchozími konjugáty

Konjugujte předchozí distribuci

Pro libovolnou předchozí distribuci nemusí být k dispozici žádné analytické řešení zadní distribuce. V této části budeme uvažovat o tzv před konjugátem pro které lze analyticky odvodit zadní distribuci.

Před ${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2})}$ je sdružené k této funkci pravděpodobnosti, pokud má stejnou funkční formu s ohledem na ${displaystyle {oldsymbol {eta}}}$ a ${displaystyle sigma}$. Protože logaritmická pravděpodobnost je kvadratická ${displaystyle {oldsymbol {eta}}}$, log-likelihood je přepsána tak, aby se pravděpodobnost stala normální v ${displaystyle ({oldsymbol {eta}} - {hat {oldsymbol {eta}}})}$. Psát si

${displaystyle (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) = (mathbf {y} - mathbf {X} {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {y} -mathbf {X} {hat {oldsymbol {eta}}}) + ({oldsymbol {eta}} - {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X}) ({oldsymbol {eta}} - {hat {oldsymbol {eta}} }).}$

Pravděpodobnost je nyní přepsána jako

${displaystyle ho (mathbf {y} | mathbf {X}, {oldsymbol {eta}}, sigma ^ {2}) propto (sigma ^ {2}) ^ {- {frac {v} {2}}} exp vlevo (- {frac {vs ^ {2}} {2 {sigma} ^ {2}}} ight) (sigma ^ {2}) ^ {- {frac {nv} {2}}} exp vlevo (- {frac {1} {2 {sigma} ^ {2}}} ({oldsymbol {eta}} - {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {X} ^ {m {T} } mathbf {X}) ({oldsymbol {eta}} - {hat {oldsymbol {eta}}}) ight),}$

kde

${displaystyle vs ^ {2} = (mathbf {y} -mathbf {X} {hat {oldsymbol {eta}}}) ^ {m {T}} (mathbf {y} -mathbf {X} {hat {oldsymbol { eta}}}) quad {ext {and}} quad v = nk,}$

kde ${displaystyle k}$ je počet regresních koeficientů.

To naznačuje formu pro předchozí:

${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2}) = ho (sigma ^ {2}) ho ({oldsymbol {eta}} střední sigma ^ {2}),}$

kde ${displaystyle ho (sigma ^ {2})}$ je inverzní gama distribuce

${displaystyle ho (sigma ^ {2}) propto (sigma ^ {2}) ^ {- {frac {v_ {0}} {2}} - 1} exp vlevo (- {frac {v_ {0} s_ {0 } ^ {2}} {2sigma ^ {2}}} hned).}$

V zápisu zavedeném v inverzní gama distribuce článku, toto je hustota ${displaystyle {ext {Inv-Gamma}} (a_ {0}, b_ {0})}$ distribuce s ${displaystyle a_ {0} = {frac {v_ {0}} {2}}}$ a ${displaystyle b_ {0} = {frac {1} {2}} v_ {0} s_ {0} ^ {2}}$ s ${displaystyle v_ {0}}$ a ${displaystyle s_ {0} ^ {2}}$ jako předchozí hodnoty ${displaystyle v}$ a ${displaystyle s ^ {2}}$, resp. Ekvivalentně to lze také popsat jako a škálované inverzní rozdělení chí-kvadrát, ${displaystyle {ext {Scale-inv -}} chi ^ {2} (v_ {0}, s_ {0} ^ {2}).}$

Dále podmíněná předchozí hustota ${displaystyle ho ({oldsymbol {eta}} | sigma ^ {2})}$ je normální distribuce,

${displaystyle ho ({oldsymbol {eta}} střední sigma ^ {2}) propto (sigma ^ {2}) ^ {- k / 2} exp vlevo (- {frac {1} {2sigma ^ {2}}} ( {oldsymbol {eta}} - {oldsymbol {mu}} _ {0}) ^ {m {T}} mathbf {Lambda} _ {0} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {0) }) hned).}$

V zápisu o normální distribuce, podmíněná předchozí distribuce je ${displaystyle {mathcal {N}} vlevo ({oldsymbol {mu}} _ {0}, sigma ^ {2} mathbf {Lambda} _ {0} ^ {- 1} ight).}$

Zadní distribuce

S předchozí specifikovanou lze zadní distribuci vyjádřit jako

${displaystyle {egin {aligned} ho ({oldsymbol {eta}}, sigma ^ {2} mid mathbf {y}, mathbf {X}) & propto ho (mathbf {y} mid mathbf {X}, {oldsymbol {eta} }, sigma ^ {2}) ho ({oldsymbol {eta}} střední sigma ^ {2}) ho (sigma ^ {2}) & propto (sigma ^ {2}) ^ {- n / 2} exp vlevo ( - {frac {1} {2 {sigma} ^ {2}}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X } {oldsymbol {eta}}) ight) (sigma ^ {2}) ^ {- k / 2} exp vlevo (- {frac {1} {2sigma ^ {2}}} ({oldsymbol {eta}} - { oldsymbol {mu}} _ {0}) ^ {m {T}} {oldsymbol {Lambda}} _ {0} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {0}) ight) (sigma ^ {2}) ^ {- (a_ {0} +1)} exp vlevo (- {frac {b_ {0}} {sigma ^ {2}}} vpravo) konec {zarovnáno}}}$

S nějakým novým uspořádáním^[1] zadní lze přepsat tak, že zadní znamená ${displaystyle {oldsymbol {mu}} _ {n}}$ vektoru parametrů ${displaystyle {oldsymbol {eta}}}$ lze vyjádřit pomocí odhadu nejmenších čtverců ${displaystyle {hat {oldsymbol {eta}}}}$ a předchozí průměr ${displaystyle {oldsymbol {mu}} _ {0}}$, přičemž síla předchozího indikována předchozí maticí přesnosti ${displaystyle {oldsymbol {Lambda}} _ {0}}$

${displaystyle {oldsymbol {mu}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) ^ {- 1} (mathbf {X } ^ {m {T}} mathbf {X} {hat {oldsymbol {eta}}} + {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0}).}$

To ospravedlnit ${displaystyle {oldsymbol {mu}} _ {n}}$ je skutečně zadní průměr, lze kvadratické členy v exponenciálu přeuspořádat jako a kvadratická forma v ${displaystyle {oldsymbol {eta}} - {oldsymbol {mu}} _ {n}}$.^[2]

${displaystyle (mathbf {y} -mathbf {X} {oldsymbol {eta}}) ^ {m {T}} (mathbf {y} -mathbf {X} {oldsymbol {eta}}) + ({oldsymbol {eta} } - {oldsymbol {mu}} _ {0}) ^ {m {T}} {oldsymbol {Lambda}} _ {0} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {0}) = ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) + mathbf {y} ^ {m {T}} mathbf {y} - {oldsymbol {mu}} _ {n} ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) {oldsymbol {mu}} _ {n} + {oldsymbol {mu }} _ {0} ^ {m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0}.}$

Nyní lze zadní vyjádřit jako a normální distribuce krát inverzní gama distribuce:

${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2} mid mathbf {y}, mathbf {X}) propto (sigma ^ {2}) ^ {- k / 2} exp left (- {frac {1 } {2 {sigma} ^ {2}}} ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + mathbf {Lambda} _ {0}) ({oldsymbol {eta}} - {oldsymbol {mu}} _ {n}) ight) (sigma ^ {2}) ^ {- {frac {n + 2a_ {0}} {2}} - 1} zbývající vlevo (- {frac {2b_ {0} + mathbf {y} ^ {m {T}} mathbf {y} - {oldsymbol {mu}} _ {n} ^ {m {T}} (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) {oldsymbol {mu}} _ {n} + {oldsymbol {mu }} _ {0} ^ {m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0}} {2sigma ^ {2}}} přesně).}$

Zadní distribuci lze tedy parametrizovat následujícím způsobem.

${displaystyle ho ({oldsymbol {eta}}, sigma ^ {2} mid mathbf {y}, mathbf {X}) propto ho ({oldsymbol {eta}} mid sigma ^ {2}, mathbf {y}, mathbf { X}) ho (sigma ^ {2} mid mathbf {y}, mathbf {X}),}$

kde dva faktory odpovídají hustotám ${displaystyle {mathcal {N}} vlevo ({oldsymbol {mu}} _ {n}, sigma ^ {2} {oldsymbol {Lambda}} _ {n} ^ {- 1} vpravo),}$ a ${displaystyle {ext {Inv-Gamma}} left (a_ {n}, b_ {n} ight)}$ distribuce, jejichž parametry jsou dány

${displaystyle {oldsymbol {Lambda}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + mathbf {Lambda} _ {0}), quad {oldsymbol {mu}} _ {n } = ({oldsymbol {Lambda}} _ {n}) ^ {- 1} (mathbf {X} ^ {m {T}} mathbf {X} {hat {oldsymbol {eta}}} + {oldsymbol {Lambda} } _ {0} {oldsymbol {mu}} _ {0}),}$

${displaystyle a_ {n} = a_ {0} + {frac {n} {2}}, qquad b_ {n} = b_ {0} + {frac {1} {2}} (mathbf {y} ^ {m {T}} mathbf {y} + {oldsymbol {mu}} _ {0} ^ {m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0} - {oldsymbol { mu}} _ {n} ^ {m {T}} {oldsymbol {Lambda}} _ {n} {oldsymbol {mu}} _ {n}).}$

To lze interpretovat jako Bayesovské učení, kde jsou parametry aktualizovány podle následujících rovnic.

${displaystyle {oldsymbol {mu}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}) ^ {- 1} ({oldsymbol { Lambda}} _ {0} {oldsymbol {mu}} _ {0} + mathbf {X} ^ {m {T}} mathbf {X} {hat {oldsymbol {eta}}}),}$

${displaystyle {oldsymbol {Lambda}} _ {n} = (mathbf {X} ^ {m {T}} mathbf {X} + {oldsymbol {Lambda}} _ {0}),}$

${displaystyle a_ {n} = a_ {0} + {frac {n} {2}},}$

${displaystyle b_ {n} = b_ {0} + {frac {1} {2}} (mathbf {y} ^ {m {T}} mathbf {y} + {oldsymbol {mu}} _ {0} ^ { m {T}} {oldsymbol {Lambda}} _ {0} {oldsymbol {mu}} _ {0} - {oldsymbol {mu}} _ {n} ^ {m {T}} {oldsymbol {Lambda}} _ {n} {oldsymbol {mu}} _ {n}).}$

Modelový důkaz

The modelový důkaz ${displaystyle p (mathbf {y} střední m)}$ je pravděpodobnost dat daných modelem ${displaystyle m}$. To je také známé jako mezní pravděpodobnost a jako předchozí prediktivní hustota. Zde je model definován funkcí pravděpodobnosti ${displaystyle p (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma)}$ a předchozí distribuce na parametrech, tj. ${displaystyle p ({oldsymbol {eta}}, sigma)}$. Důkaz modelu zachycuje jediným číslem, jak dobře takový model vysvětluje pozorování. Důkaz modelu Bayesovského lineárního regresního modelu uvedený v této části lze použít k porovnání konkurenčních lineárních modelů pomocí Bayesovské srovnání modelů. Tyto modely se mohou lišit v počtu a hodnotách proměnných prediktorů i v jejich předchůdcích parametrů modelu. Složitost modelu již zohledňují důkazy modelu, protože integrací marginalizuje parametry ${displaystyle p (mathbf {y}, {oldsymbol {eta}}, sigma mid mathbf {X})}$ přes všechny možné hodnoty ${displaystyle {oldsymbol {eta}}}$ a ${displaystyle sigma}$.

${displaystyle p (mathbf {y} | m) = int p (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma), p ({oldsymbol {eta}}, sigma), d {oldsymbol {eta}}, dsigma}$

Tento integrál lze vypočítat analyticky a řešení je uvedeno v následující rovnici.^[3]

${displaystyle p (mathbf {y} mid m) = {frac {1} {(2pi) ^ {n / 2}}} {sqrt {frac {det ({oldsymbol {Lambda}} _ {0})} {det ({oldsymbol {Lambda}} _ {n})}}} cdot {frac {b_ {0} ^ {a_ {0}}} {b_ {n} ^ {a_ {n}}}} cdot {frac {Gamma (a_ {n})} {Gamma (a_ {0})}}}$

Tady ${displaystyle Gamma}$ označuje funkce gama. Protože jsme vybrali konjugát před, mezní pravděpodobnost lze také snadno vypočítat vyhodnocením následující rovnosti pro libovolné hodnoty ${displaystyle {oldsymbol {eta}}}$ a ${displaystyle sigma}$.

${displaystyle p (mathbf {y} mid m) = {frac {p ({oldsymbol {eta}}, sigma | m), p (mathbf {y} mid mathbf {X}, {oldsymbol {eta}}, sigma, m)} {p ({oldsymbol {eta}}, sigma mid mathbf {y}, mathbf {X}, m)}}}$

Všimněte si, že tato rovnice není nic jiného než nové uspořádání Bayesova věta. Vložení vzorců pro předchozí, pravděpodobnost a zadní a zjednodušení výsledného výrazu vede k výše uvedenému analytickému výrazu.

Ostatní případy

Obecně může být nemožné nebo nepraktické odvodit zadní distribuci analyticky. Je však možné aproximovat zadní část pomocí přibližná Bayesova inference metoda jako Odběr vzorků v Monte Carlu^[4] nebo variační Bayes.

Zvláštní případ ${displaystyle {oldsymbol {mu}} _ {0} = 0, mathbf {Lambda} _ {0} = cmathbf {I}}$ je nazýván hřebenová regrese.

Podobnou analýzu lze provést pro obecný případ vícerozměrné regrese a část z toho poskytuje Bayesian odhad kovariančních matic: viz Bayesovská vícerozměrná lineární regrese.

Viz také

• Bayesova lineární statistika
• Regularizované nejmenší čtverce
• Tichonovova regularizace
• Výběr proměnné Spike a slab
• Bayesovská interpretace regularizace jádra

Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Srpna 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Poznámky

Reference

• Box, G. E. P.; Tiao, G. C. (1973). Bayesovský závěr ve statistické analýze. Wiley. ISBN  0-471-57428-7.
• Carlin, Bradley P .; Louis, Thomas A. (2008). Bayesovské metody pro analýzu dat, třetí vydání. Boca Raton, FL: Chapman and Hall / CRC. ISBN  1-58488-697-8.
• Fahrmeir, L .; Kneib, T .; Lang, S. (2009). Regrese. Modelle, Methoden und Anwendungen (Druhé vydání.). Heidelberg: Springer. doi:10.1007/978-3-642-01837-4. ISBN  978-3-642-01836-7.
• Fornalski K.W .; Parzych G .; Pylak M .; Satuła D .; Dobrzyński L. (2010). „Aplikace Bayesiánského uvažování a metody maximální entropie na některé problémy s rekonstrukcí“. Acta Physica Polonica A. 117 (6): 892–899. doi:10.12693 / APhysPolA.117.892.
• Fornalski, Krzysztof W. (2015). "Aplikace robustní Bayesovské regresní analýzy". International Journal of Society Systems Science. 7 (4): 314–333. doi:10.1504 / IJSSS.2015.073223.
• Gelman, Andrew; Carlin, John B .; Stern, Hal S .; Rubin, Donald B. (2003). Bayesovská analýza dat, druhé vydání. Boca Raton, FL: Chapman and Hall / CRC. ISBN  1-58488-388-X.
• Goldstein, Michael; Wooff, David (2007). Bayesova lineární statistika, teorie a metody. Wiley. ISBN  978-0-470-01562-9.
• Minka, Thomas P. (2001) Bayesiánská lineární regrese, Webová stránka výzkumu společnosti Microsoft
• Rossi, Peter E .; Allenby, Greg M .; McCulloch, Robert (2006). Bayesovská statistika a marketing. John Wiley & Sons. ISBN  0470863676.
• O'Hagan, Anthony (1994). Bayesiánský závěr. Kendall's Advanced Theory of Statistics. 2B (První vydání). Halsted. ISBN  0-340-52922-9.
• Sivia, D.S .; Skilling, J. (2006). Analýza dat - Bayesian Tutorial (Druhé vydání.). Oxford University Press.
• Walter, Gero; Augustin, Thomas (2009). „Bayesiánská lineární regrese - různé modely konjugátu a jejich (ne) citlivost na konflikt předchozích údajů“ (PDF). Technical Report Number 069, Department of Statistics, University of Munich.

externí odkazy

• Bayesiánský odhad lineárních modelů (R programovací wikibook). Bayesovská lineární regrese implementovaná v R.