G-před - g-prior - Wikipedia

v statistika, g-před je objektivní předchozí pro regresní koeficienty a vícenásobná regrese. To bylo představeno Arnold Zellner.^[1]Je to klíčový nástroj Bayes a empirický Bayes výběr proměnné.^[2][3]

Definice

Zvažte sadu dat ${ displaystyle (x_ {1}, y_ {1}), ldots, (x_ {n}, y_ {n})}$, Kde ${ displaystyle x_ {i}}$ jsou Euklidovské vektory a ${ displaystyle y_ {i}}$ jsou skaláry.Vícenásobný regresní model je formulován jako

${ displaystyle y_ {i} = x_ {i} ^ { top} beta + varepsilon _ {i}.}$

Kde ${ displaystyle varepsilon _ {i}}$ jsou náhodné chyby. Zellnerův g-prior pro ${ displaystyle beta}$ je vícerozměrné normální rozdělení s kovarianční maticí úměrnou inverzní Fisher informace matice pro ${ displaystyle beta}$.

Předpokládejme ${ displaystyle varepsilon _ {i}}$ jsou jsem normální s nulovým průměrem a rozptylem ${ displaystyle psi ^ {- 1}}$. Nechat ${ displaystyle X}$ být maticí s ${ displaystyle i}$ten řádek se rovná ${ displaystyle x_ {i} ^ { top}}$.Pak g-prior pro ${ displaystyle beta}$ je vícerozměrné normální rozdělení s předchozím průměrem hyperparametr ${ displaystyle beta _ {0}}$ a kovarianční matice úměrná ${ displaystyle psi ^ {- 1} (X ^ { top} X) ^ {- 1}}$, tj.,

${ displaystyle beta | psi sim { text {N}} [ beta _ {0}, g psi ^ {- 1} (X ^ { top} X) ^ {- 1}].}$

kde g je kladný skalární parametr.

Zadní distribuce ${ displaystyle beta}$

Zadní rozdělení ${ displaystyle beta}$ je uveden jako

${ displaystyle beta | psi, x, y sim { text {N}} { velký [} q { hat { beta}} + (1-q) beta _ {0}, { frac {q} { psi}} (X ^ { top} X) ^ {- 1} { Big]}.}$

kde ${ displaystyle q = g / (1 + g)}$ a

${ displaystyle { hat { beta}} = (X ^ { top} X) ^ {- 1} X ^ { top} y.}$

je odhad maximální věrohodnosti (nejmenších čtverců) ${ displaystyle beta}$. Vektor regresních koeficientů ${ displaystyle beta}$ lze odhadnout jeho zadním průměrem pod g-prior, tj. jako vážený průměr odhadu maximální pravděpodobnosti a ${ displaystyle beta _ {0}}$,

${ displaystyle { tilde { beta}} = q { hat { beta}} + (1-q) beta _ {0}.}$

Je zřejmé, že když g → ∞, zadní průměr konverguje k odhadu maximální pravděpodobnosti.

Výběr g

Odhad g je o něco méně přímočarý než odhad ${ displaystyle beta}$Byla navržena celá řada metod, včetně Bayesova a empirického Bayesova odhadu.^[3]

Reference