Algoritmus GHK - GHK algorithm

The Algoritmus GHK (Geweke, Hajivassiliou a Keane)^[1] je vzorkování důležitosti metoda pro simulaci pravděpodobností volby v vícerozměrný probitový model. Tyto simulované pravděpodobnosti lze použít k obnovení odhadů parametrů z rovnice maximalizované pravděpodobnosti pomocí kterékoli z obvyklých dobře známých metod maximalizace (Newtonova metoda, BFGS, atd.). Vlak^[2] má dobře zdokumentované kroky pro implementaci tohoto algoritmu pro model multinomiální probit. Co bude následovat, bude platit pro binární multivariační probitový model.

Zvažte případ, kdy se člověk pokouší vyhodnotit pravděpodobnost volby ${ displaystyle Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma)}$ kde ${ displaystyle mathbf {y_ {i}} = (y_ {1}, ..., y_ {J}), (i = 1, ..., N)}$ a kde můžeme vzít ${ displaystyle j}$ jako volby a ${ displaystyle i}$ jako jednotlivci nebo pozorování, ${ displaystyle mathbf {X_ {i} beta}}$ je průměr a ${ displaystyle Sigma}$ je kovarianční matice modelu. Pravděpodobnost pozorování volby ${ displaystyle mathbf {y_ {i}}}$ je

${ displaystyle { begin {aligned} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int _ {A_ {J}} cdots int _ {A_ {1}} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) dy_ {1} ^ {*} tečky dy_ {J} ^ {*} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int mathbb {1} _ {y ^ { *} in A} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) d mathbf {y} _ {i} ^ {*} end {zarovnáno}}}$

Kde ${ displaystyle A = A_ {1} krát cdots krát A_ {J}}$ a,

${ displaystyle A_ {j} = { begin {cases} (- infty, 0] & y_ {j} = 0 (0, infty) & y_ {j} = 1 end {cases}}}$

Ledaže ${ displaystyle J}$ je malý (menší nebo rovný 2) neexistuje integrální řešení pro výše definované integrály (některé práce byly provedeny s ${ displaystyle J = 3}$^[3]). Alternativou k vyhodnocení těchto integrálů v uzavřené formě nebo pomocí kvadraturních metod je použití simulace. GHK je simulační metoda pro simulaci výše uvedené pravděpodobnosti pomocí metod vzorkování důležitosti.

Hodnocení ${ displaystyle Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = int mathbb {1} _ {y ^ {*} v A} f_ { N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) d mathbf {y} _ {i} ^ {*}}$ je zjednodušeno rozpoznáním latentního datového modelu ${ displaystyle mathbf {y_ {i} ^ {*}} = mathbf {X_ {i} beta} + epsilon}$ lze přepsat pomocí Choleského faktorizace, ${ displaystyle Sigma = CC '}$. To dává ${ displaystyle mathbf {y_ {i} ^ {*}} = mathbf {X_ {i} beta} + C eta _ {i}}$ Kde ${ displaystyle eta _ {i}}$ podmínky jsou distribuovány ${ displaystyle N (0, mathbf {I})}$.

Pomocí této faktorizace a skutečnosti, že ${ displaystyle eta _ {i}}$ jsou distribuovány nezávisle na sobě, lze simulovat tahy ze zkráceného vícerozměrného normálního rozdělení pomocí tažení z jednorozměrného náhodného normálu.

Například pokud je oblast zkrácení ${ displaystyle mathbf {A}}$ má dolní a horní limity rovné ${ displaystyle [a, b]}$ (včetně a, b = ${ displaystyle pm infty}$) poté se úkol stane

${ displaystyle { begin {array} {lcl} a <& y_ {1} ^ {*} &$

Poznámka: ${ displaystyle mathbf {y_ {i} ^ {*}} = mathbf {X_ {i} beta} + C eta _ {i}}$, nahrazující:

${ displaystyle { begin {array} {lcl} a <& x_ {1} beta _ {1} + c_ {11} eta _ {1} &$

Přeskupení výše,

${ displaystyle { begin {array} {ccc} { frac {a-x_ {1} beta _ {1}} {c_ {11}}} & < eta _ {1} <& { frac { b-x_ {1} beta _ {1}} {c_ {11}}} { frac {a- (x_ {2} beta _ {2} + c_ {21} eta _ {1} )} {c_ {22}}} & < eta _ {2} <& { frac {b- (x_ {2} beta _ {2} + c_ {21} eta _ {1})} { c_ {22}}} vdots & vdots & vdots { frac {a- (x_ {J} beta _ {J} + sum _ {k = 1} ^ {J-1} c_ {J, k})} {c_ {J, J}}} & < eta _ {k} <& { frac {b- (x_ {J} beta _ {J} + sum _ {k = 1} ^ {J-1} c_ {J, k})} {c_ {J, J}}} end {pole}}}$

Nyní vše, co musíte udělat, je iterativně čerpat ze zkráceného jednorozměrného normálního rozdělení s výše uvedenými hranicemi. Toho lze dosáhnout inverzní metodou CDF a za zmínku, že zkrácené normální rozdělení je dáno,

${ displaystyle u = { frac { Phi ({ frac {x- mu} { sigma}}) - Phi ({ frac {a- mu} { sigma}})}} { Phi ({ frac {b- mu} { sigma}}) - Phi ({ frac {a- mu} { sigma}})}}}$

Kde ${ displaystyle u}$ bude číslo mezi 0 a 1, protože výše je CDF. To naznačuje generování náhodných tahů ze zkrácené distribuce, kterou je třeba vyřešit ${ displaystyle x}$ dávat,

${ displaystyle x = sigma F ^ {- 1} (u * (F ( beta) -F ( alpha)) + F ( alpha)) + mu}$

kde ${ displaystyle alpha = { frac {a- mu} { sigma}}}$ a ${ displaystyle beta = { frac {b- mu} { sigma}}}$ a ${ displaystyle F}$ je standardní normální CDF. S takovými tahy lze rekonstruovat ${ displaystyle mathbf {y_ {i} ^ {*}}}$ jeho zjednodušenou rovnicí pomocí Choleského faktorizace. Tyto remízy budou podmíněny remízy přicházejícími dříve a pomocí vlastností normálů bude produkt podmíněných souborů PDF společnou distribucí ${ displaystyle mathbf {y_ {i} ^ {*}}}$,

${ displaystyle q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {1} beta}, Sigma) = q (y_ {1} ^ {*} | mathbf {X_ {1 } beta}, Sigma) q (y_ {2} ^ {*} | y_ {1} ^ {*}, mathbf {X_ {1} beta}, Sigma) dots q (y_ {J} ^ {*} | y_ {1} ^ {*}, dots, y_ {J-1} ^ {*}, mathbf {X_ {1} beta}, Sigma)}$

Kde ${ displaystyle q ( cdot)}$ je vícerozměrné normální rozdělení.

Protože ${ displaystyle y_ {j} ^ {*}}$ podmíněno ${ displaystyle y_ {k}, k$ je omezen na sadu ${ displaystyle A}$ podle nastavení pomocí Choleského faktorizace to víme ${ displaystyle q ( cdot)}$ je zkrácený multivariační normál. Distribuční funkce a zkrácen normální je,

${ displaystyle { frac { phi ({ frac {x- mu} { sigma}})} { sigma ( Phi ({ frac {b- mu} { sigma}}) - Phi ({ frac {a- mu} { sigma}}))}}}$

Proto, ${ displaystyle y_ {j} ^ {*}}$ má distribuci,

${ displaystyle { begin {aligned} q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {i} beta}, Sigma) & = { frac {{ frac {1} {c_ {11}}} phi _ {1} { Big (} { frac {y_ {j} ^ {*} - x_ {1} beta} {c_ {11}}} { Big)} } {{ Big (} Phi _ {1} { Big (} { frac {b-x_ {1} beta} {c_ {11}}} { Big)} - Phi _ {1} { Big (} { frac {a-x_ {1} beta} {c_ {11}}} { Big)} { Big)}}} times dots times { frac {{ frac {1} {c_ {JJ}}} phi _ {J} { Big (} { frac {y_ {J} ^ {*} - (x_ {J} beta + c_ {J1} eta _ { 1} + c_ {J2} eta _ {2} + dots + c_ {JJ-1} eta _ {J-1})} {c_ {JJ}}} { Big)}} {{ Big (} Phi _ {J} { Big (} { frac {b- (x_ {J} beta + c_ {J1} eta _ {1} + c_ {J2} eta _ {2} + tečky + c_ {JJ-1} eta _ {J-1})} {c_ {JJ}}} { Big)} - Phi _ {J} { Big (} { frac {a- (x_ {J} beta + c_ {J1} eta _ {1} + c_ {J2} eta _ {2} + dots + c_ {JJ-1} eta _ {J-1}} {c_ {JJ }}} { Big)} { Big)}}} & = { frac { prod _ {j = 1} ^ {J} { frac {1} {c_ {jj}}} phi _ {j} { Big (} { frac {y_ {j} ^ {*} - sum _ {k = 1} ^ {k$

kde ${ displaystyle phi _ {j}}$ je standardní normální pdf pro výběr ${ displaystyle j}$.

Protože ${ displaystyle y_ {j | {y_ {k$ výše uvedená standardizace činí každý termín průměrnou odchylkou 0.

Nechme jmenovatele ${ displaystyle prod _ {j = 1} ^ {J} Phi _ {j} { Big (} { frac {b- sum _ {k = 1} ^ {k$ a čitatel ${ displaystyle prod _ {j = 1} ^ {J} { frac {1} {c_ {jj}}} phi _ {j} { Big (} { frac {y_ {j} ^ {* } - sum _ {k = 1} ^ {k$ kde ${ displaystyle f_ {N} ( cdot)}$ je vícerozměrné normální PDF.

Vrátíme-li se k původnímu cíli, vyhodnotíme

${ displaystyle { begin {aligned} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int _ {A_ {j}} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} end {zarovnáno}}}$

Pomocí vzorkování důležitosti můžeme vyhodnotit tento integrál,

${ displaystyle { begin {aligned} Pr ( mathbf {y_ {i}} | mathbf {X_ {i} beta}, Sigma) = & int _ {A_ {j}} f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} = & int _ {A_ {j}} { frac {f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma)} {q ( mathbf {y_ {i} ^ { *}} | mathbf {X_ {i} beta}, Sigma)}} q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} = & int _ {A_ {j}} { frac {f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma)} { frac {f_ {N} ( mathbf {y} _ {i} ^ {*} | mathbf {X_ {i} beta}, Sigma)} { prod _ {j = 1} ^ {J} l_ {jj}}}} q ( mathbf {y_ {i} ^ {*}} | mathbf {X_ {i} beta}, Sigma) dy_ {j} ^ {*} = & mathbb {E} _ { mathbf {q}} { Big (} prod _ {j = 1} ^ {J} l_ {jj} { Big)} konec {zarovnaný}}}$

To je dobře aproximováno ${ displaystyle { frac {1} {S}} součet _ {s = 1} ^ {S} prod _ {j = 1} ^ {J} l_ {jj}}$.

Reference