Zobecněné nejmenší čtverce - Generalized least squares

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) Tento článek může vyžadovat vyčištění setkat se s Wikipedií standardy kvality. Ne důvod vyčištění bylo upřesněno. Prosím pomozte vylepšit tento článek jestli můžeš. (Květen 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) tento článek potřebuje další citace pro ověření. Prosím pomozte vylepšit tento článek podle přidávání citací ke spolehlivým zdrojům. Zdroj bez zdroje může být napaden a odstraněn. Najít zdroje: „Zobecněné nejmenší čtverce“  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Červenec 2009) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

v statistika, zobecněné nejmenší čtverce (GLS) je technika pro odhad neznámého parametry v lineární regrese model, když existuje určitý stupeň korelace mezi zbytky v regresní model. V těchto případech obyčejné nejmenší čtverce a vážené nejmenší čtverce může být statisticky neefektivní, nebo dokonce zavádějící závěry. GLS poprvé popsal Alexander Aitken v roce 1936.^[1]

Osnova metody

Standardně lineární regrese modely pozorujeme data ${displaystyle {y_ {i}, x_ {ij}} _ {i = 1, tečky, n, j = 2, tečky, k}}$ na n statistické jednotky. Hodnoty odezvy jsou umístěny ve vektoru ${displaystyle mathbf {y} = left (y_ {1}, dots, y_ {n} ight) ^ {mathsf {T}}}$a hodnoty prediktoru jsou umístěny do návrhová matice ${displaystyle mathbf {X} = left (mathbf {x} _ {1} ^ {mathsf {T}}, tečky, mathbf {x} _ {n} ^ {mathsf {T}} ight) ^ {mathsf {T} }}$, kde ${displaystyle mathbf {x} _ {i} = left (1, x_ {i2}, dots, x_ {ik} ight)}$ je vektorem k predikční proměnné (včetně konstanty) pro ith jednotka. Model nutí podmíněný průměr z ${displaystyle mathbf {y}}$ daný ${displaystyle mathbf {X}}$ být lineární funkcí ${displaystyle mathbf {X}}$a předpokládá podmínku rozptyl daného chybového termínu ${displaystyle mathbf {X}}$ je známý nesmyslný kovarianční matice ${displaystyle mathbf {Omega}}$. Toto se obvykle píše jako

${displaystyle mathbf {y} = mathbf {X} mathbf {eta} + mathbf {varepsilon}, qquad operatorname {E} [varepsilon mid mathbf {X}] = 0, operatorname {Cov} [varepsilon mid mathbf {X}] = mathbf {Omega}.}$

Tady ${displaystyle eta v mathbb {R} ^ {k}}$ je vektor neznámých konstant (známých jako „regresní koeficienty“), který je nutno odhadnout z údajů.

Předpokládat ${displaystyle mathbf {b}}$ je odhad kandidáta na ${displaystyle mathbf {eta}}$. Pak reziduální vektor pro ${displaystyle mathbf {b}}$ bude ${displaystyle mathbf {y} -mathbf {X} mathbf {b}}$. Zobecněná metoda nejmenších čtverců odhaduje ${displaystyle mathbf {eta}}$ minimalizací na druhou Mahalanobisova délka tohoto zbytkového vektoru:

${displaystyle mathbf {hat {eta}} = {underset {b} {operatorname {argmin}}}, (mathbf {y} -mathbf {X} mathbf {b}) ^ {mathsf {T}}, mathbf {Omega} ^ {- 1} (mathbf {y} -mathbf {X} mathbf {b}),}$

Protože cílem je kvadratická forma v ${displaystyle mathbf {b}}$, odhad má explicitní vzorec:

${displaystyle mathbf {hat {eta}} = left (mathbf {X} ^ {mathsf {T}} mathbf {Omega} ^ {- 1} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}} mathbf {Omega} ^ {- 1} mathbf {y}.}$

Vlastnosti

Odhad GLS je objektivní, konzistentní, účinný, a asymptoticky normální s ${displaystyle operatorname {E} [{hat {eta}} mid mathbf {X}] = eta}$ a ${displaystyle operatorname {Cov} [{hat {eta}} mid mathbf {X}] = (mathbf {X} ^ {mathsf {T}} Omega ^ {- 1} mathbf {X}) ^ {- 1}}$. GLS je ekvivalentní aplikaci běžných nejmenších čtverců na lineárně transformovanou verzi dat. Chcete-li to vidět, faktor ${displaystyle mathbf {Omega} = mathbf {C} mathbf {C} ^ {mathsf {T}}}$, například pomocí Choleský rozklad. Pak pokud předem vynásobíme obě strany rovnice ${displaystyle mathbf {y} = mathbf {X} mathbf {eta} + mathbf {varepsilon}}$ podle ${displaystyle mathbf {C} ^ {- 1}}$, dostaneme ekvivalentní lineární model ${displaystyle mathbf {y} ^ {*} = mathbf {X} ^ {*} mathbf {eta} + mathbf {varepsilon} ^ {*}}$ kde ${displaystyle mathbf {y} ^ {*} = mathbf {C} ^ {- 1} mathbf {y}}$, ${displaystyle mathbf {X} ^ {*} = mathbf {C} ^ {- 1} mathbf {X}}$, a ${displaystyle mathbf {varepsilon} ^ {*} = mathbf {C} ^ {- 1} mathbf {varepsilon}}$. V tomto modelu ${displaystyle operatorname {Var} [varepsilon ^ {*} mid mathbf {X}] = mathbf {C} ^ {- 1} mathbf {Omega} left (mathbf {C} ^ {- 1} ight) ^ {mathsf {T }} = mathbf {I}}$, kde ${displaystyle mathbf {I}}$ je matice identity. Můžeme tak efektivně odhadnout ${displaystyle mathbf {eta}}$ aplikací OLS na transformovaná data, což vyžaduje minimalizaci

${displaystyle left (mathbf {y} ^ {*} - mathbf {X} ^ {*} mathbf {eta} ight) ^ {mathsf {T}} (mathbf {y} ^ {*} - mathbf {X} ^ { *} mathbf {eta}) = (mathbf {y} -mathbf {X} mathbf {b}) ^ {mathsf {T}}, mathbf {Omega} ^ {- 1} (mathbf {y} -mathbf {X} mathbf {b}).}$

Výsledkem je standardizace rozsahu chyb a jejich „korelace“. Vzhledem k tomu, že OLS je aplikován na data s homoscedastickými chybami, Gauss – Markovova věta platí, a proto je odhad GLS nejlepší lineární nezaujatý odhad pro β.

Vážené nejméně čtverce

Zvláštní případ GLS, který se nazývá vážené nejmenší čtverce (WLS), nastane, když všechny off-diagonální položky Ω jsou 0. Tato situace nastává, když jsou odchylky pozorovaných hodnot nerovné (tj.heteroscedasticita je přítomen), ale pokud mezi pozorovanými odchylkami neexistují žádné korelace. Hmotnost jednotky i je úměrná převrácené hodnotě rozptylu odezvy pro jednotku i.^[2]

Realizovatelné zobecněné nejmenší čtverce

Pokud kovariance chyb ${displaystyle Omega}$ není známo, lze získat konzistentní odhad ${displaystyle Omega}$, řekněme ${displaystyle {widehat {Omega}}}$,^[3] pomocí implementovatelné verze GLS známé jako proveditelné zobecněné nejmenší čtverce (FGLS) odhadce. Ve FGLS probíhá modelování ve dvou fázích: (1) model se odhaduje pomocí OLS nebo jiného konzistentního (ale neefektivního) odhadce a zbytky se používají k vytvoření konzistentního odhadce kovarianční matice chyb (k tomu je často potřeba prozkoumat model přidávající další omezení, například pokud chyby sledují proces časové řady, statistik obecně potřebuje určité teoretické předpoklady tohoto procesu, aby zajistil, že bude k dispozici konzistentní odhad); a (2) pomocí konzistentního odhadce kovarianční matice chyb lze implementovat nápady GLS.

Zatímco GLS je efektivnější než OLS v rámci heteroscedasticity nebo autokorelace, u FGLS to neplatí. Realizovatelný odhad je za předpokladu, že je důsledně odhadována kovarianční matice chyb, asymptoticky efektivnější, ale pro vzorek malé nebo střední velikosti může být ve skutečnosti méně efektivní než OLS. To je důvod, proč někteří autoři upřednostňují použití OLS a přeformulují své závěry pouhým zvážením alternativního odhadu pro rozptyl odhadu robustního vůči heteroscedasticitě nebo sériové autokorelaci, ale u velkých vzorků je preferován FGLS před OLS pod heteroskedasticitou nebo sériovou korelací.^{[3] [4]}Upozornění je, že odhad FGLS není vždy konzistentní. Jedním z případů, kdy může být FGLS nekonzistentní, jsou případy, kdy existují jednotlivé specifické pevné efekty.^[5]

Obecně má tento odhad odlišné vlastnosti než GLS. U velkých vzorků (tj. Asymptoticky) jsou všechny vlastnosti (za vhodných podmínek) společné s ohledem na GLS, ale u konečných vzorků jsou vlastnosti odhadů FGLS neznámé: dramaticky se liší u každého konkrétního modelu a obecně platí jejich přesné rozdělení nelze odvodit analyticky. U konečných vzorků může být FGLS v některých případech dokonce méně efektivní než OLS. I když lze GLS učinit proveditelným, není vždy moudré použít tuto metodu, když je vzorek malý. Metoda, která se někdy používá ke zlepšení přesnosti odhadů v konečných vzorcích, je iterace, tj. Převzetí zbytků z FGLS k aktualizaci odhad kovarianční chyby a poté aktualizace odhadu FGLS opakovaným použitím stejné myšlenky, dokud se odhady neliší od menší tolerance. Ale tato metoda nutně moc nezlepší efektivitu odhadce, pokud byl původní vzorek malý. Rozumnou možností, když vzorky nejsou příliš velké, je použít OLS, ale vyhodit klasický odhad rozptylu

${displaystyle sigma ^ {2} * (X'X) ^ {- 1}}$

(což je v tomto rámci nekonzistentní) a použití odhadu HAC (Heteroskedasticity and Autocorrelation Consistent). Například v kontextu autokorelace můžeme použít Bartlettův odhad (často známý jako Newey-West odhad, protože tito autoři popularizovali použití tohoto odhadu mezi ekonometry v jejich 1987 Econometrica článku) a v heteroskedastickém kontextu můžeme použít Eicker – White odhad. Tento přístup je mnohem bezpečnější a je vhodnou cestou, pokud není vzorek velký, a „velký“ je někdy kluzký problém (např. Pokud je distribuce chyb asymetrická, požadovaný vzorek by byl mnohem větší).

The obyčejné nejmenší čtverce (OLS) odhad se počítá jako obvykle

${displaystyle {widehat {eta}} _ {ext {OLS}} = (X'X) ^ {- 1} X'y}$

a odhady zbytků ${displaystyle {widehat {u}} _ {j} = (Y-X {widehat {eta}} _ {ext {OLS}}) _ {j}}$ jsou konstruovány.

Pro jednoduchost zvažte model pro heteroskedastické chyby. Předpokládejme, že matice variance-kovarianční matice ${displaystyle Omega}$ vektoru chyby je diagonální, nebo ekvivalentně, že chyby z odlišných pozorování nejsou korelované. Poté může být každý diagonální vstup odhadnut podle namontovaných zbytků ${displaystyle {widehat {u}} _ {j}}$ tak ${displaystyle {widehat {Omega}} _ {OLS}}$ mohou být konstruovány

${displaystyle {widehat {Omega}} _ {ext {OLS}} = operatorname {diag} ({widehat {sigma}} _ {1} ^ {2}, {widehat {sigma}} _ {2} ^ {2} , tečky, {widehat {sigma}} _ {n} ^ {2}).}$

Je důležité si všimnout, že v předchozím výrazu nelze použít čtvercové zbytky; potřebujeme odhad rozptylu chyb. K tomu můžeme použít parametrický model heteroskedasticity nebo neparametrický odhad. Jakmile je tento krok splněn, můžeme pokračovat:

Odhad ${displaystyle eta _ {FGLS1}}$ použitím ${displaystyle {widehat {Omega}} _ {ext {OLS}}}$ použitím^[4] vážené nejmenší čtverce

${displaystyle {widehat {eta}} _ {FGLS1} = (X '{widehat {Omega}} _ {ext {OLS}} ^ {- 1} X) ^ {- 1} X' {widehat {Omega}} _ {ext {OLS}} ^ {- 1} y}$

Postup lze iterovat. První iterace je dána vztahem

${displaystyle {widehat {u}} _ {FGLS1} = Y-X {widehat {eta}} _ {FGLS1}}$

${displaystyle {widehat {Omega}} _ {FGLS1} = operatorname {diag} ({widehat {sigma}} _ {FGLS1,1} ^ {2}, {widehat {sigma}} _ {FGLS1,2} ^ {2 }, tečky, {widehat {sigma}} _ {FGLS1, n} ^ {2})}$

${displaystyle {widehat {eta}} _ {FGLS2} = (X '{widehat {Omega}} _ {FGLS1} ^ {- 1} X) ^ {- 1} X' {widehat {Omega}} _ {FGLS1} ^ {- 1} y}$

Tento odhad ${displaystyle {widehat {Omega}}}$ lze iterovat na konvergenci.

Za podmínek pravidelnosti je kterýkoli z odhadů FGLS (nebo kterýkoli z jeho iterací, pokud iterujeme konečný počet opakování) asymptoticky distribuován jako

${displaystyle {sqrt {n}} ({hat {eta}} _ {FGLS} - eta) {xrightarrow {d}} {mathcal {N}}! left (0,, Vight).}$

kde n je velikost vzorku a

${displaystyle V = operatorname {p-lim} (X'Omega ^ {- 1} X / T)}$

zde p-lim znamená limit v pravděpodobnosti

Viz také

• Oblast důvěry
• Efektivní stupně volnosti

Reference

Další čtení

• Amemiya, Takeshi (1985). „Zobecněná teorie nejmenších čtverců“. Pokročilá ekonometrie. Harvard University Press. ISBN  0-674-00560-0.CS1 maint: ref = harv (odkaz)
• Johnston, John (1972). „Zobecněné nejmenší čtverce“. Ekonometrické metody (Druhé vydání.). New York: McGraw-Hill. 208–242.
• Kmenta, Jan (1986). „Zobecněný model lineární regrese a jeho aplikace“. Prvky ekonometrie (Druhé vydání.). New York: Macmillan. 607–650. ISBN  0-472-10886-7.