Střední a předpokládaná odpověď - Mean and predicted response

Tento článek obsahuje a seznam doporučení, související čtení nebo externí odkazy, ale jeho zdroje zůstávají nejasné, protože mu chybí vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Listopad 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

v lineární regrese, průměrná odpověď a předpokládaná odpověď jsou hodnoty závislé proměnné vypočítané z regresních parametrů a dané hodnoty nezávislé proměnné. Hodnoty těchto dvou odpovědí jsou stejné, ale jejich vypočtené odchylky se liší.

Pozadí

Při přímém lícování je model

${displaystyle y_ {i} = alfa + eta x_ {i} + varepsilon _ {i},}$

kde ${displaystyle y_ {i}}$ je proměnná odezvy, ${displaystyle x_ {i}}$ je vysvětlující proměnná, ε_i je náhodná chyba a ${displaystyle alpha}$ a ${displaystyle eta}$ jsou parametry. Průměrná a předpokládaná hodnota odezvy pro danou vysvětlující hodnotu, X_d, darováno

${displaystyle {hat {y}} _ {d} = {hat {alpha}} + {hat {eta}} x_ {d},}$

zatímco skutečná odpověď by byla

${displaystyle y_ {d} = alfa + eta x_ {d} + varepsilon _ {d},}$

Výrazy pro hodnoty a odchylky ${displaystyle {hat {alpha}}}$ a ${displaystyle {hat {eta}}}$ jsou uvedeny v lineární regrese.

Střední odpověď

Protože data v této souvislosti jsou definována jako (X, y) páry pro každé pozorování, průměrná odpověď při dané hodnotě X, řekněme X_d, je odhad průměru střední hodnoty y hodnoty v populaci na X hodnota X_d, to je ${displaystyle {hat {E}} (ymid x_ {d}) equiv {hat {y}} _ {d}!}$. Rozptyl střední odezvy je dán vztahem

${displaystyle operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight) = operatorname {Var} left ({hat {alpha}} ight) + left (operatorname {Var} { hat {eta}} ight) x_ {d} ^ {2} + 2x_ {d} operatorname {Cov} left ({hat {alpha}}, {hat {eta}} ight).}$

Tento výraz lze zjednodušit na

${displaystyle operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight) = sigma ^ {2} left ({frac {1} {m}} + {frac {left ( x_ {d} - {ar {x}} ight) ^ {2}} {součet (x_ {i} - {ar {x}}) ^ {2}}} ight),}$

kde m je počet datových bodů.

K prokázání tohoto zjednodušení lze použít identitu

${displaystyle sum (x_ {i} - {ar {x}}) ^ {2} = součet x_ {i} ^ {2} - {frac {1} {m}} left (sum x_ {i} ight) ^ {2}.}$

Předpokládaná odpověď

The předpokládaná odpověď distribuce je předpokládané rozdělení reziduí v daném bodě X_d. Rozptyl je tedy dán vztahem

${displaystyle {egin {aligned} operatorname {Var} left (y_ {d} -left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight) & = operatorname {Var} (y_ { d}) + operatorname {Var} vlevo ({hat {alpha}} + {hat {eta}} x_ {d} ight) -2operatorname {Cov} vlevo (y_ {d}, vlevo [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight) & = operatorname {Var} (y_ {d}) + operatorname {Var} vlevo ({hat {alpha}} + {hat {eta}} x_ {d } hned) .end {zarovnáno}}}$

Druhý řádek vyplývá ze skutečnosti, že ${displaystyle operatorname {Cov} left (y_ {d}, left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight)}$ je nula, protože nový predikční bod je nezávislý na datech použitých k přizpůsobení modelu. Navíc termín ${displaystyle operatorname {Var} left ({hat {alpha}} + {hat {eta}} x_ {d} ight)}$ byla vypočtena dříve pro střední odpověď.

Od té doby ${displaystyle operatorname {Var} (y_ {d}) = sigma ^ {2}}$ (pevný, ale neznámý parametr, který lze odhadnout), rozptyl predikované odpovědi je dán vztahem

${displaystyle {egin {aligned} operatorname {Var} left (y_ {d} -left [{hat {alpha}} + {hat {eta}} x_ {d} ight] ight) & = sigma ^ {2} + sigma ^ {2} vlevo ({frac {1} {m}} + {frac {vlevo (x_ {d} - {ar {x}} ight) ^ {2}} {součet (x_ {i} - {ar { x}}) ^ {2}}} ight) [4pt] & = sigma ^ {2} vlevo (1+ {frac {1} {m}} + {frac {(x_ {d} - {ar {x }}) ^ {2}} {sum (x_ {i} - {ar {x}}) ^ {2}}} ight) .end {zarovnáno}}}$

Intervaly spolehlivosti

The ${displaystyle 100 (1-alfa) \%}$ intervaly spolehlivosti se počítají jako ${displaystyle y_ {d} pm t _ {{frac {alpha} {2}}, m-n-1} {sqrt {operatorname {Var}}}}$. Interval spolehlivosti pro předpokládanou odpověď je tedy širší než interval pro střední odpověď. To se očekává intuitivně - rozptyl populace ${displaystyle y}$ hodnoty se nesnižují, když z nich někdo vzorkuje, protože náhodná proměnná ε_i nesnižuje se, ale rozptyl průměru střední hodnoty ${displaystyle y}$ se zmenšuje se zvýšeným vzorkováním, protože rozptyl v ${displaystyle {hat {alpha}}}$ a ${displaystyle {hat {eta}}}$ pokles, takže průměrná odezva (predikovaná hodnota odezvy) se blíží ${displaystyle alpha + eta x_ {d}}$.

To je analogické s rozdílem mezi rozptylem populace a rozptylem výběrového průměru populace: rozptyl populace je parametr a nemění se, ale rozptyl výběrového průměru klesá se zvýšeným výběrem.

Obecná lineární regrese

Obecný lineární model lze psát jako

${displaystyle y_ {i} = součet _ {j = 1} ^ {n} X_ {ij} eta _ {j} + varepsilon _ {i},}$

Proto, protože ${displaystyle y_ {d} = součet _ {j = 1} ^ {n} X_ {dj} {hat {eta}} _ {j}}$ obecný výraz pro rozptyl střední odezvy je

${displaystyle operatorname {Var} left (sum _ {j = 1} ^ {n} X_ {dj} {hat {eta}} _ {j} ight) = sum _ {i = 1} ^ {n} sum _ { j = 1} ^ {n} X_ {di} S_ {ij} X_ {dj},}$

kde S je kovarianční matice parametrů zadaných

${displaystyle mathbf {S} = sigma ^ {2} vlevo (mathbf {X ^ {mathsf {T}} X} vpravo) ^ {- 1}.}$

Reference

• Draper, N.R .; Smith, H. (1998). Aplikovaná regresní analýza (3. vyd.). John Wiley. ISBN  0-471-17082-8.