Pracovní – Hotellingový postup - Working–Hotelling procedure

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

v statistika, zejména regresní analýza, Pracovní – Hotellingový postup, pojmenoval podle Holbrook pracuje a Harold Hotelling, je metoda simultánního odhadu v lineární regrese modely. Jeden z prvních vývojů v roce 2006 simultánní odvození, vymysleli jej Working and Hotelling pro jednoduchá lineární regrese model v roce 1929.^[1] Poskytuje oblast důvěry pro více středních odpovědí, to znamená, že dává horní a dolní hranici více než jedné hodnoty a závislá proměnná na několika úrovních nezávislé proměnné jistě úroveň spolehlivosti. Výsledný pásma spolehlivosti jsou známé jako Working – Hotelling – Scheffé pásma spolehlivosti.

Stejně jako blízcí příbuzní Scheffého metoda v analýza rozptylu, který považuje za možné vše kontrasty, postup Working-Hotelling zohledňuje všechny možné hodnoty nezávislých proměnných; tj. v konkrétním regresním modelu je pravděpodobnost, že všechny intervaly spolehlivosti Working – Hotelling pokrývají skutečnou hodnotu střední odezvy, je koeficient spolehlivosti. Když je tedy uvažována pouze malá podmnožina možných hodnot nezávislé proměnné, je konzervativnější a poskytuje širší intervaly než konkurenti jako Bonferroniho korekce na stejné úrovni důvěry. Při zvažování více hodnot překonává Bonferroniho korekci.

Prohlášení

Jednoduchá lineární regrese

Zvažte a jednoduchá lineární regrese Modelka ${ displaystyle Y = beta _ {0} + beta _ {1} X + varepsilon}$, kde ${ displaystyle Y}$ je proměnná odezvy a ${ displaystyle X}$ vysvětlující proměnnou a nech ${ displaystyle b_ {0}}$ a ${ displaystyle b_ {1}}$ být nejmenší čtverce odhady ${ displaystyle beta _ {0}}$ a ${ displaystyle beta _ {1}}$ resp. Pak odhad nejmenších čtverců střední odezvy ${ displaystyle E (Y_ {i})}$ na úrovni ${ displaystyle X = x_ {i}}$ je ${ displaystyle { hat {Y_ {i}}} = b_ {0} + b_ {1} x_ {i}}$. Pak to může být zobrazeno, za předpokladu, že chyby nezávisle a shodně následují normální distribuce, že ${ displaystyle 1- alpha}$ interval spolehlivosti střední odezvy na určité úrovni ${ displaystyle X}$ je následující:

${ displaystyle { hat {y}} _ {i} in left [b_ {0} + b_ {1} x_ {i} pm t _ { alpha / 2, { text {df}} = n -2} { sqrt { left ({ frac {1} {n-2}} sum _ {j = 1} ^ {n} e_ {j} ^ {, 2} right) cdot left ({ frac {1} {n}} + { frac {(x_ {i} - { bar {x}}) ^ {2}} { sum _ {j = 1} ^ {n} ( x_ {j} - { bar {x}}) ^ {2}}} vpravo)}} vpravo],}$

kde ${ displaystyle left ({ frac {1} {n-2}} sum _ {j = 1} ^ {n} e_ {j} ^ {, 2} right)}$ je střední čtvercová chyba a ${ displaystyle t _ { alpha / 2, { text {df}} = n-2}}$ označuje svršek ${ displaystyle { frac { alpha} {2}} ^ { text {th}}}$ percentil z Studentova t-distribuce s ${ displaystyle n-2}$ stupně svobody.

Jak se však odhaduje několik průměrných odpovědí, úroveň spolehlivosti rychle klesá. Opravit koeficient spolehlivosti na ${ displaystyle 1- alpha}$, přístup Working – Hotelling využívá statistiku F:^[2][3]

${ displaystyle { hat {y}} _ {i} in left [b_ {0} + b_ {1} x_ {i} pm W { sqrt { left ({ frac {1} {n -2}} sum _ {j = 1} ^ {n} e_ {j} ^ {, 2} right) cdot left ({ frac {1} {n}} + { frac {( x_ {i} - { bar {x}}) ^ {2}} { sum _ {j = 1} ^ {n} (x_ {j} - { bar {x}}) ^ {2}} }dobře dobře],}$

kde ${ displaystyle W ^ {2} = 2F _ { alpha, { text {df}} = (2, n-2)}}$ a ${ displaystyle F}$ označuje svršek ${ displaystyle alpha ^ { text {th}}}$ percentil z F-distribuce s ${ displaystyle (2, n-2)}$ stupně svobody. Úroveň spolehlivosti je ${ displaystyle 1- alpha}$ přes Všechno hodnoty ${ displaystyle X}$, tj. ${ displaystyle x_ {i} in mathbb {R}}$.

Vícenásobná lineární regrese

Pásma spolehlivosti Working – Hotelling lze snadno zobecnit na vícenásobnou lineární regrese. Zvažte obecný lineární model, jak je definován v lineární regrese článek, to znamená,

${ displaystyle mathbf {Y} = mathbf {X} { boldsymbol { beta}} + { boldsymbol { varepsilon}}, ,}$

kde

${ displaystyle mathbf {Y} = { begin {pmatrix} Y_ {1} Y_ {2} vdots Y_ {n} end {pmatrix}}, quad mathbf {X} = { begin {pmatrix} mathbf {x} _ {1} ^ { rm {T}} mathbf {x} _ {2} ^ { rm {T}} vdots mathbf {x} _ {n} ^ { rm {T}} end {pmatrix}} = { begin {pmatrix} x_ {11} & cdots & x_ {1p} x_ {21} & cdots & x_ { 2p} vdots & ddots & vdots x_ {n1} & cdots & x_ {np} end {pmatrix}}, { boldsymbol { beta}} = { begin {pmatrix} beta _ {1} beta _ {2} vdots beta _ {p} end {pmatrix}}, quad { boldsymbol { varepsilon}} = { begin {pmatrix} varepsilon _ {1} varepsilon _ {2} vdots varepsilon _ {n} end {pmatrix}}.}$

Opět lze ukázat, že odhad nejmenších čtverců střední odezvy ${ displaystyle E (Y_ {i}) = mathbf {x} _ {i} ^ { rm {T}} { boldsymbol { beta}}}$ je ${ displaystyle { hat {Y}} _ {i} = mathbf {x} _ {i} ^ { rm {T}} mathbf {b}}$, kde ${ displaystyle mathbf {b}}$ sestává z odhadů nejmenších čtverců položek v ${ displaystyle { boldsymbol { beta}}}$, tj. ${ displaystyle mathbf {b} = ( mathbf {X} ^ { rm {T}} mathbf {X}) ^ {- 1} mathbf {X} ^ { rm {T}} mathbf { Y}}$. Stejně tak lze prokázat, že a ${ displaystyle 1- alpha}$ interval spolehlivosti pro jediný průměrný odhad odpovědi je následující:^[4]

${ displaystyle { hat {y}} _ {i} in left [ mathbf {x} _ {i} ^ { rm {T}} mathbf {b} pm t _ { alpha / 2, { text {df}} = np} { sqrt { operatorname {MSE} ( mathbf {x} _ {i} ^ { rm {T}} ( mathbf {X} ^ { rm {T} } mathbf {X}) ^ {- 1} mathbf {x} _ {i}}}) right],}$

kde ${ displaystyle operatorname {MSE}}$ je pozorovaná hodnota střední kvadratické chyby ${ displaystyle (Y ^ { rm {T}} Y- mathbf {b} ^ { rm {T}} X ^ { rm {T}} Y)}$.

Přístup Working-Hotelling k více odhadům je podobný přístupu jednoduché lineární regrese, pouze se změnou stupňů volnosti:^[3]

${ displaystyle { hat {y}} _ {i} in left [ mathbf {x} _ {i} ^ { rm {T}} mathbf {b} pm W { sqrt { operatorname {MSE} ( mathbf {x} _ {i} ^ { rm {T}} ( mathbf {X} ^ { rm {T}} mathbf {X}) ^ {- 1} mathbf {x } _ {i}}}) right],}$

kde ${ displaystyle W ^ {2} = 2F _ { alpha, { text {df}} = (p, n-p)}}$.

Grafické znázornění

V jednoduchém případě lineární regrese Working – Hotelling – Scheffé pásma spolehlivosti, nakreslené spojením horní a dolní meze střední odezvy na každé úrovni, má tvar hyperboly. Při kreslení jsou někdy aproximovány pásmy spolehlivosti Graybill – Bowden, které jsou lineární, a proto je snazší je grafovat:^[2]

${ displaystyle beta _ {0} + beta _ {1} (x_ {i} - { bar {x}}) in left [b_ {0} + b_ {1} (x_ {i} - { bar {x}}) pm m _ { alpha, 2, { text {df}} = n-2} cdot left ({ frac {1} { sqrt {n}}} + { frac {| x_ {i} - { bar {x}} |} { sqrt { sum _ {j = 1} ^ {n} (x_ {j} - { bar {x}})}} }dobře dobře]}$

kde ${ displaystyle m _ { alpha, 2, { text {df}} = n-2}}$označuje svršek ${ displaystyle alpha ^ { text {th}}}$ percentil Studentizované maximální distribuce modulu se dvěma prostředky a ${ displaystyle n-2}$ stupně svobody.

Jednoduchý lineární regresní model s pásmem spolehlivosti Working – Hotelling.

Numerický příklad

Stejná data v obyčejné nejmenší čtverce jsou použity v tomto příkladu:

Výška (m)	1.47	1.50	1.52	1.55	1.57	1.60	1.63	1.65	1.68	1.70	1.73	1.75	1.78	1.80	1.83
váha (kg)	52.21	53.12	54.48	55.84	57.20	58.57	59.93	61.29	63.11	64.47	66.28	68.10	69.92	72.19	74.46

K těmto datům se hodí jednoduchý lineární regresní model. Hodnoty ${ displaystyle b_ {0}}$ a ${ displaystyle b_ {1}}$ bylo zjištěno -39,06, respektive 61,27. Cílem je odhadnout průměrnou hmotnost žen vzhledem k jejich výškám na úrovni 95% spolehlivosti. Hodnota ${ displaystyle W ^ {2}}$ bylo zjištěno, že je ${ displaystyle F_ {0,95, { text {df}} = (2,15-2)} = 2,758828}$. Bylo také zjištěno, že ${ displaystyle { bar {x}} = 1,651}$, ${ displaystyle sum _ {j = 1} ^ {n} e_ {j} ^ {, 2} = 7,490558}$, ${ displaystyle operatorname {MSE} = 0,5761968}$ a ${ displaystyle sum _ {j = 1} ^ {n} (x_ {j} - { bar {x}}) ^ {2} = 693,3726}$. K předpovědi průměrné hmotnosti všech žen v určité výšce byla odvozena následující skupina Working – Hotelling – Scheffé:

${ displaystyle { hat {y}} _ {i} in left [-39.06 + 61.27x_ {i} pm { sqrt {2.758828 cdot 0,5761968 cdot left ({ frac {1} {15 }} + { frac {(x_ {i} -1,651) ^ {2}} {693,3726}} doprava)}} doprava],}$

což má za následek graf vlevo.

Srovnání s jinými metodami

Pásma Bonferroni pro stejný lineární regresní model na základě odhadu proměnné odezvy vzhledem k pozorovaným hodnotám X. Pásma spolehlivosti jsou znatelně přísnější.

Přístup Working-Hotelling může poskytnout přísnější nebo volnější limity spolehlivosti ve srovnání s Bonferroniho korekce. Obecně platí, že pro malé skupiny výroků mohou být hranice Bonferroni přísnější, ale když se počet odhadovaných hodnot zvýší, postup Working-Hotelling přinese užší limity. Je to proto, že úroveň spolehlivosti mezí Working – Hotelling – Scheffé je přesně ${ displaystyle 1- alpha}$ když Všechno hodnoty nezávislých proměnných, tj. ${ displaystyle x_ {i} in mathbb {R}}$, jsou brány v úvahu. Alternativně z algebraické perspektivy kritická hodnota ${ displaystyle pm { sqrt {W}}}$ zůstává konstantní, jelikož počet odhadů přírůstků, zatímco odpovídající hodnoty v Bonferonniho odhadech, ${ displaystyle pm t_ {1- alfa / g, { text {df}} = n-p}}$, se bude čím dál více lišit ${ displaystyle g}$ odhadů se zvyšuje. Proto je metoda Working-Hotelling vhodnější pro srovnání ve velkém měřítku, zatímco Bonferroni je preferován, pokud má být odhadnuto pouze několik průměrných odpovědí. V praxi se obvykle používají nejprve obě metody a zvolí se užší interval.^[4]

Další alternativou k pásmu Working – Hotelling – Scheffé je pásmo Gavarian, které se používá, když je zapotřebí pásmo spolehlivosti, které udržuje stejnou šířku na všech úrovních.^[5]

Procedura Working – Hotelling je založena na stejných principech jako Scheffého metoda, což poskytuje intervaly spolehlivosti rodiny pro všechny možné kontrasty.^[6] Jejich důkazy jsou téměř totožné.^[5] Je to proto, že obě metody odhadují lineární kombinace střední odezvy na všech úrovních faktorů. Procedura Working – Hotelling se však nezabývá kontrasty, ale různými úrovněmi nezávislé proměnné, takže není třeba, aby součinitele parametrů dosahovaly až nula. Proto má ještě jeden stupeň svobody.^[6]

Viz také

• Vícenásobné srovnání

Poznámky pod čarou

Bibliografie

• Graybill, Franklin A .; Bowden, David C. (06.06.1967). "Pásma spolehlivosti lineárního segmentu pro jednoduché lineární modely". Journal of the American Statistical Association. 62 (318): 403–408. doi:10.1080/01621459.1967.10482917. ISSN  0162-1459.
• Miller, Rupert G. (1966). Simultánní statistická inference. New York: Springer-Verlag. ISBN  978-1-4613-8124-2.
• Miller, R. (2014). "Vícenásobné srovnání I". Encyklopedie statistických věd. doi:10.1002/0471667196. hdl:11693/51057. ISBN  9780471667193.
• Neter, John; Wasserman, William; Kutner, Michael (1990). Aplikované lineární statistické modely. Tokio: Richard D Irwin, Inc. ISBN  978-0-256-08338-5.
• Westfall, Peter H; Tobias, RD; Wolfinger, Russell Dean (2011). Vícenásobné srovnání a více testů pomocí SAS. Cary, N.C .: SAS Pub. ISBN  9781607648857.
• Working, Holbrook; Hotelling, Harold (01.03.1929). "Aplikace teorie chyby na interpretaci trendů". Journal of the American Statistical Association. 24 (165A): 73–85. doi:10.1080/01621459.1929.10506274. ISSN  0162-1459.