Vysvětlený součet čtverců - Explained sum of squares

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto problémech na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek vyžaduje pozornost odborníka na statistiku. Přidejte prosím důvod nebo a mluvit parametr k této šabloně pro vysvětlení problému s článkem. Statistiky WikiProject může pomoci s náborem odborníka. (Září 2009) Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Prosinec 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v statistika, vysvětlený součet čtverců (ESS), alternativně známý jako modelový součet čtverců nebo součet čtverců v důsledku regrese („SSR“ - nesmí být zaměňována s zbytkový součet čtverců RSS nebo součet čtverců chyb), je veličina používaná k popisu, jak dobře model, často a regresní model, představuje data, která se modelují. Zejména vysvětlený součet čtverců měří, kolik variací je v modelovaných hodnotách, a to je porovnáno s celkový součet čtverců (TSS), která měří, jak velká je variace pozorovaných údajů, a to zbytkový součet čtverců, která měří odchylku chyby mezi pozorovanými údaji a modelovanými hodnotami.

Definice

The vysvětlený součet čtverců (ESS) je součet čtverců odchylek předpovězených hodnot od střední hodnoty proměnné odezvy ve standardu regresní model - například, y_i = A + b₁X_1i + b₂X_2i + ... + ε_i, kde y_i je i ^th pozorování proměnná odezvy, X_ji je i ^th pozorování j ^th vysvětlující proměnná, A a b_j jsou koeficienty, i indexuje pozorování od 1 do n, a ε_i je i ^th hodnota chybový termín. Obecně platí, že čím větší je ESS, tím lepší je odhadovaný model.

Li ${ displaystyle { hat {a}}}$ a ${ displaystyle { hat {b}} _ {i}}$ jsou odhadované koeficienty, pak

${ displaystyle { hat {y}} _ {i} = { hat {a}} + { hat {b}} _ {1} x_ {1i} + { hat {b}} _ {2} x_ {2i} + cdots ,}$

je i ^th předpokládaná hodnota proměnné odezvy. ESS je pak:

${ displaystyle { text {ESS}} = sum _ {i = 1} ^ {n} left ({ hat {y}} _ {i} - { bar {y}} right) ^ { 2}.}$

kde ${ displaystyle { hat {y}} _ {i}}$hodnota odhadnutá regresní přímkou.^[1]

V některých případech (viz níže): celkový součet čtverců (TSS) =vysvětlil součet čtverců (ESS)+ zbytkový součet čtverců (RSS).

Rozdělení pomocí jednoduché lineární regrese

Následující rovnost, která uvádí, že celkový součet čtverců (TSS) se rovná zbytkovému součtu čtverců (= SSE: součet čtvercových chyb predikce) plus vysvětlený součet čtverců (SSR: součet čtverců v důsledku regrese nebo vysvětleného součet čtverců), obecně platí pro jednoduchou lineární regresi:

${ displaystyle sum _ {i = 1} ^ {n} left (y_ {i} - { bar {y}} right) ^ {2} = sum _ {i = 1} ^ {n} left (y_ {i} - { hat {y}} _ {i} right) ^ {2} + sum _ {i = 1} ^ {n} left ({ hat {y}} _ {i} - { bar {y}} vpravo) ^ {2}.}$

Jednoduché odvození

${ displaystyle { begin {aligned} (y_ {i} - { bar {y}}) = (y_ {i} - { hat {y}} _ {i}) + ({ hat {y} } _ {i} - { bar {y}}). end {zarovnáno}}}$

Srovnejte obě strany a sečtěte vše i:

${ displaystyle sum _ {i = 1} ^ {n} (y_ {i} - { bar {y}}) ^ {2} = sum _ {i = 1} ^ {n} (y_ {i } - { hat {y}} _ {i}) ^ {2} + sum _ {i = 1} ^ {n} ({ hat {y}} _ {i} - { bar {y} }) ^ {2} + sum _ {i = 1} ^ {n} 2 ({ hat {y}} _ {i} - { bar {y}}) (y_ {i} - { hat {y}} _ {i}).}$

Zde je ukázáno, jak je výše uvedený poslední termín nulový jednoduchá lineární regrese^[2]

${ displaystyle { hat {y_ {i}}} = { hat {a}} + { hat {b}} x_ {i}}$

${ displaystyle { bar {y}} = { hat {a}} + { hat {b}} { bar {x}}}$

${ displaystyle { hat {b}} = { frac { sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) (y_ {i} - { bar {y}})} { sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) ^ {2}}}}$

Tak,

${ displaystyle { hat {y_ {i}}} - { bar {y}} = { hat {b}} (x_ {i} - { bar {x}})}$

${ displaystyle y_ {i} - { hat {y}} _ {i} = (y_ {i} - { bar {y}}) - ({ hat {y}} _ {i} - { bar {y}}) = (y_ {i} - { bar {y}}) - { hat {b}} (x_ {i} - { bar {x}})}$

Proto,

${ displaystyle { begin {aligned} & sum _ {i = 1} ^ {n} 2 ({ hat {y}} _ {i} - { bar {y}}) (y_ {i} - { hat {y}} _ {i}) = 2 { hat {b}} sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) (y_ { i} - { hat {y}} _ {i}) [4pt] = {} & 2 { hat {b}} sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) ((y_ {i} - { bar {y}}) - { hat {b}} (x_ {i} - { bar {x}})) [4pt] = {} & 2 { hat {b}} left ( sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) (y_ {i} - { bar { y}}) - sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) ^ {2} { frac { sum _ {j = 1} ^ {n } (x_ {j} - { bar {x}}) (y_ {j} - { bar {y}})}} { sum _ {j = 1} ^ {n} (x_ {j} - { bar {x}}) ^ {2}}} vpravo) [4pt] = {} & 2 { hat {b}} (0) = 0 end {zarovnáno}}}$

Rozdělení v obecném modelu nejmenších čtverců

Obecný regresní model s n pozorování a k vysvětlovače, z nichž první je konstantní jednotkový vektor, jehož koeficientem je regresní intercept, je

${ displaystyle y = X beta + e}$

kde y je n × 1 vektor pozorování závislých proměnných, každý sloupec n × k matice X je vektor pozorování na jednom z k vysvětlující, ${ displaystyle beta}$ je k × 1 vektor skutečných koeficientů a E je n × 1 vektor skutečných podkladových chyb. The obyčejné nejmenší čtverce odhadce pro ${ displaystyle beta}$ je

${ displaystyle { hat { beta}} = (X ^ {T} X) ^ {- 1} X ^ {T} y.}$

Zbytkový vektor ${ displaystyle { hat {e}}}$ je ${ displaystyle y-X { hat { beta}} = y-X (X ^ {T} X) ^ {- 1} X ^ {T} y}$, takže zbytkový součet čtverců ${ displaystyle { hat {e}} ^ {T} { hat {e}}}$ je po zjednodušení

${ displaystyle RSS = y ^ {T} y-y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} y.}$

Označit jako ${ displaystyle { bar {y}}}$ konstantní vektor, jehož všechny prvky jsou ukázkovým průměrem ${ displaystyle y_ {m}}$ závislých hodnot proměnných ve vektoru y. Pak je celkový součet čtverců

${ displaystyle TSS = (y - { bar {y}}) ^ {T} (y - { bar {y}}) = y ^ {T} y-2y ^ {T} { bar {y} } + { bar {y}} ^ {T} { bar {y}}.}$

Vysvětlený součet čtverců, definovaný jako součet čtverců odchylek předpovězených hodnot od pozorovaného průměru y, je

${ displaystyle ESS = ({ hat {y}} - { bar {y}}) ^ {T} ({ hat {y}} - { bar {y}}) = { hat {y} } ^ {T} { hat {y}} - 2 { hat {y}} ^ {T} { bar {y}} + { bar {y}} ^ {T} { bar {y} }.}$

Použitím ${ displaystyle { hat {y}} = X { hat { beta}}}$ v tomto a zjednodušení k získání ${ displaystyle { hat {y}} ^ {T} { hat {y}} = y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} y}$, dává výsledek, že TSS = ESS + RSS kdyby a jen kdyby ${ displaystyle y ^ {T} { bar {y}} = { hat {y}} ^ {T} { bar {y}}}$. Levá strana je ${ displaystyle y_ {m}}$ krát součet prvků ya pravá strana je ${ displaystyle y_ {m}}$ krát součet prvků ${ displaystyle { hat {y}}}$, takže podmínkou je, že součet prvků y se rovná součtu prvků z ${ displaystyle { hat {y}}}$, nebo ekvivalentně, že součet chyb predikce (zbytky) ${ displaystyle y_ {i} - { hat {y}} _ {i}}$ je nula. To lze považovat za pravdivé tím, že si všimneme známé vlastnosti OLS, kterou k × 1 vektor ${ displaystyle X ^ {T} { hat {e}} = X ^ {T} [I-X (X ^ {T} X) ^ {- 1} X ^ {T}] y = 0}$: od prvního sloupce X je vektor jedniček, první prvek tohoto vektoru ${ displaystyle X ^ {T} { hat {e}}}$ je součet reziduí a rovná se nule. To dokazuje, že podmínka platí pro výsledek, který TSS = ESS + RSS.

Z hlediska lineární algebry máme ${ displaystyle RSS = | y - { hat {y}} | ^ {2}}$, ${ displaystyle TSS = | y - { bar {y}} | ^ {2}}$, ${ displaystyle ESS = | { hat {y}} - { bar {y}} | ^ {2}}$Důkaz lze zjednodušit tím, že si to všimnete ${ displaystyle y ^ {T} { hat {y}} = { hat {y}} ^ {T} y}$. Důkaz je následující:

${ displaystyle y ^ {T} { hat {y}} = y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} X (X ^ {T} X) ^ {-1} X ^ {T} y = y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} y = { hat {y}} ^ {T} y, }$

Tím pádem,

${ displaystyle { begin {zarovnáno} TSS & = | y - { bar {y}} | ^ {2} = | y - { hat {y}} + { hat {y}} - { bar {y}} | ^ {2} & = | y - { hat {y}} | ^ {2} + | { hat {y}} - { bar {y} } | ^ {2} +2 & = RSS + ESS + 2y ^ {T} { hat {y}} - 2 { hat {y}} ^ {T} { hat {y}} - 2y ^ {T} { bar {y}} + 2 { hat {y}} ^ { T} { bar {y}} & = RSS + ESS-2y ^ {T} { bar {y}} + 2 { hat {y}} ^ {T} { bar {y}} konec {zarovnáno}}}$

což opět dává výsledek TSS = ESS + RSS, od té doby ${ displaystyle (y - { hat {y}}) ^ {T} { bar {y}} = 0}$.

Viz také

• Součet čtverců (statistika)
• Chybějící součet čtverců
• Frakce rozptylu nevysvětlitelná

Poznámky

Reference

• S. E. Maxwell a H. D. Delaney (1990), „Navrhování experimentů a analýza dat: perspektiva srovnání modelů“. Wadsworth. 289–290.
• G. A. Milliken a D. E. Johnson (1984), "Analysis of messy data", Vol. I: Navrhované experimenty. Van Nostrand Reinhold. s. 146–151.
• B. G. Tabachnick a L. S. Fidell (2007), „Experimental design using ANOVA“. Duxbury. str. 220.
• B. G. Tabachnick a L. S. Fidell (2007), „Using multivariate statistics“, 5. vydání. Pearson Education. 217–218.