Rozdělení součtů čtverců - Partition of sums of squares

tento článek vyžaduje pozornost odborníka na statistiku. Přidejte prosím důvod nebo a mluvit parametr k této šabloně pro vysvětlení problému s článkem. Statistiky WikiProject může pomoci s náborem odborníka. (Listopadu 2008)

The rozdělení součtů čtverců je koncept, který prostupuje velkou část inferenční statistiky a deskriptivní statistika. Správněji je to rozdělení částek čtvercové odchylky nebo chyby. Matematicky je součet čtverců odchylek měřítkem bez úprav nebo bez úprav disperze (také zvaný variabilita ). Při měřítku podle počtu stupně svobody, odhaduje rozptyl nebo šíření pozorování o jejich průměrné hodnotě. Rozdělení součtu čtverců odchylek na různé komponenty umožňuje, aby byla celková variabilita v datové sadě připsána různým typům nebo zdrojům variability, přičemž relativní důležitost každé z nich byla kvantifikována velikostí každé komponenty celkového součtu čtverců.

Pozadí

Vzdálenost od kteréhokoli bodu ve sběru dat k průměru dat je odchylka. To lze zapsat jako ${ displaystyle y_ {i} - { overline {y}}}$, kde ${ displaystyle y_ {i}}$ je i-tý datový bod a ${ displaystyle { overline {y}}}$ je odhad průměru. Pokud jsou všechny takové odchylky na druhou, pak sečteny, jako v ${ displaystyle sum _ {i = 1} ^ {n} left (y_ {i} - { overline {y}} , right) ^ {2}}$, to dává „součet čtverců“ pro tato data.

Když se do kolekce přidá více dat, součet čtverců se zvýší, s výjimkou nepravděpodobných případů, kdy se nová data rovnají střední hodnotě. Součet čtverců tedy obvykle poroste s velikostí sběru dat. To je projevem skutečnosti, že je bez měřítka.

V mnoha případech je počet stupně svobody je jednoduše počet dat ve sbírce, minus jedna. Píšeme to jako n - 1, kde n je počet dat.

Škálování (také známé jako normalizace) znamená upravit součet čtverců tak, aby se nezvětšoval s rostoucí velikostí shromažďování dat. To je důležité, když chceme porovnat vzorky různých velikostí, například vzorek 100 lidí ve srovnání se vzorkem 20 lidí. Pokud by součet čtverců nebyl normalizován, jeho hodnota by byla vždy větší pro vzorek 100 lidí než pro vzorek 20 lidí. Chcete-li měřítko součtu čtverců, vydělíme je stupni volnosti, tj. Vypočítáme součet čtverců na stupeň volnosti nebo rozptyl. Standardní odchylka, je zase druhá odmocnina rozptylu.

Výše uvedené informace ukazují, jak se součet čtverců používá v popisné statistice; viz článek na celkový součet čtverců pro použití této široké zásady na inferenční statistiky.

Rozdělení součtu čtverců v lineární regresi

Teorém. Vzhledem k lineární regresní model ${ displaystyle y_ {i} = beta _ {0} + beta _ {1} x_ {i1} + cdots + beta _ {p} x_ {ip} + varepsilon _ {i}}$ včetně konstanty ${ displaystyle beta _ {0}}$, na základě vzorku ${ displaystyle (y_ {i}, x_ {i1}, ldots, x_ {ip}), , i = 1, ldots, n}$ obsahující n pozorování, celkový součet čtverců ${ displaystyle mathrm {TSS} = součet _ {i = 1} ^ {n} (y_ {i} - { bar {y}}) ^ {2}}$ lze rozdělit do vysvětlil součet čtverců (ESS) a zbytkový součet čtverců (RSS):

${ displaystyle mathrm {TSS} = mathrm {ESS} + mathrm {RSS},}$

kde tato rovnice je ekvivalentní každé z následujících forem:

${ displaystyle { begin {zarovnaný} left | y - { bar {y}} mathbf {1} right | ^ {2} & = left | { hat {y}} - { bar {y}} mathbf {1} right | ^ {2} + left | { hat { varepsilon}} right | ^ {2}, quad mathbf {1} = ( 1,1, ldots, 1) ^ {T}, součet _ {i = 1} ^ {n} (y_ {i} - { bar {y}}) ^ {2} & = součet _ {i = 1} ^ {n} ({ hat {y}} _ {i} - { bar {y}}) ^ {2} + sum _ {i = 1} ^ {n} (y_ {i} - { hat {y}} _ {i}) ^ {2}, součet _ {i = 1} ^ {n} (y_ {i} - { bar {y}}) ^ {2} & = sum _ {i = 1} ^ {n} ({ hat {y}} _ {i} - { bar {y}}) ^ {2} + sum _ {i = 1 } ^ {n} { hat { varepsilon}} _ {i} ^ {2}, end {zarovnáno}}}$

kde ${ displaystyle { hat {y}} _ {i}}$ je hodnota odhadovaná regresní přímkou ${ displaystyle { hat {b}} _ {0}}$, ${ displaystyle { hat {b}} _ {1}}$, ..., ${ displaystyle { hat {b}} _ {p}}$ podle odhadu koeficienty. ^[1]

Důkaz

${ displaystyle { begin {aligned} sum _ {i = 1} ^ {n} (y_ {i} - { overline {y}}) ^ {2} & = sum _ {i = 1} ^ {n} (y_ {i} - { overline {y}} + { hat {y}} _ {i} - { hat {y}} _ {i}) ^ {2} = součet _ { i = 1} ^ {n} (({ hat {y}} _ {i} - { bar {y}}) + underbrace {(y_ {i} - { hat {y}} _ {i })} _ {{ hat { varepsilon}} _ {i}}) ^ {2} & = sum _ {i = 1} ^ {n} (({ hat {y}} _ { i} - { bar {y}}) ^ {2} +2 { hat { varepsilon}} _ {i} ({ hat {y}} _ {i} - { bar {y}}) + { hat { varepsilon}} _ {i} ^ {2}) & = sum _ {i = 1} ^ {n} ({ hat {y}} _ {i} - { bar {y}}) ^ {2} + sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i} ^ {2} +2 sum _ {i = 1} ^ { n} { hat { varepsilon}} _ {i} ({ hat {y}} _ {i} - { bar {y}}) & = sum _ {i = 1} ^ {n } ({ hat {y}} _ {i} - { bar {y}}) ^ {2} + sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i } ^ {2} +2 sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i} ({ hat { beta}} _ {0} + { hat { beta}} _ {1} x_ {i1} + cdots + { hat { beta}} _ {p} x_ {ip} - { overline {y}}) & = sum _ {i = 1} ^ {n} ({ hat {y}} _ {i} - { bar {y}}) ^ {2} + sum _ {i = 1} ^ {n} { hat { varepsilon }} _ {i} ^ {2} +2 ({ hat { beta}} _ {0} - { overline {y}}) underbrace { sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i}} _ {0} +2 { hat { b eta}} _ {1} underbrace { sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i} x_ {i1}} _ {0} + cdots +2 { čepice { beta}} _ {p} underbrace { sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i} x_ {ip}} _ {0} & = sum _ {i = 1} ^ {n} ({ hat {y}} _ {i} - { bar {y}}) ^ {2} + sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i} ^ {2} = mathrm {ESS} + mathrm {RSS} konec {zarovnáno}}}$

To zajišťuje požadavek, aby model obsahoval konstantu nebo ekvivalentně, že návrhová matice obsahuje sloupec jedniček ${ displaystyle sum _ {i = 1} ^ {n} { hat { varepsilon}} _ {i} = 0}$, tj. ${ displaystyle { hat { varepsilon}} ^ {T} mathbf {1} = 0}$.

Důkaz lze vyjádřit také ve vektorové podobě, a to následovně:

${ displaystyle { begin {aligned} SS _ { text {total}} = Vert mathbf {y} - { bar {y}} mathbf {1} Vert ^ {2} & = Vert mathbf {y} - { bar {y}} mathbf {1} + mathbf { hat {y}} - mathbf { hat {y}} Vert ^ {2}, & = Vert left ( mathbf { hat {y}} - { bar {y}} mathbf {1} right) + left ( mathbf {y} - mathbf { hat {y}} right) Vert ^ {2}, & = Vert { mathbf { hat {y}} - { bar {y}} mathbf {1}} Vert ^ {2} + Vert { hat { varepsilon}} Vert ^ {2} +2 { hat { varepsilon}} ^ {T} left ( mathbf { hat {y}} - { bar {y}} mathbf {1} right ), & = SS _ { text {regression}} + SS _ { text {error}} + 2 { hat { varepsilon}} ^ {T} left (X { hat { beta}} - { bar {y}} mathbf {1} right), & = SS _ { text {regression}} + SS _ { text {error}} + 2 left ({ hat { varepsilon}} ^ {T} X right) { hat { beta}} - 2 { bar {y}} underbrace {{ hat { varepsilon}} ^ {T} mathbf {1}} _ {0} , & = SS _ { text {regression}} + SS _ { text {error}}. End {aligned}}}$

Vyřazení pojmů v posledním řádku využilo skutečnost, že

${ displaystyle { hat { varepsilon}} ^ {T} X = left ( mathbf {y} - mathbf { hat {y}} right) ^ {T} X = mathbf {y} ^ {T} (IX (X ^ {T} X) ^ {- 1} X ^ {T}) X = { mathbf {y}} ^ {T} (XX) = { mathbf {0}}.}$

Další rozdělení

Všimněte si, že zbytkový součet čtverců lze dále rozdělit na nevyhovující součet čtverců plus součet čtverců kvůli čisté chybě.

Viz také

• Vnitřní produktový prostor
  • Hilbertův prostor
    • Euklidovský prostor
• Očekávané střední čtverce
  • Ortogonalita
  • Ortonormální základ
    • Ortogonální doplněk, uzavřený podprostor kolmý k množině (zejména podprostoru)
    • Ortomodulární mříž podprostorů prostoru vnitřního produktu
    • Ortogonální projekce
  • Pythagorova věta že součet čtvercových norem ortogonálních součtů se rovná čtvercové normě součtu.
• Nejmenší čtverce
• Střední čtvercová chyba
• Na druhou odchylky

Reference

• Bailey, R. A. (2008). Návrh srovnávacích experimentů. Cambridge University Press. ISBN  978-0-521-68357-9. Kapitoly před vydáním jsou k dispozici online.
• Christensen, Ronald (2002). Rovinné odpovědi na složité otázky: Teorie lineárních modelů (Třetí vydání.). New York: Springer. ISBN  0-387-95361-2.
• Whittle, Peter (1963). Predikce a regulace. Anglické univerzity Press. ISBN  0-8166-1147-5.

  Publikováno jako: Whittle, P. (1983). Predikce a regulace lineárními metodami nejmenších čtverců. University of Minnesota Press. ISBN  0-8166-1148-3.

• Whittle, P. (20. dubna 2000). Pravděpodobnost očekávání (4. vydání). Springer. ISBN  0-387-98955-2.