Projekční matice - Projection matrix

v statistika, projekční matice ${displaystyle (mathbf {P})}$,^[1] někdy také nazývaný matice vlivu^[2] nebo klobouková matice ${displaystyle (mathbf {H})}$, mapuje vektor z hodnoty odezvy (závislé hodnoty proměnných) na vektor přizpůsobené hodnoty (nebo předpokládané hodnoty). Popisuje to vliv každá hodnota odezvy má na každé přizpůsobené hodnotě.^[3][4] Diagonální prvky projekční matice jsou využívá, které popisují vliv každé hodnoty odezvy na přizpůsobenou hodnotu pro stejné pozorování.

Přehled

Pokud vektor hodnoty odezvy je označen ${displaystyle mathbf {y}}$ a vektor přizpůsobených hodnot pomocí ${displaystyle mathbf {hat {y}}}$,

${displaystyle mathbf {hat {y}} = mathbf {P} mathbf {y}.}$

Tak jako ${displaystyle mathbf {hat {y}}}$ se obvykle vyslovuje „y-hat“, projekční matice ${displaystyle mathbf {P}}$ je také pojmenován klobouková matice jak to uvádí čepice na ${displaystyle mathbf {y}}$". Vzorec pro vektor zbytky ${displaystyle mathbf {r}}$ lze také vyjádřit kompaktně pomocí projekční matice:

${displaystyle mathbf {r} = mathbf {y} -mathbf {hat {y}} = mathbf {y} -mathbf {P} mathbf {y} = left (mathbf {I} -mathbf {P} ight) mathbf {y }.}$

kde ${displaystyle mathbf {I}}$ je matice identity. Matice ${displaystyle mathbf {M} equiv left (mathbf {I} -mathbf {P} ight)}$ se někdy označuje jako matice zbytkového výrobce. Navíc prvek v ith řádek a jth sloupec ${displaystyle mathbf {P}}$ se rovná kovariance mezi jhodnota odezvy a ihodnota, dělená hodnotou rozptyl první:

${displaystyle {egin {aligned} p_ {ij} = operatorname {Cov} left [{hat {y}} _ {i}, y_ {j} ight] / operatorname {Var} left [y_ {j} ight] end { zarovnaný}}}$

Proto kovarianční matice zbytků ${displaystyle mathbf {r}}$tím, že šíření chyb, rovná se

${displaystyle mathbf {Sigma} _ {mathbf {r}} = left (mathbf {I} -mathbf {P} ight) ^ {mathsf {T}} mathbf {Sigma} left (mathbf {I} -mathbf {P} ight )}$,

kde ${displaystyle mathbf {Sigma}}$ je kovarianční matice vektoru chyby (a rozšířením také vektor odezvy). Pro případ lineárních modelů s nezávislé a identicky distribuované chyby, ve kterých ${displaystyle mathbf {Sigma} = sigma ^ {2} mathbf {I}}$, to se redukuje na:^[3]

${displaystyle mathbf {Sigma} _ {mathbf {r}} = left (mathbf {I} -mathbf {P} ight) sigma ^ {2}}$.

Intuice

Matice, ${displaystyle mathbf {A}}$ má svůj sloupcový prostor znázorněný jako zelená čára. Projekce nějakého vektoru ${displaystyle mathbf {b}}$ do prostoru sloupců ${displaystyle mathbf {A}}$ je vektor ${displaystyle mathbf {x}}$

Z obrázku je zřejmé, že nejbližší bod z vektoru ${displaystyle mathbf {b}}$ do prostoru sloupců ${displaystyle mathbf {A}}$, je ${displaystyle mathbf {Axe}}$, a je jedna, kde můžeme nakreslit přímku kolmou k prostoru sloupců ${displaystyle mathbf {A}}$. Vektor, který je kolmý na prostor sloupců matice, je v nulovém prostoru transpozice matice, takže

${displaystyle mathbf {A} ^ {T} (mathbf {b} -mathbf {Ax}) = 0}$

Odtud se jeden přeskupí, takže

${displaystyle mathbf {A} ^ {T} mathbf {b} -mathbf {A} ^ {T} mathbf {Axe} = 0}$

${displaystyle mathbf {A} ^ {T} mathbf {b} = mathbf {A} ^ {T} mathbf {Axe}}$

${displaystyle mathbf {x} = (mathbf {A} ^ {T} mathbf {A}) ^ {- 1} mathbf {A} ^ {T} mathbf {b}}$

Proto, protože ${displaystyle mathbf {x}}$ je v prostoru sloupců ${displaystyle mathbf {A}}$, projekční matice, která mapuje ${displaystyle mathbf {b}}$ na ${displaystyle mathbf {x}}$ je jen ${displaystyle mathbf {Axe}}$nebo ${displaystyle mathbf {A} (mathbf {A} ^ {T} mathbf {A}) ^ {- 1} mathbf {A} ^ {T} mathbf {b}}$

Lineární model

Předpokládejme, že chceme odhadnout lineární model pomocí lineárních nejmenších čtverců. Model lze zapsat jako

${displaystyle mathbf {y} = mathbf {X} {oldsymbol {eta}} + {oldsymbol {varepsilon}},}$

kde ${displaystyle mathbf {X}}$ je matice vysvětlující proměnné (dále jen návrhová matice ), β je vektor neznámých parametrů, který má být odhadnut, a ε je vektor chyby.

Této formulaci podléhá mnoho typů modelů a technik. Několik příkladů je lineární nejmenší čtverce, vyhlazovací splajny, regresní splajny, lokální regrese, regrese jádra, a lineární filtrování.

Obyčejné nejmenší čtverce

Když jsou váhy pro každé pozorování stejné a chyby jsou nekorelované, odhadované parametry jsou

${displaystyle {hat {oldsymbol {eta}}} = left (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}} mathbf {y },}$

takže přizpůsobené hodnoty jsou

${displaystyle {hat {mathbf {y}}} = mathbf {X} {hat {oldsymbol {eta}}} = mathbf {X} vlevo (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {-1} mathbf {X} ^ {mathsf {T}} mathbf {y}.}$

Proto je projekční matice (a klobouková matice) dána vztahem

${displaystyle mathbf {P} equiv mathbf {X} vlevo (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}}.}$

Vážené a zobecněné nejmenší čtverce

Výše uvedené lze zobecnit na případy, kdy váhy nejsou totožné a / nebo chyby korelují. Předpokládejme, že kovarianční matice chyb je Ψ. Od té doby

${displaystyle {hat {mathbf {eta}}} _ {ext {GLS}} = left (mathbf {X} ^ {mathsf {T}} mathbf {Psi} ^ {- 1} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}} mathbf {Psi} ^ {- 1} mathbf {y}}$.

klobouková matice je tedy

${displaystyle H = mathbf {X} vlevo (mathbf {X} ^ {mathsf {T}} mathbf {Psi} ^ {- 1} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T }} mathbf {Psi} ^ {- 1}}$

a znovu to lze vidět ${displaystyle H ^ {2} = Hcdot H = H}$, ačkoli nyní to již není symetrické.

Vlastnosti

Projekční matice má řadu užitečných algebraických vlastností.^[5][6] V jazyce lineární algebra, projekční matice je ortogonální projekce na sloupcový prostor konstrukční matice ${displaystyle mathbf {X}}$.^[4](Všimněte si, že ${displaystyle left (mathbf {X} ^ {mathsf {T}} mathbf {X} ight) ^ {- 1} mathbf {X} ^ {mathsf {T}}}$ je pseudoinverze X.) Některá fakta o projekční matici v tomto nastavení jsou shrnuta následovně:^[4]

• ${displaystyle mathbf {u} = (mathbf {I} -mathbf {P}) mathbf {y},}$ a ${displaystyle mathbf {u} = mathbf {y} -mathbf {P} mathbf {y} perp mathbf {X}.}$
• ${displaystyle mathbf {P}}$ je symetrický, a tak je ${displaystyle mathbf {M} equiv left (mathbf {I} -mathbf {P} ight)}$.
• ${displaystyle mathbf {P}}$ je idempotentní: ${displaystyle mathbf {P} ^ {2} = mathbf {P}}$a tak je ${displaystyle mathbf {M}}$.
• Li ${displaystyle mathbf {X}}$ je n × r matice s ${displaystyle operatorname {rank} (mathbf {X}) = r}$, pak ${displaystyle operatorname {rank} (mathbf {P}) = r}$
• The vlastní čísla z ${displaystyle mathbf {P}}$ skládá se z r ty a n − r nuly, zatímco vlastní čísla ${displaystyle mathbf {M}}$ skládá se z n − r ty a r nuly.^[7]
• ${displaystyle mathbf {X}}$ je neměnný pod ${displaystyle mathbf {P}}$ : ${displaystyle mathbf {PX} = mathbf {X},}$ proto ${displaystyle left (mathbf {I} -mathbf {P} ight) mathbf {X} = mathbf {0}}$.
• ${displaystyle left (mathbf {I} -mathbf {P} ight) mathbf {P} = mathbf {P} left (mathbf {I} -mathbf {P} ight) = mathbf {0}.}$
• ${displaystyle mathbf {P}}$ je pro určité podprostory jedinečný.

Promítací matice odpovídající a lineární model je symetrický a idempotentní, to znamená, ${displaystyle mathbf {P} ^ {2} = mathbf {P}}$. To však neplatí vždy; v lokálně vážené vyhlazování scatterplot (LOESS) například klobouková matice obecně není symetrická ani idempotentní.

Pro lineární modely, stopa projekční matice se rovná hodnost z ${displaystyle mathbf {X}}$, což je počet nezávislých parametrů lineárního modelu.^[8] Pro ostatní modely, například LOESS, které jsou v pozorováních stále lineární ${displaystyle mathbf {y}}$, projekční matici lze použít k definování účinné stupně volnosti modelu.

Mezi praktické aplikace projekční matice v regresní analýze patří vliv a Cookova vzdálenost, které se zabývají identifikací vlivná pozorování, tj. pozorování, která mají velký vliv na výsledky regrese.

Blokový vzorec

Předpokládejme konstrukční matici ${displaystyle X}$ lze rozložit podle sloupců jako ${displaystyle X = [A ~~~ B]}$. Definujte operátor klobouku nebo projekce jako ${displaystyle P {X} = Xleft (X ^ {mathsf {T}} Xight) ^ {- 1} X ^ {mathsf {T}}}$. Podobně definujte zbytkový operátor jako ${displaystyle M {X} = I-P {X}}$Potom lze projekční matici rozložit následujícím způsobem:^[9]

${displaystyle P {X} = P {A} + P {M {A} B},}$

kde např. ${displaystyle P {A} = Aleft (A ^ {mathsf {T}} Aight) ^ {- 1} A ^ {mathsf {T}}}$ a ${displaystyle M {A} = I-P {A}}$Existuje mnoho aplikací takového rozkladu. V klasické aplikaci ${displaystyle A}$ je sloupec všech, který umožňuje analyzovat dopady přidání zachycovacího výrazu na regresi. Další použití je v model s pevnými efekty, kde ${displaystyle A}$ je velký řídká matice fiktivních proměnných pro podmínky s pevným účinkem. Tento oddíl lze použít k výpočtu matice klobouku ${displaystyle X}$ bez výslovného vytvoření matice ${displaystyle X}$, který může být příliš velký, aby se vešel do paměti počítače.

Viz také

• Projekce (lineární algebra)
• Studentizované zbytky
• Efektivní stupně volnosti
• Střední a předpokládaná odpověď

Reference