Kvadratická forma (statistika) - Quadratic form (statistics)

v statistika s více proměnnými, pokud ${displaystyle varepsilon}$ je vektor z ${displaystyle n}$ náhodné proměnné, a ${displaystyle Lambda}$ je ${displaystyle n}$ -dimenzionální symetrická matice, pak skalární Množství ${displaystyle varepsilon ^ {T} Lambda varepsilon}$ je známý jako kvadratická forma v ${displaystyle varepsilon}$ .

Očekávání

To lze ukázat^[1]

{displaystyle operatorname {E} left [varepsilon ^ {T} Lambda varepsilon ight] = operatorname {tr} left [Lambda Sigma ight] + mu ^ {T} Lambda mu}

kde ${displaystyle mu}$ a ${displaystyle Sigma}$ jsou očekávaná hodnota a variance-kovarianční matice z ${displaystyle varepsilon}$ a tr značí stopa matice. Tento výsledek závisí pouze na existenci ${displaystyle mu}$ a ${displaystyle Sigma}$ ; zejména, normálnost z ${displaystyle varepsilon}$ je ne Požadované.

Knižním zpracováním tématu kvadratických forem v náhodných proměnných je pojetí Mathai a Provost.^[2]

Důkaz

Protože kvadratická forma je skalární veličina, ${displaystyle varepsilon ^ {T} Lambda varepsilon = operatorname {tr} (varepsilon ^ {T} Lambda varepsilon)}$ .

Dále cyklickou vlastností stopa operátor,

{displaystyle operatorname {E} [operatorname {tr} (varepsilon ^ {T} Lambda varepsilon)] = operatorname {E} [operatorname {tr} (Lambda varepsilon varepsilon ^ {T})].}

Protože operátor trasování je a lineární kombinace komponent matice, vyplývá tedy z linearity operátoru očekávání, že

{displaystyle operatorname {E} [operatorname {tr} (Lambda varepsilon varepsilon ^ {T})] = operatorname {tr} (Lambda operatorname {E} (varepsilon varepsilon ^ {T})).}

Standardní vlastnost odchylek nám pak říká, že je

{displaystyle operatorname {tr} (Lambda (Sigma + mu mu ^ {T})).}

Opětovným použitím cyklické vlastnosti trasovacího operátoru dostaneme

{displaystyle operatorname {tr} (Lambda Sigma) + operatorname {tr} (Lambda mu mu ^ {T}) = operatorname {tr} (Lambda Sigma) + operatorname {tr} (mu ^ {T} Lambda mu) = operatorname { tr} (Lambda Sigma) + mu ^ {T} Lambda mu.}

Rozptyl v Gaussově případě

Obecně platí, že rozptyl kvadratické formy do značné míry závisí na distribuci ${displaystyle varepsilon}$ . Pokud však ${displaystyle varepsilon}$ dělá následovat vícerozměrné normální rozdělení, rozptyl kvadratické formy se stává obzvláště přitažlivým. Předpokládejme, že v tuto chvíli ${displaystyle Lambda}$ je symetrická matice. Pak,

{displaystyle operatorname {var} left [varepsilon ^ {T} Lambda varepsilon ight] = 2operatorname {tr} left [Lambda Sigma Lambda Sigma ight] + 4mu ^ {T} Lambda Sigma Lambda mu}

^[3].

Ve skutečnosti to lze zobecnit a najít kovariance mezi dvěma kvadratickými tvary na stejné ${displaystyle varepsilon}$ (ještě jednou, ${displaystyle Lambda _ {1}}$ a ${displaystyle Lambda _ {2}}$ musí být oba symetrické):

{displaystyle operatorname {cov} left [varepsilon ^ {T} Lambda _ {1} varepsilon, varepsilon ^ {T} Lambda _ {2} varepsilon ight] = 2operatorname {tr} left [Lambda _ {1} Sigma Lambda _ {2 } Sigma ight] + 4 mu ^ {T} Lambda _ {1} Sigma Lambda _ {2} mu}

.

Výpočet rozptylu v nesymetrickém případě

Některé texty nesprávně^{[Citace je zapotřebí ]} uveďte, že výše uvedené odchylky nebo kovarianční výsledky platí bez požadavku ${displaystyle Lambda}$ být symetrický. Případ obecně ${displaystyle Lambda}$ lze odvodit tím, že si to všimneme

{displaystyle varepsilon ^ {T} Lambda ^ {T} varepsilon = varepsilon ^ {T} Lambda varepsilon}

tak

{displaystyle varepsilon ^ {T} {ilde {Lambda}} varepsilon = varepsilon ^ {T} vlevo (Lambda + Lambda ^ {T} ight) varepsilon / 2}

je kvadratický tvar v symetrické matici ${displaystyle {ilde {Lambda}} = vlevo (Lambda + Lambda ^ {T} vpravo) / 2}$ , takže výrazy střední a odchylky jsou stejné, jsou-li k dispozici ${displaystyle Lambda}$ je nahrazen ${displaystyle {ilde {Lambda}}}$ v tom.

Příklady kvadratických forem

V prostředí, kde má člověk řadu pozorování ${displaystyle y}$ a operátorská matice ${displaystyle H}$ , pak zbytkový součet čtverců lze psát jako kvadratická forma v ${displaystyle y}$ :

{displaystyle {extrm {RSS}} = y ^ {T} (I-H) ^ {T} (I-H) y.}

Pro postupy, kde je matice ${displaystyle H}$ je symetrický a idempotentní a chyby jsou Gaussian s kovarianční maticí ${displaystyle sigma ^ {2} I}$ , ${displaystyle {extrm {RSS}} / sigma ^ {2}}$ má distribuce chí-kvadrát s ${displaystyle k}$ parametry stupně volnosti a necentrality ${displaystyle lambda}$ , kde

{displaystyle k = operatorname {tr} left [(I-H) ^ {T} (I-H) ight]}

{displaystyle lambda = mu ^ {T} (I-H) ^ {T} (I-H) mu / 2}

lze najít porovnáním prvních dvou ústřední momenty a necentrální chi-kvadrát náhodná proměnná k výrazům uvedeným v prvních dvou částech. Li ${displaystyle Hy}$ odhady ${displaystyle mu}$ bez č zaujatost, pak necentralita ${displaystyle lambda}$ je nula a ${displaystyle {extrm {RSS}} / sigma ^ {2}}$ následuje centrální distribuci chí-kvadrát.

Viz také

Reference

^ Bates, Douglasi. "Kvadratické formy náhodných proměnných" (PDF). STAT 849 přednášek. Citováno 21. srpna 2011.
^ Mathai, A. M. & Provost, Serge B. (1992). Kvadratické formy v náhodných proměnných. CRC Press. p. 424. ISBN 978-0824786915.
^ Rencher, Alvin C .; Schaalje, G. Bruce. (2008). Lineární modely ve statistice (2. vyd.). Hoboken, N.J .: Wiley-Interscience. ISBN 9780471754985. OCLC 212120778.

[1] Bates, Douglasi. "Kvadratické formy náhodných proměnných" (PDF). STAT 849 přednášek. Citováno 21. srpna 2011.

[Mathai-2] Mathai, A. M. & Provost, Serge B. (1992). Kvadratické formy v náhodných proměnných. CRC Press. p. 424. ISBN 978-0824786915.

[3] Rencher, Alvin C .; Schaalje, G. Bruce. (2008). Lineární modely ve statistice (2. vyd.). Hoboken, N.J .: Wiley-Interscience. ISBN 9780471754985. OCLC 212120778.

[1]

[2]

[3]