Pákový efekt (statistika) - Leverage (statistics)

v statistika a zejména v regresní analýza, vliv je měřítkem toho, jak daleko je nezávislé proměnné hodnoty an pozorování jsou z ostatních pozorování.

Body s vysokou pákou jsou tato pozorování, pokud existují, prováděná při extrémních nebo odlehlých hodnotách nezávislých proměnných tak, že nedostatek sousedních pozorování znamená, že přizpůsobený regresní model projde v blízkosti tohoto konkrétního pozorování.^[1]

Definice

V lineární regrese model, pákový efekt pro i-té pozorování je definováno jako:

${ displaystyle h_ {ii} = vlevo [ mathbf {H} vpravo] _ {ii},}$

the i-tý diagonální prvek projekční matice ${ displaystyle mathbf {H} = mathbf {X} vlevo ( mathbf {X} ^ { mathsf {T}} mathbf {X} vpravo) ^ {- 1} mathbf {X} ^ { mathsf {T}}}$, kde ${ displaystyle mathbf {X}}$ je návrhová matice (jejichž řádky odpovídají pozorováním a jejichž sloupce odpovídají nezávislým nebo vysvětlujícím proměnným).

Výklad

Pákové skóre je také známé jako pozorování vlastní citlivosti nebo vlastního vlivu,^[2] kvůli rovnici

${ displaystyle h_ {ii} = { frac { částečné { widehat {y ,}} _ {i}} { částečné y_ {i}}},}$

který uvádí, že pákový efekt i-té pozorování se rovná parciální derivace namontovaných i-tá závislá hodnota ${ displaystyle { widehat {y ,}} _ {i}}$vzhledem k měřenému i-tá závislá hodnota ${ displaystyle y_ {i}}$. Tato částečná derivace popisuje míru, do jaké i-th měřená hodnota ovlivňuje i-tá osazená hodnota. Všimněte si, že tento pákový efekt závisí na hodnotách vysvětlujících (x-) proměnných všech pozorování, ale nikoli na žádné z hodnot závislých (y-) proměnných.

Rovnice ${ displaystyle h_ {ii} = { frac { částečné { widehat {y ,}} _ {i}} { částečné y_ {i}}}}$vyplývá přímo z výpočtu přizpůsobených hodnot pomocí klobouková matice tak jako ${ displaystyle { mathbf { widehat {y}}} = { mathbf {H}} { mathbf {y}}}$; tj. pákový efekt je diagonální prvek matice návrhu:

${ displaystyle h_ {ii} = mathbf {H} (i, i).}$

Omezení pákového efektu

${ displaystyle 0 leq h_ {ii} leq 1.}$

Důkaz

Nejprve si to povšimněte H je idempotentní matice: ${ displaystyle H ^ {2} = X (X ^ { top} X) ^ {- 1} X ^ { top} X (X ^ { top} X) ^ {- 1} X ^ { nahoru } = XI (X ^ { top} X) ^ {- 1} X ^ { top} = H.}$ Dodržujte to také ${ displaystyle H}$ je symetrický (tj .: ${ displaystyle h_ {ij} = h_ {ji}}$). Takže rovnítko ii prvek H k tomu z H ², my máme

${ displaystyle h_ {ii} = h_ {ii} ^ {2} + sum _ {j neq i} h_ {ij} ^ {2} geq 0}$

a

${ displaystyle h_ {ii} geq h_ {ii} ^ {2} znamená h_ {ii} leq 1.}$

Vliv na zbytkovou rozptyl

Pokud jsme v obyčejné nejmenší čtverce nastavení s pevnými X a homoscedastic regresní chyby ${ displaystyle varepsilon _ {i},}$

${ displaystyle Y = X beta + varepsilon; operatorname {Var} ( varepsilon) = sigma ^ {2} I}$

pak i-th regresní reziduum

${ displaystyle e_ {i} = Y_ {i} - { widehat {Y}} _ {i}}$

má rozptyl

${ displaystyle operatorname {Var} (e_ {i}) = (1-h_ {ii}) sigma ^ {2}}$

Jinými slovy, skóre pákového efektu pozorování určuje stupeň šumu v chybné předpovědi modelu u tohoto pozorování, přičemž vyšší páka vede k menšímu šumu.

Důkaz

Nejprve si to povšimněte ${ displaystyle I-H}$ je idempotentní a symetrický a ${ displaystyle { widehat {Y}} = HY}$. To dává

${ displaystyle operatorname {Var} (e) = operatorname {Var} ((IH) Y) = (IH) operatorname {Var} (Y) (IH) ^ { top} = sigma ^ {2} (IH) ^ {2} = sigma ^ {2} (IH).}$

Tím pádem ${ displaystyle operatorname {Var} (e_ {i}) = (1-h_ {ii}) sigma ^ {2}.}$

Studentizované zbytky

Korespondence studentizovaný zbytek —Zbytková hodnota upravená podle odhadované zbytkové odchylky specifické pro pozorování - tedy je

${ displaystyle t_ {i} = {e_ {i} nad { widehat { sigma}} { sqrt {1-h_ {ii} }}}}$

kde ${ displaystyle { widehat { sigma}}}$ je vhodný odhad ${ displaystyle sigma.}$

Související pojmy

Částečná páka

Částečná páka je měřítkem příspěvku jednotlivce nezávislé proměnné k celkovému využití každého pozorování. Moderní počítačové balíčky pro statistickou analýzu zahrnují jako součást svých zařízení pro regresní analýzu různá kvantitativní opatření pro identifikaci vlivná pozorování, včetně takového měřítka toho, jak nezávislá proměnná přispívá k celkové páce základny.

Mahalanobisova vzdálenost

Pákový efekt úzce souvisí s Mahalanobisova vzdálenost^[3] (viz důkaz: ^[4]).

Konkrétně pro nějakou matici ${ displaystyle X_ {n, p}}$ čtvercová Mahalanobisova vzdálenost nějakého řadového vektoru ${ displaystyle { vec {x_ {i}}} = X_ {i, cdot}}$ z vektoru střední hodnoty ${ displaystyle { hat { mu}} = { bar {X}}}$, délky ${ displaystyle p}$a odhadem kovarianční matice ${ displaystyle S = cov (X)}$ je:

${ displaystyle D ^ {2} ({ vec {x_ {i}}}) = ({ vec {x_ {i}}} - { hat { mu}}) ^ {T} S ^ {- 1} ({ vec {x_ {i}}} - { hat { mu}})}$

To souvisí s pákovým efektem ${ displaystyle h_ {ii}}$ kloboukové matice ${ displaystyle X_ {n, p}}$ poté, co k němu připojíte vektor sloupce 1. Vztah mezi těmito dvěma je:

${ displaystyle D ^ {2} ({ vec {x_ {i}}}) = (n-1) (h_ {ii} - { tfrac {1} {n}})}$

Vztah mezi pákovým efektem a Mahalanobisovou vzdáleností nám umožňuje rozložit pákový efekt na smysluplné komponenty, aby bylo možné analyticky vyšetřit některé zdroje vysokého pákového efektu. ^[5]

Softwarové implementace

Mnoho programů a statistických balíčků, například R, Krajta atd., zahrnují implementace Leverage.

Viz také

• Projekční matice - jehož hlavní diagonální vstupy jsou využitím pozorování
• Mahalanobisova vzdálenost - a (zmenšen ) míra páky data
• Cookova vzdálenost - míra změn regresních koeficientů při vymazání pozorování
• ZÁVADY
• Odlehlá - extrémní pozorování Y hodnoty
• Stupně volnosti (statistika), součet skóre pákového efektu

Reference