Regrese hlavní součásti - Principal component regression

v statistika, regrese hlavní složky (PCR) je regresní analýza technika, na které je založen analýza hlavních komponent (PCA). Přesněji řečeno, PCR se používá pro odhadování neznámý regresní koeficienty v standardní lineární regresní model.

V PCR namísto přímé regrese závislé proměnné na vysvětlujících proměnných se hlavní komponenty vysvětlujících proměnných se používá jako regresory. Jeden obvykle používá pro regresi pouze podmnožinu všech hlavních komponent, což z PCR dělá něco jako legalizovaný postup a také typ odhad zmenšení.

Často hlavní komponenty s vyšší odchylky (ty založené na vlastní vektory odpovídající vyššímu vlastní čísla z vzorek variance-kovarianční matice vysvětlujících proměnných) jsou vybrány jako regresory. Avšak za účelem předpovídání Výsledkem mohou být také důležité hlavní komponenty s malými odchylkami, v některých případech dokonce ještě důležitější.^[1]

Jedno hlavní použití PCR spočívá v překonání multicollinearity problém, který vzniká, když jsou dvě nebo více vysvětlujících proměnných blízko k bytí kolineární.^[2] PCR si s takovými situacemi dokáže vhodně poradit tak, že v regresním kroku vyloučí některé hlavní komponenty s nízkou variací. Kromě toho může PCR vést k tomu, že obvykle ustoupí pouze u podmnožiny všech hlavních složek zmenšení rozměrů podstatným snížením efektivního počtu parametrů charakterizujících základní model. To může být užitečné zejména v nastaveních s vysoce dimenzionální kovariáty. Také prostřednictvím vhodného výběru hlavních komponent, které mají být použity pro regresi, může PCR vést k efektivnímu předpověď výsledku na základě předpokládaného modelu.

Princip

Metodu PCR lze rozdělit do tří hlavních kroků:

1.

{ displaystyle ; ;}

Provést PCA na pozorovaném datová matice pro vysvětlující proměnné získáte hlavní složky a poté (obvykle) na základě některých vhodných kritérií vyberete podmnožinu takto získaných hlavních složek pro další použití.

2.

{ displaystyle ; ;}

Nyní regresujte pozorovaný vektor výsledků na vybraných hlavních složkách jako kovariáty pomocí obyčejné nejmenší čtverce regrese (lineární regrese ) získat vektor odhadovaných regresních koeficientů (s dimenze se rovná počtu vybraných hlavních komponent).

3.

{ displaystyle ; ;}

Nyní přeměnit tento vektor zpět na měřítko skutečných kovariát, pomocí zvoleného Zatížení PCA (vlastní vektory odpovídající vybraným hlavním komponentám) pro získání konečný odhad PCR (s dimenzí rovnou celkovému počtu kovariátů) pro odhad regresních koeficientů charakterizujících původní model.

Podrobnosti o metodě

Reprezentace dat: Nechat ${ displaystyle mathbf {Y} _ {n krát 1} = left (y_ {1}, ldots, y_ {n} right) ^ {T}}$ označit vektor pozorovaných výsledků a ${ displaystyle mathbf {X} _ {n times p} = left ( mathbf {x} _ {1}, ldots, mathbf {x} _ {n} right) ^ {T}}$ označte odpovídající datová matice pozorovaných kovariátů, kde ${ displaystyle n}$ a ${ displaystyle p}$ označit velikost pozorovaného vzorek a počet kovariát, v uvedeném pořadí, s ${ displaystyle n geq p}$ . Každý z ${ displaystyle n}$ řádky ${ displaystyle mathbf {X}}$ označuje jednu sadu pozorování pro ${ displaystyle p}$ dimenzionální kovariát a příslušný záznam ${ displaystyle mathbf {Y}}$ označuje odpovídající pozorovaný výsledek.

Předběžné zpracování dat: Předpokládat, že ${ displaystyle mathbf {Y}}$ a každý z ${ displaystyle p}$ sloupce ${ displaystyle mathbf {X}}$ už byly na střed aby všichni měli nulu empirické prostředky. Tento centrovací krok je zásadní (alespoň pro sloupce ${ displaystyle mathbf {X}}$ ) protože PCR zahrnuje použití PCA na ${ displaystyle mathbf {X}}$ a PCA je citlivý na centrování údajů.

Základní model: Po centrování standard Gauss – Markov lineární regrese model pro ${ displaystyle mathbf {Y}}$ na ${ displaystyle mathbf {X}}$ lze reprezentovat jako: ${ displaystyle mathbf {Y} = mathbf {X} { boldsymbol { beta}} + { boldsymbol { varepsilon}}, ;}$ kde ${ displaystyle { boldsymbol { beta}} v mathbb {R} ^ {p}}$ označuje neznámý vektor parametrů regresních koeficientů a ${ displaystyle { boldsymbol { varepsilon}}}$ označuje vektor náhodných chyb pomocí ${ displaystyle operatorname {E} vlevo ({ boldsymbol { varepsilon}} vpravo) = mathbf {0} ;}$ a ${ displaystyle ; operatorname {Var} left ({ boldsymbol { varepsilon}} right) = sigma ^ {2} I_ {n times n}}$ pro některé neznámé rozptyl parametr ${ displaystyle sigma ^ {2}> 0 ; ;}$

Objektivní: Primárním cílem je získat efektivní odhadce ${ displaystyle { widehat { boldsymbol { beta}}}}$ pro parametr ${ displaystyle { boldsymbol { beta}}}$ , na základě údajů. Jeden často používaný přístup k tomu je obyčejné nejmenší čtverce regresi, která za předpokladu ${ displaystyle mathbf {X}}$ je celé pořadí sloupců, dává nezaujatý odhad: ${ displaystyle { widehat { boldsymbol { beta}}} _ { mathrm {ols}} = ( mathbf {X} ^ {T} mathbf {X}) ^ {- 1} mathbf {X} ^ {T} mathbf {Y}}$ z ${ displaystyle { boldsymbol { beta}}}$ . PCR je další technika, kterou lze použít pro stejný účel odhadu ${ displaystyle { boldsymbol { beta}}}$ .

Krok PCA: PCR začíná provedením PCA na centrované datové matici ${ displaystyle mathbf {X}}$ . Za tímto účelem ${ displaystyle mathbf {X} = U Delta V ^ {T}}$ označit rozklad singulární hodnoty z ${ displaystyle mathbf {X}}$ kde, ${ displaystyle Delta _ {p times p} = operatorname {diag} left [ delta _ {1}, ldots, delta _ {p} right]}$ s ${ displaystyle delta _ {1} geq cdots geq delta _ {p} geq 0}$ označující nezáporné singulární hodnoty z ${ displaystyle mathbf {X}}$ , zatímco sloupce z ${ displaystyle U_ {n times p} = [ mathbf {u} _ {1}, ldots, mathbf {u} _ {p}]}$ a ${ displaystyle V_ {p times p} = [ mathbf {v} _ {1}, ldots, mathbf {v} _ {p}]}$ jsou oba ortonormální sady vektorů označujících levý a pravý singulární vektor z ${ displaystyle mathbf {X}}$ resp.

Hlavní součásti: ${ displaystyle V Lambda V ^ {T}}$ dává spektrální rozklad z ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ kde ${ displaystyle Lambda _ {p times p} = operatorname {diag} left [ lambda _ {1}, ldots, lambda _ {p} right] = operatorname {diag} left [ delta _ {1} ^ {2}, ldots, delta _ {p} ^ {2} right] = Delta ^ {2}}$ s ${ displaystyle lambda _ {1} geq cdots geq lambda _ {p} geq 0}$ označující nezáporná vlastní čísla (známá také jako hlavní hodnoty ) z ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ , zatímco sloupce ${ displaystyle V}$ označuje odpovídající ortonormální sadu vlastních vektorů. Pak, ${ displaystyle mathbf {X} mathbf {v} _ {j}}$ a ${ displaystyle mathbf {v} _ {j}}$ respektive označují ${ displaystyle j ^ {th}}$ hlavní složka a ${ displaystyle j ^ {th}}$ směr hlavní složky (nebo Načítání PCA ) odpovídající ${ displaystyle j ^ {th}}$ největší hlavní hodnota ${ displaystyle lambda _ {j}}$ pro každého ${ displaystyle j in {1, ldots, p }}$ .

Odvozené proměnné: Pro všechny ${ displaystyle k in {1, ldots, p }}$ , nechť ${ displaystyle V_ {k}}$ označit ${ displaystyle p times k}$ matice s ortonormálními sloupci skládající se z prvního ${ displaystyle k}$ sloupce ${ displaystyle V}$ . Nechat ${ displaystyle W_ {k} = mathbf {X} V_ {k}}$ ${ displaystyle = [ mathbf {X} mathbf {v} _ {1}, ldots, mathbf {X} mathbf {v} _ {k}]}$ označit ${ displaystyle n krát k}$ matice s první ${ displaystyle k}$ hlavní komponenty jako jeho sloupce. ${ displaystyle W}$ lze zobrazit jako datovou matici získanou pomocí transformovaný kovariáty ${ displaystyle mathbf {x} _ {i} ^ {k} = V_ {k} ^ {T} mathbf {x} _ {i} v mathbb {R} ^ {k}}$ místo použití původních kovariát ${ displaystyle mathbf {x} _ {i} in mathbb {R} ^ {p} ; ; forall ; ; 1 leq i leq n}$ .

Odhad PCR: Nechat ${ displaystyle { widehat { gamma}} _ {k} = vlevo (W_ {k} ^ {T} W_ {k} vpravo) ^ {- 1} W_ {k} ^ {T} mathbf { Y} in mathbb {R} ^ {k}}$ označuje vektor odhadovaných regresních koeficientů získaných pomocí obyčejné nejmenší čtverce regrese vektoru odezvy ${ displaystyle mathbf {Y}}$ na datové matici ${ displaystyle W_ {k}}$ . Pak pro všechny ${ displaystyle k in {1, ldots, p }}$ , konečný odhad PCR z ${ displaystyle { boldsymbol { beta}}}$ na základě použití první ${ displaystyle k}$ hlavní komponenty jsou dány: ${ displaystyle { widehat { boldsymbol { beta}}} _ {k} = V_ {k} { widehat { gamma}} _ {k} in mathbb {R} ^ {p}}$ .

Základní charakteristiky a aplikace odhadu PCR

Dvě základní vlastnosti

Proces přizpůsobení pro získání odhadu PCR zahrnuje regresi vektoru odezvy na odvozené datové matici ${ displaystyle W_ {k}}$ který má ortogonální sloupce pro libovolné ${ displaystyle k in {1, ldots, p }}$ protože hlavní komponenty jsou vzájemně kolmé navzájem. V regresním kroku tedy provedení a vícenásobná lineární regrese společně na ${ displaystyle k}$ vybrané hlavní složky jako kovariáty je ekvivalentní provedení ${ displaystyle k}$ nezávislý jednoduché lineární regrese (nebo jednorozměrné regrese) zvlášť na každém z nich ${ displaystyle k}$ vybrané hlavní komponenty jako kovariát.

Když jsou všechny hlavní komponenty vybrány pro regresi tak ${ displaystyle k = p}$ , pak je odhad PCR ekvivalentní s obyčejné nejmenší čtverce odhadce. Tím pádem, ${ displaystyle { widehat { boldsymbol { beta}}} _ {p} = { widehat { boldsymbol { beta}}} _ { mathrm {ols}}}$ . To je snadno vidět ze skutečnosti, že ${ displaystyle W_ {p} = mathbf {X} V_ {p} = mathbf {X} V}$ a také to pozorovat ${ displaystyle V}$ je ortogonální matice.

Redukce odchylky

Pro všechny ${ displaystyle k in {1, ldots, p }}$ rozptyl ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ darováno

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) = sigma ^ {2} ; V_ {k} (W_ {k} ^ {T} W_ { k}) ^ {- 1} V_ {k} ^ {T} = sigma ^ {2} ; V_ {k} ; operatorname {diag} left ( lambda _ {1} ^ {- 1} , ldots, lambda _ {k} ^ {- 1} vpravo) V_ {k} ^ {T} = sigma ^ {2} sideset {} {} sum _ {j = 1} ^ {k } { frac { mathbf {v} _ {j} mathbf {v} _ {j} ^ {T}} { lambda _ {j}}}.}

Zejména:

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {p}) = operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm { ols}}) = sigma ^ {2} sideset {} {} sum _ {j = 1} ^ {p} { frac { mathbf {v} _ {j} mathbf {v} _ {j } ^ {T}} { lambda _ {j}}}.}

Proto pro všechny ${ displaystyle k in {1, cdots, p-1 }}$ my máme:

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) = sigma ^ {2} sideset {} {} sum _ {j = k + 1} ^ {p} { frac { mathbf {v} _ {j} mathbf {v} _ {j} ^ {T}} { lambda _ {j}}}.}

Tedy pro všechny ${ displaystyle k in {1, cdots, p }}$ my máme:

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) succeq 0}

kde ${ displaystyle A succeq 0}$ označuje, že čtvercová symetrická matice ${ displaystyle A}$ je nezáporný určitý. V důsledku toho jakýkoli daný lineární forma odhadu PCR má nižší rozptyl ve srovnání se stejným lineární forma obyčejného odhadce nejmenších čtverců.

Řešení multicollinearity

Pod multicollinearity, dva nebo více kovariátů jsou vysoce korelovaný, takže lze jeden lineárně předvídat od ostatních s netriviální mírou přesnosti. Následně sloupce datové matice ${ displaystyle mathbf {X}}$ které odpovídají pozorováním pro tyto kovariáty, se obvykle stávají lineárně závislé a proto, ${ displaystyle mathbf {X}}$ má tendenci se stát hodnocení nedostatečné ztrácí svou úplnou strukturu pořadí sloupců. Více kvantitativně, jedna nebo více menších vlastních čísel ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ přiblížit se nebo se přiblížit přesně ${ displaystyle 0}$ v takových situacích. Výše uvedené odchylky naznačují, že tyto malé vlastní hodnoty mají maximum inflační efekt na rozptylu odhadu nejmenších čtverců destabilizující odhadce významně, když jsou blízko ${ displaystyle 0}$ . Tento problém lze efektivně řešit pomocí odhadu PCR získaného vyloučením hlavních komponent odpovídajících těmto malým vlastním číslům.

Zmenšení rozměrů

K provedení lze také použít PCR zmenšení rozměrů. Chcete-li to vidět, nechte ${ displaystyle L_ {k}}$ označit jakýkoli ${ displaystyle p times k}$ matice s orthonormálními sloupci pro všechny ${ displaystyle k in {1, ldots, p }.}$ Předpokládejme, že teď, když chceme přibližný každé z kovariančních pozorování ${ displaystyle mathbf {x} _ {i}}$ skrz hodnost ${ displaystyle k}$ lineární transformace ${ displaystyle L_ {k} mathbf {z} _ {i}}$ pro některé ${ displaystyle mathbf {z} _ {i} v mathbb {R} ^ {k} (1 leq i leq n)}$ .

Potom je možné ukázat, že

{ displaystyle sum _ {i = 1} ^ {n} vlevo | mathbf {x} _ {i} -L_ {k} mathbf {z} _ {i} vpravo | ^ {2} }

je minimalizován na ${ displaystyle L_ {k} = V_ {k},}$ matice s první ${ displaystyle k}$ směry hlavních komponent jako sloupce a ${ displaystyle mathbf {z} _ {i} = mathbf {x} _ {i} ^ {k} = V_ {k} ^ {T} mathbf {x} _ {i},}$ korespondence ${ displaystyle k}$ dimenzionální odvozené kovariáty. Tak ${ displaystyle k}$ dimenzionální hlavní komponenty poskytují to nejlepší lineární aproximace hodnosti ${ displaystyle k}$ na pozorovanou datovou matici ${ displaystyle mathbf {X}}$ .

Korespondence chyba rekonstrukce darováno:

{ displaystyle sum _ {i = 1} ^ {n} vlevo | mathbf {x} _ {i} -V_ {k} mathbf {x} _ {i} ^ {k} doprava | ^ {2} = { begin {cases} sum _ {j = k + 1} ^ {n} lambda _ {j} & 1 leqslant k

Tedy jakýkoli potenciál zmenšení rozměrů lze dosáhnout výběrem ${ displaystyle k}$ , počet hlavních složek, které mají být použity, prostřednictvím příslušných prahových hodnot pro kumulativní součet vlastní čísla z ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ . Jelikož menší vlastní čísla významně nepřispívají kumulativnímu součtu, je možné pokračovat v klesání odpovídajících hlavních složek, dokud není překročen požadovaný prahový limit. Stejná kritéria lze použít i pro řešení problému multicollinearity problém, při kterém mohou být hlavní komponenty odpovídající menším vlastním číslům ignorovány, pokud je zachován prahový limit.

Regularizační účinek

Vzhledem k tomu, že odhad PCR obvykle používá pro regresi pouze podmnožinu všech hlavních komponent, lze jej považovat za jakýsi druh legalizovaný postup. Přesněji řečeno pro všechny ${ displaystyle 1 leqslant k$ , odhadce PCR ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ označuje regularizované řešení následujícího omezená minimalizace problém:

{ displaystyle min _ {{ boldsymbol { beta}} _ {*} in mathbb {R} ^ {p}} left | mathbf {Y} - mathbf {X} { boldsymbol { beta}} _ {*} vpravo | ^ {2} quad { text {předmět}} quad { boldsymbol { beta}} _ {*} perp { mathbf {v} _ {k + 1}, cdots, mathbf {v} _ {p} }.}

Omezení lze ekvivalentně napsat jako:

{ displaystyle V _ {(p-k)} ^ {T} { boldsymbol { beta}} _ {*} = mathbf {0},}

kde:

{ displaystyle V _ {(pk)} = left [ mathbf {v} _ {k + 1}, cdots, mathbf {v} _ {p} right] _ {p times (pk)}. }

Když je tedy pro regresi vybrána pouze správná podmnožina všech hlavních složek, takto získaný odhad PCR je založen na tvrdé formě regulace který omezuje výsledné řešení na sloupcový prostor vybraných směrů hlavní součásti a následně to omezuje ortogonální do vyloučených směrů.

Optimalita PCR mezi třídou regulovaných odhadů

Vzhledem k omezenému problému minimalizace, jak je definován výše, zvažte jeho následující obecnou verzi:

{ displaystyle min _ {{ boldsymbol { beta}} _ {*} in mathbb {R} ^ {p}} | mathbf {Y} - mathbf {X} { boldsymbol { beta }} _ {*} | ^ {2} quad { text {předmět}} quad L _ {(pk)} ^ {T} { boldsymbol { beta}} _ {*} = mathbf { 0}}

kde, ${ displaystyle L _ {(p-k)}}$ označuje jakoukoli úplnou matici pořadí sloupců objednávky ${ displaystyle p times (p-k)}$ s ${ displaystyle 1 leqslant k$ .

Nechat ${ displaystyle { widehat { boldsymbol { beta}}} _ {L}}$ označte odpovídající řešení. Tím pádem

{ displaystyle { widehat { boldsymbol { beta}}} _ {L} = arg min _ {{ boldsymbol { beta}} _ {*} in mathbb {R} ^ {p}} | mathbf {Y} - mathbf {X} { boldsymbol { beta}} _ {*} | ^ {2} quad { text {předmět}} quad L _ {(pk)} ^ {T} { boldsymbol { beta}} _ {*} = mathbf {0}.}

Pak optimální volba restrikční matice ${ displaystyle L _ {(p-k)}}$ pro které je příslušný odhad ${ displaystyle { widehat { boldsymbol { beta}}} _ {L}}$ dosáhne minimální predikční chyby dané:^[3]

{ displaystyle L _ {(p-k)} ^ {*} = V _ {(p-k)} Lambda _ {(p-k)} ^ {1/2},}

kde

{ displaystyle Lambda _ {(pk)} ^ {1/2} = operatorname {diag} left ( lambda _ {k + 1} ^ {1/2}, ldots, lambda _ {p} ^ {1/2} vpravo).}

Docela jasně, výsledný optimální odhad ${ displaystyle { widehat { boldsymbol { beta}}} _ {L ^ {*}}}$ je pak jednoduše dán odhadcem PCR ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ na základě prvního ${ displaystyle k}$ hlavní komponenty.

Účinnost

Protože obyčejný odhadce nejmenších čtverců je objektivní pro ${ displaystyle { boldsymbol { beta}}}$ , my máme

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) = operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}),}

kde MSE označuje střední čtvercová chyba. Nyní, pokud pro některé ${ displaystyle k in {1, cdots, p }}$ , navíc máme: ${ displaystyle V _ {(p-k)} ^ {T} { boldsymbol { beta}} = mathbf {0}}$ , pak odpovídající ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ je také objektivní pro ${ displaystyle { boldsymbol { beta}}}$ a proto

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) = operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ {k}) .}

Už jsme to viděli

{ displaystyle forall j in {1, cdots, p }: quad operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {j}) succeq 0,}

což pak znamená:

{ displaystyle operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ {k}) succeq 0}

konkrétně ${ displaystyle k}$ . V takovém případě tedy odpovídající ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ by bylo více efektivní odhad z ${ displaystyle { boldsymbol { beta}}}$ ve srovnání s ${ displaystyle { widehat { boldsymbol { beta}}} _ { mathrm {ols}}}$ , na základě použití střední kvadratické chyby jako kritéria výkonu. Navíc jakékoli lineární forma odpovídajících ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ bude mít také nižší střední čtvercová chyba ve srovnání se stejným lineární forma z ${ displaystyle { widehat { boldsymbol { beta}}} _ { mathrm {ols}}}$ .

Nyní předpokládejme, že pro daný ${ displaystyle k in {1, cdots, p }, V _ {(p-k)} ^ {T} { boldsymbol { beta}} neq mathbf {0}}$ . Pak odpovídající ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ je předpojatý pro ${ displaystyle { boldsymbol { beta}}}$ . Nicméně od té doby

{ displaystyle forall k in {1, cdots, p }: quad operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) succeq 0,}

to je stále možné ${ displaystyle operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ {k}) succeq 0}$ , zvláště pokud ${ displaystyle k}$ je takový, že vyloučené hlavní složky odpovídají menším vlastním číslům, což má za následek nižší zaujatost.

Aby se zajistil efektivní odhad a predikční výkon PCR jako odhadce ${ displaystyle { boldsymbol { beta}}}$ , Park (1981) ^[3] navrhuje následující vodítko pro výběr hlavních komponent, které mají být použity pro regresi: Zrušit ${ displaystyle j ^ {th}}$ hlavní složka právě tehdy ${ displaystyle lambda _ {j} <(p sigma ^ {2}) / { boldsymbol { beta}} ^ {T} { boldsymbol { beta}}.}$ Praktická implementace této směrnice samozřejmě vyžaduje odhady neznámých parametrů modelu ${ displaystyle sigma ^ {2}}$ a ${ displaystyle { boldsymbol { beta}}}$ . Obecně je lze odhadnout pomocí neomezených odhadů nejmenších čtverců získaných z původního úplného modelu. Park (1981) však poskytuje mírně upravenou sadu odhadů, které mohou být pro tento účel vhodnější.^[3]

Na rozdíl od kritérií založených na kumulativním součtu vlastních čísel ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ , která je pravděpodobně vhodnější pro řešení problému multicollinearity a pro provedení redukce dimenze, výše uvedená kritéria se ve skutečnosti pokouší zlepšit predikci a účinnost odhadu odhadce PCR zapojením jak výsledku, tak i kovariancí do procesu výběru hlavní komponenty, které mají být použity v regresním kroku. Alternativní přístupy s podobnými cíli zahrnují výběr hlavních komponent na základě křížová validace nebo Mallow je C._str kritéria. Hlavní součásti jsou často vybírány na základě jejich stupně sdružení s výsledkem.

Smršťovací účinek PCR

Obecně platí, že PCR je v zásadě a odhad zmenšení který si obvykle zachovává hlavní složky s vysokou variací (odpovídající vyšším vlastním hodnotám ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ ) jako kovariáty v modelu a zahodí zbývající komponenty s nízkou odchylkou (odpovídající nižším vlastním hodnotám ${ displaystyle mathbf {X} ^ {T} mathbf {X}}$ ). Vyvíjí tedy diskrétní efekt smrštění na komponentách s nízkou variací zcela rušící jejich příspěvek v původním modelu. Naproti tomu hřebenová regrese Odhadovatel provádí efekt hladkého smrštění skrz parametr regularizace (nebo parametr ladění) neodmyslitelně zapojený do jeho konstrukce. I když úplně nezlikviduje žádnou ze složek, vyvolává smršťovací účinek na všechny z nich kontinuálním způsobem, takže rozsah smrštění je vyšší pro složky s nízkou odchylkou a nižší pro složky s vysokou odchylkou. Frank a Friedman (1993)^[4] dospěli k závěru, že pro účely samotné predikce je odhad hřebene vzhledem k jeho efektu hladkého smrštění možná lepší volbou ve srovnání s odhadem PCR, který má účinek samostatného smrštění.

Kromě toho jsou hlavní složky získány z vlastní rozklad z ${ displaystyle mathbf {X}}$ to zahrnuje pozorování pouze pro vysvětlující proměnné. Výsledný odhad PCR získaný z použití těchto hlavních složek jako kovariátů proto nemusí nutně mít uspokojivý prediktivní výkon pro výsledek. Trochu podobný odhad, který se pokouší vyřešit tento problém svou konstrukcí, je částečné nejmenší čtverce (PLS) odhad. Podobně jako PCR, PLS také používá odvozené kovariáty nižších rozměrů. Na rozdíl od PCR se však odvozené kovariáty pro PLS získávají na základě použití jak výsledku, tak i kovariací. Zatímco PCR hledá směry vysoké variance v prostoru kovariátů, PLS hledá směry v kovariátním prostoru, které jsou nejužitečnější pro predikci výsledku.

V poslední době existuje varianta klasické PCR známá jako pod dohledem PCR navrhli Bair, Hastie, Paul a Tibshirani (2006).^[5] V duchu podobném duchu PLS se pokouší získat odvozené kovariáty nižších dimenzí na základě kritéria, které zahrnuje jak výsledek, tak kovariáty. Metoda začíná provedením sady ${ displaystyle p}$ jednoduché lineární regrese (nebo jednorozměrné regrese), kde je výsledný vektor regresován samostatně na každém z ${ displaystyle p}$ kovariáty užívané po jedné. Pak pro některé ${ displaystyle m in {1, ldots, p }}$ , první ${ displaystyle m}$ pro další použití jsou vybrány kovariáty, u nichž se ukázalo, že jsou nejvíce korelované s výsledkem (na základě stupně významnosti odpovídajících odhadovaných regresních koeficientů). Poté se provede konvenční PCR, jak byla popsána dříve, ale nyní je založena pouze na ${ displaystyle n krát m}$ datová matice odpovídající pozorování pro vybrané kovariáty. Počet použitých proměnných: ${ displaystyle m in {1, ldots, p }}$ a následný počet použitých hlavních komponent: ${ displaystyle k in {1, ldots, m }}$ jsou obvykle vybrány uživatelem křížová validace.

Zobecnění na nastavení jádra

Klasická metoda PCR popsaná výše je založena na klasické PCA a považuje lineární regresní model pro predikci výsledku na základě kovariát. Lze jej však snadno zobecnit na a stroj jádra nastavení, při kterém regresní funkce nemusí nutně být lineární v kovariátech, ale místo toho může patřit do Reprodukce jádra Hilberta Space spojené s libovolným (případně nelineární ), symetrický kladně definitivní jádro. The lineární regresní model se ukáže jako zvláštní případ tohoto nastavení, když funkce jádra je vybrán jako lineární jádro.

Obecně platí, že pod stroj jádra nastavení, vektor kovariát je první zmapováno do vysoce dimenzionální (potenciálně nekonečně-dimenzionální ) prostor funkcí charakterizovaný funkce jádra zvolen. The mapování takto získaný je známý jako mapa funkcí a každý z nich souřadnice, také známý jako prvky prvků, odpovídá jedné vlastnosti (může být lineární nebo nelineární ) kovariátů. The regresní funkce pak se předpokládá, že je a lineární kombinace z nich prvky prvků. To znamená, že základní regresní model v stroj jádra nastavení je v zásadě a lineární regresní model s pochopením, že místo původní množiny kovariát jsou nyní prediktory dány vektorem (potenciálně nekonečně-dimenzionální ) z prvky prvků získané transformující se skutečné kovariáty pomocí mapa funkcí.

Nicméně trik s jádrem ve skutečnosti nám umožňuje pracovat v prostor funkcí bez jakéhokoli výslovného výpočtu mapa funkcí. Ukázalo se, že to stačí pouze k výpočtu párů vnitřní výrobky mezi mapami funkcí pro pozorované kovariátové vektory a tyto vnitřní výrobky jsou jednoduše dány hodnotami funkce jádra vyhodnocen na odpovídajících párech kovariátových vektorů. Takto získané párové vnitřní produkty mohou být proto zastoupeny ve formě a ${ displaystyle n krát n}$ symetrická nezáporná určitá matice známá také jako matice jádra.

PCR v stroj jádra nastavení lze nyní implementovat jako první vhodně centrování tento matice jádra (K, řekněme) s ohledem na prostor funkcí a poté provedením a jádro PCA na centrovaná matice jádra (K ', řekněme), přičemž vlastní složení získá se K. Kernel PCR poté pokračuje (obvykle) výběrem podmnožiny všech vlastní vektory takto získané a poté provedením a standardní lineární regrese výsledného vektoru na těchto vybraných vlastní vektory. The vlastní vektory které se mají použít pro regresi, se obvykle vybírají pomocí křížová validace. Odhadnuté regresní koeficienty (mající stejnou dimenzi jako počet vybraných vlastních vektorů) spolu s odpovídajícími vybranými vlastními vektory jsou poté použity k předpovědi výsledku pro budoucí pozorování. v strojové učení, tato technika je známá také jako spektrální regrese.

Je zřejmé, že jádrová PCR má účinek diskrétního smrštění na vlastní vektory K ', docela podobný účinku diskrétního smrštění klasické PCR na hlavní složky, jak bylo popsáno výše. Mapa prvků přidružená k vybranému jádru by však mohla být potenciálně nekonečně rozměrná, a tudíž by mohly být nekonečně rozměrné také odpovídající hlavní komponenty a směry hlavních komponent. Proto jsou tato množství pod nastavením stroje jádra často prakticky neřešitelná. Kernel PCR v zásadě tento problém řeší zvážením ekvivalentní duální formulace založené na použití spektrální rozklad přidružené matice jádra. Podle modelu lineární regrese (což odpovídá volbě funkce jádra jako lineárního jádra) to znamená uvažování o spektrálním rozkladu odpovídajícího ${ displaystyle n krát n}$ matice jádra ${ displaystyle mathbf {X} mathbf {X} ^ {T}}$ a potom regrese výsledného vektoru na vybrané podmnožině vlastních vektorů ${ displaystyle mathbf {X} mathbf {X} ^ {T}}$ takto získané. Lze snadno ukázat, že je to stejné jako regrese výsledného vektoru na odpovídajících hlavních složkách (které jsou v tomto případě konečně-dimenzionální), jak jsou definovány v kontextu klasické PCR. U lineárního jádra je tedy PCR jádra založené na duální formulaci přesně ekvivalentní klasické PCR založené na primární formulaci. U libovolných (a možná nelineárních) jader se však tato primitivní formulace může stát neřešitelnou kvůli nekonečné dimenzi asociované mapy funkcí. V tomto případě se tedy klasická PCR stává prakticky neproveditelnou, ale jádrová PCR založená na duální formulaci stále zůstává platná a výpočetně škálovatelná.

Viz také

Reference

^ Jolliffe, Ian T. (1982). Msgstr "Poznámka k použití hlavních komponent při regresi". Journal of the Royal Statistical Society, Series C. 31 (3): 300–303. doi:10.2307/2348005. JSTOR 2348005.
^ Dodge, Y. (2003) Oxfordský slovník statistických pojmů, OUP. ISBN 0-19-920613-9
^ ^A ^b ^C Sung H. Park (1981). "Kolinearita a optimální omezení parametrů regrese pro odhad odpovědí". Technometrics. 23 (3): 289–295. doi:10.2307/1267793.
^ Lldiko E. Frank a Jerome H. Friedman (1993). "Statistický pohled na některé chemometrické regresní nástroje". Technometrics. 35 (2): 109–135. doi:10.1080/00401706.1993.10485033.
^ Eric Bair; Trevor Hastie; Debashis Paul; Robert Tibshirani (2006). "Predikce podle dohlížených hlavních komponent". Journal of the American Statistical Association. 101 (473): 119–137. CiteSeerX 10.1.1.516.2313. doi:10.1198/016214505000000628.

Další čtení

Amemiya, Takeshi (1985). Pokročilá ekonometrie. Harvard University Press. str.57–60. ISBN 978-0-674-00560-0.
Theil, Henri (1971). Principy ekonometrie. Wiley. str.46–55. ISBN 978-0-471-85845-4.

[1] Jolliffe, Ian T. (1982). Msgstr "Poznámka k použití hlavních komponent při regresi". Journal of the Royal Statistical Society, Series C. 31 (3): 300–303. doi:10.2307/2348005. JSTOR 2348005.

[2] Dodge, Y. (2003) Oxfordský slovník statistických pojmů, OUP. ISBN 0-19-920613-9

[Park_(1981)-3] A ^b ^C Sung H. Park (1981). "Kolinearita a optimální omezení parametrů regrese pro odhad odpovědí". Technometrics. 23 (3): 289–295. doi:10.2307/1267793.

[Frank_and_Friedman_(1993)-4] Lldiko E. Frank a Jerome H. Friedman (1993). "Statistický pohled na některé chemometrické regresní nástroje". Technometrics. 35 (2): 109–135. doi:10.1080/00401706.1993.10485033.

[Bair_et_al._(2006)-5] Eric Bair; Trevor Hastie; Debashis Paul; Robert Tibshirani (2006). "Predikce podle dohlížených hlavních komponent". Journal of the American Statistical Association. 101 (473): 119–137. CiteSeerX 10.1.1.516.2313. doi:10.1198/016214505000000628.

[1]

[2]

[3]

[4]

[5]