Částečná regrese nejmenších čtverců - Partial least squares regression

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váha Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

Částečná regrese nejmenších čtverců (PLS regrese) je statistický metoda, která má určitý vztah k regrese hlavních složek; místo hledání hyperplanes maxima rozptyl mezi odpovědí a nezávislými proměnnými najde a lineární regrese model promítáním předpokládané proměnné a pozorovatelné proměnné do nového prostoru. Protože oba X a Y data se promítají do nových prostorů, rodina metod PLS je známá jako bilineární faktorové modely. Částečná diskriminační analýza nejmenších čtverců (PLS-DA) je varianta použitá, když je Y kategorické.

PLS se používá k nalezení základních vztahů mezi dvěma matice (X a Y), tj. a latentní proměnná přístup k modelování kovariance struktury v těchto dvou prostorech. Model PLS se pokusí najít vícerozměrný směr v X prostor, který vysvětluje maximální směr vícerozměrné odchylky v Y prostor. PLS regrese je zvláště vhodná, když matice prediktorů má více proměnných než pozorování, a když existuje multicollinearity mezi X hodnoty. Naproti tomu standardní regrese v těchto případech selže (pokud tomu tak není legalizovaný ).

Částečně nejmenší čtverce představil švédský statistik Herman O. A. Wold, který ji poté vyvinul se svým synem Svante Woldem. Alternativní termín pro PLS (a správnější podle Svante Wold^[1]) je projekce do latentních struktur, ale termín částečné nejmenší čtverce je v mnoha oblastech stále dominantní. Ačkoli původní aplikace byly ve společenských vědách, PLS regrese je dnes nejrozšířenější v chemometrie a související oblasti. Používá se také v bioinformatika, senzometrie, neurovědy, a antropologie.

Podkladový model

Obecný základní model vícerozměrných PLS je

${ displaystyle X = TP ^ { mathrm {T}} + E}$

${ displaystyle Y = UQ ^ { mathrm {T}} + F}$

kde X je ${ displaystyle n krát m}$ matice prediktorů, Y je ${ displaystyle n krát p}$ matice odpovědí; T a U jsou ${ displaystyle n krát l}$ matice, které jsou projekcemi X (dále jen X skóre, součástka nebo faktor matice) a projekce Y (dále jen Y skóre); P a Q jsou ${ displaystyle m krát l}$ a ${ displaystyle p times l}$ ortogonální načítání matice; a matice E a F jsou chybové výrazy, o nichž se předpokládá, že jsou nezávislé a shodně distribuované náhodné normální proměnné. Rozklady X a Y jsou vyrobeny tak, aby maximalizovaly kovariance mezi T a U.

Algoritmy

Existuje řada variant PLS pro odhad faktoru a zaváděcích matic T, U, P a Q. Většina z nich konstruuje odhady lineární regrese mezi X a Y tak jako ${ displaystyle Y = X { tilde {B}} + { tilde {B}} _ {0}}$. Některé algoritmy PLS jsou vhodné pouze pro případ, kdy Y je sloupcový vektor, zatímco jiné se zabývají obecným případem matice Y. Algoritmy se také liší v tom, zda odhadují faktorovou matici T jako ortogonální, an ortonormální matice nebo ne.^{[2][3][4][5][6][7]} Konečná předpověď bude pro všechny tyto varianty PLS stejná, ale komponenty se budou lišit.

PLS1

PLS1 je široce používaný algoritmus vhodný pro vektor Y případ. Odhaduje to T jako ortonormální matice. V pseudokódu je to vyjádřeno níže (velká písmena jsou matice, malá písmena jsou vektory, pokud jsou přepsána, a skaláry, pokud jsou přepsána):

 1 funkce PLS1 (X, y, l) 2     ${ displaystyle X ^ {(0)}  dostane X}$ 3     ${ displaystyle w ^ {(0)}  dostane X ^ { mathrm {T}} y / || X ^ { mathrm {T}} y ||}$, počáteční odhad w. 4     pro ${ displaystyle k = 0}$ na ${ displaystyle l-1}$ 5         ${ displaystyle t ^ {(k)}  dostane X ^ {(k)} w ^ {(k)}}$ 6         ${ displaystyle t_ {k}  dostane {t ^ {(k)}} ^ { mathrm {T}} t ^ {(k)}}$ (všimněte si, že toto je skalární) 7         ${ displaystyle t ^ {(k)}  dostane t ^ {(k)} / t_ {k}}$ 8         ${ displaystyle p ^ {(k)}  dostane {X ^ {(k)}} ^ { mathrm {T}} t ^ {(k)}}$ 9         ${ displaystyle q_ {k}  dostane {y} ^ { mathrm {T}} t ^ {(k)}}$ (všimněte si, že toto je skalární)10         -li ${ displaystyle q_ {k} = 0}$11             ${ Displaystyle l  dostane k}$, přestávka the pro smyčku12         -li ${ displaystyle k <(l-1)}$13             ${ displaystyle X ^ {(k + 1)}  dostane X ^ {(k)} - t_ {k} t ^ {(k)} {p ^ {(k)}} ^ { mathrm {T}} }$14             ${ displaystyle w ^ {(k + 1)}  dostane {X ^ {(k + 1)}} ^ { mathrm {T}} y}$15     konec pro16     definovat Ž být maticí se sloupy ${ displaystyle w ^ {(0)}, w ^ {(1)}, ..., w ^ {(l-1)}}$.       To samé vytvořte P matice a q vektor ${ displaystyle B  dostane W {(P ^ { mathrm {T}} W)} ^ {- 1} q}$18     ${ displaystyle B_ {0}  dostane q_ {0} - {P ^ {(0)}} ^ { mathrm {T}} B}$19     vrátit se ${ displaystyle B, B_ {0}}$

Tato forma algoritmu nevyžaduje vystředění vstupu X a Y, protože to je implicitně prováděno algoritmem. Tento algoritmus obsahuje „deflaci“ matice X (odčítání ${ displaystyle t_ {k} t ^ {(k)} {p ^ {(k)}} ^ { mathrm {T}}}$), ale deflace vektoru y se neprovádí, protože to není nutné (lze prokázat, že deflaci y přináší stejné výsledky jako deflace^[8]). Uživatelem zadaná proměnná l je limit počtu latentních faktorů v regresi; pokud se rovná hodnosti matice X, algoritmus získá odhady regrese nejmenších čtverců pro B a ${ displaystyle B_ {0}}$

Rozšíření

V roce 2002 byla zveřejněna nová metoda s názvem ortogonální projekce do latentních struktur (OPLS). V OPLS jsou data spojitých proměnných rozdělena na prediktivní a nekorelované informace. To vede k vylepšené diagnostice a snadněji interpretovatelné vizualizaci. Tyto změny však pouze zlepšují interpretovatelnost, nikoli predikčnost, modelů PLS.^[9] L-PLS rozšiřuje regresi PLS na 3 připojené datové bloky.^[10] Podobně lze použít OPLS-DA (diskriminační analýza) při práci s diskrétními proměnnými, jako při klasifikaci a studiích biomarkerů.

V roce 2015 byly částečné nejmenší čtverce spojeny s procedurou zvanou tříprůchodový regresní filtr (3PRF).^[11] Za předpokladu, že počet pozorování a proměnných bude velký, je 3PRF (a tedy PLS) asymptoticky normální pro „nejlepší“ předpověď implikovanou lineárním latentním faktorovým modelem. V datech akciových trhů se ukázalo, že PLS poskytuje přesné předpovědi výnosů a růstu peněžních toků mimo vzorek.^[12]

Verze PLS založená na rozklad singulární hodnoty (SVD) poskytuje paměťově efektivní implementaci, kterou lze použít k řešení vysokodimenzionálních problémů, jako je například souvislost milionů genetických markerů s tisíci zobrazovacích funkcí v zobrazovací genetice na hardwaru pro spotřebitele.^[13]

Korelace PLS (PLSC) je další metodika související s regresí PLS,^[14] který byl použit v neuroimagingu ^[14][15][16] a více nedávno ve sportovní vědě,^[17] kvantifikovat sílu vztahu mezi soubory dat. Typicky PLSC rozdělí data do dvou bloků (podskupin), z nichž každý obsahuje jednu nebo více proměnných, a poté použije rozklad singulární hodnoty (SVD) stanovit sílu jakéhokoli vztahu (tj. množství sdílených informací), který by mohl existovat mezi dvěma podskupinami složek.^[18] Dělá to pomocí SVD k určení setrvačnosti (tj. Součtu singulárních hodnot) kovarianční matice uvažovaných podskupin.^[18][14]

Viz také

• Kanonická korelace
• Dolování dat
• Demingová regrese
• Extrakce funkcí
• Strojové učení
• Multilineární podprostorové učení
• Částečné modelování cesty nejmenších čtverců
• Analýza hlavních komponent
• Regresní analýza
• Celkový součet čtverců

Další čtení

• Kramer, R. (1998). Chemometrické techniky pro kvantitativní analýzu. Marcel-Dekker. ISBN  978-0-8247-0198-7.
• Frank, Ildiko E .; Friedman, Jerome H. (1993). "Statistický pohled na některé chemometrické regresní nástroje". Technometrics. 35 (2): 109–148. doi:10.1080/00401706.1993.10485033.
• Haenlein, Michael; Kaplan, Andreas M. (2004). „Průvodce pro začátečníky k analýze částečných nejmenších čtverců“. Porozumění statistikám. 3 (4): 283–297. doi:10.1207 / s15328031us0304_4.
• Henseler, Joerg; Fassott, Georg (2005). "Testování moderujících efektů v modelech cest PLS. Ilustrace dostupných postupů". Citovat deník vyžaduje | deník = (Pomoc)
• Lingjærde, Ole-Christian; Christophersen, Nils (2000). "Smršťovací struktura částečných nejmenších čtverců". Scandinavian Journal of Statistics. 27 (3): 459–473. doi:10.1111/1467-9469.00201.
• Tenenhaus, Michel (1998). La Régression PLS: Théorie et Pratique. Paris: Technip.
• Rosipal, Roman; Kramer, Nicole (2006). „Přehled a poslední pokroky v částečných nejmenších čtvercích, v podprostoru, latentní struktuře a technikách výběru prvků“: 34–51. Citovat deník vyžaduje | deník = (Pomoc)
• Helland, Inge S. (1990). "PLS regrese a statistické modely". Scandinavian Journal of Statistics. 17 (2): 97–114. JSTOR  4616159.
• Wold, Herman (1966). Msgstr "Odhad hlavních komponent a souvisejících modelů pomocí iteračních nejmenších čtverců". V Krishnaiaah, P.R. (ed.). Vícerozměrná analýza. New York: Academic Press. 391–420.
• Wold, Herman (1981). Přístup fixních bodů k vzájemně závislým systémům. Amsterdam: Severní Holandsko.
• Wold, Herman (1985). "Částečně nejmenší čtverce". V Kotz, Samuel; Johnson, Norman L. (eds.). Encyklopedie statistických věd. 6. New York: Wiley. 581–591.
• Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W. J. (1984). "Problém kolineárnosti v lineární regresi. Přístup částečných nejmenších čtverců (PLS) k zobecněným inverzím". Časopis SIAM o vědeckých a statistických výpočtech. 5 (3): 735–743. doi:10.1137/0905052.
• Garthwaite, Paul H. (1994). "Interpretace částečných nejmenších čtverců". Journal of the American Statistical Association. 89 (425): 122–7. doi:10.1080/01621459.1994.10476452. JSTOR  2291207.
• Wang, H., ed. (2010). Příručka částečných nejmenších čtverců. ISBN  978-3-540-32825-4.
• Stone, M .; Brooks, R.J. (1990). "Regrese kontinua: Cross-Validated Sequentially Constructed Predikce zahrnující obyčejné nejmenší čtverce, částečné nejmenší čtverce a hlavní součásti regrese". Journal of the Royal Statistical Society, Series B. 52 (2): 237–269. JSTOR  2345437.

Reference

externí odkazy

• Krátký úvod k regresi PLS a její historii