Kvantilní regrese - Quantile regression

Tento článek může vyžadovat vyčištění setkat se s Wikipedií standardy kvality. Ne důvod vyčištění bylo upřesněno. Prosím pomozte vylepšit tento článek jestli můžeš. (Prosinec 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

Kvantilní regrese je typ regresní analýza používá se ve statistice a ekonometrii. Vzhledem k tomu, že metoda nejmenších čtverců odhaduje podmíněné znamenat proměnné odezvy napříč hodnotami proměnných prediktorů, kvantilní regrese odhaduje podmíněné medián (nebo jiný kvantily ) proměnné odpovědi. Kvantilová regrese je rozšíření lineární regrese používané, když nejsou splněny podmínky lineární regrese.

Výhody a aplikace

Jednou z výhod kvantilní regrese ve srovnání s běžnou regrese nejmenších čtverců je, že odhady kvantilové regrese jsou robustnější vůči odlehlým hodnotám v měření odezvy. Hlavní přitažlivost kvantilové regrese však jde dále a je výhodná, když jsou předmětem zájmu podmíněné kvantilové funkce. Různá opatření centrální tendence a statistická disperze může být užitečné pro získání komplexnější analýzy vztahu mezi proměnnými.^[1]

v ekologie byla navržena a použita kvantilová regrese jako způsob, jak objevit užitečnější prediktivní vztahy mezi proměnnými v případech, kdy neexistuje žádný vztah nebo existuje jen slabý vztah mezi prostředky těchto proměnných. Potřeba a úspěch kvantilní regrese v ekologii byla přičítána složitost interakcí mezi různými faktory vedoucími k data s nestejnou variací jedné proměnné pro různé rozsahy jiné proměnné.^[2]

Další aplikace kvantilové regrese je v oblastech růstových grafů, kde se k testování abnormálního růstu běžně používají percentilové křivky.^[3][4]

Matematika

Matematické formy vyplývající z kvantilové regrese jsou odlišné od forem vznikajících v metoda nejmenších čtverců. Metoda nejmenších čtverců vede k zvážení problémů v vnitřní produktový prostor, zahrnující projekce do podprostorů, a tak lze problém minimalizace čtvercových chyb snížit na problém v numerická lineární algebra. Kvantilní regrese nemá tuto strukturu a místo toho vede k problémům v lineární programování které lze vyřešit pomocí simplexní metoda.

Dějiny

Myšlenka odhadu střední regrese sklon, hlavní teorém o minimalizaci součtu absolutních odchylek a geometrický algoritmus pro konstrukci střední regrese byl navržen v roce 1760 Ruđer Josip Bošković, a Jezuitský katolík kněz z Dubrovníku.^[1]:4[5] Zajímal se o elipticitu Země, vycházel z návrhu Isaaca Newtona, že jeho rotace by mohla způsobit její vyboulení na rovník s odpovídajícím zploštěním na pólech.^[6] Nakonec vytvořil první geometrický postup pro stanovení rovník rotující planeta od tří pozorování povrchového prvku. Ještě důležitější pro kvantilovou regresi byl, že dokázal vyvinout první důkaz kritéria nejméně absolutního kritéria a předcházel nejmenším čtvercům zavedeným Legendre v roce 1805 o padesát let.^[7]

Ostatní myslitelé začali stavět na Boškovićově myšlence, jako např Pierre-Simon Laplace, který vyvinul takzvanou „metodickou situaci“. To vedlo k Francis Edgeworth medián množného čísla^[8] - geometrický přístup k mediánové regrese - a je považován za předchůdce simplexní metoda.^[7] Díla Boškoviće, Laplaceova a Edgewortha byla uznána jako předehra k Roger Koenker příspěvky k kvantilové regrese.

Mediánové regresní výpočty pro větší datové soubory jsou ve srovnání s metodou nejmenších čtverců poměrně zdlouhavé, a proto historicky generuje nedostatek popularity mezi statistiky až do širokého přijetí počítačů ve druhé polovině 20. století.

Kvantily

Nechat ${displaystyle Y}$ být náhodná proměnná se skutečnou hodnotou s kumulativní distribuční funkce ${displaystyle F_ {Y} (y) = P (Yleq y)}$. The ${displaystyle au}$th kvantil Y je dán vztahem

${displaystyle Q_ {Y} (au) = F_ {Y} ^ {- 1} (au) = inf left {y: F_ {Y} (y) geq au ight}}$

kde ${displaystyle au in (0,1).}$

Definujte funkce ztráty tak jako ${displaystyle ho _ {au} (y) = y (au -mathbb {I} _ {(y <0)})}$, kde ${displaystyle mathbb {I}}$ je funkce indikátoru.

Specifický kvantil lze nalézt minimalizací očekávané ztráty ${displaystyle Y-u}$ s ohledem na ${displaystyle u}$:^[1](str. 5–6)

${displaystyle {underset {u} {min}} E (ho _ {au} (Yu)) = {underset {u} {min}} left {(au -1) int _ {- infty} ^ {u} ( yu) dF_ {Y} (y) + au int _ {u} ^ {infty} (yu) dF_ {Y} (y) ight}.}$

To lze prokázat výpočtem derivace očekávané ztráty pomocí aplikace Leibnizovo integrální pravidlo, nastavení na 0 a nechat ${displaystyle q_ {au}}$ být řešením

${displaystyle 0 = (1- au) int _ {- infty} ^ {q_ {au}} dF_ {Y} (y) - au int _ {q_ {au}} ^ {infty} dF_ {Y} (y) .}$

Tato rovnice se redukuje na

${displaystyle 0 = F_ {Y} (q_ {au}) - au,}$

a pak do

${displaystyle F_ {Y} (q_ {au}) = au.}$

Proto ${displaystyle q_ {au}}$ je ${displaystyle au}$th kvantil náhodné proměnné Y.

Příklad

Nechat ${displaystyle Y}$ být diskrétní náhodná proměnná, která nabývá hodnot 1,2, .., 9 se stejnou pravděpodobností. Úkolem je najít medián Y, a tedy hodnotu ${displaystyle au = 0,5}$ je vybrán. Očekávaná ztráta, L(u), je

${displaystyle L (u) = {frac {(au -1)} {9}} součet _ {y_ {i}$

Od té doby ${displaystyle {0,5 / 9}}$ je konstanta, lze ji vyjmout z funkce očekávané ztráty (to platí pouze v případě, že ${displaystyle au = 0,5}$). Pak v u=3,

${displaystyle L (3) propto součet _ {i = 1} ^ {2} - (i-3) + součet _ {i = 3} ^ {9} (i-3) = [(2 + 1) + ( 0 + 1 + 2 + ... + 6)] = 24.}$

Předpokládejme to u se zvyšuje o 1 jednotku. Poté se očekávaná ztráta změní o ${displaystyle (3) - (6) = - 3}$ o změně u do 4. Pokud, u= 5, očekávaná ztráta je

${displaystyle L (5) propto součet _ {i = 1} ^ {4} i + součet _ {i = 0} ^ {4} i = 20,}$

a jakákoli změna v u zvýší očekávanou ztrátu. Tím pádem u= 5 je medián. Tabulka níže ukazuje očekávanou ztrátu (děleno ${displaystyle {0,5 / 9}}$) pro různé hodnoty u.

Intuice

Zvážit ${displaystyle au = 0,5}$ a nechte q být počáteční odhad pro ${displaystyle q_ {au}}$. Očekávaná ztráta hodnocena na q je

${displaystyle L (q) = - 0,5int _ {- infty} ^ {q} (yq) dF_ {Y} (y) + 0,5int _ {q} ^ {infty} (yq) dF_ {Y} (y) .}$

Abychom minimalizovali očekávanou ztrátu, přesuneme hodnotu q trochu zjistit, zda očekávaná ztráta poroste nebo poklesne. Předpokládejme, že porosteme q o 1 jednotku. Pak by došlo ke změně očekávané ztráty

${displaystyle int _ {- infty} ^ {q} 1dF_ {Y} (y) -int _ {q} ^ {infty} 1dF_ {Y} (y).}$

První člen rovnice je ${displaystyle F_ {Y} (q)}$ a druhý člen rovnice je ${displaystyle 1-F_ {Y} (q)}$. Proto je změna funkce očekávané ztráty negativní právě tehdy ${displaystyle F_ {Y} (q) <0,5}$, to je právě tehdy q je menší než medián. Podobně, pokud redukujeme q o 1 jednotku, změna funkce očekávané ztráty je záporná právě tehdy q je větší než medián.

Abychom minimalizovali funkci očekávané ztráty, zvýšili bychom (snížili) L(q) pokud q je menší (větší) než medián, dokud q dosáhne mediánu. Myšlenkou minimalizace je spočítat počet bodů (vážených hustotou), které jsou větší nebo menší než q a pak se přesunout q do bodu, kdy q je větší než ${displaystyle 100 au}$% bodů.

Ukázkový kvantil

The ${displaystyle au}$ ukázkový kvantil lze získat řešením následujícího problému s minimalizací

${displaystyle {hat {q}} _ {au} = {underset {qin mathbb {R}} {mbox {arg min}}} sum _ {i = 1} ^ {n} ho _ {au} (y_ {i } -q),}$

${displaystyle = {underset {qin mathbb {R}} {mbox {arg min}}} left [(au -1) sum _ {y_ {i}$, kde funkce ${displaystyle ho _ {au}}$ je funkce nakloněné absolutní hodnoty. Intuice je stejná jako u populačního kvantilu.

Podmíněný kvantil a kvantilní regrese

Předpokládejme ${displaystyle au}$podmíněná kvantilová funkce je ${displaystyle Q_ {Y | X} (au) = X eta _ {au}}$. Vzhledem k distribuční funkci ${displaystyle Y}$, ${displaystyle eta _ {au}}$ lze získat řešením

${displaystyle eta _ {au} = {underset {eta v mathbb {R} ^ {k}} {mbox {arg min}}} E (ho _ {au} (Y-X eta)).}$

Vyřešení analogového vzorku dává odhad ${displaystyle eta}$.

${displaystyle {hat {eta _ {au}}} = {underset {eta in mathbb {R} ^ {k}} {mbox {arg min}}} sum _ {i = 1} ^ {n} (ho _ { au} (Y_ {i} -X_ {i} eta)).}$

Výpočet

Problém minimalizace lze přeformulovat jako a lineární programování problém

${displaystyle {underset {eta, u ^ {+}, u ^ {-} in mathbb {R} ^ {k} imes mathbb {R} _ {+} ^ {2n}} {min}} left {au 1_ { n} ^ {'} u ^ {+} + (1- au) 1_ {n} ^ {'} u ^ {-} | X eta + u ^ {+} - u ^ {-} = Yight},}$

kde

${displaystyle u_ {j} ^ {+} = max (u_ {j}, 0)}$ ,    ${displaystyle u_ {j} ^ {-} = - min (u_ {j}, 0).}$

Simplexní metody^[1]:181 nebo vnitřní bodové metody^[1]:190 lze použít k řešení problému lineárního programování.

Asymptotické vlastnosti

Pro ${displaystyle au in (0,1)}$, za určitých pravidelných podmínek, ${displaystyle {hat {eta}} _ {au}}$ je asymptoticky normální:

${displaystyle {sqrt {n}} ({hat {eta}} _ {au} - eta _ {au}) {overset {d} {ightarrow}} N (0, au (1- au) D ^ {- 1 } Omega _ {x} D ^ {- 1}),}$

kde

${displaystyle D = E (f_ {Y} (X eta) XX ^ {prime})}$ a ${displaystyle Omega _ {x} = E (X ^ {prime} X).}$

Přímý odhad asymptotické variance-kovarianční matice není vždy uspokojivý. Odvození parametrů kvantilní regrese lze provést pomocí regresních testů pořadí nebo pomocí metod bootstrap.^[9]

Ekvivariance

Vidět invariantní odhad pro pozadí na invariance nebo viz ekvivariance.

Škálovatelnost

Pro všechny ${displaystyle a> 0}$ a ${displaystyle au in [0,1]}$

${displaystyle {hat {eta}} (au; aY, X) = a {hat {eta}} (au; Y, X),}$

${displaystyle {hat {eta}} (au; -aY, X) = - a {hat {eta}} (1- au; Y, X).}$

Posun ekvivariance

Pro všechny ${displaystyle gamma in R ^ {k}}$ a ${displaystyle au in [0,1]}$

${displaystyle {hat {eta}} (au; Y + Xgamma, X) = {hat {eta}} (au; Y, X) + gamma.}$

Rovnocennost s reparametrizací designu

Nechat ${displaystyle A}$ být kdokoli ${displaystyle p imes p}$ nesingulární matice a ${displaystyle au in [0,1]}$

${displaystyle {hat {eta}} (au; Y, XA) = A ^ {- 1} {hat {eta}} (au; Y, X).}$

Invariance k monotónním transformacím

Li ${displaystyle h}$ je neklesající funkce na 'R, následující invariance majetek platí:

${displaystyle h (Q_ {Y | X} (au)) ekviv Q_ {h (Y) | X} (au).}$

Příklad (1):

Li ${displaystyle W = exp (Y)}$ a ${displaystyle Q_ {Y | X} (au) = X eta _ {au}}$, pak ${displaystyle Q_ {W | X} (au) = exp (X eta _ {au})}$. Střední regrese nemá od té doby stejnou vlastnost ${displaystyle operatorname {E} (ln (Y)) eq ln (operatorname {E} (Y)).}$

Bayesovské metody kvantilní regrese

Protože kvantilová regrese obvykle nepředpokládá parametrickou pravděpodobnost podmíněného rozdělení Y | X, fungují Bayesovské metody s funkční pravděpodobností. Výhodnou volbou je asymetrická pravděpodobnost Laplacian,^[10] protože režim výsledného zadku pod plochým předcházejícím je obvyklým odhadem kvantilové regrese. Zadní závěr je však třeba interpretovat opatrně. Yang, Wang a He^[11] poskytla úpravu zadní odchylky pro platný závěr. Kromě toho Yang a He^[12] ukázal, že je možné mít asymptoticky platný zadní závěr, pokud je pracovní pravděpodobnost zvolena jako empirická.

Metody strojového učení pro kvantilní regrese

Kromě jednoduché lineární regrese existuje několik metod strojového učení, které lze rozšířit na kvantilovou regresi. Přepnutí ze čtvercové chyby na nakloněnou funkci ztráty absolutní hodnoty umožňuje, aby se algoritmy učení založené na gradientním sestupu naučily specifikovaný kvantil místo střední hodnoty. To znamená, že můžeme použít všechny nervová síť a hluboké učení algoritmy kvantilní regrese.^[13][14] U kvantitativní regrese jsou k dispozici také algoritmy učení založené na stromech (viz např. Kvantilní regrese lesy^[15], jako jednoduché zobecnění Náhodné lesy ).

Cenzurovaná kvantilní regrese

Pokud proměnná odpovědi podléhá cenzuře, podmíněný průměr není identifikovatelný bez dalších distribučních předpokladů, ale podmíněný kvantil je často identifikovatelný. Pro nedávné práce na cenzurované kvantilní regrese viz: Portnoy^[16]a Wang a Wang^[17]

Příklad (2):

Nechat ${displaystyle Y ^ {c} = max (0, Y)}$ a ${displaystyle Q_ {Y | X} = X eta _ {au}}$. Pak ${displaystyle Q_ {Y ^ {c} | X} (au) = max (0, X eta _ {au})}$. Toto je model cenzurované kvantilní regrese: odhadované hodnoty lze získat bez jakýchkoli distribučních předpokladů, ale za cenu výpočetní obtížnosti,^[18] některým se lze vyhnout použitím jednoduchého třístupňového cenzurovaného postupu kvantilní regrese jako aproximace.^[19]

Pro náhodnou cenzuru na proměnných odezvy byla cenzurovaná kvantilová regrese Portnoye (2003)^[16] poskytuje konzistentní odhady všech identifikovatelných kvantilových funkcí na základě vhodného zvážení každého cenzurovaného bodu.

Implementace

Četné statistické softwarové balíčky zahrnují implementace kvantilové regrese:

• Matlab funkce kvantový^[20]
• Názory, od verze 6.^{[Citace je zapotřebí ]}
• gretl má kvantový příkaz.^[21]
• R nabízí několik balíčků, které implementují kvantilovou regresi kvantový podle Roger Koenker,^[22] ale také gbm,^[23] quantregForest^[24], qrnn^[25] a qgam^[26]
• Krajta, přes Scikit-zahrada^[27] a statsmodels^[28]
• SAS přes proc quantreg (ver. 9.2) a proc quantselect (ver. 9.3).^[29]
• Stata prostřednictvím qreg příkaz.^[30][31]
• Vowpal Wabbit, přes --loss_function kvantil.^[32]
• Statistické modely balíček pro Python, přes QuantReg^[33]
• Mathematica balík QuantileRegression.m^[34] hostováno v projektu MathematicaForPrediction na GitHubu.

Reference

Další čtení

• Angrist, Joshua D.; Pischke, Jörn-Steffen (2009). „Kvantilní regrese“. Převážně neškodná ekonometrie: empirický společník. Princeton University Press. 269–291. ISBN  978-0-691-12034-8.
• Koenker, Roger (2005). Kvantilní regrese. Cambridge University Press. ISBN  978-0-521-60827-5.CS1 maint: ref = harv (odkaz)