Elastická regularizace sítě - Elastic net regularization
v statistika a zejména při montáži lineární nebo logistická regrese modely, elastická síť je legalizovaný regresní metoda lineárně kombinuje the L1 a L2 pokuty laso a hřbet metody.
Specifikace
Metoda elastické sítě překonává omezení LASO (operátor s nejmenším absolutním zmenšením a výběrem) metoda, která využívá funkci penalizace na základě
Použití této funkce trestu má několik omezení.[1] Například ve „velkém str, malý n"Případ (vysoce dimenzionální data s několika příklady), LASSO vybere před nasycením nejvýše n proměnných. Také pokud existuje skupina vysoce korelovaných proměnných, má LASSO tendenci vybírat jednu proměnnou ze skupiny a ostatní ignorovat." K překonání těchto omezení přidává elastická síť k trestu kvadratickou část (), který při samostatném použití je hřebenová regrese (známé také jako Tichonovova regularizace ). Odhady z metody elastické sítě jsou definovány pomocí
Kvadratický trestní pojem činí funkci ztráty silně konvexní, a proto má jedinečné minimum. Metoda elastické sítě zahrnuje LASSO a hřebenovou regresi: jinými slovy, každý z nich je zvláštní případ, kdy nebo . Mezitím naivní verze metody elastické sítě najde odhadce ve dvoustupňovém postupu: nejprve pro každou pevnou najde hřebenové regresní koeficienty a poté provede smrštění typu LASSO. Tento druh odhadu způsobuje dvojnásobné zmenšení, což vede ke zvýšenému zkreslení a špatným předpovědím. Aby se zlepšil výkon predikce, autoři mění měřítko koeficientů naivní verze elastické sítě vynásobením odhadovaných koeficientů .[1]
Příklady použití metody elastické sítě jsou:
Redukce na podporu vektorového stroje
Na konci roku 2014 se ukázalo, že elastickou síť lze zmenšit na lineární podporovat vektorový stroj.[6] Podobné snížení bylo dříve prokázáno pro LASSO v roce 2014.[7] Autoři ukázali, že pro každou instanci elastické sítě lze postavit problém umělé binární klasifikace tak, že hyperrovinné řešení lineárního podporovat vektorový stroj (SVM) je totožný s řešením (po změně měřítka). Redukce okamžitě umožňuje použití vysoce optimalizovaných řešičů SVM pro problémy s pružnou sítí. Umožňuje také použití GPU zrychlení, které se často již používá u rozsáhlých řešičů SVM.[8] Redukce je jednoduchá transformace původních dat a regularizačních konstant
do nových instancí umělých dat a regularizační konstanty, které specifikují problém s binární klasifikací a regulační konstantu SVM
Tady, sestává z binárních štítků . Když je obvykle rychlejší řešit lineární SVM v primalu, zatímco jinak je duální formulace rychlejší. Autoři odkazovali na transformaci jako Support Vector Elastic Net (SVEN) a poskytli následující pseudokód MATLAB:
funkceβ=SVEN(X, y, t, λ2); [n,str]=velikost(X); X2 = [bsxfun(@mínus, X, y./t); bsxfun(@Plus, X, y./t)]’; Y2=[ty(str,1);-ty(str,1)];-li 2p> n pak w = SVMPrimální(X2, Y2, C = 1/(2*λ2)); α = C * max(1-Y2.*(X2*w),0); jiný α = SVMDual(X2, Y2, C = 1/(2*λ2)); konec -liβ = t * (α(1:str) - α(str+1:2str)) / součet(α);
Software
- „Glmnet: Lasso and elastic-net regularized generalized linear models“ je software, který je implementován jako R zdrojový balíček a jako MATLAB sada nástrojů.[9][10] To zahrnuje rychlé algoritmy pro odhad zobecněných lineárních modelů s ℓ1 (laso), ℓ2 (hřebenová regrese) a směsi dvou trestů (elastická síť) pomocí sestupu cyklického souřadnic, vypočítané podél regularizační dráhy.
- JMP Pro 11 zahrnuje elastickou regulaci sítě pomocí osobnosti Generalized Regression s Fit Model.
- „pensim: Simulace vysokodimenzionálních dat a paralelní opakovaná penalizovaná regrese“ implementuje alternativní, paralelizovanou „2D“ metodu ladění parametrů ℓ, což je metoda, která má za následek lepší přesnost predikce.[11][12]
- scikit-učit se zahrnuje lineární regrese, logistická regrese a lineární podporovat vektorové stroje s pružnou regulací sítě.
- SVEN, a Matlab implementace Support Vector Elastic Net. Tento řešič redukuje problém Elastic Net na instanci binární klasifikace SVM a k nalezení řešení používá řešič Matlab SVM. Protože SVM je snadno paralelizovatelný, kód může být rychlejší než Glmnet na moderním hardwaru.[13]
- Křeč, a Matlab implementace řídké regrese, klasifikace a analýzy hlavních komponent, včetně elastické čisté regularizované regrese.[14]
- Apache Spark poskytuje podporu pro Elastic Net Regression v jeho MLlib knihovna strojového učení. Metoda je k dispozici jako parametr obecnější třídy LinearRegression.[15]
- SAS (software) Postup SAS Glmselect[16] podporuje použití elastické síťové regularizace pro výběr modelu.
Reference
- ^ A b Zou, Hui; Hastie, Trevor (2005). "Regularizace a výběr proměnných prostřednictvím elastické sítě". Journal of the Royal Statistical Society, Series B. 67 (2): 301–320. CiteSeerX 10.1.1.124.4696. doi:10.1111 / j.1467-9868.2005.00503.x.
- ^ Wang, Li; Zhu, Ji; Zou, Hui (2006). „Dvojitě legalizovaný podpůrný vektorový stroj“ (PDF). Statistica Sinica. 16: 589–615.
- ^ Liu, Meizhu; Vemuri, Baba (2012). „Robustní a efektivní dvojnásobně regulovaný metrický přístup k učení“. Sborník z 12. evropské konference o počítačovém vidění. Přednášky z informatiky. Část IV: 646–659. doi:10.1007/978-3-642-33765-9_46. ISBN 978-3-642-33764-2. PMC 3761969. PMID 24013160.
- ^ Shen, Weiwei; Wang, červen; Ma, Shiqian (2014). „Zdvojnásobené regulované portfolio s minimalizací rizik“. Sborník příspěvků z dvacáté osmé konference AAAI o umělé inteligenci: 1286–1292. S2CID 11017740.
- ^ Milanez-Almeida, Pedro; Martins, Andrew J .; Germain, Ronald N .; Tsang, John S. (2020-02-10). „Prognóza rakoviny s mělkým sekvenováním RNA nádoru“. Přírodní medicína. 26 (2): 188–192. doi:10.1038 / s41591-019-0729-3. ISSN 1546-170X. PMID 32042193. S2CID 211074147.
- ^ Zhou, Quan; Chen, Wenlin; Song, Shiji; Gardner, Jacob; Weinberger, Kilian; Chen, Yixin. Snížení elastické sítě na podporu vektorových strojů s aplikací na výpočetní techniku GPU. Sdružení pro povýšení umělé inteligence.
- ^ Jaggi, Martin (2014). Suykens, Johan; Signoretto, Marco; Argyriou, Andreas (eds.). Rovnocennost mezi stroji Lasso a Support Vector. Chapman and Hall / CRC. arXiv:1303.1152.
- ^ „GTSVM“. uchicago.edu.
- ^ Friedman, Jerome; Trevor Hastie; Rob Tibshirani (2010). "Regularizační cesty pro zobecněné lineární modely pomocí souřadnicového sestupu". Žurnál statistického softwaru. 33 (1): 1–22. doi:10.18637 / jss.v033.i01. PMC 2929880. PMID 20808728.
- ^ "CRAN - balíček glmnet". r-project.org.
- ^ Waldron, L .; Pintilie, M .; Tsao, M.-S .; Shepherd, F. A .; Huttenhower, C .; Jurisica, I. (2011). „Optimalizovaná aplikace penalizovaných regresních metod na různá genomová data“. Bioinformatika. 27 (24): 3399–3406. doi:10.1093 / bioinformatika / btr591. PMC 3232376. PMID 22156367.
- ^ "CRAN - balíček pensim". r-project.org.
- ^ "mlcircus / SVEN - bitbucket". bitbucket.org.
- ^ Sjöstrand, Karl; Clemmensen, Line; Einarsson, Gudmundur; Larsen, Rasmus; Ersbøll, Bjarne (2. února 2016). „SpaSM: Sada nástrojů Matlab pro řídké statistické modelování“ (PDF). Žurnál statistického softwaru.
- ^ "balíček pyspark.ml - dokumentace PySpark 1.6.1". spark.apache.org. Citováno 2019-04-17.
- ^ „Proc Glmselect“. Citováno 2019-05-09.
Další čtení
- Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2017). „Metody smršťování“ (PDF). Prvky statistického učení: dolování dat, odvozování a predikce (2. vyd.). New York: Springer. 61–79. ISBN 978-0-387-84857-0.