Neparametrická regrese - Nonparametric regression
Část série na |
Regresní analýza |
---|
![]() |
Modely |
Odhad |
Pozadí |
|
Neparametrická regrese je kategorie regresní analýza ve kterém prediktor nemá předem stanovenou formu, ale je konstruován podle informací odvozených z dat. To znamená, že se nepředpokládá žádná parametrická forma pro vztah mezi prediktory a závislou proměnnou. Neparametrická regrese vyžaduje větší velikost vzorku, než je regrese na základě parametrické modely protože data musí dodávat strukturu modelu i odhady modelu.
Definice
V neparametrické regresi máme náhodné proměnné a a předpokládejme následující vztah:
kde je nějaká deterministická funkce. Lineární regrese je omezený případ neparametrické regrese, kde Někteří autoři používají mírně silnější předpoklad aditivního šumu:
kde náhodná proměnná je „šumový výraz“ s průměrem 0. Bez předpokladu, že patří do konkrétní parametrické rodiny funkcí, je nemožné získat nestranný odhad pro , nicméně většina odhadů je konzistentní za vhodných podmínek.
Seznam univerzálních neparametrických regresních algoritmů
Toto je neúplný seznam algoritmů vhodných pro neparametrické regresní problémy.
- nejbližší sousedé, viz interpolace nejbližšího souseda a Algoritmus k-nejbližších sousedů
- regresní stromy
- regrese jádra
- lokální regrese
- vícerozměrné adaptivní regresní splajny
- neuronové sítě
- podpora vektorové regrese
- vyhlazovací splajny
Příklady
Gaussova regrese procesu nebo Kriging
V Gaussově procesu regrese, známé také jako Kriging, se pro regresní křivku předpokládá Gaussianův prior. Předpokládá se, že chyby mají a vícerozměrné normální rozdělení a regresní křivka se odhaduje podle ní zadní režim. Gaussovský prior může záviset na neznámých hyperparametrech, které se obvykle odhadují pomocí empirický Bayes. Hyperparametry obvykle určují předchozí kovarianční jádro. V případě, že jádro by mělo být také odvozeno neparametricky z dat, kritický filtr může být použito.
Vyhlazování splajnů mít interpretaci jako zadní režim regrese Gaussova procesu.
Jádrová regrese

Regrese jádra odhaduje spojitou závislou proměnnou z omezené sady datových bodů podle konvoluční umístění datových bodů pomocí a funkce jádra —Přibližně řečeno, funkce jádra specifikuje, jak „rozmazat“ vliv datových bodů tak, aby jejich hodnoty mohly být použity k předpovědi hodnoty pro blízká místa.
Regresní stromy
Algoritmy učení rozhodovacího stromu lze použít k naučení předpovědět závislou proměnnou z dat.[1] Ačkoli původní formulace CART (Classification And Regression Tree) platila pouze pro predikci jednorozměrných dat, lze rámec použít k předpovědi vícerozměrných dat, včetně časových řad.[2]
Viz také
- Laso (statistika)
- Místní regrese
- Neparametrické statistiky
- Semiparametrická regrese
- Izotonická regrese
- Vícedílné adaptivní regrese splajny
Reference
- ^ Breiman, Leo; Friedman, J. H .; Olshen, R. A .; Stone, C. J. (1984). Klasifikační a regresní stromy. Monterey, CA: Wadsworth & Brooks / Cole Advanced Books & Software. ISBN 978-0-412-04841-8.
- ^ Segal, M. R. (1992). "Stromově strukturované metody pro podélná data". Journal of the American Statistical Association. Americká statistická asociace, Taylor & Francis. 87 (418): 407–418. doi:10.2307/2290271. JSTOR 2290271.
Další čtení
- Bowman, A. W .; Azzalini, A. (1997). Aplikované vyhlazovací techniky pro analýzu dat. Oxford: Clarendon Press. ISBN 0-19-852396-3.
- Fan, J .; Gijbels, I. (1996). Lokální polynomiální modelování a jeho aplikace. Boca Raton: Chapman a Hall. ISBN 0-412-98321-4.
- Henderson, D. J .; Parmeter, C. F. (2015). Aplikovaná neparametrická ekonometrie. New York: Cambridge University Press. ISBN 978-1-107-01025-3.
- Li, Q .; Racine, J. (2007). Neparametrická ekonometrie: teorie a praxe. Princeton: Princeton University Press. ISBN 978-0-691-12161-1.
- Pagan, A.; Ullah, A. (1999). Neparametrická ekonometrie. New York: Cambridge University Press. ISBN 0-521-35564-8.