Jádrová regrese - Kernel regression - Wikipedia

v statistika, Jádrová regrese je neparametrické technika pro odhad podmíněné očekávání a náhodná proměnná. Cílem je najít nelineární vztah mezi dvojicí náhodných proměnných X a Y.

V každém neparametrická regrese, podmíněné očekávání proměnné ${ displaystyle Y}$ vzhledem k proměnné ${ displaystyle X}$ lze napsat:

${ displaystyle operatorname {E} (Y | X) = m (X)}$

kde ${ displaystyle m}$ je neznámá funkce.

Regrese jádra Nadaraya – Watson

Nadaraya a Watson, oba v roce 1964, navrhli odhadnout ${ displaystyle m}$ jako lokálně vážený průměr pomocí a jádro jako váhová funkce.^[1][2][3] Odhad Nadaraya – Watson je:

${ displaystyle { widehat {m}} _ {h} (x) = { frac { sum _ {i = 1} ^ {n} K_ {h} (x-x_ {i}) y_ {i} } { sum _ {j = 1} ^ {n} K_ {h} (x-x_ {j})}}}$

kde ${ displaystyle K_ {h}}$ je jádro se šířkou pásma ${ displaystyle h}$. Jmenovatelem je váhový člen se součtem 1.

Derivace

${ displaystyle operatorname {E} (Y | X = x) = int yf (y | x) dy = int y { frac {f (x, y)} {f (x)}} dy}$

Za použití odhad hustoty jádra pro společnou distribuci f (x, y) a f (x) s jádrem K.,

${ displaystyle { hat {f}} (x, y) = { frac {1} {n}} součet _ {i = 1} ^ {n} K_ {h} vlevo (x-x_ {i } right) K_ {h} left (y-y_ {i} right)}$,
${ displaystyle { hat {f}} (x) = { frac {1} {n}} součet _ {i = 1} ^ {n} K_ {h} vlevo (x-x_ {i} že jo)}$,

dostaneme

${ displaystyle { begin {aligned} operatorname { hat {E}} (Y | X = x) & = int { frac {y sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} right) K_ {h} left (y-y_ {i} right)} { sum _ {j = 1} ^ {n} K_ {h} left (x -x_ {j} right)}} dy, & = { frac { sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} right) int y , K_ {h} left (y-y_ {i} right) dy} { sum _ {j = 1} ^ {n} K_ {h} left (x-x_ {j} right) }}, & = { frac { sum _ {i = 1} ^ {n} K_ {h} left (x-x_ {i} right) y_ {i}} { sum _ {j = 1} ^ {n} K_ {h} left (x-x_ {j} right)}}, end {aligned}}}$

což je odhadovatel Nadaraya – Watson.

Odhad jádra Priestley – Chao

${ displaystyle { widehat {m}} _ {PC} (x) = h ^ {- 1} součet _ {i = 2} ^ {n} (x_ {i} -x_ {i-1}) K left ({ frac {x-x_ {i}} {h}} right) y_ {i}}$

kde ${ displaystyle h}$ je šířka pásma (nebo parametr vyhlazování).

Odhad jádra Gasser – Müller

${ displaystyle { widehat {m}} _ {GM} (x) = h ^ {- 1} sum _ {i = 1} ^ {n} left [ int _ {s_ {i-1}} ^ {s_ {i}} K vlevo ({ frac {xu} {h}} vpravo) du vpravo] y_ {i}}$

kde ${ displaystyle s_ {i} = { frac {x_ {i-1} + x_ {i}} {2}}}$

Příklad

Funkce odhadované regrese.

Tento příklad je založen na kanadských průřezových údajích o mzdě sestávajících z náhodného vzorku odebraného z pásky pro veřejné použití v Kanadě ze sčítání lidu z roku 1971 pro jednotlivce mužského pohlaví, kteří mají společné vzdělání (stupeň 13). Existuje celkem 205 pozorování.

Obrázek vpravo ukazuje odhadovanou regresní funkci pomocí Gaussova jádra druhého řádu spolu s hranicemi asymptotické variability

Například scénář

Následující příkazy Programovací jazyk R. použijte npreg () funkce pro zajištění optimálního vyhlazení a vytvoření výše uvedené postavy. Tyto příkazy lze zadat na příkazovém řádku pomocí vyjmutí a vložení.

install.packages(„np“)knihovna(np) # neparametrická knihovnadata(cps71)připojit(cps71)m <- npreg(logwage~stáří)spiknutí(m, plot.errors.method="asymptotický",     plot.errors.style="kapela",     ylim=C(11, 15.2))bodů(stáří, logwage, cex=.25)

Příbuzný

Podle David Salsburg, algoritmy použité při regresi jádra byly nezávisle vyvinuty a použity v fuzzy systémy: "Při vývoji téměř přesně stejného počítačového algoritmu se zdá, že fuzzy systémy a regrese založené na hustotě jádra byly vyvinuty zcela nezávisle na sobě."^[4]

Statistická implementace

• GNU oktáva balíček matematického programu
• Julie: KernelEstimator.jl
• MATLAB: Zdarma sada nástrojů MATLAB s implementací regrese jádra, odhadu hustoty jádra, odhadu funkce nebezpečnosti jádra a mnoha dalších je k dispozici na tyto stránky (tato sada nástrojů je součástí knihy ^[5]).
• Krajta: KernelReg třída pro smíšené datové typy v statsmodels.nonparametric dílčí balíček (zahrnuje další třídy související s hustotou jádra), balíček kernel_regression jako rozšíření sklearn (neefektivní z hlediska paměti, užitečné pouze pro malé datové sady)
• R: funkce npreg z np balíček může provádět regresi jádra.^[6][7]
• Stata: Pokrok, kernreg2

Viz také

• Jádro hladší
• Místní regrese

Reference

Další čtení

• Henderson, Daniel J .; Parmeter, Christopher F. (2015). Aplikovaná neparametrická ekonometrie. Cambridge University Press. ISBN  978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Neparametrická ekonometrie: teorie a praxe. Princeton University Press. ISBN  0-691-12161-3.
• Pagan, A .; Ullah, A. (1999). Neparametrická ekonometrie. Cambridge University Press. ISBN  0-521-35564-8.
• Simonoff, Jeffrey S. (1996). Vyhlazovací metody ve statistice. Springer. ISBN  0-387-94716-7.

externí odkazy

• Škálově adaptivní regrese jádra (se softwarem Matlab).
• Výukový program pro regresi jádra pomocí tabulky (s Microsoft Excel ).
• Online ukázka regrese jádra Vyžaduje .NET 3.0 nebo novější.
• Jádrová regrese s automatickým výběrem šířky pásma (s Pythonem)