Ядрова регресія

У статистиці ядрова регресія (англ. kernel regression) — це непараметрична методика оцінки умовного матсподівання випадкової величини. Завдання полягає в тому, щоб знайти нелінійну залежність між парою випадкових величин X і Y .

У будь-якій непараметричній регресії умовне сподівання змінної $Y$ відносно змінної $X$ можна записати:

$\operatorname {E} (Y\mid X)=m(X)$

де $m$ — невідомою функцією.

Ядрова регресія Надараї — Вотсона

Надарая та Вотсон, обидва в 1964 році, запропонували оцінити $m$ як локально зважене середнє, використовуючи ядро як вагову функцію. Оцінка Надараї — Вотсона:

${\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}$

де $K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)$ — ядро з пропускною спроможністю $h$ таке, що $K(\cdot )$ має порядок принаймні 1, тобто $\int _{-\infty }^{\infty }uK(u)\,du=0$ .

Виведення

Запишемо визначення умовного математичного сподівання,

$\operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy$

ми оцінимо спільні розподіли $f(x,y)$ і $f(x)$ за допомогою ядрової оцінки густини з ядром K:

${\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),$

${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),$

Отримуємо:

${\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}$

що і є оцінкою Надараї — Вотсона.

Ядрова оцінка Прістлі — Чао

${\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}$

де $h$ це пропускна спроможність (або ж параметр згладжування).

Ядрова оцінка Гассера — Мюллера

${\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}$

де $s_{i}={\frac {x_{i-1}+x_{i}}{2}}.$

Приклад

Оцінена регресійна функція

Цей приклад базується на канадських перехресних даних про заробітну плату, які складаються з випадкової вибірки, взятої із записів Канадського перепису громадського вжитку 1971 року для осіб чоловічої статі із загальною освітою (13 клас). Всього 205 спостережень^{[джерело?]}.

На рисунку праворуч показано оцінену функцію регресії з використанням ядра Гауса другого порядку разом із межами асимптотичної мінливості.

Приклад з кодом

Наведені нижче команди мови програмування R використовують функцію npreg() для реалізації оптимального згладжування та створення рисунка, наведеного вище. Ці команди можна вводити в командному рядку просто скопіювавши.

install.packages("np")
library(np) # non parametric library
data(cps71)
attach(cps71)

m <- npreg(logwage~age)

plot(m, plot.errors.method="asymptotic",
     plot.errors.style="band",
     ylim=c(11, 15.2))

points(age, logwage, cex=.25)
detach(cps71)

Пов'язані

За словами Девіда Салсбурга, алгоритми, що використовуються в ядровій регресії, були незалежно розроблені та використані в нечітких системах: «З майже однаковим комп'ютерним алгоритмом нечіткі системи та ядрові регресії на основі густини, здається, були розроблені абсолютно незалежно одна від одної.»

Імплементація в статистичних пакетах

• Пакет математичних програм GNU Octave
• Julia: KernelEstimator.jl
• MATLAB: на цих сторінках доступний безкоштовний набір інструментів MATLAB із реалізацією ядрової регресії, ядрової оцінки густини, ядрової оцінки функції небезпеки та багатьох інших (цей набір інструментів є частиною книги ).
• Python: клас KernelReg для змішаних типів даних у підпакеті statsmodels.nonparametric (включає інші класи, пов'язані з густиною ядра), пакет kernel_regression як розширення scikit-learn (неефективний з точки зору пам'яті, корисний лише для невеликих наборів даних)
• R: функція npreg пакета np може виконувати ядрову регресію.
• Stata: npregress, kernreg2

Див. також

• Згладжувач ядра
• Локальна регресія

Література

• Henderson, Daniel J.; Parmeter, Christopher F. (2015). Applied Nonparametric Econometrics (англ.). Cambridge University Press. ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Nonparametric Econometrics: Theory and Practice (англ.). Princeton University Press. ISBN 978-0-691-12161-1.
• Pagan, A.; Ullah, A. (1999). Nonparametric Econometrics (англ.). Cambridge University Press. ISBN 0-521-35564-8.
• Racine, Jeffrey S. (2019). An Introduction to the Advanced Theory and Practice of Nonparametric Econometrics: A Replicable Approach Using R (англ.). Cambridge University Press. ISBN 9781108483407.
• Simonoff, Jeffrey S. (1996). Smoothing Methods in Statistics (англ.). Springer. ISBN 0-387-94716-7.

Посилання

• Scale-adaptive kernel regression (для Matlab).
• Tutorial of Kernel regression using spreadsheet (для Microsoft Excel).
• An online kernel regression demonstration Requires .NET 3.0 or later.
• Kernel regression with automatic bandwidth selection (в Python)