कर्नेल रिग्रेशन

Not to be confused with कर्नेल प्रमुख अवयव विश्लेषण या कर्नेल रिज प्रतिगमन.

आंकड़ों में, कर्नेल प्रतिगमन यादृच्छिक वैरीएबल की नियमबद्ध अपेक्षा का अनुमान लगाने के लिए गैर पैरामीट्रिक तकनीक है। इसका उद्देश्य यादृच्छिक वैरीएबल X और Y की जोड़ी के बीच गैर-रैखिक संबंध खोजना है।

किसी भी गैरपैरामीट्रिक प्रतिगमन में, एक वैरीएबल $Y$ के सापेक्ष एक वैरीएबल $X$ की नियमबद्ध अपेक्षा लिखी जा सकती है:

$\operatorname {E} (Y\mid X)=m(X)$

जहाँ $m$ अज्ञात फ़ंक्शन है.

नादारया-वाटसन कर्नेल प्रतिगमन

1964 में नदारया और जेफ्री वॉटसन दोनों ने वेटिंग फ़ंक्शन के रूप में कर्नेल (सांख्यिकी) का उपयोग करके स्थानीय रूप से भारित औसत के रूप में $m$ का अनुमान लगाने का प्रस्ताव रखा था। नादारया-वाटसन अनुमानक है:

${\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}$

जहां $K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)$ एक बैंडविड्थ $h$ वाला कर्नेल है जैसे कि $K(\cdot )$ कम से कम 1 क्रम का है, अर्थात $\int _{-\infty }^{\infty }uK(u)du=0$

व्युत्पत्ति

$\operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy$

कर्नेल 'K' के साथ संयुक्त वितरण f(x,y) और f(x) के लिए कर्नेल घनत्व अनुमान का उपयोग करना है,

${\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),$

${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),$

हम पाते हैं

${\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int {\frac {y\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}$

जो नादारया-वाटसन अनुमानक है।

प्रीस्टली-चाओ कर्नेल अनुमानक

${\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}$

जहाँ $h$ बैंडविड्थ (या स्मूथिंग मापदंड) है।

गैसर-मुलर कर्नेल अनुमानक

${\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}$

जहाँ $s_{i}={\frac {x_{i-1}+x_{i}}{2}}.$

उदाहरण

अनुमानित प्रतिगमन फ़ंक्शन।

यह उदाहरण कनाडाई क्रॉस-सेक्शन वेतन डेटा पर आधारित है जिसमें सामान्य शिक्षा (ग्रेड 13) वाले पुरुष व्यक्तियों के लिए 1971 की कनाडाई जनगणना सार्वजनिक उपयोग टेप से लिया गया यादृच्छिक नमूना सम्मिलित है। कुल 205 अवलोकन हैं।

दाईं ओर का आंकड़ा स्पर्शोन्मुख परिवर्तनशीलता सीमा के साथ दूसरे क्रम के गॉसियन कर्नेल का उपयोग करके अनुमानित प्रतिगमन फ़ंक्शन को दर्शाता है।

उदाहरण के लिए स्क्रिप्ट

R प्रोग्रामिंग लैंग्वेज के निम्नलिखित कमांड का उपयोग करते हैं अधिकांशतः स्मूथिंग प्रदान करने और ऊपर दिए गए चित्र को बनाने का कार्य इन कमांड को कमांड प्रॉम्प्ट पर कट और पेस्ट के माध्यम से अंकित किया जा सकता है।

install.packages("np")
library(np) # non parametric library
data(cps71)
attach(cps71)

m <- npreg(logwage~age)

plot(m, plot.errors.method="asymptotic",
     plot.errors.style="band",
     ylim=c(11, 15.2))

points(age, logwage, cex=.25)
detach(cps71)

संबंधित

डेविड साल्सबर्ग के अनुसार, कर्नेल रिग्रेशन में उपयोग किए जाने वाले एल्गोरिदम स्वतंत्र रूप से विकसित किए गए थे और फजी सिस्टम में उपयोग किए गए थे: लगभग पूर्णतः समान कंप्यूटर एल्गोरिदम के साथ, फ़ज़ी सिस्टम और कर्नेल घनत्व-आधारित रिग्रेशन दूसरे से पूरी तरह से स्वतंत्र रूप से विकसित किए गए प्रतीत होते हैं।

सांख्यिकीय कार्यान्वयन

• जीएनयू ऑक्टेव गणितीय प्रोग्राम पैकेज
• जूलिया (प्रोग्रामिंग लैंग्वेज): KernelEstimator.jl
• मैटलैब: कर्नेल रिग्रेशन, कर्नेल घनत्व अनुमान, हैजर्ड फ़ंक्शन के कर्नेल अनुमान और कई अन्य के कार्यान्वयन के साथ मुफ्त मैटलैब टूलबॉक्स इन पृष्ठों पर उपलब्ध है (यह टूलबॉक्स पुस्तक का भाग है) ).
• पायथन (प्रोग्रामिंग लैंग्वेज): द KernelReg मिश्रित डेटा प्रकारों के लिए वर्ग statsmodels.nonparametric उप-पैकेज (अन्य कर्नेल घनत्व से संबंधित वर्ग सम्मिलित हैं), पैकेज [1] स्किकिट-लर्न के विस्तार के रूप में (अक्षम मेमोरी-वार, केवल छोटे डेटासेट के लिए उपयोगी)
• आर (प्रोग्रामिंग लैंग्वेज): फ़ंक्शन npreg एनपी पैकेज कर्नेल रिग्रेशन निष्पादित कर सकता है।
• Stata: : npregress, kernreg2

यह भी देखें

• गिरी चिकनी
• स्थानीय प्रतिगमन

अग्रिम पठन

• Henderson, Daniel J.; Parmeter, Christopher F. (2015). Applied Nonparametric Econometrics. Cambridge University Press. ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Nonparametric Econometrics: Theory and Practice. Princeton University Press. ISBN 978-0-691-12161-1.
• Pagan, A.; Ullah, A. (1999). Nonparametric Econometrics. Cambridge University Press. ISBN 0-521-35564-8.
• Racine, Jeffrey S. (2019). An Introduction to the Advanced Theory and Practice of Nonparametric Econometrics: A Replicable Approach Using R. Cambridge University Press. ISBN 9781108483407.
• Simonoff, Jeffrey S. (1996). Smoothing Methods in Statistics. Springer. ISBN 0-387-94716-7.

बाहरी संबंध

• Scale-adaptive kernel regression (with मैटलैब software).
• Tutorial of Kernel regression using spreadsheet (with Microsoft Excel).
• An online kernel regression demonstration Requires .NET 3.0 or later.
• Kernel regression with automatic bandwidth selection (with Python)