स्मूथिंग स्प्लिन

स्मूथिंग स्प्लिन फलन अनुमान हैं, ${\hat {f}}(x)$, रव अवलोकनों के एक सेट से प्राप्त किया गया $y_{i}$ लक्ष्य का $f(x_{i})$, फिट की अच्छाई के एक माप को संतुलित करने के लिए ${\hat {f}}(x_{i})$ को $y_{i}$ की स्मूथिंग के व्युत्पन्न आधारित माप के साथ ${\hat {f}}(x)$. वे रव को कम करने का एक साधन प्रदान करते हैं $x_{i},y_{i}$ आंकड़े। सबसे परिचित उदाहरण क्यूबिक स्मूथिंग स्प्लाइन है, लेकिन इस स्थिति सहित कई अन्य संभावनाएं भी हैं $x$ एक सदिश राशि हैl

घन स्प्लिन परिलैंग्वेज

मान लीजिये $\{x_{i},Y_{i}:i=1,\dots ,n\}$ संबंध द्वारा प्रतिरूपित अवलोकनों का एक समूह बनें $Y_{i}=f(x_{i})+\epsilon _{i}$ जहां $\epsilon _{i}$ स्वतंत्र, शून्य माध्य यादृच्छिक चर हैं (सामान्यतः स्थिर विचरण माना जाता है)। घन स्मूथिंग स्प्लिनअनुमान ${\hat {f}}$ फलन का $f$ को न्यूनतम (दो बार भिन्न फलन के वर्ग पर) के रूप में परिभाषित किया गया है

$\sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}''(x)^{2}\,dx.$

टिप्पणियां:

• $\lambda \geq 0$ एक स्मूथिंग पैरामीटर है, जो डेटा के प्रति निष्ठा और फलन अनुमान के खुरदरेपन के बीच व्यापार-बंद को नियंत्रित करता है। इसका अनुमान प्रायः सामान्यीकृत क्रॉस-सत्यापन द्वारा लगाया जाता है, या प्रतिबंधित सीमांत संभावना (आरईएमएल) द्वारा जो स्प्लाइन स्मूथिंग और बायेसियन अनुमान के बीच लिंक का फायदा उठाता है (स्मूथिंग पेनल्टी को पूर्व में प्रेरित होने के रूप में देखा जा सकता है $f$).
• इंटीग्रल का मूल्यांकन प्रायः संपूर्ण वास्तविक रेखा पर किया जाता है, हालांकि सीमा को उसी तक सीमित करना भी संभव है $x_{i}$.
• जैसा $\lambda \to 0$ (कोई स्मूथिंग नहीं), स्मूथिंग स्प्लाइन अंतर्वेशित स्प्लिनमें परिवर्तित हो जाती है।
• जैसा $\lambda \to \infty$ (अनंत स्मूथिंग), खुरदरापन जुर्माना सर्वोपरि हो जाता है और अनुमान सामान्य न्यूनतम वर्ग अनुमान में परिवर्तित हो जाता है।
• दूसरे व्युत्पन्न पर आधारित खुरदरापन दंड आधुनिक सांख्यिकी साहित्य में सबसे आम है, हालांकि इस पद्धति को अन्य व्युत्पन्न पर आधारित दंड के लिए आसानी से अपनाया जा सकता है।
• प्रारंभिक साहित्य में, समान-स्थान वाले क्रम के साथ $x_{i}$, डेरिवेटिव के बजाय दूसरे या तीसरे क्रम के अंतर का उपयोग दंड में किया गया था।
• वर्गों के दण्डित योग को सुचारू करने वाले उद्देश्य को दण्डित संभाव्यता उद्देश्य द्वारा प्रतिस्थापित किया जा सकता है जिसमें वर्गों के पदों के योग को डेटा के प्रति निष्ठा के एक अन्य लॉग-संभावना आधारित माप द्वारा प्रतिस्थापित किया जाता है।वर्ग पद का योग गाऊसी धारणा के साथ पीनलाइज़ संभावना से मेल खाता है $\epsilon _{i}$.

घन स्मूथिंग स्प्लिन की व्युत्पत्ति

स्मूथिंग स्पलाइन को दो चरणों में फिट करने के बारे में सोचना उपयोगी है:

1. सबसे पहले, मान प्राप्त करें ${\hat {f}}(x_{i});i=1,\ldots ,n$.
2. इन मूल्यों से निष्कर्ष निकालें ${\hat {f}}(x)$ सभी x के लिए

अब, पहले दूसरे चरण का इलाज करें।

सदिश को देखते हुए ${\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}$ फिट किए गए मानों में, स्प्लिनमानदंड का योग-वर्ग भाग निश्चित होता है। यह केवल न्यूनतम करने के लिए ही रह गया है $\int {\hat {f}}''(x)^{2}\,dx$, और मिनिमाइज़र एक प्राकृतिक क्यूबिक स्प्लाइन (गणित) है जो बिंदुओं को प्रक्षेपित करता है $(x_{i},{\hat {f}}(x_{i}))$. यह इंटरपोलेटिंग स्पलाइन एक रैखिक ऑपरेटर है, और इसे फॉर्म में लिखा जा सकता है

${\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)$

जहां $f_{i}(x)$ स्प्लिनआधार फलन का एक सेट हैं। परिणामस्वरूप खुरदरापन दंड का रूप धारण कर लेता है

$\int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.$

जहां A के तत्व हैं $\int f_{i}''(x)f_{j}''(x)dx$. आधार कार्य, और इसलिए आव्यूह A, भविष्यवक्ता चर के विन्यास पर निर्भर करता है $x_{i}$, लेकिन प्रतिक्रियाओं पर नहीं $Y_{i}$ या ${\hat {m}}$.

A, द्वारा दिया गया एक n×n आव्यूह है $A=\Delta ^{T}W^{-1}\Delta$.

Δ तत्वों के साथ दूसरे अंतर का एक (n-2)×n आव्यूह है:

$\Delta _{ii}=1/h_{i}$, $\Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}$, $\Delta _{i,i+2}=1/h_{i+1}$

W तत्वों के साथ एक (n-2)×(n-2) सममित त्रि-विकर्ण आव्यूह है:

$W_{i-1,i}=W_{i,i-1}=h_{i}/6$, $W_{ii}=(h_{i}+h_{i+1})/3$ और $h_{i}=\xi _{i+1}-\xi _{i}$, क्रमिक गांठों (नाट) (या x मान) के बीच की दूरी।

अब पहले चरण पर वापस जाएँ। दण्डित (पीनलाइज़) योग-वर्गों को इस प्रकार लिखा जा सकता है

$\{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},$

जहां $Y=(Y_{1},\ldots ,Y_{n})^{T}$.

न्यूनतमीकरण करना ${\hat {m}}$ विरुद्ध भेद करके ${\hat {m}}$. इस में यह परिणाम:

$-2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0$ और

${\hat {m}}=(I+\lambda A)^{-1}Y.$

डी बूर का दृष्टिकोण

डी बूर का दृष्टिकोण एक ही विचार का उपयोग करता है, एक स्मूथ वक्र होने और दिए गए डेटा के करीब होने के बीच संतुलन खोजने का।

$p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx$

जहां $p$ एक पैरामीटर है जिसे स्मूथ कारक कहा जाता है और यह अंतराल से संबंधित है $[0,1]$, और $\delta _{i};i=1,\dots ,n$ वे मात्राएँ हैं जो स्मूथिंग की सीमा को नियंत्रित करती हैं (वे वजन का प्रतिनिधित्व करती हैं $\delta _{i}^{-2}$ प्रत्येक बिंदु का $Y_{i}$). व्यवहार में, चूंकि घन विभाजन का अधिकतर उपयोग किया जाता है, $m$ सामान्यतः है $2$. के लिए समाधान $m=2$ 1967 में रिंस्च द्वारा प्रस्तावित किया गया था।के लिए $m=2$, जब $p$ दृष्टिकोण $1$, ${\hat {f}}$ दिए गए डेटा के प्राकृतिक स्पलाइन इंटरपोलेंट में परिवर्तित हो जाता है।जैसा $p$ दृष्टिकोण $0$, ${\hat {f}}$ एक सीधी रेखा (सबसे स्मूथ वक्र) में परिवर्तित हो जाती है। का उपयुक्त मान ज्ञात करने के बाद से $p$ परीक्षण और त्रुटि का कार्य है, एक निरर्थक स्थिरांक $S$ सुविधा के लिए पेश किया गया था।

$S$ का मान संख्यात्मक रूप से निर्धारित करने के लिए उपयोग किया जाता है $p$ ताकि फलन ${\hat {f}}$ निम्नलिखित शर्त को पूरा करता है:

$\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S$

डी बूर द्वारा वर्णित एल्गोरिदम प्रांरम्भ होता है $p=0$ और बढ़ जाता है $p$ जब तक शर्त पूरी नहीं हो जाती.अगर $\delta _{i}$ के लिए मानक विचलन का एक अनुमान है $Y_{i}$, स्थिरांक $S$ अंतराल में चुनने की अनुशंसा की जाती है $\left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]$. रखना $S=0$ इसका तात्पर्य है कि समाधान प्राकृतिक स्पलाइन इंटरपोलेंट है।की बढ़ती $S$ इसका तात्पर्य है कि हम दिए गए डेटा से दूर जाकर एक चिकना वक्र प्राप्त करते हैं।

बहुआयामी विभाजन

एक अदिश राशि के संबंध में स्मूथिंग से सामान्यीकरण करने की विधि के दो मुख्य वर्ग हैं $x$ सदिश के संबंध में स्मूथिंग करने के लिए

$x$. पहला दृष्टिकोण बहुआयामी सेटिंग के लिए स्प्लाइन स्मूथिंग पेनल्टी को सामान्यीकृत करता है। उदाहरण के लिए, यदि अनुमान लगाने का प्रयास किया जा रहा है $f(x,z)$ हम  पतली प्लेट स्प्लिन पेनाल्टी का उपयोग कर सकते हैं और इसका पता लगा सकते हैं ${\hat {f}}(x,z)$ कम से कम

$\sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.$

पतली प्लेट स्प्लिनदृष्टिकोण को दो से अधिक आयामों और दंड में विभेदन के अन्य आदेशों के संबंध में स्मूथिंग करने के लिए सामान्यीकृत किया जा सकता है।जैसे-जैसे आयाम बढ़ता है, अंतर के सबसे छोटे क्रम पर कुछ प्रतिबंध होते हैं जिनका उपयोग किया जा सकता है,लेकिन वास्तव में डचॉन का मूल पेपर, थोड़ा अधिक जटिल दंड देता है जिससे इस प्रतिबंध से बचा जा सकता है।

पतली प्लेट स्प्लिन आइसोट्रोपिक हैं, जिसका अर्थ है कि यदि हम घूमते हैं $x,z$ समन्वय प्रणाली का अनुमान नहीं बदलेगा, लेकिन यह भी हम मान रहे हैं कि सभी दिशाओं में समान स्तर का स्मूथिंग उपयुक्त है। स्थानिक स्थान के संबंध में समायोजन करते समय इसे प्रायः उचित माना जाता है, लेकिन कई अन्य स्थितियो में आइसोट्रॉपी एक उचित धारणा नहीं है और माप इकाइयों के स्पष्ट रूप से मनमाने विकल्पों के प्रति संवेदनशीलता पैदा कर सकता है। उदाहरण के लिए, यदि दूरी और समय के संबंध में स्मूथिंग की जाती है तो एक आइसोट्रोपिक स्मूथर अलग-अलग परिणाम देगा यदि दूरी मीटर में और समय सेकंड में मापा जाता है, तो क्या होगा यदि हम इकाइयों को सेंटीमीटर और घंटों में बदल दें।

बहु-आयामी स्मूथिंग के सामान्यीकरण का दूसरा वर्ग सीधे तौर पर टेंसर उत्पाद स्पलाइन निर्माणों का उपयोग करके इस पैमाने के अपरिवर्तनीय मुद्दे से संबंधित है। इस तरह के स्प्लिन में कई स्मूथिंग मापदंडों के साथ स्मूथिंग पेनल्टी होती है, जो वह कीमत है जिसे यह मानने के लिए भुगतान किया जाना चाहिए कि स्मूथिंग की समान डिग्री सभी दिशाओं में उपयुक्त है।

संबंधित विधियाँ

See also: वक्र फिटिंग

स्मूथिंग स्प्लिन संबंधित हैं, लेकिन इनसे अलग हैं:

• रिग्रेशन स्प्लाइन (प्रतिगमन स्प्लाइन) इस पद्धति में, डेटा को कम गांठों के सेट के साथ, सामान्यतः कम से कम वर्गों के साथ, स्प्लिनआधार फलन के एक सेट में फिट किया जाता है। किसी खुरदरापन (रफनेस) दंड का उपयोग नहीं किया जाता है। (बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिन भी देखें।)
• पीनलाइज़ स्प्लाइन यह प्रतिगमन स्प्लिन की कम हुई गांठों को स्मूथिंग स्प्लिन के खुरदरेपन के दंड के साथ जोड़ता है।
• कई गुना सीखने के लिए पतली प्लेट स्प्लिन और इलास्टिक मानचित्र विधि। यह विधि सन्निकटन त्रुटि के लिए न्यूनतम वर्ग दंड को सन्निकटन मैनिफोल्ड के झुकने और खींचने वाले दंड के साथ जोड़ती है और अनुकूलन समस्या के मोटे विवेक का उपयोग करती है।

स्रोत कोड

स्प्लाइन (गणित) स्मूथिंग के लिए स्रोत कोड कार्ल आर. डी बूर; कार्ल डी बूर की पुस्तक ए प्रैक्टिकल गाइड टू स्प्लिंस के उदाहरणों में पाया जा सकता है। उदाहरण फोरट्रान प्रोग्रामिंग लैंग्वेज में हैं। अद्यतन स्रोत कार्ल डी बूर की आधिकारिक साइट [1] पर भी उपलब्ध हैं।

अग्रिम पठन

• Wahba, G. (1990). Spline Models for Observational Data. SIAM, Philadelphia.
• Green, P. J. and Silverman, B. W. (1994). Nonparametric Regression and Generalized Linear Models. CRC Press.
• De Boor, C. (2001). A Practical Guide to Splines (Revised Edition). Springer.