बहुपद प्रतिगमन

आंकड़ों में, बहुपद प्रतिगमन प्रतिगमन विश्लेषण का एक रूप है जिसमें स्वतंत्र चर x और आश्रित चर y के बीच संबंध को x में nth डिग्री बहुपद के रूप में तैयार किया जाता है। '. बहुपद प्रतिगमन x के मान और y की संगत सशर्त अपेक्षा के बीच एक गैर-रेखीय संबंध में फिट बैठता है, जिसे E(y |x) कहा जाता है। यद्यपि बहुपद प्रतिगमन आंकड़े के लिए एक गैर-रेखीय मॉडल में फिट बैठता है, एक अनुमान सिद्धांत समस्या के रूप में यह रैखिक है, इस अर्थ में कि प्रतिगमन फ़ंक्शन E(y | x) अज्ञात में रैखिक है पैरामीटर जो डेटा से अनुमानित हैं। इस कारण से, बहुपद प्रतिगमन को एकाधिक रैखिक प्रतिगमन का एक विशेष मामला माना जाता है।

आधारभूत चर के बहुपद विस्तार से उत्पन्न व्याख्यात्मक (स्वतंत्र) चर को उच्च-डिग्री शब्दों के रूप में जाना जाता है। ऐसे चर का उपयोग सांख्यिकीय वर्गीकरण सेटिंग्स में भी किया जाता है।

इतिहास

बहुपद प्रतिगमन मॉडल आमतौर पर कम से कम वर्गों की विधि का उपयोग करके फिट होते हैं। न्यूनतम-वर्ग विधि एक अनुमानक के पूर्वाग्रह के विचरण को कम करती है|गॉस-मार्कोव प्रमेय की शर्तों के तहत गुणांकों का निष्पक्ष अनुमान सिद्धांत। न्यूनतम-वर्ग विधि 1805 में एड्रियन मैरी लीजेंड्रे द्वारा और 1809 में गॉस द्वारा प्रकाशित की गई थी। बहुपद प्रतिगमन के लिए प्रयोगों के डिज़ाइन का पहला इष्टतम डिज़ाइन जोसेफ़ डियाज़ गेर्गोन के 1815 के पेपर में दिखाई दिया। बीसवीं सदी में, प्रयोगों के डिजाइन और सांख्यिकीय अनुमान के मुद्दों पर अधिक जोर देने के साथ, बहुपद प्रतिगमन ने प्रतिगमन विश्लेषण के विकास में एक महत्वपूर्ण भूमिका निभाई। हाल ही में, बहुपद मॉडल के उपयोग को अन्य तरीकों से पूरक किया गया है, गैर-बहुपद मॉडल में कुछ वर्गों की समस्याओं के लिए फायदे हैं।

परिभाषा और उदाहरण

शेफ़े दृष्टिकोण का उपयोग करके बनाया गया है।

प्रतिगमन विश्लेषण का लक्ष्य एक स्वतंत्र चर (या स्वतंत्र चर के वेक्टर) x के मूल्य के संदर्भ में एक आश्रित चर y के अपेक्षित मूल्य को मॉडल करना है। सरल रैखिक प्रतिगमन में, मॉडल

$y=\beta _{0}+\beta _{1}x+\varepsilon ,\,$

का उपयोग किया जाता है, जहां ε एक स्केलर (गणित) चर x पर वातानुकूलित माध्य शून्य के साथ एक अप्राप्य यादृच्छिक त्रुटि है। इस मॉडल में, x के मान में प्रत्येक इकाई वृद्धि के लिए, y की सशर्त अपेक्षा β से बढ़ जाती है₁ इकाइयाँ।

कई सेटिंग्स में, ऐसा रैखिक संबंध कायम नहीं रह सकता है। उदाहरण के लिए, यदि हम रासायनिक संश्लेषण की उपज को उस तापमान के संदर्भ में मॉडलिंग कर रहे हैं जिस पर संश्लेषण होता है, तो हम पा सकते हैं कि तापमान में प्रत्येक इकाई वृद्धि के लिए मात्रा में वृद्धि से उपज में सुधार होता है। इस मामले में, हम फॉर्म का एक द्विघात मॉडल प्रस्तावित कर सकते हैं

$y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,$

इस मॉडल में, जब तापमान x से x + 1 इकाई तक बढ़ाया जाता है, तो अपेक्षित उपज में परिवर्तन होता है $\beta _{1}+\beta _{2}(2x+1).$ (इसे इस समीकरण में x को x+1 से प्रतिस्थापित करके और x+1 में समीकरण से x में समीकरण घटाकर देखा जा सकता है।) x में अनंत परिवर्तन के लिए, y पर प्रभाव x के संबंध में कुल व्युत्पन्न द्वारा दिया जाता है। : $\beta _{1}+2\beta _{2}x.$ तथ्य यह है कि उपज में परिवर्तन x पर निर्भर करता है, जो x और y के बीच संबंध को अरेखीय बनाता है, भले ही मॉडल अनुमानित मापदंडों में रैखिक हो।

सामान्य तौर पर, हम y के अपेक्षित मान को nवीं डिग्री बहुपद के रूप में मॉडल कर सकते हैं, जिससे सामान्य बहुपद प्रतिगमन मॉडल प्राप्त होता है

$y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,$

आसानी से, ये मॉडल अनुमान सिद्धांत के दृष्टिकोण से सभी रैखिक हैं, क्योंकि प्रतिगमन फ़ंक्शन अज्ञात पैरामीटर β के संदर्भ में रैखिक है₀, बी₁, .... इसलिए, न्यूनतम वर्ग विश्लेषण के लिए, बहुपद प्रतिगमन की कम्प्यूटेशनल और अनुमानित समस्याओं को रैखिक प्रतिगमन की तकनीकों का उपयोग करके पूरी तरह से संबोधित किया जा सकता है। यह x,x का उपचार करके किया जाता है²,... एकाधिक प्रतिगमन मॉडल में विशिष्ट स्वतंत्र चर के रूप में।

मैट्रिक्स फॉर्म और अनुमानों की गणना

बहुपद प्रतिगमन मॉडल

$y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)$

डिज़ाइन मैट्रिक्स के संदर्भ में मैट्रिक्स रूप में व्यक्त किया जा सकता है $\mathbf {X}$, एक प्रतिक्रिया वेक्टर ${\vec {y}}$, एक पैरामीटर वेक्टर ${\vec {\beta }}$, और एक वेक्टर ${\vec {\varepsilon }}$ यादृच्छिक त्रुटियों का. की i-वीं पंक्ति $\mathbf {X}$ और ${\vec {y}}$ i-वें डेटा नमूने के लिए x और y मान शामिल होंगे। तब मॉडल को रैखिक समीकरणों की एक प्रणाली के रूप में लिखा जा सकता है:

${\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},$

जिसे शुद्ध मैट्रिक्स नोटेशन का उपयोग करते समय इस प्रकार लिखा जाता है

${\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,$

अनुमानित बहुपद प्रतिगमन गुणांक का वेक्टर (साधारण न्यूनतम वर्ग अनुमान का उपयोग करके) है

${\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,$

यह मानते हुए कि m < n जो मैट्रिक्स के व्युत्क्रमणीय होने के लिए आवश्यक है; तब से $\mathbf {X}$ एक वेंडरमोंडे मैट्रिक्स है, यदि सभी हो तो व्युत्क्रमणीयता की स्थिति कायम रहने की गारंटी है $x_{i}$ मूल्य भिन्न हैं। यह अद्वितीय न्यूनतम-वर्ग समाधान है।

व्याख्या

यद्यपि बहुपद प्रतिगमन तकनीकी रूप से एकाधिक रैखिक प्रतिगमन का एक विशेष मामला है, एक फिट बहुपद प्रतिगमन मॉडल की व्याख्या के लिए कुछ अलग परिप्रेक्ष्य की आवश्यकता होती है। बहुपद प्रतिगमन फिट में व्यक्तिगत गुणांकों की व्याख्या करना अक्सर मुश्किल होता है, क्योंकि अंतर्निहित एकपदी अत्यधिक सहसंबद्ध हो सकते हैं। उदाहरण के लिए, एक्स और एक्स² का सहसंबंध 0.97 के आसपास होता है जब x अंतराल (0, 1) पर एक समान वितरण (निरंतर) होता है। यद्यपि ऑर्थोगोनल बहुपदों का उपयोग करके सहसंबंध को कम किया जा सकता है, लेकिन समग्र रूप से फिट किए गए प्रतिगमन फ़ंक्शन पर विचार करना आम तौर पर अधिक जानकारीपूर्ण होता है। प्रतिगमन फ़ंक्शन के अनुमान में अनिश्चितता की भावना प्रदान करने के लिए बिंदु-वार या एक साथ आत्मविश्वास बैंड का उपयोग किया जा सकता है।

वैकल्पिक दृष्टिकोण

बहुपद प्रतिगमन दो मात्राओं के बीच कार्यात्मक संबंध को मॉडल करने के लिए आधार कार्यों का उपयोग करके प्रतिगमन विश्लेषण का एक उदाहरण है। अधिक विशेष रूप से, यह प्रतिस्थापित करता है $x\in \mathbb {R} ^{d_{x}}$ बहुपद आधार के साथ रैखिक प्रतिगमन में $\varphi (x)\in \mathbb {R} ^{d_{\varphi }}$, उदा. $[1,x]\mathbin {\stackrel {\varphi }{\rightarrow }} [1,x,x^{2},\ldots ,x^{d}]$. बहुपद आधारों का एक दोष यह है कि आधार कार्य गैर-स्थानीय हैं, जिसका अर्थ है कि किसी दिए गए मान पर y का फिट मान x = x₀ x से दूर x वाले डेटा मानों पर दृढ़ता से निर्भर करता है₀. आधुनिक आँकड़ों में, बहुपद आधार-फ़ंक्शन का उपयोग नए आधार फ़ंक्शंस, जैसे स्पलाइन (गणित), रेडियल आधार फ़ंक्शंस और छोटा लहर ्स के साथ किया जाता है। आधार कार्यों के ये परिवार कई प्रकार के डेटा के लिए अधिक अनुकूल फिट प्रदान करते हैं।

बहुपद प्रतिगमन का लक्ष्य स्वतंत्र और आश्रित चर (तकनीकी रूप से, स्वतंत्र चर और आश्रित चर के सशर्त माध्य के बीच) के बीच एक गैर-रैखिक संबंध को मॉडल करना है। यह गैरपैरामीट्रिक प्रतिगमन के लक्ष्य के समान है, जिसका उद्देश्य गैर-रेखीय प्रतिगमन संबंधों को पकड़ना है. इसलिए, गैर-पैरामीट्रिक प्रतिगमन दृष्टिकोण जैसे चौरसाई बहुपद प्रतिगमन के लिए उपयोगी विकल्प हो सकते हैं। इनमें से कुछ विधियाँ शास्त्रीय बहुपद प्रतिगमन के स्थानीयकृत रूप का उपयोग करती हैं। पारंपरिक बहुपद प्रतिगमन का एक फायदा यह है कि एकाधिक प्रतिगमन के अनुमानित ढांचे का उपयोग किया जा सकता है (यह आधार कार्यों के अन्य परिवारों जैसे स्प्लिंस का उपयोग करते समय भी लागू होता है)।

एक अंतिम विकल्प कर्नेल विधि मॉडल का उपयोग करना है जैसे बहुपद कर्नेल के साथ वेक्टर प्रतिगमन का समर्थन करना।

यदि अवशिष्टों (सांख्यिकी) में असमान भिन्नता है, तो उसके लिए एक भारित न्यूनतम वर्ग अनुमानक का उपयोग किया जा सकता है।

यह भी देखें

• वक्र फिटिंग
• रेखा प्रतिगमन
• स्थानीय बहुपद प्रतिगमन
• बहुपद और तर्कसंगत कार्य मॉडलिंग
• बहुपद प्रक्षेप
• प्रतिक्रिया सतह कार्यप्रणाली
• तख़्ता को चिकना करना

टिप्पणियाँ

• Microsoft Excel makes use of polynomial regression when fitting a trendline to data points on an X Y scatter plot.

बाहरी संबंध

• Curve Fitting, PhET Interactive simulations, University of Colorado at Boulder