बहुभिन्नरूपी अनुकूली प्रतिगमन तख़्ता: Difference between revisions
No edit summary |
No edit summary |
||
Line 41: | Line 41: | ||
[[File:Friedmans mars simple model.png|frame|right|समान डेटा का सरल मार्स मॉडल]]दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमानित <math>\widehat{y}</math> के प्रति x, y के मूल मानों को एक बार फिर लाल बिंदुओं के रूप में दिखाया गया है। पूर्वानुमानित प्रतिक्रिया अब मूल y मानों के लिए उत्तम अनुकूल है। | [[File:Friedmans mars simple model.png|frame|right|समान डेटा का सरल मार्स मॉडल]]दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमानित <math>\widehat{y}</math> के प्रति x, y के मूल मानों को एक बार फिर लाल बिंदुओं के रूप में दिखाया गया है। पूर्वानुमानित प्रतिक्रिया अब मूल y मानों के लिए उत्तम अनुकूल है। | ||
अरैखिकता को ध्यान में रखने के लिए मार्स ने स्वचालित रूप से अनुमानित y में | अरैखिकता को ध्यान में रखने के लिए मार्स ने स्वचालित रूप से अनुमानित y में घुमाव उत्पन्न किया है। किंक का निर्माण हिंज फलन द्वारा होता है। हिंज फलन से प्रारंभ होने वाले भाव <math>\max</math> (जहाँ <math>\max(a,b)</math> है <math>a</math> यदि <math>a > b</math>, अन्य <math>b</math>) हिंज फलन का नीचे अधिक विस्तार से वर्णन किया गया है। | ||
इस सरल उदाहरण में, हम प्लॉट | इस सरल उदाहरण में, हम प्लॉट द्वारा सरलता से देख सकते हैं कि y का x के साथ अरैखिक संबंध है (और संभवतः अनुमान लगा सकते हैं कि y, x के वर्ग के साथ परिवर्तित होता रहता है)। चूँकि, सामान्यतः कई आश्रित और स्वतंत्र चर होंगे, y और इन चर के मध्य संबंध अस्पष्ट होगा और प्लॉटिंग द्वारा सरलता से दिखाई नहीं देगा। हम उस अरैखिक संबंध का परिक्षण करने के लिए मार्स का उपयोग कर सकते हैं। | ||
अनेक चरों के साथ मार्स अभिव्यक्ति का | अनेक चरों के साथ मार्स अभिव्यक्ति का उदाहरण है: | ||
: <math> | : <math> | ||
Line 56: | Line 56: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
[[File:Friedmans mars ozone model.png|frame|right|मार्स मॉडल में परिवर्तनीय अंतःक्रिया]]यह अभिव्यक्ति वायु प्रदूषण (ओजोन स्तर) को तापमान और कुछ अन्य चर के आधार पर दर्शाती है। ध्यान दें कि सूत्र में अंतिम पद (अंतिम पंक्ति पर) के मध्य परस्पर क्रिया | [[File:Friedmans mars ozone model.png|frame|right|मार्स मॉडल में परिवर्तनीय अंतःक्रिया]]यह अभिव्यक्ति वायु प्रदूषण (ओजोन स्तर) को तापमान और कुछ अन्य चर के आधार पर दर्शाती है। ध्यान दें कि सूत्र में अंतिम पद (अंतिम पंक्ति पर) के मध्य परस्पर क्रिया <math>\mathrm{wind} </math> और <math>\mathrm{vis}</math> सम्मिलित है। | ||
उत्तम प्लॉट पर दिए गए आंकड़े की भविष्यवाणी की गई है <math>\mathrm{ozone}</math> जैसा <math>\mathrm{wind}</math> और <math>\mathrm{vis}</math> भिन्न-भिन्न होते हैं, अन्य चर उनके मध्य मानों पर निश्चित होते हैं। यह आंकड़ा दर्शाता है कि वायु ओजोन स्तर को तब तक प्रभावित नहीं करती जब तक दृश्यता कम न हो। हम देखते हैं कि मार्स कार्यों के संयोजन से अधिक प्रतिगमन सतहों का निर्माण कर सकता है। | उत्तम प्लॉट पर दिए गए आंकड़े की भविष्यवाणी की गई है <math>\mathrm{ozone}</math> जैसा <math>\mathrm{wind}</math> और <math>\mathrm{vis}</math> भिन्न-भिन्न होते हैं, अन्य चर उनके मध्य मानों पर निश्चित होते हैं। यह आंकड़ा दर्शाता है कि वायु ओजोन स्तर को तब तक प्रभावित नहीं करती जब तक दृश्यता कम न हो। हम देखते हैं कि मार्स कार्यों के संयोजन से अधिक प्रतिगमन सतहों का निर्माण कर सकता है। | ||
उपरोक्त अभिव्यक्ति प्राप्त करने के लिए, मार्स मॉडल निर्माण प्रक्रिया स्वचालित रूप से चयन करती है कि कौन से चर का उपयोग करना है (कुछ चर महत्वपूर्ण हैं, अन्य नहीं), | उपरोक्त अभिव्यक्ति प्राप्त करने के लिए, मार्स मॉडल निर्माण प्रक्रिया स्वचालित रूप से चयन करती है कि कौन से चर का उपयोग करना है (कुछ चर महत्वपूर्ण हैं, अन्य नहीं), फलन में किंक की स्थिति, और फलन को कैसे संयोजित किया जाता है। | ||
== मंगल ग्रह मॉडल == | == मंगल ग्रह मॉडल == | ||
Line 67: | Line 67: | ||
: <math>\widehat{f}(x) = \sum_{i=1}^k c_i B_i(x). </math> | : <math>\widehat{f}(x) = \sum_{i=1}^k c_i B_i(x). </math> | ||
मॉडल आधार | मॉडल आधार फलनो का भारित योग <math>B_i(x)</math> है प्रत्येक <math>c_i</math> स्थिर गुणांक है, उदाहरण के लिए, उपरोक्त ओजोन के सूत्र में प्रत्येक पंक्ति उसके गुणांक से गुणा किया गया [[आधार कार्य|आधार फलन]] है। | ||
प्रत्येक आधार | प्रत्येक आधार फलन <math>B_i(x)</math> निम्नलिखित तीन रूपों में से प्राप्त करता है: | ||
1) अचर 1 ऐसा पद है, अंतःखंड उपरोक्त ओजोन सूत्र में, अवरोधन पद 5.2 है। | 1) अचर 1 ऐसा पद है, अंतःखंड उपरोक्त ओजोन सूत्र में, अवरोधन पद 5.2 है। | ||
2) कार्य फलन का ऐसा रूप होता है <math> \max(0, x - \text{constant}) </math> या <math> \max(0, \text{constant} - x) </math> मार्स हिंज फलन के लिए स्वचालित रूप से उन चरों के चर और मानों का चयन करता है। ऐसे आधार | 2) कार्य फलन का ऐसा रूप होता है <math> \max(0, x - \text{constant}) </math> या <math> \max(0, \text{constant} - x) </math> मार्स हिंज फलन के लिए स्वचालित रूप से उन चरों के चर और मानों का चयन करता है। ऐसे आधार फलनो के उदाहरण ओजोन सूत्र के मध्य तीन पंक्तियों में देखे जा सकते हैं। | ||
3) दो या दो से अधिक फलनो का उत्पाद ये आधार फलन दो या दो से अधिक चरों के मध्य अंतःक्रिया को मॉडल कर सकते हैं। उदाहरण ओजोन सूत्र की अंतिम पंक्ति है। | 3) दो या दो से अधिक फलनो का उत्पाद ये आधार फलन दो या दो से अधिक चरों के मध्य अंतःक्रिया को मॉडल कर सकते हैं। उदाहरण ओजोन सूत्र की अंतिम पंक्ति है। | ||
Line 85: | Line 85: | ||
या | या | ||
: <math>\max(0,c-x)</math> | : <math>\max(0,c-x)</math> | ||
जहाँ <math>c</math> स्थिरांक है, जिसे कनॉट कहा जाता है। दाईं ओर का चित्र 3.1 पर | जहाँ <math>c</math> स्थिरांक है, जिसे कनॉट कहा जाता है। दाईं ओर का चित्र 3.1 पर कनॉट के साथ कार्य के फलन की प्रतिबिंबित जोड़ी को दर्शाता है। | ||
हिंज फलन इसकी सीमा के भाग के लिए शून्य है, इसलिए इसका उपयोग डेटा को असंयुक्त क्षेत्रों में विभाजित करने के लिए किया जा सकता है, जिनमें से प्रत्येक को स्वतंत्र रूप से व्यवहार किया जा सकता है। इस प्रकार, उदाहरण के लिए अभिव्यक्ति में | हिंज फलन इसकी सीमा के भाग के लिए शून्य है, इसलिए इसका उपयोग डेटा को असंयुक्त क्षेत्रों में विभाजित करने के लिए किया जा सकता है, जिनमें से प्रत्येक को स्वतंत्र रूप से व्यवहार किया जा सकता है। इस प्रकार, उदाहरण के लिए अभिव्यक्ति में फलन की प्रतिबिंबित जोड़ी कार्य करती है: | ||
: <math> | : <math> | ||
6.1 \max(0, x - 13) | 6.1 \max(0, x - 13) | ||
Line 101: | Line 101: | ||
{{see also|चरणबद्ध प्रतिगमन}} | {{see also|चरणबद्ध प्रतिगमन}} | ||
मार्स दो चरणों में | मार्स दो चरणों में मॉडल बनाता है: आगे और पीछे का मार्ग। यह दो-चरणीय दृष्टिकोण वही है जो [[पुनरावर्ती विभाजन]] ट्री द्वारा उपयोग किया जाता है। | ||
=== फॉरवर्ड पास === | === फॉरवर्ड पास === | ||
Line 107: | Line 107: | ||
मार्स मॉडल से प्रारंभ होता है जिसमें केवल इंटरसेप्ट टर्म होता है (जो प्रतिक्रिया मूल्यों का माध्य है)। | मार्स मॉडल से प्रारंभ होता है जिसमें केवल इंटरसेप्ट टर्म होता है (जो प्रतिक्रिया मूल्यों का माध्य है)। | ||
मार्स फिर मॉडल में जोड़े में आधार फलन को बार-बार जोड़ता है। प्रत्येक चरण में यह आधार फलनों की जोड़ी का शोध करता है जो वर्गों के योग में अवशिष्ट त्रुटि में अधिकतम कमी देता है (यह [[लालची एल्गोरिदम|ग्रेडी एल्गोरिदम]] है)। जोड़ी में दो आधार फलन समान हैं, अतिरिक्त इसके | मार्स फिर मॉडल में जोड़े में आधार फलन को बार-बार जोड़ता है। प्रत्येक चरण में यह आधार फलनों की जोड़ी का शोध करता है जो वर्गों के योग में अवशिष्ट त्रुटि में अधिकतम कमी देता है (यह [[लालची एल्गोरिदम|ग्रेडी एल्गोरिदम]] है)। जोड़ी में दो आधार फलन समान हैं, अतिरिक्त इसके प्रत्येक फलन के लिए मिरर किए गए हिंज फलन का भिन्न पक्ष उपयोग किया जाता है। प्रत्येक नए आधार फलन में मॉडल में पूर्व से ही शब्द सम्मिलित होता है (जो संभवतः इंटरसेप्ट शब्द हो सकता है) नए हिंज फलन द्वारा गुणा किया जाता है। हिंज फलन को चर और कनॉट द्वारा परिभाषित किया जाता है, इसलिए नया आधार फलन जोड़ने के लिए, मार्स को निम्नलिखित के सभी संयोजनों का परिक्षण करना होगा: | ||
1) उपस्थित शब्द (इस संदर्भ में मूल शब्द कहे जाते हैं)। | 1) उपस्थित शब्द (इस संदर्भ में मूल शब्द कहे जाते हैं)। | ||
Line 119: | Line 119: | ||
शब्दों को जोड़ने की यह प्रक्रिया तब तक प्रारम्भ रहती है जब तक कि शेष त्रुटि में परिवर्तन प्रारम्भ रखने के लिए अधिक छोटा न हो या जब तक शब्दों की अधिकतम संख्या न हो जाए। मॉडल निर्माण प्रारंभ होने से पूर्व उपयोगकर्ता द्वारा नियम की अधिकतम संख्या निर्दिष्ट की जाती है। | शब्दों को जोड़ने की यह प्रक्रिया तब तक प्रारम्भ रहती है जब तक कि शेष त्रुटि में परिवर्तन प्रारम्भ रखने के लिए अधिक छोटा न हो या जब तक शब्दों की अधिकतम संख्या न हो जाए। मॉडल निर्माण प्रारंभ होने से पूर्व उपयोगकर्ता द्वारा नियम की अधिकतम संख्या निर्दिष्ट की जाती है। | ||
प्रत्येक चरण पर परिक्षण [[ पाशविक बल खोज |पाशविक बल परिक्षण]] विधि द्वारा किया जाता है, किंतु मार्स का प्रमुख विषय यह है कि हिंज | प्रत्येक चरण पर परिक्षण [[ पाशविक बल खोज |पाशविक बल परिक्षण]] विधि द्वारा किया जाता है, किंतु मार्स का प्रमुख विषय यह है कि हिंज फलन की प्रकृति के कारण तीव्रता से न्यूनतम-वर्ग अद्यतन तकनीक का उपयोग करके परिक्षण अपेक्षाकृत तीव्रता से किया जा सकता है। वास्तव में, परिक्षण क्रूर बल नहीं है, परिक्षण को [[ heuristics |अनुमान]] के साथ तीव्रता से किया जा सकता है जो प्रत्येक चरण पर विचार करने के लिए मूल शब्दों की संख्या को कम कर देता है (फास्ट मार्स)।<ref>[[Friedman, J. H.]] (1993) ''Fast MARS'', Stanford University Department of Statistics, Technical Report 110</ref> | ||
=== बैकवर्ड पास === | === बैकवर्ड पास === | ||
फॉरवर्ड पास सामान्यतः [[ ओवरफ़िट |ओवरफ़िट]] मॉडल बनाता है। (ओवरफिट मॉडल बनाने के लिए उपयोग किए गए डेटा के लिए उत्तम प्रकार से फिट होता है किंतु नए डेटा के लिए उत्तम प्रकार से सामान्यीकृत नहीं होगा।) उत्तम सामान्यीकरण क्षमता के साथ मॉडल बनाने के लिए, बैकवर्ड पास मॉडल को विभक्त करता है। यह एक-एक करके शब्दों को विस्थापित करता है, प्रत्येक चरण में सबसे कम प्रभावी शब्द को विस्थापित करता है जब तक कि उसे सबसे उत्तम सबमॉडल नहीं मिल | फॉरवर्ड पास सामान्यतः [[ ओवरफ़िट |ओवरफ़िट]] मॉडल बनाता है। (ओवरफिट मॉडल बनाने के लिए उपयोग किए गए डेटा के लिए उत्तम प्रकार से फिट होता है किंतु नए डेटा के लिए उत्तम प्रकार से सामान्यीकृत नहीं होगा।) उत्तम सामान्यीकरण क्षमता के साथ मॉडल बनाने के लिए, बैकवर्ड पास मॉडल को विभक्त करता है। यह एक-एक करके शब्दों को विस्थापित करता है, प्रत्येक चरण में सबसे कम प्रभावी शब्द को विस्थापित करता है जब तक कि उसे सबसे उत्तम सबमॉडल नहीं मिल जाता है। मॉडल उपसमुच्चय की तुलना नीचे वर्णित सामान्यीकृत क्रॉस सत्यापन (जीसीवी) पैरामीटर का उपयोग करके किया जाता है। | ||
फॉरवर्ड पास की तुलना में बैकवर्ड पास का लाभ है: किसी भी चरण पर यह विस्थापित करने के लिए कोई भी शब्द का चयन कर सकता है, जबकि प्रत्येक चरण पर फॉरवर्ड पास केवल शब्दों की अगली जोड़ी देख सकता है। | फॉरवर्ड पास की तुलना में बैकवर्ड पास का लाभ है: किसी भी चरण पर यह विस्थापित करने के लिए कोई भी शब्द का चयन कर सकता है, जबकि प्रत्येक चरण पर फॉरवर्ड पास केवल शब्दों की अगली जोड़ी देख सकता है। | ||
फॉरवर्ड पास जोड़े में शब्द जोड़ता है, किंतु बैकवर्ड पास सामान्यतः जोड़े के ओर को विस्थापित कर देता है और इसलिए अंतिम मॉडल में शब्द प्रायः जोड़े में नहीं देखे जाते हैं। समीकरण में युग्मित | फॉरवर्ड पास जोड़े में शब्द जोड़ता है, किंतु बैकवर्ड पास सामान्यतः जोड़े के ओर को विस्थापित कर देता है और इसलिए अंतिम मॉडल में शब्द प्रायः जोड़े में नहीं देखे जाते हैं। समीकरण में युग्मित फलन देखा जा सकता है <math>\widehat{y}</math> उपरोक्त पूर्व मंगल उदाहरण में; ओजोन उदाहरण में कोई पूर्ण युग्म नहीं रखा गया है। | ||
==== सामान्यीकृत क्रॉस सत्यापन ==== | ==== सामान्यीकृत क्रॉस सत्यापन ==== | ||
Line 134: | Line 134: | ||
सबसे उत्तम सबसेट चयन करने के लिए मॉडल सबसेट के प्रदर्शन की तुलना करने के लिए बैकवर्ड पास सामान्यीकृत क्रॉस वैलिडेशन (जीसीवी) का उपयोग करता है: जीसीवी के निचले मान उत्तम होते हैं। जीसीवी [[नियमितीकरण (मशीन लर्निंग)]] का रूप है: यह मॉडल जटिलता के प्रतिस्पर्धा फिट का व्यवसाय करता है। | सबसे उत्तम सबसेट चयन करने के लिए मॉडल सबसेट के प्रदर्शन की तुलना करने के लिए बैकवर्ड पास सामान्यीकृत क्रॉस वैलिडेशन (जीसीवी) का उपयोग करता है: जीसीवी के निचले मान उत्तम होते हैं। जीसीवी [[नियमितीकरण (मशीन लर्निंग)]] का रूप है: यह मॉडल जटिलता के प्रतिस्पर्धा फिट का व्यवसाय करता है। | ||
(हम यह अनुमान लगाना चाहते हैं कि कोई मॉडल नए डेटा पर कितना उत्तम प्रदर्शन करता है, प्रशिक्षण डेटा पर प्रदर्शन नहीं करता है। ऐसा नया डेटा सामान्यतः मॉडल निर्माण के समय उपलब्ध नहीं होता है, इसलिए इसके अतिरिक्त | (हम यह अनुमान लगाना चाहते हैं कि कोई मॉडल नए डेटा पर कितना उत्तम प्रदर्शन करता है, प्रशिक्षण डेटा पर प्रदर्शन नहीं करता है। ऐसा नया डेटा सामान्यतः मॉडल निर्माण के समय उपलब्ध नहीं होता है, इसलिए इसके अतिरिक्त नए डेटा पर प्रदर्शन क्या होगा इसका अनुमान लगाने के लिए जीसीवी का उपयोग करते हैं। प्रशिक्षण डेटा पर वर्गों का अवशिष्ट योग-[[वर्गों का अवशिष्ट योग|वर्ग]] (आरएसएस) मॉडल की तुलना करने के लिए अपर्याप्त है, क्योंकि आरएसएस सदैव बढ़ता है क्योंकि एमएआरएस शब्द विस्थापित कर दिए जाते हैं। दूसरे शब्दों में, यदि आरएसएस का उपयोग मॉडलों की तुलना करने के लिए किया जाता था, तो बैकवर्ड पास सदैव चयन था सबसे बड़ा मॉडल—किंतु सबसे बड़े मॉडल में सामान्यतः सबसे उत्तम सामान्यीकरण प्रदर्शन नहीं होता है।) | ||
जीसीवी का सूत्र है: | जीसीवी का सूत्र है: | ||
Line 152: | Line 152: | ||
: (number of Mars terms − 1 ) / 2 | : (number of Mars terms − 1 ) / 2 | ||
हिंज-फलन कनॉट की संख्या है, इसलिए सूत्र कनॉट को जोड़ने पर दंड लगाता है। इस प्रकार जीसीवी सूत्र मॉडल | हिंज-फलन कनॉट की संख्या है, इसलिए सूत्र कनॉट को जोड़ने पर दंड लगाता है। इस प्रकार जीसीवी सूत्र मॉडल को ध्यान में रखते हुए प्रशिक्षण आरएसएस को समायोजित करता है। हम इसे दंडित करते हैं क्योंकि जो मॉडल अधिक स्मूथ हैं वे डेटा की व्यवस्थित संरचना के अतिरिक्त डेटा में शोर के विशिष्ट अनुभव को मॉडल करेंगे। | ||
सामान्यीकृत क्रॉस-सत्यापन को यह नाम दिया गया है क्योंकि यह त्रुटि का अनुमान लगाने के लिए | सामान्यीकृत क्रॉस-सत्यापन को यह नाम दिया गया है क्योंकि यह त्रुटि का अनुमान लगाने के लिए सूत्र का उपयोग करता है जिसे लीव-वन-आउट सत्यापन द्वारा निर्धारित किया जाएगा। यह सिर्फ अनुमान है किंतु व्यवहार में उत्तम कार्य करता है। जीसीवी को क्रेवेन और [[ग्रेस वाहबा]] द्वारा प्रस्तुत किया गया था और फ्रीडमैन द्वारा मार्स के लिए विस्तारित किया गया था। | ||
===बाधाएँ === | ===बाधाएँ === | ||
Line 160: | Line 160: | ||
बाधा का पूर्व ही उल्लेख किया जा चुका है: उपयोगकर्ता फॉरवर्ड पास में अधिकतम संख्या में शब्द निर्दिष्ट कर सकता है। | बाधा का पूर्व ही उल्लेख किया जा चुका है: उपयोगकर्ता फॉरवर्ड पास में अधिकतम संख्या में शब्द निर्दिष्ट कर सकता है। | ||
सम्बन्ध की अधिकतम स्वीकार्य डिग्री निर्दिष्ट करके फॉरवर्ड पास द्वारा बाधा उत्पन्न की जा सकती है। सामान्यतः केवल एक या दो डिग्री के सम्बन्ध की अनुमति होती है, किंतु जब डेटा | सम्बन्ध की अधिकतम स्वीकार्य डिग्री निर्दिष्ट करके फॉरवर्ड पास द्वारा बाधा उत्पन्न की जा सकती है। सामान्यतः केवल एक या दो डिग्री के सम्बन्ध की अनुमति होती है, किंतु जब डेटा इसका आश्वासन देता है तो उच्च डिग्री का उपयोग किया जा सकता है। उपरोक्त पूर्व मार्स उदाहरण में अंतःक्रिया की अधिकतम डिग्री है (अर्थात कोई अंतःक्रिया या कोई योगात्मक मॉडल नहीं); ओजोन उदाहरण में यह दो है। | ||
फॉरवर्ड पास पर अन्य बाधाएँ संभव हैं। उदाहरण के लिए, उपयोगकर्ता निर्दिष्ट कर सकता है कि इंटरैक्शन की अनुमति केवल कुछ इनपुट चर के लिए है। डेटा उत्पन्न करने वाली प्रक्रिया के ज्ञान के कारण ऐसी बाधाएं समझ में आ सकती हैं। | फॉरवर्ड पास पर अन्य बाधाएँ संभव हैं। उदाहरण के लिए, उपयोगकर्ता निर्दिष्ट कर सकता है कि इंटरैक्शन की अनुमति केवल कुछ इनपुट चर के लिए है। डेटा उत्पन्न करने वाली प्रक्रिया के ज्ञान के कारण ऐसी बाधाएं समझ में आ सकती हैं। | ||
== पक्ष और विपक्ष == | == पक्ष और विपक्ष == | ||
कोई भी प्रतिगमन मॉडलिंग तकनीक सभी स्थितियों के लिए सर्वोत्तम नहीं है। नीचे दिए गए दिशानिर्देशों का उद्देश्य मंगल ग्रह के लाभ और हानि का विचार देना है। किंतु दिशानिर्देशों के अपवाद होंगे। मंगल की तुलना पुनरावर्ती विभाजन से करना उपयोगी है और यह नीचे किया गया है।(पुनरावर्ती विभाजन को सामान्यतः प्रतिगमन | कोई भी प्रतिगमन मॉडलिंग तकनीक सभी स्थितियों के लिए सर्वोत्तम नहीं है। नीचे दिए गए दिशानिर्देशों का उद्देश्य मंगल ग्रह के लाभ और हानि का विचार देना है। किंतु दिशानिर्देशों के अपवाद होंगे। मंगल की तुलना पुनरावर्ती विभाजन से करना उपयोगी है और यह नीचे किया गया है। (पुनरावर्ती विभाजन को सामान्यतः प्रतिगमन ट्री, [[ निर्णय वृक्ष सीखना |निर्णय]] ट्री या कार्ट भी कहा जाता है; विवरण के लिए पुनरावर्ती विभाजन लेख देखें)। | ||
*मार्स मॉडल रैखिक प्रतिगमन मॉडल की तुलना में अधिक | *मार्स मॉडल रैखिक प्रतिगमन मॉडल की तुलना में अधिक स्मूथ होते हैं। | ||
*मार्स मॉडल | *मार्स मॉडल अध्ययन करने और व्याख्या करने में सरल हैं।<ref name=":0">{{Cite book|title=एप्लाइड प्रेडिक्टिव मॉडलिंग|last1=Kuhn|first1=Max|last2=Johnson|first2=Kjell|date=2013|publisher=Springer New York|isbn=9781461468486|location=New York, NY|language=en|doi=10.1007/978-1-4614-6849-3}}</ref> उपरोक्त ओजोन सांद्रता के समीकरण की तुलना, मान लीजिए, प्रशिक्षित [[कृत्रिम तंत्रिका नेटवर्क|कृत्रिम प्रणाली नेटवर्क]] या यादृच्छिक फारेस्ट के आंतरिक भाग में करें। | ||
*मार्स निरंतर और श्रेणीबद्ध डेटा दोनों को संभाल सकता है।<ref>{{cite book | last=Friedman | first=Jerome H. | chapter=Estimating Functions of Mixed Ordinal and Categorical Variables Using Adaptive Splines | author-link=Friedman, J. H.|year=1993|title=सांख्यिकीय डेटा विश्लेषण और मजबूती में नई दिशाएँ|editor=Stephan Morgenthaler |editor2=Elvezio Ronchetti |editor3=Werner Stahel|publisher=Birkhauser}}</ref><ref name="Friedman 1991">{{cite journal | last=Friedman | first=Jerome H. | title=अनुकूली स्प्लाइन का उपयोग करके मिश्रित क्रमसूचक और श्रेणीबद्ध चर के कार्यों का अनुमान लगाना| website=DTIC | date=1991-06-01 | url=https://apps.dtic.mil/sti/citations/ADA590939 | archive-url=https://web.archive.org/web/20220411085148/https://apps.dtic.mil/sti/citations/ADA590939 | url-status=live | archive-date=April 11, 2022 | access-date=2022-04-11}}</ref>मार्स संख्यात्मक डेटा के लिए पुनरावर्ती विभाजन से उत्तम होता है क्योंकि पुनरावर्ती विभाजन द्वारा उपयोग किए जाने वाले भाग निरंतर विभाजन की तुलना में संख्यात्मक चर के लिए व्याख्या अधिक उपयुक्त होती है। | *मार्स निरंतर और श्रेणीबद्ध डेटा दोनों को संभाल सकता है।<ref>{{cite book | last=Friedman | first=Jerome H. | chapter=Estimating Functions of Mixed Ordinal and Categorical Variables Using Adaptive Splines | author-link=Friedman, J. H.|year=1993|title=सांख्यिकीय डेटा विश्लेषण और मजबूती में नई दिशाएँ|editor=Stephan Morgenthaler |editor2=Elvezio Ronchetti |editor3=Werner Stahel|publisher=Birkhauser}}</ref><ref name="Friedman 1991">{{cite journal | last=Friedman | first=Jerome H. | title=अनुकूली स्प्लाइन का उपयोग करके मिश्रित क्रमसूचक और श्रेणीबद्ध चर के कार्यों का अनुमान लगाना| website=DTIC | date=1991-06-01 | url=https://apps.dtic.mil/sti/citations/ADA590939 | archive-url=https://web.archive.org/web/20220411085148/https://apps.dtic.mil/sti/citations/ADA590939 | url-status=live | archive-date=April 11, 2022 | access-date=2022-04-11}}</ref>मार्स संख्यात्मक डेटा के लिए पुनरावर्ती विभाजन से उत्तम होता है क्योंकि पुनरावर्ती विभाजन द्वारा उपयोग किए जाने वाले भाग निरंतर विभाजन की तुलना में संख्यात्मक चर के लिए व्याख्या अधिक उपयुक्त होती है। | ||
*मार्स मॉडल के निर्माण के लिए प्रायः अधिक कम या कोई डेटा तैयारी की आवश्यकता नहीं होती है।<ref name=":0" />हिंज फलन स्वचालित रूप से इनपुट डेटा को विभाजित करता है, इसलिए आउटलेर्स का प्रभाव निहित होता है। इस संबंध में मार्स पुनरावर्ती विभाजन के समान है जो डेटा को असंयुक्त क्षेत्रों में भी विभाजित करता है, चूँकि भिन्न विधि का उपयोग करता है। (फिर भी, अधिकांश सांख्यिकीय मॉडलिंग तकनीकों के जैसे, मार्स मॉडल को प्रशिक्षित करने से पूर्व ज्ञात आउटलेर्स को विस्थापित करने पर विचार किया जाना चाहिए।) | *मार्स मॉडल के निर्माण के लिए प्रायः अधिक कम या कोई डेटा तैयारी की आवश्यकता नहीं होती है।<ref name=":0" />हिंज फलन स्वचालित रूप से इनपुट डेटा को विभाजित करता है, इसलिए आउटलेर्स का प्रभाव निहित होता है। इस संबंध में मार्स पुनरावर्ती विभाजन के समान है जो डेटा को असंयुक्त क्षेत्रों में भी विभाजित करता है, चूँकि भिन्न विधि का उपयोग करता है। (फिर भी, अधिकांश सांख्यिकीय मॉडलिंग तकनीकों के जैसे, मार्स मॉडल को प्रशिक्षित करने से पूर्व ज्ञात आउटलेर्स को विस्थापित करने पर विचार किया जाना चाहिए।) | ||
*मार्स (पुनरावर्ती विभाजन के जैसे) स्वचालित चर चयन करता है (जिसका अर्थ है कि यह मॉडल में महत्वपूर्ण चर सम्मिलित करता है और महत्वहीन को बाहर कर देता है)। चूँकि, चयन में कुछ मनमानी हो सकती है, विशेषकर जब सहसंबद्ध भविष्यवक्ता हों, और यह व्याख्या को प्रभावित कर सकता है।<ref name=":0" /> | *मार्स (पुनरावर्ती विभाजन के जैसे) स्वचालित चर चयन करता है (जिसका अर्थ है कि यह मॉडल में महत्वपूर्ण चर सम्मिलित करता है और महत्वहीन को बाहर कर देता है)। चूँकि, चयन में कुछ मनमानी हो सकती है, विशेषकर जब सहसंबद्ध भविष्यवक्ता हों, और यह व्याख्या को प्रभावित कर सकता है।<ref name=":0" /> | ||
*मार्स मॉडल में पूर्वाग्रह-विचरण व्यवसाय-बंद होता है। मॉडल अरैखिकता और परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए पर्याप्त होते हैं (इस प्रकार मार्स मॉडल में अधिक कम पूर्वाग्रह है), फिर भी मार्स आधार | *मार्स मॉडल में पूर्वाग्रह-विचरण व्यवसाय-बंद होता है। मॉडल अरैखिकता और परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए पर्याप्त होते हैं (इस प्रकार मार्स मॉडल में अधिक कम पूर्वाग्रह है), फिर भी मार्स आधार फलन का बाधित रूप अधिक स्मूथली का अवरोध करता है (इस प्रकार मार्स मॉडल में अधिक कम भिन्नता होती है)। | ||
*मार्स अधिक बड़े डेटासेट को संभालने के लिए उपयुक्त है। 100 भविष्यवक्ताओं और 10<sup>5</sup> अवलोकनों के साथ इनपुट मैट्रिक्स से मार्स मॉडल बनाना नियमित विषय है ऐसा मॉडल 1 गीगाहर्ट्ज मशीन पर लगभग एक मिनट में बनाया जा सकता है, यह मानते हुए कि मार्स शब्दों की परस्पर क्रिया की अधिकतम डिग्री तक सीमित है (अर्थात केवल योगात्मक शब्द)। समान 1 गीगाहर्ट्ज़ मशीन पर समान डेटा वाले डिग्री दो मॉडल को अधिक समय लगता है- लगभग 12 मिनट। ध्यान रखें कि यह समय अत्यधिक डेटा पर निर्भर है। पुनरावर्ती विभाजन मार्स की तुलना में अधिक तीव्र है। | *मार्स अधिक बड़े डेटासेट को संभालने के लिए उपयुक्त है। 100 भविष्यवक्ताओं और 10<sup>5</sup> अवलोकनों के साथ इनपुट मैट्रिक्स से मार्स मॉडल बनाना नियमित विषय है ऐसा मॉडल 1 गीगाहर्ट्ज मशीन पर लगभग एक मिनट में बनाया जा सकता है, यह मानते हुए कि मार्स शब्दों की परस्पर क्रिया की अधिकतम डिग्री तक सीमित है (अर्थात केवल योगात्मक शब्द)। समान 1 गीगाहर्ट्ज़ मशीन पर समान डेटा वाले डिग्री दो मॉडल को अधिक समय लगता है- लगभग 12 मिनट। ध्यान रखें कि यह समय अत्यधिक डेटा पर निर्भर है। पुनरावर्ती विभाजन मार्स की तुलना में अधिक तीव्र है। | ||
*मार्स मॉडल के साथ, किसी भी अपैरामीट्रिक प्रतिगमन के जैसे, मॉडल पर पैरामीटर आत्मविश्वास अंतराल और अन्य शोधों की गणना सीधे नहीं की जा सकती (रैखिक प्रतिगमन मॉडल के विपरीत)। इसके अतिरिक्त मॉडल को मान्य करने के लिए क्रॉस-सत्यापन और संबंधित तकनीकों का उपयोग किया जाना चाहिए। | *मार्स मॉडल के साथ, किसी भी अपैरामीट्रिक प्रतिगमन के जैसे, मॉडल पर पैरामीटर आत्मविश्वास अंतराल और अन्य शोधों की गणना सीधे नहीं की जा सकती (रैखिक प्रतिगमन मॉडल के विपरीत)। इसके अतिरिक्त मॉडल को मान्य करने के लिए क्रॉस-सत्यापन और संबंधित तकनीकों का उपयोग किया जाना चाहिए। | ||
Line 182: | Line 182: | ||
== विस्तार और संबंधित अवधारणाएँ == | == विस्तार और संबंधित अवधारणाएँ == | ||
* [[सामान्यीकृत रैखिक मॉडल]] (जीएलएम) को मार्स मॉडल के निर्माण के पश्चात लिंक फलन प्रारम्भ करके मार्स मॉडल में सम्मिलित किया जा सकता है। इस प्रकार, उदाहरण के लिए, मार्स मॉडल संभावनाओं की भविष्यवाणी करने के लिए [[ संभार तन्त्र परावर्तन |लॉजिस्टिक रिग्रेशन]] को सम्मिलित कर सकते हैं। | * [[सामान्यीकृत रैखिक मॉडल]] (जीएलएम) को मार्स मॉडल के निर्माण के पश्चात लिंक फलन प्रारम्भ करके मार्स मॉडल में सम्मिलित किया जा सकता है। इस प्रकार, उदाहरण के लिए, मार्स मॉडल संभावनाओं की भविष्यवाणी करने के लिए [[ संभार तन्त्र परावर्तन |लॉजिस्टिक रिग्रेशन]] को सम्मिलित कर सकते हैं। | ||
* [[अरेखीय प्रतिगमन]] का उपयोग तब | * [[अरेखीय प्रतिगमन]] का उपयोग तब कि बिना [[अच्छी तरह से प्रस्तुत समस्या|उत्तम प्रकार से प्रस्तुत समस्या]] नहीं की जा सकती है।) | ||
* पुनरावर्ती विभाजन (सामान्यतः कार्ट या जाता है जब फलन का अंतर्निहित रूप ज्ञात होता है और प्रतिगमन का उपयोग केवल उस फलन के पैरामीटर का अनुमान लगाने के लिए किया जाता है। दूसरी ओर, मंगल स्वयं फलन का अनुमान लगाता है, यद्यपि फलन की प्रकृति पर जटिल बाधाएं होती हैं। (ये बाधाएँ आवश्यक हैं क्योंकि डेटा से मॉडल का परिक्षण करना विपरीत समस्या है जिसे मॉडल पर बाधाओं कहा जाता है)। मार्स को पुनरावर्ती विभाजन के सामान्यीकरण के रूप में देखा जा सकता है जो मॉडल को संख्यात्मक (अर्थात अश्रेणीबद्ध) डेटा को उत्तम रूप से संभालने की अनुमति देता है। | |||
* [[सामान्यीकृत योगात्मक मॉडल]] उपयोगकर्ता के दृष्टिकोण से GAM, MARS के समान हैं, किंतु (a) मार्स आधार | * [[सामान्यीकृत योगात्मक मॉडल]] उपयोगकर्ता के दृष्टिकोण से GAM, MARS के समान हैं, किंतु (a) मार्स आधार फलन के अतिरिक्त सुचारू [[स्थानीय प्रतिगमन]] या बहुपद स्पलाइन (गणित) में फिट होते हैं, और (b) स्वचालित रूप से परिवर्तनीय इंटरैक्शन को मॉडल नहीं करते हैं। GAMs द्वारा आंतरिक रूप से उपयोग की जाने वाली फिटिंग विधि मार्स से अधिक भिन्न है। ऐसे मॉडलों के लिए जिन्हें परिवर्तनीय इंटरैक्शन की स्वचालित परिक्षण की आवश्यकता नहीं होती है, GAMs प्रायः मार्स के साथ अनुकूल प्रतिस्पर्धा करते हैं। | ||
* [[टीएसएमएआरएस]] टाइम सीरीज़ मार्स वह शब्द है जिसका उपयोग तब किया जाता है जब मार्स मॉडल को टाइम सीरीज़ संदर्भ में प्रारम्भ किया जाता है। सामान्यतः इस सेट अप में भविष्यवक्ता विलंबित समय श्रृंखला मान होते हैं जिसके परिणामस्वरूप स्वतः प्रतिगामी स्पलाइन मॉडल होते हैं। मूविंग एवरेज स्पलाइन मॉडल को सम्मिलित करने के लिए इन मॉडलों और एक्सटेंशनों को टीएसएमएआरएस का उपयोग करके यूनीवेरिएट टाइम सीरीज़ मॉडलिंग और पूर्वानुमान टीएसएमएआरएस का उपयोग करके थ्रेशोल्ड टाइम सीरीज़ स्वतः प्रतिगामी, सीज़नल और मूविंग एवरेज मॉडल | * [[टीएसएमएआरएस]] टाइम सीरीज़ मार्स वह शब्द है जिसका उपयोग तब किया जाता है जब मार्स मॉडल को टाइम सीरीज़ संदर्भ में प्रारम्भ किया जाता है। सामान्यतः इस सेट अप में भविष्यवक्ता विलंबित समय श्रृंखला मान होते हैं जिसके परिणामस्वरूप स्वतः प्रतिगामी स्पलाइन मॉडल होते हैं। मूविंग एवरेज स्पलाइन मॉडल को सम्मिलित करने के लिए इन मॉडलों और एक्सटेंशनों को टीएसएमएआरएस का उपयोग करके यूनीवेरिएट टाइम सीरीज़ मॉडलिंग और पूर्वानुमान टीएसएमएआरएस का उपयोग करके थ्रेशोल्ड टाइम सीरीज़ स्वतः प्रतिगामी, सीज़नल और मूविंग एवरेज मॉडल के अध्ययन" में किया गया है। | ||
* [[ बायेसियन मंगल | बायेसियन मार्स]] (बीएमएआरएस) एक ही मॉडल फॉर्म का उपयोग करता है, किंतु बायेसियन दृष्टिकोण का उपयोग करके मॉडल बनाता है। यह विभिन्न इष्टतम मार्स मॉडल पर पहुंच सकता है क्योंकि मॉडल निर्माण का दृष्टिकोण भिन्न है। बीमार्स का परिणाम सामान्यतः मार्स मॉडल के पूर्व प्रारूप का समूह होता है, जो संभाव्य भविष्यवाणी की अनुमति देता है।<ref>{{cite journal |last1=Denison |first1=D. G. T. |last2=Mallick |first2=B. K. |last3=Smith |first3=A. F. M. |title=बायेसियन मंगल|journal=Statistics and Computing |date=1 December 1998 |volume=8 |issue=4 |pages=337–346 |doi=10.1023/A:1008824606259 |s2cid=12570055 |url=https://link.springer.com/content/pdf/10.1023/A:1008824606259.pdf |language=en |issn=1573-1375}}</ref> | * [[ बायेसियन मंगल | बायेसियन मार्स]] (बीएमएआरएस) एक ही मॉडल फॉर्म का उपयोग करता है, किंतु बायेसियन दृष्टिकोण का उपयोग करके मॉडल बनाता है। यह विभिन्न इष्टतम मार्स मॉडल पर पहुंच सकता है क्योंकि मॉडल निर्माण का दृष्टिकोण भिन्न है। बीमार्स का परिणाम सामान्यतः मार्स मॉडल के पूर्व प्रारूप का समूह होता है, जो संभाव्य भविष्यवाणी की अनुमति देता है।<ref>{{cite journal |last1=Denison |first1=D. G. T. |last2=Mallick |first2=B. K. |last3=Smith |first3=A. F. M. |title=बायेसियन मंगल|journal=Statistics and Computing |date=1 December 1998 |volume=8 |issue=4 |pages=337–346 |doi=10.1023/A:1008824606259 |s2cid=12570055 |url=https://link.springer.com/content/pdf/10.1023/A:1008824606259.pdf |language=en |issn=1573-1375}}</ref> | ||
Revision as of 22:09, 11 July 2023
आंकड़ों में, बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिन (मार्स) 1991 में जेरोम एच. फ्रीडमैन द्वारा प्रस्तुत प्रतिगमन विश्लेषण का रूप है।[1] यह अपैरामीट्रिक प्रतिगमन तकनीक है और इसे रैखिक मॉडल के विस्तार के रूप में देखा जा सकता है जो स्वचालित रूप से चर के मध्य अरैखिकता और इंटरैक्शन को मॉडल करता है।
मार्स सैलफोर्ड प्रणाली द्वारा ट्रेडमार्क और लाइसेंसीकृत है। ट्रेडमार्क उल्लंघनों से बचने के लिए, मार्स के कई विवृत-सोर्स कार्यान्वयनों को एअर्थ कहा जाता है।[2][3]
आधार
यह खंड कुछ उदाहरणों का उपयोग करके मंगल ग्रह का परिचय देता है। हम डेटा के सेट से प्रारंभ करते हैं: इनपुट चर x का मैट्रिक्स, और देखी गई प्रतिक्रियाओं y का वेक्टर, x में प्रत्येक पंक्ति के लिए प्रतिक्रिया के साथ है। उदाहरण के लिए, डेटा हो सकता है:
x | y |
---|---|
10.5 | 16.4 |
10.7 | 18.8 |
10.8 | 19.7 |
... | ... |
20.6 | 77.0 |
यहां केवल आश्रित और स्वतंत्र चर है, इसलिए x मैट्रिक्स केवल कॉलम है। इन मापों को देखते हुए, हम मॉडल बनाना चाहेंगे जो किसी दिए गए x के लिए अपेक्षित y की भविष्यवाणी करता है।
उपरोक्त डेटा के लिए रैखिक मॉडल है:
हैट दर्शाता है कि डेटा से अनुमान लगाया गया है। दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमान बताने वाली पंक्ति के प्रति x, y के मूल मान को लाल बिंदुओं के रूप में दिखाया गया है।
x के शीर्ष पर डेटा प्रदर्शित करता है कि y और x के मध्य संबंध अरैखिक हो सकता है (x के निम्न और उच्च मूल्यों पर प्रतिगमन रेखा के सापेक्ष लाल बिंदुओं को देखें)। इस प्रकार अरैखिकताओं को ध्यान में रखते हुए स्वचालित रूप से मॉडल बनाने के लिए मार्स की ओर संकेत करते हैं। मार्स सॉफ़्टवेयर दिए गए x और y से निम्नानुसार मॉडल बनाता है:
दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमानित के प्रति x, y के मूल मानों को एक बार फिर लाल बिंदुओं के रूप में दिखाया गया है। पूर्वानुमानित प्रतिक्रिया अब मूल y मानों के लिए उत्तम अनुकूल है।
अरैखिकता को ध्यान में रखने के लिए मार्स ने स्वचालित रूप से अनुमानित y में घुमाव उत्पन्न किया है। किंक का निर्माण हिंज फलन द्वारा होता है। हिंज फलन से प्रारंभ होने वाले भाव (जहाँ है यदि , अन्य ) हिंज फलन का नीचे अधिक विस्तार से वर्णन किया गया है।
इस सरल उदाहरण में, हम प्लॉट द्वारा सरलता से देख सकते हैं कि y का x के साथ अरैखिक संबंध है (और संभवतः अनुमान लगा सकते हैं कि y, x के वर्ग के साथ परिवर्तित होता रहता है)। चूँकि, सामान्यतः कई आश्रित और स्वतंत्र चर होंगे, y और इन चर के मध्य संबंध अस्पष्ट होगा और प्लॉटिंग द्वारा सरलता से दिखाई नहीं देगा। हम उस अरैखिक संबंध का परिक्षण करने के लिए मार्स का उपयोग कर सकते हैं।
अनेक चरों के साथ मार्स अभिव्यक्ति का उदाहरण है:
यह अभिव्यक्ति वायु प्रदूषण (ओजोन स्तर) को तापमान और कुछ अन्य चर के आधार पर दर्शाती है। ध्यान दें कि सूत्र में अंतिम पद (अंतिम पंक्ति पर) के मध्य परस्पर क्रिया और सम्मिलित है।
उत्तम प्लॉट पर दिए गए आंकड़े की भविष्यवाणी की गई है जैसा और भिन्न-भिन्न होते हैं, अन्य चर उनके मध्य मानों पर निश्चित होते हैं। यह आंकड़ा दर्शाता है कि वायु ओजोन स्तर को तब तक प्रभावित नहीं करती जब तक दृश्यता कम न हो। हम देखते हैं कि मार्स कार्यों के संयोजन से अधिक प्रतिगमन सतहों का निर्माण कर सकता है।
उपरोक्त अभिव्यक्ति प्राप्त करने के लिए, मार्स मॉडल निर्माण प्रक्रिया स्वचालित रूप से चयन करती है कि कौन से चर का उपयोग करना है (कुछ चर महत्वपूर्ण हैं, अन्य नहीं), फलन में किंक की स्थिति, और फलन को कैसे संयोजित किया जाता है।
मंगल ग्रह मॉडल
मार्स फॉर्म के मॉडल बनाता है:
मॉडल आधार फलनो का भारित योग है प्रत्येक स्थिर गुणांक है, उदाहरण के लिए, उपरोक्त ओजोन के सूत्र में प्रत्येक पंक्ति उसके गुणांक से गुणा किया गया आधार फलन है।
प्रत्येक आधार फलन निम्नलिखित तीन रूपों में से प्राप्त करता है:
1) अचर 1 ऐसा पद है, अंतःखंड उपरोक्त ओजोन सूत्र में, अवरोधन पद 5.2 है।
2) कार्य फलन का ऐसा रूप होता है या मार्स हिंज फलन के लिए स्वचालित रूप से उन चरों के चर और मानों का चयन करता है। ऐसे आधार फलनो के उदाहरण ओजोन सूत्र के मध्य तीन पंक्तियों में देखे जा सकते हैं।
3) दो या दो से अधिक फलनो का उत्पाद ये आधार फलन दो या दो से अधिक चरों के मध्य अंतःक्रिया को मॉडल कर सकते हैं। उदाहरण ओजोन सूत्र की अंतिम पंक्ति है।
कार्य के फलन
मार्स मॉडल का प्रमुख भाग रूप धारण करने वाले हिंज फलन हैं:
या
जहाँ स्थिरांक है, जिसे कनॉट कहा जाता है। दाईं ओर का चित्र 3.1 पर कनॉट के साथ कार्य के फलन की प्रतिबिंबित जोड़ी को दर्शाता है।
हिंज फलन इसकी सीमा के भाग के लिए शून्य है, इसलिए इसका उपयोग डेटा को असंयुक्त क्षेत्रों में विभाजित करने के लिए किया जा सकता है, जिनमें से प्रत्येक को स्वतंत्र रूप से व्यवहार किया जा सकता है। इस प्रकार, उदाहरण के लिए अभिव्यक्ति में फलन की प्रतिबिंबित जोड़ी कार्य करती है:
पूर्व अनुभाग में सरल मार्स मॉडल के लिए दिखाया गया भाग रैखिक ग्राफ़ बनाता है।
कोई यह मान सकता है कि हिंज फलन के भाग से रैखिक फलन बनाए जा सकते हैं, किंतु नॉन-लीनियर फलन बनाने के लिए हिंज फलन के साथ गुणा किया जा सकता है।
हिंज फलन को रैंप फलन, आइस हॉकी स्टिक, या रेक्टिफायर (तंत्रिका नेटवर्क) फलन भी कहा जाता है। परिवर्तन में अधिकतम इस आलेख में उपयोग किए गए नोटेशन में, हिंज फलन को प्रायः से दर्शाया जाता है जहाँ का तात्पर्य सकारात्मक भाग है।
मॉडल निर्माण प्रक्रिया
मार्स दो चरणों में मॉडल बनाता है: आगे और पीछे का मार्ग। यह दो-चरणीय दृष्टिकोण वही है जो पुनरावर्ती विभाजन ट्री द्वारा उपयोग किया जाता है।
फॉरवर्ड पास
मार्स मॉडल से प्रारंभ होता है जिसमें केवल इंटरसेप्ट टर्म होता है (जो प्रतिक्रिया मूल्यों का माध्य है)।
मार्स फिर मॉडल में जोड़े में आधार फलन को बार-बार जोड़ता है। प्रत्येक चरण में यह आधार फलनों की जोड़ी का शोध करता है जो वर्गों के योग में अवशिष्ट त्रुटि में अधिकतम कमी देता है (यह ग्रेडी एल्गोरिदम है)। जोड़ी में दो आधार फलन समान हैं, अतिरिक्त इसके प्रत्येक फलन के लिए मिरर किए गए हिंज फलन का भिन्न पक्ष उपयोग किया जाता है। प्रत्येक नए आधार फलन में मॉडल में पूर्व से ही शब्द सम्मिलित होता है (जो संभवतः इंटरसेप्ट शब्द हो सकता है) नए हिंज फलन द्वारा गुणा किया जाता है। हिंज फलन को चर और कनॉट द्वारा परिभाषित किया जाता है, इसलिए नया आधार फलन जोड़ने के लिए, मार्स को निम्नलिखित के सभी संयोजनों का परिक्षण करना होगा:
1) उपस्थित शब्द (इस संदर्भ में मूल शब्द कहे जाते हैं)।
2) सभी चर (नए आधार फलन का चयन करने के लिए)।
3) प्रत्येक चर के सभी मान (नए कार्य फलन के लिए कनॉट)।
प्रत्येक पद के गुणांक की गणना करने के लिए मार्स पदों पर रेखीय प्रतिगमन प्रारम्भ करता है।
शब्दों को जोड़ने की यह प्रक्रिया तब तक प्रारम्भ रहती है जब तक कि शेष त्रुटि में परिवर्तन प्रारम्भ रखने के लिए अधिक छोटा न हो या जब तक शब्दों की अधिकतम संख्या न हो जाए। मॉडल निर्माण प्रारंभ होने से पूर्व उपयोगकर्ता द्वारा नियम की अधिकतम संख्या निर्दिष्ट की जाती है।
प्रत्येक चरण पर परिक्षण पाशविक बल परिक्षण विधि द्वारा किया जाता है, किंतु मार्स का प्रमुख विषय यह है कि हिंज फलन की प्रकृति के कारण तीव्रता से न्यूनतम-वर्ग अद्यतन तकनीक का उपयोग करके परिक्षण अपेक्षाकृत तीव्रता से किया जा सकता है। वास्तव में, परिक्षण क्रूर बल नहीं है, परिक्षण को अनुमान के साथ तीव्रता से किया जा सकता है जो प्रत्येक चरण पर विचार करने के लिए मूल शब्दों की संख्या को कम कर देता है (फास्ट मार्स)।[4]
बैकवर्ड पास
फॉरवर्ड पास सामान्यतः ओवरफ़िट मॉडल बनाता है। (ओवरफिट मॉडल बनाने के लिए उपयोग किए गए डेटा के लिए उत्तम प्रकार से फिट होता है किंतु नए डेटा के लिए उत्तम प्रकार से सामान्यीकृत नहीं होगा।) उत्तम सामान्यीकरण क्षमता के साथ मॉडल बनाने के लिए, बैकवर्ड पास मॉडल को विभक्त करता है। यह एक-एक करके शब्दों को विस्थापित करता है, प्रत्येक चरण में सबसे कम प्रभावी शब्द को विस्थापित करता है जब तक कि उसे सबसे उत्तम सबमॉडल नहीं मिल जाता है। मॉडल उपसमुच्चय की तुलना नीचे वर्णित सामान्यीकृत क्रॉस सत्यापन (जीसीवी) पैरामीटर का उपयोग करके किया जाता है।
फॉरवर्ड पास की तुलना में बैकवर्ड पास का लाभ है: किसी भी चरण पर यह विस्थापित करने के लिए कोई भी शब्द का चयन कर सकता है, जबकि प्रत्येक चरण पर फॉरवर्ड पास केवल शब्दों की अगली जोड़ी देख सकता है।
फॉरवर्ड पास जोड़े में शब्द जोड़ता है, किंतु बैकवर्ड पास सामान्यतः जोड़े के ओर को विस्थापित कर देता है और इसलिए अंतिम मॉडल में शब्द प्रायः जोड़े में नहीं देखे जाते हैं। समीकरण में युग्मित फलन देखा जा सकता है उपरोक्त पूर्व मंगल उदाहरण में; ओजोन उदाहरण में कोई पूर्ण युग्म नहीं रखा गया है।
सामान्यीकृत क्रॉस सत्यापन
सबसे उत्तम सबसेट चयन करने के लिए मॉडल सबसेट के प्रदर्शन की तुलना करने के लिए बैकवर्ड पास सामान्यीकृत क्रॉस वैलिडेशन (जीसीवी) का उपयोग करता है: जीसीवी के निचले मान उत्तम होते हैं। जीसीवी नियमितीकरण (मशीन लर्निंग) का रूप है: यह मॉडल जटिलता के प्रतिस्पर्धा फिट का व्यवसाय करता है।
(हम यह अनुमान लगाना चाहते हैं कि कोई मॉडल नए डेटा पर कितना उत्तम प्रदर्शन करता है, प्रशिक्षण डेटा पर प्रदर्शन नहीं करता है। ऐसा नया डेटा सामान्यतः मॉडल निर्माण के समय उपलब्ध नहीं होता है, इसलिए इसके अतिरिक्त नए डेटा पर प्रदर्शन क्या होगा इसका अनुमान लगाने के लिए जीसीवी का उपयोग करते हैं। प्रशिक्षण डेटा पर वर्गों का अवशिष्ट योग-वर्ग (आरएसएस) मॉडल की तुलना करने के लिए अपर्याप्त है, क्योंकि आरएसएस सदैव बढ़ता है क्योंकि एमएआरएस शब्द विस्थापित कर दिए जाते हैं। दूसरे शब्दों में, यदि आरएसएस का उपयोग मॉडलों की तुलना करने के लिए किया जाता था, तो बैकवर्ड पास सदैव चयन था सबसे बड़ा मॉडल—किंतु सबसे बड़े मॉडल में सामान्यतः सबसे उत्तम सामान्यीकरण प्रदर्शन नहीं होता है।)
जीसीवी का सूत्र है:
- GCV = RSS / (N · (1 − (effective number of parameters) / N)2)
जहां आरएसएस प्रशिक्षण डेटा पर मापा गया वर्गों का अवशिष्ट योग है और N अवलोकनों की संख्या ('x' मैट्रिक्स में पंक्तियों की संख्या) है।
EffectiveNumberOfParameters को मार्स संदर्भ में इस प्रकार परिभाषित किया गया है:
- (effective number of parameters) = (number of mars terms) + (penalty) · ((number of Mars terms) − 1 ) / 2
जहां 'दंड' लगभग 2 या 3 है (एमएआरएस सॉफ्टवेयर उपयोगकर्ता को दंड पूर्व निर्धारित करने की अनुमति देता है)।
ध्यान दें कि
- (number of Mars terms − 1 ) / 2
हिंज-फलन कनॉट की संख्या है, इसलिए सूत्र कनॉट को जोड़ने पर दंड लगाता है। इस प्रकार जीसीवी सूत्र मॉडल को ध्यान में रखते हुए प्रशिक्षण आरएसएस को समायोजित करता है। हम इसे दंडित करते हैं क्योंकि जो मॉडल अधिक स्मूथ हैं वे डेटा की व्यवस्थित संरचना के अतिरिक्त डेटा में शोर के विशिष्ट अनुभव को मॉडल करेंगे।
सामान्यीकृत क्रॉस-सत्यापन को यह नाम दिया गया है क्योंकि यह त्रुटि का अनुमान लगाने के लिए सूत्र का उपयोग करता है जिसे लीव-वन-आउट सत्यापन द्वारा निर्धारित किया जाएगा। यह सिर्फ अनुमान है किंतु व्यवहार में उत्तम कार्य करता है। जीसीवी को क्रेवेन और ग्रेस वाहबा द्वारा प्रस्तुत किया गया था और फ्रीडमैन द्वारा मार्स के लिए विस्तारित किया गया था।
बाधाएँ
बाधा का पूर्व ही उल्लेख किया जा चुका है: उपयोगकर्ता फॉरवर्ड पास में अधिकतम संख्या में शब्द निर्दिष्ट कर सकता है।
सम्बन्ध की अधिकतम स्वीकार्य डिग्री निर्दिष्ट करके फॉरवर्ड पास द्वारा बाधा उत्पन्न की जा सकती है। सामान्यतः केवल एक या दो डिग्री के सम्बन्ध की अनुमति होती है, किंतु जब डेटा इसका आश्वासन देता है तो उच्च डिग्री का उपयोग किया जा सकता है। उपरोक्त पूर्व मार्स उदाहरण में अंतःक्रिया की अधिकतम डिग्री है (अर्थात कोई अंतःक्रिया या कोई योगात्मक मॉडल नहीं); ओजोन उदाहरण में यह दो है।
फॉरवर्ड पास पर अन्य बाधाएँ संभव हैं। उदाहरण के लिए, उपयोगकर्ता निर्दिष्ट कर सकता है कि इंटरैक्शन की अनुमति केवल कुछ इनपुट चर के लिए है। डेटा उत्पन्न करने वाली प्रक्रिया के ज्ञान के कारण ऐसी बाधाएं समझ में आ सकती हैं।
पक्ष और विपक्ष
कोई भी प्रतिगमन मॉडलिंग तकनीक सभी स्थितियों के लिए सर्वोत्तम नहीं है। नीचे दिए गए दिशानिर्देशों का उद्देश्य मंगल ग्रह के लाभ और हानि का विचार देना है। किंतु दिशानिर्देशों के अपवाद होंगे। मंगल की तुलना पुनरावर्ती विभाजन से करना उपयोगी है और यह नीचे किया गया है। (पुनरावर्ती विभाजन को सामान्यतः प्रतिगमन ट्री, निर्णय ट्री या कार्ट भी कहा जाता है; विवरण के लिए पुनरावर्ती विभाजन लेख देखें)।
- मार्स मॉडल रैखिक प्रतिगमन मॉडल की तुलना में अधिक स्मूथ होते हैं।
- मार्स मॉडल अध्ययन करने और व्याख्या करने में सरल हैं।[5] उपरोक्त ओजोन सांद्रता के समीकरण की तुलना, मान लीजिए, प्रशिक्षित कृत्रिम प्रणाली नेटवर्क या यादृच्छिक फारेस्ट के आंतरिक भाग में करें।
- मार्स निरंतर और श्रेणीबद्ध डेटा दोनों को संभाल सकता है।[6][7]मार्स संख्यात्मक डेटा के लिए पुनरावर्ती विभाजन से उत्तम होता है क्योंकि पुनरावर्ती विभाजन द्वारा उपयोग किए जाने वाले भाग निरंतर विभाजन की तुलना में संख्यात्मक चर के लिए व्याख्या अधिक उपयुक्त होती है।
- मार्स मॉडल के निर्माण के लिए प्रायः अधिक कम या कोई डेटा तैयारी की आवश्यकता नहीं होती है।[5]हिंज फलन स्वचालित रूप से इनपुट डेटा को विभाजित करता है, इसलिए आउटलेर्स का प्रभाव निहित होता है। इस संबंध में मार्स पुनरावर्ती विभाजन के समान है जो डेटा को असंयुक्त क्षेत्रों में भी विभाजित करता है, चूँकि भिन्न विधि का उपयोग करता है। (फिर भी, अधिकांश सांख्यिकीय मॉडलिंग तकनीकों के जैसे, मार्स मॉडल को प्रशिक्षित करने से पूर्व ज्ञात आउटलेर्स को विस्थापित करने पर विचार किया जाना चाहिए।)
- मार्स (पुनरावर्ती विभाजन के जैसे) स्वचालित चर चयन करता है (जिसका अर्थ है कि यह मॉडल में महत्वपूर्ण चर सम्मिलित करता है और महत्वहीन को बाहर कर देता है)। चूँकि, चयन में कुछ मनमानी हो सकती है, विशेषकर जब सहसंबद्ध भविष्यवक्ता हों, और यह व्याख्या को प्रभावित कर सकता है।[5]
- मार्स मॉडल में पूर्वाग्रह-विचरण व्यवसाय-बंद होता है। मॉडल अरैखिकता और परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए पर्याप्त होते हैं (इस प्रकार मार्स मॉडल में अधिक कम पूर्वाग्रह है), फिर भी मार्स आधार फलन का बाधित रूप अधिक स्मूथली का अवरोध करता है (इस प्रकार मार्स मॉडल में अधिक कम भिन्नता होती है)।
- मार्स अधिक बड़े डेटासेट को संभालने के लिए उपयुक्त है। 100 भविष्यवक्ताओं और 105 अवलोकनों के साथ इनपुट मैट्रिक्स से मार्स मॉडल बनाना नियमित विषय है ऐसा मॉडल 1 गीगाहर्ट्ज मशीन पर लगभग एक मिनट में बनाया जा सकता है, यह मानते हुए कि मार्स शब्दों की परस्पर क्रिया की अधिकतम डिग्री तक सीमित है (अर्थात केवल योगात्मक शब्द)। समान 1 गीगाहर्ट्ज़ मशीन पर समान डेटा वाले डिग्री दो मॉडल को अधिक समय लगता है- लगभग 12 मिनट। ध्यान रखें कि यह समय अत्यधिक डेटा पर निर्भर है। पुनरावर्ती विभाजन मार्स की तुलना में अधिक तीव्र है।
- मार्स मॉडल के साथ, किसी भी अपैरामीट्रिक प्रतिगमन के जैसे, मॉडल पर पैरामीटर आत्मविश्वास अंतराल और अन्य शोधों की गणना सीधे नहीं की जा सकती (रैखिक प्रतिगमन मॉडल के विपरीत)। इसके अतिरिक्त मॉडल को मान्य करने के लिए क्रॉस-सत्यापन और संबंधित तकनीकों का उपयोग किया जाना चाहिए।
- मार्स मॉडल बूस्टिंग (मेटा-एल्गोरिदम) किए गए ट्री के समान उत्तम रूप से फिट नहीं होते हैं, किंतु इन्हें अधिक तीव्रता से बनाया जा सकता है और ये अधिक व्याख्या योग्य हैं। ('व्याख्यात्मक' मॉडल ऐसे रूप में है जो यह स्पष्ट करता है कि प्रत्येक भविष्यवक्ता का प्रभाव क्या है।)
earth
,mda
औरpolspline
कार्यान्वयन भविष्यवक्ताओं में लुप्त मूल्यों की अनुमति नहीं देता है, किंतु प्रतिगमन ट्री (जैसेrpart
औरparty
) के मुफ्त कार्यान्वयन सरोगेट स्प्लिट्स नामक तकनीक का उपयोग करके लुप्त मूल्यों की अनुमति देते हैं।- मार्स मॉडल शीघ्रता से पूर्वानुमान कर सकते हैं। भविष्यवाणी फलन को बस मार्स मॉडल सूत्र का मूल्यांकन करना है। इसकी तुलना समर्थन वेक्टर मशीन के साथ भविष्यवाणी करने से करें, जहां चर को प्रत्येक सपोर्ट वेक्टर के संबंधित तत्व से गुणा करना होता है। यदि कई चर और कई समर्थन वैक्टर हैं तो यह धीमी प्रक्रिया हो सकती है।
- परिणामस्वरूप फिट किया गया फलन सुचारू नहीं है (व्याख्या के साथ भिन्न-भिन्न नहीं)।
विस्तार और संबंधित अवधारणाएँ
- सामान्यीकृत रैखिक मॉडल (जीएलएम) को मार्स मॉडल के निर्माण के पश्चात लिंक फलन प्रारम्भ करके मार्स मॉडल में सम्मिलित किया जा सकता है। इस प्रकार, उदाहरण के लिए, मार्स मॉडल संभावनाओं की भविष्यवाणी करने के लिए लॉजिस्टिक रिग्रेशन को सम्मिलित कर सकते हैं।
- अरेखीय प्रतिगमन का उपयोग तब कि बिना उत्तम प्रकार से प्रस्तुत समस्या नहीं की जा सकती है।)
- पुनरावर्ती विभाजन (सामान्यतः कार्ट या जाता है जब फलन का अंतर्निहित रूप ज्ञात होता है और प्रतिगमन का उपयोग केवल उस फलन के पैरामीटर का अनुमान लगाने के लिए किया जाता है। दूसरी ओर, मंगल स्वयं फलन का अनुमान लगाता है, यद्यपि फलन की प्रकृति पर जटिल बाधाएं होती हैं। (ये बाधाएँ आवश्यक हैं क्योंकि डेटा से मॉडल का परिक्षण करना विपरीत समस्या है जिसे मॉडल पर बाधाओं कहा जाता है)। मार्स को पुनरावर्ती विभाजन के सामान्यीकरण के रूप में देखा जा सकता है जो मॉडल को संख्यात्मक (अर्थात अश्रेणीबद्ध) डेटा को उत्तम रूप से संभालने की अनुमति देता है।
- सामान्यीकृत योगात्मक मॉडल उपयोगकर्ता के दृष्टिकोण से GAM, MARS के समान हैं, किंतु (a) मार्स आधार फलन के अतिरिक्त सुचारू स्थानीय प्रतिगमन या बहुपद स्पलाइन (गणित) में फिट होते हैं, और (b) स्वचालित रूप से परिवर्तनीय इंटरैक्शन को मॉडल नहीं करते हैं। GAMs द्वारा आंतरिक रूप से उपयोग की जाने वाली फिटिंग विधि मार्स से अधिक भिन्न है। ऐसे मॉडलों के लिए जिन्हें परिवर्तनीय इंटरैक्शन की स्वचालित परिक्षण की आवश्यकता नहीं होती है, GAMs प्रायः मार्स के साथ अनुकूल प्रतिस्पर्धा करते हैं।
- टीएसएमएआरएस टाइम सीरीज़ मार्स वह शब्द है जिसका उपयोग तब किया जाता है जब मार्स मॉडल को टाइम सीरीज़ संदर्भ में प्रारम्भ किया जाता है। सामान्यतः इस सेट अप में भविष्यवक्ता विलंबित समय श्रृंखला मान होते हैं जिसके परिणामस्वरूप स्वतः प्रतिगामी स्पलाइन मॉडल होते हैं। मूविंग एवरेज स्पलाइन मॉडल को सम्मिलित करने के लिए इन मॉडलों और एक्सटेंशनों को टीएसएमएआरएस का उपयोग करके यूनीवेरिएट टाइम सीरीज़ मॉडलिंग और पूर्वानुमान टीएसएमएआरएस का उपयोग करके थ्रेशोल्ड टाइम सीरीज़ स्वतः प्रतिगामी, सीज़नल और मूविंग एवरेज मॉडल के अध्ययन" में किया गया है।
- बायेसियन मार्स (बीएमएआरएस) एक ही मॉडल फॉर्म का उपयोग करता है, किंतु बायेसियन दृष्टिकोण का उपयोग करके मॉडल बनाता है। यह विभिन्न इष्टतम मार्स मॉडल पर पहुंच सकता है क्योंकि मॉडल निर्माण का दृष्टिकोण भिन्न है। बीमार्स का परिणाम सामान्यतः मार्स मॉडल के पूर्व प्रारूप का समूह होता है, जो संभाव्य भविष्यवाणी की अनुमति देता है।[8]
यह भी देखें
- रेखीय प्रतिगमन
- स्थानीय प्रतिगमन
- तर्कसंगत फलन मॉडलिंग
- खंडित प्रतिगमन
- स्प्लीन प्रक्षेप
- स्प्लीन प्रतिगमन
संदर्भ
- ↑ Friedman, J. H. (1991). "बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिंस". The Annals of Statistics. 19 (1): 1–67. CiteSeerX 10.1.1.382.970. doi:10.1214/aos/1176347963. JSTOR 2241837. MR 1091842. Zbl 0765.62064.
- ↑ CRAN Package earth
- ↑ Earth – Multivariate adaptive regression splines in Orange (Python machine learning library)
- ↑ Friedman, J. H. (1993) Fast MARS, Stanford University Department of Statistics, Technical Report 110
- ↑ 5.0 5.1 5.2 Kuhn, Max; Johnson, Kjell (2013). एप्लाइड प्रेडिक्टिव मॉडलिंग (in English). New York, NY: Springer New York. doi:10.1007/978-1-4614-6849-3. ISBN 9781461468486.
- ↑ Friedman, Jerome H. (1993). "Estimating Functions of Mixed Ordinal and Categorical Variables Using Adaptive Splines". In Stephan Morgenthaler; Elvezio Ronchetti; Werner Stahel (eds.). सांख्यिकीय डेटा विश्लेषण और मजबूती में नई दिशाएँ. Birkhauser.
- ↑ Friedman, Jerome H. (1991-06-01). "अनुकूली स्प्लाइन का उपयोग करके मिश्रित क्रमसूचक और श्रेणीबद्ध चर के कार्यों का अनुमान लगाना". DTIC. Archived from the original on April 11, 2022. Retrieved 2022-04-11.
- ↑ Denison, D. G. T.; Mallick, B. K.; Smith, A. F. M. (1 December 1998). "बायेसियन मंगल" (PDF). Statistics and Computing (in English). 8 (4): 337–346. doi:10.1023/A:1008824606259. ISSN 1573-1375. S2CID 12570055.
अग्रिम पठन
- Hastie T., Tibshirani R., and Friedman J.H. (2009) The Elements of Statistical Learning, 2nd edition. Springer, ISBN 978-0-387-84857-0 (has a section on मार्स)
- Faraway J. (2005) Extending the Linear Model with R, CRC, ISBN 978-1-58488-424-8 (has an example using मार्स with R)
- Heping Zhang and Burton H. Singer (2010) Recursive Partitioning and Applications, 2nd edition. Springer, ISBN 978-1-4419-6823-4 (has a chapter on मार्स and discusses some tweaks to the algorithm)
- Denison D.G.T., Holmes C.C., Mallick B.K., and Smith A.F.M. (2004) Bayesian Methods for Nonlinear Classification and Regression, Wiley, ISBN 978-0-471-49036-4
- Berk R.A. (2008) Statistical learning from a regression perspective, Springer, ISBN 978-0-387-77500-5
बाहरी संबंध
Several free and commercial software packages are available for fitting मार्स-type models.
- Free software
- R packages:
- Matlab code:
- ARESLab: Adaptive Regression Splines toolbox for Matlab
- Code from the book Bayesian Methods for Nonlinear Classification and Regression[1] for Bayesian मार्स.
- Python
- एअर्थ – Multivariate adaptive regression splines
- py-एअर्थ
- pyBASS for Bayesian मार्स.
- Commercial software
- मार्स from Salford Systems. Based on Friedman's implementation.
- STATISTICA Data Miner from StatSoft
- ADAPTIVEREG from SAS.
- ↑ Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian methods for nonlinear classification and regression. Chichester, England: Wiley. ISBN 978-0-471-49036-4.