बहुभिन्नरूपी अनुकूली प्रतिगमन तख़्ता: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
 
(8 intermediate revisions by 3 users not shown)
Line 2: Line 2:
आंकड़ों में, '''बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिन''' (मार्स) 1991 में जेरोम एच. फ्रीडमैन द्वारा प्रस्तुत [[प्रतिगमन विश्लेषण]] का रूप है।<ref>{{Cite journal | last1 = Friedman | first1 = J. H. | doi = 10.1214/aos/1176347963 | title = बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिंस| journal = The Annals of Statistics | volume = 19 | issue = 1 | pages = 1–67 | year = 1991 |mr=1091842 | zbl = 0765.62064 | jstor = 2241837| citeseerx = 10.1.1.382.970 }}</ref> यह [[गैर-पैरामीट्रिक प्रतिगमन|अपैरामीट्रिक प्रतिगमन]] तकनीक है और इसे [[रैखिक मॉडल]] के विस्तार के रूप में देखा जा सकता है जो स्वचालित रूप से चर के मध्य अरैखिकता और इंटरैक्शन को मॉडल करता है।
आंकड़ों में, '''बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिन''' (मार्स) 1991 में जेरोम एच. फ्रीडमैन द्वारा प्रस्तुत [[प्रतिगमन विश्लेषण]] का रूप है।<ref>{{Cite journal | last1 = Friedman | first1 = J. H. | doi = 10.1214/aos/1176347963 | title = बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिंस| journal = The Annals of Statistics | volume = 19 | issue = 1 | pages = 1–67 | year = 1991 |mr=1091842 | zbl = 0765.62064 | jstor = 2241837| citeseerx = 10.1.1.382.970 }}</ref> यह [[गैर-पैरामीट्रिक प्रतिगमन|अपैरामीट्रिक प्रतिगमन]] तकनीक है और इसे [[रैखिक मॉडल]] के विस्तार के रूप में देखा जा सकता है जो स्वचालित रूप से चर के मध्य अरैखिकता और इंटरैक्शन को मॉडल करता है।


मार्स सैलफोर्ड प्रणाली द्वारा ट्रेडमार्क और लाइसेंसीकृत है। ट्रेडमार्क उल्लंघनों से बचने के लिए, मार्स के कई विवृत-सोर्स कार्यान्वयनों को भूमि कहा जाता है।<ref>[https://cran.r-project.org/web/packages/earth/index.html CRAN Package earth]</ref><ref>[http://orange.biolab.si/blog/2011/12/20/earth-multivariate-adaptive-regression-splines/ Earth – Multivariate adaptive regression splines in Orange (Python machine learning library)]</ref>
मार्स सैलफोर्ड प्रणाली द्वारा ट्रेडमार्क और लाइसेंसीकृत है। ट्रेडमार्क उल्लंघनों से बचने के लिए, मार्स के कई विवृत-सोर्स कार्यान्वयनों को एअर्थ कहा जाता है।<ref>[https://cran.r-project.org/web/packages/earth/index.html CRAN Package earth]</ref><ref>[http://orange.biolab.si/blog/2011/12/20/earth-multivariate-adaptive-regression-splines/ Earth – Multivariate adaptive regression splines in Orange (Python machine learning library)]</ref>


== आधार ==
== आधार ==
Line 39: Line 39:
</math>
</math>


[[File:Friedmans mars simple model.png|frame|right|समान डेटा का सरल मार्स मॉडल]]दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमानित <math>\widehat{y}</math> के प्रति x, y के मूल मानों को एक बार फिर लाल बिंदुओं के रूप में दिखाया गया है। पूर्वानुमानित प्रतिक्रिया अब मूल y मानों के लिए उत्तम अनुकूल है।
[[File:Friedmans mars simple model.png|frame|right|समान डेटा का सरल मार्स मॉडल]]दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमानित <math>\widehat{y}</math> के प्रति x, y के मूल मानों को एक बार फिर लाल बिंदुओं के रूप में दिखाया गया है। पूर्वानुमानित प्रतिक्रिया अब मूल y मानों के लिए उत्तम अनुकूल है।


अरैखिकता को ध्यान में रखने के लिए मार्स ने स्वचालित रूप से अनुमानित y में घुमाव उत्पन्न किया है। किंक का निर्माण हिंज कार्यों द्वारा होता है। हिंज फलन से प्रारंभ होने वाले भाव <math>\max</math> (जहाँ <math>\max(a,b)</math> है <math>a</math> यदि <math>a > b</math>, अन्य <math>b</math>) हिंज फलन का नीचे अधिक विस्तार से वर्णन किया गया है।
अरैखिकता को ध्यान में रखने के लिए मार्स ने स्वचालित रूप से अनुमानित y में घुमाव उत्पन्न किया है। किंक का निर्माण हिंज फलन द्वारा होता है। हिंज फलन से प्रारंभ होने वाले भाव <math>\max</math> (जहाँ <math>\max(a,b)</math> है <math>a</math> यदि <math>a > b</math>, अन्य <math>b</math>) हिंज फलन का नीचे अधिक विस्तार से वर्णन किया गया है।


इस सरल उदाहरण में, हम प्लॉट से सरलता से देख सकते हैं कि y का x के साथ अरैखिक संबंध है (और संभवतः अनुमान लगा सकते हैं कि y, x के वर्ग के साथ परिवर्तित होता रहता है)। चूँकि, सामान्यतः कई आश्रित और स्वतंत्र चर होंगे, y और इन चर के मध्य संबंध अस्पष्ट होगा और प्लॉटिंग द्वारा सरलता से दिखाई नहीं देगा। हम उस अरैखिक संबंध का परिक्षण करने के लिए मार्स का उपयोग कर सकते हैं।
इस सरल उदाहरण में, हम प्लॉट द्वारा सरलता से देख सकते हैं कि y का x के साथ अरैखिक संबंध है (और संभवतः अनुमान लगा सकते हैं कि y, x के वर्ग के साथ परिवर्तित होता रहता है)। चूँकि, सामान्यतः कई आश्रित और स्वतंत्र चर होंगे, y और इन चर के मध्य संबंध अस्पष्ट होगा और प्लॉटिंग द्वारा सरलता से दिखाई नहीं देगा। हम उस अरैखिक संबंध का परिक्षण करने के लिए मार्स का उपयोग कर सकते हैं।


अनेक चरों के साथ मार्स अभिव्यक्ति का उदाहरण है:
अनेक चरों के साथ मार्स अभिव्यक्ति का उदाहरण है:


: <math>
: <math>
Line 56: Line 56:
\end{align}
\end{align}
</math>
</math>
[[File:Friedmans mars ozone model.png|frame|right|मार्स मॉडल में परिवर्तनीय अंतःक्रिया]]यह अभिव्यक्ति वायु प्रदूषण (ओजोन स्तर) को तापमान और कुछ अन्य चर के आधार पर दर्शाती है। ध्यान दें कि सूत्र में अंतिम पद (अंतिम पंक्ति पर) के मध्य परस्पर क्रिया <math>\mathrm{wind} </math> और <math>\mathrm{vis}</math> सम्मिलित है।
[[File:Friedmans mars ozone model.png|frame|right|मार्स मॉडल में परिवर्तनीय अंतःक्रिया]]यह अभिव्यक्ति वायु प्रदूषण (ओजोन स्तर) को तापमान और कुछ अन्य चर के आधार पर दर्शाती है। ध्यान दें कि सूत्र में अंतिम पद (अंतिम पंक्ति पर) के मध्य परस्पर क्रिया <math>\mathrm{wind} </math> और <math>\mathrm{vis}</math> सम्मिलित है।


उत्तम प्लॉट पर दिए गए आंकड़े की भविष्यवाणी की गई है <math>\mathrm{ozone}</math> जैसा <math>\mathrm{wind}</math> और <math>\mathrm{vis}</math> भिन्न-भिन्न होते हैं, अन्य चर उनके मध्य मानों पर निश्चित होते हैं। यह आंकड़ा दर्शाता है कि वायु ओजोन स्तर को तब तक प्रभावित नहीं करती जब तक दृश्यता कम न हो। हम देखते हैं कि मार्स कार्यों के संयोजन से अधिक प्रतिगमन सतहों का निर्माण कर सकता है।
उत्तम प्लॉट पर दिए गए आंकड़े की भविष्यवाणी की गई है <math>\mathrm{ozone}</math> जैसा <math>\mathrm{wind}</math> और <math>\mathrm{vis}</math> भिन्न-भिन्न होते हैं, अन्य चर उनके मध्य मानों पर निश्चित होते हैं। यह आंकड़ा दर्शाता है कि वायु ओजोन स्तर को तब तक प्रभावित नहीं करती जब तक दृश्यता कम न हो। हम देखते हैं कि मार्स कार्यों के संयोजन से अधिक प्रतिगमन सतहों का निर्माण कर सकता है।


उपरोक्त अभिव्यक्ति प्राप्त करने के लिए, मार्स मॉडल निर्माण प्रक्रिया स्वचालित रूप से चयन करती है कि कौन से चर का उपयोग करना है (कुछ चर महत्वपूर्ण हैं, अन्य नहीं), कार्यों में किंक की स्थिति, और कार्यों को कैसे संयोजित किया जाता है।
उपरोक्त अभिव्यक्ति प्राप्त करने के लिए, मार्स मॉडल निर्माण प्रक्रिया स्वचालित रूप से चयन करती है कि कौन से चर का उपयोग करना है (कुछ चर महत्वपूर्ण हैं, अन्य नहीं), फलन में किंक की स्थिति, और फलन को कैसे संयोजित किया जाता है।


== मंगल ग्रह मॉडल ==
== मंगल ग्रह मॉडल ==
Line 67: Line 67:


: <math>\widehat{f}(x) = \sum_{i=1}^k c_i B_i(x). </math>
: <math>\widehat{f}(x) = \sum_{i=1}^k c_i B_i(x). </math>
मॉडल आधार कार्यों का भारित योग <math>B_i(x)</math> है प्रत्येक <math>c_i</math> स्थिर गुणांक है, उदाहरण के लिए, उपरोक्त ओजोन के सूत्र में प्रत्येक पंक्ति उसके गुणांक से गुणा किया गया [[आधार कार्य]] है।
मॉडल आधार फलनो का भारित योग <math>B_i(x)</math> है प्रत्येक <math>c_i</math> स्थिर गुणांक है, उदाहरण के लिए, उपरोक्त ओजोन के सूत्र में प्रत्येक पंक्ति उसके गुणांक से गुणा किया गया [[आधार कार्य|आधार फलन]] है।


प्रत्येक आधार कार्य <math>B_i(x)</math> निम्नलिखित तीन रूपों में से प्राप्त करता है:
प्रत्येक आधार फलन <math>B_i(x)</math> निम्नलिखित तीन रूपों में से प्राप्त करता है:


1) अचर 1 ऐसा पद है, अंतःखंड उपरोक्त ओजोन सूत्र में, अवरोधन पद 5.2 है।
1) अचर 1 ऐसा पद है, अंतःखंड उपरोक्त ओजोन सूत्र में, अवरोधन पद 5.2 है।


2)  कार्य फलन का ऐसा रूप होता है  <math> \max(0, x - \text{constant}) </math> या  <math> \max(0, \text{constant} - x) </math> मार्स हिंज फलन के लिए स्वचालित रूप से उन चरों के चर और मानों का चयन करता है। ऐसे आधार कार्यों के उदाहरण ओजोन सूत्र की मध्य तीन पंक्तियों में देखे जा सकते हैं।
2)  कार्य फलन का ऐसा रूप होता है  <math> \max(0, x - \text{constant}) </math> या  <math> \max(0, \text{constant} - x) </math> मार्स हिंज फलन के लिए स्वचालित रूप से उन चरों के चर और मानों का चयन करता है। ऐसे आधार फलनो के उदाहरण ओजोन सूत्र के मध्य तीन पंक्तियों में देखे जा सकते हैं।


3) दो या दो से अधिक फलनो का उत्पाद ये आधार फलन दो या दो से अधिक चरों के मध्य अंतःक्रिया को मॉडल कर सकते हैं। उदाहरण ओजोन सूत्र की अंतिम पंक्ति है।
3) दो या दो से अधिक फलनो का उत्पाद ये आधार फलन दो या दो से अधिक चरों के मध्य अंतःक्रिया को मॉडल कर सकते हैं। उदाहरण ओजोन सूत्र की अंतिम पंक्ति है।


== कार्य के फलन ==
== कार्य के फलन ==
[[File:Friedmans mars hinge functions.png|frame|right|काज की प्रतिबिंबित जोड़ी x=3.1 पर गाँठ के साथ कार्य करती है]]
[[File:Friedmans mars hinge functions.png|frame|right|फलन की प्रतिबिंबित जोड़ी x=3.1 पर कनॉट के साथ कार्य करती है]]
{{further|Hinge function}}
{{further|कार्य फलन}}


मार्स मॉडल का प्रमुख भाग रूप धारण करने वाले हिंज फलन हैं:
मार्स मॉडल का प्रमुख भाग रूप धारण करने वाले हिंज फलन हैं:
Line 85: Line 85:
या
या
: <math>\max(0,c-x)</math>
: <math>\max(0,c-x)</math>
जहाँ <math>c</math>  स्थिरांक है, जिसे कनॉट कहा जाता है। दाईं ओर का चित्र 3.1 पर गाँठ के साथ कार्य के फलन की प्रतिबिंबित जोड़ी को दर्शाता है।
जहाँ <math>c</math>  स्थिरांक है, जिसे कनॉट कहा जाता है। दाईं ओर का चित्र 3.1 पर कनॉट के साथ कार्य के फलन की प्रतिबिंबित जोड़ी को दर्शाता है।


हिंज फलन इसकी सीमा के भाग के लिए शून्य है, इसलिए इसका उपयोग डेटा को असंयुक्त क्षेत्रों में विभाजित करने के लिए किया जा सकता है, जिनमें से प्रत्येक को स्वतंत्र रूप से व्यवहार किया जा सकता है। इस प्रकार, उदाहरण के लिए अभिव्यक्ति में कार्य की  प्रतिबिंबित जोड़ी कार्य करती है:
हिंज फलन इसकी सीमा के भाग के लिए शून्य है, इसलिए इसका उपयोग डेटा को असंयुक्त क्षेत्रों में विभाजित करने के लिए किया जा सकता है, जिनमें से प्रत्येक को स्वतंत्र रूप से व्यवहार किया जा सकता है। इस प्रकार, उदाहरण के लिए अभिव्यक्ति में फलन की  प्रतिबिंबित जोड़ी कार्य करती है:
: <math>
: <math>
6.1 \max(0, x  - 13)
6.1 \max(0, x  - 13)
Line 99: Line 99:


== मॉडल निर्माण प्रक्रिया ==
== मॉडल निर्माण प्रक्रिया ==
{{see also|Stepwise regression}}
{{see also|चरणबद्ध प्रतिगमन}}


मार्स दो चरणों में मॉडल बनाता है: आगे और पीछे का मार्ग। यह दो-चरणीय दृष्टिकोण वही है जो [[पुनरावर्ती विभाजन]] वृक्षों द्वारा उपयोग किया जाता है।  
मार्स दो चरणों में मॉडल बनाता है: आगे और पीछे का मार्ग। यह दो-चरणीय दृष्टिकोण वही है जो [[पुनरावर्ती विभाजन]] ट्री द्वारा उपयोग किया जाता है।  


=== फॉरवर्ड पास ===
=== फॉरवर्ड पास ===
Line 107: Line 107:
मार्स मॉडल से प्रारंभ होता है जिसमें केवल इंटरसेप्ट टर्म होता है (जो प्रतिक्रिया मूल्यों का माध्य है)।
मार्स मॉडल से प्रारंभ होता है जिसमें केवल इंटरसेप्ट टर्म होता है (जो प्रतिक्रिया मूल्यों का माध्य है)।


मार्स फिर मॉडल में जोड़े में आधार फलन को बार-बार जोड़ता है। प्रत्येक चरण में यह आधार फलनों की जोड़ी का शोध करता है जो वर्गों के योग में अवशिष्ट त्रुटि में अधिकतम कमी देता है (यह  [[लालची एल्गोरिदम|ग्रेडी एल्गोरिदम]] है)। जोड़ी में दो आधार फलन समान हैं, अतिरिक्त इसके कि प्रत्येक फलन के लिए मिरर किए गए हिंज फलन का भिन्न पक्ष उपयोग किया जाता है। प्रत्येक नए आधार फलन में मॉडल में पूर्व से ही शब्द सम्मिलित होता है (जो संभवतः इंटरसेप्ट शब्द हो सकता है) नए हिंज फलन द्वारा गुणा किया जाता है। हिंज फलन को चर और कनॉट द्वारा परिभाषित किया जाता है, इसलिए नया आधार फलन जोड़ने के लिए, मार्स को निम्नलिखित के सभी संयोजनों का परिक्षण करना होगा:
मार्स फिर मॉडल में जोड़े में आधार फलन को बार-बार जोड़ता है। प्रत्येक चरण में यह आधार फलनों की जोड़ी का शोध करता है जो वर्गों के योग में अवशिष्ट त्रुटि में अधिकतम कमी देता है (यह  [[लालची एल्गोरिदम|ग्रेडी एल्गोरिदम]] है)। जोड़ी में दो आधार फलन समान हैं, अतिरिक्त इसके प्रत्येक फलन के लिए मिरर किए गए हिंज फलन का भिन्न पक्ष उपयोग किया जाता है। प्रत्येक नए आधार फलन में मॉडल में पूर्व से ही शब्द सम्मिलित होता है (जो संभवतः इंटरसेप्ट शब्द हो सकता है) नए हिंज फलन द्वारा गुणा किया जाता है। हिंज फलन को चर और कनॉट द्वारा परिभाषित किया जाता है, इसलिए नया आधार फलन जोड़ने के लिए, मार्स को निम्नलिखित के सभी संयोजनों का परिक्षण करना होगा:


1) मौजूदा शब्द (इस संदर्भ में मूल शब्द कहे जाते हैं)
1) उपस्थित शब्द (इस संदर्भ में मूल शब्द कहे जाते हैं)


2) सभी चर (नए आधार फलन के लिए  का चयन करने के लिए)
2) सभी चर (नए आधार फलन का चयन करने के लिए)


3) प्रत्येक चर के सभी मान (नए काज फलन की गाँठ के लिए)।
3) प्रत्येक चर के सभी मान (नए कार्य फलन के लिए कनॉट)।


प्रत्येक पद के गुणांक की गणना करने के लिए मार्स पदों पर रेखीय प्रतिगमन लागू करता है।
प्रत्येक पद के गुणांक की गणना करने के लिए मार्स पदों पर रेखीय प्रतिगमन प्रारम्भ करता है।


शब्दों को जोड़ने की यह प्रक्रिया तब तक जारी रहती है जब तक कि शेष त्रुटि में परिवर्तन जारी रखने के लिए बहुत छोटा न हो या जब तक शब्दों की अधिकतम संख्या न हो जाए। मॉडल निर्माण प्रारंभ होने से पहले उपयोगकर्ता द्वारा शर्तों की अधिकतम संख्या निर्दिष्ट की जाती है।
शब्दों को जोड़ने की यह प्रक्रिया तब तक प्रारम्भ रहती है जब तक कि शेष त्रुटि में परिवर्तन प्रारम्भ रखने के लिए अधिक छोटा न हो या जब तक शब्दों की अधिकतम संख्या न हो जाए। मॉडल निर्माण प्रारंभ होने से पूर्व उपयोगकर्ता द्वारा नियम की अधिकतम संख्या निर्दिष्ट की जाती है।


प्रत्येक चरण पर परिक्षण [[ पाशविक बल खोज | पाशविक बल परिक्षण]] |ब्रूट-फोर्स फैशन में की जाती है, किंतु मार्स का प्रमुख पहलू यह है कि हिंज कार्यों की प्रकृति के कारण तेजी से न्यूनतम-वर्ग अद्यतन तकनीक का उपयोग करके परिक्षण अपेक्षाकृत तेज़ी से की जा सकती है। दरअसल, परिक्षण बिल्कुल क्रूर बल नहीं है. परिक्षण को [[ heuristics ]] के साथ तेज किया जा सकता है जो प्रत्येक चरण पर विचार करने के लिए मूल शब्दों की संख्या को कम कर देता है (फास्ट मार्स)<ref>[[Friedman, J. H.]] (1993) ''Fast MARS'', Stanford University Department of Statistics, Technical Report 110</ref>).
प्रत्येक चरण पर परिक्षण [[ पाशविक बल खोज |पाशविक बल परिक्षण]] विधि द्वारा किया जाता है, किंतु मार्स का प्रमुख विषय यह है कि हिंज फलन की प्रकृति के कारण तीव्रता से न्यूनतम-वर्ग अद्यतन तकनीक का उपयोग करके परिक्षण अपेक्षाकृत तीव्रता से किया जा सकता है। वास्तव में, परिक्षण क्रूर बल नहीं है, परिक्षण को [[ heuristics |अनुमान]] के साथ तीव्रता से किया जा सकता है जो प्रत्येक चरण पर विचार करने के लिए मूल शब्दों की संख्या को कम कर देता है (फास्ट मार्स)<ref>[[Friedman, J. H.]] (1993) ''Fast MARS'', Stanford University Department of Statistics, Technical Report 110</ref>


=== पिछड़ा पास ===
=== बैकवर्ड पास ===


फॉरवर्ड पास आमतौर पर  [[ ओवरफ़िट ]] मॉडल बनाता है। ( ओवरफिट मॉडल मॉडल बनाने के लिए उपयोग किए गए डेटा के लिए अच्छी तरह से फिट होता है किंतु नए डेटा के लिए अच्छी तरह से सामान्यीकृत नहीं होगा।) उत्तम सामान्यीकरण क्षमता के साथ मॉडल बनाने के लिए, बैकवर्ड पास मॉडल को काटता है। यह - करके शब्दों को हटाता है, प्रत्येक चरण में सबसे कम प्रभावी शब्द को हटाता है जब तक कि उसे सबसे अच्छा सबमॉडल नहीं मिल जाता। मॉडल उपसमुच्चय की तुलना नीचे वर्णित सामान्यीकृत क्रॉस सत्यापन (जीसीवी) मानदंड का उपयोग करके की जाती है।
फॉरवर्ड पास सामान्यतः [[ ओवरफ़िट |ओवरफ़िट]] मॉडल बनाता है। (ओवरफिट मॉडल बनाने के लिए उपयोग किए गए डेटा के लिए उत्तम प्रकार से फिट होता है किंतु नए डेटा के लिए उत्तम प्रकार से सामान्यीकृत नहीं होगा।) उत्तम सामान्यीकरण क्षमता के साथ मॉडल बनाने के लिए, बैकवर्ड पास मॉडल को विभक्त करता है। यह एक-एक करके शब्दों को विस्थापित करता है, प्रत्येक चरण में सबसे कम प्रभावी शब्द को विस्थापित करता है जब तक कि उसे सबसे उत्तम सबमॉडल नहीं मिल जाता है। मॉडल उपसमुच्चय की तुलना नीचे वर्णित सामान्यीकृत क्रॉस सत्यापन (जीसीवी) पैरामीटर का उपयोग करके किया जाता है।


फॉरवर्ड पास की तुलना में बैकवर्ड पास का फायदा है: किसी भी चरण पर यह हटाने के लिए कोई भी शब्द चुन सकता है, जबकि प्रत्येक चरण पर फॉरवर्ड पास केवल शब्दों की अगली जोड़ी देख सकता है।
फॉरवर्ड पास की तुलना में बैकवर्ड पास का लाभ है: किसी भी चरण पर यह विस्थापित करने के लिए कोई भी शब्द का चयन कर सकता है, जबकि प्रत्येक चरण पर फॉरवर्ड पास केवल शब्दों की अगली जोड़ी देख सकता है।


फॉरवर्ड पास जोड़े में शब्द जोड़ता है, किंतु बैकवर्ड पास आम तौर पर जोड़े के तरफ को हटा देता है और इसलिए अंतिम मॉडल में शब्द प्रायः जोड़े में नहीं देखे जाते हैं। के समीकरण में  युग्मित काज देखा जा सकता है <math>\widehat{y}</math> उपरोक्त पहले मंगल उदाहरण में; ओजोन उदाहरण में कोई पूर्ण युग्म नहीं रखा गया है।
फॉरवर्ड पास जोड़े में शब्द जोड़ता है, किंतु बैकवर्ड पास सामान्यतः जोड़े के ओर को विस्थापित कर देता है और इसलिए अंतिम मॉडल में शब्द प्रायः जोड़े में नहीं देखे जाते हैं। समीकरण में  युग्मित फलन देखा जा सकता है <math>\widehat{y}</math> उपरोक्त पूर्व मंगल उदाहरण में; ओजोन उदाहरण में कोई पूर्ण युग्म नहीं रखा गया है।


==== सामान्यीकृत क्रॉस सत्यापन ====
==== सामान्यीकृत क्रॉस सत्यापन ====
{{further|Cross-validation (statistics)|Model selection}}
{{further|क्रॉस-सत्यापन (सांख्यिकी)|मॉडल चयन}}


सबसे अच्छा सबसेट चुनने के लिए मॉडल सबसेट के प्रदर्शन की तुलना करने के लिए बैकवर्ड पास सामान्यीकृत क्रॉस वैलिडेशन (जीसीवी) का उपयोग करता है: जीसीवी के निचले मान उत्तम होते हैं। जीसीवी [[नियमितीकरण (मशीन लर्निंग)]] का रूप है: यह मॉडल जटिलता के मुकाबले फिट की अच्छाई का व्यापार करता है।
सबसे उत्तम सबसेट चयन करने के लिए मॉडल सबसेट के प्रदर्शन की तुलना करने के लिए बैकवर्ड पास सामान्यीकृत क्रॉस वैलिडेशन (जीसीवी) का उपयोग करता है: जीसीवी के निचले मान उत्तम होते हैं। जीसीवी [[नियमितीकरण (मशीन लर्निंग)]] का रूप है: यह मॉडल जटिलता के प्रतिस्पर्धा फिट का व्यवसाय करता है।


(हम यह अनुमान लगाना चाहते हैं कि कोई मॉडल नए डेटा पर कितना अच्छा प्रदर्शन करता है, प्रशिक्षण डेटा पर नहीं। ऐसा नया डेटा आमतौर पर मॉडल निर्माण के समय उपलब्ध नहीं होता है, इसलिए इसके बजाय हम नए डेटा पर प्रदर्शन क्या होगा इसका अनुमान लगाने के लिए जीसीवी का उपयोग करते हैं। प्रशिक्षण डेटा पर वर्गों का कच्चा अवशिष्ट योग | [[वर्गों का अवशिष्ट योग]] (RSS) मॉडल की तुलना करने के लिए अपर्याप्त है, क्योंकि मार्स शब्द हटा दिए जाने पर RSS हमेशा बढ़ता है। दूसरे शब्दों में, यदि RSS का उपयोग मॉडलों की तुलना करने के लिए किया जाता था, तो बैकवर्ड पास हमेशा सबसे बड़े मॉडल को चुनेगा - किंतु सबसे बड़े मॉडल में आमतौर पर सबसे अच्छा सामान्यीकरण प्रदर्शन नहीं होता है।)
(हम यह अनुमान लगाना चाहते हैं कि कोई मॉडल नए डेटा पर कितना उत्तम प्रदर्शन करता है, प्रशिक्षण डेटा पर प्रदर्शन नहीं करता है। ऐसा नया डेटा सामान्यतः मॉडल निर्माण के समय उपलब्ध नहीं होता है, इसलिए इसके अतिरिक्त नए डेटा पर प्रदर्शन क्या होगा इसका अनुमान लगाने के लिए जीसीवी का उपयोग करते हैं। प्रशिक्षण डेटा पर वर्गों का अवशिष्ट योग-[[वर्गों का अवशिष्ट योग|वर्ग]] (आरएसएस) मॉडल की तुलना करने के लिए अपर्याप्त है, क्योंकि आरएसएस सदैव बढ़ता है क्योंकि एमएआरएस शब्द विस्थापित कर दिए जाते हैं। दूसरे शब्दों में, यदि आरएसएस का उपयोग मॉडलों की तुलना करने के लिए किया जाता था, तो बैकवर्ड पास सदैव चयन था सबसे बड़ा मॉडल—किंतु सबसे बड़े मॉडल में सामान्यतः सबसे उत्तम सामान्यीकरण प्रदर्शन नहीं होता है।)


जीसीवी का सूत्र है
जीसीवी का सूत्र है:


: जीसीवी = आरएसएस / (एन · (1 - (पैरामीटर की प्रभावी संख्या) / एन)<sup>2</sup>)
:: GCV = RSS / (''N'' · (1 (effective number of parameters) / ''N'')<sup>2</sup>)


जहां RSS प्रशिक्षण डेटा पर मापा गया वर्गों का अवशिष्ट योग है और N अवलोकनों की संख्या ('x' मैट्रिक्स में पंक्तियों की संख्या) है।
जहां आरएसएस प्रशिक्षण डेटा पर मापा गया वर्गों का अवशिष्ट योग है और N अवलोकनों की संख्या ('x' मैट्रिक्स में पंक्तियों की संख्या) है।


EffectiveNumberOfParameters को परिभाषित किया गया है
EffectiveNumberOfParameters को मार्स संदर्भ में इस प्रकार परिभाषित किया गया है:
मंगल ग्रह संदर्भ के रूप में


: (मापदंडों की प्रभावी संख्या) = (मंगल के पदों की संख्या) + (दंड) · ((मंगल के पदों की संख्या) − 1 ) / 2
:: (effective number of parameters) = (number of mars terms) + (penalty) · ((number of Mars terms) − 1 ) / 2


जहां 'जुर्माना' लगभग 2 या 3 है (एमएआरएस सॉफ्टवेयर उपयोगकर्ता को जुर्माना पूर्व निर्धारित करने की अनुमति देता है)।
जहां 'दंड' लगभग 2 या 3 है (एमएआरएस सॉफ्टवेयर उपयोगकर्ता को दंड पूर्व निर्धारित करने की अनुमति देता है)।


ध्यान दें कि
ध्यान दें कि


: (मंगल पदों की संख्या − 1 ) / 2
: (number of Mars terms − 1 ) / 2


हिंज-फलन गांठों की संख्या है, इसलिए सूत्र गांठों को जोड़ने पर जुर्माना लगाता है। इस प्रकार जीसीवी फॉर्मूला मॉडल के लचीलेपन को ध्यान में रखते हुए प्रशिक्षण आरएसएस को समायोजित (यानी बढ़ाता है) करता है। हम लचीलेपन को दंडित करते हैं क्योंकि जो मॉडल बहुत लचीले हैं वे डेटा की व्यवस्थित संरचना के बजाय डेटा में शोर के विशिष्ट अहसास को मॉडल करेंगे।
हिंज-फलन कनॉट की संख्या है, इसलिए सूत्र कनॉट को जोड़ने पर दंड लगाता है। इस प्रकार जीसीवी सूत्र मॉडल को ध्यान में रखते हुए प्रशिक्षण आरएसएस को समायोजित करता है। हम इसे दंडित करते हैं क्योंकि जो मॉडल अधिक स्मूथ हैं वे डेटा की व्यवस्थित संरचना के अतिरिक्त डेटा में शोर के विशिष्ट अनुभव को मॉडल करेंगे।


सामान्यीकृत क्रॉस-सत्यापन को यह नाम दिया गया है क्योंकि यह त्रुटि का अनुमान लगाने के लिए सूत्र का उपयोग करता है जिसे लीव-वन-आउट सत्यापन द्वारा निर्धारित किया जाएगा। यह सिर्फ  अनुमान है किंतु व्यवहार में अच्छा काम करता है। जीसीवी को क्रेवेन और [[ग्रेस वाहबा]] द्वारा पेश किया गया था और फ्रीडमैन द्वारा मार्स के लिए विस्तारित किया गया था।
सामान्यीकृत क्रॉस-सत्यापन को यह नाम दिया गया है क्योंकि यह त्रुटि का अनुमान लगाने के लिए सूत्र का उपयोग करता है जिसे लीव-वन-आउट सत्यापन द्वारा निर्धारित किया जाएगा। यह सिर्फ  अनुमान है किंतु व्यवहार में उत्तम कार्य करता है। जीसीवी को क्रेवेन और [[ग्रेस वाहबा]] द्वारा प्रस्तुत किया गया था और फ्रीडमैन द्वारा मार्स के लिए विस्तारित किया गया था।


===बाधाएँ ===
===बाधाएँ ===


बाधा का पहले ही उल्लेख किया जा चुका है: उपयोगकर्ता
बाधा का पूर्व ही उल्लेख किया जा चुका है: उपयोगकर्ता फॉरवर्ड पास में अधिकतम संख्या में शब्द निर्दिष्ट कर सकता है।
फॉरवर्ड पास में शब्दों की अधिकतम संख्या निर्दिष्ट कर सकता है।


फॉरवर्ड पास पर  और बाधा लगाई जा सकती है
सम्बन्ध की अधिकतम स्वीकार्य डिग्री निर्दिष्ट करके फॉरवर्ड पास द्वारा बाधा उत्पन्न की जा सकती है। सामान्यतः केवल एक या दो डिग्री के सम्बन्ध की अनुमति होती है, किंतु जब डेटा इसका आश्वासन देता है तो उच्च डिग्री का उपयोग किया जा सकता है। उपरोक्त पूर्व मार्स उदाहरण में अंतःक्रिया की अधिकतम डिग्री है (अर्थात कोई अंतःक्रिया या कोई योगात्मक मॉडल नहीं); ओजोन उदाहरण में यह दो है।
बातचीत की अधिकतम स्वीकार्य डिग्री निर्दिष्ट करके।
आम तौर पर केवल या दो डिग्री की बातचीत की अनुमति होती है,
किंतु उच्च डिग्री का उपयोग तब किया जा सकता है जब डेटा इसकी गारंटी देता है।
पहले मार्स उदाहरण में अंतःक्रिया की अधिकतम डिग्री
उपरोक्त  है (भूमिात् कोई इंटरैक्शन या कोई योगात्मक मॉडल नहीं);
ओजोन उदाहरण में यह दो है।


फॉरवर्ड पास पर अन्य बाधाएँ संभव हैं।
फॉरवर्ड पास पर अन्य बाधाएँ संभव हैं। उदाहरण के लिए, उपयोगकर्ता निर्दिष्ट कर सकता है कि इंटरैक्शन की अनुमति केवल कुछ इनपुट चर के लिए है। डेटा उत्पन्न करने वाली प्रक्रिया के ज्ञान के कारण ऐसी बाधाएं समझ में आ सकती हैं।
उदाहरण के लिए, उपयोगकर्ता निर्दिष्ट कर सकता है कि इंटरैक्शन की अनुमति है
केवल कुछ इनपुट वेरिएबल के लिए।
ज्ञान के कारण ऐसी बाधाएँ समझ में आ सकती हैं
उस प्रक्रिया का जिसने डेटा उत्पन्न किया।


== पक्ष और विपक्ष ==
== पक्ष और विपक्ष ==
कोई भी प्रतिगमन मॉडलिंग तकनीक सभी स्थितियों के लिए सर्वोत्तम नहीं है।
कोई भी प्रतिगमन मॉडलिंग तकनीक सभी स्थितियों के लिए सर्वोत्तम नहीं है। नीचे दिए गए दिशानिर्देशों का उद्देश्य मंगल ग्रह के लाभ और हानि का विचार देना है। किंतु दिशानिर्देशों के अपवाद होंगे। मंगल की तुलना पुनरावर्ती विभाजन से करना उपयोगी है और यह नीचे किया गया है। (पुनरावर्ती विभाजन को सामान्यतः प्रतिगमन ट्री, [[ निर्णय वृक्ष सीखना |निर्णय]] ट्री या कार्ट भी कहा जाता है; विवरण के लिए पुनरावर्ती विभाजन लेख देखें)।  
नीचे दिए गए दिशानिर्देशों का उद्देश्य मंगल ग्रह के फायदे और नुकसान का विचार देना है।
किंतु दिशानिर्देशों के अपवाद होंगे।
मंगल की तुलना पुनरावर्ती विभाजन से करना उपयोगी है और यह नीचे किया गया है।
(पुनरावर्ती विभाजन को सामान्यतः प्रतिगमन वृक्ष भी कहा जाता है,
निर्णय वृक्ष, या पूर्वानुमानित विश्लेषण#वर्गीकरण और प्रतिगमन वृक्ष;
विवरण के लिए [[ निर्णय वृक्ष सीखना ]] लेख देखें)।


*मार्स मॉडल रैखिक प्रतिगमन मॉडल की तुलना में अधिक लचीले होते हैं।
*मार्स मॉडल रैखिक प्रतिगमन मॉडल की तुलना में अधिक स्मूथ होते हैं।
*मार्स मॉडल समझने और व्याख्या करने में सरल हैं।<ref name=":0">{{Cite book|title=एप्लाइड प्रेडिक्टिव मॉडलिंग|last1=Kuhn|first1=Max|last2=Johnson|first2=Kjell|date=2013|publisher=Springer New York|isbn=9781461468486|location=New York, NY|language=en|doi=10.1007/978-1-4614-6849-3}}</ref> उपरोक्त ओजोन सांद्रता के समीकरण की तुलना, मान लीजिए, प्रशिक्षित [[कृत्रिम तंत्रिका नेटवर्क]] या यादृच्छिक जंगल के अंदरूनी हिस्सों से करें।
*मार्स मॉडल अध्ययन करने और व्याख्या करने में सरल हैं।<ref name=":0">{{Cite book|title=एप्लाइड प्रेडिक्टिव मॉडलिंग|last1=Kuhn|first1=Max|last2=Johnson|first2=Kjell|date=2013|publisher=Springer New York|isbn=9781461468486|location=New York, NY|language=en|doi=10.1007/978-1-4614-6849-3}}</ref> उपरोक्त ओजोन सांद्रता के समीकरण की तुलना, मान लीजिए, प्रशिक्षित [[कृत्रिम तंत्रिका नेटवर्क|कृत्रिम प्रणाली नेटवर्क]] या यादृच्छिक फारेस्ट के आंतरिक भाग में करें।
*मार्स निरंतर और श्रेणीबद्ध डेटा दोनों को संभाल सकता है।<ref>{{cite book | last=Friedman | first=Jerome H. | chapter=Estimating Functions of Mixed Ordinal and Categorical Variables Using Adaptive Splines | author-link=Friedman, J. H.|year=1993|title=सांख्यिकीय डेटा विश्लेषण और मजबूती में नई दिशाएँ|editor=Stephan Morgenthaler |editor2=Elvezio Ronchetti |editor3=Werner Stahel|publisher=Birkhauser}}</ref><ref name="Friedman 1991">{{cite journal | last=Friedman | first=Jerome H. | title=अनुकूली स्प्लाइन का उपयोग करके मिश्रित क्रमसूचक और श्रेणीबद्ध चर के कार्यों का अनुमान लगाना| website=DTIC | date=1991-06-01 | url=https://apps.dtic.mil/sti/citations/ADA590939 | archive-url=https://web.archive.org/web/20220411085148/https://apps.dtic.mil/sti/citations/ADA590939 | url-status=live | archive-date=April 11, 2022 | access-date=2022-04-11}}</ref> मार्स संख्यात्मक डेटा के लिए पुनरावर्ती विभाजन से उत्तम होता है क्योंकि पुनरावर्ती विभाजन द्वारा उपयोग किए जाने वाले टुकड़े-टुकड़े निरंतर विभाजन की तुलना में संख्यात्मक चर के लिए टिका अधिक उपयुक्त होती है।
*मार्स निरंतर और श्रेणीबद्ध डेटा दोनों को संभाल सकता है।<ref>{{cite book | last=Friedman | first=Jerome H. | chapter=Estimating Functions of Mixed Ordinal and Categorical Variables Using Adaptive Splines | author-link=Friedman, J. H.|year=1993|title=सांख्यिकीय डेटा विश्लेषण और मजबूती में नई दिशाएँ|editor=Stephan Morgenthaler |editor2=Elvezio Ronchetti |editor3=Werner Stahel|publisher=Birkhauser}}</ref><ref name="Friedman 1991">{{cite journal | last=Friedman | first=Jerome H. | title=अनुकूली स्प्लाइन का उपयोग करके मिश्रित क्रमसूचक और श्रेणीबद्ध चर के कार्यों का अनुमान लगाना| website=DTIC | date=1991-06-01 | url=https://apps.dtic.mil/sti/citations/ADA590939 | archive-url=https://web.archive.org/web/20220411085148/https://apps.dtic.mil/sti/citations/ADA590939 | url-status=live | archive-date=April 11, 2022 | access-date=2022-04-11}}</ref>मार्स संख्यात्मक डेटा के लिए पुनरावर्ती विभाजन से उत्तम होता है क्योंकि पुनरावर्ती विभाजन द्वारा उपयोग किए जाने वाले भाग निरंतर विभाजन की तुलना में संख्यात्मक चर के लिए व्याख्या अधिक उपयुक्त होती है।
*मार्स मॉडल के निर्माण के लिए प्रायः बहुत कम या कोई डेटा तैयारी की आवश्यकता नहीं होती है।<ref name=":0" />हिंज फलन स्वचालित रूप से इनपुट डेटा को विभाजित करता है, इसलिए आउटलेर्स का प्रभाव निहित होता है। इस संबंध में मार्स पुनरावर्ती विभाजन के समान है जो डेटा को असंयुक्त क्षेत्रों में भी विभाजित करता है, हालांकि  भिन्न विधि का उपयोग करता है। (फिर भी, अधिकांश सांख्यिकीय मॉडलिंग तकनीकों की तरह, मार्स मॉडल को प्रशिक्षित करने से पहले ज्ञात आउटलेर्स को हटाने पर विचार किया जाना चाहिए।{{Citation needed|date=March 2019}})
*मार्स मॉडल के निर्माण के लिए प्रायः अधिक कम या कोई डेटा तैयारी की आवश्यकता नहीं होती है।<ref name=":0" />हिंज फलन स्वचालित रूप से इनपुट डेटा को विभाजित करता है, इसलिए आउटलेर्स का प्रभाव निहित होता है। इस संबंध में मार्स पुनरावर्ती विभाजन के समान है जो डेटा को असंयुक्त क्षेत्रों में भी विभाजित करता है, चूँकि भिन्न विधि का उपयोग करता है। (फिर भी, अधिकांश सांख्यिकीय मॉडलिंग तकनीकों के जैसे, मार्स मॉडल को प्रशिक्षित करने से पूर्व ज्ञात आउटलेर्स को विस्थापित करने पर विचार किया जाना चाहिए।)
*मार्स (पुनरावर्ती विभाजन की तरह) स्वचालित फ़ीचर चयन करता है (जिसका भूमि है कि यह मॉडल में महत्वपूर्ण चर सम्मिलित करता है और महत्वहीन को बाहर कर देता है)। चूँकि, चयन में कुछ मनमानी हो सकती है, खासकर जब सहसंबद्ध भविष्यवक्ता हों, और यह व्याख्या को प्रभावित कर सकता है<ref name=":0" />*मार्स मॉडल में पूर्वाग्रह-विचरण का अच्छा समझौता होता है। मॉडल अरैखिकता और परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए पर्याप्त लचीले हैं (इस प्रकार मार्स मॉडल में अधिक कम पूर्वाग्रह है), फिर भी मार्स आधार कार्यों का बाधित रूप बहुत अधिक लचीलेपन को रोकता है (इस प्रकार मार्स मॉडल में अधिक कम भिन्नता होती है)।
*मार्स (पुनरावर्ती विभाजन के जैसे) स्वचालित चर चयन करता है (जिसका अर्थ है कि यह मॉडल में महत्वपूर्ण चर सम्मिलित करता है और महत्वहीन को बाहर कर देता है)। चूँकि, चयन में कुछ मनमानी हो सकती है, विशेषकर जब सहसंबद्ध भविष्यवक्ता हों, और यह व्याख्या को प्रभावित कर सकता है।<ref name=":0" />
*मार्स अधिक बड़े डेटासेट को संभालने के लिए उपयुक्त है। 100 भविष्यवक्ताओं और 10 के साथ इनपुट मैट्रिक्स से मार्स मॉडल बनाना नियमित मामला है<sup>5</sup>अवलोकन. ऐसा मॉडल 1 गीगाहर्ट्ज मशीन पर लगभग मिनट में बनाया जा सकता है, यह मानते हुए कि मार्स शब्दों की परस्पर क्रिया की अधिकतम डिग्री तक सीमित है (यानी केवल योगात्मक शब्द)। समान 1 गीगाहर्ट्ज़ मशीन पर समान डेटा वाले डिग्री दो मॉडल को अधिक समय लगता है - लगभग 12 मिनट। ध्यान रखें कि यह समय अत्यधिक डेटा पर निर्भर है। पुनरावर्ती विभाजन मार्स की तुलना में बहुत तेज़ है।{{Citation needed|date=March 2019}}
*मार्स मॉडल में पूर्वाग्रह-विचरण व्यवसाय-बंद होता है। मॉडल अरैखिकता और परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए पर्याप्त होते हैं (इस प्रकार मार्स मॉडल में अधिक कम पूर्वाग्रह है), फिर भी मार्स आधार फलन का बाधित रूप अधिक स्मूथली का अवरोध करता है (इस प्रकार मार्स मॉडल में अधिक कम भिन्नता होती है)।
*मार्स मॉडल के साथ, किसी भी गैर-पैरामीट्रिक प्रतिगमन की तरह, पैरामीटर आत्मविश्वास अंतराल और मॉडल पर अन्य जांचों की गणना सीधे नहीं की जा सकती (रैखिक प्रतिगमन मॉडल के विपरीत)। क्रॉस-वैलिडेशन (सांख्यिकी)|इसके बजाय मॉडल को मान्य करने के लिए क्रॉस-वैलिडेशन और संबंधित तकनीकों का उपयोग किया जाना चाहिए।
*मार्स अधिक बड़े डेटासेट को संभालने के लिए उपयुक्त है। 100 भविष्यवक्ताओं और 10<sup>5</sup> अवलोकनों के साथ इनपुट मैट्रिक्स से मार्स मॉडल बनाना नियमित विषय है ऐसा मॉडल 1 गीगाहर्ट्ज मशीन पर लगभग एक मिनट में बनाया जा सकता है, यह मानते हुए कि मार्स शब्दों की परस्पर क्रिया की अधिकतम डिग्री तक सीमित है (अर्थात केवल योगात्मक शब्द)। समान 1 गीगाहर्ट्ज़ मशीन पर समान डेटा वाले डिग्री दो मॉडल को अधिक समय लगता है- लगभग 12 मिनट। ध्यान रखें कि यह समय अत्यधिक डेटा पर निर्भर है। पुनरावर्ती विभाजन मार्स की तुलना में अधिक तीव्र है।
*मार्स मॉडल [[बूस्टिंग (मेटा-एल्गोरिदम)]] पेड़ों के समान अच्छे फिट नहीं देते हैं, किंतु इन्हें अधिक तेज़ी से बनाया जा सकता है और ये अधिक व्याख्या योग्य हैं। ( 'व्याख्यात्मक' मॉडल ऐसे रूप में है जो यह स्पष्ट करता है कि प्रत्येक भविष्यवक्ता का प्रभाव क्या है।)
*मार्स मॉडल के साथ, किसी भी अपैरामीट्रिक प्रतिगमन के जैसे, मॉडल पर पैरामीटर आत्मविश्वास अंतराल और अन्य शोधों की गणना सीधे नहीं की जा सकती (रैखिक प्रतिगमन मॉडल के विपरीत)। इसके अतिरिक्त मॉडल को मान्य करने के लिए क्रॉस-सत्यापन और संबंधित तकनीकों का उपयोग किया जाना चाहिए।
* <code>भूमि</code>का>, <code>mda</code>, और <code>polspline</code> कार्यान्वयन भविष्यवक्ताओं में लापता मूल्यों की अनुमति नहीं देता है, किंतु प्रतिगमन पेड़ों (जैसे) के मुफ्त कार्यान्वयन की अनुमति देता है <code>rpart</code> और <code>party</code>) सरोगेट स्प्लिट्स नामक तकनीक का उपयोग करके लापता मानों की अनुमति दें।
*मार्स मॉडल [[बूस्टिंग (मेटा-एल्गोरिदम)]] किए गए ट्री के समान उत्तम रूप से फिट नहीं होते हैं, किंतु इन्हें अधिक तीव्रता से बनाया जा सकता है और ये अधिक व्याख्या योग्य हैं। ('व्याख्यात्मक' मॉडल ऐसे रूप में है जो यह स्पष्ट करता है कि प्रत्येक भविष्यवक्ता का प्रभाव क्या है।)
*मार्स मॉडल शीघ्रता से भविष्यवाणियां कर सकते हैं। भविष्यवाणी फलन को बस मार्स मॉडल सूत्र का मूल्यांकन करना है। इसकी तुलना [[ समर्थन वेक्टर यंत्र ]] के साथ भविष्यवाणी करने से करें, जहां प्रत्येक वेरिएबल को प्रत्येक सपोर्ट वेक्टर के संबंधित तत्व से गुणा करना होता है। यदि कई चर और कई समर्थन वैक्टर हैं तो यह धीमी प्रक्रिया हो सकती है।
* <code>earth</code>, <code>mda</code>और <code>polspline</code> कार्यान्वयन भविष्यवक्ताओं में लुप्त मूल्यों की अनुमति नहीं देता है, किंतु प्रतिगमन ट्री (जैसे <code>rpart</code> और <code>party</code>) के मुफ्त कार्यान्वयन सरोगेट स्प्लिट्स नामक तकनीक का उपयोग करके लुप्त मूल्यों की अनुमति देते हैं।
*परिणामस्वरूप फिट किया गया फलन सुचारू नहीं है (टिका के साथ भिन्न-भिन्न नहीं)।
*मार्स मॉडल शीघ्रता से पूर्वानुमान कर सकते हैं। भविष्यवाणी फलन को बस मार्स मॉडल सूत्र का मूल्यांकन करना है। इसकी तुलना [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर मशीन]] के साथ भविष्यवाणी करने से करें, जहां चर को प्रत्येक सपोर्ट वेक्टर के संबंधित तत्व से गुणा करना होता है। यदि कई चर और कई समर्थन वैक्टर हैं तो यह धीमी प्रक्रिया हो सकती है।
*परिणामस्वरूप फिट किया गया फलन सुचारू नहीं है (व्याख्या के साथ भिन्न-भिन्न नहीं)।


== विस्तार और संबंधित अवधारणाएँ ==
== विस्तार और संबंधित अवधारणाएँ ==
* [[सामान्यीकृत रैखिक मॉडल]] (जीएलएम) को मार्स मॉडल के निर्माण के बाद  लिंक फलन लागू करके मार्स मॉडल में सम्मिलित किया जा सकता है। इस प्रकार, उदाहरण के लिए, मार्स मॉडल संभावनाओं की भविष्यवाणी करने के लिए [[ संभार तन्त्र परावर्तन ]] को सम्मिलित कर सकते हैं।
* [[सामान्यीकृत रैखिक मॉडल]] (जीएलएम) को मार्स मॉडल के निर्माण के पश्चात लिंक फलन प्रारम्भ करके मार्स मॉडल में सम्मिलित किया जा सकता है। इस प्रकार, उदाहरण के लिए, मार्स मॉडल संभावनाओं की भविष्यवाणी करने के लिए [[ संभार तन्त्र परावर्तन |लॉजिस्टिक रिग्रेशन]] को सम्मिलित कर सकते हैं।
* [[अरेखीय प्रतिगमन]]|नॉन-लीनियर रिग्रेशन का उपयोग तब किया जाता है जब फलन का अंतर्निहित रूप ज्ञात होता है और रिग्रेशन का उपयोग केवल उस फलन के मापदंडों का अनुमान लगाने के लिए किया जाता है। दूसरी ओर, मंगल स्वयं कार्यों का अनुमान लगाता है, यद्यपि कार्यों की प्रकृति पर गंभीर बाधाएं होती हैं। (ये बाधाएँ आवश्यक हैं क्योंकि डेटा से मॉडल की परिक्षण करना विपरीत समस्या है जो मॉडल पर बाधाओं के बिना [[अच्छी तरह से प्रस्तुत समस्या]] नहीं है।)
* [[अरेखीय प्रतिगमन]] का उपयोग तब कि बिना [[अच्छी तरह से प्रस्तुत समस्या|उत्तम प्रकार से प्रस्तुत समस्या]] नहीं की जा सकती है।)
* पुनरावर्ती विभाजन (आमतौर पर कार्ट कहा जाता है)। मार्स को पुनरावर्ती विभाजन के सामान्यीकरण के रूप में देखा जा सकता है जो मॉडल को संख्यात्मक (यानी गैर-श्रेणीबद्ध) डेटा को उत्तम ढंग से संभालने की अनुमति देता है।
* पुनरावर्ती विभाजन (सामान्यतः कार्ट या जाता है जब फलन का अंतर्निहित रूप ज्ञात होता है और प्रतिगमन का उपयोग केवल उस फलन के पैरामीटर का अनुमान लगाने के लिए किया जाता है। दूसरी ओर, मंगल स्वयं फलन का अनुमान लगाता है, यद्यपि फलन की प्रकृति पर जटिल बाधाएं होती हैं। (ये बाधाएँ आवश्यक हैं क्योंकि डेटा से मॉडल का परिक्षण करना विपरीत समस्या है जिसे मॉडल पर बाधाओं कहा जाता है)। मार्स को पुनरावर्ती विभाजन के सामान्यीकरण के रूप में देखा जा सकता है जो मॉडल को संख्यात्मक (अर्थात अश्रेणीबद्ध) डेटा को उत्तम रूप से संभालने की अनुमति देता है।
* [[सामान्यीकृत योगात्मक मॉडल]]उपयोगकर्ता के नजरिए से GAM, मार्स के समान हैं, किंतु () मार्स आधार कार्यों के बजाय सुचारू [[स्थानीय प्रतिगमन]] या बहुपद स्पलाइन (गणित) में फिट होते हैं, और (बी) स्वचालित रूप से परिवर्तनीय इंटरैक्शन को मॉडल नहीं करते हैं। GAMs द्वारा आंतरिक रूप से उपयोग की जाने वाली फिटिंग विधि मार्स से बहुत भिन्न है। ऐसे मॉडलों के लिए जिन्हें परिवर्तनीय इंटरैक्शन की स्वचालित परिक्षण की आवश्यकता नहीं होती है, GAMs प्रायः मार्स के साथ अनुकूल प्रतिस्पर्धा करते हैं।
* [[सामान्यीकृत योगात्मक मॉडल]] उपयोगकर्ता के दृष्टिकोण से GAM, MARS के समान हैं, किंतु (a) मार्स आधार फलन के अतिरिक्त सुचारू [[स्थानीय प्रतिगमन]] या बहुपद स्पलाइन (गणित) में फिट होते हैं, और (b) स्वचालित रूप से परिवर्तनीय इंटरैक्शन को मॉडल नहीं करते हैं। GAMs द्वारा आंतरिक रूप से उपयोग की जाने वाली फिटिंग विधि मार्स से अधिक भिन्न है। ऐसे मॉडलों के लिए जिन्हें परिवर्तनीय इंटरैक्शन की स्वचालित परिक्षण की आवश्यकता नहीं होती है, GAMs प्रायः मार्स के साथ अनुकूल प्रतिस्पर्धा करते हैं।
* [[टीएसएमएआरएस]]टाइम सीरीज़ मार्स वह शब्द है जिसका उपयोग तब किया जाता है जब मार्स मॉडल को टाइम सीरीज़ संदर्भ में लागू किया जाता है। आमतौर पर इस सेट अप में भविष्यवक्ता विलंबित समय श्रृंखला मान होते हैं जिसके परिणामस्वरूप ऑटोरेग्रेसिव स्पलाइन मॉडल होते हैं। मूविंग एवरेज स्पलाइन मॉडल को सम्मिलित करने के लिए इन मॉडलों और ्सटेंशनों को टीएसएमएआरएस का उपयोग करके यूनीवेरिएट टाइम सीरीज़ मॉडलिंग और पूर्वानुमान में वर्णित किया गया है: टीएसएमएआरएस का उपयोग करके थ्रेशोल्ड टाइम सीरीज़ ऑटोरेग्रेसिव, मौसमी और मूविंग औसत मॉडल का  अध्ययन।
* [[टीएसएमएआरएस]] टाइम सीरीज़ मार्स वह शब्द है जिसका उपयोग तब किया जाता है जब मार्स मॉडल को टाइम सीरीज़ संदर्भ में प्रारम्भ किया जाता है। सामान्यतः इस सेट अप में भविष्यवक्ता विलंबित समय श्रृंखला मान होते हैं जिसके परिणामस्वरूप स्वतः प्रतिगामी स्पलाइन मॉडल होते हैं। मूविंग एवरेज स्पलाइन मॉडल को सम्मिलित करने के लिए इन मॉडलों और एक्सटेंशनों को टीएसएमएआरएस का उपयोग करके यूनीवेरिएट टाइम सीरीज़ मॉडलिंग और पूर्वानुमान टीएसएमएआरएस का उपयोग करके थ्रेशोल्ड टाइम सीरीज़ स्वतः प्रतिगामी, सीज़नल और मूविंग एवरेज मॉडल के अध्ययन" में किया गया है।
* [[ बायेसियन मंगल ]] (बीएमएआरएस) ही मॉडल फॉर्म का उपयोग करता है, किंतु बायेसियन दृष्टिकोण का उपयोग करके मॉडल बनाता है। यह विभिन्न इष्टतम मार्स मॉडल पर पहुंच सकता है क्योंकि मॉडल निर्माण का दृष्टिकोण भिन्न है। Bमार्स का परिणाम आम तौर पर मार्स मॉडल के पिछले नमूनों का समूह होता है, जो संभाव्य भविष्यवाणी की अनुमति देता है।<ref>{{cite journal |last1=Denison |first1=D. G. T. |last2=Mallick |first2=B. K. |last3=Smith |first3=A. F. M. |title=बायेसियन मंगल|journal=Statistics and Computing |date=1 December 1998 |volume=8 |issue=4 |pages=337–346 |doi=10.1023/A:1008824606259 |s2cid=12570055 |url=https://link.springer.com/content/pdf/10.1023/A:1008824606259.pdf |language=en |issn=1573-1375}}</ref>
* [[ बायेसियन मंगल | बायेसियन मार्स]] (बीएमएआरएस) एक ही मॉडल फॉर्म का उपयोग करता है, किंतु बायेसियन दृष्टिकोण का उपयोग करके मॉडल बनाता है। यह विभिन्न इष्टतम मार्स मॉडल पर पहुंच सकता है क्योंकि मॉडल निर्माण का दृष्टिकोण भिन्न है। बीमार्स का परिणाम सामान्यतः मार्स मॉडल के पूर्व प्रारूप का समूह होता है, जो संभाव्य भविष्यवाणी की अनुमति देता है।<ref>{{cite journal |last1=Denison |first1=D. G. T. |last2=Mallick |first2=B. K. |last3=Smith |first3=A. F. M. |title=बायेसियन मंगल|journal=Statistics and Computing |date=1 December 1998 |volume=8 |issue=4 |pages=337–346 |doi=10.1023/A:1008824606259 |s2cid=12570055 |url=https://link.springer.com/content/pdf/10.1023/A:1008824606259.pdf |language=en |issn=1573-1375}}</ref>


== यह भी देखें ==
== यह भी देखें ==
* रेखीय प्रतिगमन
* रेखीय प्रतिगमन
* स्थानीय प्रतिगमन
* स्थानीय प्रतिगमन
* [[तर्कसंगत कार्य मॉडलिंग]]
* [[तर्कसंगत कार्य मॉडलिंग|तर्कसंगत फलन मॉडलिंग]]
* [[खंडित प्रतिगमन]]
* [[खंडित प्रतिगमन]]
* [[तख़्ता प्रक्षेप]]
* [[तख़्ता प्रक्षेप|स्प्लीन प्रक्षेप]]
* [[तख़्ता प्रतिगमन]]
* [[तख़्ता प्रतिगमन|स्प्लीन प्रतिगमन]]


== संदर्भ ==
== संदर्भ ==
Line 230: Line 213:
; Free software:
; Free software:
* [[R (programming language)|R]] packages:
* [[R (programming language)|R]] packages:
** <code>भूमि</code> function in the <code>[https://cran.r-project.org/web/packages/earth/index.html भूमि]</code> package
** <code>एअर्थ</code> function in the <code>[https://cran.r-project.org/web/packages/earth/index.html एअर्थ]</code> package
** <code>मार्स</code> function in the <code>[https://cran.r-project.org/web/packages/mda/index.html mda]</code> package
** <code>मार्स</code> function in the <code>[https://cran.r-project.org/web/packages/mda/index.html mda]</code> package
** <code>polyमार्स</code> function in the <code>[https://cran.r-project.org/web/packages/polspline/index.html polspline]</code> package.  Not Friedman's मार्स.
** <code>polyमार्स</code> function in the <code>[https://cran.r-project.org/web/packages/polspline/index.html polspline]</code> package.  Not Friedman's मार्स.
Line 238: Line 221:
** [https://web.stat.tamu.edu/~bmallick/wileybook/book_code.html Code] from the book ''Bayesian Methods for Nonlinear Classification and Regression''<ref>{{cite book |last1=Denison |first1=D. G. T. |last2=Holmes |first2=C. C. |last3=Mallick |first3=B. K. |last4=Smith |first4=A. F. M. |title=Bayesian methods for nonlinear classification and regression |date=2002 |publisher=Wiley |location=Chichester, England |isbn=978-0-471-49036-4}}</ref> for Bayesian मार्स.
** [https://web.stat.tamu.edu/~bmallick/wileybook/book_code.html Code] from the book ''Bayesian Methods for Nonlinear Classification and Regression''<ref>{{cite book |last1=Denison |first1=D. G. T. |last2=Holmes |first2=C. C. |last3=Mallick |first3=B. K. |last4=Smith |first4=A. F. M. |title=Bayesian methods for nonlinear classification and regression |date=2002 |publisher=Wiley |location=Chichester, England |isbn=978-0-471-49036-4}}</ref> for Bayesian मार्स.
* Python
* Python
** [http://orange.biolab.si/blog/2011/12/20/earth-multivariate-adaptive-regression-splines/ भूमि – Multivariate adaptive regression splines]
** [http://orange.biolab.si/blog/2011/12/20/earth-multivariate-adaptive-regression-splines/ एअर्थ – Multivariate adaptive regression splines]
** [https://github.com/jcrudy/py-earth/ py-भूमि]
** [https://github.com/jcrudy/py-earth/ py-एअर्थ]
** [https://github.com/lanl/pyBASS pyBASS] for Bayesian मार्स.
** [https://github.com/lanl/pyBASS pyBASS] for Bayesian मार्स.


Line 246: Line 229:
* [https://web.archive.org/web/20101203023609/http://www.statsoft.com/products/data-mining-solutions/ STATISTICA Data Miner] from StatSoft
* [https://web.archive.org/web/20101203023609/http://www.statsoft.com/products/data-mining-solutions/ STATISTICA Data Miner] from StatSoft
* [http://support.sas.com/documentation/cdl/en/statug/65328/HTML/default/viewer.htm#statug_adaptivereg_overview.htm ADAPTIVEREG] from SAS.
* [http://support.sas.com/documentation/cdl/en/statug/65328/HTML/default/viewer.htm#statug_adaptivereg_overview.htm ADAPTIVEREG] from SAS.
[[Category: गैरपैरामीट्रिक प्रतिगमन]] [[Category: यंत्र अधिगम]]


 
[[Category:Articles with hatnote templates targeting a nonexistent page]]
 
[[Category:CS1 English-language sources (en)]]
[[Category: Machine Translated Page]]
[[Category:Created On 07/07/2023]]
[[Category:Created On 07/07/2023]]
[[Category:Lua-based templates]]
[[Category:Machine Translated Page]]
[[Category:Pages with broken file links]]
[[Category:Pages with maths render errors]]
[[Category:Pages with script errors]]
[[Category:Templates Vigyan Ready]]
[[Category:Templates that add a tracking category]]
[[Category:Templates that generate short descriptions]]
[[Category:Templates using TemplateData]]
[[Category:गैरपैरामीट्रिक प्रतिगमन]]
[[Category:यंत्र अधिगम]]

Latest revision as of 21:14, 15 July 2023

आंकड़ों में, बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिन (मार्स) 1991 में जेरोम एच. फ्रीडमैन द्वारा प्रस्तुत प्रतिगमन विश्लेषण का रूप है।[1] यह अपैरामीट्रिक प्रतिगमन तकनीक है और इसे रैखिक मॉडल के विस्तार के रूप में देखा जा सकता है जो स्वचालित रूप से चर के मध्य अरैखिकता और इंटरैक्शन को मॉडल करता है।

मार्स सैलफोर्ड प्रणाली द्वारा ट्रेडमार्क और लाइसेंसीकृत है। ट्रेडमार्क उल्लंघनों से बचने के लिए, मार्स के कई विवृत-सोर्स कार्यान्वयनों को एअर्थ कहा जाता है।[2][3]

आधार

यह खंड कुछ उदाहरणों का उपयोग करके मंगल ग्रह का परिचय देता है। हम डेटा के सेट से प्रारंभ करते हैं: इनपुट चर x का मैट्रिक्स, और देखी गई प्रतिक्रियाओं y का वेक्टर, x में प्रत्येक पंक्ति के लिए प्रतिक्रिया के साथ है। उदाहरण के लिए, डेटा हो सकता है:

x y
10.5 16.4
10.7 18.8
10.8 19.7
... ...
20.6 77.0

यहां केवल आश्रित और स्वतंत्र चर है, इसलिए x मैट्रिक्स केवल कॉलम है। इन मापों को देखते हुए, हम मॉडल बनाना चाहेंगे जो किसी दिए गए x के लिए अपेक्षित y की भविष्यवाणी करता है।

रेखीय मॉडल

उपरोक्त डेटा के लिए रैखिक मॉडल है:

हैट दर्शाता है कि डेटा से अनुमान लगाया गया है। दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमान बताने वाली पंक्ति के प्रति x, y के मूल मान को लाल बिंदुओं के रूप में दिखाया गया है।

x के शीर्ष पर डेटा प्रदर्शित करता है कि y और x के मध्य संबंध अरैखिक हो सकता है (x के निम्न और उच्च मूल्यों पर प्रतिगमन रेखा के सापेक्ष लाल बिंदुओं को देखें)। इस प्रकार अरैखिकताओं को ध्यान में रखते हुए स्वचालित रूप से मॉडल बनाने के लिए मार्स की ओर संकेत करते हैं। मार्स सॉफ़्टवेयर दिए गए x और y से निम्नानुसार मॉडल बनाता है:

समान डेटा का सरल मार्स मॉडल

दाईं ओर का चित्र इस फलन का प्लॉट दिखाता है: पूर्वानुमानित के प्रति x, y के मूल मानों को एक बार फिर लाल बिंदुओं के रूप में दिखाया गया है। पूर्वानुमानित प्रतिक्रिया अब मूल y मानों के लिए उत्तम अनुकूल है।

अरैखिकता को ध्यान में रखने के लिए मार्स ने स्वचालित रूप से अनुमानित y में घुमाव उत्पन्न किया है। किंक का निर्माण हिंज फलन द्वारा होता है। हिंज फलन से प्रारंभ होने वाले भाव (जहाँ है यदि , अन्य ) हिंज फलन का नीचे अधिक विस्तार से वर्णन किया गया है।

इस सरल उदाहरण में, हम प्लॉट द्वारा सरलता से देख सकते हैं कि y का x के साथ अरैखिक संबंध है (और संभवतः अनुमान लगा सकते हैं कि y, x के वर्ग के साथ परिवर्तित होता रहता है)। चूँकि, सामान्यतः कई आश्रित और स्वतंत्र चर होंगे, y और इन चर के मध्य संबंध अस्पष्ट होगा और प्लॉटिंग द्वारा सरलता से दिखाई नहीं देगा। हम उस अरैखिक संबंध का परिक्षण करने के लिए मार्स का उपयोग कर सकते हैं।

अनेक चरों के साथ मार्स अभिव्यक्ति का उदाहरण है:

मार्स मॉडल में परिवर्तनीय अंतःक्रिया

यह अभिव्यक्ति वायु प्रदूषण (ओजोन स्तर) को तापमान और कुछ अन्य चर के आधार पर दर्शाती है। ध्यान दें कि सूत्र में अंतिम पद (अंतिम पंक्ति पर) के मध्य परस्पर क्रिया और सम्मिलित है।

उत्तम प्लॉट पर दिए गए आंकड़े की भविष्यवाणी की गई है जैसा और भिन्न-भिन्न होते हैं, अन्य चर उनके मध्य मानों पर निश्चित होते हैं। यह आंकड़ा दर्शाता है कि वायु ओजोन स्तर को तब तक प्रभावित नहीं करती जब तक दृश्यता कम न हो। हम देखते हैं कि मार्स कार्यों के संयोजन से अधिक प्रतिगमन सतहों का निर्माण कर सकता है।

उपरोक्त अभिव्यक्ति प्राप्त करने के लिए, मार्स मॉडल निर्माण प्रक्रिया स्वचालित रूप से चयन करती है कि कौन से चर का उपयोग करना है (कुछ चर महत्वपूर्ण हैं, अन्य नहीं), फलन में किंक की स्थिति, और फलन को कैसे संयोजित किया जाता है।

मंगल ग्रह मॉडल

मार्स फॉर्म के मॉडल बनाता है:

मॉडल आधार फलनो का भारित योग है प्रत्येक स्थिर गुणांक है, उदाहरण के लिए, उपरोक्त ओजोन के सूत्र में प्रत्येक पंक्ति उसके गुणांक से गुणा किया गया आधार फलन है।

प्रत्येक आधार फलन निम्नलिखित तीन रूपों में से प्राप्त करता है:

1) अचर 1 ऐसा पद है, अंतःखंड उपरोक्त ओजोन सूत्र में, अवरोधन पद 5.2 है।

2) कार्य फलन का ऐसा रूप होता है या मार्स हिंज फलन के लिए स्वचालित रूप से उन चरों के चर और मानों का चयन करता है। ऐसे आधार फलनो के उदाहरण ओजोन सूत्र के मध्य तीन पंक्तियों में देखे जा सकते हैं।

3) दो या दो से अधिक फलनो का उत्पाद ये आधार फलन दो या दो से अधिक चरों के मध्य अंतःक्रिया को मॉडल कर सकते हैं। उदाहरण ओजोन सूत्र की अंतिम पंक्ति है।

कार्य के फलन

फलन की प्रतिबिंबित जोड़ी x=3.1 पर कनॉट के साथ कार्य करती है

मार्स मॉडल का प्रमुख भाग रूप धारण करने वाले हिंज फलन हैं:

या

जहाँ स्थिरांक है, जिसे कनॉट कहा जाता है। दाईं ओर का चित्र 3.1 पर कनॉट के साथ कार्य के फलन की प्रतिबिंबित जोड़ी को दर्शाता है।

हिंज फलन इसकी सीमा के भाग के लिए शून्य है, इसलिए इसका उपयोग डेटा को असंयुक्त क्षेत्रों में विभाजित करने के लिए किया जा सकता है, जिनमें से प्रत्येक को स्वतंत्र रूप से व्यवहार किया जा सकता है। इस प्रकार, उदाहरण के लिए अभिव्यक्ति में फलन की प्रतिबिंबित जोड़ी कार्य करती है:

पूर्व अनुभाग में सरल मार्स मॉडल के लिए दिखाया गया भाग रैखिक ग्राफ़ बनाता है।

कोई यह मान सकता है कि हिंज फलन के भाग से रैखिक फलन बनाए जा सकते हैं, किंतु नॉन-लीनियर फलन बनाने के लिए हिंज फलन के साथ गुणा किया जा सकता है।

हिंज फलन को रैंप फलन, आइस हॉकी स्टिक, या रेक्टिफायर (तंत्रिका नेटवर्क) फलन भी कहा जाता है। परिवर्तन में अधिकतम इस आलेख में उपयोग किए गए नोटेशन में, हिंज फलन को प्रायः से दर्शाया जाता है जहाँ का तात्पर्य सकारात्मक भाग है।

मॉडल निर्माण प्रक्रिया

मार्स दो चरणों में मॉडल बनाता है: आगे और पीछे का मार्ग। यह दो-चरणीय दृष्टिकोण वही है जो पुनरावर्ती विभाजन ट्री द्वारा उपयोग किया जाता है।

फॉरवर्ड पास

मार्स मॉडल से प्रारंभ होता है जिसमें केवल इंटरसेप्ट टर्म होता है (जो प्रतिक्रिया मूल्यों का माध्य है)।

मार्स फिर मॉडल में जोड़े में आधार फलन को बार-बार जोड़ता है। प्रत्येक चरण में यह आधार फलनों की जोड़ी का शोध करता है जो वर्गों के योग में अवशिष्ट त्रुटि में अधिकतम कमी देता है (यह ग्रेडी एल्गोरिदम है)। जोड़ी में दो आधार फलन समान हैं, अतिरिक्त इसके प्रत्येक फलन के लिए मिरर किए गए हिंज फलन का भिन्न पक्ष उपयोग किया जाता है। प्रत्येक नए आधार फलन में मॉडल में पूर्व से ही शब्द सम्मिलित होता है (जो संभवतः इंटरसेप्ट शब्द हो सकता है) नए हिंज फलन द्वारा गुणा किया जाता है। हिंज फलन को चर और कनॉट द्वारा परिभाषित किया जाता है, इसलिए नया आधार फलन जोड़ने के लिए, मार्स को निम्नलिखित के सभी संयोजनों का परिक्षण करना होगा:

1) उपस्थित शब्द (इस संदर्भ में मूल शब्द कहे जाते हैं)।

2) सभी चर (नए आधार फलन का चयन करने के लिए)।

3) प्रत्येक चर के सभी मान (नए कार्य फलन के लिए कनॉट)।

प्रत्येक पद के गुणांक की गणना करने के लिए मार्स पदों पर रेखीय प्रतिगमन प्रारम्भ करता है।

शब्दों को जोड़ने की यह प्रक्रिया तब तक प्रारम्भ रहती है जब तक कि शेष त्रुटि में परिवर्तन प्रारम्भ रखने के लिए अधिक छोटा न हो या जब तक शब्दों की अधिकतम संख्या न हो जाए। मॉडल निर्माण प्रारंभ होने से पूर्व उपयोगकर्ता द्वारा नियम की अधिकतम संख्या निर्दिष्ट की जाती है।

प्रत्येक चरण पर परिक्षण पाशविक बल परिक्षण विधि द्वारा किया जाता है, किंतु मार्स का प्रमुख विषय यह है कि हिंज फलन की प्रकृति के कारण तीव्रता से न्यूनतम-वर्ग अद्यतन तकनीक का उपयोग करके परिक्षण अपेक्षाकृत तीव्रता से किया जा सकता है। वास्तव में, परिक्षण क्रूर बल नहीं है, परिक्षण को अनुमान के साथ तीव्रता से किया जा सकता है जो प्रत्येक चरण पर विचार करने के लिए मूल शब्दों की संख्या को कम कर देता है (फास्ट मार्स)।[4]

बैकवर्ड पास

फॉरवर्ड पास सामान्यतः ओवरफ़िट मॉडल बनाता है। (ओवरफिट मॉडल बनाने के लिए उपयोग किए गए डेटा के लिए उत्तम प्रकार से फिट होता है किंतु नए डेटा के लिए उत्तम प्रकार से सामान्यीकृत नहीं होगा।) उत्तम सामान्यीकरण क्षमता के साथ मॉडल बनाने के लिए, बैकवर्ड पास मॉडल को विभक्त करता है। यह एक-एक करके शब्दों को विस्थापित करता है, प्रत्येक चरण में सबसे कम प्रभावी शब्द को विस्थापित करता है जब तक कि उसे सबसे उत्तम सबमॉडल नहीं मिल जाता है। मॉडल उपसमुच्चय की तुलना नीचे वर्णित सामान्यीकृत क्रॉस सत्यापन (जीसीवी) पैरामीटर का उपयोग करके किया जाता है।

फॉरवर्ड पास की तुलना में बैकवर्ड पास का लाभ है: किसी भी चरण पर यह विस्थापित करने के लिए कोई भी शब्द का चयन कर सकता है, जबकि प्रत्येक चरण पर फॉरवर्ड पास केवल शब्दों की अगली जोड़ी देख सकता है।

फॉरवर्ड पास जोड़े में शब्द जोड़ता है, किंतु बैकवर्ड पास सामान्यतः जोड़े के ओर को विस्थापित कर देता है और इसलिए अंतिम मॉडल में शब्द प्रायः जोड़े में नहीं देखे जाते हैं। समीकरण में युग्मित फलन देखा जा सकता है उपरोक्त पूर्व मंगल उदाहरण में; ओजोन उदाहरण में कोई पूर्ण युग्म नहीं रखा गया है।

सामान्यीकृत क्रॉस सत्यापन

सबसे उत्तम सबसेट चयन करने के लिए मॉडल सबसेट के प्रदर्शन की तुलना करने के लिए बैकवर्ड पास सामान्यीकृत क्रॉस वैलिडेशन (जीसीवी) का उपयोग करता है: जीसीवी के निचले मान उत्तम होते हैं। जीसीवी नियमितीकरण (मशीन लर्निंग) का रूप है: यह मॉडल जटिलता के प्रतिस्पर्धा फिट का व्यवसाय करता है।

(हम यह अनुमान लगाना चाहते हैं कि कोई मॉडल नए डेटा पर कितना उत्तम प्रदर्शन करता है, प्रशिक्षण डेटा पर प्रदर्शन नहीं करता है। ऐसा नया डेटा सामान्यतः मॉडल निर्माण के समय उपलब्ध नहीं होता है, इसलिए इसके अतिरिक्त नए डेटा पर प्रदर्शन क्या होगा इसका अनुमान लगाने के लिए जीसीवी का उपयोग करते हैं। प्रशिक्षण डेटा पर वर्गों का अवशिष्ट योग-वर्ग (आरएसएस) मॉडल की तुलना करने के लिए अपर्याप्त है, क्योंकि आरएसएस सदैव बढ़ता है क्योंकि एमएआरएस शब्द विस्थापित कर दिए जाते हैं। दूसरे शब्दों में, यदि आरएसएस का उपयोग मॉडलों की तुलना करने के लिए किया जाता था, तो बैकवर्ड पास सदैव चयन था सबसे बड़ा मॉडल—किंतु सबसे बड़े मॉडल में सामान्यतः सबसे उत्तम सामान्यीकरण प्रदर्शन नहीं होता है।)

जीसीवी का सूत्र है:

GCV = RSS / (N · (1 − (effective number of parameters) / N)2)

जहां आरएसएस प्रशिक्षण डेटा पर मापा गया वर्गों का अवशिष्ट योग है और N अवलोकनों की संख्या ('x' मैट्रिक्स में पंक्तियों की संख्या) है।

EffectiveNumberOfParameters को मार्स संदर्भ में इस प्रकार परिभाषित किया गया है:

(effective number of parameters) = (number of mars terms) + (penalty) · ((number of Mars terms) − 1 ) / 2

जहां 'दंड' लगभग 2 या 3 है (एमएआरएस सॉफ्टवेयर उपयोगकर्ता को दंड पूर्व निर्धारित करने की अनुमति देता है)।

ध्यान दें कि

(number of Mars terms − 1 ) / 2

हिंज-फलन कनॉट की संख्या है, इसलिए सूत्र कनॉट को जोड़ने पर दंड लगाता है। इस प्रकार जीसीवी सूत्र मॉडल को ध्यान में रखते हुए प्रशिक्षण आरएसएस को समायोजित करता है। हम इसे दंडित करते हैं क्योंकि जो मॉडल अधिक स्मूथ हैं वे डेटा की व्यवस्थित संरचना के अतिरिक्त डेटा में शोर के विशिष्ट अनुभव को मॉडल करेंगे।

सामान्यीकृत क्रॉस-सत्यापन को यह नाम दिया गया है क्योंकि यह त्रुटि का अनुमान लगाने के लिए सूत्र का उपयोग करता है जिसे लीव-वन-आउट सत्यापन द्वारा निर्धारित किया जाएगा। यह सिर्फ अनुमान है किंतु व्यवहार में उत्तम कार्य करता है। जीसीवी को क्रेवेन और ग्रेस वाहबा द्वारा प्रस्तुत किया गया था और फ्रीडमैन द्वारा मार्स के लिए विस्तारित किया गया था।

बाधाएँ

बाधा का पूर्व ही उल्लेख किया जा चुका है: उपयोगकर्ता फॉरवर्ड पास में अधिकतम संख्या में शब्द निर्दिष्ट कर सकता है।

सम्बन्ध की अधिकतम स्वीकार्य डिग्री निर्दिष्ट करके फॉरवर्ड पास द्वारा बाधा उत्पन्न की जा सकती है। सामान्यतः केवल एक या दो डिग्री के सम्बन्ध की अनुमति होती है, किंतु जब डेटा इसका आश्वासन देता है तो उच्च डिग्री का उपयोग किया जा सकता है। उपरोक्त पूर्व मार्स उदाहरण में अंतःक्रिया की अधिकतम डिग्री है (अर्थात कोई अंतःक्रिया या कोई योगात्मक मॉडल नहीं); ओजोन उदाहरण में यह दो है।

फॉरवर्ड पास पर अन्य बाधाएँ संभव हैं। उदाहरण के लिए, उपयोगकर्ता निर्दिष्ट कर सकता है कि इंटरैक्शन की अनुमति केवल कुछ इनपुट चर के लिए है। डेटा उत्पन्न करने वाली प्रक्रिया के ज्ञान के कारण ऐसी बाधाएं समझ में आ सकती हैं।

पक्ष और विपक्ष

कोई भी प्रतिगमन मॉडलिंग तकनीक सभी स्थितियों के लिए सर्वोत्तम नहीं है। नीचे दिए गए दिशानिर्देशों का उद्देश्य मंगल ग्रह के लाभ और हानि का विचार देना है। किंतु दिशानिर्देशों के अपवाद होंगे। मंगल की तुलना पुनरावर्ती विभाजन से करना उपयोगी है और यह नीचे किया गया है। (पुनरावर्ती विभाजन को सामान्यतः प्रतिगमन ट्री, निर्णय ट्री या कार्ट भी कहा जाता है; विवरण के लिए पुनरावर्ती विभाजन लेख देखें)।

  • मार्स मॉडल रैखिक प्रतिगमन मॉडल की तुलना में अधिक स्मूथ होते हैं।
  • मार्स मॉडल अध्ययन करने और व्याख्या करने में सरल हैं।[5] उपरोक्त ओजोन सांद्रता के समीकरण की तुलना, मान लीजिए, प्रशिक्षित कृत्रिम प्रणाली नेटवर्क या यादृच्छिक फारेस्ट के आंतरिक भाग में करें।
  • मार्स निरंतर और श्रेणीबद्ध डेटा दोनों को संभाल सकता है।[6][7]मार्स संख्यात्मक डेटा के लिए पुनरावर्ती विभाजन से उत्तम होता है क्योंकि पुनरावर्ती विभाजन द्वारा उपयोग किए जाने वाले भाग निरंतर विभाजन की तुलना में संख्यात्मक चर के लिए व्याख्या अधिक उपयुक्त होती है।
  • मार्स मॉडल के निर्माण के लिए प्रायः अधिक कम या कोई डेटा तैयारी की आवश्यकता नहीं होती है।[5]हिंज फलन स्वचालित रूप से इनपुट डेटा को विभाजित करता है, इसलिए आउटलेर्स का प्रभाव निहित होता है। इस संबंध में मार्स पुनरावर्ती विभाजन के समान है जो डेटा को असंयुक्त क्षेत्रों में भी विभाजित करता है, चूँकि भिन्न विधि का उपयोग करता है। (फिर भी, अधिकांश सांख्यिकीय मॉडलिंग तकनीकों के जैसे, मार्स मॉडल को प्रशिक्षित करने से पूर्व ज्ञात आउटलेर्स को विस्थापित करने पर विचार किया जाना चाहिए।)
  • मार्स (पुनरावर्ती विभाजन के जैसे) स्वचालित चर चयन करता है (जिसका अर्थ है कि यह मॉडल में महत्वपूर्ण चर सम्मिलित करता है और महत्वहीन को बाहर कर देता है)। चूँकि, चयन में कुछ मनमानी हो सकती है, विशेषकर जब सहसंबद्ध भविष्यवक्ता हों, और यह व्याख्या को प्रभावित कर सकता है।[5]
  • मार्स मॉडल में पूर्वाग्रह-विचरण व्यवसाय-बंद होता है। मॉडल अरैखिकता और परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए पर्याप्त होते हैं (इस प्रकार मार्स मॉडल में अधिक कम पूर्वाग्रह है), फिर भी मार्स आधार फलन का बाधित रूप अधिक स्मूथली का अवरोध करता है (इस प्रकार मार्स मॉडल में अधिक कम भिन्नता होती है)।
  • मार्स अधिक बड़े डेटासेट को संभालने के लिए उपयुक्त है। 100 भविष्यवक्ताओं और 105 अवलोकनों के साथ इनपुट मैट्रिक्स से मार्स मॉडल बनाना नियमित विषय है ऐसा मॉडल 1 गीगाहर्ट्ज मशीन पर लगभग एक मिनट में बनाया जा सकता है, यह मानते हुए कि मार्स शब्दों की परस्पर क्रिया की अधिकतम डिग्री तक सीमित है (अर्थात केवल योगात्मक शब्द)। समान 1 गीगाहर्ट्ज़ मशीन पर समान डेटा वाले डिग्री दो मॉडल को अधिक समय लगता है- लगभग 12 मिनट। ध्यान रखें कि यह समय अत्यधिक डेटा पर निर्भर है। पुनरावर्ती विभाजन मार्स की तुलना में अधिक तीव्र है।
  • मार्स मॉडल के साथ, किसी भी अपैरामीट्रिक प्रतिगमन के जैसे, मॉडल पर पैरामीटर आत्मविश्वास अंतराल और अन्य शोधों की गणना सीधे नहीं की जा सकती (रैखिक प्रतिगमन मॉडल के विपरीत)। इसके अतिरिक्त मॉडल को मान्य करने के लिए क्रॉस-सत्यापन और संबंधित तकनीकों का उपयोग किया जाना चाहिए।
  • मार्स मॉडल बूस्टिंग (मेटा-एल्गोरिदम) किए गए ट्री के समान उत्तम रूप से फिट नहीं होते हैं, किंतु इन्हें अधिक तीव्रता से बनाया जा सकता है और ये अधिक व्याख्या योग्य हैं। ('व्याख्यात्मक' मॉडल ऐसे रूप में है जो यह स्पष्ट करता है कि प्रत्येक भविष्यवक्ता का प्रभाव क्या है।)
  • earth, mdaऔर polspline कार्यान्वयन भविष्यवक्ताओं में लुप्त मूल्यों की अनुमति नहीं देता है, किंतु प्रतिगमन ट्री (जैसे rpart और party) के मुफ्त कार्यान्वयन सरोगेट स्प्लिट्स नामक तकनीक का उपयोग करके लुप्त मूल्यों की अनुमति देते हैं।
  • मार्स मॉडल शीघ्रता से पूर्वानुमान कर सकते हैं। भविष्यवाणी फलन को बस मार्स मॉडल सूत्र का मूल्यांकन करना है। इसकी तुलना समर्थन वेक्टर मशीन के साथ भविष्यवाणी करने से करें, जहां चर को प्रत्येक सपोर्ट वेक्टर के संबंधित तत्व से गुणा करना होता है। यदि कई चर और कई समर्थन वैक्टर हैं तो यह धीमी प्रक्रिया हो सकती है।
  • परिणामस्वरूप फिट किया गया फलन सुचारू नहीं है (व्याख्या के साथ भिन्न-भिन्न नहीं)।

विस्तार और संबंधित अवधारणाएँ

  • सामान्यीकृत रैखिक मॉडल (जीएलएम) को मार्स मॉडल के निर्माण के पश्चात लिंक फलन प्रारम्भ करके मार्स मॉडल में सम्मिलित किया जा सकता है। इस प्रकार, उदाहरण के लिए, मार्स मॉडल संभावनाओं की भविष्यवाणी करने के लिए लॉजिस्टिक रिग्रेशन को सम्मिलित कर सकते हैं।
  • अरेखीय प्रतिगमन का उपयोग तब कि बिना उत्तम प्रकार से प्रस्तुत समस्या नहीं की जा सकती है।)
  • पुनरावर्ती विभाजन (सामान्यतः कार्ट या जाता है जब फलन का अंतर्निहित रूप ज्ञात होता है और प्रतिगमन का उपयोग केवल उस फलन के पैरामीटर का अनुमान लगाने के लिए किया जाता है। दूसरी ओर, मंगल स्वयं फलन का अनुमान लगाता है, यद्यपि फलन की प्रकृति पर जटिल बाधाएं होती हैं। (ये बाधाएँ आवश्यक हैं क्योंकि डेटा से मॉडल का परिक्षण करना विपरीत समस्या है जिसे मॉडल पर बाधाओं कहा जाता है)। मार्स को पुनरावर्ती विभाजन के सामान्यीकरण के रूप में देखा जा सकता है जो मॉडल को संख्यात्मक (अर्थात अश्रेणीबद्ध) डेटा को उत्तम रूप से संभालने की अनुमति देता है।
  • सामान्यीकृत योगात्मक मॉडल उपयोगकर्ता के दृष्टिकोण से GAM, MARS के समान हैं, किंतु (a) मार्स आधार फलन के अतिरिक्त सुचारू स्थानीय प्रतिगमन या बहुपद स्पलाइन (गणित) में फिट होते हैं, और (b) स्वचालित रूप से परिवर्तनीय इंटरैक्शन को मॉडल नहीं करते हैं। GAMs द्वारा आंतरिक रूप से उपयोग की जाने वाली फिटिंग विधि मार्स से अधिक भिन्न है। ऐसे मॉडलों के लिए जिन्हें परिवर्तनीय इंटरैक्शन की स्वचालित परिक्षण की आवश्यकता नहीं होती है, GAMs प्रायः मार्स के साथ अनुकूल प्रतिस्पर्धा करते हैं।
  • टीएसएमएआरएस टाइम सीरीज़ मार्स वह शब्द है जिसका उपयोग तब किया जाता है जब मार्स मॉडल को टाइम सीरीज़ संदर्भ में प्रारम्भ किया जाता है। सामान्यतः इस सेट अप में भविष्यवक्ता विलंबित समय श्रृंखला मान होते हैं जिसके परिणामस्वरूप स्वतः प्रतिगामी स्पलाइन मॉडल होते हैं। मूविंग एवरेज स्पलाइन मॉडल को सम्मिलित करने के लिए इन मॉडलों और एक्सटेंशनों को टीएसएमएआरएस का उपयोग करके यूनीवेरिएट टाइम सीरीज़ मॉडलिंग और पूर्वानुमान टीएसएमएआरएस का उपयोग करके थ्रेशोल्ड टाइम सीरीज़ स्वतः प्रतिगामी, सीज़नल और मूविंग एवरेज मॉडल के अध्ययन" में किया गया है।
  • बायेसियन मार्स (बीएमएआरएस) एक ही मॉडल फॉर्म का उपयोग करता है, किंतु बायेसियन दृष्टिकोण का उपयोग करके मॉडल बनाता है। यह विभिन्न इष्टतम मार्स मॉडल पर पहुंच सकता है क्योंकि मॉडल निर्माण का दृष्टिकोण भिन्न है। बीमार्स का परिणाम सामान्यतः मार्स मॉडल के पूर्व प्रारूप का समूह होता है, जो संभाव्य भविष्यवाणी की अनुमति देता है।[8]

यह भी देखें

संदर्भ

  1. Friedman, J. H. (1991). "बहुभिन्नरूपी अनुकूली प्रतिगमन स्प्लिंस". The Annals of Statistics. 19 (1): 1–67. CiteSeerX 10.1.1.382.970. doi:10.1214/aos/1176347963. JSTOR 2241837. MR 1091842. Zbl 0765.62064.
  2. CRAN Package earth
  3. Earth – Multivariate adaptive regression splines in Orange (Python machine learning library)
  4. Friedman, J. H. (1993) Fast MARS, Stanford University Department of Statistics, Technical Report 110
  5. 5.0 5.1 5.2 Kuhn, Max; Johnson, Kjell (2013). एप्लाइड प्रेडिक्टिव मॉडलिंग (in English). New York, NY: Springer New York. doi:10.1007/978-1-4614-6849-3. ISBN 9781461468486.
  6. Friedman, Jerome H. (1993). "Estimating Functions of Mixed Ordinal and Categorical Variables Using Adaptive Splines". In Stephan Morgenthaler; Elvezio Ronchetti; Werner Stahel (eds.). सांख्यिकीय डेटा विश्लेषण और मजबूती में नई दिशाएँ. Birkhauser.
  7. Friedman, Jerome H. (1991-06-01). "अनुकूली स्प्लाइन का उपयोग करके मिश्रित क्रमसूचक और श्रेणीबद्ध चर के कार्यों का अनुमान लगाना". DTIC. Archived from the original on April 11, 2022. Retrieved 2022-04-11.
  8. Denison, D. G. T.; Mallick, B. K.; Smith, A. F. M. (1 December 1998). "बायेसियन मंगल" (PDF). Statistics and Computing (in English). 8 (4): 337–346. doi:10.1023/A:1008824606259. ISSN 1573-1375. S2CID 12570055.


अग्रिम पठन


बाहरी संबंध

Several free and commercial software packages are available for fitting मार्स-type models.

Free software
Commercial software
  1. Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian methods for nonlinear classification and regression. Chichester, England: Wiley. ISBN 978-0-471-49036-4.