न्यूनतम पूर्ण विचलन: Difference between revisions
(Created page with "{{Regression bar}} न्यूनतम निरपेक्ष विचलन (LAD), जिसे कम से कम निरपेक्ष त्रुटियाँ...") |
No edit summary |
||
Line 1: | Line 1: | ||
{{Regression bar}} | {{Regression bar}} | ||
न्यूनतम निरपेक्ष विचलन ( | '''न्यूनतम निरपेक्ष विचलन''' विचलन (एलएडी), जिसे कम से कम निरपेक्ष त्रुटियाँ (एलएई), कम से कम निरपेक्ष अवशिष्ट (एलएआर), या कम से कम निरपेक्ष मान (एलएवी) के रूप में भी जाना जाता है, एक सांख्यिकीय [[इष्टतमता मानदंड]] और [[मैक्सिमा और मिनिमा]] एक सांख्यिकीय [[अनुकूलन (गणित)]] तकनीक है जो पूर्ण विचलन के योग को न्यूनतम करने पर आधारित है। (पूर्ण अवशिष्टों का योग या पूर्ण त्रुटियों का योग भी) या ऐसे मूल्यों का ''L''<sub>1</sub> मानदंड। यह न्यूनतम वर्ग तकनीक के समान है, सिवाय इसके कि यह [[वर्ग (बीजगणित)]] मानों के बजाय निरपेक्ष मानों पर आधारित है। यह एक ऐसे [[फ़ंक्शन (गणित)|फलन (गणित)]]को खोजने का प्रयास करता है जो फलनद्वारा उत्पन्न बिंदुओं और संबंधित डेटा बिंदुओं के बीच अवशेषों को कम करके डेटा के एक सेट का बारीकी से अनुमान लगाता है। यदि त्रुटियों में [[लाप्लास वितरण]] होता है तो एलएडी अनुमान अधिकतम संभावना अनुमान के रूप में भी उत्पन्न होता है। इसे 1757 में [[रोजर जोसेफ बोस्कोविच]] द्वारा पेश किया गया था।<ref>{{cite book|chapter=Least Absolute Deviation Regression|title=सांख्यिकी का संक्षिप्त विश्वकोश|url=https://archive.org/details/conciseencyclope00dodg|url-access=limited|pages=[https://archive.org/details/conciseencyclope00dodg/page/n299 299]–302|doi=10.1007/978-0-387-32833-1_225|publisher=Springer|date=2008 |isbn=9780387328331}}</ref> | ||
==निरूपण== | |||
मान लीजिए कि [[डेटा सेट]] में i = 1, 2, ..., n के साथ बिंदु (''x<sub>i</sub>'', ''y<sub>i</sub>'') शामिल हैं। हम ऐसा कोई फलनखोजना चाहते हैं <math>f(x_i)\approx y_i.</math> | |||
इस लक्ष्य को प्राप्त करने के लिए, हम मानते हैं कि फलनf एक विशेष रूप का है जिसमें कुछ पैरामीटर हैं जिन्हें निर्धारित करने की आवश्यकता है। उदाहरण के लिए, सबसे सरल रूप रैखिक होगा:: ''f''(''x'') = ''bx'' + ''c'', जहां ''b'' और ''c'' ऐसे पैरामीटर हैं जिनके मान ज्ञात नहीं हैं लेकिन जिनका हम अनुमान लगाना चाहते हैं। कम सरलता से, मान लें कि f(x) द्विघात है, जिसका अर्थ है कि ''f''(''x'') = ''ax''<sup>2</sup> + ''bx'' + ''c'' जहां ''a'', ''b'' और ''c'' अभी तक ज्ञात नहीं हैं। (आमतौर पर, केवल एक व्याख्याकार ''x'', नहीं हो सकता है, बल्कि कई व्याख्याकार हो सकते हैं, सभी फलन ''f'' के तर्क के रूप में दिखाई देते हैं।) | |||
अब हम अज्ञात मापदंडों के अनुमानित मूल्यों की तलाश करते हैं जो अवशेषों के निरपेक्ष मूल्यों के योग को कम करते हैं | | |||
अब हम अज्ञात मापदंडों के अनुमानित मूल्यों की तलाश करते हैं जो अवशेषों के निरपेक्ष मूल्यों के योग को कम करते हैं | |||
:<math> S = \sum_{i=1}^n |y_i - f(x_i)|. </math> | :<math> S = \sum_{i=1}^n |y_i - f(x_i)|. </math> | ||
Line 15: | Line 14: | ||
यद्यपि न्यूनतम निरपेक्ष विचलन प्रतिगमन का विचार न्यूनतम वर्ग प्रतिगमन के समान ही सरल है, न्यूनतम निरपेक्ष विचलन रेखा की कुशलता से गणना करना उतना आसान नहीं है। न्यूनतम वर्ग प्रतिगमन के विपरीत, न्यूनतम निरपेक्ष विचलन प्रतिगमन में एक विश्लेषणात्मक समाधान विधि नहीं होती है। इसलिए, एक पुनरावृत्त दृष्टिकोण की आवश्यकता है। निम्नलिखित कुछ न्यूनतम निरपेक्ष विचलन समाधान विधियों की गणना है। | यद्यपि न्यूनतम निरपेक्ष विचलन प्रतिगमन का विचार न्यूनतम वर्ग प्रतिगमन के समान ही सरल है, न्यूनतम निरपेक्ष विचलन रेखा की कुशलता से गणना करना उतना आसान नहीं है। न्यूनतम वर्ग प्रतिगमन के विपरीत, न्यूनतम निरपेक्ष विचलन प्रतिगमन में एक विश्लेषणात्मक समाधान विधि नहीं होती है। इसलिए, एक पुनरावृत्त दृष्टिकोण की आवश्यकता है। निम्नलिखित कुछ न्यूनतम निरपेक्ष विचलन समाधान विधियों की गणना है। | ||
* [[सिम्प्लेक्स एल्गोरिथ्म]] | * | ||
*[[सिम्प्लेक्स एल्गोरिथ्म]] विधियाँ (जैसे कि बैरोडेल-रॉबर्ट्स एल्गोरिथम | <ref>{{Cite journal | |||
| first1 = I. |last1 = Barrodale |first2 = F. D. K. | last2 = Roberts | | first1 = I. |last1 = Barrodale |first2 = F. D. K. | last2 = Roberts | ||
| title = An improved algorithm for discrete L<sub>1</sub> linear approximation | | title = An improved algorithm for discrete L<sub>1</sub> linear approximation | ||
Line 27: | Line 27: | ||
|bibcode = 1973SJNA...10..839B | hdl = 1828/11491 | |bibcode = 1973SJNA...10..839B | hdl = 1828/11491 | ||
| hdl-access = free | | hdl-access = free | ||
}}</ref> | }}</ref> | ||
*क्योंकि समस्या रैखिक प्रोग्राम है, कई रैखिक प्रोग्रामिंग तकनीकों (सिंप्लेक्स विधि के साथ-साथ अन्य सहित) में से किसी को भी लागू किया जा सकता है। | |||
* न्यूनतम वर्गों को | * न्यूनतम वर्गों को पुनरावर्ती रूप से पुनः भारित करें <ref>{{Cite journal | ||
| first = E. J. | last = Schlossmacher | | first = E. J. | last = Schlossmacher | ||
| title = An Iterative Technique for Absolute Deviations Curve Fitting | | title = An Iterative Technique for Absolute Deviations Curve Fitting | ||
Line 40: | Line 40: | ||
| doi = 10.2307/2284512 | | doi = 10.2307/2284512 | ||
}}</ref> | }}</ref> | ||
* वेसोलोव्स्की की प्रत्यक्ष वंश विधि<ref>{{Cite journal | * वेसोलोव्स्की की प्रत्यक्ष वंश विधि <ref>{{Cite journal | ||
| first = G. O. | last = Wesolowsky | | first = G. O. | last = Wesolowsky | ||
| year = 1981 | | year = 1981 | ||
Line 50: | Line 50: | ||
| doi = 10.1080/03610918108812224 | | doi = 10.1080/03610918108812224 | ||
}}</ref> | }}</ref> | ||
* ली-आर्स का अधिकतम संभावना दृष्टिकोण<ref>{{Cite journal | * ली-आर्स का अधिकतम संभावना दृष्टिकोण <ref>{{Cite journal | ||
|first1 = Yinbo | last1 = Li | first2 = Gonzalo R. | last2 = Arce | |first1 = Yinbo | last1 = Li | first2 = Gonzalo R. | last2 = Arce | ||
|title = A Maximum Likelihood Approach to Least Absolute Deviation Regression | |title = A Maximum Likelihood Approach to Least Absolute Deviation Regression | ||
Line 62: | Line 62: | ||
|doi-access= free | |doi-access= free | ||
}}</ref> | }}</ref> | ||
* आयामीता दृष्टिकोण की पुनरावर्ती कमी<ref>{{Cite journal | * आयामीता दृष्टिकोण की पुनरावर्ती कमी <ref>{{Cite journal | ||
|first1 = Ana Sović|last1= Kržić | first2 = Damir |last2 = Seršić | |first1 = Ana Sović|last1= Kržić | first2 = Damir |last2 = Seršić | ||
|title = L1 minimization using recursive reduction of dimensionality | |title = L1 minimization using recursive reduction of dimensionality | ||
Line 73: | Line 73: | ||
* न्यूनतम त्रुटियों के लिए बिंदु-से-बिंदु रेखाओं के सभी संयोजनों की जाँच करें | * न्यूनतम त्रुटियों के लिए बिंदु-से-बिंदु रेखाओं के सभी संयोजनों की जाँच करें | ||
''[http://www.wpi.edu/Pubs/E-project/Available/E-project-050506-091720/unrestricted/IQP_Final_Report.pdf Statistical Teaching Aids]'', Bachelor of Science thesis, [[Worcester Polytechnic Institute]], 2006</ref> सिम्पलेक्स विधि रैखिक प्रोग्रामिंग में किसी समस्या को हल करने की एक विधि है। सबसे लोकप्रिय एल्गोरिथम बैरोडेल-रॉबर्ट्स संशोधित सिम्प्लेक्स एल्गोरिथम है। आईआरएलएस, वेसोलोव्स्की | न्यूनतम निरपेक्ष विचलन समस्या को हल करने के लिए सिम्प्लेक्स-आधारित विधियाँ "पसंदीदा" तरीका हैं।<ref name="Pfeil">William A. Pfeil, | ||
''[http://www.wpi.edu/Pubs/E-project/Available/E-project-050506-091720/unrestricted/IQP_Final_Report.pdf Statistical Teaching Aids]'', Bachelor of Science thesis, [[Worcester Polytechnic Institute]], 2006</ref> सिम्पलेक्स विधि रैखिक प्रोग्रामिंग में किसी समस्या को हल करने की एक विधि है। सबसे लोकप्रिय एल्गोरिथम बैरोडेल-रॉबर्ट्स संशोधित सिम्प्लेक्स एल्गोरिथम है। आईआरएलएस, वेसोलोव्स्की विधि और ली विधि के एल्गोरिदम अन्य विधियों के बीच के परिशिष्ट ए में पाए जा सकते हैं।<ref name="Pfeil" /> किन्हीं दो (x,y) डेटा बिंदुओं को पार करने वाली रेखाओं के सभी संयोजनों की जाँच करना न्यूनतम पूर्ण विचलन रेखा को खोजने का एक और तरीका है। चूँकि यह ज्ञात है कि कम से कम एक निरपेक्ष विचलन रेखा कम से कम दो डेटा बिंदुओं को पार करती है, यह विधि प्रत्येक पंक्ति के सीएई (डेटा बिंदुओं पर सबसे छोटी निरपेक्ष त्रुटि) की तुलना करके और सबसे छोटी सीएई वाली रेखा का चयन करके एक रेखा ढूंढेगी। इसके अलावा, यदि कई रेखाओं में समान, सबसे छोटा एसएई है, तो रेखाएं कई समाधानों के क्षेत्र को रेखांकित करती हैं। हालांकि सरल, यह अंतिम विधि डेटा के बड़े सेट के लिए अक्षम है। | |||
===रैखिक प्रोग्रामिंग का उपयोग करके समाधान=== | ===रैखिक प्रोग्रामिंग का उपयोग करके समाधान=== | ||
Line 81: | Line 82: | ||
:<math> \text{Minimize} \sum_{i=1}^n |y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik}|</math> | :<math> \text{Minimize} \sum_{i=1}^n |y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik}|</math> | ||
पैरामीटर्स <math>a_0,\ldots, a_k</math> के मानों की पसंद के संबंध में, जहां ''y<sub>i</sub>'' आश्रित चर के ''i''<sup>th</sup> अवलोकन का मान है, और ''x<sub>ij</sub>'' ''j''<sup>th</sup> वें स्वतंत्र चर के ''i''<sup>th</sup> अवलोकन का मान है(''j'' = 1,...,''k'').। हम इस समस्या को कृत्रिम चर ''u<sub>i</sub>'' के रूप में फिर से लिखते हैं | |||
:<math> \text{Minimize} \sum_{i=1}^n u_i</math> | :<math> \text{Minimize} \sum_{i=1}^n u_i</math> | ||
: | :<math>a_0,\ldots, a_k</math> और <math>u_1,\ldots, u_n</math> इसके संबंध में | ||
: | :विषय के संबंध में | ||
: | |||
:<math> u_i \ge y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik} \,\ \,\ \,\ \,\ \,\ \text{for } i=1,\ldots,n</math> | :<math> u_i \ge y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik} \,\ \,\ \,\ \,\ \,\ \text{for } i=1,\ldots,n</math> | ||
:<math> u_i \ge -[y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik}] \,\ \,\ \text{ for } i=1,\ldots,n.</math> | :<math> u_i \ge -[y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik}] \,\ \,\ \text{ for } i=1,\ldots,n.</math> | ||
: | |||
इन बाधाओं का प्रभाव प्रत्येक <math>u_i</math> को न्यूनतम होने पर समान <math>|y_i - a_0 - a_1x_{i1} - a_2x_{i2} - \cdots - a_kx_{ik}|</math>करने के लिए मजबूर करना है, इसलिए उद्देश्य फ़ंक्शन मूल उद्देश्य फ़ंक्शन के समान है। चूँकि समस्या कथन के इस संस्करण में निरपेक्ष मान ऑपरेटर शामिल नहीं है, यह एक ऐसे प्रारूप में है जिसे किसी भी रैखिक प्रोग्रामिंग पैकेज के साथ हल किया जा सकता है। | |||
==गुण== | ==गुण== | ||
डेटा बिंदुओं पर लाइन की यह लैचिंग अस्थिरता | न्यूनतम निरपेक्ष विचलन रेखा के अन्य अद्वितीय गुण मौजूद हैं। (''x'',''y'') डेटा के सेट के स्तिथियों में, सबसे कम निरपेक्ष विचलन रेखा हमेशा कम से कम दो डेटा बिंदुओं से होकर गुजरेगी, जब तक कि कई समाधान न हों। यदि एकाधिक समाधान मौजूद हैं, तो वैध न्यूनतम निरपेक्ष विचलन समाधानों का क्षेत्र कम से कम दो रेखाओं से घिरा होगा, जिनमें से प्रत्येक कम से कम दो डेटा बिंदुओं से होकर गुजरता है। अधिक आम तौर पर, यदि k प्रतिगामी (स्थिरांक सहित) हैं, तो कम से कम एक इष्टतम प्रतिगमन सतह k डेटा बिंदुओं से होकर गुजरेगी।<ref>Branham, R. L., Jr., "Alternatives to least squares", ''[[Astronomical Journal]]'' 87, June 1982, 928–937. [http://adsabs.harvard.edu/full/1982AJ.....87..928B] at SAO/NASA Astrophysics Data System (ADS)</ref>{{rp|p.936}} | ||
डेटा बिंदुओं पर लाइन की यह "लैचिंग" "अस्थिरता" संपत्ति को समझने में मदद कर सकती है: यदि लाइन हमेशा कम से कम दो बिंदुओं पर चिपकती है, तो डेटा बिंदुओं के बदलते ही लाइन बिंदुओं के विभिन्न सेटों के बीच कूद जाएगी। "लैचिंग" "सुदृढ़ता" संपत्ति को समझने में भी मदद करती है: यदि कोई बाहरी मौजूद है, और कम से कम पूर्ण विचलन रेखा दो डेटा बिंदुओं पर होनी चाहिए, तो बाहरी संभवतः उन दो बिंदुओं में से एक नहीं होगा क्योंकि वह न्यूनतम नहीं होगा अधिकांश मामलों में पूर्ण विचलन का योग। | |||
एक ज्ञात मामला जिसमें एकाधिक समाधान मौजूद हैं, क्षैतिज रेखा के बारे में सममित बिंदुओं का सेट है, जैसा कि नीचे चित्र ए में दिखाया गया है। | |||
[[File:Least absolute deviations regression method diagram.gif|600px|thumb|center|चित्र ए: प्रतिबिंब समरूपता और एकाधिक न्यूनतम निरपेक्ष विचलन समाधानों के साथ डेटा बिंदुओं का सेट। "समाधान क्षेत्र" हरे रंग में दिखाया गया है। ऊर्ध्वाधर नीली रेखाएं गुलाबी रेखा से प्रत्येक डेटा बिंदु तक पूर्ण त्रुटियों का प्रतिनिधित्व करती हैं। गुलाबी रेखा हरे क्षेत्र के भीतर अनगिनत समाधानों में से है।]] | |||
यह समझने के लिए कि चित्र ए में दिखाए गए स्तिथियों में एकाधिक समाधान क्यों हैं, हरे क्षेत्र में गुलाबी रेखा पर विचार करें। इसकी पूर्ण त्रुटियों का योग कुछ मान S है। यदि कोई रेखा को हरे क्षेत्र के भीतर रखते हुए थोड़ा ऊपर की ओर झुकाता है, तो त्रुटियों का योग अभी भी S होगा। यह नहीं बदलेगा क्योंकि प्रत्येक बिंदु से दूरी रेखा के एक तरफ रेखा बढ़ती है, जबकि रेखा के विपरीत दिशा में प्रत्येक बिंदु की दूरी बिल्कुल उसी मात्रा में कम हो जाती है। इस प्रकार पूर्ण त्रुटियों का योग वही रहता है। इसके अलावा, चूंकि कोई व्यक्ति रेखा को अनंत रूप से छोटे वेतन वृद्धि में झुका सकता है, इससे यह भी पता चलता है कि यदि एक से अधिक समाधान हैं, तो अनंत रूप से कई समाधान भी हैं। | |||
===फायदे और नुकसान=== | ===फायदे और नुकसान=== | ||
निम्नलिखित एक तालिका है जिसमें कम से कम निरपेक्ष विचलन की विधि के कुछ गुणों | निम्नलिखित एक तालिका है जिसमें कम से कम निरपेक्ष विचलन की विधि के कुछ गुणों की तुलना कम से कम वर्ग की विधि (गैर-एकवचन समस्याओं के लिए) से की गई है।<ref>For a set of applets that demonstrate these differences, see the following site: http://www.math.wpi.edu/Course_Materials/SAS/lablets/7.3/73_choices.html</ref> <ref>For a discussion of LAD versus OLS, see these academic papers and reports: http://www.econ.uiuc.edu/~roger/research/rq/QRJEP.pdf and https://www.leeds.ac.uk/educol/documents/00003759.htm</ref> | ||
{| border="1" cellpadding="5" cellspacing="0" | {| border="1" cellpadding="5" cellspacing="0" | ||
|- | |- | ||
! | !सामान्य न्यूनतम वर्ग प्रतिगमन | ||
!न्यूनतम निरपेक्ष विचलन प्रतिगमन | |||
|- | |- | ||
| rowspan=1 align="center"| | | rowspan=1 align="center"| अधिक ससक्त नहीं हैं | ||
| colspan=2 align="center"| | | colspan=2 align="center"|सुदृढ़ | ||
|- | |- | ||
| rowspan=1 align="center"| | | rowspan=1 align="center"|स्थिर समाधान हैं | ||
| colspan=2 align="center"| | | colspan=2 align="center"|अस्थिर समाधान | ||
|- | |- | ||
| rowspan=1 align="center"| | | rowspan=1 align="center"|एक उपाय हैं * | ||
| colspan=2 align="center"| | | colspan=2 align="center"|संभवतः एकाधिक समाधान | ||
|- | |- | ||
|} | |} | ||
<nowiki>*</nowiki>बशर्ते कि डेटा बिंदुओं की संख्या सुविधाओं की संख्या से अधिक या उसके | <nowiki>*</nowiki>बशर्ते कि डेटा बिंदुओं की संख्या सुविधाओं की संख्या से अधिक या उसके समान हो। | ||
न्यूनतम वर्ग विधि की तुलना में इसकी | न्यूनतम वर्ग विधि की तुलना में इसकी सुदृढ़ता के कारण, न्यूनतम निरपेक्ष विचलन की विधि कई क्षेत्रों में लागू होती है। कम से कम निरपेक्ष विचलन इस मायने में मजबूत है कि यह डेटा में आउटलेर्स के प्रति प्रतिरोधी है। सामान्य न्यूनतम वर्ग (ओएलएस) के विपरीत, एलएडी सभी अवलोकनों पर समान जोर देता है, जो अवशेषों का वर्ग करके, बड़े अवशेषों को अधिक भार देता है, अर्थात, ऐसे आउटलेर्स जिनमें पूर्वानुमानित मान वास्तविक अवलोकनों से बहुत दूर होते हैं। यह उन अध्ययनों में सहायक हो सकता है जहां आउटलेर्स को अन्य टिप्पणियों की तुलना में अधिक महत्व देने की आवश्यकता नहीं है। यदि आउटलेर्स को अधिक भार देना महत्वपूर्ण है, तो कम से कम वर्गों की विधि एक बेहतर विकल्प है। | ||
==विविधताएं, विस्तार, विशेषज्ञता== | ==विविधताएं, विस्तार, विशेषज्ञता== | ||
यदि | यदि अवशिष्टों के निरपेक्ष मानों के योग में कोई निरपेक्ष मान फलन को झुके हुए निरपेक्ष मान फ़ंक्शन में सामान्यीकृत करता है, जिसमें बाईं आधी रेखा पर ढलान<math>\tau-1</math> है और दाईं आधी रेखा पर ढलान <math>\tau</math> है जहां <math>0<\tau<1</math> व्यक्ति को [[मात्रात्मक प्रतिगमन]] प्राप्त होता है। <math>\tau=1/2</math> का मामला कम से कम निरपेक्ष विचलन द्वारा मानक प्रतिगमन देता है और इसे माध्यिका प्रतिगमन के रूप में भी जाना जाता है। | ||
न्यूनतम | न्यूनतम पूर्ण विचलन समस्या को कई व्याख्याकारों, बाधाओं और [[नियमितीकरण (गणित)]] को शामिल करने के लिए बढ़ाया जा सकता है, उदाहरण के लिए, रैखिक बाधाओं वाला एक रैखिक मॉडल <ref>{{Cite journal |first1=Mingren|last1= Shi |last2=Mark A. |first2= Lukas | date=March 2002 | title = An ''L<sub>1</sub>'' estimation algorithm with degeneracy and linear constraints | ||
| journal = [[Computational Statistics & Data Analysis]] | | journal = [[Computational Statistics & Data Analysis]] | ||
| doi = 10.1016/S0167-9473(01)00049-4 | | doi = 10.1016/S0167-9473(01)00049-4 | ||
Line 135: | Line 142: | ||
: छोटा करना <math>S(\mathbf{\beta}, b) = \sum_i | \mathbf{x}'_i \mathbf{\beta} + b - y_i |</math> | : छोटा करना <math>S(\mathbf{\beta}, b) = \sum_i | \mathbf{x}'_i \mathbf{\beta} + b - y_i |</math> | ||
: के अधीन, उदाहरण के लिए, <math>\mathbf{x}'_1 \mathbf{\beta} + b - y_1 \leq k</math> | : के अधीन, उदाहरण के लिए, <math>\mathbf{x}'_1 \mathbf{\beta} + b - y_1 \leq k</math> | ||
जहां <math>\mathbf{\beta}</math> अनुमान लगाए जाने वाले गुणांकों का एक स्तंभ वेक्टर है, ''b'' अनुमान लगाया जाने वाला एक अवरोधन है, '''x<sub>i</sub>''' विभिन्न व्याख्याकारों पर ''i''<sup>th</sup> अवलोकनों का एक स्तंभ वेक्टर है, ''y<sub>i</sub>'' आश्रित चर पर ''i''<sup>th</sup> अवलोकन है, और ''k'' एक है ज्ञात स्थिरांक. | |||
[[लैस्सो (सांख्यिकी)]] ( | [[लैस्सो (सांख्यिकी)|लैस्सो (सांख्यिकी]] (न्यूनतम पूर्ण संकोचन और चयन ऑपरेटर) के साथ नियमितीकरण (गणित) को एलएडी के साथ भी जोड़ा जा सकता है।<ref>{{Cite conference | ||
| first1 = Li |last1 = Wang | first2 = Michael D. | last2 = Gordon |first3= Ji|last3= Zhu | | first1 = Li |last1 = Wang | first2 = Michael D. | last2 = Gordon |first3= Ji|last3= Zhu | ||
| title = Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning | | title = Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning |
Revision as of 16:08, 16 July 2023
एक श्रृंखला का हिस्सा |
प्रतिगमन विश्लेषण |
---|
मॉडल |
अनुमान |
पार्श्वभूमि |
|
न्यूनतम निरपेक्ष विचलन विचलन (एलएडी), जिसे कम से कम निरपेक्ष त्रुटियाँ (एलएई), कम से कम निरपेक्ष अवशिष्ट (एलएआर), या कम से कम निरपेक्ष मान (एलएवी) के रूप में भी जाना जाता है, एक सांख्यिकीय इष्टतमता मानदंड और मैक्सिमा और मिनिमा एक सांख्यिकीय अनुकूलन (गणित) तकनीक है जो पूर्ण विचलन के योग को न्यूनतम करने पर आधारित है। (पूर्ण अवशिष्टों का योग या पूर्ण त्रुटियों का योग भी) या ऐसे मूल्यों का L1 मानदंड। यह न्यूनतम वर्ग तकनीक के समान है, सिवाय इसके कि यह वर्ग (बीजगणित) मानों के बजाय निरपेक्ष मानों पर आधारित है। यह एक ऐसे फलन (गणित)को खोजने का प्रयास करता है जो फलनद्वारा उत्पन्न बिंदुओं और संबंधित डेटा बिंदुओं के बीच अवशेषों को कम करके डेटा के एक सेट का बारीकी से अनुमान लगाता है। यदि त्रुटियों में लाप्लास वितरण होता है तो एलएडी अनुमान अधिकतम संभावना अनुमान के रूप में भी उत्पन्न होता है। इसे 1757 में रोजर जोसेफ बोस्कोविच द्वारा पेश किया गया था।[1]
निरूपण
मान लीजिए कि डेटा सेट में i = 1, 2, ..., n के साथ बिंदु (xi, yi) शामिल हैं। हम ऐसा कोई फलनखोजना चाहते हैं
इस लक्ष्य को प्राप्त करने के लिए, हम मानते हैं कि फलनf एक विशेष रूप का है जिसमें कुछ पैरामीटर हैं जिन्हें निर्धारित करने की आवश्यकता है। उदाहरण के लिए, सबसे सरल रूप रैखिक होगा:: f(x) = bx + c, जहां b और c ऐसे पैरामीटर हैं जिनके मान ज्ञात नहीं हैं लेकिन जिनका हम अनुमान लगाना चाहते हैं। कम सरलता से, मान लें कि f(x) द्विघात है, जिसका अर्थ है कि f(x) = ax2 + bx + c जहां a, b और c अभी तक ज्ञात नहीं हैं। (आमतौर पर, केवल एक व्याख्याकार x, नहीं हो सकता है, बल्कि कई व्याख्याकार हो सकते हैं, सभी फलन f के तर्क के रूप में दिखाई देते हैं।)
अब हम अज्ञात मापदंडों के अनुमानित मूल्यों की तलाश करते हैं जो अवशेषों के निरपेक्ष मूल्यों के योग को कम करते हैं |
समाधान
यद्यपि न्यूनतम निरपेक्ष विचलन प्रतिगमन का विचार न्यूनतम वर्ग प्रतिगमन के समान ही सरल है, न्यूनतम निरपेक्ष विचलन रेखा की कुशलता से गणना करना उतना आसान नहीं है। न्यूनतम वर्ग प्रतिगमन के विपरीत, न्यूनतम निरपेक्ष विचलन प्रतिगमन में एक विश्लेषणात्मक समाधान विधि नहीं होती है। इसलिए, एक पुनरावृत्त दृष्टिकोण की आवश्यकता है। निम्नलिखित कुछ न्यूनतम निरपेक्ष विचलन समाधान विधियों की गणना है।
- सिम्प्लेक्स एल्गोरिथ्म विधियाँ (जैसे कि बैरोडेल-रॉबर्ट्स एल्गोरिथम | [2]
- क्योंकि समस्या रैखिक प्रोग्राम है, कई रैखिक प्रोग्रामिंग तकनीकों (सिंप्लेक्स विधि के साथ-साथ अन्य सहित) में से किसी को भी लागू किया जा सकता है।
- न्यूनतम वर्गों को पुनरावर्ती रूप से पुनः भारित करें [3]
- वेसोलोव्स्की की प्रत्यक्ष वंश विधि [4]
- ली-आर्स का अधिकतम संभावना दृष्टिकोण [5]
- आयामीता दृष्टिकोण की पुनरावर्ती कमी [6]
- न्यूनतम त्रुटियों के लिए बिंदु-से-बिंदु रेखाओं के सभी संयोजनों की जाँच करें
न्यूनतम निरपेक्ष विचलन समस्या को हल करने के लिए सिम्प्लेक्स-आधारित विधियाँ "पसंदीदा" तरीका हैं।[7] सिम्पलेक्स विधि रैखिक प्रोग्रामिंग में किसी समस्या को हल करने की एक विधि है। सबसे लोकप्रिय एल्गोरिथम बैरोडेल-रॉबर्ट्स संशोधित सिम्प्लेक्स एल्गोरिथम है। आईआरएलएस, वेसोलोव्स्की विधि और ली विधि के एल्गोरिदम अन्य विधियों के बीच के परिशिष्ट ए में पाए जा सकते हैं।[7] किन्हीं दो (x,y) डेटा बिंदुओं को पार करने वाली रेखाओं के सभी संयोजनों की जाँच करना न्यूनतम पूर्ण विचलन रेखा को खोजने का एक और तरीका है। चूँकि यह ज्ञात है कि कम से कम एक निरपेक्ष विचलन रेखा कम से कम दो डेटा बिंदुओं को पार करती है, यह विधि प्रत्येक पंक्ति के सीएई (डेटा बिंदुओं पर सबसे छोटी निरपेक्ष त्रुटि) की तुलना करके और सबसे छोटी सीएई वाली रेखा का चयन करके एक रेखा ढूंढेगी। इसके अलावा, यदि कई रेखाओं में समान, सबसे छोटा एसएई है, तो रेखाएं कई समाधानों के क्षेत्र को रेखांकित करती हैं। हालांकि सरल, यह अंतिम विधि डेटा के बड़े सेट के लिए अक्षम है।
रैखिक प्रोग्रामिंग का उपयोग करके समाधान
निम्नलिखित समस्या विनिर्देश पर किसी भी रैखिक प्रोग्रामिंग तकनीक का उपयोग करके समस्या को हल किया जा सकता है। हम चाहते हैं
पैरामीटर्स के मानों की पसंद के संबंध में, जहां yi आश्रित चर के ith अवलोकन का मान है, और xij jth वें स्वतंत्र चर के ith अवलोकन का मान है(j = 1,...,k).। हम इस समस्या को कृत्रिम चर ui के रूप में फिर से लिखते हैं
- और इसके संबंध में
- विषय के संबंध में
इन बाधाओं का प्रभाव प्रत्येक को न्यूनतम होने पर समान करने के लिए मजबूर करना है, इसलिए उद्देश्य फ़ंक्शन मूल उद्देश्य फ़ंक्शन के समान है। चूँकि समस्या कथन के इस संस्करण में निरपेक्ष मान ऑपरेटर शामिल नहीं है, यह एक ऐसे प्रारूप में है जिसे किसी भी रैखिक प्रोग्रामिंग पैकेज के साथ हल किया जा सकता है।
गुण
न्यूनतम निरपेक्ष विचलन रेखा के अन्य अद्वितीय गुण मौजूद हैं। (x,y) डेटा के सेट के स्तिथियों में, सबसे कम निरपेक्ष विचलन रेखा हमेशा कम से कम दो डेटा बिंदुओं से होकर गुजरेगी, जब तक कि कई समाधान न हों। यदि एकाधिक समाधान मौजूद हैं, तो वैध न्यूनतम निरपेक्ष विचलन समाधानों का क्षेत्र कम से कम दो रेखाओं से घिरा होगा, जिनमें से प्रत्येक कम से कम दो डेटा बिंदुओं से होकर गुजरता है। अधिक आम तौर पर, यदि k प्रतिगामी (स्थिरांक सहित) हैं, तो कम से कम एक इष्टतम प्रतिगमन सतह k डेटा बिंदुओं से होकर गुजरेगी।[8]: p.936
डेटा बिंदुओं पर लाइन की यह "लैचिंग" "अस्थिरता" संपत्ति को समझने में मदद कर सकती है: यदि लाइन हमेशा कम से कम दो बिंदुओं पर चिपकती है, तो डेटा बिंदुओं के बदलते ही लाइन बिंदुओं के विभिन्न सेटों के बीच कूद जाएगी। "लैचिंग" "सुदृढ़ता" संपत्ति को समझने में भी मदद करती है: यदि कोई बाहरी मौजूद है, और कम से कम पूर्ण विचलन रेखा दो डेटा बिंदुओं पर होनी चाहिए, तो बाहरी संभवतः उन दो बिंदुओं में से एक नहीं होगा क्योंकि वह न्यूनतम नहीं होगा अधिकांश मामलों में पूर्ण विचलन का योग।
एक ज्ञात मामला जिसमें एकाधिक समाधान मौजूद हैं, क्षैतिज रेखा के बारे में सममित बिंदुओं का सेट है, जैसा कि नीचे चित्र ए में दिखाया गया है।
यह समझने के लिए कि चित्र ए में दिखाए गए स्तिथियों में एकाधिक समाधान क्यों हैं, हरे क्षेत्र में गुलाबी रेखा पर विचार करें। इसकी पूर्ण त्रुटियों का योग कुछ मान S है। यदि कोई रेखा को हरे क्षेत्र के भीतर रखते हुए थोड़ा ऊपर की ओर झुकाता है, तो त्रुटियों का योग अभी भी S होगा। यह नहीं बदलेगा क्योंकि प्रत्येक बिंदु से दूरी रेखा के एक तरफ रेखा बढ़ती है, जबकि रेखा के विपरीत दिशा में प्रत्येक बिंदु की दूरी बिल्कुल उसी मात्रा में कम हो जाती है। इस प्रकार पूर्ण त्रुटियों का योग वही रहता है। इसके अलावा, चूंकि कोई व्यक्ति रेखा को अनंत रूप से छोटे वेतन वृद्धि में झुका सकता है, इससे यह भी पता चलता है कि यदि एक से अधिक समाधान हैं, तो अनंत रूप से कई समाधान भी हैं।
फायदे और नुकसान
निम्नलिखित एक तालिका है जिसमें कम से कम निरपेक्ष विचलन की विधि के कुछ गुणों की तुलना कम से कम वर्ग की विधि (गैर-एकवचन समस्याओं के लिए) से की गई है।[9] [10]
सामान्य न्यूनतम वर्ग प्रतिगमन | न्यूनतम निरपेक्ष विचलन प्रतिगमन | |
---|---|---|
अधिक ससक्त नहीं हैं | सुदृढ़ | |
स्थिर समाधान हैं | अस्थिर समाधान | |
एक उपाय हैं * | संभवतः एकाधिक समाधान |
*बशर्ते कि डेटा बिंदुओं की संख्या सुविधाओं की संख्या से अधिक या उसके समान हो।
न्यूनतम वर्ग विधि की तुलना में इसकी सुदृढ़ता के कारण, न्यूनतम निरपेक्ष विचलन की विधि कई क्षेत्रों में लागू होती है। कम से कम निरपेक्ष विचलन इस मायने में मजबूत है कि यह डेटा में आउटलेर्स के प्रति प्रतिरोधी है। सामान्य न्यूनतम वर्ग (ओएलएस) के विपरीत, एलएडी सभी अवलोकनों पर समान जोर देता है, जो अवशेषों का वर्ग करके, बड़े अवशेषों को अधिक भार देता है, अर्थात, ऐसे आउटलेर्स जिनमें पूर्वानुमानित मान वास्तविक अवलोकनों से बहुत दूर होते हैं। यह उन अध्ययनों में सहायक हो सकता है जहां आउटलेर्स को अन्य टिप्पणियों की तुलना में अधिक महत्व देने की आवश्यकता नहीं है। यदि आउटलेर्स को अधिक भार देना महत्वपूर्ण है, तो कम से कम वर्गों की विधि एक बेहतर विकल्प है।
विविधताएं, विस्तार, विशेषज्ञता
यदि अवशिष्टों के निरपेक्ष मानों के योग में कोई निरपेक्ष मान फलन को झुके हुए निरपेक्ष मान फ़ंक्शन में सामान्यीकृत करता है, जिसमें बाईं आधी रेखा पर ढलान है और दाईं आधी रेखा पर ढलान है जहां व्यक्ति को मात्रात्मक प्रतिगमन प्राप्त होता है। का मामला कम से कम निरपेक्ष विचलन द्वारा मानक प्रतिगमन देता है और इसे माध्यिका प्रतिगमन के रूप में भी जाना जाता है।
न्यूनतम पूर्ण विचलन समस्या को कई व्याख्याकारों, बाधाओं और नियमितीकरण (गणित) को शामिल करने के लिए बढ़ाया जा सकता है, उदाहरण के लिए, रैखिक बाधाओं वाला एक रैखिक मॉडल [11]
- छोटा करना
- के अधीन, उदाहरण के लिए,
जहां अनुमान लगाए जाने वाले गुणांकों का एक स्तंभ वेक्टर है, b अनुमान लगाया जाने वाला एक अवरोधन है, xi विभिन्न व्याख्याकारों पर ith अवलोकनों का एक स्तंभ वेक्टर है, yi आश्रित चर पर ith अवलोकन है, और k एक है ज्ञात स्थिरांक.
लैस्सो (सांख्यिकी (न्यूनतम पूर्ण संकोचन और चयन ऑपरेटर) के साथ नियमितीकरण (गणित) को एलएडी के साथ भी जोड़ा जा सकता है।[12]
यह भी देखें
- ज्यामितीय माध्यिका
- मात्रात्मक प्रतिगमन
- प्रतिगमन विश्लेषण
- रेखीय प्रतिगमन मॉडल
- पूर्ण विचलन
- औसत पूर्ण विचलन
- माध्यिका निरपेक्ष विचलन
- सामान्य कम चौकोर
- मजबूत प्रतिगमन
संदर्भ
- ↑ "Least Absolute Deviation Regression". सांख्यिकी का संक्षिप्त विश्वकोश. Springer. 2008. pp. 299–302. doi:10.1007/978-0-387-32833-1_225. ISBN 9780387328331.
- ↑ Barrodale, I.; Roberts, F. D. K. (1973). "An improved algorithm for discrete L1 linear approximation". SIAM Journal on Numerical Analysis. 10 (5): 839–848. Bibcode:1973SJNA...10..839B. doi:10.1137/0710069. hdl:1828/11491. JSTOR 2156318.
- ↑ Schlossmacher, E. J. (December 1973). "An Iterative Technique for Absolute Deviations Curve Fitting". Journal of the American Statistical Association. 68 (344): 857–859. doi:10.2307/2284512. JSTOR 2284512.
- ↑ Wesolowsky, G. O. (1981). "A new descent algorithm for the least absolute value regression problem". Communications in Statistics – Simulation and Computation. B10 (5): 479–491. doi:10.1080/03610918108812224.
- ↑ Li, Yinbo; Arce, Gonzalo R. (2004). "A Maximum Likelihood Approach to Least Absolute Deviation Regression". EURASIP Journal on Applied Signal Processing. 2004 (12): 1762–1769. Bibcode:2004EJASP2004...61L. doi:10.1155/S1110865704401139.
- ↑ Kržić, Ana Sović; Seršić, Damir (2018). "L1 minimization using recursive reduction of dimensionality". Signal Processing. 151: 119–129. doi:10.1016/j.sigpro.2018.05.002.
- ↑ 7.0 7.1 William A. Pfeil, Statistical Teaching Aids, Bachelor of Science thesis, Worcester Polytechnic Institute, 2006
- ↑ Branham, R. L., Jr., "Alternatives to least squares", Astronomical Journal 87, June 1982, 928–937. [1] at SAO/NASA Astrophysics Data System (ADS)
- ↑ For a set of applets that demonstrate these differences, see the following site: http://www.math.wpi.edu/Course_Materials/SAS/lablets/7.3/73_choices.html
- ↑ For a discussion of LAD versus OLS, see these academic papers and reports: http://www.econ.uiuc.edu/~roger/research/rq/QRJEP.pdf and https://www.leeds.ac.uk/educol/documents/00003759.htm
- ↑ Shi, Mingren; Mark A., Lukas (March 2002). "An L1 estimation algorithm with degeneracy and linear constraints". Computational Statistics & Data Analysis. 39 (1): 35–55. doi:10.1016/S0167-9473(01)00049-4.
- ↑ Wang, Li; Gordon, Michael D.; Zhu, Ji (December 2006). "Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning". Proceedings of the Sixth International Conference on Data Mining. pp. 690–700. doi:10.1109/ICDM.2006.134.
अग्रिम पठन
- Peter Bloomfield and William Steiger (1980). "Least Absolute Deviations Curve-Fitting". SIAM Journal on Scientific Computing. 1 (2): 290–301. doi:10.1137/0901019.
- Subhash C. Narula and John F. Wellington (1982). "The Minimum Sum of Absolute Errors Regression: A State of the Art Survey". International Statistical Review. 50 (3): 317–326. doi:10.2307/1402501. JSTOR 1402501.
- Robert F. Phillips (July 2002). "Least absolute deviations estimation via the EM algorithm". Statistics and Computing. 12 (3): 281–285. doi:10.1023/A:1020759012226.
- Enno Siemsen & Kenneth A. Bollen (2007). "Least Absolute Deviation Estimation in Structural Equation Modeling". Sociological Methods & Research. 36 (2): 227–265. doi:10.1177/0049124107301946.