न्यूनतम पूर्ण विचलन

न्यूनतम निरपेक्ष विचलन विचलन (एलएडी), जिसे न्यूनतम निरपेक्ष त्रुटियाँ (एलएई), न्यूनतम निरपेक्ष अवशिष्ट (एलएआर), या न्यूनतम निरपेक्ष मान (एलएवी) के रूप में भी जाना जाता है | सांख्यिकीय इष्टतमता मानदंड और मैक्सिमा और मिनिमा सांख्यिकीय अनुकूलन (गणित) विधि होती है जिससे यह पूर्ण विचलन के योग को न्यूनतम करने पर आधारित होती है। यह (पूर्ण अवशिष्टों का योग या पूर्ण त्रुटियों का योग भी होता हैं ) और ऐसे मानो का L₁ मानदंड होता हैं। यह न्यूनतम वर्ग विधि के समान होता है, और इसके अतिरिक्त यह वर्ग (बीजगणित) मानों के अतिरिक्त निरपेक्ष मानों पर आधारित होता है। यह ऐसे फलन (गणित) को खोजने का प्रयास करता है जहाँ फलन द्वारा उत्पन्न बिंदुओं और संबंधित डेटा बिंदुओं के मध्य अवशेषों को कम करके डेटा के समुच्चय का सूक्ष्‍म से अनुमान लगाता है। यदि त्रुटियों में लाप्लास वितरण होता है तब एलएडी अनुमान अधिकतम संभावना अनुमान के रूप में भी उत्पन्न होता है। इसे 1757 में रोजर जोसेफ बोस्कोविच द्वारा प्रस्तुत किया गया था।

निरूपण

मान लीजिए कि डेटा समुच्चय में i = 1, 2, ..., n के साथ बिंदु (x_i, y_i) सम्मिलित होते हैं। और हम ऐसा कोई फलन खोजना चाहते हैं $f(x_{i})\approx y_{i}.$

इस लक्ष्य को प्राप्त करने के लिए, हम मानते हैं कि फलन f का विशेष रूप होता है जिसमें कुछ पैरामीटर होते हैं जिन्हें निर्धारित करने की आवश्यकता होती है। इस प्रकार उदाहरण के लिए, सबसे सरल रूप रैखिक होगा f(x) = bx + c, जहां b और c ऐसे पैरामीटर होता हैं जिनके मान ज्ञात नहीं होता हैं किन्तु जिनका हम अनुमान लगाना चाहते हैं। और कम सरलता से, मान लें कि f(x) द्विघात होता है, और जिसका अर्थ होता है कि f(x) = ax² + bx + c जहां a, b और c अभी तक ज्ञात नहीं हैं। इस प्रकार (सामान्यतः, केवल व्याख्याकार x, नहीं हो सकता है, किंतु अनेक व्याख्याकार हो सकते हैं, सभी फलन f के तर्क के रूप में दिखाई देते हैं।)

अब हम अज्ञात मापदंडों के अनुमानित मानो की खोज करते हैं जो अवशेषों के निरपेक्ष मानो के योग को कम करते हैं |

$S=\sum _{i=1}^{n}|y_{i}-f(x_{i})|.$

समाधान

यद्यपि न्यूनतम निरपेक्ष विचलन प्रतिगमन का विचार न्यूनतम वर्ग प्रतिगमन के समान ही सरल होता है | और न्यूनतम निरपेक्ष विचलन रेखा की कुशलता से गणना करना उतना सरल नहीं होता है। और न्यूनतम वर्ग प्रतिगमन के विपरीत, न्यूनतम निरपेक्ष विचलन प्रतिगमन में विश्लेषणात्मक समाधान विधि नहीं होती है। इसलिए, इसमें पुनरावृत्त दृष्टिकोण की आवश्यकता होती है। इसमें निम्नलिखित कुछ न्यूनतम निरपेक्ष विचलन समाधान विधियों की गणना होती है।

• सिम्प्लेक्स एल्गोरिथ्म विधियाँ (जैसे कि बैरोडेल-रॉबर्ट्स एल्गोरिथम |
• क्योंकि समस्या रैखिक प्रोग्राम है, अनेक रैखिक प्रोग्रामिंग विधिों (सिंप्लेक्स विधि के साथ-साथ अन्य सहित) में से किसी को भी प्रयुक्त किया जा सकता है।
• न्यूनतम वर्गों को पुनरावर्ती रूप से पुनः भारित करें
• वेसोलोव्स्की की प्रत्यक्ष वंश विधि
• ली-आर्स का अधिकतम संभावना दृष्टिकोण
• आयामीता दृष्टिकोण की पुनरावर्ती कमी
• न्यूनतम त्रुटियों के लिए बिंदु-से-बिंदु रेखाओं के सभी संयोजनों की जाँच करें

न्यूनतम निरपेक्ष विचलन समस्या को हल करने के लिए संकेतन-आधारित विधियाँ "अनुकूल" विधि होती हैं। संकेतन विधि रैखिक प्रोग्रामिंग में किसी समस्या को हल करने की विधि होती है। सबसे लोकप्रिय एल्गोरिथम बैरोडेल-रॉबर्ट्स संशोधित संकेतन एल्गोरिथम होता है। और यह आईआरएलएस, वेसोलोव्स्की विधि और ली विधि के एल्गोरिदम अन्य विधियों के मध्य के परिशिष्ट ए में पाए जा सकते हैं। इस प्रकार किन्हीं दो (x,y) डेटा बिंदुओं को पार करने वाली रेखाओं के सभी संयोजनों की जाँच करना न्यूनतम पूर्ण विचलन रेखा को खोजने की विधि होती है। चूँकि यह ज्ञात है कि न्यूनतम निरपेक्ष विचलन रेखा न्यूनतम दो डेटा बिंदुओं को पार करती रहती है, और यह विधि प्रत्येक पंक्ति के सीएई (डेटा बिंदुओं पर सबसे छोटी निरपेक्ष त्रुटि) की तुलना करके और सबसे छोटी सीएई वाली रेखा का चयन करके रेखा को खोज सकते हैं। इसके अतिरिक्त, यदि अनेक रेखाओं में समान, सबसे छोटा एसएई होता है, तब यह रेखाएं अनेक समाधानों के क्षेत्र को रेखांकित करती रहती हैं। चूंकि यह सरल, अंतिम विधि डेटा के बड़े समुच्चय के लिए अक्षम होता है।

रैखिक प्रोग्रामिंग का उपयोग करके समाधान

निम्नलिखित समस्या विनिर्देश पर किसी भी रैखिक प्रोग्रामिंग विधि का उपयोग करके समस्या को हल किया जा सकता है। और हम चाहते हैं कि

${\text{Minimize}}\sum _{i=1}^{n}|y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}|$

पैरामीटर्स $a_{0},\ldots ,a_{k}$ के मानों की पसंद के संबंध में, जहां y_i आश्रित चर के i^th अवलोकन का मान होता है, और यह x_ij j^th वें स्वतंत्र चर के i^th अवलोकन का मान होता है | इस प्रकार (j = 1,...,k). से हम इस समस्या को कृत्रिम चर u_i के रूप में फिर से लिखते हैं|

${\text{Minimize}}\sum _{i=1}^{n}u_{i}$

$a_{0},\ldots ,a_{k}$ और $u_{1},\ldots ,u_{n}$ इसके संबंध में

विषय के संबंध में

$u_{i}\geq y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}\,\ \,\ \,\ \,\ \,\ {\text{for }}i=1,\ldots ,n$

$u_{i}\geq -[y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}]\,\ \,\ {\text{ for }}i=1,\ldots ,n.$

इन बाधाओं का प्रभाव प्रत्येक $u_{i}$ को न्यूनतम होने पर समान $|y_{i}-a_{0}-a_{1}x_{i1}-a_{2}x_{i2}-\cdots -a_{k}x_{ik}|$करने के लिए विवश करना होता है, इसलिए उद्देश्य फलन मूल उद्देश्य फलन के समान ही होता है। चूँकि समस्या कथन के इस संस्करण में निरपेक्ष मान ऑपरेटर सम्मिलित नहीं होता है, और यह ऐसे प्रारूप में होता है जिसे किसी भी रैखिक प्रोग्रामिंग पैकेज के साथ हल किया जा सकता है।

गुण

न्यूनतम निरपेक्ष विचलन रेखा में अन्य अद्वितीय गुण उपस्थित होते हैं। जिसमें यह (x,y) डेटा के समुच्चय के स्तिथियों में होता हैं | और सबसे कम निरपेक्ष विचलन रेखा सदैव न्यूनतम दो डेटा बिंदुओं से होकर गुजरती हैं, जब तक कि अनेक समाधान नही होते हैं। यदि इसमें एकाधिक समाधान उपस्थित होते हैं, तब वैध न्यूनतम निरपेक्ष विचलन समाधानों का क्षेत्र न्यूनतम दो रेखाओं से घिरा होता हैं | जिनमें से प्रत्येक न्यूनतम दो डेटा बिंदुओं से होकर गुजरना पड़ता है। इस प्रकार इनमे अधिक सामान्यतः होती हैं, और यदि k प्रतिगामी (स्थिरांक सहित) हैं, तब न्यूनतम इष्टतम प्रतिगमन सतह k डेटा बिंदुओं से होकर गुजरती हैं।

डेटा बिंदुओं पर लाइन की यह "लैचिंग" "अस्थिरता" संपत्ति को समझने में सहायता कर सकती है | यदि लाइन सदैव न्यूनतम दो बिंदुओं पर श्यानता होती है, तब डेटा बिंदुओं के परिवर्तित होते ही लाइन बिंदुओं के विभिन्न समुच्चयों के मध्य विस्तारित हो जाती हैं। "लैचिंग" "सुदृढ़ता" संपत्ति को समझने में भी सहायता करती है | यदि कोई और बाहरी उपस्थित होती है | तब और न्यूनतम पूर्ण विचलन रेखा दो डेटा बिंदुओं पर होनी चाहिए, तब बाहरी संभवतः उन दो बिंदुओं में से नहीं होगा क्योंकि वह न्यूनतम नहीं होगा और यह अधिकांश स्थितियों में पूर्ण विचलन का योग होता हैं ।

एक ज्ञात स्थिति जिसमें एकाधिक समाधान उपस्थित होते हैं, तब क्षैतिज रेखा के बारे में सममित बिंदुओं का समुच्चय होता है, जैसा कि नीचे चित्र ए में दिखाया गया है।

चित्र ए: प्रतिबिंब समरूपता और एकाधिक न्यूनतम निरपेक्ष विचलन समाधानों के साथ डेटा बिंदुओं का समुच्चय होता हैं। जिसमे "समाधान क्षेत्र" हरे रंग में दिखाया गया है। ऊर्ध्वाधर नीली रेखाएं गुलाबी रेखा से प्रत्येक डेटा बिंदु तक पूर्ण त्रुटियों का प्रतिनिधित्व करती हैं। और गुलाबी रेखा हरे क्षेत्र के अंदर अनगिनत समाधानों में से होती है।

यह समझने के लिए कि चित्र ए में दिखाए गए स्तिथियों में एकाधिक समाधान क्या होता हैं, इसमें हरे क्षेत्र में गुलाबी रेखा पर विचार करें। इसकी पूर्ण त्रुटियों का योग कुछ मान S के समान होता है। यदि कोई रेखा को हरे क्षेत्र के अंदर रखते हुए थोड़ा ऊपर की ओर झुकाता है, तब त्रुटियों का योग अभी भी S होता हैं। और यह परिवर्तित नहीं होता हैं क्योंकि प्रत्येक बिंदु से दूरी रेखा के तरफ रेखा बढ़ती है, जबकि रेखा के विपरीत दिशा में प्रत्येक बिंदु की दूरी बिल्कुल उसी मात्रा में कम हो जाती है। इस प्रकार पूर्ण त्रुटियों का योग वही रहता है। इसके अतिरिक्त, चूंकि कोई व्यक्ति रेखा को अनंत रूप से छोटे वेतन वृद्धि में कुंचित हो सकता है, इससे यह भी पता चलता है कि इससे अधिक समाधान होता हैं, तब अनंत रूप से अनेक समाधान भी हो सकते हैं।

फायदे और हानि

यह निम्नलिखित तालिका है जिसमें न्यूनतम निरपेक्ष विचलन की विधि के कुछ गुणों की तुलना न्यूनतम वर्ग की विधि (गैर-एकवचन समस्याओं के लिए) से की गई है।

सामान्य न्यूनतम वर्ग प्रतिगमन	न्यूनतम निरपेक्ष विचलन प्रतिगमन
अधिक ससक्त नहीं हैं	सुदृढ़
स्थिर समाधान हैं	अस्थिर समाधान
एक उपाय हैं *	संभवतः एकाधिक समाधान

*परंतु कि डेटा बिंदुओं की संख्या सुविधाओं की संख्या से अधिक या उसके समान होती हैं।

न्यूनतम वर्ग विधि की तुलना में इसकी सुदृढ़ता के कारण, न्यूनतम निरपेक्ष विचलन की विधि अनेक क्षेत्रों में प्रयुक्त होती है। और न्यूनतम निरपेक्ष विचलन इसमें शक्तिशाली होता है कि यह डेटा में बाहरी कारकों के कारण के प्रति प्रतिरोधी होता है। और यह सामान्य न्यूनतम वर्ग (ओएलएस) के विपरीत, एलएडी सभी अवलोकनों पर समान जोर देता है, जो अवशेषों का वर्ग करके, बड़े अवशेषों को अधिक भार देता है, अर्थात, ऐसे बाहरी कारकों के कारण जिनमें पूर्वानुमानित मान वास्तविक अवलोकनों से बहुत दूर होते हैं। यह उन अध्ययनों में सहायक हो सकता है जहां बाहरी कारकों के कारण को अन्य टिप्पणियों की तुलना में अधिक महत्व देने की आवश्यकता नहीं होती है। और यदि बाहरी कारकों के कारण को अधिक भार देना महत्वपूर्ण है, तब न्यूनतम वर्गों की विधि उत्तम विकल्प होती है।

विविधताएं, विस्तार, विशेषज्ञता

यदि अवशिष्टों के निरपेक्ष मानों के योग में कोई निरपेक्ष मान फलन को झुके हुए निरपेक्ष मान फलन में सामान्यीकृत करता रहता है, जिसमें बाईं आधी रेखा पर स्लोप $\tau -1$ है और दाईं आधी रेखा पर स्लोप $\tau$ होता है और जहां $0<\tau <1$ व्यक्ति को मात्रात्मक प्रतिगमन प्राप्त होता है। वहाँ $\tau =1/2$ का स्थिति न्यूनतम निरपेक्ष विचलन द्वारा मानक प्रतिगमन देता है और इसे माध्यिका प्रतिगमन के रूप में भी जाना जाता है।

न्यूनतम पूर्ण विचलन समस्या को अनेक व्याख्याकारों, बाधाओं और नियमितीकरण (गणित) को सम्मिलित करने के लिए बढ़ाया जा सकता है, इस प्रकार उदाहरण के लिए, रैखिक बाधाओं वाला रैखिक मॉडल भी होता हैं |

छोटा करना $S(\mathbf {\beta } ,b)=\sum _{i}|\mathbf {x} '_{i}\mathbf {\beta } +b-y_{i}|$

इसके अधीन, उदाहरण के लिए, $\mathbf {x} '_{1}\mathbf {\beta } +b-y_{1}\leq k$

जहां $\mathbf {\beta }$ अनुमान लगाए जाने वाले गुणांकों का स्तंभ सदिश b है, अनुमान लगाया जाने वाला अवरोधन x_i है, विभिन्न व्याख्याकारों पर i^th अवलोकनों का स्तंभ सदिश है, y_i आश्रित चर पर i^th अवलोकन है, और k ज्ञात स्थिरांक होता है |

लैस्सो (सांख्यिकी (न्यूनतम पूर्ण संकोचन और चयन ऑपरेटर) के साथ नियमितीकरण (गणित) को एलएडी के साथ भी जोड़ा जा सकता है।

यह भी देखें

• ज्यामितीय माध्यिका
• मात्रात्मक प्रतिगमन
• प्रतिगमन विश्लेषण
• रेखीय प्रतिगमन मॉडल
• पूर्ण विचलन
• औसत पूर्ण विचलन
• माध्यिका निरपेक्ष विचलन
• सामान्य कम चौकोर
• शक्तिशाली प्रतिगमन

अग्रिम पठन

• Peter Bloomfield and William Steiger (1980). "Least Absolute Deviations Curve-Fitting". SIAM Journal on Scientific Computing. 1 (2): 290–301. doi:10.1137/0901019.
• Subhash C. Narula and John F. Wellington (1982). "The Minimum Sum of Absolute Errors Regression: A State of the Art Survey". International Statistical Review. 50 (3): 317–326. doi:10.2307/1402501. JSTOR 1402501.
• Robert F. Phillips (July 2002). "Least absolute deviations estimation via the EM algorithm". Statistics and Computing. 12 (3): 281–285. doi:10.1023/A:1020759012226.
• Enno Siemsen & Kenneth A. Bollen (2007). "Least Absolute Deviation Estimation in Structural Equation Modeling". Sociological Methods & Research. 36 (2): 227–265. doi:10.1177/0049124107301946.