रैखिक न्यूनतम वर्ग

रेखीय न्यूनतम वर्ग (LLS) डेटा के रैखिक कार्य का न्यूनतम वर्ग सन्निकटन रहता है।

यह रेखीय प्रतिगमन में सम्मिलित सांख्यिकीय समस्याओं को हल करने के लिए इनके योग का समुच्चय है, जिसमें सामान्य न्यूनतम वर्ग (अनवेटेड), भारित न्यूनतम वर्ग और सामान्यीकृत न्यूनतम वर्ग (सहसंबद्ध) अवशिष्ट (सांख्यिकी) सम्मिलित हैं।

इस प्रकार रेखीय कम से कम वर्गों के लिए संख्यात्मक विधियों में सामान्य समीकरणों और आव्यूह अपघटन विधियों के आव्यूह को परिवर्तित करना सम्मिलित है।

मुख्य फॉर्मूलेशन

तीन मुख्य रैखिक न्यूनतम वर्ग योग हैं:

• सामान्य न्यूनतम वर्ग (ओएलएस) सबसे सामान्य अनुमानक है। ओएलएस अनुमानों का प्रयोग सामान्यतः प्रयोगात्मक और अवलोकन संबंधी अध्ययन डेटा दोनों का विश्लेषण करने के लिए किया जाता है। ओएलएस पद्धति आँकड़ों में प्राप्त त्रुटियों और अवशिष्टों के योग को कम करती है, और अज्ञात पैरामीटर सदिश β के अनुमानित मान के लिए बंद-रूप अभिव्यक्ति की ओर ले जाती है:
  $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} ,$$
  जहाँ $\mathbf {y}$ वेक्टर है जिसका iवाँ अवयव निर्भर वैरियेबल का iवाँ अवलोकन है, और $\mathbf {X}$ आव्यूह है जिसका ij अवयव jवें स्वतंत्र वैरियेबल का iवां प्रेक्षण मान है। इस अनुमानक और सुसंगत अनुमानक का पूर्वाग्रह है यदि त्रुटियों में परिमित विचरण है और प्रतिगामी के साथ असंबद्ध हैं:
  $$\operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,$$
  जहाँ $\mathbf {x} _{i}$ आव्यूह की पंक्ति i का स्थानान्तरण $\mathbf {X} .$ है, इस धारणा के अनुसार दक्षता (सांख्यिकी) भी है कि त्रुटियों में परिमित विचरण है और समरूपता को प्रकट करती है, जिसका अर्थ है कि E[ε_i²|x_i] पर निर्भर नहीं करती है। इस स्थिति की त्रुटियां प्रतिगमनकर्ताओं के साथ असंबद्ध रहती हैं, सामान्यतः प्रयोग में संतुष्ट होंगी, किन्तु अवलोकन संबंधी डेटा की स्थिति में, छोड़े गए सहसंयोजक z की संभावना को बाहर करना कठिन होता है जो कि देखे गए सहसंयोजक और प्रतिक्रिया वैरियेबल दोनों से संबंधित है, इस प्रकार के सहसंयोजक का अस्तित्व सामान्यतः प्रतिगामी और प्रतिक्रिया वैरियेबल के बीच सहसंबंध की ओर ले जाता हैं, और इसलिए 'β' के असंगत अनुमानक के लिए इसका उपयोग किया जाता हैं। इस समरूपता की स्थिति प्रयोगात्मक या अवलोकन संबंधी डेटा के साथ विफल हो सकती है। यदि लक्ष्य या तो अनुमान या भविष्य कहने वाला मॉडलिंग को प्रकट करता हैं, तो बहुसंरेखता उपस्तिथ होने पर ओएलएस अनुमानों का प्रदर्शन बुरा हो सकता है, जब तक कि नमूना आकार बड़ा न हो।

• 'भारित न्यूनतम वर्ग' (WLS) का उपयोग तब किया जाता है जब मॉडल की त्रुटि शर्तों में विषमलैंगिकता उपस्तिथ होती है।
• 'सामान्यीकृत न्यूनतम वर्ग' (जीएलएस) ओएलएस पद्धति का विस्तार है, जो β के कुशल अनुमान की अनुमति देता है जब या तो विषमलैंगिकता, या सहसंबंध, या दोनों मॉडल की त्रुटि शर्तों के बीच उपस्तिथ होते हैं, जब तक कि विषमलैंगिकता का रूप और सहसंबंध डेटा से स्वतंत्र रूप से जाना जाता है। विषमलैंगिकता को संभालने के लिए जब त्रुटि शब्द दूसरे के साथ असंबद्ध होते हैं, जीएलएस भारित एनालॉग को ओएलएस प्रतिगमन से चुकता अवशेषों के योग में कम कर देता है, जहां i के लिए वजन var(ε)_i के व्युत्क्रमानुपाती होता है। जीएलएस के लिए इस विशेष स्थिति को भारित न्यूनतम वर्ग कहा जाता है। इसका अनुमान उक्त समस्या के लिए जीएलएस का समाधान है।

जहां Ω त्रुटियों का सहप्रसरण आव्यूह है। जीएलएस को डेटा में रैखिक परिवर्तन लागू करने के रूप में देखा जा सकता है जिससे कि रूपांतरित डेटा के लिए ओएलएस की मान्यताओं को पूरा किया जा सकता हैं। जीएलएस को लागू करने के लिए, त्रुटियों की सहप्रसरण संरचना को गुणक स्थिरांक तक जाना जाना च^{ाहिए।}

वैकल्पिक फॉर्मूलेशन

अन्य योगों में सम्मिलित हैं:

• पुनरावर्ती रूप से कम से कम वर्गों को फिर से भारित किया जाता हैं, इस स्थिति मे आईआरएलएस का उपयोग किया जाता है जब विषमलैंगिकता, या सहसंबंध, या दोनों मॉडल की त्रुटि शर्तों के बीच उपस्तिथ होते हैं, किन्तु जहां डेटा से स्वतंत्र रूप से त्रुटियों की सहप्रसरण संरचना के बारे में बहुत कम जानकारी होती है। पहली पुनरावृत्ति में, ओएलएस, या जीएलएस अनंतिम सहप्रसरण संरचना के साथ किया जाता है, और अवशिष्टों को फिट से प्राप्त किया जाता है। अवशिष्टों के आधार पर, त्रुटियों की सहप्रसरण संरचना का उत्तम अनुमान सामान्यतः प्राप्त किया जा ^{सकता है । वजन को परिभाषित करने के लिए त्रुटि संरचना के इस अनुमान का उपयोग करके बाद में जीएलएस पुनरावृत्ति का प्रदर्शन किया जाता है। प्रक्रिया को अभिसरण के लिए पुनरावृत्त किया जा सकता है, किन्तु कई स्थितियों में, केवल पुनरावृत्ति β के कुशल अनुमान को प्राप्त करने के लिए पर्याप्त रहता हैं।}
• वाद्य वैरियेबल प्रतिगमन (IV) तब किया जा सकता है जब प्रतिगमन त्रुटियों के साथ सहसंबद्ध होती हैं। इस स्थिति में, हमें कुछ सहायक 'वाद्य वैरियेबल' z_i के अस्तित्व की आवश्यकता होती हैं, ऐसा इसलिए है क्योंकि E [Z_iε_i] = 0 रहता हैं। इस प्रकार यदि Z उपकरणों का आव्यूह हो तब अनुमानक को बंद रूप में दिया जा सकता है
  $${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .$$
  इष्टतम उपकरण प्रतिगमन उस स्थिति के लिए मौलिक IV प्रतिगमन का विस्तार करता है जहां E[ε_i | z_i] = 0.
• कुल न्यूनतम वर्ग (TLS) रेखीय प्रतिगमन मॉडल के कम से कम वर्गों के अनुमान के लिए दृष्टिकोण है ,जो ओएलएस की तुलना में अधिक ज्यामितीय रूप से सममित तविधियोंसे कोवरिएट्स और प्रतिक्रिया वैरियेबल का उपचार करता है। यह वैरियेबल समस्या में त्रुटियों को संभालने का विधि है, और कभी-कभी इसका उपयोग तब भी किया जाता है जब सहसंयोजकों को त्रुटि-मुक्त माना जाता है।

• प्रतिशत न्यूनतम वर्ग प्रतिशत त्रुटियों को कम करने पर केंद्रित है, जो पूर्वानुमान या समय श्रृंखला विश्लेषण के क्षेत्र में उपयोगी है। यह उन स्थितियों में भी उपयोगी है जहां आश्रित वैरियेबल की निरंतर विचरण के बिना विस्तृत श्रृंखला होती है, क्योंकि यदि ओएलएस का उपयोग किया जाता है तो सीमा के ऊपरी छोर पर बड़े अवशेष पर प्रभावित होते हैं। जब प्रतिशत या सापेक्ष त्रुटि सामान्य रूप से वितरित की जाती है, तो कम से कम वर्ग प्रतिशत प्रतिगमन अधिकतम संभावना अनुमान प्रदान करता है। प्रतिशत प्रतिगमन गुणक त्रुटि मॉडल से जुड़ा हुआ है, जबकि ओएलएस योगात्मक त्रुटि शब्द वाले प्रारूप से जुड़ा होता हैं।
• विवश न्यूनतम वर्ग, का मान के लिए इसके अतिरिक्त बाधाओं के साथ रैखिक न्यूनतम वर्ग समस्या को इंगित करता है।

उद्देश्य फलन

ओएलएस में (अर्थात्, भारित टिप्पणियों को मानते हुए), गुणांक वेक्टर के लिए इष्टतम अभिव्यक्ति को प्रतिस्थापित करके उद्देश्य फ़ंक्शन का गणितीय अनुकूलन पाया जाता है:

$$S=\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} =\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} ,$$

जहाँ $\mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}$, बाद की समानता के बाद से $(\mathbf {I} -\mathbf {H} )$ सममित और आडिएमपोटेंट है। इससे वजन के उपयुक्त असाइनमेंट के अनुसार S का अपेक्षित मान m − n के रूप में दिखाया जा सकता है। यदि इसके अतिरिक्त इकाई भार ग्रहण किया जाता है, तो S का अपेक्षित मान है $(m-n)\sigma ^{2}$, जहाँ $\sigma ^{2}$ प्रत्येक अवलोकन का विचरण प्रदान करता हैं।

यदि यह माना जाता है कि अवशिष्ट सामान्य वितरण से संबंधित हैं, तो वस्तुनिष्ठ फलन, भारित वर्गित अवशिष्टों का योग होने के कारण, ची-वर्ग वितरण|ची-वर्ग से संबंधित होगा। जो ($\chi ^{2}$) m − n स्वतंत्रता की डिग्री (सांख्यिकी) के साथ वितरण के कुछ निदर्शी प्रतिशतक मानों के लिए $\chi ^{2}$ के लिए निम्न सूची में दिए गए हैं।

$m-n$	$\chi _{0.50}^{2}$	$\chi _{0.95}^{2}$	$\chi _{0.99}^{2}$
10	9.34	18.3	23.2
25	24.3	37.7	44.3
100	99.3	124	136

फिट होने की अच्छाई के लिए इन मूल्यों का उपयोग सांख्यिकीय मानदंड के लिए किया जा सकता है। जब इकाई भार का उपयोग किया जाता है, तो संख्याओं को प्रेक्षण के प्रसरण से विभाजित किया जाना चाहिए।

WLS के लिए, उपरोक्त सामान्य उद्देश्य फ़ंक्शन को अवशिष्टों के भारित औसत के लिए प्रतिस्थापित किया जाता है।

चर्चा

आंकड़ों और गणित में, रैखिक कम से कम वर्ग उन स्थितियों में डेटा के लिए गणितीय मॉडल या सांख्यिकीय मॉडल को फिट करने के लिए दृष्टिकोण है, जहां किसी डेटा बिंदु के लिए मॉडल द्वारा प्रदान किए गए आदर्श मूल्य को मॉडल के अज्ञात मापदंडों के संदर्भ में रैखिक रूप [[आंकड़े]] से व्यक्त किया जाता है। इस प्रकार परिणामी फिट किए गए मॉडल का उपयोग डेटा को वर्णनात्मक आंकड़ों के लिए किया जा सकता है, इ, सिस्टम से अप्राप्य मूल्यों की भविष्यवाणी करने के लिए, और सिस्टम को समझने वाले तंत्र को समझने के लिए किया जाता हैं।

गणितीय रूप से, रैखिक न्यूनतम वर्ग रैखिक समीकरणों A x = b की अतिनिर्धारित प्रणाली को लगभग हल करने की समस्या है, जहाँ b आव्यूह A के स्तंभ स्थान का अवयव नहीं है। अनुमानित समाधान को A x = के त्रुटिहीन समाधान के रूप में महसूस किया जाता है। b', जहां b' A के कॉलम स्पेस पर b का प्रक्षेपण है। सबसे अच्छा सन्निकटन वह है जो डेटा मानों और उनके संबंधित मॉडल मूल्यों के बीच चुकता अंतरों के योग को कम करता है। दृष्टिकोण को 'रैखिक' 'कम से कम वर्ग कहा जाता है क्योंकि अनुमानित कार्य अनुमानित पैरामीटर में रैखिक है। रैखिक कम से कम वर्ग की समस्याएं उत्तल कार्य हैं और बंद-रूप अभिव्यक्ति है। बंद-रूप समाधान जो अद्वितीय है, बशर्ते कि फिटिंग के लिए उपयोग किए जाने वाले डेटा बिंदुओं की संख्या अज्ञात मापदंडों की संख्या के बराबर या उससे अधिक हो, विशेष पतित स्थितियों को छोड़कर किया जाता हैं। इसके विपरीत, गैर-रैखिक कम से कम वर्गों की समस्याओं को सामान्यतः पुनरावृत्त विधि द्वारा हल किया जाना चाहिए, और उद्देश्य फ़ंक्शन के लिए कई ऑप्टिमा के साथ समस्याएं गैर-उत्तल हो सकती हैं। यदि पूर्व वितरण उपलब्ध हैं, तो न्यूनतम औसत वर्ग त्रुटि का उपयोग करके कम निर्धारित प्रणाली को भी हल किया जा सकता है।

आँकड़ों में, रैखिक कम से कम वर्ग समस्याएँ विशेष रूप से महत्वपूर्ण प्रकार के सांख्यिकीय मॉडल के अनुरूप होती हैं जिन्हें रैखिक प्रतिगमन कहा जाता है जो प्रतिगमन विश्लेषण के विशेष रूप के रूप में उत्पन्न होता है। इस तरह के मॉडल का मूल रूप साधारण न्यूनतम वर्ग मॉडल है। वर्तमान लेख रैखिक कम से कम वर्गों की समस्याओं के गणितीय पहलुओं पर ध्यान केंद्रित करता है, सांख्यिकीय प्रतिगमन मॉडल के निर्माण और व्याख्या की चर्चा के साथ और इनसे संबंधित सांख्यिकीय अनुमानों को अभी उल्लिखित लेखों में निपटाया जा रहा है। विषय की रूपरेखा के लिए प्रतिगमन विश्लेषण की रूपरेखा देखें।

गुण

See also: साधारण न्यूनतम वर्ग गुण

यदि प्रायोगिक त्रुटियां, $\varepsilon$, असंबंधित हैं, शून्य का अर्थ है और इसमें निरंतर भिन्नता रहती हैं, इस प्रकार $\sigma$, गॉस-मार्कोव प्रमेय कहता है कि कम से कम वर्ग अनुमानक, ${\hat {\boldsymbol {\beta }}}$, सभी अनुमानकों का न्यूनतम विचरण करता है जो अवलोकनों के रैखिक संयोजित रहता हैं। इस अर्थ में यह पैरामीटरों का सबसे अच्छा, या इष्टतम, अनुमानक है। विशेष रूप से ध्यान दें कि यह संपत्ति त्रुटियों के सांख्यिकीय संचयी वितरण फलन से स्वतंत्र रहता है। दूसरे शब्दों में, त्रुटियों का वितरण कार्य सामान्य वितरण नहीं होना चाहिए। चूंकि, कुछ प्रायिकता वितरणों के लिए, इस बात की कोई गारंटी नहीं है कि प्रेक्षणों को देखते हुए न्यूनतम वर्ग समाधान भी संभव है; फिर भी, ऐसे स्थितियों में यह सबसे अच्छा अनुमानक है जो रैखिक और निष्पक्ष दोनों है।

उदाहरण के लिए, यह दिखाना सरल है कि किसी मात्रा के माप के समुच्चय का अंकगणितीय माध्य उस मात्रा के मान का न्यूनतम-वर्ग अनुमानक है। यदि गॉस-मार्कोव प्रमेय की शर्तें लागू होती हैं, तो माप की त्रुटियों का वितरण कुछ भी हो अंकगणितीय माध्य इष्टतम होता है।

चूँकि, इस स्थिति में कि प्रायोगिक त्रुटियाँ सामान्य वितरण से संबंधित हैं, न्यूनतम-वर्ग अनुमानक भी अधिकतम संभावना अनुमानक है।

ये गुण सभी प्रकार के डेटा फ़िटिंग के लिए कम से कम वर्गों की विधि के उपयोग को रेखांकित करते हैं, तब भी जब धारणाएँ कड़ाई से मान्य नहीं हैं।

सीमाएं

ऊपर दिए गए उपचार में अंतर्निहित धारणा यह है कि स्वतंत्र वैरियेबल, x, त्रुटि मुक्त रहता है। व्यवहारिक रूप से, स्वतंत्र वैरियेबल के मापन में त्रुटियां सामान्यतः निर्भर वैरियेबल पर त्रुटियों की तुलना में बहुत कम होती हैं और इसलिए इसे अनदेखा किया जा सकता है। जब ऐसा नहीं होता है, तो कम से कम वर्ग या अधिक सामान्यतः त्रुटियों में वैरियेबल मॉडल, या कठोर न्यूनतम वर्ग का उपयोग किया जाना चाहिए। यह निर्भर और स्वतंत्र वैरियेबल दोनों पर त्रुटियों को ध्यान में रखते हुए भार योजना को समायोजित करके और फिर मानक प्रक्रिया का पालन करके किया जा सकता है।

कुछ स्थितियों में (भारित) सामान्य समीकरण आव्यूह X^TX है। बहुपदों को फ़िट करते समय सामान्य समीकरण आव्यूह वैंडरमोंड आव्यूह होता है। जैसे-जैसे आव्यूह का क्रम बढ़ता है वैंडरमोंड मैट्रिसेस तेजी से बीमार होते जाते हैं। इन स्थितियों में, सबसे कम वर्ग का अनुमान माप ध्वनि को बढ़ाता है और यह पूर्ण रूप से गलत होता हैं। ऐसी स्थितियों में विभिन्न नियमितीकरण (गणित) तकनीकों को लागू किया जा सकता है, जिनमें से सबसे सरल तिखोनोव नियमितीकरण कहा जाता है। यदि पैरामीटर के बारे में अधिक जानकारी ज्ञात है, उदाहरण के लिए, संभावित मानों की श्रेणी $\mathbf {\hat {\boldsymbol {\beta }}}$, तो समाधान की स्थिरता को बढ़ाने के लिए विभिन्न तकनीकों का उपयोग किया जा सकता है। उदाहरण के लिए, विवश_रैखिक_कम से कम_वर्ग देखें।

कम से कम वर्गों के अनुमानक का और दोष यह तथ्य है कि अवशिष्टों का मानदंड, $\|\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\|$ न्यूनतम किया जाता है, जबकि कुछ स्थितियों में पैरामीटर में छोटी त्रुटि प्राप्त करने में वास्तव में रुचि होती है। इस प्रकार $\mathbf {\hat {\boldsymbol {\beta }}}$, उदाहरण के लिए, का छोटा मान $\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|$ हैं। चूंकि, सही पैरामीटर के बाद से ${\boldsymbol {\beta }}$ आवश्यक रूप से अज्ञात है, इस मात्रा को सीधे कम नहीं किया जा सकता हैं। यदि पूर्व संभावना चालू है तो उसे ${\hat {\boldsymbol {\beta }}}$ से ज्ञात किया जाता है, तो औसत वर्ग त्रुटि को कम करने के लिए न्यूनतम औसत वर्ग त्रुटि $E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}$ का उपयोग किया जा सकता है। कम से कम वर्ग विधि अधिकांशतःलागू होती है जब कोई पूर्व ज्ञात नहीं होता है। आश्चर्यजनक रूप से, जब कई मापदंडों का संयुक्त रूप से अनुमान लगाया जा रहा हो, तो उत्तम आकलनकर्ताओं का निर्माण किया जा सकता है, प्रभाव जिसे स्टीन की घटना के रूप में जाना जाता है। उदाहरण के लिए, यदि माप त्रुटि सामान्य वितरण है, तो कई अनुमानक ज्ञात हैं जो निर्णय नियम पर प्रभावी होता हैं, इस प्रकार यह सबसे कम वर्ग तकनीक से उत्तम प्रदर्शन करते हैं; इनमें से सबसे प्रसिद्ध जेम्स-स्टीन अनुमानक है। यह अधिक सामान्य सिकुड़न अनुमानक का उदाहरण है जिसे प्रतिगमन समस्याओं पर लागू किया गया है।

अनुप्रयोग

See also: रेखीय प्रतिगमन अनुप्रयोग

• बहुपद प्रतिगमन: मॉडल स्वतंत्र वैरियेबल में बहुपद x हैं,:
  • सरल रेखा: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x$.
  • द्विघात: $f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}$.
  • घन, चतुर्थक और उच्च बहुपद। बहुपद प्रतिगमन या उच्च-क्रम बहुपदों के साथ प्रतिगमन के लिए, ऑर्थोगोनल बहुपद के उपयोग की प्रस्तुति की जाती है।
• संख्यात्मक चौरसाई और भेदभाव - यह बहुपद फिटिंग का अनुप्रयोग है।
• सतह फिटिंग सहित से अधिक स्वतंत्र वैरियेबल में बहुपद
• बी-पट्टी के साथ कर्व फिटिंग* रसायन विज्ञान , अंशांकन वक्र, मानक जोड़, महान साजिश, बीयर-लैंबर्ट नियम रासायनिक विश्लेषण

डेटा फिटिंग में उपयोग

रैखिक कम से कम वर्गों का प्राथमिक अनुप्रयोग डेटा फ़िटिंग में है। एम डेटा बिंदुओं के समुच्चय $y_{1},y_{2},\dots ,y_{m},$को देखते हुए m मानों के लिए उपयोग किये गए प्रयोगात्मक रूप से मापा मूल्यों से मिलकर $x_{1},x_{2},\dots ,x_{m}$ स्वतंत्र वैरियेबल का ($x_{i}$ अदिश या सदिश राशियाँ हो सकती हैं), और मॉडल फ़ंक्शन $y=f(x,{\boldsymbol {\beta }}),$ साथ ${\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),$ दिया गया है। यह मापदंडों को खोजने के लिए $\beta _{j}$ को वांछित किया जाता है जैसे कि मॉडल फ़ंक्शन डेटा के लिए सबसे उपयुक्त है। रैखिक कम से कम वर्गों में, रैखिकता का अर्थ $\beta _{j},$ के मापदंडों के संबंध में होता है इसलिए-

$$f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).$$

यहाँ, फलन $\varphi _{j}$ वैरियेबल x के संबंध में अरैखिक हो सकता है।

आदर्श रूप से, मॉडल फ़ंक्शन डेटा को त्रुटिहीन रूप से फिट करता है, इसलिए

$$y_{i}=f(x_{i},{\boldsymbol {\beta }})$$

सभी के लिए $i=1,2,\dots ,m.$ यह सामान्यतः व्यवहार में संभव नहीं है, क्योंकि निर्धारित किए जाने वाले मापदंडों की तुलना में अधिक डेटा बिंदु हैं। इस दृष्टिकोण के आधार पर अवशिष्ट (सांख्यिकी) के वर्गों के योग का न्यूनतम संभव मान ज्ञात करना है

$$r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)$$

इसलिए फलन को कम करने के लिए

$$S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).$$

के लिए प्रतिस्थापित करने के पश्ताक $r_{i}$ और फिर $f$ के लिए यह न्यूनीकरण समस्या उपरोक्त द्विघात न्यूनीकरण समस्या बन जाती है

$$X_{ij}=\varphi _{j}(x_{i}),$$

और सामान्य समीकरणों को हल करके सबसे उपयुक्त पाया जा सकता है।

उदाहरण

See also: साधारण न्यूनतम वर्ग § उदाहरण, and सरल रेखीय प्रतिगमन §  उदाहरण

Further information: बहुपद प्रतिगमन

डेटा बिंदुओं का प्लॉट (लाल रंग में), सर्वोत्तम फिट की कम से कम वर्ग रेखा (नीले रंग में), और अवशिष्ट (हरे रंग में)

इस प्रयोग के परिणामस्वरूप, चार $(x,y)$ डेटा बिंदु $(1,6),$ $(2,5),$ $(3,7),$ और $(4,10)$ प्राप्त किए गए थे, (दाईं ओर आरेख में लाल रंग में दिखाया गया है)। यहाँ पर हमें $y=\beta _{1}+\beta _{2}x$ रेखा मिलने की आस होती है, जो इन चार बिंदुओं के लिए सबसे उपयुक्त होती है। दूसरे शब्दों में, हम संख्याओं $\beta _{1}$ और $\beta _{2}$ का पता लगाना चाहेंगे, यह लगभग अतिनिर्धारित रैखिक प्रणाली को हल करता है:

$${\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10&\\\end{alignedat}}$$

कुछ सर्वोत्तम अर्थों में दो अज्ञात में चार समीकरणों के लिए $r$ वक्र फिट और डेटा के बीच, प्रत्येक बिंदु पर अवशिष्ट का प्रतिनिधित्व करता है:

$${\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2})&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2})&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2})&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2})&\\\end{alignedat}}$$

इस समस्या को हल करने के लिए कम से कम वर्गों का दृष्टिकोण इन अवशेषों के वर्गों के योग को जितना संभव हो उतना छोटा करने का प्रयास करना है; वह है, फलन की अधिकतमता और न्यूनतमता को खोजने के लिए:

$${\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210\\[6pt]\end{aligned}}$$

के आंशिक डेरिवेटिव की गणना करके न्यूनतम निर्धारित किया जाता है, इस प्रकार $S(\beta _{1},\beta _{2})$ के संबंध में $\beta _{1}$ और $\beta _{2}$ और उन्हें शून्य पर समुच्चय का उपयोग होता हैं:

$${\frac {\partial S}{\partial \beta _{1}}}=0=8\beta _{1}+20\beta _{2}-56$$

$${\frac {\partial S}{\partial \beta _{2}}}=0=20\beta _{1}+60\beta _{2}-154.$$

इसका परिणाम दो अज्ञात में दो समीकरणों की प्रणाली में होता है, जिसे सामान्य समीकरण कहा जाता है, जो हल करने पर देता है:

$$\beta _{1}=3.5$$

$$\beta _{2}=1.4$$

और समीकरण $y=3.5+1.4x$ सर्वश्रेष्ठ फिट की रेखा है। अवशिष्ट (सांख्यिकी), अर्थात्, के बीच अंतर $y$ प्रेक्षणों से मान और $y$ सर्वोत्तम फिट की रेखा का उपयोग करके अनुमानित वैरियेबल $1.1,$ $-1.3,$ $-0.7,$ और $0.9$ (दाईं ओर आरेख देखें) पाए जाते हैं। अवशिष्टों के वर्गों के योग का न्यूनतम मान $S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.$ है, इससे अधिक सामान्य स्थिति के लिए कोई भी हो सकता है $n$ प्रतिगामी $x_{j}$, और रैखिक मॉडल

$$y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.$$

द्विघात मॉडल का प्रयोग

द्विघात फलन को फ़िट करने का परिणाम $y=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}\,$ (नीले रंग में) डेटा बिंदुओं के समुच्चय के माध्यम से $(x_{i},y_{i})$ (लाल)। रैखिक कम से कम वर्गों में फ़ंक्शन को तर्क में रैखिक होने की आवश्यकता नहीं है $x,$ किन्तु केवल मापदंडों में $\beta _{j}$ जो सर्वश्रेष्ठ फिट देने के लिए दृढ़ संकल्पित हैं।

महत्वपूर्ण रूप से, रैखिक न्यूनतम वर्गों में, हम उपरोक्त उदाहरण के रूप में रेखा को मॉडल के रूप में उपयोग करने तक सीमित नहीं हैं। उदाहरण के लिए, हम प्रतिबंधित द्विघात मॉडल $y=\beta _{1}x^{2}$ को चुन सकते थे। यह मॉडल अभी भी रैखिक है $\beta _{1}$ पैरामीटर, इसलिए हम अभी भी समान विश्लेषण कर सकते हैं, डेटा बिंदुओं से समीकरणों की प्रणाली का निर्माण कर सकते हैं:

$${\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}$$

पैरामीटर के संबंध में आंशिक डेरिवेटिव (इस बार केवल ही है) की फिर से गणना की जाती है और 0 पर समुच्चय किया जाता है:

$${\frac {\partial S}{\partial \beta _{1}}}=0=708\beta _{1}-498$$

और इसे हल करने पर

$$\beta _{1}=0.703$$

परिणामी सर्वोत्तम फिट मॉडल के लिए अग्रणी मान $y=0.703x^{2}.$ प्राप्त होता हैं।

यह भी देखें

• लाइन-लाइन गैर-प्रतिच्छेदी लाइनों के निकटतम बिंदु आवेदन
• लाइन फिटिंग
• अरेखीय कम से कम वर्ग
• कम से कम वर्गों को नियमित करें
• सरल रेखीय प्रतिगमन
• आंशिक न्यूनतम वर्ग प्रतिगमन
• रैखिक प्रकार्य

अग्रिम पठन

• Bevington, Philip R.; Robinson, Keith D. (2003). Data Reduction and Error Analysis for the Physical Sciences. McGraw-Hill. ISBN 978-0-07-247227-1.

बाहरी संबंध

• Least Squares Fitting – From MathWorld
• Least Squares Fitting-Polynomial – From MathWorld