भारित न्यूनतम वर्ग

भारित न्यूनतम वर्ग (डब्ल्यूएलएस), जिसे भारित रैखिक प्रतिगमन के रूप में भी जाना जाता है, सामान्य न्यूनतम वर्गों और रैखिक प्रतिगमन का सामान्यीकरण है, जिसमें अवलोकनों के असमान विचरण (विषमलैंगिकता) का ज्ञान प्रतिगमन में सम्मिलित किया जाता है। डब्लूएलएस भी सामान्यीकृत न्यूनतम वर्ग की विशेषज्ञता है, जब त्रुटियों के सहप्रसरण आव्युह की समस्त संवृत विकर्ण प्रविष्टियां शून्य होती हैं।

सूत्रीकरण

किसी डेटा बिंदु पर आदर्श की उपयुक्त को उसके अवशिष्ट $r_{i}$, के माध्यम से मापा जाता है, जिसे आश्रित चर के मापीय मान , $y_{i}$ और आदर्श के माध्यम से अनुमानित मान, $f(x_{i},{\boldsymbol {\beta }})$: के मध्य अंतर के रूप में परिभाषित किया गया है।

$$r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).$$

यदि त्रुटियाँ असंबंधित हैं और उनमें समान भिन्नता है, तब फलन

$$S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},$$

${\boldsymbol {\hat {\beta }}}$ पर इस प्रकार न्यूनतम किया जाता है कि ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ है।

गॉस-मार्कोव प्रमेय से पता चलता है कि, जब ऐसा होता है तब ${\hat {\boldsymbol {\beta }}}$ सर्वोत्तम रैखिक निष्पक्ष अनुमानक (सर्वोत्तम लीनियर निष्पक्ष अनुमानक) है।चूंकि यदि माप असंबंधित हैं। किन्तु अलग-अलग अनिश्चितताएँ हैं, तब एक संशोधित दृष्टिकोण ग्रहण किया जा सकता है। अलेक्जेंडर ऐटकेन ने दिखाया कि जब वर्ग अवशिष्टों का भारित योग न्यूनतम किया जाता है, तब 1 नीला होता है यदि प्रत्येक वजन माप के विचरण के व्युत्क्रम के अनुरूप होता है,

$${\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}$$

वर्गों के इस योग के रूप मे क्रमिक समीकरण हैं

$$-2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m$$

जो एक रैखिक न्यूनतम वर्ग प्रणाली में संशोधित सामान्य समीकरण देते हैं:

$$\sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.$$

जब अवलोकन संबंधी त्रुटियां असंबंधित होती हैं, और भार आव्युह, W=Ω−1, विकर्ण होता है, तब इन्हें इस प्रकार लिखा जा सकता है:

$$\mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .$$

यदि त्रुटियों को सहसंबद्ध किया जाता है, तब परिणामी अनुमानक नीला होता है यदि भार आव्युह अवलोकनों के विचरण-सहप्रसरण आव्युह के व्युत्क्रम के सामान्य है। जब त्रुटियां असंबंधित होती हैं, तब भार आव्युह को $w_{ii}={\sqrt {W_{ii}}}$. के रूप में कारक करने के रूप मे गणना को सहज बनाना सुविधाजनक होता है। तत्पश्चात सामान्य समीकरणों को सामान्य न्यूनतम वर्गों के समान रूप में लिखा जा सकता है:

$$\mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,$$

जिस स्थान पर हम निम्नलिखित चिह्नित आव्युह और सदिश को परिभाषित करते हैं:

$${\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}$$

यह एक प्रकार का श्वेतक परिवर्तन है; अंतिम अभिव्यक्ति में प्रविष्टि सतर्कता विभाजन सम्मिलित है।

अ-रेखीय न्यूनतम वर्ग प्रणालियों के रूप मे एक समान तर्क से ज्ञात होता है, कि सामान्य समीकरणों को निम्नानुसार संशोधित किया जाना चाहिए।

$$\mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,$$

ध्यान दें कि अनुभवजन्य परीक्षणों के रूप मे, उपयुक्त W निश्चित रूप से ज्ञात नहीं है, और इसका अनुमान लगाया जाना चाहिए। इसके रूप मे व्यवहार्य सामान्यीकृत न्यूनतम वर्ग (एफजीएलएस) विधियों का उपयोग किया जा सकता है, इस स्थिति में यह विकर्ण सहप्रसरण आव्युह के रूप मे विशिष्ट है, जिससे व्यवहार्य भारित न्यूनतम वर्ग मे समाधान प्राप्त होता है।

यदि अवलोकनों की अनिश्चितता बाह्य स्रोतबं से ज्ञात नहीं है, तब दिए गए अवलोकनों से भार का अनुमान लगाया जा सकता है। उदाहरण के रूप मे बाह्य प्रभाव की अभिज्ञान करने के रूप मे यह उपयोगी हो सकता है। डेटा समुच्चय से बाह्य प्रभाव निष्काषित कर जाने के पश्चात् भार को एक पर पुनः स्थापित किया जाना चाहिए।

प्रेरणा

कुछ स्थितियों में टिप्पणियों को महत्व प्रस्तुत जा सकता है - उदाहरण के रूप मे , वे समान रूप से विश्वसनीय नहीं हो सकते हैं। इस स्थितिे में, कोई भी वर्गों के भारित योग को कम कर सकता है:

$${\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.$$

जिस स्थान पर w_i> 0 वें अवलोकन का भार है, और W ऐसे भारों का विकर्ण आव्युह है।

आदर्श रूप से, भार माप के विचरण के गुणात्मक व्युत्क्रम के समकक्ष होना चाहिए। (इसका तात्पर्य यह है कि अवलोकन असंबद्ध हैं। यदि अवलोकन सहसंबद्ध हैं, तब अभिव्यक्ति ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ प्रयुक्त होता है। इस स्थितिे में भार आव्युह आदर्श रूप से अवलोकनों के विचरण-सहप्रसरण आव्युह के व्युत्क्रम के समकक्ष होना चाहिए)।

सामान्य समीकरण तब हैं:

$$\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .$$

इस पद्धति का उपयोग पुनरावृत्तीय रूप से पुनर्भारित न्यूनतम वर्गों में किया जाता है।

समाधान

मापदंड त्रुटियां और सहसंबंध

अनुमानित मापदंड मान प्रेक्षित मानों के रैखिक संयोजन हैं:

$${\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .$$

इसलिए मापदंड अनुमानों के अनुमानित विचरण-सहप्रसरण आव्युह के रूप मे अभिव्यक्ति टिप्पणियों में त्रुटियों से त्रुटि प्रसार के माध्यम से प्राप्त की जा सकती है। मान लें कि प्रेक्षणों के रूप मे प्रसरण-सहप्रसरण आव्युह को M के माध्यम से और अनुमानित मापदंडों को M^β के माध्यम से निरूपित किया जाता है।

तब

$$M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.$$

जब W = M⁻¹, तब यह सहज हो जाता है:

$$M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.$$

जब इकाई भार का उपयोग किया जाता है (W = I, अभिज्ञान आव्युह), यह निहित है कि प्रयोगात्मक त्रुटियां असंबद्ध हैं और समस्त समान हैं: M = σ²I है, जिस स्थान पर σ² अवलोकन का प्राथमिक विचरण है। किसी भी स्थिति में, σ² का अनुमान कम ची-वर्ग $\chi _{\nu }^{2}$ के माध्यम से लगाया जाता है

$${\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}$$

जिस स्थान पर S भारित उद्देश्य फलन का न्यूनतम मान है:

$$S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.$$

प्रत्येक, $\nu =n-m$, स्वतंत्रता की उपाधि (सांख्यिकी) की संख्या है, सहसंबंधित टिप्पणियों के स्थितिे में सामान्यीकरण के रूप मे स्वतंत्रता (सांख्यिकी) की प्रभावी उपाधि देखें।

समस्त स्थितियों में, मापदंड अनुमान ${\hat {\beta }}_{i}$ का विचरण $M_{ii}^{\beta }$ के माध्यम से प्रस्तुत गया है और मापदंड अनुमान ${\hat {\beta }}_{i}$ और ${\hat {\beta }}_{j}$ के मध्य सहप्रसरण $M_{ij}^{\beta }$ के माध्यम से प्रस्तुत गया है।

मानक विचलन विचरण $\sigma _{i}={\sqrt {M_{ii}^{\beta }}}$ का वर्गमूल है, और सहसंबंध गुणांक $\rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})$ के माध्यम से प्रस्तुत गया है। ये त्रुटि अनुमान माप में मात्र यादृच्छिक त्रुटियों को दर्शाते हैं। मापदंडों में वास्तविक अनिश्चितता व्यवस्थित त्रुटियों की उपस्थिति के कारण दीर्घतर है, जिसे परिभाषा के अनुसार निर्धारित नहीं किया जा सकता है। ध्यान दें कि तथापि अवलोकन असंबंधित हो सकते हैं, मापदंड सामान्यतः पियर्सन परिणाम महत्व सहसंबंध गुणांक(पीपीएमसीसी) होते हैं।

मापदंड विश्वास्यता सीमाएँ

Main article: विश्वास्यता अंतराल

यह अधिकांशतः किसी ठोस प्रमाण के अभाव में, किन्तु अधिकांशतः केंद्रीय सीमा प्रमेय के लिए स्वीकृत माना जाता है। सामान्य वितरण वृत्तांत और अनुप्रयोग देखें - कि प्रत्येक अवलोकन पर त्रुटि शून्य और मानक विचलन $\sigma$ के मध्य सामान्य वितरण से संबंधित है। उस धारणा के अनुसार एकल अदिष्ट मापदंड अनुमान के लिए इसकी अनुमानित मानक त्रुटि $se_{\beta }$ (सामान्य न्यूनतम वर्ग) के संदर्भ में निम्नलिखित संभावनाएं प्राप्त की जा सकती हैं:

• 68% कि अंतराल ${\hat {\beta }}\pm se_{\beta }$ वास्तविक गुणांक मान को समाहित करता है।
• 95% कि अंतराल ${\hat {\beta }}\pm 2se_{\beta }$ वास्तविक गुणांक मान को समाहित करता है।
• 99% कि अंतराल ${\hat {\beta }}\pm 2.5se_{\beta }$ वास्तविक गुणांक मान को समाहित करता है।

जब n >> m हो तब यह धारणा अनुचित नहीं है। यदि प्रयोगात्मक त्रुटियों को सामान्य रूप से वितरित किया जाता है, तब मापदंड n-m उपाधि की स्वतंत्रता (सांख्यिकी) के साथ एक विद्यार्थी के टी-वितरण से संबंधित होंगे। जब n ≫ m विद्यार्थी का टी-वितरण सामान्य वितरण का अनुमान लगाता है। चूंकि ध्यान दें कि ये विश्वास्यता सीमाएँ व्यवस्थित त्रुटि को ध्यान में नहीं रख सकती हैं। साथ ही, मापदंड त्रुटियों को मात्र महत्वपूर्ण अंक तक उद्धृत किया जाना चाहिए, क्योंकि वे नमूनाकरण त्रुटि के अधीन हैं।

जब अवलोकनों की संख्या अपेक्षाकृत कम होती है, तब प्रायोगिक त्रुटियों के वितरण के विषय में किसी भी धारणा का ध्यान दिए बिना, चेबीचेव की असमानता का उपयोग संभावनाओं की उच्चतर परिबंध के लिए किया जा सकता है। अधिकतम संभावनाएँ कि मापदंड 1, 2, या 3 मानक विचलन से अधिक होगा इसकी अपेक्षा से दूर मान क्रमशः 100%, 25% और 11% हैं।

अवशिष्ट मान और सहसंबंध

सांख्यिकी में त्रुटियाँ एवं अवशिष्ट किसके के माध्यम से किये गये प्रेक्षणों से सम्बन्धित हैं:

$$\mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,$$

जिस स्थान पर H निष्क्रिय आव्युह है जिसे हैट आव्युह के रूप में जाना जाता है:

$$H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,$$

और I अभिज्ञान आव्युह है। अवशिष्ट M^r का प्रसरण-सहप्रसरण आव्युह के माध्यम से प्रस्तुत करा गया है:

$$M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.$$

इस प्रकार अवलोकन न होने पर भी अवशिष्ट सहसंबद्ध होते हैं:

जब $W=M^{-1}$,

$$M^{\mathbf {r} }=(I-H)M.$$

जब भी आदर्श फलन में स्थिर पद होता है, तब भारित अवशिष्ट मानों का योग शून्य के समकक्ष होता है। अवशिष्टों के लिए अभिव्यक्ति को X^T W^T से बाएँ ओर से गुणा करें:

$$X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .$$

उदाहरण के रूप मे, मान लें कि आदर्श का प्रथम पद स्थिरांक है। जिससे समस्त i के लिए $X_{i1}=1$ है। उस स्थिति में यह उसका अनुसरण करता है:

$$\sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.$$

इस प्रकार, उपरोक्त प्रेरक उदाहरण में, यह तथ्य कि अवशिष्ट मानों का योग शून्य के समकक्ष है, यह आकस्मिक नहीं है, किन्तु आदर्श में स्थिर पद α की उपस्थिति का परिणाम है।

यदि प्रयोगात्मक त्रुटि सामान्य वितरण का अनुसरण करती है, तब, अवशिष्टों और अवलोकनों के मध्य रैखिक संबंध के कारण, अवशिष्टों को भी ऐसा ही होना चाहिए, किन्तु चूँकि अवलोकन समस्त संभावित अवलोकनों की जनसंख्या का एक नमूना मात्र हैं, इसलिए अवशिष्ट एक विद्यार्थी के टी-वितरण से संबंधित होने चाहिए। जब कोई विशेष अवशिष्ट अत्यधिक उच्चतर प्रतीत होता है, तब विद्यार्थीकृत अवशिष्ट किसी बाह्य के रूप मे सांख्यिकीय परीक्षण करने में उपयोगी होते हैं।

यह भी देखें

• न्यूनतम वर्गों को पुनरावृत्त रूप से पुनः भारित किया गया
• विषमलैंगिकता-संगत मानक त्रुटियाँ
• भारित माध्य