सामान्यीकृत न्यूनतम वर्ग

आंकड़ों में, सामान्यीकृत न्यूनतम वर्ग (जीएलएस) एक विधि है जिसका उपयोग रैखिक प्रतिगमन में अज्ञात मापदंडों का अनुमान लगाने के लिए किया जाता है जब प्रतिगमन प्रतिरूपण में अवशेषों के बीच एक निश्चित डिग्री का सहसंबंध होता है। ऐसे स्तिथियों में, सामान्य न्यूनतम वर्ग और भारित न्यूनतम वर्ग को अधिक सांख्यिकीय रूप से कुशल होने और भ्रामक निष्कर्षों को रोकने की आवश्यकता हो सकती है। जीएलएस का वर्णन पहली बार 1935 में अलेक्जेंडर ऐटकेन द्वारा किया गया था।

विधि की रूपरेखा

मानक रैखिक प्रतिगमन प्रतिरूपण में कोई $\{y_{i},x_{ij}\}_{i=1,\dots ,n,j=2,\dots ,k}$ डेटा का n सांख्यिकीय इकाइयों पर अवलोकन करता है। प्रतिक्रिया मान एक सदिश $\mathbf {y} =\left(y_{1},\dots ,y_{n}\right)^{\mathsf {T}}$में रखे गए हैं और पूर्वानुमानित मानों को डिज़ाइन आव्यूह $\mathbf {X} =\left(\mathbf {x} _{1}^{\mathsf {T}},\dots ,\mathbf {x} _{n}^{\mathsf {T}}\right)^{\mathsf {T}}$में रखा गया है, जहाँ $\mathbf {x} _{i}=\left(1,x_{i2},\dots ,x_{ik}\right)$ ith इकाई k के लिए पूर्वानुमानित चर का एक सदिश है। प्रतिरूपण सप्रतिबन्ध माध्य $\mathbf {y}$ को दिए गए $\mathbf {X}$ का एक रैखिक कार्य $\mathbf {X}$ होने के लिए बाध्य करता है और सशर्त विचरण मानता है की दिए गए त्रुटि पद $\mathbf {X}$ एक ज्ञात गैर-एकवचन सहप्रसरण आव्यूह $\mathbf {\Omega }$ है। इसे सामान्य तौर पर ऐसे लिखा जाता है

$\mathbf {y} =\mathbf {X} \mathbf {\beta } +\mathbf {\varepsilon } ,\qquad \operatorname {E} [\varepsilon \mid \mathbf {X} ]=0,\ \operatorname {Cov} [\varepsilon \mid \mathbf {X} ]=\mathbf {\Omega } .$

यहाँ $\beta \in \mathbb {R} ^{k}$ अज्ञात स्थिरांकों का एक सदिश है (जिसे "प्रतिगमन गुणांक" के रूप में जाना जाता है) जिसका अनुमान डेटा से लगाया जाना चाहिए।

कल्पना करना $\mathbf {\beta }$ के लिए एक संभावित अनुमान $\mathbf {b}$ है। फिर सांख्यिकी सदिश में त्रुटियाँ और अवशेष $\mathbf {b}$ होगा $\mathbf {y} -\mathbf {X} \mathbf {b}$. सामान्यीकृत न्यूनतम वर्ग विधि अनुमान $\mathbf {\beta }$ इस अवशिष्ट सदिश की वर्गाकार महालनोबिस दूरी को कम करके:

${\begin{aligned}\mathbf {\hat {\beta }} &={\underset {b}{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathsf {T}}\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {b}{\operatorname {argmin} }}\,\mathbf {y} ^{\mathsf {T}}\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}$

जहां अंतिम दो पद अदिश राशि का मूल्यांकन करते हैं, जिसके परिणामस्वरूप

$\mathbf {\hat {\beta }} ={\underset {b}{\operatorname {argmin} }}\,\mathbf {y} ^{\mathsf {T}}\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} \,.$

यह उद्देश्य द्विघात रूप में है $\mathbf {b}$.

के संबंध में इस द्विघात रूप का ग्रेडिएंट लेना $\mathbf {b}$ और इसे शून्य के बराबर करना (कब)। $\mathbf {b} ={\hat {\beta }}$) देता है

$2\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} {\hat {\beta }}-2\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} =0$

इसलिए, स्पष्ट सूत्र के आधार पर न्यूनतम उद्देश्य फ़ंक्शन की गणना की जा सकती है:

$\mathbf {\hat {\beta }} =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {\Omega } ^{-1}\mathbf {y} .$

मात्रा $\mathbf {\Omega } ^{-1}$ परिशुद्धता आव्यूह (या वजन आव्यूह) के रूप में जाना जाता है, जो विकर्ण भार आव्यूह का सामान्यीकरण है।

गुण

जीएलएस अनुमानक एक अनुमानक, सुसंगत अनुमानक, दक्षता (सांख्यिकी), और स्पर्शोन्मुख वितरण का पूर्वाग्रह है $\operatorname {E} [{\hat {\beta }}\mid \mathbf {X} ]=\beta$ और $\operatorname {Cov} [{\hat {\beta }}\mid \mathbf {X} ]=(\mathbf {X} ^{\mathsf {T}}\Omega ^{-1}\mathbf {X} )^{-1}$. जीएलएस डेटा के रैखिक रूप से रूपांतरित संस्करण में सामान्य न्यूनतम वर्ग लागू करने के बराबर है। इसे देखने के लिए, कारक $\mathbf {\Omega } =\mathbf {C} \mathbf {C} ^{\mathsf {T}}$उदाहरण के लिए, चोल्स्की अपघटन का उपयोग करना। फिर यदि कोई समीकरण के दोनों पक्षों को पूर्व-गुणा करता है $\mathbf {y} =\mathbf {X} \mathbf {\beta } +\mathbf {\varepsilon }$ द्वारा $\mathbf {C} ^{-1}$, हमें एक समतुल्य रैखिक प्रतिरूपण मिलता है $\mathbf {y} ^{*}=\mathbf {X} ^{*}\mathbf {\beta } +\mathbf {\varepsilon } ^{*}$ कहाँ $\mathbf {y} ^{*}=\mathbf {C} ^{-1}\mathbf {y}$, $\mathbf {X} ^{*}=\mathbf {C} ^{-1}\mathbf {X}$, और $\mathbf {\varepsilon } ^{*}=\mathbf {C} ^{-1}\mathbf {\varepsilon }$. इस प्रतिरूपण में $\operatorname {Var} [\varepsilon ^{*}\mid \mathbf {X} ]=\mathbf {C} ^{-1}\mathbf {\Omega } \left(\mathbf {C} ^{-1}\right)^{\mathsf {T}}=\mathbf {I}$, कहाँ $\mathbf {I}$ समरूपता आव्यूह है. इस प्रकार कोई भी कुशलतापूर्वक अनुमान लगा सकता है $\mathbf {\beta }$ रूपांतरित डेटा में साधारण न्यूनतम वर्ग (ओएलएस) लागू करके, जिसे न्यूनतम करने की आवश्यकता होती है:

$\left(\mathbf {y} ^{*}-\mathbf {X} ^{*}\mathbf {\beta } \right)^{\mathsf {T}}(\mathbf {y} ^{*}-\mathbf {X} ^{*}\mathbf {\beta } )=(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathsf {T}}\,\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} ).$

इसका त्रुटियों के मापदंड को मानकीकृत करने और उन्हें "डी-सहसंबद्ध" करने का प्रभाव है। जब ओएलएस को होमोसेडैस्टिक त्रुटियों वाले डेटा पर लागू किया जाता है, तो गॉस-मार्कोव प्रमेय लागू होता है, और इसलिए जीएलएस अनुमान β के लिए ब्लू (सांख्यिकी) है।

भारित न्यूनतम वर्ग

जीएलएस का एक विशेष मामला जिसे भारित न्यूनतम वर्ग (डब्ल्यूएलएस) कहा जाता है, तब होता है जब Ω की सभी ऑफ-विकर्ण प्रविष्टियां 0 होती हैं। यह स्थिति तब उत्पन्न होती है जब देखे गए मानों के भिन्नताएं असमान होती हैं (यानी, जब विषमलैंगिकता मौजूद होती है), लेकिन जहां कोई सहसंबंध नहीं होता है देखे गए भिन्नताओं के बीच मौजूद हैं। इकाई i के लिए भार इकाई i के लिए प्रतिक्रिया के विचरण के व्युत्क्रम के समानुपाती होता है।

संभव सामान्यीकृत न्यूनतम वर्ग

यदि त्रुटियों का सहप्रसरण $\Omega$ अज्ञात है, कोई इसका सुसंगत अनुमान प्राप्त कर सकता है $\Omega$, कहना ${\widehat {\Omega }}$, जीएलएस के कार्यान्वयन योग्य संस्करण का उपयोग करना जिसे व्यवहार्य सामान्यीकृत न्यूनतम वर्ग के रूप में जाना जाता है (एफजीएलएस) अनुमानक।

FGLS में, प्रतिरूपणिंग दो चरणों में आगे बढ़ती है:

(1) प्रतिरूपण का अनुमान ओएलएस या किसी अन्य सुसंगत (लेकिन अकुशल) अनुमानक द्वारा लगाया जाता है और अवशेषों का उपयोग त्रुटि सहप्रसरण आव्यूह के सुसंगत अनुमानक को बनाने के लिए किया जाता है (ऐसा करने के लिए, किसी को अक्सर अतिरिक्त बाधाओं को जोड़कर प्रतिरूपण की जांच करने की आवश्यकता होती है, उदाहरण के लिए) यदि त्रुटियाँ एक समय श्रृंखला प्रक्रिया का अनुसरण करती हैं, तो एक सांख्यिकीविद् को सामान्य तौर पर इस प्रक्रिया पर कुछ सैद्धांतिक धारणाओं की आवश्यकता होती है ताकि यह सुनिश्चित हो सके कि एक सुसंगत अनुमानक उपलब्ध है); और

(2) त्रुटियों के सहप्रसरण आव्यूह के सुसंगत अनुमानक का उपयोग करके, कोई जीएलएस विचारों को लागू कर सकता है।

जबकि जीएलएस विषमलैंगिकता (जिसे विषमलैंगिकता भी कहा जाता है) या ऑटोसहसंबंध के तहत ओएलएस की तुलना में अधिक कुशल है, यह एफजीएलएस के लिए सच नहीं है। व्यवहार्य अनुमानक असममित रूप से अधिक कुशल है, बशर्ते त्रुटि सहप्रसरण आव्यूह का लगातार अनुमान लगाया जाता है, लेकिन छोटे से मध्यम आकार के नमूने के लिए, यह वास्तव में ओएलएस की तुलना में कम कुशल हो सकता है। यही कारण है कि कुछ लेखक ओएलएस का उपयोग करना पसंद करते हैं, और विषमलैंगिकता या क्रमिक स्वसहसंबंध के लिए मजबूत अनुमानक के विचरण के लिए एक वैकल्पिक अनुमानक पर विचार करके अपने अनुमानों को सुधारते हैं। लेकिन बड़े नमूनों के लिए विषमलैंगिकता या क्रमिक सहसंबंध के तहत ओएलएस की तुलना में एफजीएलएस को प्राथमिकता दी जाती है। एक चेतावनी वाली बात यह है कि एफजीएलएस अनुमानक हमेशा सुसंगत नहीं होता है। एक मामला जिसमें एफजीएलएस असंगत हो सकता है, यदि व्यक्तिगत विशिष्ट निश्चित प्रभाव हों। सामान्य तौर पर इस अनुमानक में जीएलएस से भिन्न गुण होते हैं। बड़े नमूनों के लिए (यानी, स्पर्शोन्मुख रूप से) सभी गुण (उचित परिस्थितियों में) जीएलएस के संबंध में सामान्य हैं, लेकिन सीमित नमूनों के लिए एफजीएलएस अनुमानकों के गुण अज्ञात हैं: वे प्रत्येक विशेष प्रतिरूपण के साथ नाटकीय रूप से भिन्न होते हैं, और एक सामान्य नियम के रूप में उनके सटीक वितरण विश्लेषणात्मक रूप से प्राप्त नहीं किया जा सकता। सीमित नमूनों के लिए, कुछ स्तिथियों में एफजीएलएस ओएलएस से कम कुशल हो सकता है। इस प्रकार, जबकि जीएलएस को व्यवहार्य बनाया जा सकता है, नमूना छोटा होने पर इस पद्धति को लागू करना हमेशा बुद्धिमानी नहीं होती है। परिमित नमूनों में अनुमानकों की सटीकता में सुधार करने के लिए उपयोग की जाने वाली एक विधि पुनरावृत्त करना है, यानी, त्रुटियों के सहप्रसरण अनुमानक को अद्यतन करने के लिए एफजीएलएस से अवशेषों को लेना और फिर एफजीएलएस अनुमान को अद्यतन करना, उसी विचार को पुनरावृत्त रूप से लागू करना जब तक कि अनुमानक कुछ से कम भिन्न न हो जाएं सहनशीलता। लेकिन यदि मूल नमूना छोटा था तो यह विधि अनुमानक की दक्षता में बहुत अधिक सुधार नहीं करती है। जब नमूने बहुत बड़े न हों तो एक उचित विकल्प ओएलएस लागू करना है, लेकिन शास्त्रीय विचरण अनुमानक को त्याग देना है

$\sigma ^{2}*(X'X)^{-1}$

(जो इस ढांचे में असंगत है) और इसके बजाय एक एचएसी (हेटरोस्केडैस्टिसिटी और ऑटोकोरेलेशन कंसिस्टेंट) अनुमानक का उपयोग करें। उदाहरण के लिए, स्वसहसंबंध के संदर्भ में हम बार्टलेट अनुमानक का उपयोग कर सकते हैं (अक्सर न्यूए-वेस्ट अनुमानक अनुमानक के रूप में जाना जाता है क्योंकि इन लेखकों ने अपने 1987 इकोनोमेट्रिका लेख में अर्थशास्त्रियों के बीच इस अनुमानक के उपयोग को लोकप्रिय बनाया है), और विषमलैंगिक संदर्भों में हम हेटेरोसेडास्टिकिटी का उपयोग कर सकते हैं -सुसंगत मानक त्रुटियाँ|ईकर-व्हाइट अनुमानक। यह दृष्टिकोण अधिक सुरक्षित है और जब तक नमूना बड़ा न हो, इसे अपनाना उचित मार्ग है, जहां बड़ा होना कभी-कभी एक फिसलन भरा मुद्दा होता है (उदाहरण के लिए यदि त्रुटियों का वितरण असममित है तो आवश्यक नमूना बहुत बड़ा होगा)।

साधारण न्यूनतम वर्ग (ओएलएस) अनुमानक की गणना हमेशा की तरह की जाती है

${\widehat {\beta }}_{\text{OLS}}=(X'X)^{-1}X'y$

और अवशेषों का अनुमान ${\widehat {u}}_{j}=(Y-X{\widehat {\beta }}_{\text{OLS}})_{j}$ का निर्माण किया जाता है.

सरलता के लिए विषमलैंगिक और गैर-स्वतःसहसंबद्ध त्रुटियों के प्रतिरूपण पर विचार करें। मान लें कि विचरण-सहप्रसरण आव्यूह $\Omega$ त्रुटि सदिश का विकर्ण है, या समकक्ष है कि अलग-अलग अवलोकनों से त्रुटियां असंबंधित हैं। फिर प्रत्येक विकर्ण प्रविष्टि का अनुमान फिट किए गए अवशेषों द्वारा लगाया जा सकता है ${\widehat {u}}_{j}$ इसलिए ${\widehat {\Omega }}_{OLS}$ द्वारा निर्मित किया जा सकता है

${\widehat {\Omega }}_{\text{OLS}}=\operatorname {diag} ({\widehat {\sigma }}_{1}^{2},{\widehat {\sigma }}_{2}^{2},\dots ,{\widehat {\sigma }}_{n}^{2}).$

यह ध्यान रखना महत्वपूर्ण है कि वर्गाकार अवशेषों का उपयोग पिछली अभिव्यक्ति में नहीं किया जा सकता है; हमें त्रुटियों के भिन्नता के अनुमानक की आवश्यकता है। ऐसा करने के लिए, हम एक पैरामीट्रिक हेटेरोस्केडैस्टिसिटी प्रतिरूपण, या एक गैर-पैरामीट्रिक अनुमानक का उपयोग कर सकते हैं। एक बार यह चरण पूरा हो जाने पर, हम आगे बढ़ सकते हैं:

अनुमान लगाना $\beta _{FGLS1}$ का उपयोग करते हुए ${\widehat {\Omega }}_{\text{OLS}}$ का उपयोग करते हुएभारित न्यूनतम वर्ग

${\widehat {\beta }}_{FGLS1}=(X'{\widehat {\Omega }}_{\text{OLS}}^{-1}X)^{-1}X'{\widehat {\Omega }}_{\text{OLS}}^{-1}y$

प्रक्रिया को दोहराया जा सकता है. पहला पुनरावृत्ति द्वारा दिया गया है

${\widehat {u}}_{FGLS1}=Y-X{\widehat {\beta }}_{FGLS1}$

${\widehat {\Omega }}_{FGLS1}=\operatorname {diag} ({\widehat {\sigma }}_{FGLS1,1}^{2},{\widehat {\sigma }}_{FGLS1,2}^{2},\dots ,{\widehat {\sigma }}_{FGLS1,n}^{2})$

${\widehat {\beta }}_{FGLS2}=(X'{\widehat {\Omega }}_{FGLS1}^{-1}X)^{-1}X'{\widehat {\Omega }}_{FGLS1}^{-1}y$

यह अनुमान ${\widehat {\Omega }}$ अभिसरण के लिए पुनरावृत्त किया जा सकता है।

नियमितता शर्तों के तहत एफजीएलएस अनुमानक (या इसके पुनरावृत्तियों का अनुमानक, यदि हम सीमित संख्या में पुनरावृत्त करते हैं) को असम्बद्ध रूप से वितरित किया जाता है

${\sqrt {n}}({\hat {\beta }}_{FGLS}-\beta )\ \xrightarrow {d} \ {\mathcal {N}}\!\left(0,\,V\right),$

जहां n नमूना आकार है और

$V=\operatorname {p-lim} (X'\Omega ^{-1}X/n)$

यहां पी-लिम का मतलब संभाव्यता की सीमा है।

यह भी देखें

• आत्मविश्वास क्षेत्र
• स्वतंत्रता की डिग्री (सांख्यिकी)#स्वतंत्रता की प्रभावी डिग्री
• स्तुति-विंस्टन अनुमान

अग्रिम पठन

• Amemiya, Takeshi (1985). "Generalized Least Squares Theory". Advanced Econometrics. Harvard University Press. ISBN 0-674-00560-0.
• Johnston, John (1972). "Generalized Least-squares:". Econometric Methods (Second ed.). New York: McGraw-Hill. pp. 208–242.
• Kmenta, Jan (1986). "Generalized Linear Regression Model and Its Applications". Elements of Econometrics (Second ed.). New York: Macmillan. pp. 607–650. ISBN 0-472-10886-7.
• Beck, Nathaniel; Katz, Jonathan N. (September 1995). "What To Do (and Not to Do) with Time-Series Cross-Section Data". American Political Science Review (in English). 89 (3): 634–647. doi:10.2307/2082979. ISSN 1537-5943. JSTOR 2082979. S2CID 63222945.