बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 1: Line 1:
{{short description|Bayesian approach to multivariate linear regression}}
{{short description|Bayesian approach to multivariate linear regression}}
{{Regression bar}}
{{Regression bar}}
आंकड़ों में, बायेसियन [[बहुभिन्नरूपी रैखिक प्रतिगमन]] है
आंकड़ों में, बायेसियन [[बहुभिन्नरूपी रैखिक प्रतिगमन]] बहुभिन्नरूपी रैखिक प्रतिगमन के लिए [[बायेसियन अनुमान]] दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार [[एमएमएसई अनुमानक]] लेख में पाया जा सकता है।
बहुभिन्नरूपी रैखिक प्रतिगमन के लिए [[बायेसियन अनुमान]] दृष्टिकोण, यानी रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के बजाय सहसंबद्ध यादृच्छिक चर का वेक्टर है। इस दृष्टिकोण का अधिक सामान्य उपचार [[एमएमएसई अनुमानक]] लेख में पाया जा सकता है।


==विवरण==
==विवरण==


एक प्रतिगमन समस्या पर विचार करें जहां अनुमानित किया जाने वाला आश्रित चर वास्तविक-मूल्यवान अदिश राशि नहीं है, बल्कि सहसंबद्ध वास्तविक संख्याओं का एम-लंबाई वेक्टर है। जैसा कि मानक प्रतिगमन सेटअप में होता है, n अवलोकन होते हैं, जहां प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें वेक्टर में समूहीकृत किया जाता है <math>\mathbf{x}_i</math> लंबाई k की (जहां अवरोधन गुणांक की अनुमति देने के लिए 1 के मान के साथ [[डमी वैरिएबल (सांख्यिकी)]] जोड़ा गया है)। इसे प्रत्येक अवलोकन के लिए एम संबंधित प्रतिगमन समस्याओं के सेट के रूप में देखा जा सकता है:<math display="block">\begin{align}
जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ n अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन '''i''' में '''k−1''' व्याख्यात्मक चर होते हैं, जिन्हें लंबाई '''k''' के एक सदिश <math>\mathbf{x}_i</math> में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक [[डमी वैरिएबल (सांख्यिकी)|मूक चर (सांख्यिकी)]] को अवरोधन की अनुमति देने के लिए जोड़ा गया है) गुणांक)। इसे प्रत्येक अवलोकन के लिए एम संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:<math display="block">\begin{align}
y_{i,1} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{1} + \epsilon_{i,1} \\
y_{i,1} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{1} + \epsilon_{i,1} \\
&\;\;\vdots \\
&\;\;\vdots \\
Line 13: Line 12:




जहां त्रुटियों का सेट <math>\{ \epsilon_{i,1}, \ldots, \epsilon_{i,m}\}</math> सभी सहसंबद्ध हैं. समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम पंक्ति वेक्टर है <math>\mathbf{y}_i^\mathsf{T}</math> और प्रतिगमन गुणांक वैक्टर दूसरे के बगल में रखे गए हैं, इस प्रकार:<math display="block">\mathbf{y}_i^\mathsf{T} = \mathbf{x}_i^\mathsf{T}\mathbf{B} + \boldsymbol\epsilon_{i}^\mathsf{T}.</math>
जहां त्रुटियों का समूह <math>\{ \epsilon_{i,1}, \ldots, \epsilon_{i,m}\}</math> सभी सहसंबद्ध हैं। समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश <math>\mathbf{y}_i^\mathsf{T}</math> है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार:<math display="block">\mathbf{y}_i^\mathsf{T} = \mathbf{x}_i^\mathsf{T}\mathbf{B} + \boldsymbol\epsilon_{i}^\mathsf{T}.</math>


 
गुणांक आव्यूह B एक <math>k \times m</math> आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश <math>\boldsymbol\beta_1,\ldots,\boldsymbol\beta_m</math> क्षैतिज रूप से रखे जाते हैं:
गुणांक मैट्रिक्स बी है <math>k \times m</math> मैट्रिक्स जहां गुणांक वैक्टर <math>\boldsymbol\beta_1,\ldots,\boldsymbol\beta_m</math> प्रत्येक प्रतिगमन समस्या के लिए क्षैतिज रूप से स्टैक किया गया है:
<math display="block">\mathbf{B} =
<math display="block">\mathbf{B} =
\begin{bmatrix}
\begin{bmatrix}
Line 33: Line 31:
\end{pmatrix}
\end{pmatrix}
\end{bmatrix}
\end{bmatrix}
.</math>शोर वेक्टर <math>\boldsymbol\epsilon_{i}</math> प्रत्येक अवलोकन के लिए i संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:
.</math>प्रत्येक अवलोकन '''''i''''' के लिए रव सदिश <math>\boldsymbol\epsilon_{i}</math> संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:


<math display="block">\boldsymbol\epsilon_i \sim N(0, \boldsymbol\Sigma_{\epsilon}).</math>हम संपूर्ण प्रतिगमन समस्या को मैट्रिक्स रूप में इस प्रकार लिख सकते हैं:
<math display="block">\boldsymbol\epsilon_i \sim N(0, \boldsymbol\Sigma_{\epsilon}).</math>हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इस प्रकार लिख सकते हैं:
<math display="block">\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{E},</math>
<math display="block">\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{E},</math>
जहां Y और E हैं <math>n \times m</math> matrices. [[डिज़ाइन मैट्रिक्स]] X है <math>n \times k</math> मानक रैखिक प्रतिगमन सेटअप के अनुसार, ऊर्ध्वाधर रूप से स्टैक्ड टिप्पणियों के साथ मैट्रिक्स:<math display="block">
जहां Y और E <math>n \times m</math> आव्यूह हैं। [[डिज़ाइन मैट्रिक्स|डिज़ाइन आव्यूह]] X एक <math>n \times k</math> आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:<math display="block">
  \mathbf{X} = \begin{bmatrix} \mathbf{x}^\mathsf{T}_1 \\ \mathbf{x}^\mathsf{T}_2 \\ \vdots \\ \mathbf{x}^\mathsf{T}_n \end{bmatrix}
  \mathbf{X} = \begin{bmatrix} \mathbf{x}^\mathsf{T}_1 \\ \mathbf{x}^\mathsf{T}_2 \\ \vdots \\ \mathbf{x}^\mathsf{T}_n \end{bmatrix}
  = \begin{bmatrix} x_{1,1} & \cdots & x_{1,k} \\
  = \begin{bmatrix} x_{1,1} & \cdots & x_{1,k} \\
Line 46: Line 44:
</math>
</math>


शास्त्रीय, बारंबारतावादी [[रैखिक न्यूनतम वर्ग (गणित)]] हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक <math>\hat{\mathbf{B}}</math> के आव्यूह का अनुमान लगाना है:
<math display="block"> \hat{\mathbf{B}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{Y}.</math>
बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को ढूंढना होगा। [[बायेसियन रैखिक प्रतिगमन]] के अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।


शास्त्रीय, बारंबारतावादी [[रैखिक न्यूनतम वर्ग (गणित)]] समाधान केवल प्रतिगमन गुणांक के मैट्रिक्स का अनुमान लगाना है <math>\hat{\mathbf{B}}</math> मूर-पेनरोज़ छद्म व्युत्क्रम का उपयोग करना|मूर-पेनरोज़ छद्म व्युत्क्रम:
आइए हम अपनी सप्रतिबन्ध संभावना को<ref name="BSaM">Peter E. Rossi, Greg M. Allenby, Rob McCulloch. ''Bayesian Statistics and Marketing''. John Wiley & Sons, 2012, p. 32.</ref>
<math display="block"> \hat{\mathbf{B}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{Y}.</math>
<math display="block">\rho(\mathbf{E}|\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp\left(-\tfrac{1}{2} \operatorname{tr}\left(\mathbf{E}^\mathsf{T} \mathbf{E} \boldsymbol\Sigma_{\epsilon}^{-1}\right) \right) </math>
बायेसियन समाधान प्राप्त करने के लिए, हमें सशर्त संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को ढूंढना होगा। [[बायेसियन रैखिक प्रतिगमन]] के अविभाज्य मामले के साथ, हम पाएंगे कि हम प्राकृतिक सशर्त संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।
के रूप में लिखें, त्रुटि <math>\mathbf{E}</math> को <math>\mathbf{Y},\mathbf{X},</math> और <math>\mathbf{B}</math> के संदर्भ में लिखने पर
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{Y}-\mathbf{X} \mathbf{B})^\mathsf{T} (\mathbf{Y}-\mathbf{X} \mathbf{B}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) </math> प्राप्त होता है


आइए हम अपनी सशर्त संभावना को इस प्रकार लिखें<ref name="BSaM">Peter E. Rossi, Greg M. Allenby, Rob McCulloch. ''Bayesian Statistics and Marketing''. John Wiley & Sons, 2012, p. 32.</ref>
हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व <math>\rho(\mathbf{B},\Sigma_{\epsilon})</math> जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना <math>\mathbf{B}</math>में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह <math>(\mathbf{B}-\hat{\mathbf{B}})</math> (शास्त्रीय प्रतिदर्श अनुमान से विचलन) में सामान्य है।
<math display="block">\rho(\mathbf{E}|\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp\left(-\tfrac{1}{2} \operatorname{tr}\left(\mathbf{E}^\mathsf{T} \mathbf{E} \boldsymbol\Sigma_{\epsilon}^{-1}\right) \right) ,</math>
त्रुटि लिख रहा हूँ <math>\mathbf{E}</math> के अनुसार <math>\mathbf{Y},\mathbf{X},</math> और <math>\mathbf{B}</math> पैदावार
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{Y}-\mathbf{X} \mathbf{B})^\mathsf{T} (\mathbf{Y}-\mathbf{X} \mathbf{B}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) ,</math>हम प्राकृतिक संयुग्म पूर्व-संयुक्त घनत्व की तलाश करते हैं <math>\rho(\mathbf{B},\Sigma_{\epsilon})</math> जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना द्विघात है <math>\mathbf{B}</math>, हम संभावना को फिर से लिखते हैं इसलिए यह सामान्य है <math>(\mathbf{B}-\hat{\mathbf{B}})</math> (शास्त्रीय नमूना अनुमान से विचलन)


बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के मैट्रिक्स-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, हालांकि, हमें मैट्रिक्स डिफरेंशियल कैलकुलस ([[क्रोनकर उत्पाद]] और वैश्वीकरण (गणित) परिवर्तन) का भी उपयोग करने की आवश्यकता होगी।
बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना ([[क्रोनकर उत्पाद|क्रोनकर गुणनफल]] और वैश्वीकरण (गणित) परिवर्तन) का भी उपयोग करने की आवश्यकता होगी।


सबसे पहले, आइए हम संभाव्यता के लिए नई अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-(n-k)/2} \exp(-\operatorname{tr}(\tfrac{1}{2}\mathbf{S}^\mathsf{T} \mathbf{S} \boldsymbol\Sigma_{\epsilon}^{-1}))   
सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-(n-k)/2} \exp(-\operatorname{tr}(\tfrac{1}{2}\mathbf{S}^\mathsf{T} \mathbf{S} \boldsymbol\Sigma_{\epsilon}^{-1}))   
|\boldsymbol\Sigma_{\epsilon}|^{-k/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{B}-\hat{\mathbf{B}})^\mathsf{T} \mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B}-\hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) )
|\boldsymbol\Sigma_{\epsilon}|^{-k/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{B}-\hat{\mathbf{B}})^\mathsf{T} \mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B}-\hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) )
,</math><math display="block">\mathbf{S} = \mathbf{Y} - \mathbf{X}\hat{\mathbf{B}}</math>
,</math><math display="block">\mathbf{S} = \mathbf{Y} - \mathbf{X}\hat{\mathbf{B}}</math>




हम पूर्ववर्तियों के लिए सशर्त प्रपत्र विकसित करना चाहेंगे:
हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:
<math display="block">\rho(\mathbf{B},\boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon}),</math>
<math display="block">\rho(\mathbf{B},\boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon}),</math>
कहाँ <math>\rho(\boldsymbol\Sigma_{\epsilon})</math> [[व्युत्क्रम-विशार्ट वितरण]] है
जहाँ <math>\rho(\boldsymbol\Sigma_{\epsilon})</math> [[व्युत्क्रम-विशार्ट वितरण]] है
और <math>\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon})</math> मैट्रिक्स में [[सामान्य वितरण]] का कुछ रूप है <math>\mathbf{B}</math>. यह वैश्वीकरण (गणित) परिवर्तन का उपयोग करके पूरा किया जाता है, जो मैट्रिक्स के फ़ंक्शन से संभावना को परिवर्तित करता है <math>\mathbf{B}, \hat{\mathbf{B}}</math> वैक्टर के फ़ंक्शन के लिए <math>\boldsymbol\beta = \operatorname{vec}(\mathbf{B}), \hat{\boldsymbol\beta} = \operatorname{vec}(\hat{\mathbf{B}})</math>.
और <math>\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon})</math> आव्यूह में [[सामान्य वितरण]] का कुछ रूप है <math>\mathbf{B}</math>यह वैश्वीकरण (गणित) परिवर्तन का उपयोग करके पूरा किया जाता है, जो आव्यूह के फ़ंक्शन से संभावना को परिवर्तित करता है <math>\mathbf{B}, \hat{\mathbf{B}}</math> सदिश के फ़ंक्शन के लिए <math>\boldsymbol\beta = \operatorname{vec}(\mathbf{B}), \hat{\boldsymbol\beta} = \operatorname{vec}(\hat{\mathbf{B}})</math>


लिखना<math display="block">\operatorname{tr}((\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T}\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_\epsilon^{-1}) = \operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} )</math>
लिखना<math display="block">\operatorname{tr}((\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T}\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_\epsilon^{-1}) = \operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} )</math>
Line 72: Line 71:




कहाँ <math>\mathbf{A} \otimes \mathbf{B}</math> मैट्रिक्स ए और बी के क्रोनकर उत्पाद को दर्शाता है, [[बाहरी उत्पाद]] का सामान्यीकरण जो गुणा करता है <math>m \times n</math> ए द्वारा मैट्रिक्स <math>p \times q</math> उत्पन्न करने के लिए मैट्रिक्स <math>mp \times nq</math> मैट्रिक्स, जिसमें दो मैट्रिक्स के तत्वों के उत्पादों का प्रत्येक संयोजन शामिल होता है।
 
जहाँ <math>\mathbf{A} \otimes \mathbf{B}</math> आव्यूह ए और B के क्रोनकर गुणनफल को दर्शाता है, [[बाहरी उत्पाद|बाहरी गुणनफल]] का सामान्यीकरण जो गुणा करता है <math>m \times n</math> ए द्वारा आव्यूह <math>p \times q</math> उत्पन्न करने के लिए आव्यूह <math>mp \times nq</math> आव्यूह, जिसमें दो आव्यूह के तत्वों के गुणनफलों का प्रत्येक संयोजन शामिल होता है।


तब<math display="block">\begin{align}
तब<math display="block">\begin{align}
Line 80: Line 80:




जिससे ऐसी संभावना बनेगी जो सामान्य है <math>(\boldsymbol\beta - \hat{\boldsymbol\beta})</math>.
जिससे ऐसी संभावना बनेगी जो सामान्य है <math>(\boldsymbol\beta - \hat{\boldsymbol\beta})</math>


अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सशर्त) संयुग्म पूर्व पा सकते हैं।
अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व पा सकते हैं।


===संयुग्मित पूर्व वितरण===
===संयुग्मित पूर्व वितरण===


वेक्टरकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म <math>\boldsymbol\beta</math> इस रूप का है:<ref name="BSaM" /><math display="block">\rho(\boldsymbol\beta, \boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}),</math>
सदिशकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म <math>\boldsymbol\beta</math> इस रूप का है:<ref name="BSaM" /><math display="block">\rho(\boldsymbol\beta, \boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}),</math>
कहाँ<math display="block"> \rho(\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{W}^{-1}(\mathbf V_0,\boldsymbol\nu_0)</math>
जहाँ<math display="block"> \rho(\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{W}^{-1}(\mathbf V_0,\boldsymbol\nu_0)</math>
और<math display="block"> \rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}) \sim N(\boldsymbol\beta_0, \boldsymbol\Sigma_{\epsilon} \otimes \boldsymbol\Lambda_0^{-1}).</math>
और<math display="block"> \rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}) \sim N(\boldsymbol\beta_0, \boldsymbol\Sigma_{\epsilon} \otimes \boldsymbol\Lambda_0^{-1}).</math>


Line 99: Line 99:
&\times|\boldsymbol\Sigma_{\epsilon}|^{-n/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{Y}-\mathbf{XB})^\mathsf{T}(\mathbf{Y}-\mathbf{XB})\boldsymbol\Sigma_{\epsilon}^{-1}))},
&\times|\boldsymbol\Sigma_{\epsilon}|^{-n/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{Y}-\mathbf{XB})^\mathsf{T}(\mathbf{Y}-\mathbf{XB})\boldsymbol\Sigma_{\epsilon}^{-1}))},
\end{align}</math>
\end{align}</math>
कहाँ <math>\operatorname{vec}(\mathbf B_0) = \boldsymbol\beta_0</math>.
जहाँ <math>\operatorname{vec}(\mathbf B_0) = \boldsymbol\beta_0</math>
शामिल शर्तें <math>\mathbf{B}</math> (के साथ) समूहीकृत किया जा सकता है <math>\boldsymbol\Lambda_0 = \mathbf{U}^\mathsf{T}\mathbf{U}</math>) का उपयोग करना:
शामिल प्रतिबन्धें <math>\mathbf{B}</math> (के साथ) समूहीकृत किया जा सकता है <math>\boldsymbol\Lambda_0 = \mathbf{U}^\mathsf{T}\mathbf{U}</math>) का उपयोग करना:
<math display="block">\begin{align}
<math display="block">\begin{align}
& \left(\mathbf{B} - \mathbf B_0\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf{B} - \mathbf B_0\right) + \left(\mathbf{Y} - \mathbf{XB}\right)^\mathsf{T} \left(\mathbf{Y} - \mathbf{XB}\right) \\
& \left(\mathbf{B} - \mathbf B_0\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf{B} - \mathbf B_0\right) + \left(\mathbf{Y} - \mathbf{XB}\right)^\mathsf{T} \left(\mathbf{Y} - \mathbf{XB}\right) \\
Line 113: Line 113:
&\times|\boldsymbol\Sigma_{\epsilon}|^{-k/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{B}-\mathbf B_n)^\mathsf{T} (\mathbf{X}^T\mathbf{X} + \boldsymbol\Lambda_0) (\mathbf{B}-\mathbf B_n)\boldsymbol\Sigma_{\epsilon}^{-1}))}.
&\times|\boldsymbol\Sigma_{\epsilon}|^{-k/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{B}-\mathbf B_n)^\mathsf{T} (\mathbf{X}^T\mathbf{X} + \boldsymbol\Lambda_0) (\mathbf{B}-\mathbf B_n)\boldsymbol\Sigma_{\epsilon}^{-1}))}.
\end{align}</math>
\end{align}</math>
यह [[मैट्रिक्स सामान्य वितरण]] के समय व्युत्क्रम-विशार्ट वितरण का रूप लेता है:<math display="block">\rho(\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) \sim \mathcal{W}^{-1}(\mathbf V_n,\boldsymbol\nu_n)</math>
यह [[मैट्रिक्स सामान्य वितरण|आव्यूह सामान्य वितरण]] के समय व्युत्क्रम-विशार्ट वितरण का रूप लेता है:<math display="block">\rho(\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) \sim \mathcal{W}^{-1}(\mathbf V_n,\boldsymbol\nu_n)</math>
और<math display="block"> \rho(\mathbf{B}|\mathbf{Y},\mathbf{X},\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{MN}_{k,m}(\mathbf B_n, \boldsymbol\Lambda_n^{-1}, \boldsymbol\Sigma_{\epsilon}).</math>
और<math display="block"> \rho(\mathbf{B}|\mathbf{Y},\mathbf{X},\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{MN}_{k,m}(\mathbf B_n, \boldsymbol\Lambda_n^{-1}, \boldsymbol\Sigma_{\epsilon}).</math>
इस पश्च भाग के पैरामीटर इस प्रकार दिए गए हैं:<math display="block">\mathbf V_n = \mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T}(\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n - \mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0)</math>
इस पश्च भाग के पैरामीटर इस प्रकार दिए गए हैं:<math display="block">\mathbf V_n = \mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T}(\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n - \mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0)</math>
Line 122: Line 122:
==यह भी देखें==
==यह भी देखें==
* बायेसियन रैखिक प्रतिगमन
* बायेसियन रैखिक प्रतिगमन
* मैट्रिक्स सामान्य वितरण
* आव्यूह सामान्य वितरण


==संदर्भ==
==संदर्भ==

Revision as of 11:23, 12 July 2023

आंकड़ों में, बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन बहुभिन्नरूपी रैखिक प्रतिगमन के लिए बायेसियन अनुमान दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार एमएमएसई अनुमानक लेख में पाया जा सकता है।

विवरण

जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ n अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें लंबाई k के एक सदिश में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक मूक चर (सांख्यिकी) को अवरोधन की अनुमति देने के लिए जोड़ा गया है) गुणांक)। इसे प्रत्येक अवलोकन के लिए एम संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:


जहां त्रुटियों का समूह सभी सहसंबद्ध हैं। समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार:

गुणांक आव्यूह B एक आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश क्षैतिज रूप से रखे जाते हैं:

प्रत्येक अवलोकन i के लिए रव सदिश संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:

हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इस प्रकार लिख सकते हैं:
जहां Y और E आव्यूह हैं। डिज़ाइन आव्यूह X एक आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:

शास्त्रीय, बारंबारतावादी रैखिक न्यूनतम वर्ग (गणित) हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक के आव्यूह का अनुमान लगाना है:

बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को ढूंढना होगा। बायेसियन रैखिक प्रतिगमन के अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।

आइए हम अपनी सप्रतिबन्ध संभावना को[1]

के रूप में लिखें, त्रुटि को और के संदर्भ में लिखने पर
प्राप्त होता है

हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह (शास्त्रीय प्रतिदर्श अनुमान से विचलन) में सामान्य है।

बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना (क्रोनकर गुणनफल और वैश्वीकरण (गणित) परिवर्तन) का भी उपयोग करने की आवश्यकता होगी।

सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:


हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:

जहाँ व्युत्क्रम-विशार्ट वितरण है और आव्यूह में सामान्य वितरण का कुछ रूप है । यह वैश्वीकरण (गणित) परिवर्तन का उपयोग करके पूरा किया जाता है, जो आव्यूह के फ़ंक्शन से संभावना को परिवर्तित करता है सदिश के फ़ंक्शन के लिए

लिखना

होने देना


जहाँ आव्यूह ए और B के क्रोनकर गुणनफल को दर्शाता है, बाहरी गुणनफल का सामान्यीकरण जो गुणा करता है ए द्वारा आव्यूह उत्पन्न करने के लिए आव्यूह आव्यूह, जिसमें दो आव्यूह के तत्वों के गुणनफलों का प्रत्येक संयोजन शामिल होता है।

तब


जिससे ऐसी संभावना बनेगी जो सामान्य है

अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व पा सकते हैं।

संयुग्मित पूर्व वितरण

सदिशकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म इस रूप का है:[1]

जहाँ
और

पश्च वितरण

उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:[1]

जहाँ । शामिल प्रतिबन्धें (के साथ) समूहीकृत किया जा सकता है ) का उपयोग करना: