बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन: Difference between revisions
(Created page with "{{short description|Bayesian approach to multivariate linear regression}} {{Regression bar}} आंकड़ों में, बायेसियन बहुभिन्...") |
No edit summary |
||
(7 intermediate revisions by 3 users not shown) | |||
Line 1: | Line 1: | ||
{{short description|Bayesian approach to multivariate linear regression}} | {{short description|Bayesian approach to multivariate linear regression}} | ||
{{Regression bar}} | {{Regression bar}} | ||
आंकड़ों में, बायेसियन [[बहुभिन्नरूपी रैखिक प्रतिगमन]] | आंकड़ों में, '''बायेसियन [[बहुभिन्नरूपी रैखिक प्रतिगमन]]''' बहुभिन्नरूपी रैखिक प्रतिगमन के लिए [[बायेसियन अनुमान]] दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार [[एमएमएसई अनुमानक]] लेख में पाया जा सकता है। | ||
बहुभिन्नरूपी रैखिक प्रतिगमन के लिए [[बायेसियन अनुमान]] दृष्टिकोण, | |||
==विवरण== | ==विवरण== | ||
अतः जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ '''n''' अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन '''i''' में '''''k−1''''' व्याख्यात्मक चर होते हैं, जिन्हें लंबाई '''''k''''' के एक सदिश <math>\mathbf{x}_i</math> में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक [[डमी वैरिएबल (सांख्यिकी)|मूक चर (सांख्यिकी)]] को अवरोधन की अनुमति देने के लिए गुणांक जोड़ा गया है)। इस प्रकार से इसे प्रत्येक अवलोकन के लिए '''''m-'''''संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:<math display="block">\begin{align} | |||
<math display="block">\begin{align} | |||
y_{i,1} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{1} + \epsilon_{i,1} \\ | y_{i,1} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{1} + \epsilon_{i,1} \\ | ||
&\;\;\vdots \\ | &\;\;\vdots \\ | ||
y_{i,m} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{m} + \epsilon_{i,m} | y_{i,m} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{m} + \epsilon_{i,m} | ||
\end{align}</math> | \end{align}</math> | ||
जहां त्रुटियों का | |||
<math display="block">\mathbf{y}_i^\mathsf{T} = \mathbf{x}_i^\mathsf{T}\mathbf{B} + \boldsymbol\epsilon_{i}^\mathsf{T}.</math> | |||
गुणांक | जहां त्रुटियों का समूह <math>\{ \epsilon_{i,1}, \ldots, \epsilon_{i,m}\}</math> सभी सहसंबद्ध हैं। अतः समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश <math>\mathbf{y}_i^\mathsf{T}</math> है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार से यह इस रूप में संदर्भित है:<math display="block">\mathbf{y}_i^\mathsf{T} = \mathbf{x}_i^\mathsf{T}\mathbf{B} + \boldsymbol\epsilon_{i}^\mathsf{T}.</math> | ||
अतः इस प्रकार से गुणांक आव्यूह B एक <math>k \times m</math> आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश <math>\boldsymbol\beta_1,\ldots,\boldsymbol\beta_m</math> क्षैतिज रूप से रखे जाते हैं: | |||
<math display="block">\mathbf{B} = | <math display="block">\mathbf{B} = | ||
\begin{bmatrix} | \begin{bmatrix} | ||
Line 31: | Line 31: | ||
\end{pmatrix} | \end{pmatrix} | ||
\end{bmatrix} | \end{bmatrix} | ||
.</math> | .</math>प्रत्येक अवलोकन '''''i''''' के लिए रव सदिश <math>\boldsymbol\epsilon_{i}</math> संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों: | ||
<math display="block">\boldsymbol\epsilon_i \sim N(0, \boldsymbol\Sigma_{\epsilon}).</math> | <math display="block">\boldsymbol\epsilon_i \sim N(0, \boldsymbol\Sigma_{\epsilon}).</math>अतः इस प्रकार से हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इसे ऐसे रूप लिख सकते हैं: | ||
हम संपूर्ण प्रतिगमन समस्या को | |||
<math display="block">\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{E},</math> | <math display="block">\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{E},</math> | ||
जहां Y और E | जहां Y और E <math>n \times m</math> आव्यूह हैं। अतः [[डिज़ाइन मैट्रिक्स|'''डिज़ाइन आव्यूह''']] '''''X''''' एक '''<math>n \times k</math>''' आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:<math display="block"> | ||
<math display="block"> | |||
\mathbf{X} = \begin{bmatrix} \mathbf{x}^\mathsf{T}_1 \\ \mathbf{x}^\mathsf{T}_2 \\ \vdots \\ \mathbf{x}^\mathsf{T}_n \end{bmatrix} | \mathbf{X} = \begin{bmatrix} \mathbf{x}^\mathsf{T}_1 \\ \mathbf{x}^\mathsf{T}_2 \\ \vdots \\ \mathbf{x}^\mathsf{T}_n \end{bmatrix} | ||
= \begin{bmatrix} x_{1,1} & \cdots & x_{1,k} \\ | = \begin{bmatrix} x_{1,1} & \cdots & x_{1,k} \\ | ||
Line 45: | Line 43: | ||
\end{bmatrix}. | \end{bmatrix}. | ||
</math> | </math> | ||
शास्त्रीय, बारंबारतावादी [[रैखिक न्यूनतम वर्ग (गणित)]] | |||
इस प्रकार से शास्त्रीय, बारंबारतावादी [[रैखिक न्यूनतम वर्ग (गणित)|'''रैखिक न्यूनतम वर्ग (गणित)''']] हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक <math>\hat{\mathbf{B}}</math> के आव्यूह का पूर्ण रूप से अनुमान लगाना है: | |||
<math display="block"> \hat{\mathbf{B}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{Y}.</math> | <math display="block"> \hat{\mathbf{B}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{Y}.</math> | ||
बायेसियन | अतः बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को पूर्ण रूप से ढूंढना होगा। [[बायेसियन रैखिक प्रतिगमन|'''''बायेसियन रैखिक प्रतिगमन''''']] की अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)। | ||
इस प्रकार से आइए हम अपने सप्रतिबन्ध संभावना को<ref name="BSaM">Peter E. Rossi, Greg M. Allenby, Rob McCulloch. ''Bayesian Statistics and Marketing''. John Wiley & Sons, 2012, p. 32.</ref> | |||
<math display="block">\rho(\mathbf{E}|\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp\left(-\tfrac{1}{2} \operatorname{tr}\left(\mathbf{E}^\mathsf{T} \mathbf{E} \boldsymbol\Sigma_{\epsilon}^{-1}\right) \right) </math> | |||
के रूप में लिखें और इस त्रुटि <math>\mathbf{E}</math> को <math>\mathbf{Y},\mathbf{X},</math> और <math>\mathbf{B}</math> के संदर्भ में लिखने पर हमें | |||
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{Y}-\mathbf{X} \mathbf{B})^\mathsf{T} (\mathbf{Y}-\mathbf{X} \mathbf{B}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) </math> का रूप प्राप्त होता है | |||
अतः हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व <math>\rho(\mathbf{B},\Sigma_{\epsilon})</math> जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना <math>\mathbf{B}</math>में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह <math>(\mathbf{B}-\hat{\mathbf{B}})</math> (शास्त्रीय प्रतिदर्श अनुमान से विचलन) के रूप में सामान्य है। | |||
हम एक प्राकृतिक संयुग्म | |||
बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के | इस प्रकार से बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना ([[क्रोनकर उत्पाद|'''क्रोनकर गुणनफल''']] और वैश्वीकरण (गणित)) के परिवर्तन का भी उपयोग करने की आवश्यकता होगी। | ||
सबसे पहले, आइए हम संभाव्यता के लिए | सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-(n-k)/2} \exp(-\operatorname{tr}(\tfrac{1}{2}\mathbf{S}^\mathsf{T} \mathbf{S} \boldsymbol\Sigma_{\epsilon}^{-1})) | ||
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-(n-k)/2} \exp(-\operatorname{tr}(\tfrac{1}{2}\mathbf{S}^\mathsf{T} \mathbf{S} \boldsymbol\Sigma_{\epsilon}^{-1})) | |||
|\boldsymbol\Sigma_{\epsilon}|^{-k/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{B}-\hat{\mathbf{B}})^\mathsf{T} \mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B}-\hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) | |\boldsymbol\Sigma_{\epsilon}|^{-k/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{B}-\hat{\mathbf{B}})^\mathsf{T} \mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B}-\hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) | ||
,</math> | ,</math><math display="block">\mathbf{S} = \mathbf{Y} - \mathbf{X}\hat{\mathbf{B}}</math> | ||
<math display="block">\mathbf{S} = \mathbf{Y} - \mathbf{X}\hat{\mathbf{B}}</math> | |||
हम पूर्ववर्तियों के लिए | |||
इस प्रकार से हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे: | |||
<math display="block">\rho(\mathbf{B},\boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon}),</math> | <math display="block">\rho(\mathbf{B},\boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon}),</math> | ||
जहाँ <math>\rho(\boldsymbol\Sigma_{\epsilon})</math> [[व्युत्क्रम-विशार्ट वितरण|'''व्युत्क्रम-विशार्ट वितरण''']] है और <math>\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon})</math> आव्यूह <math>\mathbf{B}</math> में [[सामान्य वितरण|'''सामान्य वितरण''']] का कुछ रूप है। अतः यह वैश्वीकरण परिवर्तन का उपयोग करके पूर्ण किया जाता है, इस प्रकार से जो आव्यूह <math>\mathbf{B}, \hat{\mathbf{B}}</math> के फलन से संभावना को सदिश <math>\boldsymbol\beta = \operatorname{vec}(\mathbf{B}), \hat{\boldsymbol\beta} = \operatorname{vec}(\hat{\mathbf{B}})</math> के एक फलन में पूर्ण रूप से परिवर्तित करता है।<math display="block">\operatorname{tr}((\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T}\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_\epsilon^{-1}) = \operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} )</math> | |||
और <math>\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon})</math> | लिखें<math display="block"> \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) = (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}), </math> | ||
<math display="block">\begin{align} | को लिखें जहां <math>\mathbf{A} \otimes \mathbf{B}</math> आव्यूह A और B के क्रोनकर गुणनफल को दर्शाता है, अतः [[बाहरी उत्पाद|बाहरी गुणनफल]] का सामान्यीकरण जो <math>mp \times nq</math> आव्यूह उत्पन्न करने के लिए एक <math>m \times n</math> आव्यूह को <math>p \times q</math> आव्यूह से गुणा करता है, जिसमें दो आव्यूह के अवयवों के गुणनफलों का प्रत्येक संयोजन पूर्ण रूप से सम्मिलित होता है। | ||
फिर<math display="block">\begin{align} | |||
&\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}) \\ | &\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}) \\ | ||
&= (\boldsymbol\beta - \hat{\boldsymbol\beta})^\mathsf{T}(\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )(\boldsymbol\beta-\hat{\boldsymbol\beta}) | &= (\boldsymbol\beta - \hat{\boldsymbol\beta})^\mathsf{T}(\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )(\boldsymbol\beta-\hat{\boldsymbol\beta}) | ||
\end{align}</math> | \end{align}</math> | ||
अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम | |||
जिससे संभावना बनेगी जो कि <math>(\boldsymbol\beta - \hat{\boldsymbol\beta})</math> में सामान्य है। | |||
इस प्रकार से अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व प्राप्त कर सकते हैं। | |||
===संयुग्मित पूर्व वितरण=== | ===संयुग्मित पूर्व वितरण=== | ||
अतः इस प्रकार से सदिशकृत चर <math>\boldsymbol\beta</math> का उपयोग करने से पहले प्राकृतिक संयुग्म इस प्रकार का है:<ref name="BSaM" /><math display="block">\rho(\boldsymbol\beta, \boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}),</math> | |||
<math display="block">\rho(\boldsymbol\beta, \boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}),</math> | जहाँ<math display="block"> \rho(\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{W}^{-1}(\mathbf V_0,\boldsymbol\nu_0)</math> | ||
और<math display="block"> \rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}) \sim N(\boldsymbol\beta_0, \boldsymbol\Sigma_{\epsilon} \otimes \boldsymbol\Lambda_0^{-1}).</math> | |||
<math display="block"> \rho(\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{W}^{-1}(\mathbf V_0,\boldsymbol\nu_0)</math> | |||
और | |||
<math display="block"> \rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}) \sim N(\boldsymbol\beta_0, \boldsymbol\Sigma_{\epsilon} \otimes \boldsymbol\Lambda_0^{-1}).</math> | |||
===पश्च वितरण=== | ===पश्च वितरण=== | ||
उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:<ref name="BSaM" /> | इस प्रकार से उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:<ref name="BSaM" /> | ||
<math display="block">\begin{align} | <math display="block">\begin{align} | ||
\rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) | \rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) | ||
Line 101: | Line 100: | ||
&\times|\boldsymbol\Sigma_{\epsilon}|^{-n/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{Y}-\mathbf{XB})^\mathsf{T}(\mathbf{Y}-\mathbf{XB})\boldsymbol\Sigma_{\epsilon}^{-1}))}, | &\times|\boldsymbol\Sigma_{\epsilon}|^{-n/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{Y}-\mathbf{XB})^\mathsf{T}(\mathbf{Y}-\mathbf{XB})\boldsymbol\Sigma_{\epsilon}^{-1}))}, | ||
\end{align}</math> | \end{align}</math> | ||
जहाँ <math>\operatorname{vec}(\mathbf B_0) = \boldsymbol\beta_0</math>। <math>\mathbf{B}</math> से जुड़े शब्दों को (<math>\boldsymbol\Lambda_0 = \mathbf{U}^\mathsf{T}\mathbf{U}</math> के साथ) समूहीकृत किया जा सकता है: | |||
<math display="block">\begin{align} | <math display="block">\begin{align} | ||
& \left(\mathbf{B} - \mathbf B_0\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf{B} - \mathbf B_0\right) + \left(\mathbf{Y} - \mathbf{XB}\right)^\mathsf{T} \left(\mathbf{Y} - \mathbf{XB}\right) \\ | & \left(\mathbf{B} - \mathbf B_0\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf{B} - \mathbf B_0\right) + \left(\mathbf{Y} - \mathbf{XB}\right)^\mathsf{T} \left(\mathbf{Y} - \mathbf{XB}\right) \\ | ||
Line 109: | Line 107: | ||
={}& \left(\mathbf{Y} - \mathbf X \mathbf B_n \right)^\mathsf{T} \left(\mathbf{Y} - \mathbf X \mathbf B_n\right) + \left(\mathbf B_0 - \mathbf B_n\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf B_0 - \mathbf B_n\right) + \left(\mathbf{B} - \mathbf B_n\right)^\mathsf{T} \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)\left(\mathbf B - \mathbf B_n\right), | ={}& \left(\mathbf{Y} - \mathbf X \mathbf B_n \right)^\mathsf{T} \left(\mathbf{Y} - \mathbf X \mathbf B_n\right) + \left(\mathbf B_0 - \mathbf B_n\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf B_0 - \mathbf B_n\right) + \left(\mathbf{B} - \mathbf B_n\right)^\mathsf{T} \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)\left(\mathbf B - \mathbf B_n\right), | ||
\end{align}</math> | \end{align}</math> | ||
साथ | के साथ<math display="block">\mathbf B_n = \left(\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{X} \hat{\mathbf{B}} + \boldsymbol\Lambda_0\mathbf B_0\right) = \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0 \mathbf B_0\right).</math> | ||
<math display="block">\mathbf B_n = \left(\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{X} \hat{\mathbf{B}} + \boldsymbol\Lambda_0\mathbf B_0\right) = \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0 \mathbf B_0\right).</math> | इस प्रकार से यह अब हमें पश्च भाग को अधिक उपयोगी रूप में लिखने की पूर्ण रूप से अनुमति देता है:<math display="block">\begin{align} | ||
यह अब हमें पश्च भाग को अधिक उपयोगी रूप में लिखने की अनुमति देता है: | |||
<math display="block">\begin{align} | |||
\rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) | \rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) | ||
\propto{}&|\boldsymbol\Sigma_{\epsilon}|^{-(\boldsymbol\nu_0 + m + n + 1)/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T} (\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n-\mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0))\boldsymbol\Sigma_{\epsilon}^{-1}))} \\ | \propto{}&|\boldsymbol\Sigma_{\epsilon}|^{-(\boldsymbol\nu_0 + m + n + 1)/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T} (\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n-\mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0))\boldsymbol\Sigma_{\epsilon}^{-1}))} \\ | ||
&\times|\boldsymbol\Sigma_{\epsilon}|^{-k/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{B}-\mathbf B_n)^\mathsf{T} (\mathbf{X}^T\mathbf{X} + \boldsymbol\Lambda_0) (\mathbf{B}-\mathbf B_n)\boldsymbol\Sigma_{\epsilon}^{-1}))}. | &\times|\boldsymbol\Sigma_{\epsilon}|^{-k/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{B}-\mathbf B_n)^\mathsf{T} (\mathbf{X}^T\mathbf{X} + \boldsymbol\Lambda_0) (\mathbf{B}-\mathbf B_n)\boldsymbol\Sigma_{\epsilon}^{-1}))}. | ||
\end{align}</math> | \end{align}</math> | ||
यह [[मैट्रिक्स सामान्य वितरण]] के समय व्युत्क्रम-विशार्ट वितरण का रूप लेता है: | अतः यह [[मैट्रिक्स सामान्य वितरण|आव्यूह सामान्य वितरण]] के समय व्युत्क्रम-विशार्ट वितरण का रूप लेता है:<math display="block">\rho(\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) \sim \mathcal{W}^{-1}(\mathbf V_n,\boldsymbol\nu_n)</math> | ||
<math display="block">\rho(\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) \sim \mathcal{W}^{-1}(\mathbf V_n,\boldsymbol\nu_n)</math> | और<math display="block"> \rho(\mathbf{B}|\mathbf{Y},\mathbf{X},\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{MN}_{k,m}(\mathbf B_n, \boldsymbol\Lambda_n^{-1}, \boldsymbol\Sigma_{\epsilon}).</math> | ||
और | अतः इस प्रकार से इस पश्च भाग के पैरामीटर इस प्रकार दिए गए हैं:<math display="block">\mathbf V_n = \mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T}(\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n - \mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0)</math><math display="block">\boldsymbol\nu_n = \boldsymbol\nu_0 + n</math> | ||
<math display="block"> \rho(\mathbf{B}|\mathbf{Y},\mathbf{X},\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{MN}_{k,m}(\mathbf B_n, \boldsymbol\Lambda_n^{-1}, \boldsymbol\Sigma_{\epsilon}).</math> | |||
इस पश्च भाग के पैरामीटर इस प्रकार दिए गए हैं: | |||
<math display="block">\mathbf V_n = \mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T}(\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n - \mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0)</math> | |||
<math display="block">\boldsymbol\nu_n = \boldsymbol\nu_0 + n</math> | |||
<math display="block">\mathbf B_n = (\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0)^{-1}(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0\mathbf B_0)</math> | <math display="block">\mathbf B_n = (\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0)^{-1}(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0\mathbf B_0)</math> | ||
<math display="block">\boldsymbol\Lambda_n = \mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0</math> | <math display="block">\boldsymbol\Lambda_n = \mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0</math> | ||
==यह भी देखें== | ==यह भी देखें== | ||
* बायेसियन रैखिक प्रतिगमन | * बायेसियन रैखिक प्रतिगमन | ||
* | * आव्यूह सामान्य वितरण | ||
==संदर्भ== | ==संदर्भ== | ||
{{Reflist}} | {{Reflist}} | ||
* {{cite book |authorlink= George E. P. Box |last= Box |first= G. E. P. |author2-link=George Tiao |last2= Tiao |first2= G. C. |year= 1973 |title= Bayesian Inference in Statistical Analysis |chapter= 8 |publisher= Wiley |isbn= 0-471-57428-7 }} | * {{cite book |authorlink= George E. P. Box |last= Box |first= G. E. P. |author2-link=George Tiao |last2= Tiao |first2= G. C. |year= 1973 |title= Bayesian Inference in Statistical Analysis |chapter= 8 |publisher= Wiley |isbn= 0-471-57428-7 }} | ||
* {{cite journal|last= Geisser|first= S. |year= 1965 |title= Bayesian Estimation in Multivariate Analysis |journal= [[The Annals of Mathematical Statistics]] |volume= 36 |issue= 1 |pages= 150–159 |jstor= 2238083}} | * {{cite journal|last= Geisser|first= S. |year= 1965 |title= Bayesian Estimation in Multivariate Analysis |journal= [[The Annals of Mathematical Statistics]] |volume= 36 |issue= 1 |pages= 150–159 |jstor= 2238083}} | ||
* {{cite journal|last= Tiao |first= G. C. |last2= Zellner |first2= A. |year= 1964 |title= On the Bayesian Estimation of Multivariate Regression |journal= [[Journal of the Royal Statistical Society. Series B (Methodological)]] |volume= 26 |issue= 2 |pages= 277–285 |jstor= 2984424}} | * {{cite journal|last= Tiao |first= G. C. |last2= Zellner |first2= A. |year= 1964 |title= On the Bayesian Estimation of Multivariate Regression |journal= [[Journal of the Royal Statistical Society. Series B (Methodological)]] |volume= 26 |issue= 2 |pages= 277–285 |jstor= 2984424}} | ||
{{DEFAULTSORT:Bayesian Multivariate Linear Regression}} | {{DEFAULTSORT:Bayesian Multivariate Linear Regression}} | ||
[[Category: Machine Translated Page]] | [[Category:Created On 07/07/2023|Bayesian Multivariate Linear Regression]] | ||
[[Category: | [[Category:Lua-based templates|Bayesian Multivariate Linear Regression]] | ||
[[Category:Machine Translated Page|Bayesian Multivariate Linear Regression]] | |||
[[Category:Pages with empty portal template|Bayesian Multivariate Linear Regression]] | |||
[[Category:Pages with script errors|Bayesian Multivariate Linear Regression]] | |||
[[Category:Portal-inline template with redlinked portals|Bayesian Multivariate Linear Regression]] | |||
[[Category:Templates Vigyan Ready|Bayesian Multivariate Linear Regression]] | |||
[[Category:Templates that add a tracking category|Bayesian Multivariate Linear Regression]] | |||
[[Category:Templates that generate short descriptions|Bayesian Multivariate Linear Regression]] | |||
[[Category:Templates using TemplateData|Bayesian Multivariate Linear Regression]] | |||
[[Category:एकल-समीकरण विधियाँ (अर्थमिति)|Bayesian Multivariate Linear Regression]] | |||
[[Category:बायेसियन अनुमान|बहुभिन्नरूपी रैखिक प्रतिगमन]] |
Latest revision as of 10:40, 15 July 2023
एक श्रृंखला का हिस्सा |
प्रतिगमन विश्लेषण |
---|
मॉडल |
अनुमान |
पार्श्वभूमि |
|
आंकड़ों में, बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन बहुभिन्नरूपी रैखिक प्रतिगमन के लिए बायेसियन अनुमान दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार एमएमएसई अनुमानक लेख में पाया जा सकता है।
विवरण
अतः जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ n अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें लंबाई k के एक सदिश में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक मूक चर (सांख्यिकी) को अवरोधन की अनुमति देने के लिए गुणांक जोड़ा गया है)। इस प्रकार से इसे प्रत्येक अवलोकन के लिए m-संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:
जहां त्रुटियों का समूह सभी सहसंबद्ध हैं। अतः समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार से यह इस रूप में संदर्भित है:
अतः इस प्रकार से गुणांक आव्यूह B एक आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश क्षैतिज रूप से रखे जाते हैं:
इस प्रकार से शास्त्रीय, बारंबारतावादी रैखिक न्यूनतम वर्ग (गणित) हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक के आव्यूह का पूर्ण रूप से अनुमान लगाना है:
इस प्रकार से आइए हम अपने सप्रतिबन्ध संभावना को[1]
अतः हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह (शास्त्रीय प्रतिदर्श अनुमान से विचलन) के रूप में सामान्य है।
इस प्रकार से बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना (क्रोनकर गुणनफल और वैश्वीकरण (गणित)) के परिवर्तन का भी उपयोग करने की आवश्यकता होगी।
सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:
इस प्रकार से हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:
को लिखें जहां आव्यूह A और B के क्रोनकर गुणनफल को दर्शाता है, अतः बाहरी गुणनफल का सामान्यीकरण जो आव्यूह उत्पन्न करने के लिए एक आव्यूह को आव्यूह से गुणा करता है, जिसमें दो आव्यूह के अवयवों के गुणनफलों का प्रत्येक संयोजन पूर्ण रूप से सम्मिलित होता है।
फिर
जिससे संभावना बनेगी जो कि में सामान्य है।
इस प्रकार से अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व प्राप्त कर सकते हैं।
संयुग्मित पूर्व वितरण
अतः इस प्रकार से सदिशकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म इस प्रकार का है:[1]
पश्च वितरण
इस प्रकार से उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:[1]
यह भी देखें
- बायेसियन रैखिक प्रतिगमन
- आव्यूह सामान्य वितरण
संदर्भ
- Box, G. E. P.; Tiao, G. C. (1973). "8". Bayesian Inference in Statistical Analysis. Wiley. ISBN 0-471-57428-7.
- Geisser, S. (1965). "Bayesian Estimation in Multivariate Analysis". The Annals of Mathematical Statistics. 36 (1): 150–159. JSTOR 2238083.
- Tiao, G. C.; Zellner, A. (1964). "On the Bayesian Estimation of Multivariate Regression". Journal of the Royal Statistical Society. Series B (Methodological). 26 (2): 277–285. JSTOR 2984424.