बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन: Difference between revisions

From Vigyanwiki
(Created page with "{{short description|Bayesian approach to multivariate linear regression}} {{Regression bar}} आंकड़ों में, बायेसियन बहुभिन्...")
 
No edit summary
 
(7 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{short description|Bayesian approach to multivariate linear regression}}
{{short description|Bayesian approach to multivariate linear regression}}
{{Regression bar}}
{{Regression bar}}
आंकड़ों में, बायेसियन [[बहुभिन्नरूपी रैखिक प्रतिगमन]] एक है
आंकड़ों में, '''बायेसियन [[बहुभिन्नरूपी रैखिक प्रतिगमन]]''' बहुभिन्नरूपी रैखिक प्रतिगमन के लिए [[बायेसियन अनुमान]] दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार [[एमएमएसई अनुमानक]] लेख में पाया जा सकता है।
बहुभिन्नरूपी रैखिक प्रतिगमन के लिए [[बायेसियन अनुमान]] दृष्टिकोण, यानी रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के बजाय सहसंबद्ध यादृच्छिक चर का एक वेक्टर है। इस दृष्टिकोण का अधिक सामान्य उपचार [[एमएमएसई अनुमानक]] लेख में पाया जा सकता है।


==विवरण==
==विवरण==


एक प्रतिगमन समस्या पर विचार करें जहां अनुमानित किया जाने वाला आश्रित चर एक वास्तविक-मूल्यवान अदिश राशि नहीं है, बल्कि सहसंबद्ध वास्तविक संख्याओं का एक एम-लंबाई वेक्टर है। जैसा कि मानक प्रतिगमन सेटअप में होता है, n अवलोकन होते हैं, जहां प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें एक वेक्टर में समूहीकृत किया जाता है <math>\mathbf{x}_i</math> लंबाई k की (जहां अवरोधन गुणांक की अनुमति देने के लिए 1 के मान के साथ एक [[डमी वैरिएबल (सांख्यिकी)]] जोड़ा गया है)। इसे प्रत्येक अवलोकन के लिए एम संबंधित प्रतिगमन समस्याओं के एक सेट के रूप में देखा जा सकता है:
अतः जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ '''n''' अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन '''i''' में '''''k−1''''' व्याख्यात्मक चर होते हैं, जिन्हें लंबाई '''''k''''' के एक सदिश <math>\mathbf{x}_i</math> में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक [[डमी वैरिएबल (सांख्यिकी)|मूक चर (सांख्यिकी)]] को अवरोधन की अनुमति देने के लिए गुणांक जोड़ा गया है)। इस प्रकार से इसे प्रत्येक अवलोकन के लिए '''''m-'''''संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:<math display="block">\begin{align}
<math display="block">\begin{align}
y_{i,1} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{1} + \epsilon_{i,1} \\
y_{i,1} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{1} + \epsilon_{i,1} \\
&\;\;\vdots \\
&\;\;\vdots \\
y_{i,m} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{m} + \epsilon_{i,m}
y_{i,m} &= \mathbf{x}_i^\mathsf{T}\boldsymbol\beta_{m} + \epsilon_{i,m}
\end{align}</math>
\end{align}</math>
जहां त्रुटियों का सेट <math>\{ \epsilon_{i,1}, \ldots, \epsilon_{i,m}\}</math> सभी सहसंबद्ध हैं. समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति वेक्टर है <math>\mathbf{y}_i^\mathsf{T}</math> और प्रतिगमन गुणांक वैक्टर एक दूसरे के बगल में रखे गए हैं, इस प्रकार:
 
<math display="block">\mathbf{y}_i^\mathsf{T} = \mathbf{x}_i^\mathsf{T}\mathbf{B} + \boldsymbol\epsilon_{i}^\mathsf{T}.</math>
 
गुणांक मैट्रिक्स बी एक है <math>k \times m</math> मैट्रिक्स जहां गुणांक वैक्टर <math>\boldsymbol\beta_1,\ldots,\boldsymbol\beta_m</math> प्रत्येक प्रतिगमन समस्या के लिए क्षैतिज रूप से स्टैक किया गया है:
जहां त्रुटियों का समूह <math>\{ \epsilon_{i,1}, \ldots, \epsilon_{i,m}\}</math> सभी सहसंबद्ध हैं। अतः समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश <math>\mathbf{y}_i^\mathsf{T}</math> है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार से यह इस रूप में संदर्भित है:<math display="block">\mathbf{y}_i^\mathsf{T} = \mathbf{x}_i^\mathsf{T}\mathbf{B} + \boldsymbol\epsilon_{i}^\mathsf{T}.</math>
 
अतः इस प्रकार से गुणांक आव्यूह B एक <math>k \times m</math> आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश <math>\boldsymbol\beta_1,\ldots,\boldsymbol\beta_m</math> क्षैतिज रूप से रखे जाते हैं:
<math display="block">\mathbf{B} =
<math display="block">\mathbf{B} =
\begin{bmatrix}
\begin{bmatrix}
Line 31: Line 31:
\end{pmatrix}
\end{pmatrix}
\end{bmatrix}
\end{bmatrix}
.</math>
.</math>प्रत्येक अवलोकन '''''i''''' के लिए रव सदिश <math>\boldsymbol\epsilon_{i}</math> संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:
शोर वेक्टर <math>\boldsymbol\epsilon_{i}</math> प्रत्येक अवलोकन के लिए i संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:
 
<math display="block">\boldsymbol\epsilon_i \sim N(0, \boldsymbol\Sigma_{\epsilon}).</math>
<math display="block">\boldsymbol\epsilon_i \sim N(0, \boldsymbol\Sigma_{\epsilon}).</math>अतः इस प्रकार से हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इसे ऐसे रूप लिख सकते हैं:
हम संपूर्ण प्रतिगमन समस्या को मैट्रिक्स रूप में इस प्रकार लिख सकते हैं:
<math display="block">\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{E},</math>
<math display="block">\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{E},</math>
जहां Y और E हैं <math>n \times m</math> matrices. [[डिज़ाइन मैट्रिक्स]] X एक है <math>n \times k</math> मानक रैखिक प्रतिगमन सेटअप के अनुसार, ऊर्ध्वाधर रूप से स्टैक्ड टिप्पणियों के साथ मैट्रिक्स:
जहां Y और E <math>n \times m</math> आव्यूह हैं। अतः [[डिज़ाइन मैट्रिक्स|'''डिज़ाइन आव्यूह''']] '''''X''''' एक '''<math>n \times k</math>''' आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:<math display="block">
<math display="block">
  \mathbf{X} = \begin{bmatrix} \mathbf{x}^\mathsf{T}_1 \\ \mathbf{x}^\mathsf{T}_2 \\ \vdots \\ \mathbf{x}^\mathsf{T}_n \end{bmatrix}
  \mathbf{X} = \begin{bmatrix} \mathbf{x}^\mathsf{T}_1 \\ \mathbf{x}^\mathsf{T}_2 \\ \vdots \\ \mathbf{x}^\mathsf{T}_n \end{bmatrix}
  = \begin{bmatrix} x_{1,1} & \cdots & x_{1,k} \\
  = \begin{bmatrix} x_{1,1} & \cdots & x_{1,k} \\
Line 45: Line 43:
  \end{bmatrix}.
  \end{bmatrix}.
</math>
</math>
शास्त्रीय, बारंबारतावादी [[रैखिक न्यूनतम वर्ग (गणित)]] समाधान केवल प्रतिगमन गुणांक के मैट्रिक्स का अनुमान लगाना है <math>\hat{\mathbf{B}}</math> मूर-पेनरोज़ छद्म व्युत्क्रम का उपयोग करना|मूर-पेनरोज़ छद्म व्युत्क्रम:
 
इस प्रकार से शास्त्रीय, बारंबारतावादी [[रैखिक न्यूनतम वर्ग (गणित)|'''रैखिक न्यूनतम वर्ग (गणित)''']] हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक <math>\hat{\mathbf{B}}</math> के आव्यूह का पूर्ण रूप से अनुमान लगाना है:
<math display="block"> \hat{\mathbf{B}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{Y}.</math>
<math display="block"> \hat{\mathbf{B}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{Y}.</math>
बायेसियन समाधान प्राप्त करने के लिए, हमें सशर्त संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को ढूंढना होगा। [[बायेसियन रैखिक प्रतिगमन]] के अविभाज्य मामले के साथ, हम पाएंगे कि हम एक प्राकृतिक सशर्त संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।
अतः बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को पूर्ण रूप से ढूंढना होगा। [[बायेसियन रैखिक प्रतिगमन|'''''बायेसियन रैखिक प्रतिगमन''''']] की अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।
 
इस प्रकार से आइए हम अपने सप्रतिबन्ध संभावना को<ref name="BSaM">Peter E. Rossi, Greg M. Allenby, Rob McCulloch. ''Bayesian Statistics and Marketing''. John Wiley & Sons, 2012, p. 32.</ref>
<math display="block">\rho(\mathbf{E}|\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp\left(-\tfrac{1}{2} \operatorname{tr}\left(\mathbf{E}^\mathsf{T} \mathbf{E} \boldsymbol\Sigma_{\epsilon}^{-1}\right) \right) </math>
के रूप में लिखें और इस त्रुटि <math>\mathbf{E}</math> को <math>\mathbf{Y},\mathbf{X},</math> और <math>\mathbf{B}</math> के संदर्भ में लिखने पर हमें
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{Y}-\mathbf{X} \mathbf{B})^\mathsf{T} (\mathbf{Y}-\mathbf{X} \mathbf{B}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) </math> का रूप प्राप्त होता है


आइए हम अपनी सशर्त संभावना को इस प्रकार लिखें<ref name="BSaM">Peter E. Rossi, Greg M. Allenby, Rob McCulloch. ''Bayesian Statistics and Marketing''. John Wiley & Sons, 2012, p. 32.</ref>
अतः हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व <math>\rho(\mathbf{B},\Sigma_{\epsilon})</math> जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना <math>\mathbf{B}</math>में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह <math>(\mathbf{B}-\hat{\mathbf{B}})</math> (शास्त्रीय प्रतिदर्श अनुमान से विचलन) के रूप में सामान्य है।
<math display="block">\rho(\mathbf{E}|\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp\left(-\tfrac{1}{2} \operatorname{tr}\left(\mathbf{E}^\mathsf{T} \mathbf{E} \boldsymbol\Sigma_{\epsilon}^{-1}\right) \right) ,</math>
त्रुटि लिख रहा हूँ <math>\mathbf{E}</math> के अनुसार <math>\mathbf{Y},\mathbf{X},</math> और <math>\mathbf{B}</math> पैदावार
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-n/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{Y}-\mathbf{X} \mathbf{B})^\mathsf{T} (\mathbf{Y}-\mathbf{X} \mathbf{B}) \boldsymbol\Sigma_{\epsilon}^{-1} ) ) ,</math>
हम एक प्राकृतिक संयुग्म पूर्व-संयुक्त घनत्व की तलाश करते हैं <math>\rho(\mathbf{B},\Sigma_{\epsilon})</math> जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना द्विघात है <math>\mathbf{B}</math>, हम संभावना को फिर से लिखते हैं इसलिए यह सामान्य है <math>(\mathbf{B}-\hat{\mathbf{B}})</math> (शास्त्रीय नमूना अनुमान से विचलन)


बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के मैट्रिक्स-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, हालांकि, हमें मैट्रिक्स डिफरेंशियल कैलकुलस ([[क्रोनकर उत्पाद]] और वैश्वीकरण (गणित) परिवर्तन) का भी उपयोग करने की आवश्यकता होगी।
इस प्रकार से बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना ([[क्रोनकर उत्पाद|'''क्रोनकर गुणनफल''']] और वैश्वीकरण (गणित)) के परिवर्तन का भी उपयोग करने की आवश्यकता होगी।


सबसे पहले, आइए हम संभाव्यता के लिए नई अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:
सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-(n-k)/2} \exp(-\operatorname{tr}(\tfrac{1}{2}\mathbf{S}^\mathsf{T} \mathbf{S} \boldsymbol\Sigma_{\epsilon}^{-1}))   
<math display="block">\rho(\mathbf{Y}|\mathbf{X},\mathbf{B},\boldsymbol\Sigma_{\epsilon}) \propto |\boldsymbol\Sigma_{\epsilon}|^{-(n-k)/2} \exp(-\operatorname{tr}(\tfrac{1}{2}\mathbf{S}^\mathsf{T} \mathbf{S} \boldsymbol\Sigma_{\epsilon}^{-1}))   
|\boldsymbol\Sigma_{\epsilon}|^{-k/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{B}-\hat{\mathbf{B}})^\mathsf{T} \mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B}-\hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) )
|\boldsymbol\Sigma_{\epsilon}|^{-k/2} \exp(-\tfrac{1}{2} \operatorname{tr}((\mathbf{B}-\hat{\mathbf{B}})^\mathsf{T} \mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B}-\hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) )
,</math>
,</math><math display="block">\mathbf{S} = \mathbf{Y} - \mathbf{X}\hat{\mathbf{B}}</math>
<math display="block">\mathbf{S} = \mathbf{Y} - \mathbf{X}\hat{\mathbf{B}}</math>
 
हम पूर्ववर्तियों के लिए एक सशर्त प्रपत्र विकसित करना चाहेंगे:
 
 
 
 
इस प्रकार से हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:
<math display="block">\rho(\mathbf{B},\boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon}),</math>
<math display="block">\rho(\mathbf{B},\boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon}),</math>
कहाँ <math>\rho(\boldsymbol\Sigma_{\epsilon})</math> एक [[व्युत्क्रम-विशार्ट वितरण]] है
जहाँ <math>\rho(\boldsymbol\Sigma_{\epsilon})</math> [[व्युत्क्रम-विशार्ट वितरण|'''व्युत्क्रम-विशार्ट वितरण''']] है और <math>\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon})</math> आव्यूह <math>\mathbf{B}</math> में [[सामान्य वितरण|'''सामान्य वितरण''']] का कुछ रूप है। अतः यह वैश्वीकरण परिवर्तन का उपयोग करके पूर्ण किया जाता है, इस प्रकार से जो आव्यूह <math>\mathbf{B}, \hat{\mathbf{B}}</math> के फलन से संभावना को सदिश <math>\boldsymbol\beta = \operatorname{vec}(\mathbf{B}), \hat{\boldsymbol\beta} = \operatorname{vec}(\hat{\mathbf{B}})</math> के एक फलन में पूर्ण रूप से परिवर्तित करता है।<math display="block">\operatorname{tr}((\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T}\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_\epsilon^{-1}) = \operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} )</math>
और <math>\rho(\mathbf{B}|\boldsymbol\Sigma_{\epsilon})</math> मैट्रिक्स में [[सामान्य वितरण]] का कुछ रूप है <math>\mathbf{B}</math>. यह वैश्वीकरण (गणित) परिवर्तन का उपयोग करके पूरा किया जाता है, जो मैट्रिक्स के एक फ़ंक्शन से संभावना को परिवर्तित करता है <math>\mathbf{B}, \hat{\mathbf{B}}</math> वैक्टर के एक फ़ंक्शन के लिए <math>\boldsymbol\beta = \operatorname{vec}(\mathbf{B}), \hat{\boldsymbol\beta} = \operatorname{vec}(\hat{\mathbf{B}})</math>.
लिखें<math display="block"> \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) = (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}), </math>


लिखना
<math display="block">\operatorname{tr}((\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T}\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_\epsilon^{-1}) = \operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} )</math>
होने देना
<math display="block"> \operatorname{vec}(\mathbf{X}^\mathsf{T} \mathbf{X}(\mathbf{B} - \hat{\mathbf{B}}) \boldsymbol\Sigma_{\epsilon}^{-1} ) =  (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}), </math>
कहाँ <math>\mathbf{A} \otimes \mathbf{B}</math> मैट्रिक्स ए और बी के क्रोनकर उत्पाद को दर्शाता है, [[बाहरी उत्पाद]] का एक सामान्यीकरण जो गुणा करता है <math>m \times n</math> ए द्वारा मैट्रिक्स <math>p \times q</math> एक उत्पन्न करने के लिए मैट्रिक्स <math>mp \times nq</math> मैट्रिक्स, जिसमें दो मैट्रिक्स के तत्वों के उत्पादों का प्रत्येक संयोजन शामिल होता है।


तब
 
<math display="block">\begin{align}
को लिखें जहां <math>\mathbf{A} \otimes \mathbf{B}</math> आव्यूह A और B के क्रोनकर गुणनफल को दर्शाता है, अतः [[बाहरी उत्पाद|बाहरी गुणनफल]] का सामान्यीकरण जो <math>mp \times nq</math> आव्यूह उत्पन्न करने के लिए एक <math>m \times n</math> आव्यूह को <math>p \times q</math> आव्यूह से गुणा करता है, जिसमें दो आव्यूह के अवयवों के गुणनफलों का प्रत्येक संयोजन पूर्ण रूप से सम्मिलित होता है।
 
फिर<math display="block">\begin{align}
&\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}) \\
&\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}})^\mathsf{T} (\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )\operatorname{vec}(\mathbf{B} - \hat{\mathbf{B}}) \\
&= (\boldsymbol\beta - \hat{\boldsymbol\beta})^\mathsf{T}(\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )(\boldsymbol\beta-\hat{\boldsymbol\beta})
&= (\boldsymbol\beta - \hat{\boldsymbol\beta})^\mathsf{T}(\boldsymbol\Sigma_{\epsilon}^{-1} \otimes \mathbf{X}^\mathsf{T}\mathbf{X} )(\boldsymbol\beta-\hat{\boldsymbol\beta})
\end{align}</math>
\end{align}</math>
जिससे ऐसी संभावना बनेगी जो सामान्य है <math>(\boldsymbol\beta - \hat{\boldsymbol\beta})</math>.


अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम एक प्राकृतिक (सशर्त) संयुग्म पूर्व पा सकते हैं।
 
 
जिससे संभावना बनेगी जो कि <math>(\boldsymbol\beta - \hat{\boldsymbol\beta})</math> में सामान्य है।
 
इस प्रकार से अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व प्राप्त कर सकते हैं।


===संयुग्मित पूर्व वितरण===
===संयुग्मित पूर्व वितरण===


वेक्टरकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म <math>\boldsymbol\beta</math> इस रूप का है:<ref name="BSaM" />
अतः इस प्रकार से सदिशकृत चर <math>\boldsymbol\beta</math> का उपयोग करने से पहले प्राकृतिक संयुग्म इस प्रकार का है:<ref name="BSaM" /><math display="block">\rho(\boldsymbol\beta, \boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}),</math>
<math display="block">\rho(\boldsymbol\beta, \boldsymbol\Sigma_{\epsilon}) = \rho(\boldsymbol\Sigma_{\epsilon})\rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}),</math>
जहाँ<math display="block"> \rho(\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{W}^{-1}(\mathbf V_0,\boldsymbol\nu_0)</math>
कहाँ
और<math display="block"> \rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}) \sim N(\boldsymbol\beta_0, \boldsymbol\Sigma_{\epsilon} \otimes \boldsymbol\Lambda_0^{-1}).</math>
<math display="block"> \rho(\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{W}^{-1}(\mathbf V_0,\boldsymbol\nu_0)</math>
और
<math display="block"> \rho(\boldsymbol\beta|\boldsymbol\Sigma_{\epsilon}) \sim N(\boldsymbol\beta_0, \boldsymbol\Sigma_{\epsilon} \otimes \boldsymbol\Lambda_0^{-1}).</math>
 


===पश्च वितरण===
===पश्च वितरण===


उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:<ref name="BSaM" />
इस प्रकार से उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:<ref name="BSaM" />
<math display="block">\begin{align}
<math display="block">\begin{align}
\rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X})
\rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X})
Line 101: Line 100:
&\times|\boldsymbol\Sigma_{\epsilon}|^{-n/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{Y}-\mathbf{XB})^\mathsf{T}(\mathbf{Y}-\mathbf{XB})\boldsymbol\Sigma_{\epsilon}^{-1}))},
&\times|\boldsymbol\Sigma_{\epsilon}|^{-n/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{Y}-\mathbf{XB})^\mathsf{T}(\mathbf{Y}-\mathbf{XB})\boldsymbol\Sigma_{\epsilon}^{-1}))},
\end{align}</math>
\end{align}</math>
कहाँ <math>\operatorname{vec}(\mathbf B_0) = \boldsymbol\beta_0</math>.
जहाँ <math>\operatorname{vec}(\mathbf B_0) = \boldsymbol\beta_0</math><math>\mathbf{B}</math> से जुड़े शब्दों को (<math>\boldsymbol\Lambda_0 = \mathbf{U}^\mathsf{T}\mathbf{U}</math> के साथ) समूहीकृत किया जा सकता है:
शामिल शर्तें <math>\mathbf{B}</math> (के साथ) समूहीकृत किया जा सकता है <math>\boldsymbol\Lambda_0 = \mathbf{U}^\mathsf{T}\mathbf{U}</math>) का उपयोग करना:
<math display="block">\begin{align}
<math display="block">\begin{align}
& \left(\mathbf{B} - \mathbf B_0\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf{B} - \mathbf B_0\right) + \left(\mathbf{Y} - \mathbf{XB}\right)^\mathsf{T} \left(\mathbf{Y} - \mathbf{XB}\right) \\
& \left(\mathbf{B} - \mathbf B_0\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf{B} - \mathbf B_0\right) + \left(\mathbf{Y} - \mathbf{XB}\right)^\mathsf{T} \left(\mathbf{Y} - \mathbf{XB}\right) \\
Line 109: Line 107:
={}& \left(\mathbf{Y} - \mathbf X \mathbf B_n \right)^\mathsf{T} \left(\mathbf{Y} - \mathbf X \mathbf B_n\right) + \left(\mathbf B_0 - \mathbf B_n\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf B_0 - \mathbf B_n\right) + \left(\mathbf{B} - \mathbf B_n\right)^\mathsf{T} \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)\left(\mathbf B - \mathbf B_n\right),
={}& \left(\mathbf{Y} - \mathbf X \mathbf B_n \right)^\mathsf{T} \left(\mathbf{Y} - \mathbf X \mathbf B_n\right) + \left(\mathbf B_0 - \mathbf B_n\right)^\mathsf{T} \boldsymbol\Lambda_0 \left(\mathbf B_0 - \mathbf B_n\right) + \left(\mathbf{B} - \mathbf B_n\right)^\mathsf{T} \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)\left(\mathbf B - \mathbf B_n\right),
\end{align}</math>
\end{align}</math>
साथ
के साथ<math display="block">\mathbf B_n = \left(\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{X} \hat{\mathbf{B}} + \boldsymbol\Lambda_0\mathbf B_0\right) = \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0 \mathbf B_0\right).</math>
<math display="block">\mathbf B_n = \left(\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{X} \hat{\mathbf{B}} + \boldsymbol\Lambda_0\mathbf B_0\right) = \left(\mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0\right)^{-1}\left(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0 \mathbf B_0\right).</math>
इस प्रकार से यह अब हमें पश्च भाग को अधिक उपयोगी रूप में लिखने की पूर्ण रूप से अनुमति देता है:<math display="block">\begin{align}
यह अब हमें पश्च भाग को अधिक उपयोगी रूप में लिखने की अनुमति देता है:
<math display="block">\begin{align}
\rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X})
\rho(\boldsymbol\beta,\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X})
\propto{}&|\boldsymbol\Sigma_{\epsilon}|^{-(\boldsymbol\nu_0 + m + n + 1)/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T} (\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n-\mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0))\boldsymbol\Sigma_{\epsilon}^{-1}))} \\
\propto{}&|\boldsymbol\Sigma_{\epsilon}|^{-(\boldsymbol\nu_0 + m + n + 1)/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T} (\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n-\mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0))\boldsymbol\Sigma_{\epsilon}^{-1}))} \\
&\times|\boldsymbol\Sigma_{\epsilon}|^{-k/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{B}-\mathbf B_n)^\mathsf{T} (\mathbf{X}^T\mathbf{X} + \boldsymbol\Lambda_0) (\mathbf{B}-\mathbf B_n)\boldsymbol\Sigma_{\epsilon}^{-1}))}.
&\times|\boldsymbol\Sigma_{\epsilon}|^{-k/2}\exp{(-\tfrac{1}{2}\operatorname{tr}((\mathbf{B}-\mathbf B_n)^\mathsf{T} (\mathbf{X}^T\mathbf{X} + \boldsymbol\Lambda_0) (\mathbf{B}-\mathbf B_n)\boldsymbol\Sigma_{\epsilon}^{-1}))}.
\end{align}</math>
\end{align}</math>
यह [[मैट्रिक्स सामान्य वितरण]] के समय व्युत्क्रम-विशार्ट वितरण का रूप लेता है:
अतः यह [[मैट्रिक्स सामान्य वितरण|आव्यूह सामान्य वितरण]] के समय व्युत्क्रम-विशार्ट वितरण का रूप लेता है:<math display="block">\rho(\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) \sim \mathcal{W}^{-1}(\mathbf V_n,\boldsymbol\nu_n)</math>
<math display="block">\rho(\boldsymbol\Sigma_{\epsilon}|\mathbf{Y},\mathbf{X}) \sim \mathcal{W}^{-1}(\mathbf V_n,\boldsymbol\nu_n)</math>
और<math display="block"> \rho(\mathbf{B}|\mathbf{Y},\mathbf{X},\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{MN}_{k,m}(\mathbf B_n, \boldsymbol\Lambda_n^{-1}, \boldsymbol\Sigma_{\epsilon}).</math>
और
अतः इस प्रकार से इस पश्च भाग के पैरामीटर इस प्रकार दिए गए हैं:<math display="block">\mathbf V_n = \mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T}(\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n - \mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0)</math><math display="block">\boldsymbol\nu_n = \boldsymbol\nu_0 + n</math>
<math display="block"> \rho(\mathbf{B}|\mathbf{Y},\mathbf{X},\boldsymbol\Sigma_{\epsilon}) \sim \mathcal{MN}_{k,m}(\mathbf B_n, \boldsymbol\Lambda_n^{-1}, \boldsymbol\Sigma_{\epsilon}).</math>
 
इस पश्च भाग के पैरामीटर इस प्रकार दिए गए हैं:
 
<math display="block">\mathbf V_n = \mathbf V_0 + (\mathbf{Y}-\mathbf{XB_n})^\mathsf{T}(\mathbf{Y}-\mathbf{XB_n}) + (\mathbf B_n - \mathbf B_0)^\mathsf{T}\boldsymbol\Lambda_0(\mathbf B_n-\mathbf B_0)</math>
<math display="block">\boldsymbol\nu_n = \boldsymbol\nu_0 + n</math>
<math display="block">\mathbf B_n = (\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0)^{-1}(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0\mathbf B_0)</math>
<math display="block">\mathbf B_n = (\mathbf{X}^\mathsf{T}\mathbf{X} + \boldsymbol\Lambda_0)^{-1}(\mathbf{X}^\mathsf{T} \mathbf{Y} + \boldsymbol\Lambda_0\mathbf B_0)</math>
<math display="block">\boldsymbol\Lambda_n = \mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0</math>
<math display="block">\boldsymbol\Lambda_n = \mathbf{X}^\mathsf{T} \mathbf{X} + \boldsymbol\Lambda_0</math>


==यह भी देखें==
==यह भी देखें==
* बायेसियन रैखिक प्रतिगमन
* बायेसियन रैखिक प्रतिगमन
* मैट्रिक्स सामान्य वितरण
* आव्यूह सामान्य वितरण


==संदर्भ==
==संदर्भ==
{{Reflist}}
{{Reflist}}
{{More footnotes|date=November 2010}}
* {{cite book |authorlink= George E. P. Box |last= Box |first= G. E. P. |author2-link=George Tiao |last2= Tiao |first2= G. C. |year= 1973 |title= Bayesian Inference in Statistical Analysis |chapter= 8 |publisher= Wiley |isbn= 0-471-57428-7 }}
* {{cite book |authorlink= George E. P. Box |last= Box |first= G. E. P. |author2-link=George Tiao |last2= Tiao |first2= G. C. |year= 1973 |title= Bayesian Inference in Statistical Analysis |chapter= 8 |publisher= Wiley |isbn= 0-471-57428-7 }}
* {{cite journal|last= Geisser|first= S. |year= 1965 |title= Bayesian Estimation in Multivariate Analysis |journal= [[The Annals of Mathematical Statistics]] |volume= 36 |issue= 1 |pages= 150&ndash;159 |jstor= 2238083}}
* {{cite journal|last= Geisser|first= S. |year= 1965 |title= Bayesian Estimation in Multivariate Analysis |journal= [[The Annals of Mathematical Statistics]] |volume= 36 |issue= 1 |pages= 150&ndash;159 |jstor= 2238083}}
* {{cite journal|last= Tiao |first= G. C. |last2= Zellner |first2= A. |year= 1964 |title= On the Bayesian Estimation of Multivariate Regression |journal= [[Journal of the Royal Statistical Society. Series B (Methodological)]] |volume= 26 |issue= 2 |pages= 277&ndash;285 |jstor= 2984424}}
* {{cite journal|last= Tiao |first= G. C. |last2= Zellner |first2= A. |year= 1964 |title= On the Bayesian Estimation of Multivariate Regression |journal= [[Journal of the Royal Statistical Society. Series B (Methodological)]] |volume= 26 |issue= 2 |pages= 277&ndash;285 |jstor= 2984424}}


{{DEFAULTSORT:Bayesian Multivariate Linear Regression}}[[Category: बायेसियन अनुमान|बहुभिन्नरूपी रैखिक प्रतिगमन]] [[Category: एकल-समीकरण विधियाँ (अर्थमिति)]]
{{DEFAULTSORT:Bayesian Multivariate Linear Regression}}
 
 


[[Category: Machine Translated Page]]
[[Category:Created On 07/07/2023|Bayesian Multivariate Linear Regression]]
[[Category:Created On 07/07/2023]]
[[Category:Lua-based templates|Bayesian Multivariate Linear Regression]]
[[Category:Machine Translated Page|Bayesian Multivariate Linear Regression]]
[[Category:Pages with empty portal template|Bayesian Multivariate Linear Regression]]
[[Category:Pages with script errors|Bayesian Multivariate Linear Regression]]
[[Category:Portal-inline template with redlinked portals|Bayesian Multivariate Linear Regression]]
[[Category:Templates Vigyan Ready|Bayesian Multivariate Linear Regression]]
[[Category:Templates that add a tracking category|Bayesian Multivariate Linear Regression]]
[[Category:Templates that generate short descriptions|Bayesian Multivariate Linear Regression]]
[[Category:Templates using TemplateData|Bayesian Multivariate Linear Regression]]
[[Category:एकल-समीकरण विधियाँ (अर्थमिति)|Bayesian Multivariate Linear Regression]]
[[Category:बायेसियन अनुमान|बहुभिन्नरूपी रैखिक प्रतिगमन]]

Latest revision as of 10:40, 15 July 2023

आंकड़ों में, बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन बहुभिन्नरूपी रैखिक प्रतिगमन के लिए बायेसियन अनुमान दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार एमएमएसई अनुमानक लेख में पाया जा सकता है।

विवरण

अतः जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ n अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें लंबाई k के एक सदिश में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक मूक चर (सांख्यिकी) को अवरोधन की अनुमति देने के लिए गुणांक जोड़ा गया है)। इस प्रकार से इसे प्रत्येक अवलोकन के लिए m-संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:


जहां त्रुटियों का समूह सभी सहसंबद्ध हैं। अतः समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार से यह इस रूप में संदर्भित है:

अतः इस प्रकार से गुणांक आव्यूह B एक आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश क्षैतिज रूप से रखे जाते हैं:

प्रत्येक अवलोकन i के लिए रव सदिश संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:

अतः इस प्रकार से हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इसे ऐसे रूप लिख सकते हैं:
जहां Y और E आव्यूह हैं। अतः डिज़ाइन आव्यूह X एक आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:

इस प्रकार से शास्त्रीय, बारंबारतावादी रैखिक न्यूनतम वर्ग (गणित) हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक के आव्यूह का पूर्ण रूप से अनुमान लगाना है:

अतः बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को पूर्ण रूप से ढूंढना होगा। बायेसियन रैखिक प्रतिगमन की अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।

इस प्रकार से आइए हम अपने सप्रतिबन्ध संभावना को[1]

के रूप में लिखें और इस त्रुटि को और के संदर्भ में लिखने पर हमें
का रूप प्राप्त होता है

अतः हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह (शास्त्रीय प्रतिदर्श अनुमान से विचलन) के रूप में सामान्य है।

इस प्रकार से बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना (क्रोनकर गुणनफल और वैश्वीकरण (गणित)) के परिवर्तन का भी उपयोग करने की आवश्यकता होगी।

सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:



इस प्रकार से हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:

जहाँ व्युत्क्रम-विशार्ट वितरण है और आव्यूह में सामान्य वितरण का कुछ रूप है। अतः यह वैश्वीकरण परिवर्तन का उपयोग करके पूर्ण किया जाता है, इस प्रकार से जो आव्यूह के फलन से संभावना को सदिश के एक फलन में पूर्ण रूप से परिवर्तित करता है।
लिखें


को लिखें जहां आव्यूह A और B के क्रोनकर गुणनफल को दर्शाता है, अतः बाहरी गुणनफल का सामान्यीकरण जो आव्यूह उत्पन्न करने के लिए एक आव्यूह को आव्यूह से गुणा करता है, जिसमें दो आव्यूह के अवयवों के गुणनफलों का प्रत्येक संयोजन पूर्ण रूप से सम्मिलित होता है।

फिर


जिससे संभावना बनेगी जो कि में सामान्य है।

इस प्रकार से अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व प्राप्त कर सकते हैं।

संयुग्मित पूर्व वितरण

अतः इस प्रकार से सदिशकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म इस प्रकार का है:[1]

जहाँ
और

पश्च वितरण

इस प्रकार से उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:[1]

जहाँ से जुड़े शब्दों को ( के साथ) समूहीकृत किया जा सकता है: