बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन

आंकड़ों में, बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन एक है बहुभिन्नरूपी रैखिक प्रतिगमन के लिए बायेसियन अनुमान दृष्टिकोण, यानी रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के बजाय सहसंबद्ध यादृच्छिक चर का एक वेक्टर है। इस दृष्टिकोण का अधिक सामान्य उपचार एमएमएसई अनुमानक लेख में पाया जा सकता है।

विवरण

एक प्रतिगमन समस्या पर विचार करें जहां अनुमानित किया जाने वाला आश्रित चर एक वास्तविक-मूल्यवान अदिश राशि नहीं है, बल्कि सहसंबद्ध वास्तविक संख्याओं का एक एम-लंबाई वेक्टर है। जैसा कि मानक प्रतिगमन सेटअप में होता है, n अवलोकन होते हैं, जहां प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें एक वेक्टर में समूहीकृत किया जाता है $\mathbf {x} _{i}$ लंबाई k की (जहां अवरोधन गुणांक की अनुमति देने के लिए 1 के मान के साथ एक डमी वैरिएबल (सांख्यिकी) जोड़ा गया है)। इसे प्रत्येक अवलोकन के लिए एम संबंधित प्रतिगमन समस्याओं के एक सेट के रूप में देखा जा सकता है:

$${\begin{aligned}y_{i,1}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{1}+\epsilon _{i,1}\\&\;\;\vdots \\y_{i,m}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{m}+\epsilon _{i,m}\end{aligned}}$$

जहां त्रुटियों का सेट $\{\epsilon _{i,1},\ldots ,\epsilon _{i,m}\}$ सभी सहसंबद्ध हैं. समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति वेक्टर है $\mathbf {y} _{i}^{\mathsf {T}}$ और प्रतिगमन गुणांक वैक्टर एक दूसरे के बगल में रखे गए हैं, इस प्रकार:

$$\mathbf {y} _{i}^{\mathsf {T}}=\mathbf {x} _{i}^{\mathsf {T}}\mathbf {B} +{\boldsymbol {\epsilon }}_{i}^{\mathsf {T}}.$$

गुणांक मैट्रिक्स बी एक है $k\times m$ मैट्रिक्स जहां गुणांक वैक्टर ${\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{m}$ प्रत्येक प्रतिगमन समस्या के लिए क्षैतिज रूप से स्टैक किया गया है:

$$\mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\end{pmatrix}}\end{bmatrix}}.$$

शोर वेक्टर ${\boldsymbol {\epsilon }}_{i}$ प्रत्येक अवलोकन के लिए i संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:

$${\boldsymbol {\epsilon }}_{i}\sim N(0,{\boldsymbol {\Sigma }}_{\epsilon }).$$

हम संपूर्ण प्रतिगमन समस्या को मैट्रिक्स रूप में इस प्रकार लिख सकते हैं:

$$\mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E} ,$$

जहां Y और E हैं $n\times m$ matrices. डिज़ाइन मैट्रिक्स X एक है $n\times k$ मानक रैखिक प्रतिगमन सेटअप के अनुसार, ऊर्ध्वाधर रूप से स्टैक्ड टिप्पणियों के साथ मैट्रिक्स:

$$\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.$$

शास्त्रीय, बारंबारतावादी रैखिक न्यूनतम वर्ग (गणित) समाधान केवल प्रतिगमन गुणांक के मैट्रिक्स का अनुमान लगाना है ${\hat {\mathbf {B} }}$ मूर-पेनरोज़ छद्म व्युत्क्रम का उपयोग करना|मूर-पेनरोज़ छद्म व्युत्क्रम:

$${\hat {\mathbf {B} }}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} .$$

बायेसियन समाधान प्राप्त करने के लिए, हमें सशर्त संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को ढूंढना होगा। बायेसियन रैखिक प्रतिगमन के अविभाज्य मामले के साथ, हम पाएंगे कि हम एक प्राकृतिक सशर्त संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।

आइए हम अपनी सशर्त संभावना को इस प्रकार लिखें

$$\rho (\mathbf {E} |{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp \left(-{\tfrac {1}{2}}\operatorname {tr} \left(\mathbf {E} ^{\mathsf {T}}\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}\right)\right),$$

त्रुटि लिख रहा हूँ $\mathbf {E}$ के अनुसार $\mathbf {Y} ,\mathbf {X} ,$ और $\mathbf {B}$ पैदावार

$$\rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {X} \mathbf {B} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {X} \mathbf {B} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),$$

हम एक प्राकृतिक संयुग्म पूर्व-संयुक्त घनत्व की तलाश करते हैं $\rho (\mathbf {B} ,\Sigma _{\epsilon })$ जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना द्विघात है $\mathbf {B}$, हम संभावना को फिर से लिखते हैं इसलिए यह सामान्य है $(\mathbf {B} -{\hat {\mathbf {B} }})$ (शास्त्रीय नमूना अनुमान से विचलन)।

बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के मैट्रिक्स-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, हालांकि, हमें मैट्रिक्स डिफरेंशियल कैलकुलस (क्रोनकर उत्पाद और वैश्वीकरण (गणित) परिवर्तन) का भी उपयोग करने की आवश्यकता होगी।

सबसे पहले, आइए हम संभाव्यता के लिए नई अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:

$$\rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-(n-k)/2}\exp(-\operatorname {tr} ({\tfrac {1}{2}}\mathbf {S} ^{\mathsf {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))|{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),$$

$$\mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B} }}$$

हम पूर्ववर्तियों के लिए एक सशर्त प्रपत्र विकसित करना चाहेंगे:

$$\rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon }),$$

कहाँ $\rho ({\boldsymbol {\Sigma }}_{\epsilon })$ एक व्युत्क्रम-विशार्ट वितरण है और $\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon })$ मैट्रिक्स में सामान्य वितरण का कुछ रूप है $\mathbf {B}$. यह वैश्वीकरण (गणित) परिवर्तन का उपयोग करके पूरा किया जाता है, जो मैट्रिक्स के एक फ़ंक्शन से संभावना को परिवर्तित करता है $\mathbf {B} ,{\hat {\mathbf {B} }}$ वैक्टर के एक फ़ंक्शन के लिए ${\boldsymbol {\beta }}=\operatorname {vec} (\mathbf {B} ),{\hat {\boldsymbol {\beta }}}=\operatorname {vec} ({\hat {\mathbf {B} }})$.

लिखना

$$\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})$$

होने देना

$$\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }}),$$

कहाँ $\mathbf {A} \otimes \mathbf {B}$ मैट्रिक्स ए और बी के क्रोनकर उत्पाद को दर्शाता है, बाहरी उत्पाद का एक सामान्यीकरण जो गुणा करता है $m\times n$ ए द्वारा मैट्रिक्स $p\times q$ एक उत्पन्न करने के लिए मैट्रिक्स $mp\times nq$ मैट्रिक्स, जिसमें दो मैट्रिक्स के तत्वों के उत्पादों का प्रत्येक संयोजन शामिल होता है।

तब

$${\begin{aligned}&\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})\\&=({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\end{aligned}}$$

जिससे ऐसी संभावना बनेगी जो सामान्य है $({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})$.

अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम एक प्राकृतिक (सशर्त) संयुग्म पूर्व पा सकते हैं।

संयुग्मित पूर्व वितरण

वेक्टरकृत चर का उपयोग करने से पहले प्राकृतिक संयुग्म ${\boldsymbol {\beta }}$ इस रूप का है:

$$\rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon }),$$

कहाँ

$$\rho ({\boldsymbol {\Sigma }}_{\epsilon })\sim {\mathcal {W}}^{-1}(\mathbf {V} _{0},{\boldsymbol {\nu }}_{0})$$

और

$$\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon })\sim N({\boldsymbol {\beta }}_{0},{\boldsymbol {\Sigma }}_{\epsilon }\otimes {\boldsymbol {\Lambda }}_{0}^{-1}).$$

पश्च वितरण

उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:

$${\begin{aligned}\rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon }|\mathbf {Y} ,\mathbf {X} )\propto {}&|{\boldsymbol {\Sigma }}_{\epsilon }|^{-({\boldsymbol {\nu }}_{0}+m+1)/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} (\mathbf {V} _{0}{\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}\\&\times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -\mathbf {B} _{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B} _{0}){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}\\&\times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {XB} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {XB} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))},\end{aligned}}$$

कहाँ $\operatorname {vec} (\mathbf {B} _{0})={\boldsymbol {\beta }}_{0}$. शामिल शर्तें $\mathbf {B}$ (के साथ) समूहीकृत किया जा सकता है ${\boldsymbol {\Lambda }}_{0}=\mathbf {U} ^{\mathsf {T}}\mathbf {U}$) का उपयोग करना:

$$\mathbf {B} _{n}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}\right)^{-1}\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\mathbf {B} }}+{\boldsymbol {\Lambda }}_{0}\mathbf {B} _{0}\right)=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}\right)^{-1}\left(\mathbf {X} ^{\mathsf {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B} _{0}\right).$$