बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन

आंकड़ों में, बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन बहुभिन्नरूपी रैखिक प्रतिगमन के लिए बायेसियन अनुमान दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार एमएमएसई अनुमानक लेख में पाया जा सकता है।

विवरण

जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ n अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें लंबाई k के एक सदिश $\mathbf {x} _{i}$ में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक मूक चर (सांख्यिकी) को अवरोधन की अनुमति देने के लिए जोड़ा गया है) गुणांक)। इसे प्रत्येक अवलोकन के लिए एम संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:

$${\begin{aligned}y_{i,1}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{1}+\epsilon _{i,1}\\&\;\;\vdots \\y_{i,m}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{m}+\epsilon _{i,m}\end{aligned}}$$

जहां त्रुटियों का समूह $\{\epsilon _{i,1},\ldots ,\epsilon _{i,m}\}$ सभी सहसंबद्ध हैं। समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश $\mathbf {y} _{i}^{\mathsf {T}}$ है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार:

$$\mathbf {y} _{i}^{\mathsf {T}}=\mathbf {x} _{i}^{\mathsf {T}}\mathbf {B} +{\boldsymbol {\epsilon }}_{i}^{\mathsf {T}}.$$

गुणांक आव्यूह B एक $k\times m$ आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश ${\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{m}$ क्षैतिज रूप से रखे जाते हैं:

$$\mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\end{pmatrix}}\end{bmatrix}}.$$

प्रत्येक अवलोकन i के लिए रव सदिश ${\boldsymbol {\epsilon }}_{i}$ संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:

$${\boldsymbol {\epsilon }}_{i}\sim N(0,{\boldsymbol {\Sigma }}_{\epsilon }).$$

हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इस प्रकार लिख सकते हैं:

$$\mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E} ,$$

जहां Y और E $n\times m$ आव्यूह हैं। डिज़ाइन आव्यूह X एक $n\times k$ आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:

$$\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.$$

शास्त्रीय, बारंबारतावादी रैखिक न्यूनतम वर्ग (गणित) हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक ${\hat {\mathbf {B} }}$ के आव्यूह का अनुमान लगाना है:

$${\hat {\mathbf {B} }}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} .$$

बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को ढूंढना होगा। बायेसियन रैखिक प्रतिगमन के अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।

आइए हम अपनी सप्रतिबन्ध संभावना को

$$\rho (\mathbf {E} |{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp \left(-{\tfrac {1}{2}}\operatorname {tr} \left(\mathbf {E} ^{\mathsf {T}}\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}\right)\right)$$

के रूप में लिखें, त्रुटि $\mathbf {E}$ को $\mathbf {Y} ,\mathbf {X} ,$ और $\mathbf {B}$ के संदर्भ में लिखने पर

$$\rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {X} \mathbf {B} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {X} \mathbf {B} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))$$

प्राप्त होता है

हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व $\rho (\mathbf {B} ,\Sigma _{\epsilon })$ जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना $\mathbf {B}$में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह $(\mathbf {B} -{\hat {\mathbf {B} }})$ (शास्त्रीय प्रतिदर्श अनुमान से विचलन) में सामान्य है।

बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना (क्रोनकर गुणनफल और वैश्वीकरण (गणित) परिवर्तन) का भी उपयोग करने की आवश्यकता होगी।

सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:

$$\rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-(n-k)/2}\exp(-\operatorname {tr} ({\tfrac {1}{2}}\mathbf {S} ^{\mathsf {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))|{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),$$

$$\mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B} }}$$

हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:

$$\rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon }),$$

जहाँ $\rho ({\boldsymbol {\Sigma }}_{\epsilon })$ व्युत्क्रम-विशार्ट वितरण है और $\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon })$ आव्यूह $\mathbf {B}$ में सामान्य वितरण का कुछ रूप है । यह वैश्वीकरण परिवर्तन का उपयोग करके पूर्ण किया जाता है, जो आव्यूह $\mathbf {B} ,{\hat {\mathbf {B} }}$ के फलन से संभावना को सदिश ${\boldsymbol {\beta }}=\operatorname {vec} (\mathbf {B} ),{\hat {\boldsymbol {\beta }}}=\operatorname {vec} ({\hat {\mathbf {B} }})$ के एक फलन में परिवर्तित करता है।

$$\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})$$

लिखें

$$\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }}),$$

को लिखें जहां $\mathbf {A} \otimes \mathbf {B}$ आव्यूह A और B के क्रोनकर गुणनफल को दर्शाता है, बाहरी गुणनफल का सामान्यीकरण जो $mp\times nq$ आव्यूह उत्पन्न करने के लिए एक $m\times n$ आव्यूह को $p\times q$ आव्यूह से गुणा करता है, जिसमें दो आव्यूह के अवयवों के गुणनफलों का प्रत्येक संयोजन सम्मिलित होता है।

फिर

$${\begin{aligned}&\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})\\&=({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\end{aligned}}$$

जिससे संभावना बनेगी जो कि $({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})$ में सामान्य है।

अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व प्राप्त कर सकते हैं।

संयुग्मित पूर्व वितरण

सदिशकृत चर ${\boldsymbol {\beta }}$ का उपयोग करने से पहले प्राकृतिक संयुग्म इस प्रकार का है:

$$\rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon }),$$

जहाँ

$$\rho ({\boldsymbol {\Sigma }}_{\epsilon })\sim {\mathcal {W}}^{-1}(\mathbf {V} _{0},{\boldsymbol {\nu }}_{0})$$

और

$$\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon })\sim N({\boldsymbol {\beta }}_{0},{\boldsymbol {\Sigma }}_{\epsilon }\otimes {\boldsymbol {\Lambda }}_{0}^{-1}).$$

पश्च वितरण

उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:

$${\begin{aligned}\rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon }|\mathbf {Y} ,\mathbf {X} )\propto {}&|{\boldsymbol {\Sigma }}_{\epsilon }|^{-({\boldsymbol {\nu }}_{0}+m+1)/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} (\mathbf {V} _{0}{\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}\\&\times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -\mathbf {B} _{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B} _{0}){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}\\&\times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {XB} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {XB} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))},\end{aligned}}$$

जहाँ $\operatorname {vec} (\mathbf {B} _{0})={\boldsymbol {\beta }}_{0}$। $\mathbf {B}$ से जुड़े शब्दों को ( ${\boldsymbol {\Lambda }}_{0}=\mathbf {U} ^{\mathsf {T}}\mathbf {U}$ के साथ) समूहीकृत किया जा सकता है:

$$\mathbf {B} _{n}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}\right)^{-1}\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\mathbf {B} }}+{\boldsymbol {\Lambda }}_{0}\mathbf {B} _{0}\right)=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}\right)^{-1}\left(\mathbf {X} ^{\mathsf {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B} _{0}\right).$$