बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन

आंकड़ों में, बायेसियन बहुभिन्नरूपी रैखिक प्रतिगमन बहुभिन्नरूपी रैखिक प्रतिगमन के लिए बायेसियन अनुमान दृष्टिकोण, अर्थात रैखिक प्रतिगमन जहां अनुमानित परिणाम एकल अदिश यादृच्छिक चर के अतिरिक्त सहसंबद्ध यादृच्छिक चर का सदिश है। इस दृष्टिकोण का अधिक सामान्य उपचार एमएमएसई अनुमानक लेख में पाया जा सकता है।

विवरण

अतः जैसा कि मानक प्रतिगमन व्यवस्था में होता है, वहाँ n अवलोकन होते हैं, जहाँ प्रत्येक अवलोकन i में k−1 व्याख्यात्मक चर होते हैं, जिन्हें लंबाई k के एक सदिश $\mathbf {x} _{i}$ में समूहीकृत किया जाता है (जहाँ 1 के मान के साथ एक मूक चर (सांख्यिकी) को अवरोधन की अनुमति देने के लिए गुणांक जोड़ा गया है)। इस प्रकार से इसे प्रत्येक अवलोकन के लिए m-संबंधित प्रतिगमन समस्याओं के समूह के रूप में देखा जा सकता है:

$${\begin{aligned}y_{i,1}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{1}+\epsilon _{i,1}\\&\;\;\vdots \\y_{i,m}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{m}+\epsilon _{i,m}\end{aligned}}$$

जहां त्रुटियों का समूह $\{\epsilon _{i,1},\ldots ,\epsilon _{i,m}\}$ सभी सहसंबद्ध हैं। अतः समान रूप से, इसे एकल प्रतिगमन समस्या के रूप में देखा जा सकता है जहां परिणाम एक पंक्ति सदिश $\mathbf {y} _{i}^{\mathsf {T}}$ है और प्रतिगमन गुणांक सदिश एक चारो ओर में रखे गए हैं, इस प्रकार से यह इस रूप में संदर्भित है:

$$\mathbf {y} _{i}^{\mathsf {T}}=\mathbf {x} _{i}^{\mathsf {T}}\mathbf {B} +{\boldsymbol {\epsilon }}_{i}^{\mathsf {T}}.$$

अतः इस प्रकार से गुणांक आव्यूह B एक $k\times m$ आव्यूह जहां प्रत्येक प्रतिगमन समस्या के लिए गुणांक सदिश ${\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{m}$ क्षैतिज रूप से रखे जाते हैं:

$$\mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\end{pmatrix}}\end{bmatrix}}.$$

प्रत्येक अवलोकन i के लिए रव सदिश ${\boldsymbol {\epsilon }}_{i}$ संयुक्त रूप से सामान्य है, ताकि किसी दिए गए अवलोकन के परिणाम सहसंबद्ध हों:

$${\boldsymbol {\epsilon }}_{i}\sim N(0,{\boldsymbol {\Sigma }}_{\epsilon }).$$

अतः इस प्रकार से हम संपूर्ण प्रतिगमन समस्या को आव्यूह रूप में इसे ऐसे रूप लिख सकते हैं:

$$\mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E} ,$$

जहां Y और E $n\times m$ आव्यूह हैं। अतः डिज़ाइन आव्यूह X एक $n\times k$ आव्यूह हैं, जिसमें अवलोकन लंबवत रूप से व्यवस्थित होते हैं, जैसा कि मानक रैखिक प्रतिगमन व्यवस्था में होता है:

$$\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.$$

इस प्रकार से शास्त्रीय, बारंबारतावादी रैखिक न्यूनतम वर्ग (गणित) हल मात्र मूर-पेनरोज़ स्यूडोइनवर्स का उपयोग करके प्रतिगमन गुणांक ${\hat {\mathbf {B} }}$ के आव्यूह का पूर्ण रूप से अनुमान लगाना है:

$${\hat {\mathbf {B} }}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} .$$

अतः बायेसियन हल प्राप्त करने के लिए, हमें सप्रतिबन्ध संभावना निर्दिष्ट करने की आवश्यकता है और फिर उपयुक्त संयुग्म पूर्व को पूर्ण रूप से ढूंढना होगा। बायेसियन रैखिक प्रतिगमन की अविभाज्य स्थिति के साथ, हम पाएंगे कि हम प्राकृतिक सप्रतिबन्ध संयुग्म पूर्व निर्दिष्ट कर सकते हैं (जो पैमाने पर निर्भर है)।

इस प्रकार से आइए हम अपने सप्रतिबन्ध संभावना को

$$\rho (\mathbf {E} |{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp \left(-{\tfrac {1}{2}}\operatorname {tr} \left(\mathbf {E} ^{\mathsf {T}}\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}\right)\right)$$

के रूप में लिखें और इस त्रुटि $\mathbf {E}$ को $\mathbf {Y} ,\mathbf {X} ,$ और $\mathbf {B}$ के संदर्भ में लिखने पर हमें

$$\rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {X} \mathbf {B} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {X} \mathbf {B} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))$$

का रूप प्राप्त होता है

अतः हम पहले एक प्राकृतिक संयुग्म की खोज करते हैं - एक संयुक्त घनत्व $\rho (\mathbf {B} ,\Sigma _{\epsilon })$ जो संभावना के समान कार्यात्मक रूप का है। चूंकि संभावना $\mathbf {B}$में द्विघात है, हम संभावना को फिर से लिखते हैं इसलिए यह $(\mathbf {B} -{\hat {\mathbf {B} }})$ (शास्त्रीय प्रतिदर्श अनुमान से विचलन) के रूप में सामान्य है।

इस प्रकार से बायेसियन रैखिक प्रतिगमन के समान तकनीक का उपयोग करते हुए, हम योग-वर्ग तकनीक के आव्यूह-रूप का उपयोग करके घातीय शब्द को विघटित करते हैं। यहां, यद्यपि, हमें आव्यूह अवकलन गणना (क्रोनकर गुणनफल और वैश्वीकरण (गणित)) के परिवर्तन का भी उपयोग करने की आवश्यकता होगी।

सबसे पहले, आइए हम संभाव्यता के लिए नवीन अभिव्यक्ति प्राप्त करने के लिए वर्गों का योग लागू करें:

$$\rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-(n-k)/2}\exp(-\operatorname {tr} ({\tfrac {1}{2}}\mathbf {S} ^{\mathsf {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))|{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),$$

$$\mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B} }}$$

इस प्रकार से हम पूर्ववर्तियों के लिए सप्रतिबन्ध रूप विकसित करना चाहेंगे:

$$\rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon }),$$

जहाँ $\rho ({\boldsymbol {\Sigma }}_{\epsilon })$ व्युत्क्रम-विशार्ट वितरण है और $\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon })$ आव्यूह $\mathbf {B}$ में सामान्य वितरण का कुछ रूप है। अतः यह वैश्वीकरण परिवर्तन का उपयोग करके पूर्ण किया जाता है, इस प्रकार से जो आव्यूह $\mathbf {B} ,{\hat {\mathbf {B} }}$ के फलन से संभावना को सदिश ${\boldsymbol {\beta }}=\operatorname {vec} (\mathbf {B} ),{\hat {\boldsymbol {\beta }}}=\operatorname {vec} ({\hat {\mathbf {B} }})$ के एक फलन में पूर्ण रूप से परिवर्तित करता है।

$$\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})$$

लिखें

$$\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }}),$$

को लिखें जहां $\mathbf {A} \otimes \mathbf {B}$ आव्यूह A और B के क्रोनकर गुणनफल को दर्शाता है, अतः बाहरी गुणनफल का सामान्यीकरण जो $mp\times nq$ आव्यूह उत्पन्न करने के लिए एक $m\times n$ आव्यूह को $p\times q$ आव्यूह से गुणा करता है, जिसमें दो आव्यूह के अवयवों के गुणनफलों का प्रत्येक संयोजन पूर्ण रूप से सम्मिलित होता है।

फिर

$${\begin{aligned}&\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})\\&=({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\end{aligned}}$$

जिससे संभावना बनेगी जो कि $({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})$ में सामान्य है।

इस प्रकार से अधिक सुव्यवस्थित रूप में संभावना के साथ, अब हम प्राकृतिक (सप्रतिबन्ध) संयुग्म पूर्व प्राप्त कर सकते हैं।

संयुग्मित पूर्व वितरण

अतः इस प्रकार से सदिशकृत चर ${\boldsymbol {\beta }}$ का उपयोग करने से पहले प्राकृतिक संयुग्म इस प्रकार का है:

$$\rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon }),$$

जहाँ

$$\rho ({\boldsymbol {\Sigma }}_{\epsilon })\sim {\mathcal {W}}^{-1}(\mathbf {V} _{0},{\boldsymbol {\nu }}_{0})$$

और

$$\rho ({\boldsymbol {\beta }}|{\boldsymbol {\Sigma }}_{\epsilon })\sim N({\boldsymbol {\beta }}_{0},{\boldsymbol {\Sigma }}_{\epsilon }\otimes {\boldsymbol {\Lambda }}_{0}^{-1}).$$

पश्च वितरण

इस प्रकार से उपरोक्त पूर्व और संभावना का उपयोग करते हुए, पश्च वितरण को इस प्रकार व्यक्त किया जा सकता है:

$${\begin{aligned}\rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon }|\mathbf {Y} ,\mathbf {X} )\propto {}&|{\boldsymbol {\Sigma }}_{\epsilon }|^{-({\boldsymbol {\nu }}_{0}+m+1)/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} (\mathbf {V} _{0}{\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}\\&\times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -\mathbf {B} _{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B} _{0}){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}\\&\times |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp {(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {XB} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {XB} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))},\end{aligned}}$$

जहाँ $\operatorname {vec} (\mathbf {B} _{0})={\boldsymbol {\beta }}_{0}$। $\mathbf {B}$ से जुड़े शब्दों को (${\boldsymbol {\Lambda }}_{0}=\mathbf {U} ^{\mathsf {T}}\mathbf {U}$ के साथ) समूहीकृत किया जा सकता है:

$$\mathbf {B} _{n}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}\right)^{-1}\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\mathbf {B} }}+{\boldsymbol {\Lambda }}_{0}\mathbf {B} _{0}\right)=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}\right)^{-1}\left(\mathbf {X} ^{\mathsf {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B} _{0}\right).$$