सीमांत संभावना

सीमांत संभावना एक संभावना फ़ंक्शन है जिसे पैरामीटर स्थान पर एकीकृत किया गया है। बायेसियन सांख्यिकी में, यह पूर्व संभाव्यता से नमूनाकरण (सांख्यिकी) उत्पन्न करने की संभावना का प्रतिनिधित्व करता है और इसलिए इसे अधिकांशतः मॉडल साक्ष्य या केवल साक्ष्य के रूप में जाना जाता है।

है और इसलिए इसे अधिकांशतः मॉडल साक्ष्य या केवल साक्ष्य के रूप में जाना जाता है।

अवधारणा

स्वतंत्र रूप से समान रूप से वितरित डेटा बिंदुओं का एक सेट दिया गया है $\mathbf {X} =(x_{1},\ldots ,x_{n}),$ कहाँ $x_{i}\sim p(x|\theta )$ द्वारा पैरामीटरीकृत कुछ संभाव्यता वितरण के अनुसार $\theta$, कहाँ $\theta$ स्वयं वितरण द्वारा वर्णित एक यादृच्छिक चर है, अर्थात $\theta \sim p(\theta \mid \alpha ),$ सामान्य तौर पर सीमांत संभावना पूछती है कि संभावना क्या है $p(\mathbf {X} \mid \alpha )$ कहां है $\theta$ सीमांत वितरण (एकीकृत) किया गया है:

$p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname {d} \!\theta$

उपरोक्त परिभाषा किस मामले में बायेसियन सांख्यिकी के संदर्भ में व्यक्त की गई है $p(\theta \mid \alpha )$ पूर्व घनत्व कहा जाता है और $p(\mathbf {X} \mid \theta )$ संभावना है. सीमांत संभावना सटीक ज्यामितीय अर्थ में डेटा और पूर्व के बीच समझौते की मात्रा निर्धारित करती है डी कार्वाल्हो एट अल में। (2019)। शास्त्रीय (बारंबारतावादी सांख्यिकी) आँकड़ों में, सीमांत संभावना की अवधारणा एक संयुक्त पैरामीटर के संदर्भ में होती है $\theta =(\psi ,\lambda )$, कहाँ $\psi$ रुचि का वास्तविक पैरामीटर है, और $\lambda$ एक गैर-दिलचस्प उपद्रव पैरामीटर है। यदि इसके लिए संभाव्यता वितरण मौजूद है $\lambda$, अधिकांशतः संभावना फ़ंक्शन पर केवल के संदर्भ में विचार करना वांछनीय होता है $\psi$, हाशिए पर रखकर $\lambda$:

${\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda$

दुर्भाग्य से, सीमांत संभावनाओं की गणना करना आम तौर पर कठिन होता है। सटीक समाधान वितरण के एक छोटे वर्ग के लिए जाने जाते हैं, खासकर जब हाशिए पर रखा गया पैरामीटर डेटा के वितरण से पहले संयुग्मित होता है। अन्य मामलों में, किसी प्रकार की संख्यात्मक एकीकरण विधि की आवश्यकता होती है, या तो एक सामान्य विधि जैसे गॉसियन एकीकरण या मोंटे कार्लो विधि, या सांख्यिकीय समस्याओं के लिए विशेष विधि जैसे लाप्लास सन्निकटन, गिब्स नमूनाकरण/मेट्रोपोलिस-हेस्टिंग्स_एल्गोरिदम नमूनाकरण, या ईएम एल्गोरिदम.

उपरोक्त विचारों को एकल यादृच्छिक चर (डेटा बिंदु) पर लागू करना भी संभव है $x$, अवलोकनों के एक सेट के बजाय। बायेसियन संदर्भ में, यह डेटा बिंदु के पूर्व पूर्वानुमानित वितरण के बराबर है।

अनुप्रयोग

बायेसियन मॉडल तुलना

बायेसियन मॉडल तुलना में, सीमांत चर $\theta$ एक विशेष प्रकार के मॉडल और शेष चर के लिए पैरामीटर हैं $M$ मॉडल की पहचान ही है. इस मामले में, सीमांत संभावना मॉडल प्रकार दिए गए डेटा की संभावना है, किसी विशेष मॉडल पैरामीटर को नहीं मानते हुए। लिखना $\theta$ मॉडल मापदंडों के लिए, मॉडल एम के लिए सीमांत संभावना है

$p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta$

इसी संदर्भ में मॉडल साक्ष्य शब्द का प्रयोग आम तौर पर किया जाता है। यह मात्रा महत्वपूर्ण है क्योंकि मॉडल एम के लिए पश्च विषम अनुपात₁ एक अन्य मॉडल एम के विरुद्ध₂ इसमें सीमांत संभावनाओं का अनुपात शामिल है, तथाकथित बेयस कारक:

${\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}$

जिसे योजनाबद्ध रूप से इस प्रकार बताया जा सकता है

पोस्टीरियर कठिनाइयाँ = पूर्व ऑड्स × बेयस फैक्टर

यह भी देखें

• अनुभवजन्य बेयस विधियाँ
• लिंडले का विरोधाभास
• सीमांत संभाव्यता
• बायेसियन सूचना मानदंड

संदर्भ

• Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: [1])
• de Carvalho, Miguel; Page, Garritt; Barney, Bradley (2019). "On the geometry of Bayesian inference". Bayesian Analysis. 14 (4): 1013‒1036. (Available as a preprint on the web: [2])
• Lambert, Ben (2018). "The devil is in the denominator". A Student's Guide to Bayesian Statistics. Sage. pp. 109–120. ISBN 978-1-4739-1636-4.
• The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay.