गिब्स सैंपलिंग

आंकड़ों में, गिब्स प्रतिचयन या गिब्स प्रतिदर्शी एक मार्कोव शृंखला मोंटे कार्लो (एमसीएमसी)कलन विधि है, जो अवलोकनों का एक क्रम प्राप्त करने के लिए होता है, तथा जो तब एक निर्दिष्ट बहुभिन्नरूपी संभाव्यता वितरण से अनुमानित होता है, जब प्रत्यक्ष प्रतिचयन कठिन होता है। इस अनुक्रम का उपयोग संयुक्त वितरण को अनुमानित करने के लिए किया जा सकता है (उदाहरण के लिए, वितरण का आयत चित्र उत्पन्न करने के लिए), किसी एक चर, या चर के कुछ उपसमुच्चय (उदाहरण के लिए, अज्ञात प्राचल या अंतर्निहित चर) के सीमांत वितरण का अनुमान लगाने के लिए, या एक अभिन्न की गणना करने के लिए (जैसे चर में से एक का प्रत्याशित मान)। आमतौर पर, कुछ चर उन टिप्पणियों के अनुरूप होते हैं जिनके मान ज्ञात होते हैं, और इसलिए उन्हें प्रतिदर्श लेने की आवश्यकता नहीं होती है।

गिब्स प्रतिचयन आमतौर पर सांख्यिकीय अनुमिती यानी विशेष रूप से बेजअनुमिति के साधन के रूप में प्रयोग किया जाता है। यह एक यादृच्छिक कलन विधि है (अर्थात एक कलन विधि जो यादृच्छिक संख्याओं का उपयोग करता है), और अपेक्षा-अधिकतमकरण कलन विधि (ईएम) जैसे सांख्यिकीय अनुमिती के लिए नियतात्मक कलन विधि का एक विकल्प है।

अन्य एमसीएमसी कलन विधि के साथ, गिब्स प्रतिचयन प्रतिदर्श की मार्कोव श्रृंखला उत्पन्न करता है, जिनमें से प्रत्येक पास के प्रतिदर्श से सहसंबंधित है। नतीजतन, अगर स्वतंत्र प्रतिदर्श वांछित हैं तो देखभाल की जानी चाहिए। आम तौर पर, श्रृंखला की शुरुआत ("अमिट होने की अवधि") से प्रतिदर्श वांछित वितरण का सटीक रूप से प्रतिनिधित्व नहीं कर सकते हैं और आमतौर पर पदच्युत कर दिए जाते हैं।

परिचय

प्रतिचयन कलन विधि और सांख्यिकीय भौतिकी के बीच समानता के संदर्भ में, गिब्स प्रतिचयन का नाम भौतिक विज्ञानी जोशियाह विलार्ड गिब्स के नाम पर रखा गया है। गिब्स की मृत्यु के लगभग आठ दशक बाद 1984 में दो भाइयों स्टुअर्ट जेमन और डोनाल्ड जेमन द्वारा कलन विधि का वर्णन किया गया था। और सीमांत प्रायिकता वितरण, विशेष रूप से पश्च वितरण की गणना के लिए सांख्यिकी समुदाय में लोकप्रिय हो गया।

अपने मूल संस्करण में, गिब्स प्रतिचयन मेट्रोपोलिस-हेस्टिंग्स कलन विधि की एक विशेष स्थिति है। हालांकि, इसके विस्तारित संस्करणों (नीचे देखें) में, इसे प्रत्येक चर (या कुछ स्थितयो में, चर के प्रत्येक समूह) को बदले में प्रतिचयित करके चर के एक बड़े सेट से प्रतिदर्श के लिए एक सामान्य रूपरेखा माना जा सकता है, और प्रतिचयन के एक या अधिक चरणों को लागू करने के लिए मेट्रोपोलिस-हेस्टिंग्स कलन विधि (या अंशअ प्रतिचयन जैसी विधियाँ) को सम्मिलित कर सकते हैं।

गिब्स प्रतिचयन तब लागू होता है जब संयुक्त वितरण स्पष्ट रूप से ज्ञात नहीं होता है या प्रत्यक्ष रूप से प्रतिदर्श लेना मुश्किल होता है, लेकिन प्रत्येक चर का सशर्त वितरण ज्ञात होता है और प्रतिदर्श के लिए आसान (या कम से कम, आसान) होता है। गिब्स प्रतिचयन कलन विधि बदले में प्रत्येक चर के वितरण से एक अन्य चर के वर्तमान मूल्यों पर सशर्त उदाहरण उत्पन्न करता है। यह दिखाया जा सकता है किप्रतिदर्शो का अनुक्रम एक मार्कोव श्रृंखला का गठन करता है, और उस मार्कोव श्रृंखला का स्थिर वितरण केवल वांछित संयुक्त वितरण है।

गिब्स प्रतिचयन विशेष रूप से बायेसियन नेटवर्क के पश्च वितरण के प्रतिदर्श के लिए अनुकूलित है, क्योंकि बायेसियन नेटवर्क आमतौर पर सशर्त वितरण के संग्रह के रूप में निर्दिष्ट होते हैं।

कार्यान्वयन

गिब्स प्रतिचयन, अपने मूल अवतार में, मेट्रोपोलिस-हेस्टिंग्स कलन विधि की एक विशेष स्थिति है। गिब्स प्रतिचयन का मुद्दा यह है कि एक बहुचर वितरण को देखते हुए एक संयुक्त वितरण पर एकीकृत करके सीमांत वितरण की तुलना में एक सशर्त वितरण से प्रतिदर्श लेना आसान है। मान लीजिए हम एक संयुक्त वितरण $p(x_{1},\dots ,x_{n})$ से $\mathbf {X} =(x_{1},\dots ,x_{n})$ के $\left.k\right.$ प्रतिदर्श प्राप्त करना चाहते हैं। $i$वें प्रतिदर्श को $\mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)$से निरूपित करें। हम निम्नानुसार आगे बढ़ते हैं,

1. हम कुछ प्रारंभिक मान $\mathbf {X} ^{(0)}$ से शुरू करते हैं।
2. हम अगला प्रतिदर्श चाहते हैं। इस अगले प्रतिदर्श को $\mathbf {X} ^{(i+1)}$कहते है। चूँकि $\mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)$ एक सदिश है, हम सदिश के प्रत्येक घटक का प्रतिदर्श $x_{j}^{(i+1)}$ लेते हैं, उस घटक के वितरण से जो अब तक प्रतिदर्श लिए गए वो अन्य सभी घटकों पर सशर्त है। लेकिन यहां एक कैच है, हम $\mathbf {X} ^{(i+1)}$, घटकों पर $x_{j-1}^{(i+1)}$तक प्रतिबंध लगाते हैं, और उसके बाद $\mathbf {X} ^{(i)}$ के घटकों पर $x_{j+1}^{(i)}$ से $x_{n}^{(i)}$ तक प्रतिबंध लगाते हैं। इसे प्राप्त करने के लिए, हम पहले घटक से शुरू करते हुए, क्रम में घटकों का प्रतिदर्श लेते हैं। अधिक औपचारिक रूप से, प्रतिदर्श $x_{j}^{(i+1)}$ लेने के लिए, हम $p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)$द्वारा निर्दिष्ट वितरण के अनुसार इसे अद्यतन करते हैं।
3. हम $i$वें प्रतिदर्श में $(j+1)$वें घटक के मान का उपयोग करते हैं, न कि$(i+1)$वें प्रतिदर्श का।
4. उपरोक्त चरण को $k$ बार दोहराएं ।

गुण

यदि इस तरह का प्रतिदर्श लिया जाता है, तो ये महत्वपूर्ण तथ्य हैं,

• प्रतिदर्श सभी चरों के संयुक्त वितरण का अनुमान लगाते हैं।
• चर के किसी भी उपसमुच्चय के सीमांत वितरण को चर के उस उपसमुच्चय केप्रतिदर्शो पर विचार करके अनुमानित किया जा सकता है, शेष को अनदेखा कर सकते हैं।
• किसी भी चर के प्रत्याशित मान को सभीप्रतिदर्शो के औसत से अनुमानित किया जा सकता है।

प्रतिचयन करते समय,

• चर के प्रारंभिक मूल्यों को बेतरतीब ढंग से या कुछ अन्य कलन विधि जैसे कि अपेक्षा-अधिकतमकरण द्वारा निर्धारित किया जा सकता है।
• पहले चर के प्रतिदर्श के लिए प्रारंभिक मान निर्धारित करना वास्तव में आवश्यक नहीं है।
• शुरुआत (तथाकथित अमिट होने की अवधि) में कुछप्रतिदर्शो की संख्या को अनदेखा करना सामान्य बात है, और फिर केवल प्रत्येक $n$वें प्रतिदर्श पर विचार करें जब एक अपेक्षा की गणना करने के लिए मूल्यों का औसत निकाला जाता है। उदाहरण के लिए, पहले 1,000प्रतिदर्शो को नजरअंदाज किया जा सकता है, और फिर हर 100वें प्रतिदर्श का औसत निकाला जाता है, बाकी सभी को निकाल दिया जाता है। इसका कारण यह है कि (1) मार्कोव श्रृंखला का स्थिर वितरण चरों पर वांछित संयुक्त वितरण है, लेकिन उस स्थिर वितरण तक पहुंचने में कुछ समय लग सकता है, (2) क्रमिक प्रतिदर्श एक दूसरे से स्वतंत्र नहीं होते हैं लेकिन कुछ मात्रा में सहसंबंध के साथ एक मार्कोव श्रृंखला बनाते हैं। कभी-कभी, कलन विधि का उपयोगप्रतिदर्शो के बीच स्वसंबंध की मात्रा और इससे गणना की गई $n$ (सैम्पल के बीच की अवधि जो वास्तव में उपयोग की जाती है) के मान को निर्धारित करने के लिए किया जा सकता है, लेकिन व्यवहार में इसमें उचित मात्रा में अनिष्टकारी या काला जादू सम्मिलित होता है।
• प्रतिचयन प्रक्रिया के शुरुआती भाग में यादृच्छिक भ्रमण व्यवहार को कम करने के लिए अनुकारित अनीलन की प्रक्रिया का उपयोग अक्सर किया जाता है (यानी प्रतिदर्श समष्टि के चारों ओर धीरे-धीरे घूमने की प्रवृत्ति, प्रतिदर्शो के बीच उच्च मात्रा में स्वतः सहसंबंध की उच्च मात्रा के साथ, वांछित के रूप में जल्दी से घूमने की बजाय)। अन्य तकनीकें जो स्वत:सहसंबंध को कम कर सकती हैं, उन्हें गिब्स प्रतिचयन, अवरुद्ध गिब्स प्रतिचयन, और अतिविश्राम में सुव्यवस्थित किया गया है, नीचे देखें।

सशर्त वितरण और संयुक्त वितरण का संबंध

इसके अलावा, अन्य सभी दिए गए एक चर का सशर्त वितरण संयुक्त वितरण के समानुपाती होता है,

$p(x_{j}\mid x_{1},\dots ,x_{j-1},x_{j+1},\dots ,x_{n})={\frac {p(x_{1},\dots ,x_{n})}{p(x_{1},\dots ,x_{j-1},x_{j+1},\dots ,x_{n})}}\propto p(x_{1},\dots ,x_{n})$

इस स्थिति में समानुपाती का अर्थ है कि भाजक $x_{j}$ का फलन नहीं है और इस प्रकार $x_{j}$के सभी मानों के लिए समान है, यह $x_{j}$पर वितरण के लिए सामान्यीकरण स्थिरांक का हिस्सा बनता है। व्यवहार में, एक कारक $x_{j}$ के सशर्त वितरण की प्रकृति का निर्धारण करने के लिए, चर पर आलेखीय प्रतिरूप द्वारा परिभाषित व्यक्तिगत सशर्त वितरण के अनुसार संयुक्त वितरण को कारक बनाना सबसे आसान है, उन सभी कारकों को अनदेखा करें जो $x_{j}$ के फलन नहीं हैं, (जिनमें से सभी, उपरोक्त भाजक के साथ मिलकर सामान्यीकरण स्थिरांक का निर्माण करते हैं), और फिर आवश्यकतानुसार सामान्यीकरण स्थिरांक को अंत में पुनर्स्थापित करते हैं। व्यवहार में, इसका मतलब तीन चीजों में से एक करना है,

1. यदि वितरण असतत है, तो $x_{j}$ के सभी संभावित मानों की अलग-अलग संभावनाओं की गणना की जाती है, और फिर सामान्यीकरण स्थिरांक खोजने के लिए योग किया जाता है।
2. यदि वितरण निरंतर है और ज्ञात रूप का है, तो सामान्यीकरण स्थिरांक भी ज्ञात होगा।
3. अन्य स्थितियों में, सामान्यीकरण स्थिरांक को आमतौर पर अनदेखा किया जा सकता है, क्योंकि अधिकांश प्रतिचयन विधियों को इसकी आवश्यकता नहीं होती है।

निष्कर्ष

गिब्स प्रतिचयन आमतौर पर सांख्यिकीय अनुमिती के लिए उपयोग किया जाता है (उदाहरण के लिए पैरामीटर का सर्वोत्तम मूल्य निर्धारित करना, जैसे कि किसी विशेष स्टोर पर किसी विशेष स्टोर पर खरीदारी करने वाले लोगों की संख्या का निर्धारण करना, तथा वह उम्मीदवार जिसे मतदाता सबसे अधिक वोट देगा, मतदाताओ की संख्या का निर्धारण करना, आदि)। विचार यह है कि देखे गए डेटा के प्रत्येक टुकड़े के लिए अलग-अलग चर बनाकर और उन चरों से प्रतिदर्श लेने के बजाय, उनके देखे गए मूल्यों के लिए चर को ठीक करके प्रतिचयन प्रक्रिया में सम्मिलित किया गया है। शेष चरों का वितरण प्रभावी रूप से प्रेक्षित डेटा पर वातानुकूलित पश्च वितरण है।

एक वांछित पैरामीटर (मोड) का सबसे संभावित मूल्य तब केवल उस प्रतिदर्श मान को चुनकर चयनित किया जा सकता है जो आमतौर पर सबसे अधिक होता है, यह अनिवार्य रूप से एक पैरामीटर के अधिकतम पश्चात के अनुमान के बराबर है। (चूंकि पैरामीटर आमतौर पर निरंतर होते हैं, इसलिए मोड का एक सार्थक अनुमान प्राप्त करने के लिए प्रतिचयित मानों को परिमित संख्या में से किसी एक श्रेणी या "बिन" में "बिन" करना अक्सर आवश्यक होता है।) अधिक सामान्यतः, हालांकि, प्रतिदर्श मूल्यों का अपेक्षित मूल्य (माध्य या औसत) चुना जाता है, यह एक बेयस अनुमानक है जो पूरे वितरण के बारे में अतिरिक्त डेटा का लाभ उठाता है जो कि बायेसियन प्रतिचयन से उपलब्ध है, जबकिअपेक्षा अधिकतमकरण (ईएम) जैसे अधिकतमकरण कलन विधि वितरण से केवल एक बिंदु वापस करने में सक्षम है। उदाहरण के लिए, एक असमान वितरण के लिए माध्य (अपेक्षित मान) आमतौर पर मोड (सबसे सामान्य मान) के समान होता है, लेकिन यदि वितरण एक दिशा में विषमतलीय है, तो माध्य उस दिशा चला जाएगा, जो उस दिशा में अतिरिक्त संभावना द्रव्यमान के लिए प्रभावी रूप से जिम्मेदार है। (यदि कोई वितरण बहुविध है, तो अपेक्षित मान सार्थक बिंदु नहीं लौटा सकता है, और कोई भी मोड आमतौर पर बेहतर विकल्प होता है।)

हालाँकि कुछ चर सामान्य तौर पर रुचि के मापदंडों के अनुरूप होते हैं, अन्य चर के बीच संबंधों को ठीक से व्यक्त करने के लिए प्रतिरूप में पेश किए गए अरुचिकर (उपद्रव) चर हैं। हालांकि प्रतिदर्श मूल्य सभी चर पर संयुक्त वितरण का प्रतिनिधित्व करते हैं, तथा अपेक्षित मूल्यों या मोड की गणना करते समय उपद्रव चर को आसानी से अनदेखा किया जा सकता है, यह उपद्रव चर पर सीमांत वितरण के बराबर है। जब एकाधिक चर के लिए एक मान वांछित होता है, तो अपेक्षित मान की गणना प्रत्येक चर पर अलग से की जाती है। (मोड की गणना करते समय, हालांकि, सभी चरों को एक साथ माना जाना चाहिए।)

पर्यवेक्षित अध्ययन, अनियंत्रित शिक्षा और अर्ध-पर्यवेक्षित शिक्षा (विलुप्त मूल्यों के साथ सीखना) सभी को उन सभी चरो के मानों को ठीक करके नियंत्रित किया जा सकता है, जिनके मूल्य ज्ञात हैं, और जो शेष प्रतिदर्श देते है।

अवलोकन किए गए डेटा के लिए, प्रत्येक अवलोकन के लिए एक चर होगा- उदाहरण के लिए, अवलोकन के एक सेट के प्रतिदर्श माध्य या प्रतिदर्श प्रसरण के अनुरूप एक चर। वास्तव में, आम तौर पर प्रतिदर्श माध्य या प्रतिदर्श प्रसरण जैसी अवधारणाओं के अनुरूप कोई भी चर नहीं होगा। इसके बजाय, ऐसी स्थिति में अज्ञात वास्तविक माध्य और वास्तविक प्रसरण का प्रतिनिधित्व करने वाले चर होंगे, और इन चरों के लिए प्रतिदर्श मानों का निर्धारण स्वचालित रूप से गिब्स प्रतिदर्शी के संचालन से होता है।

सामान्यीकृत रैखिक प्रतिरूप (यानी रैखिक प्रतिगमन की विविधताएं) कभी-कभी गिब्स प्रतिचयन द्वारा भी नियंत्रित किए जा सकते हैं। उदाहरण के लिए, दिए गए द्विआधारी (हां/नहीं) विकल्प की संभावना निर्धारित करने के लिए प्रोबिट प्रतिगमन, सामान्य वितरण पुरोहितों को साथ समाश्रयण गुणांकों पर रखा जाता है, तथा इसे गिब्स प्रतिचयन के साथ लागू किया जा सकता है क्योंकि अतिरिक्त चर को जोड़ना और संयुग्मन का लाभ उठाना संभव है। हालाँकि,संभार तन्त्र परावर्तन को इस तरह से संभाला नहीं जा सकता है। एक संभावना सामान्य वितरण के मिश्रण (आमतौर पर 7-9) के साथ तार्किक फलन को अनुमानित करना है। अधिक सामान्यतः, गिब्स प्रतिदर्श के बजाय मेट्रोपोलिस-हेस्टिंग्स का उपयोग किया जाता है।

गणितीय पृष्ठभूमि

मान लीजिए कि एक प्रतिदर्श $\left.X\right.$ वितरण से लिया गया है जो पूर्व वितरण$g(\theta _{1},\ldots ,\theta _{d})$ के साथ लंबाई $\left.d\right.$ के पैरामीटर सदिश $\theta \in \Theta \,\!$ पर निर्भर करता है। यह हो सकता है कि $\left.d\right.$ बहुत बड़ा है और $\left.\theta _{i}\right.$ के सीमांत घनत्वों को खोजने के लिए एकीकरण अभिकलनीयत रूप से महंगा होगा। फिर इन दो चरणों को दोहराते हुए सीमांत घनत्व की गणना करने का एक वैकल्पिक तरीका अंतरिक्ष $\left.\Theta \right.$ पर एक मार्कोव श्रृंखला बनाना है,

1. एक यादृच्छिक सूचकांक चुनें $1\leq j\leq d$
2. $g(\theta _{1},\ldots ,\theta _{j-1},\,\cdot \,,\theta _{j+1},\ldots ,\theta _{d})$ के अनुसार $\left.\theta _{j}\right.$के लिए एक नया मान चुनें

ये चरण वांछित अपरिवर्तनीय वितरण $\left.g\right.$ के साथ एक मार्कोव श्रृंखला को परिभाषित करते हैं । इसे इस प्रकार सिद्ध किया जा सकता है। $x\sim _{j}y$ को परिभाषित करें यदि सभी $i\neq j$ के लिए $\left.x_{i}=y_{i}\right.$ और मान लें कि $\left.p_{xy}\right.$ $x\in \Theta$ से $y\in \Theta$ तक छलांग लगाने की संभावना को दर्शाता है। फिर, संक्रमण प्रायिकता

$p_{xy}={\begin{cases}{\frac {1}{d}}{\frac {g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}&x\sim _{j}y\\0&{\text{otherwise}}\end{cases}}$

हैं अतः

$g(x)p_{xy}={\frac {1}{d}}{\frac {g(x)g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}={\frac {1}{d}}{\frac {g(y)g(x)}{\sum _{z\in \Theta :z\sim _{j}y}g(z)}}=g(y)p_{yx}$

चूँकि $x\sim _{j}y$ एक तुल्यता संबंध है। इस प्रकार विस्तृत संतुलन समीकरण संतुष्ट हैं, जिसका अर्थ है कि श्रृंखला प्रतिवर्ती है और इसमें अपरिवर्तनीय वितरण $\left.g\right.$ है।

व्यवहार में, अनुक्रमित $\left.j\right.$ को यादृच्छिक रूप से नहीं चुना जाता है, और अनुक्रमित के माध्यम से श्रृंखला चक्र क्रम में होती है। सामान्य तौर पर यह एक गैर-स्थिर मार्कोव प्रक्रिया देता है, लेकिन प्रत्येक व्यक्तिगत चरण अभी भी प्रतिवर्ती होगा, और समग्र प्रक्रिया में अभी भी वांछित स्थिर वितरण होगा (जब तक कि श्रृंखला निश्चित क्रम के तहत सभी अवस्थाओ तक पहुंच सकती है)।

बायेसियन अनुमान में गिब्स प्रतिदर्शी और सूचना सिद्धांत के संबंध

मान लीजिए $y$ प्रतिचयन वितरण से उत्पन्न टिप्पणियों को निरूपित करता है तब $f(y|\theta )$ और $\pi (\theta )$ प्राचल समष्टि $\Theta$ पर पूर्व समर्थित हैं। फिर बायेसियन आँकड़ों के केंद्रीय लक्ष्यों में से एक पश्च घनत्व

$\pi (\theta |y)={\frac {f(y|\theta )\cdot \pi (\theta )}{m(y)}}$

का अनुमान लगाना है जहां सीमांत संभावना $m(y)=\int _{\Theta }f(y|\theta )\cdot \pi (\theta )d\theta$ को सभी $y$ के लिए परिमित माना जाता है।

गिब्स प्रतिदर्शी की व्याख्या करने के लिए, हम अतिरिक्त रूप से मान लेते हैं कि पैरामीटर स्पेस $\Theta$ रूप में विघटित हो जाता है

$\Theta =\prod _{i=1}^{K}\Theta _{i}=\Theta _{1}\times \cdots \Theta _{i}\times \cdots \times \Theta _{K},\quad \quad (K>1)$,

कहाँ $\times$ कार्तीय गुणनफल को प्रदर्शित करता है। प्रत्येक घटक प्राचल समष्टि $\Theta _{i}$ अदिश घटकों, उपसदिश या मैट्रिसेस का एक सेट हो सकता है।

एक समुच्चय $\Theta _{-i}$ को परिभाषित करें जो $\Theta _{i}$को पूरा करता है। गिब्स प्रतिदर्शी की आवश्यक सामग्री प्रत्येक $i=1,\cdots ,K$

$\pi (\theta _{i}|\theta _{-i},y)=\pi (\theta _{i}|\theta _{1},\cdots ,\theta _{i-1},\theta _{i+1},\cdots ,\theta _{K},y)$के लिए $i$-वाँ पूर्ण सशर्त पश्च वितरण है

गिब्स प्रतिचयन कलन विधि का सचित्र विवरण

एक चक्र के भीतर i-वें चरण में गिब्स प्रतिदर्शी से जुड़ी सूचना समानता का योजनाबद्ध विवरण

निम्नलिखित कलन विधि एक सामान्य गिब्स प्रतिदर्शी का विवरण देता है:

${\text{Initialize: pick arbitrary starting value}}\,\,\theta ^{(1)}=(\theta _{1}^{(1)},\theta _{2}^{(1)},\cdots ,\theta _{i}^{(1)},\theta _{i+1}^{(1)},\cdots ,\theta _{K}^{(1)})$

${\text{Iterate a Cycle:}}\,$

$\quad \quad {\text{Step 1. draw}}\,\,\theta _{1}^{(s+1)}\sim \pi (\theta _{1}|\theta _{2}^{(s)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad {\text{Step 2. draw}}\,\,\theta _{2}^{(s+1)}\sim \pi (\theta _{2}|\theta _{1}^{(s+1)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad \quad \vdots$

$\quad \quad {\text{Step i. draw}}\,\,\theta _{i}^{(s+1)}\sim \pi (\theta _{i}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i-1}^{(s+1)},\theta _{i+1}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad {\text{Step i+1. draw}}\,\,\theta _{i+1}^{(s+1)}\sim \pi (\theta _{i+1}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i}^{(s+1)},\theta _{i+2}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad \quad \vdots$

$\quad \quad {\text{Step K. draw}}\,\,\theta _{K}^{(s+1)}\sim \pi (\theta _{K}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{K-1}^{(s+1)},y)$

${\text{end Iterate}}$

ध्यान दें कि गिब्स प्रतिदर्शी एक चक्र के भीतर पुनरावृत्त मोंटे कार्लो योजना द्वारा संचालित होता है। उपरोक्त कलन विधि द्वारा तैयार किए गए प्रतिदर्शो की $S$ संख्या $\{\theta ^{(s)}\}_{s=1}^{S}$ लक्ष्य घनत्व $\pi (\theta |y)$ होने के लिए अपरिवर्तनीय वितरण के साथ मार्कोव शृंखला तैयार करती है।

अब, प्रत्येक $i=1,\cdots ,K$, के लिए निम्नलिखित सूचना सैद्धांतिक मात्राओ को परिभाषित करें,

$I(\theta _{i};\theta _{-i})={\text{KL}}(\pi (\theta |y)||\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y))=\int _{\Theta }\pi (\theta |y)\log {\bigg (}{\frac {\pi (\theta |y)}{\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y)}}{\bigg )}d\theta ,$

$H(\theta _{-i})=-\int _{\Theta _{-i}}\pi (\theta _{-i}|y)\log \pi (\theta _{-i}|y)d\theta _{-i},$

$H(\theta _{-i}|\theta _{i})=-\int _{\Theta }\pi (\theta |y)\log \pi (\theta _{-i}|\theta _{i},y)d\theta ,$

अर्थात्, क्रमशः पश्च पारस्परिक सूचना, पश्च अंतर एन्ट्रापी, और पश्च सशर्त अंतर एन्ट्रापी, । हम इसी प्रकार परिभाषित मात्राओं में $i$ और $-i$ को बदलकर सूचना सिद्धांतिक मात्राओं $I(\theta _{-i};\theta _{i})$, $H(\theta _{i})$, और $H(\theta _{i}|\theta _{-i})$ को परिभाषित कर सकते हैं। फिर, निम्नलिखित $K$ समीकरण लागू होता हैं।

$I(\theta _{i};\theta _{-i})=H(\theta _{-i})-H(\theta _{-i}|\theta _{i})=H(\theta _{i})-H(\theta _{i}|\theta _{-i})=I(\theta _{-i};\theta _{i}),\quad (i=1,\cdots ,K)$.

पारस्परिक सूचना $I(\theta _{i};\theta _{-i})$ यादृच्छिक मात्रा $\theta _{i}$ की अनिश्चितता में कमी की मात्रा निर्धारित करती है, जब हम $\theta _{-i}$, का अनुमान लगाते हैं। यह गायब हो जाता है अगर केवल $\theta _{i}$ और $\theta _{-i}$ आंशिक रूप से स्वतंत्र हैं, और केवल अनुमान लगाते हैं। पारस्परिक सूचना $I(\theta _{i};\theta _{-i})$ की व्याख्या उस मात्रा के रूप में की जा सकती है जो गिब्स प्रतिदर्शी के एकल चक्र के भीतर $i$-वें चरण से $i+1$ चरण तक प्रेषित होती है।

विविधता और विस्तार

बुनियादी गिब्स प्रतिदर्शी के कई रूप मौजूद हैं। इन विविधताओं का लक्ष्य किसी भी अतिरिक्त संगणनात्मक लागतों को दूर करने के लिए पर्याप्त रूप से प्रतिदर्शो के बीच स्वत: संबंध को कम करना है।

अवरुद्ध गिब्स प्रतिदर्शी

• एक अवरुद्ध गिब्स प्रतिदर्शी दो या दो से अधिक चरों को एक साथ समूहित करता है और उनके संयुक्त वितरण से प्रतिदर्श अलग-अलग प्रत्येक से प्रतिदर्श लेने के बजाय अन्य सभी चरों पर सशर्त होता है। उदाहरण के लिए, एक छिपे हुआ मार्कोव प्रारूप में, एक अवरुद्ध गिब्स प्रतिदर्शी अग्र पश्‍च कलन विधि का उपयोग करके मार्कोव श्रृंखला बनाने वाले सभी अव्यक्त चर से प्रतिदर्श ले सकता है।

संकुचित गिब्स प्रतिदर्शी

• किसी अन्य चर के लिए प्रतिदर्श लेते समय एक संकुचित गिब्स प्रतिदर्श एक या अधिक चर (सीमांत वितरण) को एकीकृत करता है। उदाहरण के लिए, कल्पना करें कि एक प्रारुप में तीन चर A, B और C होते हैं। एक साधारण गिब्स प्रतिदर्शी p(A | B,C), तब p(B | A ,C), फिर p(C | A,B) से प्रतिदर्श लेगा। एक संकुचित गिब्स प्रतिदर्शी A के लिए प्रतिदर्श चरण को सीमांत वितरण p(A | C) से लिए गए प्रतिदर्श से बदल सकता है, इस मामले में चर 'B को एकीकृत किया गया है। वैकल्पिक रूप से, चर B को पूरी तरह से संकुचित किया जा सकता है, वैकल्पिक रूप से p(A | C) और p(C | A) से प्रतिदर्श लिया जा सकता है और B पर बिल्कुल प्रतिचयन नहीं लिया जा सकता है। एक चर A पर वितरण जो मूल चर B के संकुचित होने पर उत्पन्न होता है, एक मिश्रित वितरण कहलाता है, इस वितरण से प्रतिदर्श आम तौर पर सुविधाजनक होता है जब 'B' 'A ' के ​​​​लिए पूर्ववर्ती संयुग्म होता है, खासकर तब 'A' और 'B' घातीय परिवार के सदस्य होते हैं। अधिक जानकारी के लिए, यौगिक वितरण या लियू (1994) पर लेख देखें।

संकुचित डिरिक्ले वितरण

स्पष्ट चर के साथ पदानुक्रमित बायेसियन प्रारूप में, जैसे अव्यक्त डिरिचलेट आवंटन और प्राकृतिक भाषा प्रसंस्करण में उपयोग किए जाने वाले विभिन्न अन्य प्रारूप, डिरिचलेट वितरण को समाप्त करना काफी सामान्य है जो आमतौर पर श्रेणीबद्ध चर पर पूर्व वितरण के रूप में उपयोग किया जाता है। इस संकुचित का परिणाम किसी दिए गए डिरिचलेट पर निर्भर सभी स्पष्ट चर के बीच निर्भरता का परिचय देता है, और संकुचित के बाद इन चरों का संयुक्त वितरण एक डिरिचलेट-बहुराष्ट्रीय वितरण है। यदि संकुचित नहीं किया गया होता तो इस वितरण में दिए गए श्रेणीबद्ध चर का सशर्त वितरण, दूसरों पर वातानुकूलित, एक अत्यंत सरल रूप ग्रहण करता है जो गिब्स प्रतिचयन को और भी आसान बना देता है। नियम इस प्रकार हैं,

1. एक डिरिचलेट पूर्व नोड को संकुचित करने से केवल पूर्व के माता-पिता और बच्चों के नोड प्रभावित होते हैं। चूंकि माता-पिता अक्सर स्थिर होते हैं, आमतौर पर केवल बच्चों के बारे में हमें चिंता करने की आवश्यकता होती है।
2. क डिरिचलेट पूर्व को समाप्त करने से उस पूर्व पर निर्भर सभी स्पष्ट बच्चों के बीच निर्भरता का परिचय मिलता है - लेकिन किसी भी अन्य श्रेणीबद्ध बच्चों के बीच कोई अतिरिक्त निर्भरता नहीं होती है। (यह ध्यान रखना महत्वपूर्ण है, उदाहरण के लिए, जब एक ही हाइपरप्रियर से संबंधित कई डिरिचलेट पूर्ववर्ती होते हैं। प्रत्येक डिरिचलेट पूर्व को स्वतंत्र रूप से ध्वस्त किया जा सकता है और केवल इसके प्रत्यक्ष बच्चों को प्रभावित करता है।)
3. ढहने के बाद, एक आश्रित बच्चों का दूसरों पर सशर्त वितरण एक बहुत ही सरल रूप धारण कर लेता है, किसी दिए गए मूल्य को देखने की संभावना इस मूल्य के लिए संबंधित हाइपरप्रियर के योग के समानुपाती होती है, और समान मान मानने वाले अन्य सभी आश्रित नोड्स की गिनती होती है। समान पूर्व पर निर्भर नहीं होने वाले नोड्स की गणना नहीं की जानी चाहिए। यही नियम अन्य पुनरावृत्त अनुमान विधियों जैसे परिवर्तन संबंधी बेज़ या अपेक्षा अधिकतमीकरण में भी लागू होता है, हालाँकि, यदि विधि में आंशिक गणना रखना सम्मिलित है, तो विचाराधीन मान के लिए आंशिक गणना को अन्य सभी आश्रित नोड्स में सम्मिलित किया जाना चाहिए। कभी-कभी इस सारांशित आंशिक गणना को अपेक्षित गणना या समान कहा जाता है। संभाव्यता परिणामी मान के समानुपाती होती है, वास्तविक संभाव्यता को उन सभी संभावित मानों के सामान्यीकरण द्वारा निर्धारित किया जाना चाहिए जो श्रेणीबद्ध चर ले सकते हैं (अर्थात श्रेणीबद्ध चर के प्रत्येक संभावित मान के लिए परिकलित परिणाम जोड़ना, और इस योग से सभी परिकलित परिणामों को विभाजित करना)।
4. यदि किसी दिए गए श्रेणीबद्ध नोड में आश्रित बच्चे (उदाहरण के लिए जब यह मिश्रण प्रारूप में एक अव्यक्त चर होता है) हैं, तो पिछले चरण (अपेक्षित गणना प्लस पूर्व, या जो कुछ भी गणना की जाती है) में गणना किए गए मान को वास्तविक सशर्त संभावनाओं (एक गणना मूल्य नहीं है जो संभावना के समानुपाती है!) से गुणा किया जाना चाहिए। विस्तृत चर्चा के लिए डिरिचलेट-बहुराष्ट्रीय बंटन पर लेख देखें।
5. ऐसे स्थिति में जहां किसी दिए गए डिरिचलेट पूर्व पर निर्भर नोड्स की समूह सदस्यता कुछ अन्य चर के आधार पर गतिशील रूप से बदल सकती है (उदाहरण के लिए एक विषय प्रारूप के रूप में एक अन्य अव्यक्त श्रेणीबद्ध चर द्वारा अनुक्रमित एक श्रेणीबद्ध चर), वही अपेक्षित गणना की अभी भी गणना की जाती है, लेकिन सावधानी से करने की आवश्यकता है ताकि चरों का सही सेट सम्मिलित किया जा सके। विषय प्रारूप के संदर्भ सहित, अधिक चर्चा के लिए डिरिचलेट-बहुराष्ट्रीय वितरण पर लेख देखें।

अन्य संयुग्मी पुरोहितों का समाप्‍त होना

सामान्य तौर पर, किसी भी संयुग्म को पूर्व में ध्वस्त किया जा सकता है, यदि उसके एकमात्र बच्चों के वितरण संयुग्म हैं। यौगिक वितरण पर लेख में प्रासंगिक गणित पर चर्चा की गई है। यदि केवल एक चाइल्ड नोड है, तो परिणाम अक्सर एक ज्ञात वितरण मान लेगा। उदाहरण के लिए, एक एकल सामान्य वितरण बच्चे के साथ एक नेटवर्क से बाहर एक विपरीत गामा वितरित भिन्नता को ध्वस्त करने से छात्र का टी-वितरण प्राप्त होगा।। (उस स्थिति के लिए, एक एकल सामान्य वितरण बच्चे के माध्य और विचरण दोनों को ढहाने से अभी भी एक छात्र का टी-वितरण प्राप्त होगा, बशर्ते दोनों, यानी सामान्य वितरण माध्य, व्युत्क्रम-गामा विचरण संयुग्मित हों।)

यदि कई बच्चे नोड हैं, तो वे सभी निर्भर हो जाएंगे, जैसा कि डिरिचलेट वितरण-श्रेणीबद्ध वितरण मामले में है। परिणामी संयुक्त वितरण का एक बंद रूप होगा जो कुछ मायनों में यौगिक वितरण जैसा दिखता है, हालांकि इसमें कई कारकों का उत्पाद होगा, प्रत्येक बच्चे के नोड के लिए एक।

इसके अलावा, और सबसे महत्वपूर्ण बात यह है कि दूसरों को दिए गए चाइल्ड नोड्स में से एक के परिणामस्वरूप सशर्त वितरण (और ढह गए नोड के माता-पिता को भी दिया गया है, लेकिन चाइल्ड नोड्स के बच्चों को नहीं दिया गया है) के समान घनत्व होगा शेष सभी चाइल्ड नोड्स का पश्च भविष्य कहनेवाला वितरण । इसके अलावा, पश्च भविष्यवाणिय वितरण में एकल नोड के मूल यौगिक वितरण के समान घनत्व है, हालांकि विभिन्न मापदंडों के साथ। यौगिक वितरण पर लेख में सामान्य सूत्र दिया गया है।

उदाहरण के लिए, सशर्त रूप से स्वतंत्र समान रूप से वितरित गॉसियन वितरण के एक सेट के साथ एक बेयस नेटवर्क दिया गया है। गाऊसी-वितरित नोड्स के साथ संयुग्मित पूर्व वितरण माध्य और भिन्नता पर रखा गया है, एक नोड का सशर्त वितरण दूसरों को माध्य और विचरण दोनों को संयोजित करने के बाद दिया गया है। एक छात्र का टी-वितरण होगा। इसी तरह, कई पॉसॉन वितरण से पहले [[गाऊसी वितरण]] को कंपाउंडिंग करने का परिणाम | पॉइसन-वितरित नोड्स एक नोड के सशर्त वितरण का कारण बनता है, जिससे अन्य एक नकारात्मक द्विपद वितरण मान लेते हैं।

इन स्थितियों में जहां कंपाउंडिंग एक प्रसिद्ध वितरण का उत्पादन करता है, कुशल प्रतिचयन प्रक्रियाएं अक्सर मौजूद होती हैं, और उनका उपयोग करना अक्सर (हालांकि जरूरी नहीं) ढहने से अधिक कुशल होगा, और इसके बजाय पूर्व और बच्चे दोनों नोड्स को अलग-अलग प्रतिदर्श लेना होगा। हालाँकि, ऐसे मामले में जहां यौगिक वितरण अच्छी तरह से ज्ञात नहीं है, इसका प्रतिदर्श लेना आसान नहीं हो सकता है, क्योंकि यह आम तौर पर घातीय परिवार से संबंधित नहीं होगा और आमतौर पर लघुगणकीय रूप से अवतल कार्य नहीं होगा। अनुकूली अस्वीकृति प्रतिचयन का उपयोग करके प्रतिदर्श लेना आसान है, क्योंकि एक बंद रूप हमेशा मौजूद रहता है)।

ऐसे मामले में जहां ढह गए नोड्स के बच्चे नोड्स में बच्चे हैं, इन बच्चों के नोड्स में से एक का सशर्त वितरण ग्राफ में अन्य सभी नोड्स को इन दूसरे स्तर के बच्चों के वितरण को ध्यान में रखना होगा। विशेष रूप से, परिणामी सशर्त वितरण संयुक्त वितरण के एक उत्पाद के समानुपाती होगा जैसा कि ऊपर परिभाषित किया गया है, और सभी बच्चे नोड्स के सशर्त वितरण उनके माता-पिता को दिए गए हैं (लेकिन अपने स्वयं के बच्चों को नहीं दिए गए हैं)। यह इस तथ्य से अनुसरण करता है कि पूर्ण सशर्त वितरण संयुक्त वितरण के समानुपाती होता है। यदि ढह गए नोड्स के बच्चे के नोड्स निरंतर वितरण हैं, तो यह वितरण आम तौर पर एक ज्ञात रूप का नहीं होगा, और इस तथ्य के बावजूद प्रतिदर्श बनाना मुश्किल हो सकता है कि एक बंद फॉर्म लिखा जा सकता है, ऊपर वर्णित कारणों के लिए गैर-ज्ञात यौगिक वितरण। हालाँकि, विशेष मामले में कि बच्चे के नोड असतत वितरण हैं, प्रतिदर्श संभव है, भले ही इन बच्चे के नोड के बच्चे निरंतर होंअसतत या असतत। वास्तव में, यहां सम्मिलित सिद्धांत को डिरिचलेट-बहुराष्ट्रीय वितरण पर लेख में उचित विवरण में वर्णित किया गया है।

ऑर्डर किए गए ओवररिलैक्सेशन के साथ गिब्स प्रतिदर्शी

• एक गिब्स प्रतिदर्शी ने आदेशित ओवररिलैक्सेशन के लिए एक विषम संख्या में उम्मीदवार मूल्यों के लिए प्रतिदर्श लिए $x_{j}^{(i)}$ किसी दिए गए चरण पर और उन्हें एकल मान के साथ क्रमबद्ध करें $x_{j}^{(i-1)}$ कुछ अच्छी तरह से परिभाषित आदेश के अनुसार। अगर $x_{j}^{(i-1)}$ एस है^th क्रमबद्ध सूची में सबसे छोटा तो the $x_{j}^{(i)}$ एस के रूप में चुना गया है^वें क्रमबद्ध सूची में सबसे बड़ा। अधिक जानकारी के लिए, नील (1995) देखें।

अन्य एक्सटेंशन

गिब्स प्रतिचयन को विभिन्न तरीकों से विस्तारित करना भी संभव है। उदाहरण के लिए, वेरिएबल्स के मामले में जिनके सशर्त वितरण से प्रतिदर्श लेना आसान नहीं है, स्लाइस प्रतिचयन या मेट्रोपोलिस-हेस्टिंग्स कलन विधि का एक एकल पुनरावृत्ति प्रश्न में वेरिएबल्स से प्रतिदर्श लेने के लिए इस्तेमाल किया जा सकता है। उन चरों को सम्मिलित करना भी संभव है जो यादृच्छिक चर नहीं हैं, लेकिन जिनका मान निश्चित रूप से अन्य चरों से गणना किया जाता है। सामान्यीकृत रैखिक प्रारूप, उदा। लॉजिस्टिक रिग्रेशन (उर्फ अधिकतम एन्ट्रापी वर्गीकारक प्रारूप), इस तरह से सम्मिलित किया जा सकता है। (बीयूजीएस, उदाहरण के लिए, प्रारूप के इस प्रकार के मिश्रण की अनुमति देता है।)

विफलता मोड

गिब्स प्रतिचयन दो तरीकों से विफल हो सकता है। पहला तब होता है जब उच्च-संभावना वाले राज्यों के द्वीप होते हैं, जिनके बीच कोई रास्ता नहीं होता है। उदाहरण के लिए, 2-बिट सदिशों पर प्रायिकता वितरण पर विचार करें, जहाँ सदिशों (0,0) और (1,1) प्रत्येक की प्रायिकता ½ है, लेकिन अन्य दो सदिशों (0,1) और (1,0) की प्रायिकता है शून्य। गिब्स प्रतिचयन दो उच्च संभावना वाले वैक्टर में से एक में फंस जाएगा, और दूसरे तक कभी नहीं पहुंचेगा। अधिक आम तौर पर, उच्च-आयामी, वास्तविक-मूल्य वाले वैक्टर पर किसी भी वितरण के लिए, यदि सदिश के दो विशेष तत्व पूरी तरह से सहसंबद्ध (या पूरी तरह से विरोधी-सहसंबंध) हैं, तो वे दो तत्व अटक जाएंगे, और गिब्स प्रतिचयन कभी भी बदलने में सक्षम नहीं होगा उन्हें।

दूसरी समस्या तब भी हो सकती है जब सभी राज्यों में संभावना शून्य न हो और उच्च संभावना वाले राज्यों का केवल एक ही द्वीप हो। उदाहरण के लिए, 100-बिट सदिशों पर प्रायिकता वितरण पर विचार करें, जहां सभी शून्य सदिश संभाव्यता ½ के साथ होता है, और अन्य सभी सदिश समान रूप से संभाव्य हैं, और इसलिए इसकी प्रायिकता है ${\frac {1}{2(2^{100}-1)}}$ प्रत्येक। यदि आप शून्य सदिश की प्रायिकता का अनुमान लगाना चाहते हैं, तो सही वितरण से 100 या 1000 प्रतिदर्श लेना पर्याप्त होगा। यह लगभग ½ के करीब उत्तर देने की संभावना है। लेकिन आपको शायद इससे ज्यादा लेना होगा $2^{100}$ समान परिणाम प्राप्त करने के लिए गिब्स के प्रतिदर्श से प्रतिदर्श। कोई भी कंप्यूटर जीवन भर ऐसा नहीं कर सकता था।

यह समस्या तब होती है जब बर्न-इन अवधि कितनी भी लंबी हो। ऐसा इसलिए है क्योंकि सही वितरण में, शून्य सदिश आधा समय होता है, और उन घटनाओं को गैर-शून्य वैक्टरों के साथ यादृच्छिक रूप से मिश्रित किया जाता है। यहां तक ​​कि एक छोटा सा प्रतिदर्श भी शून्य और अशून्य दोनों सदिशों को देखेगा। लेकिन गिब्स प्रतिचयन लंबी अवधि के लिए केवल शून्य सदिश वापस करने के बीच वैकल्पिक होगा (लगभग $2^{99}$ एक पंक्ति में), फिर लंबी अवधि के लिए केवल अशून्य वैक्टर (लगभग $2^{99}$ एक पंक्ति में)। इस प्रकार सही वितरण के लिए अभिसरण बेहद धीमा है, इसके लिए बहुत अधिक की आवश्यकता होती है $2^{99}$ कदम; उचित समय अवधि में इतने सारे कदम उठाना कम्प्यूटेशनल रूप से संभव नहीं है। यहाँ धीमे अभिसरण को आयामीता के अभिशाप के परिणाम के रूप में देखा जा सकता है। इस तरह की समस्या को एक बार में पूरे 100-बिट सदिश को ब्लॉक प्रतिचयन द्वारा हल किया जा सकता है। (यह मानता है कि 100-बिट सदिश चर के एक बड़े सेट का हिस्सा है। यदि यह सदिश केवल एक चीज है जिसका प्रतिदर्श लिया जा रहा है, तो ब्लॉक प्रतिचयन गिब्स प्रतिचयन बिल्कुल नहीं करने के बराबर है, जो परिकल्पना द्वारा कठिन होगा।)

सॉफ्टवेयर

• OpenBUGS सॉफ़्टवेयर (गिब्स सैम्पलिंग का उपयोग करके बायेसियन अनुमान) मार्कोव श्रृंखला मोंटे कार्लो का उपयोग करके जटिल सांख्यिकीय प्रारूप का बायेसियन विश्लेषण करता है।

• बस एक और गिब्स प्रतिदर्शी (बस एक और गिब्स प्रतिदर्शी) मार्कोव चेन मोंटे कार्लो का उपयोग करके बायेसियन पदानुक्रमित प्रारूप के विश्लेषण के लिए एक जीपीएल कार्यक्रम है।

• चर्च (प्रोग्रामिंग भाषा) मनमाना वितरण पर गिब्स अनुमान लगाने के लिए मुफ्त सॉफ्टवेयर है जो कि संभाव्य कार्यक्रमों के रूप में निर्दिष्ट हैं।

• PyMC सामान्य ग्राफिकल प्रारूप के बायेसियन सीखने के लिए एक ओपन सोर्स पायथन (प्रोग्रामिंग लैंग्वेज) लाइब्रेरी है।
• Turing संभाव्य प्रोग्रामिंग का उपयोग करके बायेसियन अनुमान के लिए एक खुला स्रोत जूलिया (प्रोग्रामिंग भाषा) पुस्तकालय है।

संदर्भ

• Bishop, Christopher M. (2006), Pattern Recognition and Machine Learning, Springer, ISBN 978-0-387-31073-2
• Bolstad, William M. (2010), Understanding Computational Bayesian Statistics, John Wiley ISBN 978-0-470-04609-8
• Casella, G.; George, E. I. (1992). "Explaining the Gibbs Sampler". The American Statistician. 46 (3): 167. CiteSeerX 10.1.1.554.3993. doi:10.2307/2685208. JSTOR 2685208. (Contains a basic summary and many references.)
• Gelfand, Alan E.; Smith, Adrian F. M. (1990), "Sampling-Based Approaches to Calculating Marginal Densities", Journal of the American Statistical Association, 85 (410): 398–409, doi:10.2307/2289776, JSTOR 2289776, MR 1141740
• Gelman, A., Carlin J. B., Stern H. S., Dunson D., Vehtari A., Rubin D. B. (2013), Bayesian Data Analysis, third edition. London: Chapman & Hall.
• Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L. (2008), "Markov Chains and Mixing Times", American Mathematical Society.
• Robert, C. P.; Casella, G. (2004), Monte Carlo Statistical Methods (second edition), Springer-Verlag.