गिब्स सैंपलिंग

आंकड़ों में, गिब्स सैंपलिंग या गिब्स सैम्पलर एक मार्कोव शृंखला मोंटे कार्लो (एमसीएमसी)कलन विधि है, जो अवलोकनों का एक क्रम प्राप्त करने के लिए होती है, तथा जो तब एक निर्दिष्ट बहुभिन्नरूपी संभाव्यता वितरण से अनुमानित होती है, जब प्रत्यक्ष सैंपलिंग कठिन होता है। इस अनुक्रम का उपयोग संयुक्त वितरण (उदाहरण के लिए, वितरण का आयत चित्र उत्पन्न करने के लिए), जैसे किसी एक चर, या चर के कुछ उपसमुच्चय (उदाहरण के लिए, अज्ञात प्राचल या अंतर्निहित चर) के सीमांत वितरण का अनुमान लगाने के लिए, या एक अभिन्न की गणना करने के लिए, (जैसे चर में से एक का प्रत्याशित मान) आदि को अनुमानित करने के लिए किया जा सकता है। सामान्यतः कुछ चर उन टिप्पणियों के अनुरूप होते हैं जिनके मान ज्ञात होते हैं, और इसलिए उन्हें प्रतिचयित लेने की आवश्यकता नहीं होती है।

गिब्स सैंपलिंग सामान्यतः सांख्यिकीय अनुमिती यानी विशेष रूप से बेज अनुमिति के साधन के रूप में प्रयोग किया जाता है। यह एक यादृच्छिक कलन विधि है (अर्थात एक कलन विधि जो यादृच्छिक संख्याओं का उपयोग करती है), जो अपेक्षा-अधिकतमीकरण कलन विधि (ईएम) जैसे सांख्यिकीय अनुमिती के लिए नियतात्मक कलन विधि का एक विकल्प है।

अन्य एमसीएमसी कलन विधि के साथ, गिब्स सैंपलिंग सैंपलिंग की मार्कोव श्रृंखला उत्पन्न करता है, जिनमें से प्रत्येक पास के सैंपलिंग से सहसंबंधित है। जिसके फलस्वरूप, अगर स्वतंत्र सैंपलिंग वांछित हैं तो देखभाल की जानी चाहिए। सामान्यतः श्रृंखला की प्रारम्भ ("बर्न-इन अवधि") से सैंपलिंग वांछित वितरण का सटीक रूप से प्रतिनिधित्व नहीं कर सकते हैं और सामान्यतः निराकृत कर दिए जाते हैं।

परिचय

सैंपलिंग कलन विधि और सांख्यिकीय भौतिकी के बीच समानता के संदर्भ में, गिब्स सैंपलिंग का नाम भौतिक विज्ञानी जोशियाह विलार्ड गिब्स के नाम पर रखा गया है। गिब्स की मृत्यु के लगभग आठ दशक बाद 1984 में दो भाइयों स्टुअर्ट जेमन और डोनाल्ड जेमन द्वारा कलन विधि का वर्णन किया गया था, और सीमांत प्रायिकता वितरण, विशेष रूप से उत्‍तरबंटन की गणना के लिए सांख्यिकी समुदाय में लोकप्रिय हो गया।

अपने मूल संस्करण में, गिब्स सैंपलिंग मेट्रोपोलिस-हेस्टिंग्स कलन विधि की एक विशेष स्थिति है। हालांकि, इसके विस्तारित संस्करणों (नीचे देखें) में, इसे प्रत्येक चर (या कुछ स्थितयो में, चर के प्रत्येक समूह) को बदले में प्रतिचयित करके चर के एक बड़े सेट से सैंपलिंग के लिए एक सामान्य रूपरेखा माना जा सकता है, और सैंपलिंग के एक या अधिक चरणों को लागू करने के लिए मेट्रोपोलिस-हेस्टिंग्स कलन विधि (या अंशअ सैंपलिंग जैसी विधियाँ) को सम्मिलित कर सकते हैं।

गिब्स सैंपलिंग तब लागू होता है जब संयुक्त वितरण स्पष्ट रूप से ज्ञात नहीं होता है या प्रत्यक्ष रूप से सैंपलिंग लेना मुश्किल होता है, लेकिन प्रत्येक चर का सशर्त वितरण ज्ञात होता है और सैंपलिंग के लिए आसान (या कम से कम, आसान) होता है। गिब्स सैंपलिंग कलन विधि बदले में प्रत्येक चर के वितरण से एक अन्य चर के वर्तमान मूल्यों पर सशर्त उदाहरण उत्पन्न करता है। यह दिखाया जा सकता है कि प्रतिदर्शो का अनुक्रम एक मार्कोव श्रृंखला का गठन करता है, और उस मार्कोव श्रृंखला का स्थिर वितरण केवल वांछित संयुक्त वितरण है।

गिब्स सैंपलिंग विशेष रूप से बायेसियन नेटवर्क के उत्‍तरबंटन के सैंपलिंग के लिए अनुकूलित है, क्योंकि बायेसियन नेटवर्क सामान्यतः सशर्त वितरण के संग्रह के रूप में निर्दिष्ट होते हैं।

कार्यान्वयन

गिब्स प्रतिचयन, अपने मूल अवतार में, मेट्रोपोलिस-हेस्टिंग्स कलन विधि की एक विशेष स्थिति है। गिब्स सैंपलिंग का सारांश यह है कि एक बहुचर वितरण को देखते हुए एक संयुक्त वितरण पर एकीकृत करके सीमांत वितरण की तुलना में एक सशर्त वितरण से सैंपलिंग लेना आसान है। मान लीजिए हम एक संयुक्त वितरण $p(x_{1},\dots ,x_{n})$ से $\mathbf {X} =(x_{1},\dots ,x_{n})$ के $\left.k\right.$ सैंपलिंग प्राप्त करना चाहते हैं। $i$वें सैंपलिंग को $\mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)$से निरूपित करें। हम निम्नानुसार आगे बढ़ते हैं,

1. हम कुछ प्रारंभिक मान $\mathbf {X} ^{(0)}$ से शुरू करते हैं।
2. हम अगला सैंपलिंग चाहते हैं। इस अगले सैंपलिंग को $\mathbf {X} ^{(i+1)}$कहते है। चूँकि $\mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)$ एक सदिश है, तो हम सदिश के प्रत्येक घटक का सैंपलिंग $x_{j}^{(i+1)}$ लेते हैं, उस घटक के वितरण से जो अब तक सैंपलिंग लिए गए वो अन्य सभी घटकों पर सशर्त है। लेकिन यहां एक जाल है, हम $\mathbf {X} ^{(i+1)}$, घटकों पर $x_{j-1}^{(i+1)}$तक प्रतिबंध लगाते हैं, और उसके बाद $\mathbf {X} ^{(i)}$ के घटकों पर $x_{j+1}^{(i)}$ से $x_{n}^{(i)}$ तक प्रतिबंध लगाते हैं। इसे प्राप्त करने के लिए, हम पहले घटक से शुरू करते हुए, क्रम में घटकों का सैंपलिंग लेते हैं। अधिक औपचारिक रूप से, सैंपलिंग $x_{j}^{(i+1)}$ लेने के लिए, हम $p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)$द्वारा निर्दिष्ट वितरण के अनुसार इसे अद्यतन करते हैं।
3. हम $i$वें सैंपलिंग में $(j+1)$वें घटक के मान का उपयोग करते हैं, न कि$(i+1)$वें सैंपलिंग का।
4. उपरोक्त चरण को $k$ बार दोहराएं ।

गुण

यदि इस तरह का सैंपलिंग लिया जाता है, तो ये महत्वपूर्ण तथ्य हैं,

• सैंपलिंग सभी चरों के संयुक्त वितरण का अनुमान लगाते हैं।
• चर के किसी भी उपसमुच्चय के सीमांत वितरण को चर के उस उपसमुच्चय के प्रतिदर्शो पर विचार करके अनुमानित किया जा सकता है, जो शेष को अनदेखा कर सकते हैं।
• किसी भी चर के प्रत्याशित मान को सभी प्रतिदर्शो के औसत से अनुमानित किया जा सकता है।

सैंपलिंग करते समय,

• चर के प्रारंभिक मूल्यों को बेतरतीब ढंग से या कुछ अन्य कलन विधि जैसे कि अपेक्षा-अधिकतमकरण द्वारा निर्धारित किया जा सकता है।
• पहले चर के सैंपलिंग के लिए प्रारंभिक मान निर्धारित करना वास्तव में आवश्यक नहीं है।
• प्रारम्भ (तथाकथित बर्न-इन अवधि) में कुछ प्रतिदर्शो की संख्या को अनदेखा करना सामान्य बात है, और फिर केवल प्रत्येक $n$वें सैंपलिंग पर विचार करें जब एक अपेक्षा की गणना करने के लिए मूल्यों का औसत निकाला जाता है। उदाहरण के लिए, पहले 1,000 प्रतिदर्शो को नजरअंदाज किया जा सकता है, और फिर हर 100वें सैंपलिंग का औसत निकाला जाता है, बाकी सभी को प्रक्षेपित कर दिया जाता है। इसका कारण यह है कि (1) मार्कोव श्रृंखला का स्थिर वितरण चरों पर वांछित संयुक्त वितरण है, लेकिन उस स्थिर वितरण तक पहुंचने में कुछ समय लग सकता है, (2) क्रमिक सैंपलिंग एक दूसरे से स्वतंत्र नहीं होते हैं लेकिन कुछ मात्रा में सहसंबंध के साथ एक मार्कोव श्रृंखला बनाते हैं। कभी-कभी, कलन विधि का उपयोग प्रतिदर्शो के बीच स्वसंबंध की मात्रा और इससे गणना की गई $n$ (सैम्पल के बीच की अवधि जो वास्तव में उपयोग की जाती है) के मान को निर्धारित करने के लिए किया जा सकता है, लेकिन व्यवहार में इसमें उचित मात्रा में अनिष्टकारी या काला जादू सम्मिलित होता है।
• सैंपलिंग प्रक्रिया के प्रारंभिक भाग में यादृच्छिक भ्रमण व्यवहार को कम करने के लिए अनुकारित अनीलन की प्रक्रिया का उपयोग प्रायः किया जाता है (यानी सैंपलिंग समष्टि के चारों ओर धीरे-धीरे घूमने की प्रवृत्ति, जल्दी से घूमने के बजाय, प्रतिदर्शो के बीच उच्च मात्रा में स्वतः सहसंबंध के साथ, वांछित है)। अन्य तकनीकें जो स्वत:सहसंबंध को कम कर सकती हैं, उन्हें गिब्स प्रतिचयन, अवरुद्ध गिब्स प्रतिचयन, और अतिविश्राम में सुव्यवस्थित किया गया है, नीचे देखें।

सशर्त वितरण और संयुक्त वितरण का संबंध

इसके अलावा, अन्य सभी दिए गए एक चर का सशर्त वितरण संयुक्त वितरण के समानुपाती होता है,

$p(x_{j}\mid x_{1},\dots ,x_{j-1},x_{j+1},\dots ,x_{n})={\frac {p(x_{1},\dots ,x_{n})}{p(x_{1},\dots ,x_{j-1},x_{j+1},\dots ,x_{n})}}\propto p(x_{1},\dots ,x_{n})$

इस स्थिति में समानुपाती का अर्थ है कि भाजक $x_{j}$ का फलन नहीं है और इस प्रकार $x_{j}$के सभी मानों के लिए समान है, तथा यह $x_{j}$पर वितरण के लिए सामान्यीकरण स्थिरांक का हिस्सा बनता है। व्यवहार में, एक कारक $x_{j}$ के सशर्त वितरण की प्रकृति का निर्धारण करने के लिए, चर पर आलेखीय प्रतिरूप द्वारा परिभाषित व्यक्तिगत सशर्त वितरण के अनुसार संयुक्त वितरण को कारक बनाना सबसे आसान है, उन सभी कारकों को अनदेखा करें जो $x_{j}$ के फलन नहीं हैं, (जिनमें से सभी, उपरोक्त भाजक के साथ मिलकर सामान्यीकरण स्थिरांक का निर्माण करते हैं), और फिर आवश्यकतानुसार सामान्यीकरण स्थिरांक को अंत में पुनर्स्थापित करते हैं। व्यवहार में, इसका मतलब तीन चीजों में से एक को करना है,

1. यदि वितरण असतत है, तो $x_{j}$ के सभी संभावित मानों की अलग-अलग संभावनाओं की गणना की जाती है, और फिर सामान्यीकरण स्थिरांक खोजने के लिए योग किया जाता है।
2. यदि वितरण निरंतर है और ज्ञात रूप का है, तो सामान्यीकरण स्थिरांक भी ज्ञात होगा।
3. अन्य स्थितियों में, सामान्यीकरण स्थिरांक को सामान्यतः अनदेखा किया जा सकता है, क्योंकि अधिकांश सैंपलिंग विधियों को इसकी आवश्यकता नहीं होती है।

निष्कर्ष

गिब्स सैंपलिंग सामान्यतः सांख्यिकीय अनुमिती के लिए उपयोग किया जाता है (उदाहरण के लिए मापदण्ड का सर्वोत्तम मूल्य निर्धारित करना, जैसे कि किसी विशेष स्टोर पर किसी दिए गए दिनखरीदारी करने वाले लोगों की संख्या निर्धारित करना, तथा एक मतदाता जिस उम्मीदवार को सबसे अधिक वोट देगा, का निर्धारण करना, आदि)। विचार यह है कि देखे गए डेटा के प्रत्येक टुकड़े के लिए अलग-अलग चर बनाकर और उन चरों से सैंपलिंग लेने के बजाय, उनके देखे गए मूल्यों के लिए चर को ठीक करके सैंपलिंग प्रक्रिया में सम्मिलित किया गया है। शेष चरों का वितरण प्रभावी रूप से प्रेक्षित डेटा पर वातानुकूलित उत्‍तरबंटन है।

एक वांछित मापदण्ड (मोड) का सबसे संभावित मूल्य तब केवल उस सैंपलिंग मान को चुनकर चयनित किया जा सकता है जो सामान्यतः सबसे अधिक होता है, यह अनिवार्य रूप से एक मापदण्ड के अधिकतम पश्चात के अनुमान के बराबर है। (चूंकि मापदण्ड सामान्यतः निरंतर होते हैं, इसलिए मोड का एक सार्थक अनुमान प्राप्त करने के लिए प्रतिचयित मानों को परिमित संख्या में से किसी एक श्रेणी या "बिन" में "बिन" करना प्रायः आवश्यक होता है।) अधिक सामान्यतः, हालांकि, सैंपलिंग मूल्यों का अपेक्षित मूल्य (माध्य या औसत) चुना जाता है, यह एक बेयस अनुमानक है जो पूरे वितरण के बारे में अतिरिक्त डेटा का लाभ उठाता है जो कि बायेसियन सैंपलिंग से उपलब्ध है, जबकिअपेक्षा अधिकतमकरण (ईएम) जैसे अधिकतमकरण कलन विधि वितरण से केवल एक बिंदु वापस करने में सक्षम है। उदाहरण के लिए, एक असमान वितरण के लिए माध्य (अपेक्षित मान) सामान्यतः मोड (सबसे सामान्य मान) के समान होता है, लेकिन यदि वितरण एक दिशा में विषमतलीय है, तो माध्य उस दिशा में चला जाएगा, जो उस दिशा में अतिरिक्त संभावना द्रव्यमान के लिए प्रभावी रूप से जिम्मेदार है। (यदि कोई वितरण बहुविध है, तो अपेक्षित मान सार्थक बिंदु नहीं लौटा सकता है, और कोई भी मोड सामान्यतः बेहतर विकल्प होता है।)

हालाँकि कुछ चर सामान्य तौर पर रुचि के मापदंडों के अनुरूप होते हैं, अन्य चर के बीच संबंधों को ठीक से व्यक्त करने के लिए प्रतिरूप में पेश किए गए अरुचिकर (उपद्रव) चर हैं। हालांकि सैंपलिंग मूल्य सभी चर पर संयुक्त वितरण का प्रतिनिधित्व करते हैं, तथा अपेक्षित मूल्यों या मोड की गणना करते समय उपद्रव चर को आसानी से अनदेखा किया जा सकता है, यह उपद्रव चर पर सीमांत वितरण के बराबर है। जब एकाधिक चर के लिए एक मान वांछित होता है, तो अपेक्षित मान की गणना प्रत्येक चर पर अलग से की जाती है। (हालांकि, मोड की गणना करते समय, सभी चरों को एक साथ माना जाना चाहिए।)

पर्यवेक्षित अध्ययन, अनियंत्रित शिक्षा और अर्ध-पर्यवेक्षित शिक्षा (विलुप्त मूल्यों के साथ सीखना) सभी को उन सभी चरो के मानों को ठीक करके नियंत्रित किया जा सकता है, जिनके मूल्य ज्ञात हैं, और जो शेष सैंपलिंग लेते है।

अवलोकन किए गए डेटा के लिए, प्रत्येक अवलोकन के लिए एक चर होगा- उदाहरण के लिए, अवलोकन के एक सेट के सैंपलिंग माध्य या सैंपलिंग प्रसरण के अनुरूप एक चर। वास्तव में, सामान्यतः सैंपलिंग माध्य या सैंपलिंग प्रसरण जैसी अवधारणाओं के अनुरूप कोई भी चर नहीं होगा। इसके बजाय, ऐसी स्थिति में अज्ञात वास्तविक माध्य और वास्तविक प्रसरण का प्रतिनिधित्व करने वाले चर होंगे, और इन चरों के लिए सैंपलिंग मानों का निर्धारण स्वचालित रूप से गिब्स प्रतिदर्शित्र के संचालन से होता है।

सामान्यीकृत रैखिक प्रतिरूप (यानी रैखिक प्रतिगमन की विविधताएं) कभी-कभी गिब्स सैंपलिंग द्वारा भी नियंत्रित किए जा सकते हैं। उदाहरण के लिए, दिए गए द्विआधारी (हां/नहीं) विकल्प की संभावना निर्धारित करने के लिए प्रोबिट प्रतिगमन, सामान्य वितरण पुरोहितों को साथ समाश्रयण गुणांकों पर रखा जाता है, तथा इसे गिब्स सैंपलिंग के साथ लागू किया जा सकता है क्योंकि अतिरिक्त चर को जोड़ना और संयुग्मन का लाभ उठाना संभव है। हालाँकि,संभार तन्त्र परावर्तन को इस तरह से संभाला नहीं जा सकता है। एक संभावना सामान्य वितरण के मिश्रण (सामान्यतः 7-9) के साथ तार्किक फलन को अनुमानित करना है। अधिक सामान्यतः, गिब्स सैंपलिंग के बजाय मेट्रोपोलिस-हेस्टिंग्स का उपयोग किया जाता है।

गणितीय पृष्ठभूमि

मान लीजिए कि एक सैंपलिंग $\left.X\right.$ वितरण से लिया गया है जो पूर्व वितरण $g(\theta _{1},\ldots ,\theta _{d})$ के साथ लंबाई $\left.d\right.$ के मापदण्ड सदिश $\theta \in \Theta \,\!$ पर निर्भर करता है। यह हो सकता है कि $\left.d\right.$ बहुत बड़ा होगा और $\left.\theta _{i}\right.$ के सीमांत घनत्वों को खोजने के लिए एकीकरण अभिकलनीयत रूप से महंगा होगा। फिर इन दो चरणों को दोहराते हुए सीमांत घनत्व की गणना करने का एक वैकल्पिक तरीका समष्टि $\left.\Theta \right.$ पर एक मार्कोव श्रृंखला बनाना है,

1. एक यादृच्छिक सूचकांक चुनें $1\leq j\leq d$
2. $g(\theta _{1},\ldots ,\theta _{j-1},\,\cdot \,,\theta _{j+1},\ldots ,\theta _{d})$ के अनुसार $\left.\theta _{j}\right.$के लिए एक नया मान चुनें

ये चरण वांछित अपरिवर्तनीय वितरण $\left.g\right.$ के साथ एक मार्कोव श्रृंखला को परिभाषित करते हैं । इसे इस प्रकार सिद्ध किया जा सकता है। सभी $i\neq j$ के लिए $x\sim _{j}y$ यदि $\left.x_{i}=y_{i}\right.$को परिभाषित करें और मान लें कि $\left.p_{xy}\right.$ $x\in \Theta$ से $y\in \Theta$ तक छलांग लगाने की संभावना को दर्शाता है। फिर, संक्रमण प्रायिकता

$p_{xy}={\begin{cases}{\frac {1}{d}}{\frac {g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}&x\sim _{j}y\\0&{\text{otherwise}}\end{cases}}$

हैं अतः

$g(x)p_{xy}={\frac {1}{d}}{\frac {g(x)g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}={\frac {1}{d}}{\frac {g(y)g(x)}{\sum _{z\in \Theta :z\sim _{j}y}g(z)}}=g(y)p_{yx}$

चूँकि $x\sim _{j}y$ एक तुल्यता संबंध है। इस प्रकार विस्तृत संतुलन समीकरण संतुष्ट हैं, जिसका अर्थ है कि श्रृंखला प्रतिवर्ती है और इसमें अपरिवर्तनीय वितरण $\left.g\right.$ है।

व्यवहार में, अनुक्रमित $\left.j\right.$ को यादृच्छिक रूप से नहीं चुना जाता है, और अनुक्रमित के माध्यम से श्रृंखला चक्र क्रम में होती है। सामान्य तौर पर यह एक गैर-स्थिर मार्कोव प्रक्रिया देता है, लेकिन प्रत्येक व्यक्तिगत चरण अभी भी प्रतिवर्ती होगा, और समग्र प्रक्रिया में अभी भी वांछित स्थिर वितरण होगा (जब तक कि श्रृंखला निश्चित क्रम के तहत सभी अवस्थाओ तक पहुंच सकती है)।

बायेसियन अनुमान में गिब्स प्रतिदर्शित्र और सूचना सिद्धांत के संबंध

मान लीजिए $y$ सैंपलिंग वितरण से उत्पन्न टिप्पणियों को निरूपित करता है तब $f(y|\theta )$ और $\pi (\theta )$ प्राचल समष्टि $\Theta$ पर पूर्व समर्थित हैं। फिर बायेसियन आँकड़ों के केंद्रीय लक्ष्यों में से एक पश्च घनत्व

$\pi (\theta |y)={\frac {f(y|\theta )\cdot \pi (\theta )}{m(y)}}$

का अनुमान लगाना है जहां सीमांत संभावना $m(y)=\int _{\Theta }f(y|\theta )\cdot \pi (\theta )d\theta$ को सभी $y$ के लिए परिमित माना जाता है।

गिब्स प्रतिदर्शित्र की व्याख्या करने के लिए, हम अतिरिक्त रूप से मान लेते हैं कि मापदण्ड समष्टि $\Theta$ रूप में विघटित हो जाता है

$\Theta =\prod _{i=1}^{K}\Theta _{i}=\Theta _{1}\times \cdots \Theta _{i}\times \cdots \times \Theta _{K},\quad \quad (K>1)$,

जहाँ $\times$ कार्तीय गुणनफल को प्रदर्शित करता है। प्रत्येक घटक प्राचल समष्टि $\Theta _{i}$ अदिश घटकों, उपसदिश या मैट्रिसेस का एक समुच्चय हो सकता है।

एक समुच्चय $\Theta _{-i}$ को परिभाषित करें जो $\Theta _{i}$को पूरा करें। गिब्स प्रतिदर्शित्र की आवश्यक सामग्री प्रत्येक $i=1,\cdots ,K$

$\pi (\theta _{i}|\theta _{-i},y)=\pi (\theta _{i}|\theta _{1},\cdots ,\theta _{i-1},\theta _{i+1},\cdots ,\theta _{K},y)$के लिए $i$-वाँ पूर्ण सशर्त उत्‍तरबंटन है

गिब्स सैंपलिंग कलन विधि का सचित्र विवरण

एक चक्र के भीतर i-वें चरण में गिब्स प्रतिदर्शित्र से जुड़ी सूचना समानता का योजनाबद्ध विवरण

निम्नलिखित कलन विधि एक सामान्य गिब्स प्रतिदर्शित्र का विवरण देता है,

${\text{Initialize: pick arbitrary starting value}}\,\,\theta ^{(1)}=(\theta _{1}^{(1)},\theta _{2}^{(1)},\cdots ,\theta _{i}^{(1)},\theta _{i+1}^{(1)},\cdots ,\theta _{K}^{(1)})$

${\text{Iterate a Cycle:}}\,$

$\quad \quad {\text{Step 1. draw}}\,\,\theta _{1}^{(s+1)}\sim \pi (\theta _{1}|\theta _{2}^{(s)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad {\text{Step 2. draw}}\,\,\theta _{2}^{(s+1)}\sim \pi (\theta _{2}|\theta _{1}^{(s+1)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad \quad \vdots$

$\quad \quad {\text{Step i. draw}}\,\,\theta _{i}^{(s+1)}\sim \pi (\theta _{i}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i-1}^{(s+1)},\theta _{i+1}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad {\text{Step i+1. draw}}\,\,\theta _{i+1}^{(s+1)}\sim \pi (\theta _{i+1}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i}^{(s+1)},\theta _{i+2}^{(s)},\cdots ,\theta _{K}^{(s)},y)$

$\quad \quad \quad \vdots$

$\quad \quad {\text{Step K. draw}}\,\,\theta _{K}^{(s+1)}\sim \pi (\theta _{K}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{K-1}^{(s+1)},y)$

${\text{end Iterate}}$

ध्यान दें कि गिब्स प्रतिदर्शित्र एक चक्र के भीतर पुनरावृत्त मोंटे कार्लो योजना द्वारा संचालित होता है। उपरोक्त कलन विधि द्वारा तैयार किए गए प्रतिदर्शो $\{\theta ^{(s)}\}_{s=1}^{S}$ की $S$ संख्या लक्ष्य घनत्व $\pi (\theta |y)$ होने के लिए अपरिवर्तनीय वितरण के साथ मार्कोव शृंखला तैयार करती है।

अब, प्रत्येक $i=1,\cdots ,K$, के लिए निम्नलिखित सूचना सैद्धांतिक मात्राओ को परिभाषित करें,

$I(\theta _{i};\theta _{-i})={\text{KL}}(\pi (\theta |y)||\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y))=\int _{\Theta }\pi (\theta |y)\log {\bigg (}{\frac {\pi (\theta |y)}{\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y)}}{\bigg )}d\theta ,$

$H(\theta _{-i})=-\int _{\Theta _{-i}}\pi (\theta _{-i}|y)\log \pi (\theta _{-i}|y)d\theta _{-i},$

$H(\theta _{-i}|\theta _{i})=-\int _{\Theta }\pi (\theta |y)\log \pi (\theta _{-i}|\theta _{i},y)d\theta ,$

अर्थात्, क्रमशः उत्तर पारस्परिक सूचना, उत्तर अंतर एन्ट्रापी, और उत्तर सशर्त अंतर एन्ट्रापी, । हम इसी प्रकार परिभाषित मात्राओं में $i$ और $-i$ को बदलकर सूचना सिद्धांतिक मात्राओं $I(\theta _{-i};\theta _{i})$, $H(\theta _{i})$, और $H(\theta _{i}|\theta _{-i})$ को परिभाषित कर सकते हैं। फिर, निम्नलिखित $K$ समीकरण लागू होता हैं।

$I(\theta _{i};\theta _{-i})=H(\theta _{-i})-H(\theta _{-i}|\theta _{i})=H(\theta _{i})-H(\theta _{i}|\theta _{-i})=I(\theta _{-i};\theta _{i}),\quad (i=1,\cdots ,K)$

पारस्परिक सूचना $I(\theta _{i};\theta _{-i})$ यादृच्छिक मात्रा $\theta _{i}$ की अनिश्चितता में कमी की मात्रा निर्धारित करती है, जब हम $\theta _{-i}$, का अनुमान लगाते हैं। यह गायब हो जाता है अगर केवल $\theta _{i}$ और $\theta _{-i}$ आंशिक रूप से स्वतंत्र हैं, और केवल अनुमान लगाते हैं। पारस्परिक सूचना $I(\theta _{i};\theta _{-i})$ की व्याख्या उस मात्रा के रूप में की जा सकती है जो गिब्स प्रतिदर्शित्र के एकल चक्र के भीतर $i$-वें चरण से $i+1$ चरण तक प्रेषित होती है।

विविधता और विस्तार

मूल गिब्स प्रतिदर्शित्र के कई रूप मौजूद हैं। इन विविधताओं का लक्ष्य किसी भी अतिरिक्त संगणनात्मक लागतों को दूर करने के लिए पर्याप्त रूप से प्रतिदर्शो के बीच स्वत: संबंध को कम करना है।

अवरुद्ध गिब्स प्रतिदर्शित्र

• एक अवरुद्ध गिब्स प्रतिदर्शित्र दो या दो से अधिक चरों को एक साथ समूहित करता है और उनके संयुक्त वितरण से सैंपलिंग अलग-अलग प्रत्येक से सैंपलिंग लेने के बजाय अन्य सभी चरों पर सशर्त होता है। उदाहरण के लिए, एक छिपे हुए मार्कोव प्रारूप में, एक अवरुद्ध गिब्स प्रतिदर्शित्र अग्र पश्‍च कलन विधि का उपयोग करके मार्कोव श्रृंखला बनाने वाले सभी अव्यक्त चर से सैंपलिंग ले सकता है।

संकुचित गिब्स प्रतिदर्शित्र

• किसी अन्य चर के लिए सैंपलिंग लेते समय एक संकुचित गिब्स सैंपलिंग एक या अधिक चर (सीमांत वितरण) को एकीकृत करता है। उदाहरण के लिए, कल्पना करें कि एक प्रारुप में तीन चर A, B और C होते हैं। एक साधारण गिब्स प्रतिदर्शित्र p(A | B,C), तब p(B | A ,C), फिर p(C | A,B) से सैंपलिंग लेगा। एक संकुचित गिब्स प्रतिदर्शित्र A के लिए सैंपलिंग चरण को सीमांत वितरण p(A | C) से लिए गए सैंपलिंग से बदल सकता है, इस स्थिति में चर 'B को एकीकृत किया गया है। वैकल्पिक रूप से, चर B को पूरी तरह से संकुचित किया जा सकता है, वैकल्पिक रूप से p(A | C) और p(C | A) से सैंपलिंग लिया जा सकता है और B पर बिल्कुल भी सैंपलिंग नहीं लिया जा सकता है। एक चर A पर वितरण जो मूल चर B के संकुचित होने पर उत्पन्न होता है, एक मिश्रित वितरण कहलाता है, इस वितरण से सैंपलिंग सामान्यतः सुविधाजनक होता है जब 'B' 'A ' के ​​​​लिए पूर्ववर्ती संयुग्म होता है, खासकर तब 'A' और 'B' घातीय परिवार के सदस्य होते हैं। अधिक जानकारी के लिए, यौगिक वितरण या लियू (1994) पर लेख देखें।

संकुचित डिरिक्ले वितरण

सुस्पष्ट चर के साथ पदानुक्रमित बायेसियन प्रारूप में, जैसे अव्यक्त डिरिचलेट आवंटन और प्राकृतिक भाषा प्रसंस्करण में उपयोग किए जाने वाले विभिन्न अन्य प्रारूप, डिरिचलेट वितरण को समाप्त करना काफी सामान्य है जो सामान्यतः श्रेणीबद्ध चर पर पूर्व वितरण के रूप में उपयोग किया जाता है। इस संकुचित का परिणाम किसी दिए गए डिरिचलेट पर निर्भर सभी सुस्पष्ट चर के बीच निर्भरता का परिचय देता है, और संकुचित के बाद इन चरों का संयुक्त वितरण एक डिरिचलेट-बहुराष्ट्रीय वितरण है। यदि संकुचित नहीं किया गया होता तो इस वितरण में दिए गए श्रेणीबद्ध चर का सशर्त वितरण, दूसरों पर वातानुकूलित, एक अत्यंत सरल रूप ग्रहण करता है जो गिब्स सैंपलिंग को और भी आसान बना देता है। नियम इस प्रकार हैं,

1. एक डिरिचलेट पूर्व नोड को संकुचित करने से केवल पूर्व के माता-पिता और बच्चों के नोड प्रभावित होते हैं। चूंकि माता-पिता प्रायः स्थिर होते हैं, इसलिए सामान्यतः केवल बच्चों के बारे में हमें चिंता करने की आवश्यकता होती है।
2. एक डिरिचलेट पूर्व को समाप्त करने से उस पूर्व पर निर्भर सभी स्पष्ट बच्चों के बीच निर्भरता का परिचय मिलता है - लेकिन किसी भी अन्य श्रेणीबद्ध बच्चों के बीच कोई अतिरिक्त निर्भरता नहीं होती है। (यह ध्यान रखना महत्वपूर्ण है, उदाहरण के लिए, जब एक ही हाइपरप्रियर से संबंधित कई डिरिचलेट पूर्ववर्ती होते हैं। प्रत्येक डिरिचलेट पूर्व को स्वतंत्र रूप से ध्वस्त किया जा सकता है और केवल इसके प्रत्यक्ष बच्चों को प्रभावित करता है।)
3. ढहने के बाद, एक आश्रित बच्चों का दूसरों पर सशर्त वितरण एक बहुत ही सरल रूप धारण कर लेता है, किसी दिए गए मूल्य को देखने की संभावना इस मूल्य के लिए संबंधित हाइपरप्रियर के योग के समानुपाती होती है, और समान मान मानने वाले अन्य सभी आश्रित नोड्स की गिनती होती है। समान पूर्व पर निर्भर नहीं होने वाले नोड्स की गणना नहीं की जानी चाहिए। यही नियम अन्य पुनरावृत्त अनुमान विधियों जैसे परिवर्तन संबंधी बेज़ या अपेक्षा अधिकतमीकरण में भी लागू होता है, हालाँकि, यदि विधि में आंशिक गणना रखना सम्मिलित है, तो विचाराधीन मान के लिए आंशिक गणना को अन्य सभी आश्रित नोड्स में सम्मिलित किया जाना चाहिए। कभी-कभी इस सारांशित आंशिक गणना को अपेक्षित गणना या समान कहा जाता है। संभाव्यता परिणामी मान के समानुपाती होती है, वास्तविक संभाव्यता को उन सभी संभावित मानों के सामान्यीकरण द्वारा निर्धारित किया जाना चाहिए जो श्रेणीबद्ध चर ले सकते हैं (अर्थात श्रेणीबद्ध चर के प्रत्येक संभावित मान के लिए परिकलित परिणाम जोड़ना, और इस योग से सभी परिकलित परिणामों को विभाजित करना)।
4. यदि किसी दिए गए श्रेणीबद्ध नोड में आश्रित बच्चे (उदाहरण के लिए जब यह मिश्रण प्रारूप में एक अव्यक्त चर होता है) हैं, तो पिछले चरण (अपेक्षित गणना प्लस पूर्व, या जो कुछ भी गणना की जाती है) में गणना किए गए मान को वास्तविक सशर्त संभावनाओं (एक गणना मूल्य नहीं है जो संभावना के समानुपाती है!) से गुणा किया जाना चाहिए। विस्तृत चर्चा के लिए डिरिचलेट-बहुराष्ट्रीय बंटन पर लेख देखें।
5. ऐसे स्थिति में जहां किसी दिए गए डिरिचलेट पूर्व पर निर्भर नोड्स की समूह सदस्यता कुछ अन्य चर के आधार पर गतिशील रूप से बदल सकती है (उदाहरण के लिए एक विषय प्रारूप के रूप में एक अन्य अव्यक्त श्रेणीबद्ध चर द्वारा अनुक्रमित एक श्रेणीबद्ध चर), वही अपेक्षित गणना की अभी भी गणना की जाती है, लेकिन सावधानी से करने की आवश्यकता है ताकि चरों का सही सेट सम्मिलित किया जा सके। विषय प्रारूप के संदर्भ सहित, अधिक चर्चा के लिए डिरिचलेट-बहुराष्ट्रीय वितरण पर लेख देखें।

अन्य संयुग्मी पूर्ववर्तियो का समाप्‍त होना

सामान्य तौर पर, किसी भी संयुग्म को पूर्व में ध्वस्त किया जा सकता है, यदि उसके एकमात्र बच्चों के वितरण संयुग्म हैं। यौगिक वितरण पर लेख में प्रासंगिक गणित पर चर्चा की गई है। यदि केवल एक चाइल्ड नोड है, तो परिणाम प्रायः एक ज्ञात वितरण मान लेगा। उदाहरण के लिए, एक एकल सामान्य वितरण बच्चे के साथ एक नेटवर्क से बाहर एक विपरीत गामा वितरित भिन्नता को ध्वस्त करने से छात्र का टी-वितरण प्राप्त होगा। (उस स्थिति के लिए, एक एकल सामान्य वितरण बच्चे के माध्य और विचरण दोनों को ढहाने से अभी भी एक छात्र का टी-वितरण प्राप्त होगा, बशर्ते दोनों, यानी सामान्य वितरण माध्य, व्युत्क्रम-गामा विचरण संयुग्मित हों।)

यदि कई बच्चे नोड हैं, तो वे सभी निर्भर हो जाएंगे, जैसा कि डिरिचलेट-श्रेणीबद्ध स्थिति में है। परिणामी संयुक्त वितरण का एक बंद रूप होगा जो कुछ मायनों में यौगिक वितरण जैसा दिखता है, हालांकि इसमें प्रत्येक बच्चे के नोड के लिए एक कई कारकों का उत्पाद होगा।

इसके अलावा, और सबसे महत्वपूर्ण बात यह है कि अन्य (और ढह गए नोड के माता-पिता को भी दिया गया है, लेकिन चाइल्ड नोड्स के बच्चों को नहीं दिया गया है) दिए गए चाइल्ड नोड्स में से एक के परिणामी सशर्त वितरण में सभी शेष चाइल्ड नोड्स के पश्च पूर्वानुमानित वितरण के समान घनत्व होगा। इसके अलावा, पश्च पूर्वानुमानित वितरण में एकल नोड के मूल यौगिक वितरण के, विभिन्न मापदंडों के साथ समान घनत्व है। यौगिक वितरण पर लेख में सामान्य सूत्र दिया गया है।

उदाहरण के लिए, सशर्त रूप से स्वतंत्र समान रूप से वितरित गॉसियन वितरित नोड्स के एक सेट के साथ एक बेयस नेटवर्क दिया गया है जिसमें माध्य और विचरण पर संयुग्मित पूर्व वितरण हैं, माध्य और प्रसरण दोनों को संयोजित करने के बाद अन्य को दिए गए एक नोड का सशर्त वितरण एक छात्र का टी-वितरण होगा। इसी तरह, कई पॉसों वितरित नोड्स से पहले गामा को संयुक्तीकरण करने का परिणाम एक नोड के सशर्त वितरण का कारण बनता है, जो दूसरों को एक नकारात्मक द्विपद वितरण मानने के लिए दिया जाता है।

इन स्थितियों में जहां संयुक्तीकरण एक प्रसिद्ध वितरण का उत्पादन करता है, वहां कुशल सैंपलिंग प्रक्रियाएं प्रायः मौजूद होती हैं, और उनका उपयोग करना प्रायः (हालांकि जरूरी नहीं) ढहने से अधिक कुशल होगा, और इसके बजाय पूर्व और बच्चे दोनों नोड्स को अलग-अलग सैंपलिंग लेना होगा। हालाँकि, ऐसे स्थिति में जहां यौगिक वितरण अच्छी तरह से ज्ञात नहीं है, इसका सैंपलिंग लेना आसान नहीं हो सकता है, क्योंकि यह सामान्यतः घातीय परिवार से संबंधित नहीं होगा और सामान्यतः लॉग-अवतल नहीं होगा (जो अनुकूली अस्वीकृति सैंपलिंग का उपयोग करके सैंपलिंग लेना आसान बना देगा, क्योंकि एक बंद रूप हमेशा मौजूद रहता है)।

ऐसे स्थिति में जहां ढह गए नोड्स के बच्चे नोड्स में बच्चे हैं, इन बच्चों के नोड्स में से एक का सशर्त वितरण ग्राफ में अन्य सभी नोड्स को इन दूसरे स्तर के बच्चों के वितरण को ध्यान में रखना होगा। विशेष रूप से, परिणामी सशर्त वितरण संयुक्त वितरण के एक उत्पाद के समानुपाती होगा जैसा कि ऊपर परिभाषित किया गया है, और सभी बच्चे नोड्स के सशर्त वितरण उनके माता-पिता को दिए गए हैं (लेकिन अपने स्वयं के बच्चों को नहीं दिए गए हैं)। यह इस तथ्य से अनुसरण करता है कि पूर्ण सशर्त वितरण संयुक्त वितरण के समानुपाती होता है। यदि ढह गए नोड्स के बच्चे के नोड्स निरंतर हैं, तो यह वितरण सामान्यतः एक ज्ञात रूप का नहीं होगा, और इस तथ्य के बावजूद सैंपलिंग बनाना मुश्किल हो सकता है तथा गैर-ज्ञात यौगिक वितरणों के लिए ऊपर वर्णित समान कारणों से एक बंद रूप लिखा जा सकता है। हालाँकि, विशेष स्थिति में कि बच्चे के नोड असतत हैं, सैंपलिंग संभव है, भले ही इन बच्चे के नोड के बच्चे निरंतर हों या असतत हों। वास्तव में, यहां सम्मिलित सिद्धांत को डिरिचलेट-बहुराष्ट्रीय वितरण पर लेख में उचित विवरण में वर्णित किया गया है।

आदेशित अतिश्रांति के साथ गिब्स प्रतिदर्शित्र

• आदेशित अतिश्रांति के साथ एक गिब्स प्रतिदर्शित्र किसी भी चरण में $x_{j}^{(i)}$ के लिए दिए गए विषम संख्या के उम्मीदवार मूल्यों का सैंपलिंग लेता है और कुछ अच्छी तरह से परिभाषित क्रम के अनुसार $x_{j}^{(i-1)}$ के लिए एकल मान के साथ उन्हें वर्गीकृत करता है। यदि $x_{j}^{(i-1)}$ क्रमबद्ध सूची में s^वां सबसे छोटा है तो $x_{j}^{(i)}$ को क्रमबद्ध सूची में s^वां सबसे बड़ा चुना गया है। अधिक जानकारी के लिए, नील (1995) देखें।

अन्य विस्तारण

गिब्स सैंपलिंग को विभिन्न तरीकों से विस्तारित करना भी संभव है। उदाहरण के लिए, चरो की स्थिति में जिनके सशर्त वितरण से सैंपलिंग लेना आसान नहीं है, अंशअ सैंपलिंग या मेट्रोपोलिस-हेस्टिंग्स कलन विधि का एक एकल पुनरावृत्ति प्रश्न में चरो से सैंपलिंग लेने के लिए उपयोग किया जा सकता है। उन चरों को सम्मिलित करना भी संभव है जो यादृच्छिक चर नहीं हैं, लेकिन जिनका मान निश्चित रूप से अन्य चरों से गणना किया जाता है। सामान्यीकृत रैखिक प्रारूप, उदा, रसद प्रतिगमन (उर्फ अधिकतम एन्ट्रापी प्रारूप), इस कार्य प्रणाली में सम्मिलित किया जा सकता है। (बीयूजीएस, उदाहरण के लिए, प्रारूप के इस प्रकार के मिश्रण की अनुमति देता है।)

विफलता मोड

गिब्स सैंपलिंग दो तरीकों से विफल हो सकता है। पहला तब होता है जब उच्च-क्षमता वाली स्थितियों के द्वीप होते हैं, जिनके बीच कोई रास्ता नहीं होता है। उदाहरण के लिए, 2-बिट सदिशों पर प्रायिकता वितरण पर विचार करें, जहाँ सदिशों (0,0) और (1,1) प्रत्येक की प्रायिकता ½ है, लेकिन अन्य दो सदिशों (0,1) और (1,0) की प्रायिकता शून्य है। गिब्स सैंपलिंग दो उच्च संभावना वाले सदिशों में से एक में प्रगृहीत हो जाएगा, और दूसरे तक कभी नहीं पहुंचेगा। सामान्यतः अधिक, उच्च-आयामी, वास्तविक-मूल्य वाले सदिश पर किसी भी वितरण के लिए, यदि सदिश के दो विशेष तत्व पूरी तरह से सहसंबद्ध (या पूरी तरह से विरोधी-सहसंबंध) हैं, तो वे दो तत्व अटक जाएंगे, और गिब्स सैंपलिंग उन्हें कभी भी बदलने में सक्षम नहीं होगा।

दूसरी समस्या तब भी हो सकती है जब सभी अवस्थाओ में संभावना शून्य न हो और उच्च संभावना वाले राज्यों का केवल एक ही द्वीप हो। उदाहरण के लिए, 100-बिट सदिशों पर प्रायिकता वितरण पर विचार करें, जहां सभी शून्य सदिश संभाव्यता ½ के साथ होता है, और अन्य सभी सदिश समान रूप से संभावित हैं, और इसलिए प्रत्येक की प्रायिकता ${\frac {1}{2(2^{100}-1)}}$ है। यदि आप शून्य सदिश की प्रायिकता का अनुमान लगाना चाहते हैं, तो सही वितरण से 100 या 1000 सैंपलिंग लेना पर्याप्त होगा। यह लगभग ½ के करीब उत्तर देने की संभावना है। लेकिन समान परिणाम प्राप्त करने के लिए आपको संभवतः गिब्स सैंपलिंग से $2^{100}$ से अधिक सैंपलिंग लेने होंगे। कोई भी कंप्यूटर जीवन भर ऐसा नहीं कर सकता था।

यह समस्या तब होती है जब बर्न-इन अवधि कितनी भी लंबी हो। ऐसा इसलिए है क्योंकि सही वितरण में, शून्य सदिश आधा समय होता है, और उन घटनाओं को गैर-शून्य सदिशो के साथ यादृच्छिक रूप से मिश्रित किया जाता है। यहां तक ​​कि एक छोटा सा सैंपलिंग भी शून्य और अशून्य दोनों सदिशों को देखेगा। लेकिन गिब्स सैंपलिंग लंबी अवधि के लिए केवल शून्य सदिश (लगभग $2^{99}$ एक पंक्ति में) को वापस करने के बीच वैकल्पिक होगा, फिर लंबी अवधि के लिए केवल गैर शून्य सदिश (लगभग $2^{99}$ एक पंक्ति में) को वापस करने के बीच वैकल्पिक होगा। इस प्रकार सही वितरण के लिए अभिसरण बेहद धीमा है, जिसके लिए $2^{99}$ चरणों से अधिक की आवश्यकता होती है, उचित समय अवधि में इतने सारे कदम उठाना अभिकलनीय रूप से संभव नहीं है। यहाँ धीमे अभिसरण को आयामीता के अभिशाप के परिणाम के रूप में देखा जा सकता है।

इस तरह की समस्या को एक बार में पूरे 100-बिट सदिश को ब्लॉक सैंपलिंग द्वारा हल किया जा सकता है। (यह मानता है कि 100-बिट सदिश चर के एक बड़े सेट का हिस्सा है। यदि यह सदिश केवल एक चीज है जिसका सैंपलिंग लिया जा रहा है, तो ब्लॉक सैंपलिंग गिब्स सैंपलिंग बिल्कुल नहीं करने के बराबर है, जो परिकल्पना द्वारा कठिन होगा।)

सॉफ्टवेयर

• ओपनबग्स सॉफ़्टवेयर (गिब्स सैंपलिंग का उपयोग करके बायेसियन अनुमान) मार्कोव श्रृंखला मोंटे कार्लो का उपयोग करके जटिल सांख्यिकीय प्रारूप का बायेसियन विश्लेषण करता है।

• जेएजीएस (बस एक और गिब्स प्रतिदर्शित्र) मार्कोव चेन मोंटे कार्लो का उपयोग करके बायेसियन पदानुक्रमित प्रारूप के विश्लेषण के लिए एक जीपीएल कार्यक्रम है।

• संभाव्य कार्यक्रमों के रूप में निर्दिष्ट यादृच्छिक वितरण पर गिब्स अनुमान लगाने के लिए चर्च मुफ्त सॉफ्टवेयर है।

• पीवाईएमसी सामान्य संभाव्य ग्राफिकल प्रारूप के बायेसियन सीखने के लिए एक खुला स्त्रोत पायथन पुस्तकालय है।
• ट्यूरिंग प्रायिकतात्मक प्रोग्रामिंग का उपयोग करके बेजअनुमिति के लिए एक खुला स्रोत जूलिया पुस्तकालय है।

संदर्भ

• Bishop, Christopher M. (2006), Pattern Recognition and Machine Learning, Springer, ISBN 978-0-387-31073-2
• Bolstad, William M. (2010), Understanding Computational Bayesian Statistics, John Wiley ISBN 978-0-470-04609-8
• Casella, G.; George, E. I. (1992). "Explaining the Gibbs Sampler". The American Statistician. 46 (3): 167. CiteSeerX 10.1.1.554.3993. doi:10.2307/2685208. JSTOR 2685208. (Contains a basic summary and many references.)
• Gelfand, Alan E.; Smith, Adrian F. M. (1990), "Sampling-Based Approaches to Calculating Marginal Densities", Journal of the American Statistical Association, 85 (410): 398–409, doi:10.2307/2289776, JSTOR 2289776, MR 1141740
• Gelman, A., Carlin J. B., Stern H. S., Dunson D., Vehtari A., Rubin D. B. (2013), Bayesian Data Analysis, third edition. London: Chapman & Hall.
• Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L. (2008), "Markov Chains and Mixing Times", American Mathematical Society.
• Robert, C. P.; Casella, G. (2004), Monte Carlo Statistical Methods (second edition), Springer-Verlag.