डिरिचलेट-बहुपद वितरण

Dirichlet-Multinomial

Notation	$\mathrm {DirMult} (n,{\boldsymbol {\alpha }})$
Parameters	$n>0$ number of trials (positive integer) $\alpha _{1},\ldots ,\alpha _{K}>0$
Support	$x_{i}\in \{0,\dots ,n\}$ $\Sigma x_{i}=n\!$
PMF	${\frac {\Gamma \left(\sum \alpha _{k}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\sum \alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}$
Mean	$\operatorname {E} (X_{i})=n{\frac {\alpha _{i}}{\sum \alpha _{k}}}$
Variance	$\operatorname {Var} (X_{i})=n{\frac {\alpha _{i}}{\sum \alpha _{k}}}\left(1-{\frac {\alpha _{i}}{\sum \alpha _{k}}}\right)\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)$ $\textstyle {\mathrm {Cov} }(X_{i},X_{j})=-n{\frac {\alpha _{i}\alpha _{j}}{(\sum \alpha _{k})^{2}}}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)~~(i\neq j)$
MGF	$\operatorname {E} (\prod \limits _{k=1}^{K}{e}^{t_{k}\cdot x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha }},(e^{t_{1}},...,e^{t_{K}}))$ with $D_{n}={\frac {1}{n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {e}^{t_{k}\cdot u}\right)D_{n-u}\right],D_{0}=1$
CF	$\operatorname {E} (\prod \limits _{k=1}^{K}{e}^{it_{k}\cdot x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha }},(e^{it_{1}},...,e^{it_{K}}))$ with $D_{n}={\frac {1}{n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {e}^{it_{k}\cdot u}\right)D_{n-u}\right],D_{0}=1$
PGF	$\operatorname {E} (\prod \limits _{k=1}^{K}{z_{k}}^{x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha }},\mathbf {z} )$ with $D_{n}={\frac {1}{n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {z_{k}}^{u}\right)D_{n-u}\right],D_{0}=1$

संभाव्यता सिद्धांत और आंकड़ों में, डिरिचलेट-बहुपद वितरण गैर-ऋणात्मक पूर्णांकों के सीमित समर्थन पर असतत बहुभिन्नरूपी संभाव्यता वितरण का वर्ग है। इसे डिरिचलेट यौगिक संभाव्यता वितरण (डीसीएम) या मल्टीवेरिएट प्रायिकता वितरण (जॉर्ज पोलिया के पश्चात् ) भी कहा जाता है। यह मिश्रित संभाव्यता वितरण है, जहां पैरामीटर सदिश p के साथ डिरिचलेट वितरण से संभाव्यता सदिश ${\boldsymbol {\alpha }}$ निकाला जाता है , और संभाव्यता सदिश p और परीक्षणों की संख्या n के साथ बहुपद वितरण से लिया गया अवलोकन है । डिरिचलेट पैरामीटर सदिश स्थिति के पश्चात् पूर्व धारणा को दर्शाता है और इसे छद्मगणना के रूप में देखा जा सकता है: वास्तविक डेटा एकत्र होने से पहले होने वाले प्रत्येक परिणाम का अवलोकन है । और कंपाउंडिंग पोल्या कलश मॉडल|पोल्या कलश योजना से दर्शाया गया है। यह बायेसियन सांख्यिकी, यंत्र अधिगम , अनुभवजन्य बेयस विधियों और शास्त्रीय सांख्यिकी में अतिविस्तारित बहुपद वितरण के रूप में अधिकांशतः सामने आता है।

जब n = 1 होता है तो यह विशेष स्तिथियों के रूप में श्रेणीबद्ध वितरण को कम कर देता है। यह उच्च α के लिए स्वैच्छिक रूप से बहुपद वितरण का भी अनुमान लगाता है। डिरिचलेट-बहुपद वितरण बीटा-द्विपद वितरण का बहुभिन्नरूपी विस्तार है, क्योंकि बहुपद और डिरिचलेट वितरण क्रमशः द्विपद वितरण और बीटा वितरण के बहुभिन्नरूपी संस्करण हैं।

विनिर्देश

डिरिचलेट-बहुपद वितरण यौगिक वितरण के रूप में

इस प्रकार से डिरिचलेट वितरण बहुपद वितरण का संयुग्मित वितरण है। यह तथ्य विश्लेषणात्मक रूप से सुव्यवस्थित यौगिक वितरण की ओर ले जाता है।

श्रेणी गणना के यादृच्छिक सदिश के लिए $\mathbf {x} =(x_{1},\dots ,x_{K})$, बहुपद वितरण के अनुसार वितरित, सीमांत वितरण p के लिए वितरण पर एकीकृत करके प्राप्त किया जाता है जिसे डिरिचलेट वितरण के पश्चात यादृच्छिक सदिश के रूप में माना जा सकता है:

$\Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})=\int _{\mathbf {p} }\mathrm {Mult} (\mathbf {x} \mid n,\mathbf {p} )\mathrm {Dir} (\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p}$

जिसके परिणामस्वरूप निम्नलिखित स्पष्ट सूत्र प्राप्त होता है:

$\Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}$

जहाँ $\alpha _{0}$ योग $\alpha _{0}=\sum \alpha _{k}$ के रूप में परिभाषित किया गया है . इसी यौगिक वितरण का दूसरा रूप, जिसे बीटा फलन , B के संदर्भ में अधिक संक्षिप्त रूप से लिखा गया है, इस प्रकार है:

$\Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {nB\left(\alpha _{0},n\right)}{\prod _{k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.$

इसके अतिरिक्त फॉर्म इस तथ्य पर जोर देता है कि गणना में शून्य गिनती श्रेणियों को अनदेखा किया जा सकता है - उपयोगी तथ्य जब श्रेणियों की संख्या अधिक उच्च है और विरल आव्युह (उदाहरण के लिए दस्तावेजों में शब्द गिनती)।

ध्यान दें कि पीडीएफ बीटा-द्विपद वितरण है जब $K=2$ यह भी दिखाया जा सकता है कि यह बहुपद वितरण तक पहुंचता है क्योंकि $\alpha _{0}$ अनंत तक पहुंचता है। पैरामीटर $\alpha _{0}$ बहुपद के सापेक्ष अतिफैलाव या विस्फोट की डिग्री को नियंत्रित करता है। साहित्य में पाए गए $\alpha _{0}$ को दर्शाने के लिए वैकल्पिक विकल्प S और A हैं।

डिरिचलेट-बहुपद वितरण कलश मॉडल के रूप में

इस प्रकार से डिरिचलेट-बहुपद वितरण को सदिश α के धनात्मक-अर्धनिश्चित पूर्णांक मानों के लिए एक कलश मॉडल के माध्यम से भी प्रेरित किया जा सकता है, जिसे पॉली कलश मॉडल के रूप में जाना जाता है। विशेष रूप से, एक कलश की कल्पना करें जिसमें ith रंग के लिए $\alpha _{i}$ क्रमांकित K रंगों की गेंदें हों, जहां यादृच्छिक ड्रॉ बनाए जाते हैं। जब एक गेंद को यादृच्छिक रूप से निकाला जाता है और उसका अवलोकन किया जाता है, तो एक ही रंग की दो गेंदें कलश में वापस आ जाती हैं। यदि इसे n बार किया जाता है, तो रंग गणना के यादृच्छिक सदिश $x$ को देखने की संभावना पैरामीटर n और α के साथ एक डिरिचलेट-बहुपद वितरण है।

यदि यादृच्छिक ड्रॉ सरल प्रतिस्थापन के साथ होते हैं (अवलोकित गेंद के ऊपर और ऊपर कोई भी गेंद कलश में नहीं जोड़ी जाती है), तो वितरण बहुपद वितरण का अनुसरण करता है और यदि यादृच्छिक ड्रॉ प्रतिस्थापन के बिना किया जाता है, तो वितरण बहुभिन्नरूपी हाइपरज्यामितीय वितरण का अनुसरण करता है।

गुण

क्षण

एक बार फिर, मान लीजिए $\alpha _{0}=\sum \alpha _{k}$ और मान लीजिए $p_{i}={\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}}$ तो अपेक्षित संख्या यह है कि n परीक्षणों में i का परिणाम की अपेक्षित मान संख्या है

$\operatorname {E} (X_{i})=np_{i}=n{\frac {\alpha _{i}}{\alpha _{0}}}.\,$

सहप्रसरण आव्युह इस प्रकार है। प्रत्येक विकर्ण प्रविष्टि बीटा-द्विपदीय रूप से वितरित यादृच्छिक चर का विचरण है, और इसलिए है

$\operatorname {var} (X_{i})=np_{i}(1-p_{i})\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,$

ऑफ-विकर्ण प्रविष्टियाँ सहप्रसरण हैं:

$\operatorname {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right)\,$

i, j के लिए विशिष्ट है।

सभी सहप्रसरण ऋणात्मक हैं क्योंकि निश्चित n के लिए, डिरिचलेट-बहुपद वितरण सदिश के घटक में वृद्धि के लिए दूसरे घटक में कमी की आवश्यकता होती है।

यह रैंक (रैखिक बीजगणित) K - 1 का K × K धनात्मक-अर्धनिश्चित आव्युह है।

संगत सहसंबंध आव्युह या सहसंबंध आव्युह की प्रविष्टियाँ हैं

$\rho (X_{i},X_{i})=1.$

$\rho (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sqrt {\operatorname {var} (X_{i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{j}(1-p_{j})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}}}=-{\sqrt {\frac {\alpha _{i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.$

नमूना आकार इस अभिव्यक्ति से बाहर हो जाता है।

प्रत्येक k घटक में अलग-अलग बीटा-द्विपद वितरण होता है।

डिरिचलेट-बहुपद वितरण का समर्थन (गणित) समुच्चय है

$\{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}|n_{1}+\cdots +n_{k}=n\}.\,$

इसके तत्वों की संख्या है

${n+k-1 \choose k-1}.$

आव्युह संकेतन

आव्युह संकेतन में,

$\operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,$

और

$\operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right),\,$

साथ p^T = स्तंभ सदिश का पंक्ति सदिश व्स्था नान्तरण . दे

$\alpha _{0}={\frac {1-\rho ^{2}}{\rho ^{2}}}\,$, हम वैकल्पिक रूप से लिख सकते हैं

$\operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,$

पैरामीटर $\rho \!$ इसे इंट्रा क्लास या इंट्रा क्लस्टर सहसंबंध के रूप में जाना जाता है। यह धनात्मक-अर्धनिश्चित सहसंबंध है जो बहुपद वितरण के सापेक्ष अतिफैलाव को उत्पन्न करता है।

एकत्रीकरण

यदि

$X=(X_{1},\ldots ,X_{K})\sim \operatorname {DM} (\alpha _{1},\cdots ,\alpha _{K})$

फिर, यदि सबस्क्रिप्ट i और j वाले यादृच्छिक वेरिएबल को सदिश से हटा दिया जाता है और उनके योग से प्रतिस्थापित कर दिया जाता है,

$X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {DM} \left(\alpha _{1},\cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).$

इस एकत्रीकरण गुण $X_{i}$ का उपयोग सीमांत वितरण प्राप्त करने के लिए किया जा सकता है .

संभावना फलन

वैचारिक रूप से, हम K श्रेणियों के साथ श्रेणीबद्ध वितरण से N स्वतंत्र ड्रॉ बना रहे हैं। आइए हम स्वतंत्र ड्रा को यादृच्छिक श्रेणीगत वेरिएबल के रूप में प्रस्तुत करें $z_{n}$ के लिए $n=1\dots N$. आइए हम किसी विशेष श्रेणी $k$ को कितनी बार निरूपित करें ( $k=1\dots K$के लिए) देखा गया है सभी श्रेणीगत वेरिएबल के मध्य $n_{k}$, और $\sum _{k}n_{k}=N$. फिर, इस समस्या पर हमारे दो अलग-अलग विचार हैं:

1. का समुच्चय $N$ श्रेणीगत वेरिएबल $z_{1},\dots ,z_{N}$.
2. एकल सदिश-मान वान वेरिएबल $\mathbf {x} =(n_{1},\dots ,n_{K})$, बहुपद वितरण के अनुसार वितरित है ।

पहला स्तिथि यादृच्छिक वेरिएबल का समुच्चय है जो प्रत्येक व्यक्तिगत परिणाम को निर्दिष्ट करता है, इसके पश्चात वाला वेरिएबल है जो प्रत्येक के श्रेणियों के परिणामों की संख्या निर्दिष्ट करता है। अंतर महत्वपूर्ण है, क्योंकि दोनों स्तिथियों में संगत रूप से अलग-अलग संभाव्यता वितरण हैं।

श्रेणीबद्ध वितरण का पैरामीटर $\mathbf {p} =(p_{1},p_{2},\dots ,p_{K}),$ है जहाँ $p_{k}$ मान $k$ निकालने की संभावना है ; $\mathbf {p}$ इसी प्रकार बहुपद वितरण $P(\mathbf {x} |\mathbf {p} )$ का पैरामीटर भी है . निर्दिष्ट करने के अतिरिक्त $\mathbf {p}$ सामान्यता पर , हम इसे संयुग्मित पूर्व वितरण देते हैं, और इसलिए इसे पैरामीटर सदिश ${\boldsymbol {\alpha }}=(\alpha _{1},\alpha _{2},\ldots ,\alpha _{K})$ के साथ डिरिचलेट वितरण से लिया जाता है .

एकीकृत करके $\mathbf {p}$, हम मिश्रित वितरण प्राप्त करते हैं। चूंकि , वितरण का स्वरूप इस पर निर्भर करता है कि हम कौन सा दृष्टिकोण उसके आधार पर वितरण का रूप भिन्न होता हैं।

व्यक्तिगत परिणामों के समुच्चय के लिए

संयुक्त वितरण

श्रेणीबद्ध वेरिएबल के लिए $\mathbb {Z} =z_{1},\dots ,z_{N}$सीमांत वितरण संयुक्त वितरण $\mathbf {p}$ को एकीकृत करके प्राप्त किया जाता है :

$\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p}$

जिसके परिणामस्वरूप निम्नलिखित स्पष्ट सूत्र प्राप्त होता है:

$\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}$

जहाँ $\Gamma$ गामा फलन है, के साथ:

$A=\sum _{k}\alpha _{k}{\text{ and }}N=\sum _{k}n_{k}{\text{, and where }}n_{k}={\text{number of }}z_{n}{\text{'s with the value }}k.$

प्रत्येक श्रेणी के अन्दर गिनती पर संभावना के अतिरिक्त श्रेणीबद्ध वेरिएबल के अनुक्रम की संभावना के बारे में सूत्र होने के कारण बहुपद गुणांक की अनुपस्थिति पर ध्यान दें।

यद्यपि वेरिएबल $z_{1},\dots ,z_{N}$ उपरोक्त सूत्र में स्पष्ट रूप से प्रकट नहीं होते हैं, वे इसके माध्यम से प्रवेश करते हैं $n_{k}$ मानों के माध्यम से प्रवेश करते हैं। .

सशर्त वितरण

अन्य उपयोगी सूत्र, विशेष रूप से गिब्स नमूने के संदर्भ में, ज्ञात किया गया है कि किसी दिए गए वेरिएबल $z_{n}$ का सशर्त घनत्व क्या है अन्य सभी वेरिएबल (जिन्हें हम $\mathbb {Z} ^{(-n)}$ निरूपित करेंगे) पर आधारित है. इसका स्वरूप अत्यंत सरल है:

$\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\propto n_{k}^{(-n)}+\alpha _{k}$

जहाँ $n_{k}^{(-n)}$ श्रेणी की गिनती की संख्या निर्दिष्ट करता है $k$ के अतिरिक्त सभी वेरिएबल्स में देखा जाता है $z_{n}$.

यह दिखाना उपयोगी हो सकता है कि इस सूत्र को कैसे प्राप्त किया जाए। सामान्यतः पर , सशर्त वितरण संबंधित संयुक्त वितरण के लिए आनुपातिक होते हैं, इसलिए हम सभी $z_{1},\dots ,z_{N}$ मानों के संयुक्त वितरण के लिए उपरोक्त सूत्र से प्रारंभ करते हैं और फिर किसी भी कारक को समाप्त कर देते हैं जो प्रश्न में विशेष $z_{n}$ पर निर्भर नहीं होता है। ऐसा करने के लिए, हम ऊपर परिभाषित नोटेशन $n_{k}^{(-n)}$ का उपयोग करते हैं, और

$n_{j}={\begin{cases}n_{j}^{(-n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{cases}}$

हम भी इस तथ्य का उपयोग करते हैं

$\Gamma (n+1)=n\Gamma (n)$

तब:

सामान्यतः पर, सशर्त वितरण के लिए समीकरण प्राप्त करते समय सामान्यीकरण स्थिरांक के बारे में चिंता करना आवश्यक नहीं है। सामान्यीकरण स्थिरांक को वितरण से नमूने के लिए एल्गोरिदम के भाग के रूप में निर्धारित किया जाएगा (श्रेणीबद्ध वितरण#नमूनाकरण देखें)। चूंकि , जब सशर्त वितरण ऊपर सरल रूप में लिखा जाता है, तो यह पता चलता है कि सामान्यीकरण स्थिरांक सरल रूप धारण करता है:

$\sum _{k}\left(n_{k}^{(-n)}+\alpha _{k}\right)=A+\sum _{k}n_{k}^{(-n)}=A+N-1$

अत:

$\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})={\frac {n_{k}^{(-n)}+\alpha _{k}}{A+N-1}}$

यह फ़ॉर्मूला चीनी रेस्तरां प्रक्रिया से निकटता से संबंधित है, जो $K\to \infty$ सीमा को इस रूप में लेने से उत्पन्न होता है .

बायेसियन नेटवर्क में

इस प्रकार से उच्च बायेसियन नेटवर्क में, जिसमें श्रेणीबद्ध (या तथाकथित बहुपद) वितरण उच्च नेटवर्क के भागो के रूप में डिरिचलेट वितरण प्रायर के साथ होते हैं, सभी डिरिचलेट प्रायर को संक्षिप्त किया जा सकता है, चूंकि उन पर निर्भर एकमात्र नोड श्रेणीबद्ध वितरण पर निर्भर हो सकता है। पतन प्रत्येक डिरिचलेट-वितरण नोड के लिए दूसरों से अलग होता है, और किसी भी अन्य नोड की अधीन होता है जो श्रेणीबद्ध वितरण पर निर्भर हो सकता है। यह इस तथ्य के अधीन किए बिना भी होता है कि क्या श्रेणीबद्ध वितरण डिरिचलेट प्रायर के अतिरिक्त नोड्स पर निर्भर करते हैं (चूंकि ऐसे स्तिथियों में, उन अन्य नोड्स को अतिरिक्त कंडीशनिंग कारकों के रूप में रहना चाहिए)। अनिवार्य रूप से, किसी दिए गए डिरिचलेट-वितरण नोड के आधार पर सभी श्रेणीबद्ध वितरण उपरोक्त सूत्र द्वारा परिभाषित एकल डिरिचलेट-बहुपद वितरण संयुक्त वितरण में जुड़ जाते हैं। इस प्रकार से परिभाषित संयुक्त वितरण एकीकृत-आउट डिरिचेट पूर्व नोड्स के मूल पर निर्भर करता है , साथ ही डिरिचलेट पूर्व नोड्स के अतिरिक्त श्रेणीबद्ध नोड्स के किसी भी मूल पर निर्भर करता है ।

निम्नलिखित अनुभागों में, हम सामान्यतः बायेसियन नेटवर्क में पाए जाने वाले विभिन्न कॉन्फ़िगरेशन पर वेरिएबल ्चा करते हैं। हम ऊपर से संभाव्यता घनत्व दोहराते हैं, और इसे प्रतीक $\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})$ का उपयोग करके परिभाषित करते हैं :

$\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}$

ही हाइपरप्रायर के साथ एकाधिक डिरिचलेट प्रायर

अतः कल्पना कीजिए कि हमारे पास इस प्रकार पदानुक्रमित मॉडल है:

${\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\end{array}}$

इस प्रकार के स्तिथियों में, हमारे पास अनेक डिरिचेट प्रायर हैं, जिनमें से प्रत्येक कुछ संख्या में श्रेणीबद्ध अवलोकन उत्पन्न करता है (संभवतः प्रत्येक पूर्व के लिए अलग संख्या)। तथ्य यह है कि वे सभी ही हाइपरप्रायर पर निर्भर हैं, तथापि यह ऊपर जैसा यादृच्छिक वेरिएबल हो, इससे कोई भिन्नता नहीं है । डिरिचलेट पूर्व को एकीकृत करने का प्रभाव उस पूर्व से जुड़े श्रेणीबद्ध वेरिएबल को जोड़ता है, जिसका संयुक्त वितरण बस डिरिचलेट पूर्व के किसी भी कंडीशनिंग कारकों को प्राप्त करता है। तथ्य यह है कि कई प्रायर हाइपरप्रियर साझा कर सकते हैं, इससे कोई भिन्नता नहीं है :

$\Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})$

जहाँ $\mathbb {Z} _{d}$ यह केवल पूर्व d पर निर्भर श्रेणीगत वेरिएबल का संग्रह है।

तदनुसार, सशर्त संभाव्यता वितरण निम्नानुसार लिखा जा सकता है:

$\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},{\boldsymbol {\alpha }})\ \propto \ n_{k,d}^{(-n)}+\alpha _{k}$

जहाँ $n_{k,d}^{(-n)}$ विशेष रूप से समुच्चय $\mathbb {Z} _{d}$ के मध्य वेरिएबल की संख्या का अर्थ है, $z_{dn}$ को छोड़कर स्वयं, जिसका मान $k$ है .

केवल k मान वाले वेरिएबल्स को गिनना आवश्यक है जो समान पूर्व होने के कारण प्रश्न में वेरिएबल से साथ बंधे हैं। हम k मान वाले किसी अन्य वेरिएबल को भी गिनना नहीं चाहते हैं।

ही हाइपरप्रियर वाले एकाधिक डिरिचलेट प्रायर , आश्रित चिल्ड्रेन ही

अब थोड़ा अधिक जटिल पदानुक्रमित मॉडल की कल्पना इस प्रकार करें:

${\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{some other distribution}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})\end{array}}$

यह मॉडल ऊपर जैसा ही है, किन्तु इसके अतिरिक्त , प्रत्येक श्रेणीगत वेरिएबल पर चाइल्ड वेरिएबल निर्भर होता है। यह मिश्रण मॉडल की प्रमुखता है.

फिर से, संयुक्त वितरण में, केवल उसी पूर्व पर निर्भर श्रेणीबद्ध वेरिएबल एकल डिरिचलेट-बहुपद वितरण में जुड़े हुए हैं:

$\Pr(\mathbb {Z} ,\mathbb {W} \mid {\boldsymbol {\alpha }},{\boldsymbol {\phi }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})$

केवल उनके पैरेंट्स और प्रायरों पर निर्भर श्रेणीगत वेरिएबल का सशर्त वितरण सरल स्तिथियों में उपरोक्त के समान रूप होगा। चूंकि , गिब्स नमूने में किसी दिए गए नोड के सशर्त वितरण $z_{dn}$ को निर्धारित करना आवश्यक है केवल $\mathbb {Z} ^{(-dn)}$ पर निर्भर नहीं है और प्रायर जैसे $\alpha$ किन्तु अन्य सभी मापदंडों पर भिन्न होते है ।

सशर्त वितरण के लिए सरलीकृत अभिव्यक्ति ऊपर संयुक्त संभाव्यता के लिए अभिव्यक्ति को फिर से लिखकर और निरंतर कारकों को हटाकर प्राप्त की गई है। इसलिए, वही सरलीकरण उच्च संयुक्त संभाव्यता अभिव्यक्ति में प्रयुक्त होगा जैसे कि इस मॉडल में, डिरिचलेट-बहुपद वितरण घनत्व और श्रेणीबद्ध वेरिएबल के मान पर निर्भर कई अन्य यादृच्छिक वेरिएबल के कारकों से बना है।

इससे निम्नलिखित परिणाम मिलते हैं:

$\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha }},{\boldsymbol {\phi }})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})$

यहाँ की संभाव्यता घनत्व $\operatorname {F}$ प्रत्यक्ष रूप से प्रकट होता है. मान लीजिये $z_{dn}$ छद्म-यादृच्छिक संख्या नमूनाकरण करने के लिए , हम सभी संभावनाओं के लिए K असामान्य संभावनाओं की गणना करेंगे उपरोक्त सूत्र $z_{dn}$ का उपयोग करके, फिर उन्हें सामान्य करें और श्रेणीबद्ध वितरण आलेख में वर्णित एल्गोरिदम का उपयोग करके सामान्य रूप से आगे बढ़ेंगे।

सही प्रकार से कहें तो, सशर्त वितरण में दिखाई देने वाला अतिरिक्त कारक मॉडल विनिर्देश से नहीं किन्तु सीधे संयुक्त वितरण से प्राप्त होता है। यह अंतर उन मॉडलों पर विचार करते समय महत्वपूर्ण है जहां डिरिचलेट-पूर्व पैरेंट्स के साथ दिए गए नोड में कई आश्रित चिल्ड्रेन हैं, विशेषकर जब वे चिल्ड्रेन एक-दूसरे पर निर्भर होते हैं (उदाहरण के लिए यदि वे पैरेंट्स को साझा करते हैं जो अलग हो गए हैं)। इस पर नीचे अधिक वेरिएबल की गई है।

पूर्व सदस्यता परिवर्तन के साथ एकाधिक डिरिचलेट प्रायर

अब कल्पना करें कि हमारे पास इस प्रकार पदानुक्रमित मॉडल है:

${\begin{array}{lcl}{\boldsymbol {\theta }}&\sim &{\text{some distribution}}\\z_{n=1\dots N}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }})\\{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\alpha }})\\w_{n=1\dots N}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{n}})\\\end{array}}$

यहां हमारे पास यह कठिन स्थिति है जहां हमारे पास पहले की तरह अनेक डिरिचलेट पूर्व और आश्रित श्रेणीगत वेरिएबल का समुच्चय है, किन्तु पहले के विपरीत, पूर्व और आश्रित वेरिएबल के मध्य संबंध स्थापित नहीं है। इसके अतिरिक्त , उपयोग से पहले का चुनाव किसी अन्य यादृच्छिक श्रेणीबद्ध वेरिएबल पर निर्भर है। ऐसा होता है, उदाहरण के लिए, विषय मॉडल में, और वास्तव में उपरोक्त वेरिएबल के नाम अव्यक्त डिरिचलेट आवंटन के अनुरूप होते हैं। इस स्तिथियों $\mathbb {W}$ में, समुच्चय शब्दों का समूह है, जिनमें से प्रत्येक शब्द किसी से लिया गया है संभावित विषय, जहां प्रत्येक $K$ विषय की शब्दावली से पहले डिरिचलेट है $V$ संभावित शब्द, विषय में विभिन्न शब्दों की आवृत्ति निर्दिष्ट करते हुए। चूंकि , किसी दिए गए शब्द की विषय सदस्यता निश्चित नहीं है; किन्तु , यह अव्यक्त वेरिएबल के समुच्चय से निर्धारित होता है $\mathbb {Z}$. प्रति शब्द अव्यक्त वेरिएबल है, जहाँ $K$ -आयामी श्रेणीबद्ध वेरिएबल उस विषय को निर्दिष्ट करता है जिससे शब्द संबंधित है।

इस स्तिथियों में, किसी दिए गए पूर्व पर निर्भर सभी वेरिएबल समूह में साथ बंधे हुए हैं (अर्थात सहसंबद्ध), पहले की तरह - विशेष रूप से, किसी दिए गए विषय से संबंधित सभी शब्द जुड़े हुए हैं। चूंकि , इस स्तिथियों में, समूह की सदस्यता परिवर्तित की जाती है, जिसमें शब्द किसी दिए गए विषय पर नियम नहीं होते हैं, किन्तु विषय शब्द से जुड़े अव्यक्त वेरिएबल के मान पर निर्भर करता है। चूंकि , डिरिचलेट-बहुपद वितरण घनत्व की परिभाषा वास्तव में किसी समूह में श्रेणीबद्ध वेरिएबल की संख्या (अर्थात किसी दिए गए विषय से उत्पन्न दस्तावेज़ में शब्दों की संख्या) पर निर्भर नहीं करती है, किन्तु केवल इस तथ्य पर निर्भर करती है कि इसमें कितने वेरिएबल हैं समूह का दिया हुआ मान होता है (अर्थात किसी दिए गए विषय से उत्पन्न सभी शब्द टोकन के मध्य , उनमें से कितने दिए गए शब्द हैं)। इसलिए, हम अभी भी संयुक्त वितरण के लिए स्पष्ट सूत्र लिख सकते हैं:

$\Pr(\mathbb {W} \mid {\boldsymbol {\alpha }},\mathbb {Z} )=\prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha }})=\prod _{k=1}^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^{k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v})}{\Gamma (\alpha _{v})}}\right]$

यहां हम संकेतन $n_{v}^{k}$ का उपयोग करते हैं उन शब्द टोकनों की संख्या को दर्शाने के लिए जिनका मान शब्द प्रतीक v है और जो विषय k से संबंधित हैं।

सशर्त वितरण का रूप अभी भी वही है:

$\Pr(w_{n}=v\mid \mathbb {W} ^{(-n)},\mathbb {Z} ,{\boldsymbol {\alpha }})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}$

यहां फिर से, किसी दिए गए विषय से संबंधित शब्दों के लिए केवल श्रेणीबद्ध वेरिएबल जुड़े हुए हैं (तथापि यह लिंकिंग अव्यक्त वेरिएबल के असाइनमेंट पर निर्भर करेगी), और इसलिए शब्द गणना केवल किसी दिए गए विषय से उत्पन्न शब्दों से अधिक होनी चाहिए। इसलिए प्रतीक $n_{v}^{k,(-n)}$, जो कि शब्द प्रतीक v वाले शब्द टोकन की गिनती है, किन्तु विषय k द्वारा उत्पन्न लोगों में से 'केवल' है, और उस शब्द को छोड़कर जिसके वितरण का वर्णन किया जा रहा है।

(जिस कारण से शब्द को बाहर करना आवश्यक है, और यह बिल्कुल भी समझ में क्यों आता है, वह यह है कि गिब्स नमूना संदर्भ में, हम सभी पिछले वेरिएबल के माध्यम से चलने और नमूना लेने के पश्चात , प्रत्येक यादृच्छिक वेरिएबल के मान को बार-बार पुन: नमूना करते हैं। इसलिए वेरिएबल का पहले से ही एक मूल्य है, और हमें इस उपस्तिथ मान को उन विभिन्न गणनाओं से बाहर करने की आवश्यकता है जिनका हम उपयोग करते हैं।)

संयुक्त उदाहरण: एलडीए विषय मॉडल

अब हम दिखाते हैं कि उपरोक्त कुछ परिदृश्यों को कैसे संयोजित किया जाए ताकि यह प्रदर्शित किया जा सके कि गिब्स वास्तविक प्रमुख्य मॉडल, विशेष रूप से स्मूथ लेटेंट डिरिचलेट आवंटन (एलडीए) विषय मॉडल का नमूना कैसे ले सकते हैं।

मॉडल इस प्रकार है:

${\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{dn}})\\\end{array}}$

अनिवार्य रूप से हम पिछले तीन परिदृश्यों को जोड़ते हैं: हमारे पास श्रेणीबद्ध वेरिएबल हैं जो हाइपरप्रायर साझा करने वाले अनेक प्रायर पर निर्भर हैं; हमारे पास आश्रित चिल्ड्रेन ही श्रेणीगत वेरिएबल हैं (अव्यक्त वेरिएबल विषय पहचान); और हमारे पास हाइपरप्रायर साझा करने वाले अनेक प्रायर में सदस्यता परिवर्तन के साथ श्रेणीबद्ध वेरिएबल हैं। मानक एलडीए मॉडल में, शब्दों का पूर्ण प्रकार से अवलोकन किया जाता है, और इसलिए हमें उन्हें दोबारा नमूना लेने की आवश्यकता नहीं होती है। (चूंकि , गिब्स नमूनाकरण समान रूप से संभव होगा यदि केवल कुछ या कोई भी शब्द नहीं देखा गया हो। ऐसे स्तिथियों में, हम कुछ उचित विधियों से शब्दों पर वितरण प्रारंभ करना चाहेंगे - उदाहरण के लिए कुछ प्रक्रिया के आउटपुट से जो वाक्य उत्पन्न करता है , जैसे कि मशीनी अनुवाद मॉडल - परिणामी पश्च वितरण अव्यक्त वेरिएबल वितरण के लिए कोई अर्थ निकालने के लिए।)

उपरोक्त सूत्रों का उपयोग करके, हम सशर्त संभावनाओं को सीधे लिख सकते हैं:

${\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &(\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\\\end{array}}$

यहां हमने शब्दों की संख्या और विषयों की संख्या को स्पष्ट रूप से अलग करने के लिए गिनती को अधिक स्पष्ट रूप से परिभाषित किया है:

${\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among topic }}k{\text{ excluding }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{number of topics having value }}k{\text{ among document }}d{\text{ excluding }}z_{dn}\\\end{array}}$

आश्रित चिल्ड्रेन ही श्रेणीबद्ध वेरिएबल के साथ उपरोक्त परिदृश्य में, उन आश्रित चिल्ड्रेन की सशर्त संभावना पैरेंट्स की सशर्त संभावना की परिभाषा में दिखाई देती है। इस स्तिथियों में, प्रत्येक अव्यक्त वेरिएबल में केवल ही आश्रित उपसर्ग शब्द होता है, इसलिए ऐसा केवल ही शब्द प्रकट होता है। (यदि एकाधिक आश्रित चिल्ड्रेन हों, तो सभी को पैरेंट्स की सशर्त संभाव्यता में उपस्थित होना होगा, तथापि अलग-अलग पैरेंट्स और समान चिल्ड्रेन के मध्य ओवरलैप हो, अर्थात इस तथ्य के अधीन किए बिना कि किसी दिए गए है और पैरेंट्स के आश्रित चिल्ड्रेन के अन्य पैरेंट्स भी हैं या नहीं। ऐसा स्तिथि जहां चिल्ड्रेन के कई पैरेंट्स हों, उस चिल्ड्रेन की सशर्त संभाव्यता उसके प्रत्येक पैरेंट्स की सशर्त संभाव्यता परिभाषा में दिखाई देती है।)

उपरोक्त परिभाषा केवल शब्दों की असामान्यीकृत सशर्त संभाव्यता को निर्दिष्ट करती है, जबकि विषय सशर्त संभाव्यता के लिए वास्तविक (अर्थात सामान्यीकृत) संभाव्यता की आवश्यकता होती है। इसलिए हमें सभी शब्द प्रतीकों को जोड़कर सामान्य बनाना होगा:

${\begin{array}{rcl}\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v'})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}}\end{array}}$

जहाँ

${\begin{array}{lcl}\#\mathbb {W} ^{k}&=&{\text{number of words generated by topic }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}$

यह और बिंदु को विस्तार से बताने लायक भी है, जो सशर्त संभाव्यता में उपरोक्त दूसरे कारक से संबंधित है। याद रखें कि सामान्य रूप से सशर्त वितरण संयुक्त वितरण से प्राप्त होता है, और सशर्त के डोमेन (ऊर्ध्वाधर पट्टी के बाईं ओर का भाग) पर निर्भर नहीं होने वाले शब्दों को हटाकर इसे सरल बनाया जाता है। जब नोड $z$ आश्रित चिल्ड्रेन हैं, तो या अधिक कारक $\operatorname {F} (\dots \mid z)$ जिन पर निर्भर हैं संयुक्त वितरण में जो $z$ निर्भर हैं . सामान्यतः प्रत्येक आश्रित नोड के लिए कारक होता है, और इसमें गणितीय परिभाषा में दिखाई देने वाले वितरण के समान घनत्व कार्य होता है। चूंकि , यदि आश्रित नोड में अन्य अभिभावक ( सह-अभिभावक) भी है, और वह सह-अभिभावक समाप्त हो गया है, तो नोड उस सह-अभिभावक को साझा करने वाले अन्य सभी नोड्स पर निर्भर हो जाएगा, और इसके लिए कई नियम के स्थान पर ऐसे प्रत्येक नोड, संयुक्त वितरण में केवल संयुक्त पद होगा। हमारे यहाँ बिल्कुल वैसी ही स्थिति है। चाहे $z_{dn}$ केवल चिल्ड्रेन है , उस चिल्ड्रेन $w_{dn}$ के पास डिरिचलेट सह-अभिभावक है जिसे हमने अलग कर दिया है, जो नोड्स के पूरे समुच्चय पर डिरिचलेट-बहुपद वितरण $\mathbb {W} ^{k}$ उत्पन्न करता है .

इस स्तिथियों में ऐसा होता है कि यह नियम उच्च समस्याओं का कारण नहीं बनता है, ठीक मध्य में एक-से- संबंध के कारण $z_{dn}$ और $w_{dn}$. हम संयुक्त वितरण को इस प्रकार पुनः लिख सकते हैं:

${\begin{array}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\end{array}}$

समुच्चय में जहाँ $\mathbb {W} ^{k,(-dn)}$ (अर्थात नोड्स का समुच्चय $\mathbb {W} ^{k}$ के सिवा $w_{dn}$ ), किसी भी नोड में नहीं है पैरेंट्स $z_{dn}$ के रूप में. इसलिए इसे कंडीशनिंग कारक (पंक्ति 2) के रूप में समाप्त किया जा सकता है, जिसका अर्थ है कि पूरे कारक को सशर्त वितरण (पंक्ति 3) से समाप्त किया जा सकता है।

दूसरा उदाहरण: नाइव बेयस दस्तावेज़ क्लस्टरिंग

यहां और मॉडल है, जिसमें मुद्दों का अलग समुच्चय है। यह दस्तावेज़ क्लस्टरिंग के लिए अप्रकाशित नाइव बेयस मॉडल का कार्यान्वयन है। अर्थात्, हम पाठ्य सामग्री के आधार पर कई श्रेणियों (उदाहरण के लिए स्पैम (इलेक्ट्रॉनिक) या गैर-स्पैम, या वैज्ञानिक जर्नल लेख, वित्त के बारे में समाचार पत्र लेख, राजनीति के बारे में समाचार पत्र लेख, प्रेम पत्र) में वर्गीकरण का दस्तावेजीकरण करना चाहेंगे। चूंकि , हम पहले से ही किसी दस्तावेज़ की सही श्रेणी नहीं जानते हैं; इसके अतिरिक्त , हम आपसी समानता के आधार पर उन्हें क्लस्टर करने का दस्तावेजीकरण करना चाहते हैं। (उदाहरण के लिए, वैज्ञानिक लेखों का समुच्चय शब्द प्रयोग में एक-दूसरे के समान होगा किन्तु प्रेम पत्रों के समुच्चय से बहुत अलग होगा।) यह प्रकार की बिना पर्यवेक्षित शिक्षा है। (उसी विधियों का उपयोग अर्ध-पर्यवेक्षित शिक्षण करने के लिए किया जा सकता है, अर्थात जहां हम दस्तावेज़ों के कुछ अंश की सही श्रेणी जानते हैं और शेष दस्तावेज़ों को क्लस्टर करने में सहायता के लिए इस ज्ञान का उपयोग करना चाहेंगे।)

मॉडल इस प्रकार है:

${\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{d}})\\\end{array}}$

इस प्रकार से , यह मॉडल ऊपर वर्णित अव्यक्त डिरिचलेट आवंटन विषय मॉडल के समान है, किन्तु यह प्रति शब्द विषय के अतिरिक्त प्रति दस्तावेज़ विषय मानता है, जिसमें दस्तावेज़ में विषयों का मिश्रण होता है। इसे उपरोक्त मॉडल में स्पष्ट रूप से देखा जा सकता है, जो एलडीए मॉडल के समान है, इसके अतिरिक्त कि प्रति दस्तावेज़ शब्द के अतिरिक्त केवल अव्यक्त वेरिएबल है। और पुनः , हम मानते हैं कि हम डिरिचलेट के सभी पूर्ववर्तियों को ध्वस्त कर रहे हैं।

किसी दिए गए शब्द के लिए सशर्त संभाव्यता एलडीए स्तिथियों के लगभग समान है। और पुनः, उसी डिरिचलेट पूर्व द्वारा उत्पन्न सभी शब्द अन्योन्याश्रित हैं। इस स्तिथियों में, इसका अर्थ है कि दिए गए लेबल वाले सभी दस्तावेज़ों के शब्द - फिर से, यह लेबल असाइनमेंट के आधार पर भिन्न हो सकता है, किन्तु हमें केवल कुल गिनती की अधीरता है। इस तरह:

${\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\end{array}}$

जहाँ

${\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among documents with label }}k{\text{ excluding }}w_{dn}\\\end{array}}$

चूंकि , लेबल असाइनमेंट के लिए अव्यक्त वेरिएबल के सशर्त वितरण में महत्वपूर्ण अंतर है, जो यह है कि किसी दिए गए लेबल वेरिएबल में केवल के अतिरिक्त कई चिल्ड्रेन के नोड होते हैं - विशेष रूप से, लेबल के दस्तावेज़ में सभी शब्दों के लिए नोड्स। यह कारक के बारे में उपरोक्त वेरिएबल $\operatorname {F} (\dots \mid z_{d})$ से निकटता से संबंधित है जो संयुक्त वितरण से उत्पन्न होता है। इस स्तिथियों में, संयुक्त वितरण को सभी दस्तावेजों में सभी शब्दों पर ले जाने की आवश्यकता है जिसमें मान $z_{d}$ के समान लेबल असाइनमेंट सम्मिलित है , और इसमें डिरिचलेट-बहुपद वितरण का मान है। इसके अतिरिक्त , हम इस संयुक्त वितरण को शब्द पर सशर्त वितरण तक सीमित नहीं कर सकते। इसके अतिरिक्त , हम इसे केवल प्रश्न में लेबल के लिए दस्तावेज़ में शब्दों पर छोटे से संयुक्त सशर्त वितरण तक कम कर सकते हैं, और इसलिए हम उपरोक्त ट्रिक का उपयोग करके इसे सरल नहीं बना सकते हैं जो अपेक्षित गणना और पूर्व का सरल योग प्राप्त करता है। यद्यपि वास्तव में इसे ऐसे व्यक्तिगत योगों के उत्पाद के रूप में फिर से लिखना संभव है, कारकों की संख्या अधिक उच्च है, और डिरिचलेट-बहुपद वितरण संभावना की सीधे गणना करने की तुलना में स्पष्ट रूप से अधिक कुशल नहीं है।

संबंधित वितरण

डिरिचलेट-बहुपद वितरण के एक-आयामी संस्करण को बीटा-द्विपद वितरण के रूप में जाना जाता है।

डिरिचलेट-बहुपद वितरण का संबंध ऋणात्मक द्विपद वितरण के साथ है, जो पॉइसन वितरण के साथ बहुपद वितरण के संबंध के अनुरूप है।

उपयोग

डिरिचलेट-बहुपद वितरण का उपयोग स्वचालित दस्तावेज़ वर्गीकरण और क्लस्टरिंग, आनुवंशिकी, अर्थव्यवस्था, प्रतिद्विंद्विता मॉडलिंग और मात्रात्मक विपणन में किया जाता है।

यह भी देखें

• बीटा-द्विपद वितरण
• चीनी रेस्तरां प्रक्रिया
• डिरिचलेट प्रक्रिया
• सामान्यीकृत डिरिचलेट वितरण
• क्रिचेव्स्की-ट्रोफिमोव अनुमानक
• डिरिचलेट ऋणात्मक बहुपद वितरण

संदर्भ

स्रोत

• एल्कन, सी. (2006) डिरिचलेट कंपाउंड मल्टीनोमियल डिस्ट्रीब्यूशन के एक घातीय-पारिवारिक सन्निकटन के साथ क्लस्टरिंग दस्तावेज़। आईसीएमएल, 289-296।
• जॉनसन, एन.एल., कोट्ज़, एस. और बालाकृष्णन, एन. (1997) डिस्क्रीट मल्टीवेरिएट डिस्ट्रीब्यूशन (वॉल्यूम 165)। न्यूयॉर्क: विली.
• क्वाम, पी. और डे, डी. (2001) युद्ध मॉडलिंग में बहुभिन्नरूपी पोलिया वितरण। नौसेना अनुसंधान रसद, 48, 1-17।
• मैडसेन, आर.ई., कौचक, डी. और एल्कन, सी. (2005) डिरिचलेट डिस्ट्रीब्यूशन का उपयोग करके मॉडलिंग वर्ड बर्स्टनेस। आईसीएमएल, 545-552।
• मिंका, टी. (2003) एक डिरिचलेट वितरण का अनुमान लगाना। तकनीकी रिपोर्ट माइक्रोसॉफ्ट रिसर्च। डेटा में वितरण को फ़िट करने के लिए मैटलैब कोड शामिल है।
• मोसिमन, जे. ई. (1962) मिश्रित बहुपद वितरण, बहुभिन्नरूपी β-वितरण, और अनुपातों के बीच सहसंबंध। बायोमेट्रिक, 49(1-2), 65-82।
• वैगनर, यू. और टॉड्स, ए. (1986) ब्रांड चॉइस और खरीद घटना का एक बहुभिन्नरूपी पोलिया मॉडल। विपणन विज्ञान, 5(3), 219-244।

श्रेणी:बहुभिन्नरूपी असतत वितरण

श्रेणी:अलग-अलग वितरण

यौगिक संभाव्यता वितरण