श्रेणीबद्ध वितरण

Categorical

Parameters	$k>0$ number of categories (integer) $p_{1},\ldots ,p_{k}$ event probabilities $(p_{i}\geq 0,\,\Sigma p_{i}=1)$
Support	$x\in \{1,\dots ,k\}$
PMF	(1) $p(x=i)=p_{i}$ (2) $p(x)=p_{1}^{[x=1]}\cdots p_{k}^{[x=k]}$ (3) $p(x)=[x=1]\cdot p_{1}\,+\cdots +\,[x=k]\cdot p_{k}$ where $[x=i]$ is the Iverson bracket
Mode	$i{\text{ such that }}p_{i}=\max(p_{1},\ldots ,p_{k})$

संभाव्यता सिद्धांत और सांख्यिकी में, श्रेणीबद्ध वितरण (जिसे सामान्यीकृत बर्नौली वितरण भी कहा जाता है, मल्टीनौली वितरण) असतत संभाव्यता वितरण है जो यादृच्छिक चर के संभावित परिणामों का वर्णन करता है जो संभाव्यता के साथ K संभावित श्रेणियों में से एक पर ले जा सकता है। प्रत्येक श्रेणी को भिन्न से निर्दिष्ट किया गया है। इन परिणामों का कोई जन्मजात अंतर्निहित क्रम नहीं है, किन्तु वितरण का वर्णन करने में सुविधा के लिए संख्यात्मक लेबल प्रायः संलग्न होते हैं, (जैसे 1 से K)। K-आयामी श्रेणीबद्ध वितरण, के-वे घटना पर सबसे सामान्य वितरण है; आकार-K प्रतिरूप स्थान पर कोई अन्य पृथक वितरण विशेष विषय है। प्रत्येक संभावित परिणाम की संभावनाओं को निर्दिष्ट करने वाले पैरामीटर केवल इस तथ्य से बाधित होते हैं कि प्रत्येक को 0 से 1 की सीमा में होना चाहिए, और सभी का योग 1 होना चाहिए।

श्रेणीबद्ध वितरण श्रेणीगत चर यादृच्छिक चर के लिए बर्नौली वितरण का सामान्यीकरण है, अर्थात असतत चर के लिए दो से अधिक संभावित परिणामों के साथ, जैसे पासे का रोल। दूसरी ओर, श्रेणीबद्ध वितरण बहुराष्ट्रीय वितरण का विशेष विषय है, जिसमें यह कई रेखाचित्रों के अतिरिक्त रेखाचित्र के संभावित परिणामों की संभावनाएँ देता है।

शब्दावली

कभी-कभी, श्रेणीबद्ध वितरण को असतत वितरण कहा जाता है। चूंकि, यह उचित रूप से वितरण के विशेष समुदाय को नहीं अर्थात असतत वितरण को संदर्भित करता है।

कुछ क्षेत्रों में, जैसे कि यंत्र अधिगम और प्राकृतिक भाषा प्रसंस्करण, श्रेणीबद्ध और बहुराष्ट्रीय वितरण परस्पर जुड़े हुए हैं, और बहुराष्ट्रीय वितरण का कथन करना साधारण है जब श्रेणीबद्ध वितरण अधिक स्थिर होगा। यह अस्पष्ट उपयोग इस तथ्य से उत्पन्न होता है कि कभी-कभी श्रेणीबद्ध वितरण के परिणाम को "1-ऑफ-के" सदिश (सदिश जिसमें तत्व 1 और अन्य सभी तत्व 0 युक्त होता है) के रूप में व्यक्त करना सुविधाजनक होता है, इसके अतिरिक्त कि 1 से K तक की सीमा में पूर्णांक इस रूप में, श्रेणीबद्ध वितरण एकल अवलोकन के लिए बहुपद वितरण के समान है।

चूंकि, श्रेणीबद्ध और बहुराष्ट्रीय वितरणों को मिलाने से समस्याएँ हो सकती हैं। उदाहरण के लिए, डिरिचलेट-बहुराष्ट्रीय वितरण में, जो सामान्यतः प्राकृतिक भाषा प्रसंस्करण मॉडल (चूंकि सामान्यतः इस नाम के साथ नहीं) में उत्पन्न होता है, संक्षिप्त गिब्स नमूने के परिणामस्वरूप जहां डिरिचलेट वितरण पदानुक्रमित बायेसियन मॉडल से भिन्न हो जाते है, यह अधिक महत्वपूर्ण है श्रेणीबद्ध को बहुपद से भिन्न करें। समान डिरिचलेट-बहुराष्ट्रीय समान चर के संयुक्त वितरण के दो भिन्न-भिन्न रूप हैं, जो इस पर निर्भर करता है कि क्या यह वितरण के रूप में वर्णित है दोनों रूपों में अधिक समान दिखने वाली संभाव्यता द्रव्यमान फ़ंक्शन (पीएमएफ) हैं, जो दोनों श्रेणी में नोड्स की बहुपद-शैली की गणना का संदर्भ देते हैं। चूंकि, बहुपद-शैली पीएमएफ में अतिरिक्त कारक, बहुपद गुणांक है, जो कि श्रेणीबद्ध-शैली पीएमएफ में 1 के समान स्थिरांक है। दोनों को भ्रमित करने से उन सेटिंग्स में सरलता से गलत परिणाम आ सकते हैं जहां यह अतिरिक्त कारक ब्याज के वितरण के संबंध में स्थिर नहीं है। गिब्स सैंपलिंग में उपयोग की जाने वाली पूर्ण सशर्तताओं और परिवर्तनशील प्रविधियों में इष्टतम वितरण में कारक प्रायः स्थिर होता है।

वितरण प्रस्तुत करना

श्रेणीबद्ध वितरण असतत संभाव्यता वितरण है जिसका प्रतिरूप स्थान व्यक्तिगत रूप से पहचाने गए आइटमों का सेट है। यह श्रेणीबद्ध यादृच्छिक चर के लिए बर्नौली वितरण का सामान्यीकरण होता है।

वितरण के सूत्रीकरण में, प्रतिरूप स्थान को पूर्णांकों का सीमित अनुक्रम माना जाता है। लेबल के रूप में उपयोग किए जाने वाले सटीक पूर्णांक महत्वहीन हैं; वे {0, 1, ..., k − 1} या {1, 2, ..., k} या मानों का कोई अन्य मनमाना सेट हो सकते हैं। निम्नलिखित विवरणों में, हम सुविधा के लिए {1, 2, ..., k} का उपयोग करते हैं, चूंकि यह बर्नौली वितरण के लिए सम्मेलन से असहमत है, जो {0, 1} का उपयोग करता है। इस स्थिति में, संभाव्यता द्रव्यमान फलन f है।

$f(x=i\mid {\boldsymbol {p}})=p_{i},$

जहाँ ${\boldsymbol {p}}=(p_{1},\ldots ,p_{k})$, $p_{i}$ तत्व i और देखने की संभावना का प्रतिनिधित्व करता $\textstyle {\sum _{i=1}^{k}p_{i}=1}$ है,

अन्य सूत्रीकरण जो अधिक जटिल दिखाई देता है किन्तु गणितीय जोड़तोड़ की सुविधा देता है इवरसन ब्रैकेट का उपयोग करते हुए इस प्रकार है

$f(x\mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{[x=i]},$

जहाँ $[x=i]$ यदि 1 का मूल्यांकन करता है $x=i$, 0 अन्यथा। इस फॉर्मूलेशन के विभिन्न लाभ हैं, उदाहरण के लिए:

• स्वतंत्र समान रूप से वितरित श्रेणीबद्ध चर के सेट की संभावना फ़ंक्शन को लिखना सरल होता है।
• यह श्रेणीबद्ध वितरण को संबंधित बहुराष्ट्रीय वितरण से जोड़ता है।
• यह दिखाता है कि डिरिचलेट वितरण श्रेणीबद्ध वितरण से पूर्व का संयुग्मित क्यों है, और मापदंडों के पश्च वितरण की गणना करने की अनुमति देता है।

तत्पश्चात अन्य सूत्रीकरण श्रेणीबद्ध वितरण को बहुपद वितरण के विशेष विषय के रूप में मानकर श्रेणीबद्ध और बहुपद वितरण के मध्य संबंध को स्पष्ट करता है जिसमें बहुपद वितरण का पैरामीटर n (प्रतिरूप किए गए आइटम की संख्या) 1 पर निर्धारित किया गया है। इस सूत्रीकरण में , प्रतिरूप स्थान को आयाम k के 1-ऑफ-K एन्कोडेड यादृच्छिक सदिश x का सेट माना जा सकता हैजिसमें यह गुण होता है कि वास्तव में तत्व का मान 1 है और अन्य का मान 0 है। विशेष तत्व वाला मान 1 इंगित करता है कि कौन सी श्रेणी चयन की गई है। इस सूत्रीकरण में प्रायिकता द्रव्यमान फलन f है।

$f(\mathbf {x} \mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{x_{i}},$

जहाँ $p_{i}$ तत्व i और देखने की संभावना का प्रतिनिधित्व करता है $\textstyle {\sum _{i}p_{i}=1}$ यह क्रिस्टोफर बिशप द्वारा स्वीकार किया गया सूत्रीकरण है।

गुण

के साथ श्रेणीबद्ध वितरण के लिए संभावित संभावनाएँ $k=3$ 2-सिम्प्लेक्स हैं $p_{1}+p_{2}+p_{3}=1$, 3-स्पेस में एम्बेडेड।

* वितरण पूर्ण रूप से प्रत्येक संख्या से जुड़ी संभावनाओं द्वारा दिया गया है: $p_{i}=P(X=i)$, i = 1,...,k, जहाँ $\textstyle {\sum _{i}p_{i}=1}$. संभावनाओं के संभावित सेट मानक में बिल्कुल वही हैं $(k-1)$-आयामी सिंप्लेक्स; k = 2 के लिए यह बर्नौली वितरण के 1-सिम्प्लेक्स होने की संभावित $p_{1}+p_{2}=1,0\leq p_{1},p_{2}\leq 1.$ संभावनाओं को कम कर देता है।

• वितरण "बहुभिन्नरूपी बर्नौली वितरण" का विशेष विषय है [5] जिसमें k 0-1 चर में से एक का मान होता है।
• $\operatorname {E} \left[\mathbf {x} \right]={\boldsymbol {p}}$
• होने देना ${\boldsymbol {X}}$ श्रेणीबद्ध वितरण से प्राप्ति हो। तत्वों से बना यादृच्छिक सदिश Y को परिभाषित करें:

$Y_{i}=I({\boldsymbol {X}}=i),$

जहां I सूचकफ़ंक्शन है। तत्पश्चात Y का वितरण है जो पैरामीटर के साथ बहुपद वितरण का विशेष विषय है $n=1$. कुल मिलाकर $n$ स्वतंत्र और समान रूप से वितरित ऐसे यादृच्छिक चर Y पैरामीटर के साथ श्रेणीबद्ध वितरण से निर्मित होते हैं,Y स्वतंत्र और समान रूप से वितरित किए गए ${\boldsymbol {p}}$ मापदंडों के साथ $n$ और ${\boldsymbol {p}}.$ बहुपद वितरण है।

• श्रेणीबद्ध वितरण का संयुग्मित पूर्व वितरण डिरिचलेट वितरण है।अधिक वर्णन के लिए नीचे दिया गया अनुभाग देखें।
• n स्वतंत्र प्रेक्षणों से पर्याप्त आँकड़ा प्रत्येक श्रेणी में अवलोकनों की गिनती (या, समकक्ष, अनुपात) का सेट है, जहाँ परीक्षणों की कुल संख्या (=n) निश्चित है।
• किसी अवलोकन का सूचक फ़ंक्शन जिसका मान i है, इवरसन ब्रैकेट फ़ंक्शन के समान है $[x=i]$ या क्रोनकर डेल्टा फ़ंक्शन डेल्टा $\delta _{xi},$ पैरामीटर के साथ बर्नौली वितरण $p_{i}.$ होता है।

== संयुग्म पूर्व == का उपयोग करते हुए बायेसियन अनुमान बायेसियन आंकड़ों में, डिरिचलेट वितरण श्रेणीबद्ध वितरण (और बहुराष्ट्रीय वितरण) का संयुग्मित पूर्व वितरण है। इसका मतलब यह है कि अज्ञात पैरामीटर सदिश पी के साथ श्रेणीबद्ध वितरण वाले डेटा बिंदु वाले मॉडल में, और (मानक बायेसियन शैली में) हम इस पैरामीटर को यादृच्छिक चर के रूप में मानते हैं और इसे डिरिचलेट वितरण का उपयोग करके परिभाषित पूर्व वितरण देते हैं, तत्पश्चात प्रेक्षित डेटा से प्राप्त ज्ञान को शामिल करने के बाद पैरामीटर का पश्च वितरण भी डिरिचलेट है। सहज रूप से, ऐसे मामले में, डेटा बिंदु को देखने से पहले पैरामीटर के बारे में जो ज्ञात है, उससे शुरू करके, डेटा बिंदु के आधार पर ज्ञान को अद्यतन किया जा सकता है, पुराने रूप में उसी रूप का नया वितरण प्रदान करता है। जैसे, गणितीय कठिनाइयों में भागे बिना, समय में नई टिप्पणियों को शामिल करके पैरामीटर के ज्ञान को क्रमिक रूप से अद्यतन किया जा सकता है।

औपचारिक रूप से, इसे निम्नानुसार व्यक्त किया जा सकता है। मॉडल दिया

${\begin{array}{lclcl}{\boldsymbol {\alpha }}&=&(\alpha _{1},\ldots ,\alpha _{K})&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&(p_{1},\ldots ,p_{K})&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&(x_{1},\ldots ,x_{N})&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}$

तो निम्नलिखित धारण करता है:: ${\begin{array}{lclcl}\mathbf {c} &=&(c_{1},\ldots ,c_{K})&=&{\text{number of occurrences of category }}i,{\text{ so that }}c_{i}=\sum _{j=1}^{N}[x_{j}=i]\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} (K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K})\end{array}}$ इस संबंध का उपयोग बायेसियन सांख्यिकी में N नमूनों के संग्रह को देखते हुए श्रेणीबद्ध वितरण के अंतर्निहित पैरामीटर p का अनुमान लगाने के लिए किया जाता है। सहज रूप से, हम hyperprior सदिश α को छद्मगणना ्स के रूप में देख सकते हैं, अर्थात प्रत्येक श्रेणी में उन टिप्पणियों की संख्या का प्रतिनिधित्व करते हैं जिन्हें हमने पहले ही देखा है। तत्पश्चात हम पश्च वितरण को प्राप्त करने के लिए बस सभी नए अवलोकनों (सदिश c) के लिए गणना में जोड़ते हैं।

आगे का अंतर्ज्ञान पश्च वितरण के अपेक्षित मूल्य से आता है (डिरिचलेट वितरण पर लेख देखें):

$\operatorname {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}]={\frac {c_{i}+\alpha _{i}}{N+\sum _{k}\alpha _{k}}}$

यह कहता है कि पश्च वितरण द्वारा उत्पन्न विभिन्न असतत वितरणों में से श्रेणी I को देखने की अपेक्षित संभावना डेटा में वास्तव में देखी गई उस श्रेणी की घटनाओं के अनुपात के बराबर है, जिसमें पूर्व वितरण में छद्म गणनाएं भी शामिल हैं। यह अधिक सहज ज्ञान देता है: यदि, उदाहरण के लिए, तीन संभावित श्रेणियां हैं, और श्रेणी 1 को देखे गए डेटा में 40% समय देखा जाता है, तो कोई औसतन श्रेणी 1 को 40% समय में देखने की अपेक्षा करेगा। पश्च वितरण भी।

(यह अंतर्ज्ञान पूर्व वितरण के प्रभाव की अनदेखी कर रहा है। इसके अलावा, पश्च वितरण वितरण पर वितरण है। सामान्य रूप से पश्च वितरण प्रश्न में पैरामीटर का वर्णन करता है, और इस मामले में पैरामीटर स्वयं असतत संभाव्यता वितरण है, अर्थात वास्तविक श्रेणीबद्ध वितरण जो डेटा उत्पन्न करता है। उदाहरण के लिए, यदि 40:5:55 के अनुपात में 3 श्रेणियां देखे गए डेटा में हैं, तो पूर्व वितरण के प्रभाव को अनदेखा करते हुए, सही पैरामीटर - यानी सही, अंतर्निहित वितरण जिसने हमारे देखे गए डेटा को उत्पन्न किया – (0.40,0.05,0.55) का औसत मूल्य होने की उम्मीद की जाएगी, जो वास्तव में वही है जो पीछे से पता चलता है। चूंकि, सही वितरण वास्तव में (0.35,0.07,0.58) या (0.42,0.04,0.54) या हो सकता है आस-पास की विभिन्न अन्य संभावनाएं। यहां शामिल अनिश्चितता की मात्रा पश्च के विचरण द्वारा निर्दिष्ट की जाती है, जिसे अवलोकनों की कुल संख्या द्वारा नियंत्रित किया जाता है - जितना अधिक डेटा देखा जाता है, सही पैरामीटर के बारे में अनिश्चितता उतनी ही कम होती है।)

(तकनीकी रूप से, पूर्व पैरामीटर $\alpha _{i}$ वास्तव में प्रतिनिधित्व के रूप में देखा जाना चाहिए $\alpha _{i}-1$ श्रेणी के पूर्व अवलोकन $i$. तत्पश्चात, अद्यतन पश्च पैरामीटर $c_{i}+\alpha _{i}$ का प्रतिनिधित्व करता है $c_{i}+\alpha _{i}-1$ पश्च अवलोकन। यह इस तथ्य को दर्शाता है कि डिरिचलेट वितरण के साथ ${\boldsymbol {\alpha }}=(1,1,\ldots )$ पूरी तरह से सपाट आकार है - अनिवार्य रूप से, पी के संभावित मूल्यों के संकेतन पर समान वितरण (निरंतर)। तार्किक रूप से, इस प्रकार का सपाट वितरण कुल अज्ञानता का प्रतिनिधित्व करता है, जो कि किसी भी प्रकार की टिप्पणियों के अनुरूप नहीं है। चूंकि, यदि हम ध्यान न दें तो पश्च का गणितीय अद्यतन ठीक काम करता है $\cdots -1$ टर्म और केवल α सदिश के बारे में सोचें जो सीधे स्यूडोकाउंट्स के सेट का प्रतिनिधित्व करता है। इसके अलावा, ऐसा करने से व्याख्या करने की समस्या से बचा जा सकता है $\alpha _{i}$ 1 से कम मान।)

एमएपी अनुमान

उपरोक्त मॉडल में पैरामीटर p का अधिकतम पश्च अनुमान |: $\operatorname {arg\,max} \limits _{\mathbf {p} }p(\mathbf {p} \mid \mathbb {X} )={\frac {\alpha _{i}+c_{i}-1}{\sum _{i}(\alpha _{i}+c_{i}-1)}},\qquad \forall i\;\alpha _{i}+c_{i}>1$ कई व्यावहारिक अनुप्रयोगों में, स्थिति की गारंटी देने का मात्र तरीका है कि $\forall i\;\alpha _{i}+c_{i}>1$ लगाना है $\alpha _{i}>1$ सभी के लिए मैं

मामूली संभावना

उपरोक्त मॉडल में, टिप्पणियों की सीमांत संभावना (अर्थात पूर्व पैरामीटर सीमांत वितरण के साथ टिप्पणियों का संयुक्त वितरण) डिरिचलेट-बहुराष्ट्रीय वितरण है:: ${\begin{aligned}p(\mathbb {X} \mid {\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p(\mathbb {X} \mid \mathbf {p} )p(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} \\&={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(N+\sum _{k}\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (c_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}\end{aligned}}$ यह वितरण पदानुक्रमित बायेसियन मॉडल में महत्वपूर्ण भूमिका निभाता है, क्योंकि गिब्स प्रतिरूपकरण या वेरिएबल बेयस जैसे तरीकों का उपयोग करते हुए ऐसे मॉडल पर सांख्यिकीय अनुमान लगाते समय, डिरिचलेट पूर्व वितरण प्रायः हाशिए पर आ जाते हैं। अधिक विवरण के लिए डिरिचलेट-बहुराष्ट्रीय बंटन देखें।

पश्च भविष्य कहनेवाला वितरण

उपरोक्त मॉडल में नए अवलोकन का पश्च भविष्यवाणिय वितरण वह वितरण है जो नया अवलोकन है ${\tilde {x}}$ सेट दिया जाएगा $\mathbb {X}$ एन श्रेणीबद्ध टिप्पणियों की। जैसा कि डिरिचलेट-बहुराष्ट्रीय वितरण लेख में दिखाया गया है, इसका अधिक ही सरल रूप है:: ${\begin{aligned}p({\tilde {x}}=i\mid \mathbb {X} ,{\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p({\tilde {x}}=i\mid \mathbf {p} )\,p(\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }})\,{\textrm {d}}\mathbf {p} \\&=\,{\frac {c_{i}+\alpha _{i}}{N+\sum _{k}\alpha _{k}}}\\&=\,\mathbb {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}]\\&\propto \,c_{i}+\alpha _{i}.\\\end{aligned}}$ इस सूत्र और पिछले वाले के मध्य विभिन्न संबंध हैं:

• किसी विशेष श्रेणी को देखने की पिछली अनुमानित संभावना उस श्रेणी में पिछली टिप्पणियों के सापेक्ष अनुपात के समान है (पूर्व की छद्म टिप्पणियों सहित)। यह तार्किक समझ में आता है - सहज रूप से, हम उस श्रेणी के पहले से देखे गए आवृत्ति के अनुसार विशेष श्रेणी को देखने की अपेक्षा करेंगे।
• पोस्टीरियर प्रेडिक्टिव प्रायिकता पोस्टीरियर डिस्ट्रीब्यूशन के अपेक्षित मूल्य के समान है। यह नीचे और अधिक समझाया गया है।
• परिणामस्वरूप, इस सूत्र को किसी श्रेणी को देखने की पश्चगामी संभावना के रूप में व्यक्त किया जा सकता है, जो उस श्रेणी की कुल देखी गई संख्या के समानुपाती होती है, या किसी श्रेणी की अपेक्षित गणना श्रेणी की कुल देखी गई संख्या के समान होती है। , जहां पूर्व की छद्म टिप्पणियों को शामिल करने के लिए प्रेक्षित गणना की जाती है।

पश्चगामी भविष्यवाणिय संभाव्यता और 'पी' के पश्च वितरण के अपेक्षित मूल्य के मध्य समानता का कारण उपरोक्त सूत्र की पुन: जांच से स्पष्ट है। जैसा कि पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन आर्टिकल में बताया गया है, पोस्टीरियर प्रेडिक्टिव प्रोबेबिलिटी के फॉर्मूले में पोस्टीरियर डिस्ट्रीब्यूशन के संबंध में अपेक्षित मान का रूप है:

${\begin{aligned}p({\tilde {x}}=i\mid \mathbb {X} ,{\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p({\tilde {x}}=i\mid \mathbf {p} )\,p(\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }})\,{\textrm {d}}\mathbf {p} \\&=\,\operatorname {E} _{\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}}\left[p({\tilde {x}}=i\mid \mathbf {p} )\right]\\&=\,\operatorname {E} _{\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}}\left[p_{i}\right]\\&=\,\operatorname {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}].\end{aligned}}$

उपरोक्त महत्वपूर्ण रेखा तीसरी है। दूसरा अपेक्षित मूल्य की परिभाषा से सीधे अनुसरण करता है। तीसरी पंक्ति विशेष रूप से श्रेणीबद्ध वितरण के लिए है, और इस तथ्य से अनुसरण करती है कि, श्रेणीबद्ध वितरण में विशेष रूप से, किसी विशेष मान i को देखने का अपेक्षित मान सीधे संबद्ध पैरामीटर p द्वारा निर्दिष्ट किया जाता है_i. चौथी पंक्ति केवल भिन्न संकेतन में तीसरे का पुनर्लेखन है, जो मापदंडों के पश्च वितरण के संबंध में की गई अपेक्षा के लिए आगे के संकेतन का उपयोग करता है।

डेटा बिंदुओं को - करके देखें और हर बार डेटा बिंदु का अवलोकन करने और पोस्टीरियर को अपडेट करने से पहले उनकी अनुमानित संभावना पर विचार करें। किसी दिए गए डेटा बिंदु के लिए, उस बिंदु की किसी श्रेणी को मानने की संभावना उस श्रेणी में पहले से मौजूद डेटा बिंदुओं की संख्या पर निर्भर करती है। इस परिदृश्य में, यदि किसी श्रेणी में घटना की उच्च आवृत्ति होती है, तो उस श्रेणी में नए डेटा बिंदुओं के शामिल होने की संभावना अधिक होती है - उसी श्रेणी को और समृद्ध करते हुए। इस प्रकार के परिदृश्य को प्रायः अधिमान्य लगाव (या अमीर अमीर हो जाता है) मॉडल कहा जाता है। यह कई वास्तविक दुनिया की प्रक्रियाओं को मॉडल करता है, और ऐसे मामलों में पहले कुछ डेटा बिंदुओं द्वारा किए गए विकल्पों का बाकी डेटा बिंदुओं पर अधिक अधिक प्रभाव पड़ता है।

पश्च सशर्त वितरण

गिब्स प्रतिरूपकरण में, आम तौर पर बहु-चर बेयस नेटवर्क में सशर्त वितरण से आकर्षित करने की आवश्यकता होती है जहां प्रत्येक चर अन्य सभी पर सशर्त होता है। उन नेटवर्कों में जिनमें डिरिचलेट डिस्ट्रीब्यूशन प्रिअर्स (उदाहरण मिश्रण मॉडल और मिश्रण घटकों सहित मॉडल) के साथ श्रेणीबद्ध चर शामिल हैं, डिरिचलेट वितरण प्रायः नेटवर्क के ढह जाते हैं (सीमांत वितरण), जो किसी दिए गए पूर्व पर निर्भर विभिन्न श्रेणीबद्ध नोड्स के मध्य निर्भरता का परिचय देता है ( विशेष रूप से, उनका संयुक्त वितरण डिरिचलेट-बहुराष्ट्रीय वितरण है)। ऐसा करने के कारणों में से यह है कि इस तरह के मामले में, श्रेणीबद्ध नोड का वितरण दूसरों को दिया गया है, शेष नोड्स का सटीक पश्च भविष्यवाणिय वितरण है।

यानी नोड्स के सेट के लिए $\mathbb {X}$, यदि विचाराधीन नोड के रूप में दर्शाया गया है $x_{n}$ और शेष के रूप में $\mathbb {X} ^{(-n)}$, तब

${\begin{aligned}p(x_{n}=i\mid \mathbb {X} ^{(-n)},{\boldsymbol {\alpha }})&=\,{\frac {c_{i}^{(-n)}+\alpha _{i}}{N-1+\sum _{i}\alpha _{i}}}&\propto \,c_{i}^{(-n)}+\alpha _{i}\end{aligned}}$

कहाँ $c_{i}^{(-n)}$ नोड n के अलावा अन्य नोड्स के मध्य श्रेणी I वाले नोड्स की संख्या है।

प्रतिरूपकरण

कई छद्म-यादृच्छिक संख्या प्रतिरूपकरण # परिमित असतत वितरण हैं, किन्तु श्रेणीबद्ध वितरण से प्रतिरूप लेने का सबसे आम तरीका प्रकार का उलटा परिवर्तन प्रतिरूपकरण का उपयोग करता है:

मान लें कि वितरण अज्ञात सामान्यीकरण स्थिरांक के साथ, कुछ अभिव्यक्ति के समानुपाती के रूप में व्यक्त किया गया है। कोई भी प्रतिरूप लेने से पहले, कुछ मान निम्नानुसार तैयार किए जाते हैं:

1. प्रत्येक श्रेणी के लिए वितरण के असामान्य मान की गणना करें।
2. उनका योग करें और प्रत्येक मान को इस राशि से विभाजित करें, ताकि उन्हें सामान्य किया जा सके।
3. श्रेणियों पर किसी प्रकार का आदेश दें (उदाहरण के लिए सूचकांक जो 1 से k तक चलता है, जहां k श्रेणियों की संख्या है)।
4. प्रत्येक मान को पिछले सभी मानों के योग के साथ बदलकर मानों को संचयी वितरण फ़ंक्शन (CDF) में बदलें। यह समय ओ (के) में किया जा सकता है। पहली श्रेणी के लिए परिणामी मान 0 होगा।

तत्पश्चात, हर बार मूल्य का प्रतिरूप लेना आवश्यक है:

1. 0 और 1 के मध्य समान वितरण (निरंतर) संख्या चुनें।
2. CDF में सबसे बड़ी संख्या का पता लगाएँ जिसका मान अभी चुनी गई संख्या से कम या उसके बराबर है। यह बाइनरी खोज द्वारा समय ओ (लॉग (के)) में किया जा सकता है।
3. इस सीडीएफ मूल्य के अनुरूप श्रेणी लौटाएं।

यदि ही श्रेणीबद्ध वितरण से कई मूल्यों को निकालना आवश्यक है, तो निम्न दृष्टिकोण अधिक कुशल है। यह O(n) समय में n नमूने लेता है (यह मानते हुए कि O(1) सन्निकटन का उपयोग द्विपद वितरण से मान निकालने के लिए किया जाता है).

<पूर्व> function draw_categorical(n) // जहाँ n श्रेणीबद्ध वितरण से निकाले जाने वाले नमूनों की संख्या है

 आर = 1
 एस = 0
 i के लिए 1 से k // जहाँ k श्रेणियों की संख्या है
   v =  द्विपद (n, p[i] / r) वितरण से ड्रा // जहां p[i] श्रेणी i की संभावना है
   जे के लिए 1 से वी के लिए
     z[s++] = i // जहां z  सरणी है जिसमें परिणाम संग्रहीत होते हैं
   एन = एन - वी
   आर = आर - पी [मैं]
 जेड में तत्वों को शफल (यादृच्छिक रूप से पुन: व्यवस्थित करें)।
 वापसी जेड

</पूर्व>

गंबेल वितरण के माध्यम से प्रतिरूपकरण

मशीन लर्निंग में श्रेणीबद्ध वितरण को पैरामीट्रिज करना विशिष्ट है, $p_{1},\ldots ,p_{k}$ में अप्रतिबंधित प्रतिनिधित्व के माध्यम से $\mathbb {R} ^{k}$, जिनके घटक निम्न द्वारा दिए गए हैं:

$\gamma _{i}=\log p_{i}+\alpha$ कहाँ $\alpha$ कोई वास्तविक स्थिरांक है। इस प्रतिनिधित्व को देखते हुए, $p_{1},\ldots ,p_{k}$ सॉफ्टमैक्स फ़ंक्शन का उपयोग करके पुनर्प्राप्त किया जा सकता है, जिसे बाद में ऊपर वर्णित तकनीकों का उपयोग करके प्रतिरूप किया जा सकता है। चूंकि अधिक प्रत्यक्ष प्रतिरूपकरण विधि है जो Gumbel वितरण से नमूनों का उपयोग करती है। होने देना $g_{1},\ldots ,g_{k}$ मानक गंबेल वितरण से के स्वतंत्र ड्रॉ, तत्पश्चात

$c=\operatorname {arg\,max} \limits _{i}\left(\gamma _{i}+g_{i}\right)$

वांछित श्रेणीबद्ध वितरण से प्रतिरूप होगा। (अगर $u_{i}$ मानक वर्दी वितरण (निरंतर) से प्रतिरूप है, तो $g_{i}=-\log(-\log u_{i})$ मानक Gumbel वितरण से प्रतिरूप है।)

यह भी देखें

• श्रेणीगत चर

संबंधित वितरण

• डिरिचलेट वितरण
• बहुपद वितरण
• बर्नौली वितरण
• डिरिचलेट-बहुराष्ट्रीय वितरण