अधिकतम एन्ट्रापी संभाव्यता वितरण

सांख्यिकी और सूचना सिद्धांत में, अधिकतम एन्ट्रापी संभाव्यता वितरण में सूचना एन्ट्रापी होती है जो कम से कम संभाव्यता वितरण के निर्दिष्ट वर्ग के अन्य सभी सदस्यों जितनी महान होती है। अधिकतम एन्ट्रापी के सिद्धांत के अनुसार, यदि किसी वितरण के बारे में कुछ भी ज्ञात नहीं है, अतिरिक्त इसके कि वह निश्चित वर्ग (सामान्यतः निर्दिष्ट गुणों या मापों के संदर्भ में परिभाषित) से संबंधित है, तो सबसे बड़ी एन्ट्रापी वाले वितरण को सबसे कम जानकारी वाले डिफ़ॉल्ट के रूप में चुना जाना चाहिए। प्रेरणा दुगनी है: सबसे पहले, एन्ट्रापी को अधिकतम करने से वितरण में निर्मित पूर्व संभाव्यता की मात्रा कम हो जाती है; दूसरा, कई भौतिक प्रणालियाँ समय के साथ अधिकतम एन्ट्रापी विन्यास की ओर बढ़ती हैं।

एन्ट्रापी और विभेदक एन्ट्रापी की परिभाषा

Further information: एन्ट्रॉपी (सूचना सिद्धांत)

यदि $X$ वितरण के साथ असतत यादृच्छिक वेरिएबल है

$\operatorname {Pr} (X=x_{k})=p_{k}\quad {\mbox{ for }}k=1,2,\ldots$

फिर की एन्ट्रापी $X$ परिभाषित किया जाता है

$H(X)=-\sum _{k\geq 1}p_{k}\log p_{k}.$

यदि $X$ संभाव्यता घनत्व फ़ंक्शन के साथ सतत यादृच्छिक वेरिएबल $p(x)$ है, फिर अंतर एन्ट्रापी $X$ परिभाषित किया जाता है

$H(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)\,dx.$

जब भी $p(x)=0$ होता है तो मात्रा $p(x)\log p(x)$ शून्य समझा जाता है।

यह एन्ट्रॉपी (सूचना सिद्धांत), अधिकतम एन्ट्रॉपी का सिद्धांत, और अंतर एन्ट्रॉपी लेखों में वर्णित अधिक सामान्य रूपों का विशेष स्थिति है। अधिकतम एन्ट्रॉपी वितरण के संबंध में, यह एकमात्र आवश्यक है, क्योंकि $H(X)$ को अधिकतम करने से अधिक सामान्य रूप भी अधिकतम हो जाएंगे।

लघुगणक का आधार तब तक महत्वपूर्ण नहीं है जब तक कि ही का लगातार उपयोग किया जाता है: आधार के परिवर्तन से केवल एन्ट्रापी में पुनः वृद्धि होती है। सूचना सिद्धांतकार एन्ट्रापी को बिट्स में व्यक्त करने के लिए आधार 2 का उपयोग करना पसंद कर सकते हैं; गणितज्ञ और भौतिक विज्ञानी अधिकांश प्राकृतिक लघुगणक को प्राथमिकता देंगे, जिसके परिणामस्वरूप एन्ट्रापी के लिए नेट्स (इकाई) की एक इकाई बनेगी।

चूँकि, माप $dx$ का चुनाव एन्ट्रापी और परिणामी अधिकतम एन्ट्रापी वितरण को निर्धारित करने में महत्वपूर्ण है, यद्यपि लेब्सेग माप के सामान्य सहारा को अक्सर "प्राकृतिक" के रूप में बचाव किया जाता है।

मापा स्थिरांक के साथ वितरण

लागू हित के कई सांख्यिकीय वितरण वे हैं जिनके लिए क्षण (गणित) या अन्य मापनीय मात्राएँ स्थिरांक होने के लिए बाध्य हैं। लुडविग बोल्ट्ज़मान द्वारा निम्नलिखित प्रमेय इन बाधाओं के अनुसार संभाव्यता घनत्व का रूप देता है।

सतत स्थिति

मान लीजिए कि $S$ वास्तविक संख्याओं $\mathbb {R}$ का एक संवृत उपसमुच्चय है और हम $n$ मापने योग्य फ़ंक्शन, $f_{1},\cdots ,f_{n}$ और $n$ संख्याओं $a_{1},\ldots ,a_{n}$ को निर्दिष्ट करना चुनते हैं। हम सभी वास्तविक-मूल्य वाले यादृच्छिक वेरिएबल के वर्ग $C$ पर विचार करते हैं जो $S$ (अर्थात् जिसका घनत्व फलन $S$ के बाहर शून्य है) पर समर्थित हैं और जो $n$ क्षण की शर्तों को पूरा करते हैं:

$\mathbb {E} [f_{j}(X)]\geq a_{j}\quad {\mbox{ for }}j=1,\ldots ,n$

यदि $C$ में कोई सदस्य है जिसका घनत्व फ़ंक्शन $S$ में प्रत्येक स्थान धनात्मक है, और यदि $C$ के लिए अधिकतम एन्ट्रापी वितरण उपस्थित है, तो इसकी संभाव्यता घनत्व $p(x)$ का निम्न रूप है:

$p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\quad {\mbox{ for all }}x\in S$

जहां हम मानते हैं कि $f_{0}(x)=1$ है। स्थिरांक $\lambda _{0}$ और $n$ लैग्रेंज गुणक ${\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})$, $a_{0}=1$ (यह स्थिति सुनिश्चित करती है कि $p$ एकता में एकीकृत हो) के साथ बाधित अनुकूलन समस्या का समाधान करते हैं:

$\max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\quad \mathrm {subject\;to:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0}$

करुश-कुह्न-टकर स्थितियों का उपयोग करके, यह दिखाया जा सकता है कि अनुकूलन समस्या का अद्धितीय समाधान है क्योंकि अनुकूलन में उद्देश्य फ़ंक्शन ${\boldsymbol {\lambda }}$ अवतल है।

ध्यान दें कि यदि क्षणिक स्थितियाँ समानताएँ (असमानताओं के अतिरिक्त) हैं, अर्थात,

$\mathbb {E} [f_{j}(X)]=a_{j}\quad {\mbox{ for }}j=1,\ldots ,n,$ फिर बाधा की स्थिति ${\boldsymbol {\lambda }}\geq \mathbf {0}$ हटा दिया गया है, जिससे लैग्रेंज मल्टीप्लायरों पर अनुकूलन अप्रतिबंधित हो गया है।

असतत स्थिति

मान लीजिए $S=\{x_{1},x_{2},...\}$ वास्तविक का एक (परिमित या अनंत) असतत उपसमुच्चय है और हम $n$ फ़ंक्शन f₁,...,f_n और n संख्या a₁,...,a_n निर्दिष्ट करना चुनते हैं . हम सभी असतत यादृच्छिक वेरिएबल X के वर्ग C पर विचार करते हैं जो S पर समर्थित हैं और जो n क्षण की शर्तों को पूरा करते हैं

$\operatorname {E} (f_{j}(X))\geq a_{j}\quad {\mbox{ for }}j=1,\ldots ,n$

यदि C का कोई सदस्य उपस्थित है जो S के सभी सदस्यों को धनात्मक संभावना प्रदान करता है और यदि C के लिए अधिकतम एन्ट्रापी वितरण उपस्थित है, तो इस वितरण का निम्नलिखित आकार है:

$\operatorname {Pr} (X=x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\quad {\mbox{ for }}k=1,2,\ldots$

जहां हम मानते हैं कि $f_{0}=1$ और स्थिरांक $\lambda _{0},\;{\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})$ $a_{0}=1$ के साथ विवश अनुकूलन समस्या का समाधान करते हैं:

$\max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\quad \mathrm {subject\;to:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0}$

पुनः, यदि क्षण स्थितियाँ समानताएँ (असमानताओं के अतिरिक्त) हैं, तो बाधा स्थिति ${\boldsymbol {\lambda }}\geq \mathbf {0}$ अनुकूलन में उपस्थित नहीं है।

समानता बाधाओं के स्थिति में प्रमाण

समानता बाधाओं की स्थिति में, यह प्रमेय विविधताओं की गणना और लैग्रेंज गुणकों के साथ सिद्ध होता है। बाधाओं को इस प्रकार लिखा जा सकता है

$\int _{-\infty }^{\infty }f_{j}(x)p(x)dx=a_{j}$

हम कार्यात्मक (गणित) पर विचार करते हैं

$J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)dx-a_{j}\right)$

जहाँ $\eta _{0}$ और $\lambda _{j},j\geq 1$ लैग्रेंज गुणक हैं। शून्यवाँ अवरोध संभाव्यता स्वयंसिद्ध#दूसरा सिद्धांत सुनिश्चित करता है। अन्य बाधाएं यह हैं कि फ़ंक्शन के माप को क्रम $n$ के अनुसार स्थिरांक दिए जाते है। जब कार्यात्मक व्युत्पन्न शून्य के बराबर होता है तो एन्ट्रापी चरम सीमा पर पहुंच जाती है:

${\frac {\delta J}{\delta p}}\left(p\right)=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0$

इसलिए, इस स्थिति में चरम एन्ट्रापी संभाव्यता वितरण ($\lambda _{0}:=\eta _{0}-1$) के रूप का होना चाहिए,

$p(x)=e^{-1+\eta _{0}}\cdot e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\;,$

याद रखें कि $f_{0}(x)=1$ है। यह जाँच कर सत्यापित किया जा सकता है कि यह अधिकतम समाधान है कि इस समाधान के आसपास भिन्नता हमेशा ऋणात्मक होती है।

अधिकतम की विशिष्टता

मान लीजिए कि $p$, $p'$ अपेक्षा-बाधाओं को संतुष्ट करने वाले वितरण हैं। $\alpha \in (0,1)$ माने और वितरण $q=\alpha \cdot p+(1-\alpha )\cdot p'$ पर विचार करने से यह स्पष्ट है कि यह वितरण अपेक्षा-बाधाओं को संतुष्ट करता है और इसके अतिरिक्त $\mathrm {supp} (q)=\mathrm {supp} (p)\cup \mathrm {supp} (p')$ का समर्थन करता है। एन्ट्रापी के बारे में मुलभुत तथ्यों से यह माना जाता है कि ${\mathcal {H}}(q)\geq \alpha {\mathcal {H}}(p)+(1-\alpha ){\mathcal {H}}(p')$। क्रमशः सीमा $\alpha \longrightarrow 1$ और $\alpha \longrightarrow 0$ लेने पर ${\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')$ प्राप्त होता है

इसका तात्पर्य यह है कि अपेक्षा-बाधाओं को संतुष्ट करने वाले और एन्ट्रापी को अधिकतम करने वाले वितरण को आवश्यक रूप से पूर्ण समर्थन होना चाहिए। वितरण लगभग प्रत्येक स्थान सकारात्मक है। इसका तात्पर्य यह है कि अधिकतम वितरण अपेक्षा-बाधाओं को संतुष्ट करने वाले वितरण के स्थान में एक आंतरिक बिंदु होना चाहिए, अर्थात यह एक स्थानीय चरम होना चाहिए। इस प्रकार यह दिखाना पर्याप्त है कि स्थानीय चरम अद्वितीय है, दोनों को यह दिखाने के लिए कि एन्ट्रापी-अधिकतम वितरण अद्वितीय है (और इससे यह भी पता चलता है कि स्थानीय चरम वैश्विक अधिकतम है)।

उपरोक्त गणनाओं को पुन: स्वरूपित करते हुए इन्हें पैरामीटर एल, आर से पी(एक्स और इसी तरह) पी, जहां डीएक्स द्वारा चित्रित किया गया है।

मान लीजिए कि $p,p'$ स्थानीय चरम सीमाएँ हैं। उपरोक्त गणनाओं को पुन: स्वरूपित करते हुए इन्हें मापदंडों ${\vec {\lambda }},{\vec {\lambda }}'\in \mathbb {R} ^{n}$ से $p(x)={\frac {e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }}{C({\vec {\lambda }})}}$ और इसी तरह के लिए $p'$, जहाँ $C({\vec {\lambda }})=\int _{x\in \mathbb {R} }e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }~dx$ है। अब हम पहचानों की श्रृंखला पर ध्यान देते हैं: अपेक्षा-बाधाओं की संतुष्टि और ग्रेडिएंट/दिशात्मक डेरिवेटिव का उपयोग करके, किसी के पास है $D\log(C(\cdot ))\vert _{\vec {\lambda }}=\left.{\frac {DC(\cdot )}{C(\cdot )}}\right|_{\vec {\lambda }}=\mathbb {E} _{p}[{\vec {f}}(X)]={\vec {a}}$ और इसी प्रकार ${\vec {\lambda }}'$ के लिए। मान ले $u={\vec {\lambda }}'-{\vec {\lambda }}\in \mathbb {R} ^{n}$ कोई प्राप्त करता है:

$0=\langle u,{\vec {a}}-{\vec {a}}\rangle =D_{u}\log(C(\cdot ))\vert _{{\vec {\lambda }}'}-D_{u}\log(C(\cdot ))\vert _{\vec {\lambda }}=D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}$

जहाँ ${\vec {\gamma }}=\theta {\vec {\lambda }}+(1-\theta ){\vec {\lambda }}'$ कुछ के लिए $\theta \in (0,1)$ हैं। आगे की गणना करना किसी के पास है

${\begin{array}{rcl}0&=&D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}\\&=&\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|_{\vec {\gamma }}\\&=&\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|_{\vec {\gamma }}-\left.{\frac {(D_{u}C(\cdot ))^{2}}{C(\cdot )^{2}}}\right|_{\vec {\gamma }}\\&=&\mathbb {E} _{q}[(\langle u,{\vec {f}}(X)\rangle )^{2}]-\left(\mathbb {E} _{q}[\langle u,{\vec {f}}(X)\rangle ]\right)^{2}=\mathrm {Var} _{q}(\langle u,{\vec {f}}(X)\rangle )\\\end{array}}$

जहाँ $q$ उपरोक्त वितरण के समान है, केवल पैरामीटरयुक्त है ${\vec {\gamma }}$. यह मानते हुए कि वेधशालाओं का कोई भी गैर-तुच्छ रैखिक संयोजन लगभग हर जगह (एई) स्थिर नहीं है, (उदाहरण के लिए यदि वेधशालाएं स्वतंत्र हैं और यानी स्थिर नहीं हैं), तो यह माना जाता है कि $\langle u,{\vec {f}}(X)\rangle$ गैर-शून्य विचरण है, जब तक कि $u=0$ न हो। उपरोक्त समीकरण से यह स्पष्ट है कि उत्तरार्द्ध स्थिति होना चाहिए। इस तरह ${\vec {\lambda }}'-{\vec {\lambda }}=u=0$, इसलिए स्थानीय एक्स्ट्रेमा की विशेषता बताने वाले पैरामीटर $p,p'$ समान हैं, जिसका अर्थ है कि वितरण स्वयं समान हैं। इस प्रकार, स्थानीय चरम अद्वितीय है और उपरोक्त चर्चा के अनुसार, अधिकतम अद्वितीय है - बशर्ते कि स्थानीय चरम वास्तव में उपस्थित हो।

चेतावनी

ध्यान दें कि वितरण के सभी वर्गों में अधिकतम एन्ट्रापी वितरण नहीं होता है। यह संभव है कि किसी वर्ग में मनमाने ढंग से बड़े एन्ट्रॉपी के वितरण हों (उदाहरण के लिए आर पर सभी निरंतर वितरणों का वर्ग जिसका मतलब 0 है किन्तु स्वैच्छिक मानक विचलन है), या कि एन्ट्रॉपी ऊपर सीमित हैं किन्तु कोई वितरण नहीं है जो अधिकतम एन्ट्रॉपी प्राप्त करता है। यह भी संभव है कि वर्ग सी के लिए अपेक्षित मूल्य प्रतिबंध S के कुछ सबसेट में संभाव्यता वितरण को शून्य होने के लिए विवश करते हैं। उस स्थिति में हमारी प्रमेय लागू नहीं होता है, किन्तु सेट एस को सिकोड़कर कोई इसके आसपास काम कर सकता है।

उदाहरण

प्रत्येक संभाव्यता वितरण इस बाधा के तहत तुच्छ रूप से एक अधिकतम एन्ट्रापी संभाव्यता वितरण है कि वितरण की अपनी एन्ट्रापी है। इसे देखने के लिए, घनत्व को $p(x)=\exp {(\ln {p(x)})}$ के रूप में फिर से लिखें और उपरोक्त प्रमेय की अभिव्यक्ति से तुलना करें। मापने योग्य फ़ंक्शन के रूप में $\ln {p(x)}\rightarrow f(x)$ को चुनकर और

$\int \exp {(f(x))}f(x)dx=-H$

स्थिर रहना, $p(x)$ बाधा के अनुसार अधिकतम एन्ट्रापी संभाव्यता वितरण है

$\int p(x)f(x)dx=-H$.

गैर-तुच्छ उदाहरण ऐसे वितरण हैं जो कई बाधाओं के अधीन हैं जो एन्ट्रापी के असाइनमेंट से भिन्न हैं। इन्हें अधिकांश ही प्रक्रिया से प्रारंभ करके $\ln {p(x)}\rightarrow f(x)$ पाया जाता है और उसे ढूँढना $f(x)$ भागों में विभाजित किया जा सकता है।

अधिकतम एन्ट्रापी वितरण के उदाहरणों की एक तालिका लिस्मान (1972) और पार्क एंड बेरा (2009) में दी गई है।

समान और टुकड़े-टुकड़े समान वितरण

अंतराल [a,b] पर समान वितरण (निरंतर) सभी निरंतर वितरणों के बीच अधिकतम एन्ट्रापी वितरण है जो अंतराल [a,b] में समर्थित हैं, और इस प्रकार अंतराल के बाहर संभाव्यता घनत्व 0 है। यह एकसमान घनत्व लाप्लास के उदासीनता के सिद्धांत से संबंधित हो सकता है, जिसे कभी-कभी अपर्याप्त कारण का सिद्धांत भी कहा जाता है। अधिक सामान्यतः, यदि हमें अंतराल [a,b] का एक उपविभाजन a=a₀ < a₁ < ... < a_k = b दिया गया है और संभावनाएं p₁,...,p_k जो एक में जुड़ती हैं, तो हम इस पर विचार कर सकते हैं सभी सतत वितरणों का वर्ग जैसे कि

$\operatorname {Pr} (a_{j-1}\leq X<a_{j})=p_{j}\quad {\mbox{ for }}j=1,\ldots ,k$

इस वर्ग के लिए अधिकतम एन्ट्रापी वितरण का घनत्व प्रत्येक अंतराल [a_j-1,a_j) पर स्थिर है। परिमित सेट {x₁,...,x_n} पर समान वितरण (जो इनमें से प्रत्येक मान के लिए 1/n की संभावना निर्दिष्ट करता है) इस सेट पर समर्थित सभी असतत वितरणों के बीच अधिकतम एन्ट्रापी वितरण है।

धनात्मक और निर्दिष्ट माध्य: घातीय वितरण

घातीय वितरण, जिसके लिए घनत्व फ़ंक्शन है

$p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}$

[0,∞) में समर्थित सभी निरंतर वितरणों के बीच अधिकतम एन्ट्रापी वितरण है जिसका निर्दिष्ट माध्य 1/λ है।

[0,∞) पर समर्थित वितरण के स्थिति में, अधिकतम एन्ट्रापी वितरण पहले और दूसरे क्षण के बीच संबंधों पर निर्भर करता है। विशिष्ट मामलों में, यह घातीय वितरण हो सकता है, या कोई अन्य वितरण हो सकता है, या अपरिभाषित हो सकता है।

निर्दिष्ट माध्य और विचरण: सामान्य वितरण

सामान्य वितरण N(μ,σ²), जिसके लिए घनत्व फ़ंक्शन है

$p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},$

एक निर्दिष्ट विचरण σ² (एक विशेष क्षण) के साथ (−∞,∞) पर समर्थित सभी वास्तविक-मूल्यवान वितरणों के बीच अधिकतम एन्ट्रापी है। यही बात तब सच है जब माध्य μ और विचरण σ² निर्दिष्ट किया जाता है (पहले दो क्षण), क्योंकि एन्ट्रापी (−∞,∞) पर अनुवाद अपरिवर्तनीय है। इसलिए, सामान्यता की धारणा इन क्षणों से परे न्यूनतम पूर्व संरचनात्मक बाधा लगाती है। (व्युत्पत्ति के लिए विभेदक एन्ट्रापी लेख देखें।)

निर्दिष्ट माध्य के साथ असतत वितरण

सेट पर समर्थित सभी असतत वितरणों के बीच {x₁,...,x_n} निर्दिष्ट माध्य μ के साथ, अधिकतम एन्ट्रापी वितरण का आकार निम्नलिखित है:

$\operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,\ldots ,n$

जहां धनात्मक स्थिरांक C और r को आवश्यकताओं द्वारा निर्धारित किया जा सकता है कि सभी संभावनाओं का योग 1 होना चाहिए और अपेक्षित मान μ होना चाहिए।

उदाहरण के लिए, यदि बड़ी संख्या में N पासे फेंके जाते हैं, और आपको बताया जाता है कि सभी दिखाए गए नंबरों का योग S है। अकेले इस जानकारी के आधार पर, 1, 2..., 6? दिखाने वाले पासों की संख्या के लिए एक उचित धारणा क्या होगी। यह ऊपर मानी गई स्थिति का एक उदाहरण है, जिसमें, {x₁,...,x₆} = {1,...,6} और μ = S/N हैं।

अंत में, अनंत सेट पर समर्थित सभी असतत वितरणों के बीच $\{x_{1},x_{2},...\}$ माध्य μ के साथ, अधिकतम एन्ट्रापी वितरण का आकार होता है:

$\operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,2,\ldots ,$

जहां फिर से स्थिरांक सी और आर को आवश्यकताओं द्वारा निर्धारित किया गया था कि सभी संभावनाओं का योग 1 होना चाहिए और अपेक्षित मूल्य μ होना चाहिए। उदाहरण के लिए, उस स्थिति में x_k = k, यह देता है

$C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},$

ऐसा कि संबंधित अधिकतम एन्ट्रापी वितरण ज्यामितीय वितरण है।

वृत्ताकार यादृच्छिक वेरिएबल

सतत यादृच्छिक वेरिएबल के लिए $\theta _{i}$ यूनिट सर्कल के बारे में वितरित, वॉन मिज़ वितरण एन्ट्रापी को अधिकतम करता है जब पहले दिशात्मक आंकड़ों के वास्तविक और काल्पनिक भाग निर्दिष्ट होते हैं या, समकक्ष, वृत्ताकार माध्य और वृत्ताकार विचरण निर्दिष्ट हैं।

जब कोणों का माध्य और प्रसरण $\theta _{i}$ मापांक $2\pi$ निर्दिष्ट हैं, लपेटा हुआ सामान्य वितरण एन्ट्रापी को अधिकतम करता है।

निर्दिष्ट माध्य, विचरण और तिरछा के लिए मैक्सिमाइज़र

निरंतर यादृच्छिक वेरिएबल की एन्ट्रापी पर ऊपरी सीमा उपस्थित होती है $\mathbb {R}$ निर्दिष्ट माध्य, विचरण और तिरछापन के साथ। चूँकि, ऐसा कोई वितरण नहीं है जो इस ऊपरी सीमा को प्राप्त करता हो, क्योंकि $p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}$ जब असीमित है $\lambda _{3}\neq 0$ (देखें कवर और थॉमस (2006: अध्याय 12))।

चूँकि, एन्ट्रापी अधिकतम है ε-प्राप्त करने योग्य: वितरण की एन्ट्रापी मनमाने ढंग से ऊपरी सीमा के करीब हो सकती है। निर्दिष्ट माध्य और विचरण के सामान्य वितरण से प्रारंभ करें। धनात्मक तिरछा परिचय देने के लिए, कई मान पर सामान्य वितरण को छोटी राशि से ऊपर की ओर परेशान करें σ माध्य से बड़ा. तिरछापन, तीसरे क्षण के समानुपाती होने के कारण, निचले क्रम के क्षणों की तुलना में अधिक प्रभावित होगा।

यह सामान्य स्थिति का विशेष स्थिति है जिसमें x में किसी भी विषम-क्रम बहुपद का घातांक असीमित होगा $\mathbb {R}$. उदाहरण के लिए, $ce^{\lambda x}$ इसी तरह अबाधित होगा $\mathbb {R}$, किन्तु जब समर्थन सीमित या अर्ध-सीमाबद्ध अंतराल तक सीमित होता है तो ऊपरी एन्ट्रापी सीमा प्राप्त की जा सकती है (उदाहरण के लिए यदि x अंतराल [0,∞] और λ< 0 में स्थित है, तो घातीय वितरण परिणाम होगा)।

निर्दिष्ट माध्य और विचलन जोखिम माप के लिए अधिकतमीकरण

लॉगरिदमिक रूप से अवतल फ़ंक्शन के साथ प्रत्येक वितरण | लॉग-अवतल घनत्व निर्दिष्ट माध्य μ और विचलन जोखिम माप डी के साथ अधिकतम एन्ट्रापी वितरण है। विशेष रूप से, निर्दिष्ट माध्य के साथ अधिकतम एन्ट्रापी वितरण $E(x)=\mu$ और विचलन $D(x)=d$ है:

• सामान्य वितरण $N(m,d^{2})$, यदि $D(x)={\sqrt {E[(x-\mu )^{2}]}}$ मानक विचलन है;
• लाप्लास वितरण, यदि $D(x)=E(|x-\mu |)$ औसत निरपेक्ष विचलन है;* प्रपत्र के घनत्व के साथ वितरण $f(x)=c\exp(ax+b{[x-\mu ]_{-}}^{2})$ यदि $D(x)={\sqrt {E[{(x-\mu )_{-}}^{2}]}}$ मानक निचला अर्ध-विचलन है, जहां $[x]_{-}:=\max\{0,-x\}$, और ए, बी, सी स्थिरांक हैं।

अन्य उदाहरण

नीचे दी गई तालिका में, प्रत्येक सूचीबद्ध वितरण तीसरे कॉलम में सूचीबद्ध कार्यात्मक बाधाओं के विशेष सेट के लिए एन्ट्रापी को अधिकतम करता है, और यह बाधा कि x को संभाव्यता घनत्व के समर्थन में शामिल किया जाता है, जो चौथे कॉलम में सूचीबद्ध है।सूचीबद्ध कई उदाहरण (बर्नौली, ज्यामितीय, घातीय, लाप्लास, पेरेटो) तुच्छ रूप से सत्य हैं क्योंकि उनकी संबद्ध बाधाएं उनकी एन्ट्रॉपी के असाइनमेंट के बराबर हैं। उन्हें वैसे भी शामिल किया गया है क्योंकि उनकी बाधा सामान्य या आसानी से मापी जाने वाली मात्रा से संबंधित है। संदर्भ के लिए, $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$ गामा फ़ंक्शन है, $\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ डिगामा फ़ंक्शन है, $B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ बीटा फ़ंक्शन है, और γ_E यूलर-माशेरोनी स्थिरांक है।

Table of probability distributions and corresponding maximum entropy constraints

Distribution Name	Probability density/mass function	Maximum Entropy Constraint	Support
Uniform (discrete)	$f(k)={\frac {1}{b-a+1}}$	None	$\{a,a+1,...,b-1,b\}\,$
Uniform (continuous)	$f(x)={\frac {1}{b-a}}$	None	$[a,b]\,$
Bernoulli	$f(k)=p^{k}(1-p)^{1-k}$	$\operatorname {E} (k)=p\,$	$\{0,1\}\,$
Geometric	$f(k)=(1-p)^{k-1}\,p$	$\operatorname {E} (k)={\frac {1}{p}}\,$	$\mathbb {N} \setminus \left\{0\right\}=\{1,2,3,...\}$
Exponential	$f(x)=\lambda \exp \left(-\lambda x\right)$	$\operatorname {E} (x)={\frac {1}{\lambda }}\,$	$[0,\infty )\,$
Laplace	Failed to parse (Conversion error. Server ("cli") reported: "SyntaxError: Expected "-", "[", "\\", "\\begin", "\\begin{", "]", "^", "_", "{", "}", [ \t\n\r], [%$], [().], [,:;?!'], [/|], [0-9], [><~], [\-+*=], or [a-zA-Z] but "ब" found.in 1:64"): {\displaystyle f(x) = \frac{1}{2b} \exp\left(-\frac{|x - \mu|}{बी}\दाएं)</गणित> || गणित>\ऑपरेटरनाम{E}(|x-\mu|)=b\,}	$(-\infty ,\infty )\,$
असममित लाप्लास वितरण	$f(x)={\frac {\lambda \,e^{-(x-m)\lambda s\kappa ^{s}}}{\kappa +1/\kappa }}\,(s\!=\!\operatorname {sgn}(x\!-\!m))$	$\operatorname {E} ((x-m)s\kappa ^{s})=1/\lambda \,$	$(-\infty ,\infty )\,$
पेरेटो वितरण	$f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$	$\operatorname {E} (\ln(x))={\frac {1}{\alpha }}+\ln(x_{m})\,$	$[x_{m},\infty )\,$
सामान्य वितरण	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\operatorname {E} (x)=\mu ,\,\operatorname {E} ((x-\mu )^{2})=\sigma ^{2}$	$(-\infty ,\infty )\,$
सामान्य वितरण छोटा कर दिया गया	(लेख देखें)	$\operatorname {E} (x)=\mu _{T},\,\operatorname {E} ((x-\mu _{T})^{2})=\sigma _{T}^{2}$	$[a,b]$
वॉन मिज़ कास्ट	$f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}$	$\operatorname {E} (\cos \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\cos \mu ,\,\operatorname {E} (\sin \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu$	$[0,2\pi )\,$
रेले वितरण	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$	$\operatorname {E} (x^{2})=2\sigma ^{2},\operatorname {E} (\ln(x))={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E} }}{2}}\,$	$[0,\infty )\,$
बीटा वितरण	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ के लिए $0\leq x\leq 1$	$\operatorname {E} (\ln(x))=\psi (\alpha )-\psi (\alpha +\beta )\,$ $\operatorname {E} (\ln(1-x))=\psi (\beta )-\psi (\alpha +\beta )\,$	$[0,1]\,$
कॉची वितरण	$f(x)={\frac {1}{\pi (1+x^{2})}}$	$\operatorname {E} (\ln(1+x^{2}))=2\ln 2$	$(-\infty ,\infty )\,$
ची वितरण	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$	$\operatorname {E} (x^{2})=k,\,\operatorname {E} (\ln(x))={\frac {1}{2}}\left[\psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]$	$[0,\infty )\,$
ची-वर्ग वितरण|ची-वर्ग	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$	$\operatorname {E} (x)=k,\,\operatorname {E} (\ln(x))=\psi \left({\frac {k}{2}}\right)+\ln(2)$	$[0,\infty )\,$
एर्लांग वितरण	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	$\operatorname {E} (x)=k/\lambda ,\,\operatorname {E} (\ln(x))=\psi (k)-\ln(\lambda )$	$[0,\infty )\,$
गामा वितरण	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$	$\operatorname {E} (x)=k\theta ,\,\operatorname {E} (\ln(x))=\psi (k)+\ln(\theta )$	$[0,\infty )\,$
लॉग-सामान्य वितरण	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\operatorname {E} (\ln(x))=\mu ,\operatorname {E} ((\ln(x)-\mu )^{2})=\sigma ^{2}\,$	$(0,\infty )\,$
मैक्सवेल-बोल्ट्ज़मैन	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$	$\operatorname {E} (x^{2})=3a^{2},\,\operatorname {E} (\ln(x))\!=\!1\!+\!\ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{\mathrm {E} }}{2}}$	$[0,\infty )\,$
वेइबुल वितरण	$f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$	$\operatorname {E} (x^{k})=\lambda ^{k},\operatorname {E} (\ln(x))=\ln(\lambda )-{\frac {\gamma _{\mathrm {E} }}{k}}\,$	$[0,\infty )\,$
बहुभिन्नरूपी सामान्य वितरण	$f_{X}({\vec {x}})=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}$	$\operatorname {E} ({\vec {x}})={\vec {\mu }},\,\operatorname {E} (({\vec {x}}-{\vec {\mu }})({\vec {x}}-{\vec {\mu }})^{T})=\Sigma \,$	$\mathbb {R} ^{n}$
द्विपद वितरण	$f(k)={n \choose k}p^{k}(1-p)^{n-k}$	$\operatorname {E} (x)=\mu ,f\in {\text{n-generalized binomial distribution}}$	$\left\{0,{\ldots },n\right\}$
पॉइसन वितरण	$f(k)={\frac {\lambda ^{k}\exp(-\lambda )}{k!}}$	$\operatorname {E} (x)=\lambda ,f\in {\infty }{\text{-generalized binomial distribution}}$	$\mathbb {N} =\left\{0,1,{\ldots }\right\}$
लॉजिस्टिक वितरण	$f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}}$	$\operatorname {E} (x)=0,\operatorname {E} (\ln(1+e^{-x}))=1$	$\left\{-\infty ,\infty \right\}$

अधिकतम एन्ट्रापी सिद्धांत का उपयोग सांख्यिकीय मिश्रण की एन्ट्रापी को ऊपरी सीमा तक सीमित करने के लिए किया जा सकता है।

यह भी देखें

• घातीय परिवार
• गिब्स माप
• विभाजन फलन (गणित)
• अधिकतम एन्ट्रापी रैंडम वॉक - ग्राफ के लिए एन्ट्रापी दर को अधिकतम करना

संदर्भ

• Cover, T. M.; Thomas, J. A. (2006). "Chapter 12, Maximum Entropy" (PDF). Elements of Information Theory (2 ed.). Wiley. ISBN 978-0471241959.
• F. Nielsen, R. Nock (2017), MaxEnt upper bounds for the differential entropy of univariate continuous distributions, IEEE Signal Processing Letters, 24(4), 402-406
• I. J. Taneja (2001), Generalized Information Measures and Their Applications. Chapter 1
• Nader Ebrahimi, Ehsan S. Soofi, Refik Soyer (2008), "Multivariate maximum entropy identification, transformation, and dependence", Journal of Multivariate Analysis 99: 1217–1231, doi:10.1016/j.jmva.2007.08.004