बाइनरी एन्ट्रॉपी फ़ंक्शन

बाइनरी परिणाम संभाव्यता के एक फलन के रूप में बर्नौली परीक्षण की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।

सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फलन जिसे $\operatorname {H} (p)$ या $\operatorname {H} _{\text{b}}(p)$ कहा जाता है, को दो मानों में से एक की संभाव्यता $p$ के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है। इस प्रकार से यह सूचना एन्ट्रापी फलन $\mathrm {H} (X)$ की एक विशेष स्थिति है। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर $\mathrm {H} (X)$ के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: अतः 0 और 1, जो परस्पर पूर्ण रूप से अनन्य और संपूर्ण हैं।

इस प्रकार से यदि $\operatorname {Pr} (X=1)=p$, तो $\operatorname {Pr} (X=0)=1-p$ और $X$ की एन्ट्रापी (शैनन (इकाई) में)

$\operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)$,

द्वारा दी गई है, जहां $0\log _{2}0$ को 0 माना जाता है। अतः इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें।

इस प्रकार से जब $p={\tfrac {1}{2}}$, बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है।

अतः $\operatorname {H} (p)$ को सूचना एन्ट्रापी $\mathrm {H} (X)$ से अलग किया जाता है जिसमें पूर्व पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है।

इस प्रकार से कभी-कभी बाइनरी एन्ट्रापी फलन को $\operatorname {H} _{2}(p)$ के रूप में भी लिखा जाता है।

यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे $\mathrm {H} _{2}(X)$ के रूप में पूर्ण रूप से दर्शाया गया है।

स्पष्टीकरण

इस प्रकार से सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए $p=0$। अतः इस संभाव्यता पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि $p=1$, परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। इस प्रकार से जब $p=1/2$, अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभाव्यताओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। अतः इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; इस प्रकार से उदाहरण के लिए, यदि $p=1/4$, परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की उचित भविष्यवाणी कर सकता है, इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।

व्युत्पन्न

इस प्रकार से बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को लॉगिट फलन के ऋणात्मक के रूप में व्यक्त किया जा सकता है:

${d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)$।

टेलर श्रृंखला

अतः 1/2 के निकटवर्ती में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला $0\leq p\leq 1$ के लिए

$\operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}$

है।

सीमा

इस प्रकार से निम्नलिखित सीमाएँ $0<p<1$ के लिए मान्य हैं:

$\ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)$

और

$4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}$

जहां $\ln$ प्राकृतिक लघुगणक को दर्शाता है।

यह भी देखें

• मापीय एन्ट्रापी
• सूचना सिद्धांत
• सूचना एन्ट्रापी
• सूचना की मात्रा

अग्रिम पठन

• MacKay, David J। C। Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003। ISBN 0-521-64298-1