बाइनरी एन्ट्रॉपी फ़ंक्शन

बाइनरी परिणाम संभाव्यता के एक फ़ंक्शन के रूप में बर्नौली परीक्षण की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फ़ंक्शन कहा जाता है।

सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फ़ंक्शन को दर्शाया गया है $\operatorname {H} (p)$ या $\operatorname {H} _{\text{b}}(p)$, को संभाव्यता के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है $p$ दो मूल्यों में से एक। यह एक विशेष मामला है $\mathrm {H} (X)$, सूचना एन्ट्रापी। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर के रूप में तैयार किया गया है $X$ यह केवल दो मान ले सकता है: 0 और 1, जो परस्पर अनन्य और संपूर्ण हैं।

अगर $\operatorname {Pr} (X=1)=p$, तब $\operatorname {Pr} (X=0)=1-p$ और की एन्ट्रापी $X$ (शैनन (इकाई) में) द्वारा दिया गया है

$\operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)$,

कहाँ $0\log _{2}0$ इसे 0 माना जाता है। इस सूत्र में लघुगणक आमतौर पर आधार 2 पर लिया जाता है (जैसा कि ग्राफ में दिखाया गया है)। बाइनरी लघुगणक देखें।

कब $p={\tfrac {1}{2}}$, बाइनरी एन्ट्रापी फ़ंक्शन अपने अधिकतम मूल्य को प्राप्त करता है। यह एक उचित सिक्के का मामला है.

$\operatorname {H} (p)$ सूचना एन्ट्रापी से अलग है $\mathrm {H} (X)$ इसमें पहला एक पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है। कभी-कभी बाइनरी एन्ट्रापी फ़ंक्शन को इस प्रकार भी लिखा जाता है $\operatorname {H} _{2}(p)$. हालाँकि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे इस रूप में दर्शाया गया है $\mathrm {H} _{2}(X)$.

स्पष्टीकरण

सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए $p=0$. इस संभावना पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए बिल्कुल भी अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि $p=1$, परिणाम फिर से निश्चित है, इसलिए यहां एन्ट्रापी भी 0 है। कब $p=1/2$, अनिश्चितता अधिकतम पर है; यदि किसी को इस मामले में परिणाम पर उचित दांव लगाना है, तो संभावनाओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। इस मामले में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन मामलों के बीच मध्यवर्ती मूल्य आते हैं; उदाहरण के लिए, यदि $p=1/4$, परिणाम पर अभी भी अनिश्चितता का एक माप है, लेकिन कोई अभी भी परिणाम की सही भविष्यवाणी कर सकता है, इसलिए अनिश्चितता माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।

व्युत्पन्न

बाइनरी एन्ट्रॉपी फ़ंक्शन के व्युत्पन्न को लॉगिट फ़ंक्शन के नकारात्मक के रूप में व्यक्त किया जा सकता है:

${d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)$.

टेलर श्रृंखला

1/2 के पड़ोस में बाइनरी एन्ट्रॉपी फ़ंक्शन की टेलर श्रृंखला है

$\operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}$

के लिए $0\leq p\leq 1$.

सीमा

निम्नलिखित सीमाएँ मान्य हैं $0<p<1$:

$\ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)$

और

$4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}$

कहाँ $\ln$ प्राकृतिक लघुगणक को दर्शाता है।

यह भी देखें

• मीट्रिक एन्ट्रापी
• सूचना सिद्धांत
• सूचना एन्ट्रापी
• जानकारी की मात्रा

अग्रिम पठन

• MacKay, David J. C. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1