बाइनरी एन्ट्रॉपी फ़ंक्शन

बाइनरी परिणाम संभाव्यता के एक फलन के रूप में बर्नौली परीक्षण की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।

सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फलन जिसे $\operatorname {H} (p)$ या $\operatorname {H} _{\text{b}}(p)$ कहा जाता है, को दो मानों में से एक की संभावना $p$ के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है। यह सूचना एन्ट्रापी फलन $\mathrm {H} (X)$ की एक विशेष स्थिति है। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर $\mathrm {H} (X)$ के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: 0 और 1, जो परस्पर अनन्य और संपूर्ण हैं।

यदि $\operatorname {Pr} (X=1)=p$, तो $\operatorname {Pr} (X=0)=1-p$ और $X$ की एन्ट्रापी (शैनन (इकाई) में)

$\operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)$,

द्वारा दी गई है, जहां $0\log _{2}0$ को 0 माना जाता है। इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें।

जब $p={\tfrac {1}{2}}$, बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है।

$\operatorname {H} (p)$ को सूचना एन्ट्रापी $\mathrm {H} (X)$ से अलग किया जाता है जिसमें पूर्व पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है।

कभी-कभी बाइनरी एन्ट्रापी फलन को $\operatorname {H} _{2}(p)$ के रूप में भी लिखा जाता है।

यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे $\mathrm {H} _{2}(X)$ के रूप में दर्शाया गया है।

स्पष्टीकरण

सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए $p=0$। इस संभावना पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि $p=1$, परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। जब $p=1/2$, अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभावनाओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; उदाहरण के लिए, यदि $p=1/4$, परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की सही भविष्यवाणी कर सकता है, इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।

व्युत्पन्न

बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को लॉगिट फलन के नकारात्मक के रूप में व्यक्त किया जा सकता है:

${d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)$।

टेलर श्रृंखला

1/2 के पड़ोस में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला है

$\operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}$

के लिए $0\leq p\leq 1$।

सीमा

निम्नलिखित सीमाएँ मान्य हैं $0<p<1$:

$\ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)$

और

$4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}$

कहाँ $\ln$ प्राकृतिक लघुगणक को दर्शाता है।

यह भी देखें

• मीट्रिक एन्ट्रापी
• सूचना सिद्धांत
• सूचना एन्ट्रापी
• जानकारी की मात्रा

अग्रिम पठन

• MacKay, David J। C। Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003। ISBN 0-521-64298-1