बाइनरी एन्ट्रॉपी फ़ंक्शन: Difference between revisions
(Created page with "Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक फ़ंक्शन के रूप...") |
No edit summary |
||
Line 1: | Line 1: | ||
[[Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक | [[Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक फलन के रूप में [[बर्नौली परीक्षण]] की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।]][[सूचना सिद्धांत]] में, बाइनरी एन्ट्रॉपी फलन जिसे <math>\operatorname H(p)</math> या <math>\operatorname H_\text{b}(p)</math> कहा जाता है, को दो मानों में से एक की संभावना <math>p</math> के साथ [[बर्नौली प्रक्रिया]] की [[एन्ट्रॉपी (सूचना सिद्धांत)]] के रूप में परिभाषित किया गया है। यह [[सूचना एन्ट्रापी]] फलन <math>\Eta(X)</math> की एक विशेष स्थिति है। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर <math>\Eta(X)</math> के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: 0 और 1, जो परस्पर अनन्य और संपूर्ण हैं। | ||
यदि <math>\operatorname{Pr}(X=1) = p</math>, तो <math>\operatorname{Pr}(X=0) = 1-p </math> और <math>X</math> की एन्ट्रापी ([[शैनन (इकाई)]] में) | |||
:<math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>, | :<math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>, | ||
द्वारा दी गई है, जहां <math>0 \log_2 0</math> को 0 माना जाता है। इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें। | |||
जब <math>p=\tfrac 1 2</math>, बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है। | |||
<math>\operatorname H(p)</math> सूचना एन्ट्रापी | <math>\operatorname H(p)</math> को सूचना एन्ट्रापी <math>\Eta(X)</math> से अलग किया जाता है जिसमें पूर्व [[पैरामीटर]] के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है। | ||
कभी-कभी बाइनरी एन्ट्रापी | |||
कभी-कभी बाइनरी एन्ट्रापी फलन को <math>\operatorname H_2(p)</math> के रूप में भी लिखा जाता है। | |||
यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे <math>\Eta_2(X)</math> के रूप में दर्शाया गया है। | |||
==स्पष्टीकरण== | ==स्पष्टीकरण== | ||
सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए <math>p=0</math> | सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए <math>p=0</math>। इस संभावना पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि <math>p=1</math>, परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। जब <math>p=1/2</math>, अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभावनाओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; उदाहरण के लिए, यदि <math>p=1/4</math>, परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की सही भविष्यवाणी कर सकता है, इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है। | ||
==व्युत्पन्न== | ==व्युत्पन्न== | ||
बाइनरी एन्ट्रॉपी | बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को [[लॉगिट]] फलन के नकारात्मक के रूप में व्यक्त किया जा सकता है: | ||
:<math> {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math> | :<math> {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math>। | ||
==[[टेलर श्रृंखला]]== | ==[[टेलर श्रृंखला]]== | ||
1/2 के पड़ोस में बाइनरी एन्ट्रॉपी | 1/2 के पड़ोस में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला है | ||
:<math>\operatorname H_\text{b}(p) = 1 - \frac{1}{2\ln 2} \sum^{\infin}_{n=1} \frac{(1-2p)^{2n}}{n(2n-1)} </math> | :<math>\operatorname H_\text{b}(p) = 1 - \frac{1}{2\ln 2} \sum^{\infin}_{n=1} \frac{(1-2p)^{2n}}{n(2n-1)} </math> | ||
के लिए <math>0\le p\le 1</math> | के लिए <math>0\le p\le 1</math>। | ||
==सीमा== | ==सीमा== | ||
Line 40: | Line 42: | ||
==संदर्भ== | ==संदर्भ== | ||
{{Reflist}} | {{Reflist}} | ||
==अग्रिम पठन== | ==अग्रिम पठन== | ||
* [[David J. C. MacKay|MacKay, David | * [[David J. C. MacKay|MacKay, David J। C।]] ''[https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003। {{ISBN|0-521-64298-1}} | ||
[[Category: एन्ट्रापी और सूचना]] | [[Category: एन्ट्रापी और सूचना]] | ||
Revision as of 08:40, 6 July 2023
सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फलन जिसे या कहा जाता है, को दो मानों में से एक की संभावना के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है। यह सूचना एन्ट्रापी फलन की एक विशेष स्थिति है। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: 0 और 1, जो परस्पर अनन्य और संपूर्ण हैं।
यदि , तो और की एन्ट्रापी (शैनन (इकाई) में)
- ,
द्वारा दी गई है, जहां को 0 माना जाता है। इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें।
जब , बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है।
को सूचना एन्ट्रापी से अलग किया जाता है जिसमें पूर्व पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है।
कभी-कभी बाइनरी एन्ट्रापी फलन को के रूप में भी लिखा जाता है।
यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे के रूप में दर्शाया गया है।
स्पष्टीकरण
सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए । इस संभावना पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि , परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। जब , अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभावनाओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; उदाहरण के लिए, यदि , परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की सही भविष्यवाणी कर सकता है, इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।
व्युत्पन्न
बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को लॉगिट फलन के नकारात्मक के रूप में व्यक्त किया जा सकता है:
- ।
टेलर श्रृंखला
1/2 के पड़ोस में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला है
के लिए ।
सीमा
निम्नलिखित सीमाएँ मान्य हैं :[1]
और
कहाँ प्राकृतिक लघुगणक को दर्शाता है।
यह भी देखें
- मीट्रिक एन्ट्रापी
- सूचना सिद्धांत
- सूचना एन्ट्रापी
- जानकारी की मात्रा
संदर्भ
- ↑ Topsøe, Flemming (2001). "दो-तत्व सेट पर वितरण के लिए एन्ट्रापी और विचलन की सीमाएं।". JIPAM. Journal of Inequalities in Pure & Applied Mathematics. 2 (2): Paper No. 25, 13 p.-Paper No. 25, 13 p.
अग्रिम पठन
- MacKay, David J। C। Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003। ISBN 0-521-64298-1