बाइनरी एन्ट्रॉपी फ़ंक्शन: Difference between revisions
(Created page with "Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक फ़ंक्शन के रूप...") |
No edit summary |
||
(6 intermediate revisions by 3 users not shown) | |||
Line 1: | Line 1: | ||
[[Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक | [[Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक फलन के रूप में [[बर्नौली परीक्षण]] की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।]][[सूचना सिद्धांत]] में, '''बाइनरी एन्ट्रॉपी फलन''' जिसे <math>\operatorname H(p)</math> या <math>\operatorname H_\text{b}(p)</math> कहा जाता है, को दो मानों में से एक की संभाव्यता <math>p</math> के साथ [[बर्नौली प्रक्रिया|'''बर्नौली प्रक्रिया''']] की [[एन्ट्रॉपी (सूचना सिद्धांत)|'''एन्ट्रॉपी (सूचना सिद्धांत)''']] के रूप में परिभाषित किया गया है। इस प्रकार से यह [[सूचना एन्ट्रापी|'''सूचना एन्ट्रापी''']] फलन <math>\Eta(X)</math> की एक विशेष स्थिति है। अतः गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर <math>\Eta(X)</math> के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: अतः 0 और 1, जो परस्पर पूर्ण रूप से अनन्य और संपूर्ण हैं। | ||
इस प्रकार से यदि <math>\operatorname{Pr}(X=1) = p</math>, तो <math>\operatorname{Pr}(X=0) = 1-p </math> और <math>X</math> की एन्ट्रापी ([[शैनन (इकाई)|'''शैनन (इकाई)''']] में) | |||
:<math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>, | :<math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>, | ||
द्वारा दी गई है, जहां <math>0 \log_2 0</math> को 0 माना जाता है। अतः इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें। | |||
इस प्रकार से जब <math>p=\tfrac 1 2</math>, बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है। | |||
<math>\operatorname H(p)</math> सूचना एन्ट्रापी | अतः <math>\operatorname H(p)</math> को सूचना एन्ट्रापी <math>\Eta(X)</math> से अलग किया जाता है जिसमें पूर्व [[पैरामीटर]] के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है। | ||
कभी-कभी बाइनरी एन्ट्रापी | |||
इस प्रकार से कभी-कभी बाइनरी एन्ट्रापी फलन को <math>\operatorname H_2(p)</math> के रूप में भी लिखा जाता है। | |||
यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे <math>\Eta_2(X)</math> के रूप में पूर्ण रूप से दर्शाया गया है। | |||
==स्पष्टीकरण== | ==स्पष्टीकरण== | ||
सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए <math>p=0</math> | इस प्रकार से सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। अतः इसे सहज रूप से कहें तो मान लीजिए <math>p=0</math>। अतः इस संभाव्यता पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि <math>p=1</math>, परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। इस प्रकार से जब <math>p=1/2</math>, अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभाव्यताओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। अतः इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; इस प्रकार से उदाहरण के लिए, यदि <math>p=1/4</math>, परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की उचित भविष्यवाणी कर सकता है, अतः इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है। | ||
==व्युत्पन्न== | ==व्युत्पन्न== | ||
बाइनरी एन्ट्रॉपी | इस प्रकार से बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को [[लॉगिट|'''लॉगिट''']] फलन के ऋणात्मक के रूप में व्यक्त किया जा सकता है: | ||
:<math> {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math> | :<math> {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math>। | ||
==[[टेलर श्रृंखला]]== | ==[[टेलर श्रृंखला]]== | ||
1/2 के | अतः 1/2 के निकटवर्ती में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला <math>0\le p\le 1</math> के लिए | ||
:<math>\operatorname H_\text{b}(p) = 1 - \frac{1}{2\ln 2} \sum^{\infin}_{n=1} \frac{(1-2p)^{2n}}{n(2n-1)} </math> | :<math>\operatorname H_\text{b}(p) = 1 - \frac{1}{2\ln 2} \sum^{\infin}_{n=1} \frac{(1-2p)^{2n}}{n(2n-1)} </math> | ||
है। | |||
==सीमा== | ==सीमा== | ||
निम्नलिखित सीमाएँ | इस प्रकार से निम्नलिखित सीमाएँ <math>0 < p < 1</math> के लिए मान्य हैं:<ref>{{cite journal |author-first=Flemming |author-last=Topsøe |title=दो-तत्व सेट पर वितरण के लिए एन्ट्रापी और विचलन की सीमाएं।|journal=JIPAM. Journal of Inequalities in Pure & Applied Mathematics |volume=2 |issue=2 |pages=Paper No. 25, 13 p.-Paper No. 25, 13 p |date=2001 |url=http://eudml.org/doc/122035}}</ref> | ||
:<math>\ln(2) \cdot \log_2(p) \cdot \log_2(1-p) \leq H_\text{b}(p) \leq \log_2(p) \cdot \log_2(1-p) </math> | :<math>\ln(2) \cdot \log_2(p) \cdot \log_2(1-p) \leq H_\text{b}(p) \leq \log_2(p) \cdot \log_2(1-p) </math> | ||
और | और | ||
:<math>4p(1-p) \leq H_\text{b}(p) \leq (4p(1-p))^{(1/\ln 4)} </math> | :<math>4p(1-p) \leq H_\text{b}(p) \leq (4p(1-p))^{(1/\ln 4)} </math> | ||
जहां <math>\ln</math> प्राकृतिक लघुगणक को दर्शाता है। | |||
==यह भी देखें== | ==यह भी देखें== | ||
* [[मीट्रिक एन्ट्रापी]] | * [[मीट्रिक एन्ट्रापी|मापीय एन्ट्रापी]] | ||
* सूचना सिद्धांत | * सूचना सिद्धांत | ||
* सूचना एन्ट्रापी | * सूचना एन्ट्रापी | ||
*[[जानकारी की मात्रा]] | *[[जानकारी की मात्रा|सूचना की मात्रा]] | ||
==संदर्भ== | ==संदर्भ== | ||
{{Reflist}} | {{Reflist}} | ||
==अग्रिम पठन== | ==अग्रिम पठन== | ||
* [[David J. C. MacKay|MacKay, David | * [[David J. C. MacKay|MacKay, David J। C।]] ''[https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003। {{ISBN|0-521-64298-1}} | ||
[[zh-yue:二元熵函數]] | [[zh-yue:二元熵函數]] | ||
[[Category:Created On 25/06/2023]] | [[Category:Created On 25/06/2023]] | ||
[[Category:Machine Translated Page]] | |||
[[Category:Pages with script errors]] | |||
[[Category:Templates Vigyan Ready]] | |||
[[Category:एन्ट्रापी और सूचना]] |
Latest revision as of 11:21, 14 July 2023
सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फलन जिसे या कहा जाता है, को दो मानों में से एक की संभाव्यता के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है। इस प्रकार से यह सूचना एन्ट्रापी फलन की एक विशेष स्थिति है। अतः गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: अतः 0 और 1, जो परस्पर पूर्ण रूप से अनन्य और संपूर्ण हैं।
इस प्रकार से यदि , तो और की एन्ट्रापी (शैनन (इकाई) में)
- ,
द्वारा दी गई है, जहां को 0 माना जाता है। अतः इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें।
इस प्रकार से जब , बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है।
अतः को सूचना एन्ट्रापी से अलग किया जाता है जिसमें पूर्व पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है।
इस प्रकार से कभी-कभी बाइनरी एन्ट्रापी फलन को के रूप में भी लिखा जाता है।
यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे के रूप में पूर्ण रूप से दर्शाया गया है।
स्पष्टीकरण
इस प्रकार से सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। अतः इसे सहज रूप से कहें तो मान लीजिए । अतः इस संभाव्यता पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि , परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। इस प्रकार से जब , अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभाव्यताओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। अतः इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; इस प्रकार से उदाहरण के लिए, यदि , परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की उचित भविष्यवाणी कर सकता है, अतः इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।
व्युत्पन्न
इस प्रकार से बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को लॉगिट फलन के ऋणात्मक के रूप में व्यक्त किया जा सकता है:
- ।
टेलर श्रृंखला
अतः 1/2 के निकटवर्ती में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला के लिए
है।
सीमा
इस प्रकार से निम्नलिखित सीमाएँ के लिए मान्य हैं:[1]
और
जहां प्राकृतिक लघुगणक को दर्शाता है।
यह भी देखें
- मापीय एन्ट्रापी
- सूचना सिद्धांत
- सूचना एन्ट्रापी
- सूचना की मात्रा
संदर्भ
- ↑ Topsøe, Flemming (2001). "दो-तत्व सेट पर वितरण के लिए एन्ट्रापी और विचलन की सीमाएं।". JIPAM. Journal of Inequalities in Pure & Applied Mathematics. 2 (2): Paper No. 25, 13 p.-Paper No. 25, 13 p.
अग्रिम पठन
- MacKay, David J। C। Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003। ISBN 0-521-64298-1