बाइनरी एन्ट्रॉपी फ़ंक्शन: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
 
(4 intermediate revisions by 3 users not shown)
Line 1: Line 1:
[[Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक फलन के रूप में [[बर्नौली परीक्षण]] की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।]][[सूचना सिद्धांत]] में, बाइनरी एन्ट्रॉपी फलन जिसे <math>\operatorname H(p)</math> या <math>\operatorname H_\text{b}(p)</math> कहा जाता है, को दो मानों में से एक की संभाव्यता <math>p</math> के साथ [[बर्नौली प्रक्रिया]] की [[एन्ट्रॉपी (सूचना सिद्धांत)]] के रूप में परिभाषित किया गया है। इस प्रकार से यह [[सूचना एन्ट्रापी]] फलन <math>\Eta(X)</math> की एक विशेष स्थिति है। गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर <math>\Eta(X)</math> के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: अतः 0 और 1, जो परस्पर अनन्य और संपूर्ण हैं।
[[Image:Binary entropy plot.svg|thumbnail|right|200px|बाइनरी परिणाम संभाव्यता के एक फलन के रूप में [[बर्नौली परीक्षण]] की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।]][[सूचना सिद्धांत]] में, '''बाइनरी एन्ट्रॉपी फलन''' जिसे <math>\operatorname H(p)</math> या <math>\operatorname H_\text{b}(p)</math> कहा जाता है, को दो मानों में से एक की संभाव्यता <math>p</math> के साथ [[बर्नौली प्रक्रिया|'''बर्नौली प्रक्रिया''']] की [[एन्ट्रॉपी (सूचना सिद्धांत)|'''एन्ट्रॉपी (सूचना सिद्धांत)''']] के रूप में परिभाषित किया गया है। इस प्रकार से यह [[सूचना एन्ट्रापी|'''सूचना एन्ट्रापी''']] फलन <math>\Eta(X)</math> की एक विशेष स्थिति है। अतः गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर <math>\Eta(X)</math> के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: अतः 0 और 1, जो परस्पर पूर्ण रूप से अनन्य और संपूर्ण हैं।


इस प्रकार से यदि <math>\operatorname{Pr}(X=1) = p</math>, तो <math>\operatorname{Pr}(X=0) = 1-p </math> और <math>X</math> की एन्ट्रापी ([[शैनन (इकाई)]] में)
इस प्रकार से यदि <math>\operatorname{Pr}(X=1) = p</math>, तो <math>\operatorname{Pr}(X=0) = 1-p </math> और <math>X</math> की एन्ट्रापी ([[शैनन (इकाई)|'''शैनन (इकाई)''']] में)


:<math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>,
:<math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>,
Line 13: Line 13:
इस प्रकार से कभी-कभी बाइनरी एन्ट्रापी फलन को <math>\operatorname H_2(p)</math> के रूप में भी लिखा जाता है।
इस प्रकार से कभी-कभी बाइनरी एन्ट्रापी फलन को <math>\operatorname H_2(p)</math> के रूप में भी लिखा जाता है।


यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे <math>\Eta_2(X)</math> के रूप में दर्शाया गया है।
यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे <math>\Eta_2(X)</math> के रूप में पूर्ण रूप से दर्शाया गया है।


==स्पष्टीकरण==
==स्पष्टीकरण==
इस प्रकार से सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। इसे सहज रूप से कहें तो मान लीजिए <math>p=0</math>। अतः इस संभाव्यता पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि <math>p=1</math>, परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। इस प्रकार से जब <math>p=1/2</math>, अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभाव्यताओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। अतः इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; इस प्रकार से उदाहरण के लिए, यदि <math>p=1/4</math>, परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की सही भविष्यवाणी कर सकता है, इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।
इस प्रकार से सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। अतः इसे सहज रूप से कहें तो मान लीजिए <math>p=0</math>। अतः इस संभाव्यता पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि <math>p=1</math>, परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। इस प्रकार से जब <math>p=1/2</math>, अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभाव्यताओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। अतः इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; इस प्रकार से उदाहरण के लिए, यदि <math>p=1/4</math>, परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की उचित भविष्यवाणी कर सकता है, अतः इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।


==व्युत्पन्न==
==व्युत्पन्न==
इस प्रकार से बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को [[लॉगिट]] फलन के ऋणात्मक के रूप में व्यक्त किया जा सकता है:
इस प्रकार से बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को [[लॉगिट|'''लॉगिट''']] फलन के ऋणात्मक के रूप में व्यक्त किया जा सकता है:
:<math> {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math>।
:<math> {d \over dp} \operatorname H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math>।


Line 45: Line 45:
==अग्रिम पठन==
==अग्रिम पठन==
* [[David J. C. MacKay|MacKay, David J। C।]] ''[https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003। {{ISBN|0-521-64298-1}}
* [[David J. C. MacKay|MacKay, David J। C।]] ''[https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003। {{ISBN|0-521-64298-1}}
[[Category: एन्ट्रापी और सूचना]]


[[zh-yue:二元熵函數]]
[[zh-yue:二元熵函數]]


[[Category: Machine Translated Page]]
[[Category:Created On 25/06/2023]]
[[Category:Created On 25/06/2023]]
[[Category:Machine Translated Page]]
[[Category:Pages with script errors]]
[[Category:Templates Vigyan Ready]]
[[Category:एन्ट्रापी और सूचना]]

Latest revision as of 11:21, 14 July 2023

बाइनरी परिणाम संभाव्यता के एक फलन के रूप में बर्नौली परीक्षण की एन्ट्रॉपी, जिसे बाइनरी एन्ट्रॉपी फलन कहा जाता है।

सूचना सिद्धांत में, बाइनरी एन्ट्रॉपी फलन जिसे या कहा जाता है, को दो मानों में से एक की संभाव्यता के साथ बर्नौली प्रक्रिया की एन्ट्रॉपी (सूचना सिद्धांत) के रूप में परिभाषित किया गया है। इस प्रकार से यह सूचना एन्ट्रापी फलन की एक विशेष स्थिति है। अतः गणितीय रूप से, बर्नौली परीक्षण को एक यादृच्छिक चर के रूप में तैयार किया गया है यह मात्र दो मान ले सकता है: अतः 0 और 1, जो परस्पर पूर्ण रूप से अनन्य और संपूर्ण हैं।

इस प्रकार से यदि , तो और की एन्ट्रापी (शैनन (इकाई) में)

,

द्वारा दी गई है, जहां को 0 माना जाता है। अतः इस सूत्र में लघुगणक सामान्यतः आधार 2 पर लिया जाता है (जैसा कि आरेख में दिखाया गया है)। बाइनरी लघुगणक देखें।

इस प्रकार से जब , बाइनरी एन्ट्रापी फलन अपना अधिकतम मान प्राप्त कर लेता है। यह एक उचित सिक्के की स्थिति है।

अतः को सूचना एन्ट्रापी से अलग किया जाता है जिसमें पूर्व पैरामीटर के रूप में एक वास्तविक संख्या लेता है जबकि बाद वाला एक पैरामीटर के रूप में एक वितरण या यादृच्छिक चर लेता है।

इस प्रकार से कभी-कभी बाइनरी एन्ट्रापी फलन को के रूप में भी लिखा जाता है।

यद्यपि, यह रेनी एन्ट्रॉपी से भिन्न है और इसे इसके साथ भ्रमित नहीं किया जाना चाहिए, जिसे के रूप में पूर्ण रूप से दर्शाया गया है।

स्पष्टीकरण

इस प्रकार से सूचना सिद्धांत के संदर्भ में, एन्ट्रापी को एक संदेश में अनिश्चितता का माप माना जाता है। अतः इसे सहज रूप से कहें तो मान लीजिए । अतः इस संभाव्यता पर, यह निश्चित है कि घटना कभी घटित नहीं होगी, और इसलिए निश्चित ही अनिश्चितता नहीं है, जिससे एन्ट्रापी 0 हो जाती है। यदि , परिणाम फिर से निश्चित है, तो एन्ट्रापी यहां भी 0 है। इस प्रकार से जब , अनिश्चितता अधिकतम पर होती है; यदि किसी को इस स्थिति में परिणाम पर उचित दांव लगाना है, तो संभाव्यताओं के पूर्व ज्ञान से कोई लाभ नहीं होगा। अतः इस स्थिति में, एन्ट्रापी 1 बिट के मान पर अधिकतम होती है। इन थितियों के बीच मध्यवर्ती मान आते हैं; इस प्रकार से उदाहरण के लिए, यदि , परिणाम पर अभी भी अनिश्चितता का एक माप है, परन्तु कोई अभी भी परिणाम की उचित भविष्यवाणी कर सकता है, अतः इसलिए अनिश्चितता का माप, या एन्ट्रापी, 1 पूर्ण बिट से कम है।

व्युत्पन्न

इस प्रकार से बाइनरी एन्ट्रॉपी फलन के व्युत्पन्न को लॉगिट फलन के ऋणात्मक के रूप में व्यक्त किया जा सकता है:

टेलर श्रृंखला

अतः 1/2 के निकटवर्ती में बाइनरी एन्ट्रॉपी फलन की टेलर श्रृंखला के लिए

है।

सीमा

इस प्रकार से निम्नलिखित सीमाएँ के लिए मान्य हैं:[1]

और

जहां प्राकृतिक लघुगणक को दर्शाता है।

यह भी देखें

संदर्भ

  1. Topsøe, Flemming (2001). "दो-तत्व सेट पर वितरण के लिए एन्ट्रापी और विचलन की सीमाएं।". JIPAM. Journal of Inequalities in Pure & Applied Mathematics. 2 (2): Paper No. 25, 13 p.-Paper No. 25, 13 p.

अग्रिम पठन