संयुक्त एन्ट्रापी: Difference between revisions

From Vigyanwiki
(Created page with "{{Short description|Measure of information in probability and information theory}} {{Information theory}} Image:Entropy-mutual-information-relative-entropy-relation-diagram...")
 
No edit summary
Line 2: Line 2:
{{Information theory}}
{{Information theory}}


[[Image:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|एक भ्रामक<ref>{{Cite book|author=D.J.C. Mackay|title= सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम|year= 2003|bibcode= 2003itil.book.....M}}{{rp|141}}</ref> [[वेन आरेख]] सहसंबद्ध चर बाईं ओर का वृत्त (लाल और बैंगनी) [[एन्ट्रॉपी (सूचना सिद्धांत)]] एच(एक्स) है, जबकि लाल सशर्त एन्ट्रॉपी एच(एक्स|वाई) है। दाईं ओर का वृत्त (नीला और बैंगनी) H(Y) है, नीला रंग H(Y|X) है। बैंगनी पारस्परिक सूचना I(X;Y) है।]][[सूचना सिद्धांत]] में, संयुक्त एन्ट्रापी (सूचना सिद्धांत) [[यादृच्छिक चर]] के एक सेट से जुड़ी अनिश्चितता का एक माप है।<ref name=korn>{{cite book |author1=Theresa M. Korn|author1-link= Theresa M. Korn |author2=Korn, Granino Arthur |title=Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review |date= January 2000 |publisher=Dover Publications |location=New York |isbn=0-486-41147-8 }}</ref>
[[Image:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|एक भ्रामक<ref>{{Cite book|author=D.J.C. Mackay|title= सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम|year= 2003|bibcode= 2003itil.book.....M}}{{rp|141}}</ref> [[वेन आरेख]] सहसंबद्ध चर बाईं ओर का वृत्त (लाल और बैंगनी) [[एन्ट्रॉपी (सूचना सिद्धांत)]] एच(एक्स) है, जबकि लाल सशर्त एन्ट्रॉपी एच(एक्स|वाई) है। दाईं ओर का वृत्त (नीला और बैंगनी) H(Y) है, नीला रंग H(Y|X) है। बैंगनी पारस्परिक सूचना I(X;Y) है।]][[सूचना सिद्धांत]] में, संयुक्त एन्ट्रापी (सूचना सिद्धांत) [[यादृच्छिक चर]] के समुच्चय से जुड़ी अनिश्चितता का एक माप है।<ref name=korn>{{cite book |author1=Theresa M. Korn|author1-link= Theresa M. Korn |author2=Korn, Granino Arthur |title=Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review |date= January 2000 |publisher=Dover Publications |location=New York |isbn=0-486-41147-8 }}</ref>
 
 
==परिभाषा==
==परिभाषा==
दो असतत यादृच्छिक चर की संयुक्त [[शैनन एन्ट्रापी]] ([[ अंश ]]्स में)। <math>X</math> और <math>Y</math> छवियों के साथ <math>\mathcal X</math> और <math>\mathcal Y</math> परिभाषित किया जाता है<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=सूचना सिद्धांत के तत्व|date=18 July 2006 |publisher=Wiley |location=Hoboken, New Jersey |isbn=0-471-24195-4}}</ref>{{rp|16}}
दो असतत यादृच्छिक चर की संयुक्त [[शैनन एन्ट्रापी]] ([[ अंश | बिट्स]] में)। <math>X                                                                                                                                                                                                                 </math> और <math>Y</math> छवियों के साथ <math>\mathcal X                                                                                                                                                                                                       </math> और <math>\mathcal Y                                                                                                                                                                                                 </math> परिभाषित किया जाता है<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=सूचना सिद्धांत के तत्व|date=18 July 2006 |publisher=Wiley |location=Hoboken, New Jersey |isbn=0-471-24195-4}}</ref>{{rp|16}}


{{Equation box 1
{{Equation box 1
Line 17: Line 15:
|background colour=#F5FFFA}}
|background colour=#F5FFFA}}


कहाँ <math>x</math> और <math>y</math> के विशेष मूल्य हैं <math>X</math> और <math>Y</math>, क्रमश, <math>P(x,y)</math> इन मूल्यों के एक साथ घटित होने की संयुक्त संभावना है, और <math>P(x,y) \log_2[P(x,y)]</math> यदि 0 के रूप में परिभाषित किया गया है <math>P(x,y)=0</math>.
जहाँ <math>x                                                                                                                                                                                                               </math> और <math>y                                                                                                                                                                                                               </math> के विशेष मान <math>X</math> और <math>Y</math> हैं, क्रमश, <math>P(x,y)</math> इन मानों के एक साथ घटित होने की संयुक्त संभावना है, और <math>P(x,y) \log_2[P(x,y)]</math> को 0 के रूप में परिभाषित किया गया है यदि <math>P(x,y)=0</math>.


दो से अधिक यादृच्छिक चर के लिए <math>X_1, ..., X_n</math> इसका विस्तार होता है
दो से अधिक यादृच्छिक चर के लिए <math>X_1, ..., X_n</math> इसका विस्तार होता है
Line 31: Line 29:
|background colour=#F5FFFA}}
|background colour=#F5FFFA}}


कहाँ <math>x_1,...,x_n</math> के विशेष मूल्य हैं <math>X_1,...,X_n</math>, क्रमश, <math>P(x_1, ..., x_n)</math> इन मानों के एक साथ घटित होने की प्रायिकता है, और <math>P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)]</math> यदि 0 के रूप में परिभाषित किया गया है <math>P(x_1, ..., x_n)=0</math>.
जहाँ <math>x_1,...,x_n</math> के विशेष मान <math>X_1,...,X_n</math> हैं, क्रमश, <math>P(x_1, ..., x_n)</math> इन मानों के एक साथ घटित होने की प्रायिकता है, और <math>P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)]</math> को 0 के रूप में परिभाषित किया गया है यदि <math>P(x_1, ..., x_n)=0</math>.


==गुण==
==गुण==


===गैर-नकारात्मकता===
===गैर-ऋणात्मक===


यादृच्छिक चर के एक सेट की संयुक्त एन्ट्रापी एक गैर-नकारात्मक संख्या है।
यादृच्छिक चर के समुच्चय की संयुक्त एन्ट्रापी एक गैर-ऋणात्मक संख्या है।


:<math>\Eta(X,Y) \geq 0</math>
:<math>\Eta(X,Y) \geq 0</math>
:<math>\Eta(X_1,\ldots, X_n) \geq 0</math>
:<math>\Eta(X_1,\ldots, X_n) \geq 0</math>


===विशिष्ट एन्ट्रॉपी से अधिक===


===व्यक्तिगत एन्ट्रॉपी से अधिक===
चरों के समुच्चय की संयुक्त एन्ट्रॉपी, समुच्चय में चरों की सभी विशिष्ट एन्ट्रॉपी की अधिकतम से अधिक या उसके समान होती है।
 
चरों के एक सेट की संयुक्त एन्ट्रॉपी, सेट में चरों की सभी व्यक्तिगत एन्ट्रॉपी की अधिकतम से अधिक या उसके बराबर होती है।


:<math>\Eta(X,Y) \geq \max \left[\Eta(X),\Eta(Y) \right]</math>
:<math>\Eta(X,Y) \geq \max \left[\Eta(X),\Eta(Y) \right]</math>
Line 51: Line 48:
     \Bigl\{ \Eta\bigl(X_i\bigr) \Bigr\}</math>
     \Bigl\{ \Eta\bigl(X_i\bigr) \Bigr\}</math>


===विशिष्ट एन्ट्रॉपियों के योग से कम या उसके समान===


===व्यक्तिगत एन्ट्रॉपियों के योग से कम या उसके बराबर===
चरों के एक समुच्चय की संयुक्त एन्ट्रॉपी, समुच्चय में चरों की विशिष्ट एन्ट्रॉपी के योग से कम या उसके समान होती है। यह [[उपादेयता]] का एक उदाहरण है. यह असमानता एक समानता है यदि और केवल यदि <math>X                                                                                                                                                                                                               </math> और <math>Y                                                                                                                                                                                                               </math> [[सांख्यिकीय रूप से स्वतंत्र]] हैं।<ref name=cover1991 />{{rp|30}}
 
चरों के एक सेट की संयुक्त एन्ट्रॉपी, सेट में चरों की व्यक्तिगत एन्ट्रॉपी के योग से कम या उसके बराबर होती है। यह [[उपादेयता]] का एक उदाहरण है. यह असमानता एक समानता है यदि और केवल यदि <math>X</math> और <math>Y</math> [[सांख्यिकीय रूप से स्वतंत्र]] हैं।<ref name=cover1991 />{{rp|30}}


:<math>\Eta(X,Y) \leq \Eta(X) + \Eta(Y)</math>
:<math>\Eta(X,Y) \leq \Eta(X) + \Eta(Y)</math>
:<math>\Eta(X_1,\ldots, X_n) \leq \Eta(X_1) + \ldots + \Eta(X_n)</math>
:<math>\Eta(X_1,\ldots, X_n) \leq \Eta(X_1) + \ldots + \Eta(X_n)</math>
 
:
 
==अन्य एन्ट्रापी उपायों से संबंध==
==अन्य एन्ट्रापी उपायों से संबंध==


Line 66: Line 61:
:<math>\Eta(X|Y) = \Eta(X,Y) - \Eta(Y)\,</math>,
:<math>\Eta(X|Y) = \Eta(X,Y) - \Eta(Y)\,</math>,


और <math display="block">\Eta(X_1,\dots,X_n) = \sum_{k=1}^n \Eta(X_k|X_{k-1},\dots, X_1)</math>इसका उपयोग आपसी जानकारी की परिभाषा में भी किया जाता है<ref name=cover1991 />{{rp|21}}
और<math display="block">\Eta(X_1,\dots,X_n) = \sum_{k=1}^n \Eta(X_k|X_{k-1},\dots, X_1)</math> इसका उपयोग आपसी जानकारी की परिभाषा में भी किया जाता है<ref name=cover1991 />{{rp|21}}


:<math>\operatorname{I}(X;Y) = \Eta(X) + \Eta(Y) - \Eta(X,Y)\,</math>
:<math>\operatorname{I}(X;Y) = \Eta(X) + \Eta(Y) - \Eta(X,Y)\,</math>
Line 74: Line 69:


===परिभाषा===
===परिभाषा===
उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है और निरंतर यादृच्छिक चर के मामले में भी उतनी ही मान्य है। असतत संयुक्त एन्ट्रॉपी के निरंतर संस्करण को संयुक्त अंतर (या निरंतर) एन्ट्रॉपी कहा जाता है। होने देना <math>X</math> और <math>Y</math> [[संयुक्त संभाव्यता घनत्व फ़ंक्शन]] के साथ एक सतत यादृच्छिक चर बनें <math>f(x,y)</math>. विभेदक संयुक्त एन्ट्रापी <math>h(X,Y)</math> परिभाषित किया जाता है<ref name=cover1991 />{{rp|249}}
उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है और निरंतर यादृच्छिक चर के स्थिति में भी उतनी ही मान्य है। असतत संयुक्त एन्ट्रॉपी के निरंतर संस्करण को संयुक्त विभेदक (या निरंतर) एन्ट्रॉपी कहा जाता है। होने देना <math>X</math> और <math>Y</math> [[संयुक्त संभाव्यता घनत्व फ़ंक्शन|संयुक्त संभाव्यता घनत्व फलन]] के साथ एक सतत यादृच्छिक चर <math>f(x,y)</math> बनें. विभेदक संयुक्त एन्ट्रापी <math>h(X,Y)</math> परिभाषित किया जाता है<ref name=cover1991 />{{rp|249}}


{{Equation box 1
{{Equation box 1
Line 96: Line 91:
|background colour=#F5FFFA}}
|background colour=#F5FFFA}}


[[अभिन्न]] का सहारा लिया जाता है <math>f</math>. यह संभव है कि अभिन्न अस्तित्व में नहीं है जिस स्थिति में हम कहते हैं कि अंतर एन्ट्रापी परिभाषित नहीं है।
[[अभिन्न|अविभाज्य]] को <math>f</math> के समर्थन पर लिया गया है. यह संभव है कि अविभाज्य अस्तित्व में नहीं है जिस स्थिति में हम कहते हैं कि विभेदक एन्ट्रापी परिभाषित नहीं है।


===गुण===
===गुण===
जैसा कि असतत मामले में यादृच्छिक चर के एक सेट की संयुक्त अंतर एन्ट्रॉपी व्यक्तिगत यादृच्छिक चर की एन्ट्रॉपी के योग से छोटी या बराबर होती है:
जैसा कि असतत स्थिति में यादृच्छिक चर के एक समुच्चय की संयुक्त विभेदक एन्ट्रॉपी विशिष्ट यादृच्छिक चर की एन्ट्रॉपी के योग से छोटी या समान होती है:
:<math>h(X_1,X_2, \ldots,X_n) \le \sum_{i=1}^n h(X_i)</math><ref name=cover1991 />{{rp|253}}
:<math>h(X_1,X_2, \ldots,X_n) \le \sum_{i=1}^n h(X_i)</math><ref name=cover1991 />{{rp|253}}


निम्नलिखित श्रृंखला नियम दो यादृच्छिक चर के लिए लागू होता है:
निम्नलिखित श्रृंखला नियम दो यादृच्छिक चर के लिए क्रियान्वित होता है:
:<math>h(X,Y) = h(X|Y) + h(Y)</math>
:<math>h(X,Y) = h(X|Y) + h(Y)</math>
दो से अधिक यादृच्छिक चर के मामले में इसे सामान्यीकृत किया जाता है:<ref name=cover1991 />{{rp|253}}
दो से अधिक यादृच्छिक चर के स्थिति में इसे सामान्यीकृत किया जाता है:<ref name=cover1991 />{{rp|253}}
:<math>h(X_1,X_2, \ldots,X_n) = \sum_{i=1}^n h(X_i|X_1,X_2, \ldots,X_{i-1})</math>
:<math>h(X_1,X_2, \ldots,X_n) = \sum_{i=1}^n h(X_i|X_1,X_2, \ldots,X_{i-1})</math>
संयुक्त अंतर एन्ट्रॉपी का उपयोग निरंतर यादृच्छिक चर के बीच पारस्परिक जानकारी की परिभाषा में भी किया जाता है:
संयुक्त विभेदक एन्ट्रॉपी का उपयोग निरंतर यादृच्छिक चर के मध्य पारस्परिक जानकारी की परिभाषा में भी किया जाता है:
:<math>\operatorname{I}(X,Y)=h(X)+h(Y)-h(X,Y)</math>
:<math>\operatorname{I}(X,Y)=h(X)+h(Y)-h(X,Y)</math>
== संदर्भ ==
== संदर्भ ==
{{Reflist}}
{{Reflist}}

Revision as of 09:14, 8 December 2023

Information theory
Binaryerasurechannel.png
X) है। बैंगनी पारस्परिक सूचना I(X;Y) है।

सूचना सिद्धांत में, संयुक्त एन्ट्रापी (सूचना सिद्धांत) यादृच्छिक चर के समुच्चय से जुड़ी अनिश्चितता का एक माप है।[2]

परिभाषा

दो असतत यादृच्छिक चर की संयुक्त शैनन एन्ट्रापी ( बिट्स में)। और छवियों के साथ और परिभाषित किया जाता है[3]: 16 

 

 

 

 

(Eq.1)

जहाँ और के विशेष मान और हैं, क्रमश, इन मानों के एक साथ घटित होने की संयुक्त संभावना है, और को 0 के रूप में परिभाषित किया गया है यदि .

दो से अधिक यादृच्छिक चर के लिए इसका विस्तार होता है

 

 

 

 

(Eq.2)

जहाँ के विशेष मान हैं, क्रमश, इन मानों के एक साथ घटित होने की प्रायिकता है, और को 0 के रूप में परिभाषित किया गया है यदि .

गुण

गैर-ऋणात्मक

यादृच्छिक चर के समुच्चय की संयुक्त एन्ट्रापी एक गैर-ऋणात्मक संख्या है।

विशिष्ट एन्ट्रॉपी से अधिक

चरों के समुच्चय की संयुक्त एन्ट्रॉपी, समुच्चय में चरों की सभी विशिष्ट एन्ट्रॉपी की अधिकतम से अधिक या उसके समान होती है।

विशिष्ट एन्ट्रॉपियों के योग से कम या उसके समान

चरों के एक समुच्चय की संयुक्त एन्ट्रॉपी, समुच्चय में चरों की विशिष्ट एन्ट्रॉपी के योग से कम या उसके समान होती है। यह उपादेयता का एक उदाहरण है. यह असमानता एक समानता है यदि और केवल यदि और सांख्यिकीय रूप से स्वतंत्र हैं।[3]: 30 

अन्य एन्ट्रापी उपायों से संबंध

संयुक्त एन्ट्रापी का उपयोग सशर्त एन्ट्रापी की परिभाषा में किया जाता है[3]: 22 

,

और

इसका उपयोग आपसी जानकारी की परिभाषा में भी किया जाता है[3]: 21 

क्वांटम सूचना सिद्धांत में, संयुक्त एन्ट्रापी को संयुक्त क्वांटम एन्ट्रापी में सामान्यीकृत किया जाता है।

संयुक्त विभेदक एन्ट्रापी

परिभाषा

उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है और निरंतर यादृच्छिक चर के स्थिति में भी उतनी ही मान्य है। असतत संयुक्त एन्ट्रॉपी के निरंतर संस्करण को संयुक्त विभेदक (या निरंतर) एन्ट्रॉपी कहा जाता है। होने देना और संयुक्त संभाव्यता घनत्व फलन के साथ एक सतत यादृच्छिक चर बनें. विभेदक संयुक्त एन्ट्रापी परिभाषित किया जाता है[3]: 249 

 

 

 

 

(Eq.3)

दो से अधिक सतत यादृच्छिक चर के लिए परिभाषा को सामान्यीकृत किया गया है:

 

 

 

 

(Eq.4)

अविभाज्य को के समर्थन पर लिया गया है. यह संभव है कि अविभाज्य अस्तित्व में नहीं है जिस स्थिति में हम कहते हैं कि विभेदक एन्ट्रापी परिभाषित नहीं है।

गुण

जैसा कि असतत स्थिति में यादृच्छिक चर के एक समुच्चय की संयुक्त विभेदक एन्ट्रॉपी विशिष्ट यादृच्छिक चर की एन्ट्रॉपी के योग से छोटी या समान होती है:

[3]: 253 

निम्नलिखित श्रृंखला नियम दो यादृच्छिक चर के लिए क्रियान्वित होता है:

दो से अधिक यादृच्छिक चर के स्थिति में इसे सामान्यीकृत किया जाता है:[3]: 253 

संयुक्त विभेदक एन्ट्रॉपी का उपयोग निरंतर यादृच्छिक चर के मध्य पारस्परिक जानकारी की परिभाषा में भी किया जाता है:

संदर्भ

  1. ↑ D.J.C. Mackay (2003). सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम. Bibcode:2003itil.book.....M.: 141 
  2. ↑ Theresa M. Korn; Korn, Granino Arthur (January 2000). Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. ISBN 0-486-41147-8.
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 Thomas M. Cover; Joy A. Thomas (18 July 2006). सूचना सिद्धांत के तत्व. Hoboken, New Jersey: Wiley. ISBN 0-471-24195-4.
Retrieved from ‘https://www.vigyanwiki.in/index.php?title=संयुक्त_एन्ट्रापी&oldid=279636’