संयुक्त एन्ट्रापी

भ्रामक वेन आरेख जो सहसंबद्ध चर बाईं ओर का वृत्त (लाल और बैंगनी) व्यक्तिगत एन्ट्रापी H(X) है, जबकि लाल सशर्त एन्ट्रापी H(X|Y) है। दाईं ओर का वृत्त (नीला और बैंगनी) H(Y) है, नीला रंग H(Y|X) है। बैंगनी परस्पर सूचना (X;Y) है।

सूचना सिद्धांत में, संयुक्त एन्ट्रापी (सूचना सिद्धांत) यादृच्छिक चर के समुच्चय से जुड़ी अनिश्चितता का एक माप है।

परिभाषा

दो असतत यादृच्छिक चर की संयुक्त शैनन एन्ट्रापी ( बिट्स में)। $X$ और $Y$ छवियों के साथ ${\mathcal {X}}$ और ${\mathcal {Y}}$ परिभाषित किया जाता है

$\mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]$

(Eq.1)

जहाँ $x$ और $y$ के विशेष मान $X$ और $Y$ हैं, क्रमश, $P(x,y)$ इन मानों के एक साथ घटित होने की संयुक्त संभावना है, और $P(x,y)\log _{2}[P(x,y)]$ को 0 के रूप में परिभाषित किया गया है यदि $P(x,y)=0$.

दो से अधिक यादृच्छिक चर के लिए $X_{1},...,X_{n}$ इसका विस्तार होता है

$\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$

(Eq.2)

जहाँ $x_{1},...,x_{n}$ के विशेष मान $X_{1},...,X_{n}$ हैं, क्रमश, $P(x_{1},...,x_{n})$ इन मानों के एक साथ घटित होने की प्रायिकता है, और $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ को 0 के रूप में परिभाषित किया गया है यदि $P(x_{1},...,x_{n})=0$.

गुण

गैर-ऋणात्मक

यादृच्छिक चर के समुच्चय की संयुक्त एन्ट्रापी एक गैर-ऋणात्मक संख्या है।

$\mathrm {H} (X,Y)\geq 0$

$\mathrm {H} (X_{1},\ldots ,X_{n})\geq 0$

विशिष्ट एन्ट्रॉपी से अधिक

चरों के समुच्चय की संयुक्त एन्ट्रॉपी, समुच्चय में चरों की सभी विशिष्ट एन्ट्रॉपी की अधिकतम से अधिक या उसके समान होती है।

$\mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]$

$\mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}$

विशिष्ट एन्ट्रॉपियों के योग से कम या उसके समान

चरों के एक समुच्चय की संयुक्त एन्ट्रॉपी, समुच्चय में चरों की विशिष्ट एन्ट्रॉपी के योग से कम या उसके समान होती है। यह उपादेयता का एक उदाहरण है. यह असमानता एक समानता है यदि और केवल यदि $X$ और $Y$ सांख्यिकीय रूप से स्वतंत्र हैं।

$\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$

$\mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})$

अन्य एन्ट्रापी उपायों से संबंध

संयुक्त एन्ट्रापी का उपयोग सशर्त एन्ट्रापी की परिभाषा में किया जाता है

$\mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,$,

और

$$\mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})$$

इसका उपयोग आपसी जानकारी की परिभाषा में भी किया जाता है

$\operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,$

क्वांटम सूचना सिद्धांत में, संयुक्त एन्ट्रापी को संयुक्त क्वांटम एन्ट्रापी में सामान्यीकृत किया जाता है।

संयुक्त विभेदक एन्ट्रापी

परिभाषा

उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है और निरंतर यादृच्छिक चर के स्थिति में भी उतनी ही मान्य है। असतत संयुक्त एन्ट्रॉपी के निरंतर संस्करण को संयुक्त विभेदक (या निरंतर) एन्ट्रॉपी कहा जाता है। होने देना $X$ और $Y$ संयुक्त संभाव्यता घनत्व फलन के साथ एक सतत यादृच्छिक चर $f(x,y)$ बनें. विभेदक संयुक्त एन्ट्रापी $h(X,Y)$ परिभाषित किया जाता है

$h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy$

(Eq.3)

दो से अधिक सतत यादृच्छिक चर के लिए $X_{1},...,X_{n}$ परिभाषा को सामान्यीकृत किया गया है:

$h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}$

(Eq.4)

अविभाज्य को $f$ के समर्थन पर लिया गया है. यह संभव है कि अविभाज्य अस्तित्व में नहीं है जिस स्थिति में हम कहते हैं कि विभेदक एन्ट्रापी परिभाषित नहीं है।

गुण

जैसा कि असतत स्थिति में यादृच्छिक चर के एक समुच्चय की संयुक्त विभेदक एन्ट्रॉपी विशिष्ट यादृच्छिक चर की एन्ट्रॉपी के योग से छोटी या समान होती है:

$h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})$

निम्नलिखित श्रृंखला नियम दो यादृच्छिक चर के लिए क्रियान्वित होता है:

$h(X,Y)=h(X|Y)+h(Y)$

दो से अधिक यादृच्छिक चर के स्थिति में इसे सामान्यीकृत किया जाता है:

$h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})$

संयुक्त विभेदक एन्ट्रॉपी का उपयोग निरंतर यादृच्छिक चर के मध्य पारस्परिक जानकारी की परिभाषा में भी किया जाता है:

$\operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)$