संयुक्त एन्ट्रापी

X) है। बैंगनी पारस्परिक सूचना I(X;Y) है।

सूचना सिद्धांत में, संयुक्त एन्ट्रापी (सूचना सिद्धांत) यादृच्छिक चर के एक सेट से जुड़ी अनिश्चितता का एक माप है।

परिभाषा

दो असतत यादृच्छिक चर की संयुक्त शैनन एन्ट्रापी (अंश ्स में)। $X$ और $Y$ छवियों के साथ ${\mathcal {X}}$ और ${\mathcal {Y}}$ परिभाषित किया जाता है

$\mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]$

(Eq.1)

कहाँ $x$ और $y$ के विशेष मूल्य हैं $X$ और $Y$, क्रमश, $P(x,y)$ इन मूल्यों के एक साथ घटित होने की संयुक्त संभावना है, और $P(x,y)\log _{2}[P(x,y)]$ यदि 0 के रूप में परिभाषित किया गया है $P(x,y)=0$.

दो से अधिक यादृच्छिक चर के लिए $X_{1},...,X_{n}$ इसका विस्तार होता है

$\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$

(Eq.2)

कहाँ $x_{1},...,x_{n}$ के विशेष मूल्य हैं $X_{1},...,X_{n}$, क्रमश, $P(x_{1},...,x_{n})$ इन मानों के एक साथ घटित होने की प्रायिकता है, और $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ यदि 0 के रूप में परिभाषित किया गया है $P(x_{1},...,x_{n})=0$.

गुण

गैर-नकारात्मकता

यादृच्छिक चर के एक सेट की संयुक्त एन्ट्रापी एक गैर-नकारात्मक संख्या है।

$\mathrm {H} (X,Y)\geq 0$

$\mathrm {H} (X_{1},\ldots ,X_{n})\geq 0$

व्यक्तिगत एन्ट्रॉपी से अधिक

चरों के एक सेट की संयुक्त एन्ट्रॉपी, सेट में चरों की सभी व्यक्तिगत एन्ट्रॉपी की अधिकतम से अधिक या उसके बराबर होती है।

$\mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]$

$\mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}$

व्यक्तिगत एन्ट्रॉपियों के योग से कम या उसके बराबर

चरों के एक सेट की संयुक्त एन्ट्रॉपी, सेट में चरों की व्यक्तिगत एन्ट्रॉपी के योग से कम या उसके बराबर होती है। यह उपादेयता का एक उदाहरण है. यह असमानता एक समानता है यदि और केवल यदि $X$ और $Y$ सांख्यिकीय रूप से स्वतंत्र हैं।

$\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$

$\mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})$

अन्य एन्ट्रापी उपायों से संबंध

संयुक्त एन्ट्रापी का उपयोग सशर्त एन्ट्रापी की परिभाषा में किया जाता है

$\mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,$,

और

$$\mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})$$

इसका उपयोग आपसी जानकारी की परिभाषा में भी किया जाता है

$\operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,$

क्वांटम सूचना सिद्धांत में, संयुक्त एन्ट्रापी को संयुक्त क्वांटम एन्ट्रापी में सामान्यीकृत किया जाता है।

संयुक्त विभेदक एन्ट्रापी

परिभाषा

उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है और निरंतर यादृच्छिक चर के मामले में भी उतनी ही मान्य है। असतत संयुक्त एन्ट्रॉपी के निरंतर संस्करण को संयुक्त अंतर (या निरंतर) एन्ट्रॉपी कहा जाता है। होने देना $X$ और $Y$ संयुक्त संभाव्यता घनत्व फ़ंक्शन के साथ एक सतत यादृच्छिक चर बनें $f(x,y)$. विभेदक संयुक्त एन्ट्रापी $h(X,Y)$ परिभाषित किया जाता है

$h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy$

(Eq.3)

दो से अधिक सतत यादृच्छिक चर के लिए $X_{1},...,X_{n}$ परिभाषा को सामान्यीकृत किया गया है:

$h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}$

(Eq.4)

अभिन्न का सहारा लिया जाता है $f$. यह संभव है कि अभिन्न अस्तित्व में नहीं है जिस स्थिति में हम कहते हैं कि अंतर एन्ट्रापी परिभाषित नहीं है।

गुण

जैसा कि असतत मामले में यादृच्छिक चर के एक सेट की संयुक्त अंतर एन्ट्रॉपी व्यक्तिगत यादृच्छिक चर की एन्ट्रॉपी के योग से छोटी या बराबर होती है:

$h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})$

निम्नलिखित श्रृंखला नियम दो यादृच्छिक चर के लिए लागू होता है:

$h(X,Y)=h(X|Y)+h(Y)$

दो से अधिक यादृच्छिक चर के मामले में इसे सामान्यीकृत किया जाता है:

$h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})$

संयुक्त अंतर एन्ट्रॉपी का उपयोग निरंतर यादृच्छिक चर के बीच पारस्परिक जानकारी की परिभाषा में भी किया जाता है:

$\operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)$