सशर्त एन्ट्रापी

सहसंबद्ध चरों से जुड़ी जानकारी की विभिन्न मात्राओं को जोड़ने वाले और घटने वाले संबंधों को दर्शाने वाला वेन आरेख $X$ और $Y$. दोनों मंडलियों द्वारा निहित क्षेत्र संयुक्त एंट्रॉपी है $\mathrm {H} (X,Y)$. बाईं ओर का वृत्त (लाल और बैंगनी) एंट्रॉपी (सूचना सिद्धांत) है $\mathrm {H} (X)$, लाल सशर्त एन्ट्रापी होने के साथ $\mathrm {H} (X|Y)$. दाईं ओर वृत्त (नीला और बैंगनी) है $\mathrm {H} (Y)$, नीले होने के साथ $\mathrm {H} (Y|X)$. वायलेट आपसी जानकारी है $\operatorname {I} (X;Y)$.

सूचना सिद्धांत में, सशर्त एन्ट्रापी एक यादृच्छिक चर के परिणाम का वर्णन करने के लिए आवश्यक जानकारी की मात्रा निर्धारित करता है $Y$ दिया गया है कि एक और यादृच्छिक चर का मान $X$ ज्ञात है। यहाँ, सूचना को शैनन (इकाई) s, Nat (यूनिट) s, या हार्टले (इकाई) s में मापा जाता है। की एन्ट्रापी $Y$ पर वातानुकूलित $X$के रूप में लिखा गया है $\mathrm {H} (Y|X)$.

परिभाषा

की सशर्त एन्ट्रॉपी $Y$ दिया गया $X$ परिभाषित किया जाता है

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

(Eq.1)

कहाँ ${\mathcal {X}}$ और ${\mathcal {Y}}$ के समर्थन (गणित) को निरूपित करें $X$ और $Y$.

नोट: यहाँ, परिपाटी यह है कि व्यंजक $0\log 0$ शून्य के बराबर माना जाना चाहिए। यह है क्योंकि $\lim _{\theta \to 0^{+}}\theta \,\log \theta =0$. सहज रूप से, ध्यान दें कि अपेक्षित मूल्य और सशर्त संभाव्यता की परिभाषा के अनुसार, $\displaystyle H(Y|X)$ रूप में लिखा जा सकता है $H(Y|X)=\mathbb {E} [f(X,Y)]$, कहाँ $f$ परिभाषित किया जाता है $\displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))$. कोई सोच सकता है $\displaystyle f$ प्रत्येक जोड़ी को जोड़ने के रूप में $\displaystyle (x,y)$ की सूचना सामग्री को मापने वाली मात्रा के साथ $\displaystyle (Y=y)$ दिया गया $\displaystyle (X=x)$. यह मात्रा घटना का वर्णन करने के लिए आवश्यक जानकारी की मात्रा से सीधे संबंधित है $\displaystyle (Y=y)$ दिया गया $(X=x)$. इसलिए के अपेक्षित मूल्य की गणना करके $\displaystyle f$ मूल्यों के सभी जोड़े पर $(x,y)\in {\mathcal {X}}\times {\mathcal {Y}}$, सशर्त एन्ट्रापी $\displaystyle H(Y|X)$ मापता है कि कितनी जानकारी, औसतन, चर $X$ के बारे में कूटबद्ध करता है $Y$.

प्रेरणा

होने देना $\mathrm {H} (Y|X=x)$ असतत यादृच्छिक चर का शैनन एंट्रॉपी बनें $Y$ असतत यादृच्छिक चर पर वातानुकूलित $X$ एक निश्चित मूल्य लेना $x$. के समर्थन सेट को निरूपित करें $X$ और $Y$ द्वारा ${\mathcal {X}}$ और ${\mathcal {Y}}$. होने देना $Y$ प्रायिकता द्रव्यमान कार्य है $p_{Y}{(y)}$. की बिना शर्त एन्ट्रापी $Y$ के रूप में गणना की जाती है $\mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]$, अर्थात।

$\mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},$

कहाँ $\operatorname {I} (y_{i})$ के परिणाम (संभावना) की सूचना सामग्री है $Y$ मूल्य ले रहा है $y_{i}$. की एन्ट्रापी $Y$ पर वातानुकूलित $X$ मूल्य ले रहा है $x$ सशर्त अपेक्षा द्वारा समान रूप से परिभाषित किया गया है:

$\mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.$

ध्यान दें कि $\mathrm {H} (Y|X)$ औसत का परिणाम है $\mathrm {H} (Y|X=x)$ सभी संभावित मूल्यों पर $x$ वह $X$ लग सकता है। साथ ही, यदि उपरोक्त योग को एक नमूने पर लिया जाता है $y_{1},\dots ,y_{n}$, अपेक्षित मूल्य $E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]$ कुछ डोमेन में इक्विवोकेशन के रूप में जाना जाता है। दिया गया असतत यादृच्छिक चर $X$ छवि के साथ ${\mathcal {X}}$ और $Y$ छवि के साथ ${\mathcal {Y}}$, की सशर्त एन्ट्रापी $Y$ दिया गया $X$ के भारित योग के रूप में परिभाषित किया गया है $\mathrm {H} (Y|X=x)$ के प्रत्येक संभावित मूल्य के लिए $x$, का उपयोग कर $p(x)$ भार के रूप में:

${\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{aligned}}$

गुण

=== सशर्त एंट्रॉपी शून्य === के बराबर है $\mathrm {H} (Y|X)=0$ अगर और केवल अगर का मूल्य $Y$ के मूल्य से पूरी तरह से निर्धारित होता है $X$.

स्वतंत्र यादृच्छिक चर की सशर्त एन्ट्रापी

इसके विपरीत, $\mathrm {H} (Y|X)=\mathrm {H} (Y)$ अगर और केवल अगर $Y$ और $X$ स्वतंत्र यादृच्छिक चर हैं।

श्रृंखला नियम

मान लें कि संयुक्त प्रणाली दो यादृच्छिक चर द्वारा निर्धारित की जाती है $X$ और $Y$ संयुक्त एन्ट्रापी है $\mathrm {H} (X,Y)$यानी हमें जरूरत है $\mathrm {H} (X,Y)$ इसकी सटीक स्थिति का वर्णन करने के लिए औसतन जानकारी के बिट्स। अब अगर हम पहले का मूल्य सीखते हैं $X$, हमने प्राप्त किया है $\mathrm {H} (X)$ जानकारी के टुकड़े। एक बार $X$ ज्ञात है, हमें केवल आवश्यकता है $\mathrm {H} (X,Y)-\mathrm {H} (X)$ पूरे सिस्टम की स्थिति का वर्णन करने के लिए बिट्स। यह मात्रा बिल्कुल है $\mathrm {H} (Y|X)$, जो सशर्त एन्ट्रॉपी का चेन नियम देता है:

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).$

सशर्त एन्ट्रापी की उपरोक्त परिभाषा से श्रृंखला नियम का पालन होता है:

${\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}$

सामान्य तौर पर, एकाधिक यादृच्छिक चर के लिए एक श्रृंखला नियम धारण करता है:

$\mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})$

संभाव्यता सिद्धांत में इसका एक समान रूप चेन नियम (संभाव्यता) है, सिवाय इसके कि गुणन के बजाय जोड़ का उपयोग किया जाता है।

बेयस का नियम

सशर्त एंट्रॉपी राज्यों के लिए बेयस नियम

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).$

सबूत। $\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)$ और $\mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)$. समरूपता शामिल है $\mathrm {H} (X,Y)=\mathrm {H} (Y,X)$. दो समीकरणों को घटाना बेज़ के नियम को दर्शाता है।

अगर $Y$ की सशर्त स्वतंत्रता है $Z$ दिया गया $X$ अपने पास:

$\mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).$

अन्य गुण

किसी के लिए $X$ और $Y$:

${\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}$

कहाँ $\operatorname {I} (X;Y)$ के बीच परस्पर सूचना है $X$ और $Y$.

स्वतंत्र के लिए $X$ और $Y$:

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ और $\mathrm {H} (X|Y)=\mathrm {H} (X)\,$

हालांकि विशिष्ट-सशर्त एन्ट्रापी $\mathrm {H} (X|Y=y)$ से कम या अधिक हो सकता है $\mathrm {H} (X)$ किसी दिए गए यादृच्छिक चर के लिए $y$ का $Y$, $\mathrm {H} (X|Y)$ कभी अधिक नहीं हो सकता $\mathrm {H} (X)$.

सशर्त अंतर एंट्रॉपी

परिभाषा

उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है। असतत सशर्त एन्ट्रॉपी के निरंतर संस्करण को सशर्त अंतर (या निरंतर) एंट्रॉपी कहा जाता है। होने देना $X$ और $Y$ एक संयुक्त प्रायिकता घनत्व समारोह के साथ एक निरंतर यादृच्छिक चर हो $f(x,y)$. अंतर सशर्त एन्ट्रापी $h(X|Y)$ परिभाषित किया जाता है

$h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy$

(Eq.2)

गुण

असतत यादृच्छिक चर के लिए सशर्त एन्ट्रापी के विपरीत, सशर्त अंतर एन्ट्रॉपी नकारात्मक हो सकता है।

असतत मामले में विभेदक एन्ट्रापी के लिए एक श्रृंखला नियम है:

$h(Y|X)\,=\,h(X,Y)-h(X)$

हालांकि, ध्यान दें कि यह नियम सही नहीं हो सकता है यदि शामिल अंतर एंट्रॉपी मौजूद नहीं हैं या अनंत हैं।

निरंतर यादृच्छिक चर के बीच पारस्परिक जानकारी की परिभाषा में संयुक्त अंतर एंट्रॉपी का भी उपयोग किया जाता है:

$\operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)$

$h(X|Y)\leq h(X)$ समानता के साथ अगर और केवल अगर $X$ और $Y$ स्वतंत्र हैं।

अनुमानक त्रुटि से संबंध

सशर्त अंतर एन्ट्रापी एक अनुमानक की अपेक्षित चुकता त्रुटि पर एक निचली सीमा उत्पन्न करता है। किसी भी यादृच्छिक चर के लिए $X$, अवलोकन $Y$ और अनुमानक ${\widehat {X}}$ निम्नलिखित धारण करता है:

$$\mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}$$

यह क्वांटम यांत्रिकी से अनिश्चितता सिद्धांत से संबंधित है।

क्वांटम सिद्धांत के लिए सामान्यीकरण

क्वांटम सूचना सिद्धांत में, सशर्त एन्ट्रापी को सशर्त क्वांटम एन्ट्रापी के लिए सामान्यीकृत किया जाता है। उत्तरार्द्ध अपने शास्त्रीय समकक्ष के विपरीत, नकारात्मक मान ले सकता है।

यह भी देखें

• एंट्रॉपी (सूचना सिद्धांत)
• आपसी जानकारी
• सशर्त क्वांटम एन्ट्रापी
• सूचना का परिवर्तन
• एन्ट्रापी शक्ति असमानता
• संभावना समारोह