सशर्त एन्ट्रापी

सहसंबद्ध चरों से जुड़ी जानकारी की विभिन्न मात्राओं को जोड़ने वाले और घटने वाले संबंधों को दर्शाने वाला वेन आरेख $X$ और $Y$. दोनों मंडलियों द्वारा निहित क्षेत्र संयुक्त एंट्रॉपी है $\mathrm {H} (X,Y)$. बाईं ओर का वृत्त (लाल और बैंगनी) एंट्रॉपी (सूचना सिद्धांत) है $\mathrm {H} (X)$, लाल सशर्त एन्ट्रापी होने के साथ $\mathrm {H} (X|Y)$. दाईं ओर वृत्त (नीला और बैंगनी) है $\mathrm {H} (Y)$, नीले होने के साथ $\mathrm {H} (Y|X)$. वायलेट आपसी जानकारी है $\operatorname {I} (X;Y)$.

सूचना सिद्धांत में, सशर्त एन्ट्रापी यादृच्छिक चर $Y$ के परिणाम का वर्णन करने के लिए आवश्यक जानकारी की मात्रा निर्धारित करता है, जिसे देखते हुए एक अन्य यादृच्छिक चर $X$ का मान ज्ञात होता है। जहां, शैनन, नैट्स और हार्टले में जानकारी को मापा जाता है। $X$ पर सशर्त $Y$ की एन्ट्रापी को $\mathrm {H} (Y|X)$ के रूप में लिखा जाता है।

परिभाषा

$Y$ दिए गए $X$ की सशर्त एन्ट्रापी को इस रूप में परिभाषित किया गया है

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

(Eq.1)

जहाँ ${\mathcal {X}}$ और ${\mathcal {Y}}$ $X$ और $Y$ के समर्थन समुच्चय को दर्शाते हैं।

नोट: यहाँ, परंपरा यह है कि अभिव्यक्ति $0\log 0$ को शून्य के बराबर माना जाना चाहिए। ऐसा इसलिए है क्योंकि $\lim _{\theta \to 0^{+}}\theta \,\log \theta =0$।

सहज रूप से, ध्यान दें कि अपेक्षित मान और सशर्त संभाव्यता की परिभाषा के अनुसार, $\displaystyle H(Y|X)$ को $H(Y|X)=\mathbb {E} [f(X,Y)]$ के रूप में लिखा जा सकता है, जहां $f$ को $\displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))$ के रूप में परिभाषित किया गया है। $\displaystyle f$ के बारे में सोच सकते हैं कि प्रत्येक युग्म $\displaystyle (x,y)$ को दी गई $\displaystyle (Y=y)$ की सूचना सामग्री को मापने वाली मात्रा $\displaystyle (X=x)$ के साथ जोड़ा जाए। यह मात्रा दी गई घटना $\displaystyle (Y=y)$ $(X=x)$ का वर्णन करने के लिए आवश्यक जानकारी की मात्रा से सीधे संबंधित है। इसलिए मानों $Y$ के सभी युग्मों पर $\displaystyle f$ के अपेक्षित मान की गणना करके, सशर्त एन्ट्रापी $\displaystyle H(Y|X)$ मापता है कि औसतन, चर $X$, $(x,y)\in {\mathcal {X}}\times {\mathcal {Y}}$ के बारे में कितनी जानकारी को एनकोड करता है।

अभिप्रेरण

माना $\mathrm {H} (Y|X=x)$ एक निश्चित मान $x$ लेते हुए असतत यादृच्छिक चर $X$ पर सशर्त असतत यादृच्छिक चर $Y$ की एन्ट्रापी हो। ${\mathcal {X}}$ और ${\mathcal {Y}}$ द्वारा $X$ और $Y$ के समर्थन समुच्चय को निरूपित करें। माना कि $Y$ में प्रायिकता द्रव्यमान फलन $p_{Y}{(y)}$ है। $Y$ की बिना शर्त एन्ट्रॉपी की गणना $\mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]$ के रूप में की जाती है, अर्थात

$\mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},$

जहाँ $\operatorname {I} (y_{i})$, $Y$ के मान $y_{i}$ लेने के परिणाम की सूचनात्मक सामग्री है। $X$ का मान $x$ लेने पर सशर्त $Y$ की एन्ट्रापी को सशर्त अपेक्षा के अनुसार समान रूप से परिभाषित किया गया है-

$\mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.$

ध्यान दें कि $\mathrm {H} (Y|X)$ सभी संभावित मानों $x$ पर $\mathrm {H} (Y|X=x)$ के औसत का परिणाम है जो $X$ ले सकता है।

साथ ही, यदि उपरोक्त योग को नमूना $y_{1},\dots ,y_{n}$ पर ले लिया जाता है तो अपेक्षित मान $E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]$ को कुछ क्षेत्र में समानता के रूप में जाना जाता है।

चित्र ${\mathcal {X}}$ के साथ असतत यादृच्छिक चर $X$ और चित्र ${\mathcal {Y}}$ के साथ $Y$ दिया गया है, $Y$ दिए गए $X$ की सशर्त एन्ट्रापी को $x$ के प्रत्येक संभावित मान के लिए $\mathrm {H} (Y|X=x)$ के भारित योग के रूप में परिभाषित किया गया है, $p(x)$ को भार के रूप में उपयोग करते हुए-

${\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{aligned}}$

गुण

सशर्त एन्ट्रापी शून्य के बराबर

$\mathrm {H} (Y|X)=0$ यदि और केवल यदि $Y$ का मान पूरी तरह से $X$ के मान द्वारा निर्धारित किया जाता है।

स्वतंत्र यादृच्छिक चरों की सशर्त एन्ट्रापी

इसके विपरीत, $\mathrm {H} (Y|X)=\mathrm {H} (Y)$ यदि और केवल यदि $Y$ और $X$ स्वतंत्र यादृच्छिक चर हैं।

श्रृंखला नियम

माना कि दो यादृच्छिक चर $X$ और $Y$ द्वारा निर्धारित संयुक्त प्रणाली में संयुक्त एन्ट्रॉपी $\mathrm {H} (X,Y)$ है, अर्थात, हमें इसकी सटीक स्थिति का वर्णन करने के लिए औसतन जानकारी के $\mathrm {H} (X,Y)$ बिट्स की आवश्यकता है। अब यदि हम पहले $X$ का मान सीखते हैं, तो हमें $\mathrm {H} (X)$ बिट्स की जानकारी प्राप्त हुई है। एक बार $X$ ज्ञात हो जाने के बाद, हमें पूरी प्रणाली की स्थिति का वर्णन करने के लिए केवल $\mathrm {H} (X,Y)-\mathrm {H} (X)$ बिट्स की आवश्यकता होती है। यह मात्रा ठीक $\mathrm {H} (Y|X)$ है, जो सशर्त एन्ट्रापी का श्रृंखला नियम देती है-

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).$

सशर्त एन्ट्रापी की उपरोक्त परिभाषा से श्रृंखला नियम का पालन होता है-

${\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}$

सामान्य तौर पर, कई यादृच्छिक चर के लिए एक श्रृंखला नियम धारण करता है-

$\mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})$

संभाव्यता सिद्धांत में श्रृंखला नियम के समान इसका रूप है, सिवाय इसके कि गुणन के स्थान पर जोड़ का उपयोग किया जाता है।

बेयस का नियम

सशर्त एन्ट्रापी अवस्थाओं के लिए बेयस का नियम

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).$

प्रमाण। $\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)$ और $\mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)$। समरूपता में $\mathrm {H} (X,Y)=\mathrm {H} (Y,X)$ सम्मिलित है। दो समीकरणों को घटाना बेयस के नियम को दर्शाता है।

यदि $Y$ सशर्त रूप से $Z$ दिए गए $X$ से स्वतंत्र है तो हमारे पास है-

$\mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).$

अन्य गुण

किसी $X$ और $Y$ के लिए-

${\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}$

जहां $\operatorname {I} (X;Y)$ $X$ और $Y$ के बीच पारस्परिक जानकारी है।

स्वतंत्र $X$ और $Y$ के लिए-

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ और $\mathrm {H} (X|Y)=\mathrm {H} (X)\,$

हालांकि विशिष्ट-सशर्त एंट्रॉपी $\mathrm {H} (X|Y=y)$ $Y$ के दिए गए यादृच्छिक चर $y$ के लिए $\mathrm {H} (X)$ से कम या अधिक हो सकता है, $\mathrm {H} (X|Y)$ कभी भी $\mathrm {H} (X)$ से अधिक नहीं हो सकता है।

सशर्त अवकल एंट्रॉपी

परिभाषा

उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है। असतत सशर्त एन्ट्रॉपी के सतत संस्करण को सशर्त अवकल (या सतत) एंट्रॉपी कहा जाता है। माना कि $X$ और $Y$ एक संयुक्त प्रायिकता घनत्व फलन $f(x,y)$ के साथ सतत यादृच्छिक चर हैं। अवकल सशर्त एन्ट्रापी $h(X|Y)$ के रूप में परिभाषित किया गया है

$h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy$

(Eq.2)

गुण

असतत यादृच्छिक चर के लिए सशर्त एन्ट्रापी के विपरीत, सशर्त अवकल एन्ट्रॉपी ऋणात्मक हो सकती है।

जैसा कि असतत स्थिति में अवकल एन्ट्रॉपी के लिए एक श्रृंखला नियम है-

$h(Y|X)\,=\,h(X,Y)-h(X)$

हालांकि, ध्यान दें कि यह नियम सही नहीं हो सकता है यदि सम्मिलित अवकल एंट्रॉपी उपस्थित नहीं हैं या अनंत हैं।

सतत यादृच्छिक चर के बीच पारस्परिक जानकारी की परिभाषा में संयुक्त अवकल एंट्रॉपी का भी उपयोग किया जाता है-

$\operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)$

$h(X|Y)\leq h(X)$ समानता के साथ यदि और केवल यदि $X$ और $Y$ स्वतंत्र हैं।

अनुमानक त्रुटि से संबंध

सशर्त अवकल एन्ट्रापी अनुमानक की अपेक्षित वर्गकित त्रुटि पर एक निचली सीमा उत्पन्न करता है। किसी भी यादृच्छिक चर $X$ के लिए, अवलोकन $Y$ और अनुमानक ${\widehat {X}}$ निम्नलिखित धारण करता है-

$$\mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}$$

यह क्वांटम यांत्रिकी के अनिश्चितता के सिद्धांत से संबंधित है।

क्वांटम सिद्धांत के लिए सामान्यीकरण

क्वांटम सूचना सिद्धांत में, सशर्त एन्ट्रापी को सशर्त क्वांटम एन्ट्रापी के लिए सामान्यीकृत किया जाता है। दूसरा अपने चिरसम्मत समकक्ष के विपरीत, ऋणात्मक मान ले सकता है।

यह भी देखें

• एंट्रॉपी (सूचना सिद्धांत)
• परस्पर सूचना
• सशर्त क्वांटम एन्ट्रापी
• सूचना का परिवर्तन
• एन्ट्रापी शक्ति असमानता
• संभावना समारोह