सशर्त एन्ट्रापी: Difference between revisions

Latest revision as of 10:25, 29 August 2023

वेन आरेख जो जोड़ने और घटाने वाले संबंधों को दर्शाते हैं, वे विभिन्न सूचना परिमाणों के सहसंबद्ध चर

X

और

Y

जुड़े हैं। दोनों वृत्त द्वारा निहित क्षेत्र संयुक्त एन्ट्रापी

\mathrm {H} (X,Y)

है। बाईं ओर (लाल और बैंगनी) पर वृत्त व्यक्तिगत एन्ट्रापी

\mathrm {H} (X)

है, जिसमें लाल सशर्त एंट्रॉपी

\mathrm {H} (X|Y)

है। दाईं ओर (नीला और बैंगनी) पर वृत्त

\mathrm {H} (Y|X)

है, जिसमें नीला

\mathrm {H} (Y)

है। बैंगनी परस्पर सूचना

\operatorname {I} (X;Y)

है।

सूचना सिद्धांत में, सशर्त एन्ट्रापी यादृच्छिक चर $Y$ के परिणाम का वर्णन करने के लिए आवश्यक सूचना की मात्रा निर्धारित करता है, जिसे देखते हुए एक अन्य यादृच्छिक चर $X$ का मान ज्ञात होता है। जहां, शैनन, नैट्स और हार्टले में सूचना को मापा जाता है। $X$ पर सशर्त $Y$ की एन्ट्रापी को $\mathrm {H} (Y|X)$ के रूप में लिखा जाता है।

परिभाषा

$Y$ दिए गए $X$ की सशर्त एन्ट्रापी को इस रूप में परिभाषित किया गया है

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

(Eq.1)

जहाँ ${\mathcal {X}}$ और ${\mathcal {Y}}$ $X$ और $Y$ के समर्थन समुच्चय को दर्शाते हैं।

नोट: यहाँ, परंपरा यह है कि अभिव्यक्ति $0\log 0$ को शून्य के बराबर माना जाना चाहिए। ऐसा इसलिए है क्योंकि $\lim _{\theta \to 0^{+}}\theta \,\log \theta =0$ ।^[1]

सहज रूप से, ध्यान दें कि अपेक्षित मान और सशर्त संभाव्यता की परिभाषा के अनुसार, $\displaystyle H(Y|X)$ को $H(Y|X)=\mathbb {E} [f(X,Y)]$ के रूप में लिखा जा सकता है, जहां $f$ को $\displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))$ के रूप में परिभाषित किया गया है। $\displaystyle f$ के बारे में सोच सकते हैं कि प्रत्येक युग्म $\displaystyle (x,y)$ को दी गई $\displaystyle (Y=y)$ की सूचना सामग्री को मापने वाली मात्रा $\displaystyle (X=x)$ के साथ जोड़ा जाए। यह मात्रा दी गई घटना $\displaystyle (Y=y)$ $(X=x)$ का वर्णन करने के लिए आवश्यक सूचना की मात्रा से सीधे संबंधित है। इसलिए मानों $Y$ के सभी युग्मों पर $\displaystyle f$ के अपेक्षित मान की गणना करके, सशर्त एन्ट्रापी $\displaystyle H(Y|X)$ मापता है कि औसतन, चर $X$ , $(x,y)\in {\mathcal {X}}\times {\mathcal {Y}}$ के बारे में कितनी सूचना को एनकोड करता है।

अभिप्रेरण

माना $\mathrm {H} (Y|X=x)$ एक निश्चित मान $x$ लेते हुए असतत यादृच्छिक चर $X$ पर सशर्त असतत यादृच्छिक चर $Y$ की एन्ट्रापी हो। ${\mathcal {X}}$ और ${\mathcal {Y}}$ द्वारा $X$ और $Y$ के समर्थन समुच्चय को निरूपित करें। माना कि $Y$ में प्रायिकता द्रव्यमान फलन $p_{Y}{(y)}$ है। $Y$ की बिना शर्त एन्ट्रॉपी की गणना $\mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]$ के रूप में की जाती है, अर्थात

$\mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},$

जहाँ $\operatorname {I} (y_{i})$ , $Y$ के मान $y_{i}$ लेने के परिणाम की सूचनात्मक सामग्री है। $X$ का मान $x$ लेने पर सशर्त $Y$ की एन्ट्रापी को सशर्त अपेक्षा के अनुसार समान रूप से परिभाषित किया गया है-

\mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.

ध्यान दें कि $\mathrm {H} (Y|X)$ सभी संभावित मानों $x$ पर $\mathrm {H} (Y|X=x)$ के औसत का परिणाम है जो $X$ ले सकता है।

साथ ही, यदि उपरोक्त योग को नमूना $y_{1},\dots ,y_{n}$ पर ले लिया जाता है तो अपेक्षित मान $E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]$ को कुछ क्षेत्र में समानता के रूप में जाना जाता है।^[2]

चित्र ${\mathcal {X}}$ के साथ असतत यादृच्छिक चर $X$ और चित्र ${\mathcal {Y}}$ के साथ $Y$ दिया गया है, $Y$ दिए गए $X$ की सशर्त एन्ट्रापी को $x$ के प्रत्येक संभावित मान के लिए $\mathrm {H} (Y|X=x)$ के भारित योग के रूप में परिभाषित किया गया है, $p(x)$ को भार के रूप में उपयोग करते हुए-^[3]^: 15

{\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{aligned}}

गुण

सशर्त एन्ट्रापी शून्य के बराबर

$\mathrm {H} (Y|X)=0$ यदि और केवल यदि $Y$ का मान पूरी तरह से $X$ के मान द्वारा निर्धारित किया जाता है।

स्वतंत्र यादृच्छिक चरों की सशर्त एन्ट्रापी

इसके विपरीत, $\mathrm {H} (Y|X)=\mathrm {H} (Y)$ यदि और केवल यदि $Y$ और $X$ स्वतंत्र यादृच्छिक चर हैं।

श्रृंखला नियम

माना कि दो यादृच्छिक चर $X$ और $Y$ द्वारा निर्धारित संयुक्त प्रणाली में संयुक्त एन्ट्रॉपी $\mathrm {H} (X,Y)$ है, अर्थात, हमें इसकी सटीक स्थिति का वर्णन करने के लिए औसतन सूचना के $\mathrm {H} (X,Y)$ बिट्स की आवश्यकता है। अब यदि हम पहले $X$ का मान सीखते हैं, तो हमें $\mathrm {H} (X)$ बिट्स की सूचना प्राप्त हुई है। एक बार $X$ ज्ञात हो जाने के बाद, हमें पूरी प्रणाली की स्थिति का वर्णन करने के लिए केवल $\mathrm {H} (X,Y)-\mathrm {H} (X)$ बिट्स की आवश्यकता होती है। यह मात्रा ठीक $\mathrm {H} (Y|X)$ है, जो सशर्त एन्ट्रापी का श्रृंखला नियम देती है-

\mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).

^[3]^: 17

सशर्त एन्ट्रापी की उपरोक्त परिभाषा से श्रृंखला नियम का पालन होता है-

{\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}

सामान्य तौर पर, कई यादृच्छिक चर के लिए एक श्रृंखला नियम धारण करता है-

\mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})

^[3]^: 22

संभाव्यता सिद्धांत में श्रृंखला नियम के समान इसका रूप है, सिवाय इसके कि गुणन के स्थान पर जोड़ का उपयोग किया जाता है।

बेयस का नियम

सशर्त एन्ट्रापी अवस्थाओं के लिए बेयस का नियम

\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).

प्रमाण। $\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)$ और $\mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)$ । समरूपता में $\mathrm {H} (X,Y)=\mathrm {H} (Y,X)$ सम्मिलित है। दो समीकरणों को घटाना बेयस के नियम को दर्शाता है।

यदि $Y$ सशर्त रूप से $Z$ दिए गए $X$ से स्वतंत्र है तो हमारे पास है-

\mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).

अन्य गुण

किसी $X$ और $Y$ के लिए-

{\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}

जहां $\operatorname {I} (X;Y)$ $X$ और $Y$ के बीच पारस्परिक सूचना है।

स्वतंत्र $X$ और $Y$ के लिए-

\mathrm {H} (Y|X)=\mathrm {H} (Y)

और

\mathrm {H} (X|Y)=\mathrm {H} (X)\,

हालांकि विशिष्ट-सशर्त एंट्रॉपी $\mathrm {H} (X|Y=y)$ $Y$ के दिए गए यादृच्छिक चर $y$ के लिए $\mathrm {H} (X)$ से कम या अधिक हो सकता है, $\mathrm {H} (X|Y)$ कभी भी $\mathrm {H} (X)$ से अधिक नहीं हो सकता है।

सशर्त अवकल एंट्रॉपी

परिभाषा

उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है। असतत सशर्त एन्ट्रॉपी के सतत संस्करण को सशर्त अवकल (या सतत) एंट्रॉपी कहा जाता है। माना कि $X$ और $Y$ एक संयुक्त प्रायिकता घनत्व फलन $f(x,y)$ के साथ सतत यादृच्छिक चर हैं। अवकल सशर्त एन्ट्रापी $h(X|Y)$ के रूप में परिभाषित किया गया है^[3]^: 249

h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy

(Eq.2)

गुण

असतत यादृच्छिक चर के लिए सशर्त एन्ट्रापी के विपरीत, सशर्त अवकल एन्ट्रॉपी ऋणात्मक हो सकती है।

जैसा कि असतत स्थिति में अवकल एन्ट्रॉपी के लिए एक श्रृंखला नियम है-

h(Y|X)\,=\,h(X,Y)-h(X)

^[3]^: 253

हालांकि, ध्यान दें कि यह नियम सही नहीं हो सकता है यदि सम्मिलित अवकल एंट्रॉपी उपस्थित नहीं हैं या अनंत हैं।

सतत यादृच्छिक चर के बीच पारस्परिक सूचना की परिभाषा में संयुक्त अवकल एंट्रॉपी का भी उपयोग किया जाता है-

\operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)

$h(X|Y)\leq h(X)$ समानता के साथ यदि और केवल यदि $X$ और $Y$ स्वतंत्र हैं।^[3]^: 253

अनुमानक त्रुटि से संबंध

सशर्त अवकल एन्ट्रापी अनुमानक की अपेक्षित वर्गकित त्रुटि पर एक निचली सीमा उत्पन्न करता है। किसी भी यादृच्छिक चर $X$ के लिए, अवलोकन $Y$ और अनुमानक ${\widehat {X}}$ निम्नलिखित धारण करता है-^[3]^: 255

\mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}

यह क्वांटम यांत्रिकी के अनिश्चितता के सिद्धांत से संबंधित है।

क्वांटम सिद्धांत के लिए सामान्यीकरण

क्वांटम सूचना सिद्धांत में, सशर्त एन्ट्रापी को सशर्त क्वांटम एन्ट्रापी के लिए सामान्यीकृत किया जाता है। दूसरा अपने चिरसम्मत समकक्ष के विपरीत, ऋणात्मक मान ले सकता है।

यह भी देखें

एंट्रॉपी (सूचना सिद्धांत)
परस्पर सूचना
सशर्त क्वांटम एन्ट्रापी
सूचना की भिन्नता
एन्ट्रॉपी शक्ति असमानता
संभावना फलन

संदर्भ

↑ "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". www.inference.org.uk. Retrieved 2019-10-25.
↑ Hellman, M.; Raviv, J. (1970). "त्रुटि की संभावना, इक्विवोकेशन, और चेरनॉफ़ बाउंड". IEEE Transactions on Information Theory. 16 (4): 368–372. doi:10.1109/TIT.1970.1054466.
↑ ^3.0 ^3.1 ^3.2 ^3.3 ^3.4 ^3.5 ^3.6 T. Cover; J. Thomas (1991). सूचना सिद्धांत के तत्व. ISBN 0-471-06259-6.

[1] "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". www.inference.org.uk. Retrieved 2019-10-25.

[2] Hellman, M.; Raviv, J. (1970). "त्रुटि की संभावना, इक्विवोकेशन, और चेरनॉफ़ बाउंड". IEEE Transactions on Information Theory. 16 (4): 368–372. doi:10.1109/TIT.1970.1054466.

[cover1991-3] 3.0 ^3.1 ^3.2 ^3.3 ^3.4 ^3.5 ^3.6 T. Cover; J. Thomas (1991). सूचना सिद्धांत के तत्व. ISBN 0-471-06259-6.

[1]

[2]

[3]

@@ Line 2: / Line 2: @@
 {{Information theory}}
-[[Image:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|सहसंबद्ध चरों से जुड़ी जानकारी की विभिन्न मात्राओं को जोड़ने वाले और घटने वाले संबंधों को दर्शाने वाला [[वेन आरेख]] <math>X</math> और <math>Y</math>. दोनों मंडलियों द्वारा निहित क्षेत्र संयुक्त एंट्रॉपी है <math>\Eta(X,Y)</math>. बाईं ओर का वृत्त (लाल और बैंगनी) [[एंट्रॉपी (सूचना सिद्धांत)]] है <math>\Eta(X)</math>, लाल सशर्त एन्ट्रापी होने के साथ <math>\Eta(X|Y)</math>. दाईं ओर वृत्त (नीला और बैंगनी) है <math>\Eta(Y)</math>, नीले होने के साथ <math>\Eta(Y|X)</math>. वायलेट [[आपसी जानकारी]] है <math>\operatorname{I}(X;Y)</math>.]][[सूचना सिद्धांत]] में, सशर्त एन्ट्रापी एक यादृच्छिक चर के परिणाम का वर्णन करने के लिए आवश्यक जानकारी की मात्रा निर्धारित करता है <math>Y</math> दिया गया है कि एक और यादृच्छिक चर का मान <math>X</math> ज्ञात है। यहाँ, सूचना को [[ शैनन (इकाई) ]] s, Nat (यूनिट) s, या [[ हार्टले (इकाई) ]] s में मापा जाता है। की एन्ट्रापी <math>Y</math> पर वातानुकूलित <math>X</math>के रूप में लिखा गया है <math>\Eta(Y|X)</math>.
+[[Image:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|[[वेन आरेख]] जो जोड़ने और घटाने वाले संबंधों को दर्शाते हैं, वे विभिन्न सूचना परिमाणों के सहसंबद्ध चर <math>X</math> और <math>Y</math> जुड़े हैं। दोनों वृत्त द्वारा निहित क्षेत्र संयुक्त एन्ट्रापी <math>\Eta(X,Y)</math> है। बाईं ओर (लाल और बैंगनी) पर वृत्त व्यक्तिगत [[एंट्रॉपी (सूचना सिद्धांत)|एन्ट्रापी]] <math>\Eta(X)</math> है, जिसमें लाल सशर्त एंट्रॉपी <math>\Eta(X|Y)</math> है। दाईं ओर (नीला और बैंगनी) पर वृत्त <math>\Eta(Y|X)</math> है, जिसमें नीला <math>\Eta(Y)</math> है। बैंगनी [[आपसी जानकारी|परस्पर सूचना]] <math>\operatorname{I}(X;Y)</math> है।]][[सूचना सिद्धांत]] में, '''सशर्त एन्ट्रापी''' यादृच्छिक चर <math>Y</math> के परिणाम का वर्णन करने के लिए आवश्यक सूचना की मात्रा निर्धारित करता है, जिसे देखते हुए एक अन्य यादृच्छिक चर <math>X</math> का मान ज्ञात होता है। जहां, [[ शैनन (इकाई) |शैनन]], नैट्स और [[ हार्टले (इकाई) |हार्टले]] में सूचना को मापा जाता है। <math>X</math> पर सशर्त <math>Y</math> की एन्ट्रापी को <math>\Eta(Y|X)</math> के रूप में लिखा जाता है।
 == परिभाषा ==
-की सशर्त एन्ट्रॉपी <math>Y</math> दिया गया <math>X</math> परिभाषित किया जाता है
+<math>Y</math> दिए गए <math>X</math> की सशर्त एन्ट्रापी को इस रूप में परिभाषित किया गया है
 {{Equation box 1
@@ Line 16: / Line 16: @@
 |background colour=#F5FFFA}}
-कहाँ <math>\mathcal X</math> और <math>\mathcal Y</math> के [[समर्थन (गणित)]] को निरूपित करें <math>X</math> और <math>Y</math>.
+जहाँ <math>\mathcal X</math> और <math>\mathcal Y</math> <math>X</math> और <math>Y</math> के [[समर्थन (गणित)|समर्थन]] समुच्चय को दर्शाते हैं।
-नोट: यहाँ, परिपाटी यह है कि व्यंजक <math>0 \log 0</math> शून्य के बराबर माना जाना चाहिए। यह है क्योंकि <math>\lim_{\theta\to0^+} \theta\, \log \theta = 0</math>.<ref>{{Cite web|url=http://www.inference.org.uk/mackay/itprnn/book.html|title=David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book|website=www.inference.org.uk|access-date=2019-10-25}}</ref> <!-- because p(x,y) could still equal 0 even if p(x) != 0 and p(y) != 0. What about p(x,y)=p(x)=0? -->
+नोट: यहाँ, परंपरा यह है कि अभिव्यक्ति <math>0 \log 0</math> को शून्य के बराबर माना जाना चाहिए। ऐसा इसलिए है क्योंकि <math>\lim_{\theta\to0^+} \theta\, \log \theta = 0</math>।<ref>{{Cite web|url=http://www.inference.org.uk/mackay/itprnn/book.html|title=David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book|website=www.inference.org.uk|access-date=2019-10-25}}</ref>
-सहज रूप से, ध्यान दें कि [[अपेक्षित मूल्य]] और [[सशर्त संभाव्यता]] की परिभाषा के अनुसार, <math>\displaystyle H(Y|X) </math> रूप में लिखा जा सकता है <math> H(Y|X) = \mathbb{E}[f(X,Y)]</math>, कहाँ <math> f </math> परिभाषित किया जाता है <math>\displaystyle f(x,y) := -\log\left(\frac{p(x, y)}{p(x)}\right) = -\log(p(y|x))</math>. कोई सोच सकता है <math>\displaystyle f</math> प्रत्येक जोड़ी को जोड़ने के रूप में <math>\displaystyle (x, y)</math> की सूचना सामग्री को मापने वाली मात्रा के साथ <math>\displaystyle (Y=y)</math> दिया गया <math>\displaystyle (X=x)</math>. यह मात्रा घटना का वर्णन करने के लिए आवश्यक जानकारी की मात्रा से सीधे संबंधित है <math>\displaystyle (Y=y)</math> दिया गया <math>(X=x)</math>. इसलिए के अपेक्षित मूल्य की गणना करके <math>\displaystyle f </math> मूल्यों के सभी जोड़े पर <math>(x, y) \in \mathcal{X} \times \mathcal{Y}</math>, सशर्त एन्ट्रापी <math>\displaystyle H(Y|X)</math> मापता है कि कितनी जानकारी, औसतन, चर <math> X </math> के बारे में कूटबद्ध करता है <math> Y </math>.
-== प्रेरणा ==
+सहज रूप से, ध्यान दें कि [[अपेक्षित मूल्य|अपेक्षित मान]] और [[सशर्त संभाव्यता]] की परिभाषा के अनुसार, <math>\displaystyle H(Y|X) </math> को <math> H(Y|X) = \mathbb{E}[f(X,Y)]</math> के रूप में लिखा जा सकता है, जहां <math> f </math> को <math>\displaystyle f(x,y) := -\log\left(\frac{p(x, y)}{p(x)}\right) = -\log(p(y|x))</math> के रूप में परिभाषित किया गया है। <math>\displaystyle f</math> के बारे में सोच सकते हैं कि प्रत्येक युग्म <math>\displaystyle (x, y)</math> को दी गई <math>\displaystyle (Y=y)</math> की सूचना सामग्री को मापने वाली मात्रा <math>\displaystyle (X=x)</math> के साथ जोड़ा जाए। यह मात्रा दी गई घटना <math>\displaystyle (Y=y)</math> <math>(X=x)</math> का वर्णन करने के लिए आवश्यक सूचना की मात्रा से सीधे संबंधित है। इसलिए मानों <math> Y </math> के सभी युग्मों पर <math>\displaystyle f </math> के अपेक्षित मान की गणना करके, सशर्त एन्ट्रापी <math>\displaystyle H(Y|X)</math> मापता है कि औसतन, चर <math> X </math>, <math>(x, y) \in \mathcal{X} \times \mathcal{Y}</math> के बारे में कितनी सूचना को एनकोड करता है।
-होने देना <math>\Eta(Y|X=x)</math> असतत यादृच्छिक चर का [[शैनन एंट्रॉपी]] बनें <math>Y</math> असतत यादृच्छिक चर पर वातानुकूलित <math>X</math> एक निश्चित मूल्य लेना <math>x</math>. के समर्थन सेट को निरूपित करें <math>X</math> और <math>Y</math> द्वारा <math>\mathcal X</math> और <math>\mathcal Y</math>. होने देना <math>Y</math> प्रायिकता द्रव्यमान कार्य है <math>p_Y{(y)}</math>. की बिना शर्त एन्ट्रापी <math>Y</math> के रूप में गणना की जाती है <math>\Eta(Y) := \mathbb{E}[\operatorname{I}(Y)]</math>, अर्थात।
-:<math>\Eta(Y) = \sum_{y\in\mathcal Y} {\mathrm{Pr}(Y=y)\,\mathrm{I}(y)}
+== अभिप्रेरण ==
+माना <math>\Eta(Y|X=x)</math> एक निश्चित मान <math>x</math> लेते हुए असतत यादृच्छिक चर <math>X</math> पर सशर्त असतत यादृच्छिक चर <math>Y</math> की [[शैनन एंट्रॉपी|एन्ट्रापी]] हो। <math>\mathcal X</math> और <math>\mathcal Y</math> द्वारा <math>X</math> और <math>Y</math> के समर्थन समुच्चय को निरूपित करें। माना कि <math>Y</math> में प्रायिकता द्रव्यमान फलन <math>p_Y{(y)}</math> है। <math>Y</math> की बिना शर्त एन्ट्रॉपी की गणना <math>\Eta(Y) := \mathbb{E}[\operatorname{I}(Y)]</math> के रूप में की जाती है, अर्थात
+<math>\Eta(Y) = \sum_{y\in\mathcal Y} {\mathrm{Pr}(Y=y)\,\mathrm{I}(y)}
 = -\sum_{y\in\mathcal Y} {p_Y(y) \log_2{p_Y(y)}},</math>
-कहाँ <math>\operatorname{I}(y_i)</math> के [[परिणाम (संभावना)]] की सूचना सामग्री है <math>Y</math> मूल्य ले रहा है <math>y_i</math>. की एन्ट्रापी <math>Y</math> पर वातानुकूलित <math>X</math> मूल्य ले रहा है <math>x</math> [[सशर्त अपेक्षा]] द्वारा समान रूप से परिभाषित किया गया है:
+जहाँ <math>\operatorname{I}(y_i)</math>, <math>Y</math> के मान <math>y_i</math> लेने के [[परिणाम (संभावना)|परिणाम]] की सूचनात्मक सामग्री है। <math>X</math> का मान <math>x</math> लेने पर सशर्त <math>Y</math> की एन्ट्रापी को [[सशर्त अपेक्षा]] के अनुसार समान रूप से परिभाषित किया गया है-
 :<math>\Eta(Y|X=x)
 = -\sum_{y\in\mathcal Y} {\Pr(Y = y|X=x) \log_2{\Pr(Y = y|X=x)}}.</math>
-ध्यान दें कि <math>\Eta(Y|X)</math> औसत का परिणाम है <math>\Eta(Y|X=x)</math> सभी संभावित मूल्यों पर <math>x</math> वह <math>X</math> लग सकता है। साथ ही, यदि उपरोक्त योग को एक नमूने पर लिया जाता है <math>y_1, \dots, y_n</math>, अपेक्षित मूल्य <math>E_X[ \Eta(y_1, \dots, y_n \mid X = x)]</math> कुछ डोमेन में इक्विवोकेशन के रूप में जाना जाता है।<ref>{{cite journal|author1=Hellman, M.|author2=Raviv, J.|year=1970|title=त्रुटि की संभावना, इक्विवोकेशन, और चेरनॉफ़ बाउंड|journal=IEEE Transactions on Information Theory|volume=16|issue=4|pages=368–372|doi=10.1109/TIT.1970.1054466}}</ref>
+ध्यान दें कि <math>\Eta(Y|X)</math> सभी संभावित मानों <math>x</math> पर <math>\Eta(Y|X=x)</math> के औसत का परिणाम है जो <math>X</math> ले सकता है।
-दिया गया [[असतत यादृच्छिक चर]] <math>X</math> छवि के साथ <math>\mathcal X</math> और <math>Y</math> छवि के साथ <math>\mathcal Y</math>, की सशर्त एन्ट्रापी <math>Y</math> दिया गया <math>X</math> के भारित योग के रूप में परिभाषित किया गया है <math>\Eta(Y|X=x)</math> के प्रत्येक संभावित मूल्य के लिए <math>x</math>, का उपयोग कर  <math>p(x)</math> भार के रूप में:<ref name=cover1991>{{cite book|isbn=0-471-06259-6|year=1991|authorlink1=Thomas M. Cover|author1=T. Cover|author2=J. Thomas|title=सूचना सिद्धांत के तत्व|url=https://archive.org/details/elementsofinform0000cove|url-access=registration}}</ref>{{rp|15}}
+साथ ही, यदि उपरोक्त योग को नमूना <math>y_1, \dots, y_n</math> पर ले लिया जाता है तो अपेक्षित मान <math>E_X[ \Eta(y_1, \dots, y_n \mid X = x)]</math> को कुछ क्षेत्र में '''समानता''' के रूप में जाना जाता है।<ref>{{cite journal|author1=Hellman, M.|author2=Raviv, J.|year=1970|title=त्रुटि की संभावना, इक्विवोकेशन, और चेरनॉफ़ बाउंड|journal=IEEE Transactions on Information Theory|volume=16|issue=4|pages=368–372|doi=10.1109/TIT.1970.1054466}}</ref>
+चित्र <math>\mathcal X</math> के साथ [[असतत यादृच्छिक चर]] <math>X</math> और चित्र <math>\mathcal Y</math> के साथ <math>Y</math> दिया गया है, <math>Y</math> दिए गए <math>X</math> की सशर्त एन्ट्रापी को <math>x</math> के प्रत्येक संभावित मान के लिए <math>\Eta(Y|X=x)</math> के भारित योग के रूप में परिभाषित किया गया है, <math>p(x)</math> को भार के रूप में उपयोग करते हुए-<ref name="cover1991">{{cite book|isbn=0-471-06259-6|year=1991|authorlink1=Thomas M. Cover|author1=T. Cover|author2=J. Thomas|title=सूचना सिद्धांत के तत्व|url=https://archive.org/details/elementsofinform0000cove|url-access=registration}}</ref>{{rp|15}}
 :<math>
 \begin{align}
@@ Line 40: / Line 45: @@
 \end{align}
 </math>
 == गुण ==
-=== सशर्त एंट्रॉपी शून्य === के बराबर है
+=== सशर्त एन्ट्रापी शून्य के बराबर ===
-<math>\Eta(Y|X)=0</math> अगर और केवल अगर का मूल्य <math>Y</math> के मूल्य से पूरी तरह से निर्धारित होता है <math>X</math>.
+<math>\Eta(Y|X)=0</math> यदि और केवल यदि <math>Y</math> का मान पूरी तरह से <math>X</math> के मान द्वारा निर्धारित किया जाता है।
-=== स्वतंत्र यादृच्छिक चर की सशर्त एन्ट्रापी ===
+=== स्वतंत्र यादृच्छिक चरों की सशर्त एन्ट्रापी ===
-इसके विपरीत, <math>\Eta(Y|X) = \Eta(Y)</math> अगर और केवल अगर <math>Y</math> और <math>X</math> [[स्वतंत्र यादृच्छिक चर]] हैं।
+इसके विपरीत, <math>\Eta(Y|X) = \Eta(Y)</math> यदि और केवल यदि <math>Y</math> और <math>X</math> [[स्वतंत्र यादृच्छिक चर]] हैं।
 === श्रृंखला नियम ===
-मान लें कि संयुक्त प्रणाली दो यादृच्छिक चर द्वारा निर्धारित की जाती है <math>X</math> और <math>Y</math> संयुक्त एन्ट्रापी है <math>\Eta(X,Y)</math>यानी हमें जरूरत है <math>\Eta(X,Y)</math> इसकी सटीक स्थिति का वर्णन करने के लिए औसतन जानकारी के बिट्स। अब अगर हम पहले का मूल्य सीखते हैं <math>X</math>, हमने प्राप्त किया है <math>\Eta(X)</math> जानकारी के टुकड़े। एक बार <math>X</math> ज्ञात है, हमें केवल आवश्यकता है <math>\Eta(X,Y)-\Eta(X)</math> पूरे सिस्टम की स्थिति का वर्णन करने के लिए बिट्स। यह मात्रा बिल्कुल है <math>\Eta(Y|X)</math>, जो सशर्त एन्ट्रॉपी का चेन नियम देता है:
+माना कि दो यादृच्छिक चर <math>X</math> और <math>Y</math> द्वारा निर्धारित संयुक्त प्रणाली में संयुक्त एन्ट्रॉपी <math>\Eta(X,Y)</math> है, अर्थात, हमें इसकी सटीक स्थिति का वर्णन करने के लिए औसतन सूचना के <math>\Eta(X,Y)</math> बिट्स की आवश्यकता है। अब यदि हम पहले <math>X</math> का मान सीखते हैं, तो हमें <math>\Eta(X)</math> बिट्स की सूचना प्राप्त हुई है। एक बार <math>X</math> ज्ञात हो जाने के बाद, हमें पूरी प्रणाली की स्थिति का वर्णन करने के लिए केवल <math>\Eta(X,Y)-\Eta(X)</math> बिट्स की आवश्यकता होती है। यह मात्रा ठीक <math>\Eta(Y|X)</math> है, जो सशर्त एन्ट्रापी का श्रृंखला नियम देती है-
 :<math>\Eta(Y|X)\, = \, \Eta(X,Y)- \Eta(X).</math><ref name=cover1991 />{{rp|17}}
-सशर्त एन्ट्रापी की उपरोक्त परिभाषा से श्रृंखला नियम का पालन होता है:
+सशर्त एन्ट्रापी की उपरोक्त परिभाषा से श्रृंखला नियम का पालन होता है-
 :<math>\begin{align}
@@ Line 64: / Line 67: @@
   & = \Eta(X,Y) - \Eta(X).
 \end{align}</math>
-सामान्य तौर पर, एकाधिक यादृच्छिक चर के लिए एक श्रृंखला नियम धारण करता है:
+सामान्य तौर पर, कई यादृच्छिक चर के लिए एक श्रृंखला नियम धारण करता है-
 :<math> \Eta(X_1,X_2,\ldots,X_n) =
   \sum_{i=1}^n \Eta(X_i | X_1, \ldots, X_{i-1}) </math><ref name=cover1991 />{{rp|22}}
-संभाव्यता सिद्धांत में इसका एक समान रूप चेन नियम (संभाव्यता) है, सिवाय इसके कि गुणन के बजाय जोड़ का उपयोग किया जाता है।
+संभाव्यता सिद्धांत में श्रृंखला नियम के समान इसका रूप है, सिवाय इसके कि गुणन के स्थान पर जोड़ का उपयोग किया जाता है।
 === बेयस का नियम ===
-सशर्त एंट्रॉपी राज्यों के लिए बेयस नियम
+सशर्त एन्ट्रापी अवस्थाओं के लिए बेयस का नियम
 :<math>\Eta(Y|X) \,=\, \Eta(X|Y) - \Eta(X) + \Eta(Y).</math>
-सबूत। <math>\Eta(Y|X) = \Eta(X,Y) - \Eta(X)</math> और <math>\Eta(X|Y) = \Eta(Y,X) - \Eta(Y)</math>. समरूपता शामिल है <math>\Eta(X,Y) = \Eta(Y,X)</math>. दो समीकरणों को घटाना बेज़ के नियम को दर्शाता है।
+प्रमाण। <math>\Eta(Y|X) = \Eta(X,Y) - \Eta(X)</math> और <math>\Eta(X|Y) = \Eta(Y,X) - \Eta(Y)</math>। समरूपता में <math>\Eta(X,Y) = \Eta(Y,X)</math> सम्मिलित है। दो समीकरणों को घटाना बेयस के नियम को दर्शाता है।
-अगर <math>Y</math> की [[सशर्त स्वतंत्रता]] है <math>Z</math> दिया गया <math>X</math> अपने पास:
+यदि <math>Y</math> सशर्त रूप से <math>Z</math> दिए गए <math>X</math> से [[सशर्त स्वतंत्रता|स्वतंत्र]] है तो हमारे पास है-
 :<math>\Eta(Y|X,Z) \,=\, \Eta(Y|X).</math>
 === अन्य गुण ===
-किसी के लिए <math>X</math> और <math>Y</math>:
+किसी <math>X</math> और <math>Y</math> के लिए-
 :<math>\begin{align}
    \Eta(Y|X) &\le \Eta(Y) \, \\
@@ Line 89: / Line 90: @@
    \operatorname{I}(X;Y) &\le \Eta(X),\,
 \end{align}</math>
-कहाँ <math>\operatorname{I}(X;Y)</math> के बीच परस्पर सूचना है <math>X</math> और <math>Y</math>.
+जहां <math>\operatorname{I}(X;Y)</math> <math>X</math> और <math>Y</math> के बीच पारस्परिक सूचना है।
-स्वतंत्र के लिए <math>X</math> और <math>Y</math>:
+स्वतंत्र <math>X</math> और <math>Y</math> के लिए-
 :<math>\Eta(Y|X) = \Eta(Y) </math> और <math>\Eta(X|Y) = \Eta(X) \, </math>
-हालांकि विशिष्ट-सशर्त एन्ट्रापी <math>\Eta(X|Y=y)</math> से कम या अधिक हो सकता है <math>\Eta(X)</math> किसी दिए गए [[यादृच्छिक चर]] के लिए <math>y</math> का <math>Y</math>, <math>\Eta(X|Y)</math> कभी अधिक नहीं हो सकता <math>\Eta(X)</math>.
+हालांकि विशिष्ट-सशर्त एंट्रॉपी <math>\Eta(X|Y=y)</math> <math>Y</math> के दिए गए [[यादृच्छिक चर]] <math>y</math> के लिए <math>\Eta(X)</math> से कम या अधिक हो सकता है, <math>\Eta(X|Y)</math> कभी भी <math>\Eta(X)</math> से अधिक नहीं हो सकता है।
-== सशर्त अंतर एंट्रॉपी ==
+== सशर्त अवकल एंट्रॉपी ==
 === परिभाषा ===
-उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है। असतत सशर्त एन्ट्रॉपी के निरंतर संस्करण को सशर्त अंतर (या निरंतर) एंट्रॉपी कहा जाता है। होने देना <math>X</math> और <math>Y</math> एक संयुक्त प्रायिकता घनत्व समारोह के साथ एक निरंतर यादृच्छिक चर हो <math>f(x,y)</math>. अंतर सशर्त एन्ट्रापी <math>h(X|Y)</math> परिभाषित किया जाता है<ref name=cover1991 />{{rp|249}}
+उपरोक्त परिभाषा असतत यादृच्छिक चर के लिए है। असतत सशर्त एन्ट्रॉपी के सतत संस्करण को सशर्त अवकल (या सतत) एंट्रॉपी कहा जाता है। माना कि <math>X</math> और <math>Y</math> एक संयुक्त प्रायिकता घनत्व फलन <math>f(x,y)</math> के साथ सतत यादृच्छिक चर हैं। अवकल सशर्त एन्ट्रापी <math>h(X|Y)</math> के रूप में परिभाषित किया गया है<ref name=cover1991 />{{rp|249}}
 {{Equation box 1
@@ Line 111: / Line 112: @@
 === गुण ===
-असतत यादृच्छिक चर के लिए सशर्त एन्ट्रापी के विपरीत, सशर्त अंतर एन्ट्रॉपी नकारात्मक हो सकता है।
+असतत यादृच्छिक चर के लिए सशर्त एन्ट्रापी के विपरीत, सशर्त अवकल एन्ट्रॉपी ऋणात्मक हो सकती है।
-असतत मामले में विभेदक एन्ट्रापी के लिए एक श्रृंखला नियम है:
+जैसा कि असतत स्थिति में अवकल एन्ट्रॉपी के लिए एक श्रृंखला नियम है-
 :<math>h(Y|X)\,=\,h(X,Y)-h(X)</math><ref name=cover1991 />{{rp|253}}
-हालांकि, ध्यान दें कि यह नियम सही नहीं हो सकता है यदि शामिल अंतर एंट्रॉपी मौजूद नहीं हैं या अनंत हैं।
+हालांकि, ध्यान दें कि यह नियम सही नहीं हो सकता है यदि सम्मिलित अवकल एंट्रॉपी उपस्थित नहीं हैं या अनंत हैं।
-निरंतर यादृच्छिक चर के बीच पारस्परिक जानकारी की परिभाषा में संयुक्त अंतर एंट्रॉपी का भी उपयोग किया जाता है:
+सतत यादृच्छिक चर के बीच पारस्परिक सूचना की परिभाषा में संयुक्त अवकल एंट्रॉपी का भी उपयोग किया जाता है-
 :<math>\operatorname{I}(X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)</math>
-<math>h(X|Y) \le h(X)</math> समानता के साथ अगर और केवल अगर <math>X</math> और <math>Y</math> स्वतंत्र हैं।<ref name=cover1991 />{{rp|253}}
+<math>h(X|Y) \le h(X)</math> समानता के साथ यदि और केवल यदि <math>X</math> और <math>Y</math> स्वतंत्र हैं।<ref name=cover1991 />{{rp|253}}
 ===अनुमानक त्रुटि से संबंध===
-सशर्त अंतर एन्ट्रापी एक अनुमानक की अपेक्षित चुकता त्रुटि पर एक निचली सीमा उत्पन्न करता है। किसी भी यादृच्छिक चर के लिए <math>X</math>, अवलोकन <math>Y</math> और अनुमानक <math>\widehat{X}</math> निम्नलिखित धारण करता है:<ref name=cover1991 />{{rp|255}}
+सशर्त अवकल एन्ट्रापी अनुमानक की अपेक्षित वर्गकित त्रुटि पर एक निचली सीमा उत्पन्न करता है। किसी भी यादृच्छिक चर <math>X</math> के लिए, अवलोकन <math>Y</math> और अनुमानक <math>\widehat{X}</math> निम्नलिखित धारण करता है-<ref name=cover1991 />{{rp|255}}<math display="block">\mathbb{E}\left[\bigl(X - \widehat{X}{(Y)}\bigr)^2\right]
-:<math display="block">\mathbb{E}\left[\bigl(X - \widehat{X}{(Y)}\bigr)^2\right]
+  \ge \frac{1}{2\pi e}e^{2h(X|Y)}</math>यह [[क्वांटम यांत्रिकी]] के अनिश्चितता के सिद्धांत से संबंधित है।
-  \ge \frac{1}{2\pi e}e^{2h(X|Y)}</math>
-यह [[क्वांटम यांत्रिकी]] से अनिश्चितता सिद्धांत से संबंधित है।
 == क्वांटम सिद्धांत के लिए सामान्यीकरण ==
-[[क्वांटम सूचना सिद्धांत]] में, सशर्त एन्ट्रापी को [[सशर्त क्वांटम एन्ट्रापी]] के लिए सामान्यीकृत किया जाता है। उत्तरार्द्ध अपने शास्त्रीय समकक्ष के विपरीत, नकारात्मक मान ले सकता है।
+[[क्वांटम सूचना सिद्धांत]] में, सशर्त एन्ट्रापी को [[सशर्त क्वांटम एन्ट्रापी]] के लिए सामान्यीकृत किया जाता है। दूसरा अपने चिरसम्मत समकक्ष के विपरीत, ऋणात्मक मान ले सकता है।
 == यह भी देखें ==
 * एंट्रॉपी (सूचना सिद्धांत)
-* आपसी जानकारी
+* परस्पर सूचना
 * सशर्त क्वांटम एन्ट्रापी
-* सूचना का परिवर्तन
+* सूचना की भिन्नता
-* [[एन्ट्रापी शक्ति असमानता]]
+* [[एन्ट्रापी शक्ति असमानता|एन्ट्रॉपी शक्ति असमानता]]
-* [[संभावना समारोह]]
+* [[संभावना समारोह|संभावना फलन]]
 ==संदर्भ==
 {{Reflist}}
-[[Category: एंट्रॉपी और सूचना]] [[Category: सूचना सिद्धांत]]
-[[Category: Machine Translated Page]]
 [[Category:Created On 20/05/2023]]
+[[Category:Lua-based templates]]
+[[Category:Machine Translated Page]]
+[[Category:Pages with script errors]]
+[[Category:Short description with empty Wikidata description]]
+[[Category:Templates Vigyan Ready]]
+[[Category:Templates that add a tracking category]]
+[[Category:Templates that generate short descriptions]]
+[[Category:Templates using TemplateData]]
+[[Category:एंट्रॉपी और सूचना]]
+[[Category:सूचना सिद्धांत]]

Anonymous

Search

सशर्त एन्ट्रापी: Difference between revisions

Namespaces

More

Page actions

Latest revision as of 10:25, 29 August 2023

Contents

परिभाषा

अभिप्रेरण