विभेदक एन्ट्रापी

विभेदक एंट्रोपी एक सूचना सिद्धांत में एक अवधारणा है जिसने क्लोड शैनन के प्रयास को आगे बढ़ाने के लिए प्रयास किया था, जहां एंट्रोपी, एक यादृच्छिक प्रारूपी की औसत माप, को निरंतर संभावना तक विस्तारित करने के प्रयास के रूप में किया गया था।

दुर्भाग्य से, शैनन ने इस सूत्र को नहीं निकाला था, बल्कि उन्होंने सिर्फ यह माना था कि यह निरंतर एंट्रोपी की सही निरंतर अनुक्रमिका है, लेकिन ऐसा नहीं है। वास्तविक रूप से अवक्रमिक एंट्रोपी का वास्तविक निरंतर संस्करण बिन्दुओं का सीमा घनत्व है। विभेदक एंट्रोपी साहित्य में सामान्यतः आपत्ति में आती है, लेकिन यह एक सीमांकीय स्थिति है जो एलडीडीपी का होता है और एक है जो अपने साथ असंतत एंट्रोपी के मौलिक संबंध को खो देता है।

एक माप सिद्धांत की परिभाषा के अनुसार, प्रायिकता माप की विभेदक एंट्रोपी उस माप से लेबेस्ग माप तक की नकारात्मक संबंधित एंट्रोपी होती है, जहां दूसरे को प्रायिकता माप के रूप में व्यवहारिक रूप से उपयोग किया जाता है, यद्यपि वह अविशोधित है।

परिभाषा

$X$ एक यादृच्छिक चर हो जिसकी प्रायिकता घनत्व फलन $f$ हो और जिसका समर्थन समुच्चय ${\mathcal {X}}$.हो विभेदक एन्ट्रापी $h(X)$ या $h(f)$ परिभाषित किया जाता है

$h(X)=\operatorname {E} [-\log(f(X))]=-\int _{\mathcal {X}}f(x)\log f(x)\,dx$

संभाव्यता वितरण के लिए जिसमें स्पष्ट घनत्व फलन व्यंजक नहीं है, लेकिन एक स्पष्ट मात्रात्मक कार्य व्यंजक है,तब $Q(p)$,या $h(Q)$ के व्युत्पन्न के रूप में परिभाषित किया जा सकता है जैसे मात्रात्मक घनत्व फलन $Q'(p)$।

$h(Q)=\int _{0}^{1}\log Q'(p)\,dp$.

विभेदक एंट्रोपी की एक विशेषता यह है कि इसकी मात्रा लघुत्तम मानदंड के आधार पर निर्भर करती है, जो सामान्यतः 2 होता है अर्थात मात्रा बिट में होती है विभिन्न आधारों में लिए गए लघुगणक के लिए लघुगणक इकाइयाँ देखें। संयुक्त एन्ट्रॉपी, सशर्त एन्ट्रॉपी अंतर एन्ट्रॉपी, और कुल्बैक-लीबलर विचलन जैसी संबंधित अवधारणाओं को समान नियमों से परिभाषित किया गया है। असतत रेखीय के विपरीत, अंतर एन्ट्रॉपी में एक प्रतिसंतुलन होता है जो $X$.को मापने के लिए प्रयोग की जाने वाली मात्राओं पर निर्भर करता है। उदाहरण के लिए, जब कोई मात्रा मिलीमीटर में मापी जाती है तो उसकी विभेदक एंट्रोपी मीटर में मापी गई समान मात्रा से log(1000) अधिक होगी एक अयांस-मात्रिक मात्रा की विभेदक एन्ट्रापी log(1000) अधिक होगी जब समान मात्रा को 1000 से विभाजित किया जाता है।

किसी को असतत एन्ट्रापी के गुणों को विभेदक एन्ट्रापी पर लागू करने का प्रयास करते समय सावधानी बरतनी चाहिए, क्योंकि संभाव्यता घनत्व कार्य 1 से अधिक हो सकते हैं। उदाहरण के लिए, समान वितरण ${\mathcal {U}}(0,1/2)$ नकारात्मक विभेदक एंट्रोपी रखता है; अर्थात यह ${\mathcal {U}}(0,1)$ की तुलना में अच्छी तरह से व्यवस्थित है।

$\int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,$

यह उदाहरण दिखाता है कि ${\mathcal {U}}(0,1)$ इस प्रकार विभेदक एंट्रोपी, असतत एन्ट्रापी के सभी गुणों को साझा नहीं करता हैं।

ध्यान दें कि निरंतर पारस्परिक जानकारी $I(X;Y)$ अपने मौलिक महत्व को बनाए रखती है, क्योंकि यह वास्तव में $X$ और $Y$ जैसे-के विभाजनों की असतत सापेक्ष जानकारी की सीमा है, जबकि ये विभाजन दिन-प्रतिदिन अधिक सूक्ष्म होते हैं।इसलिए यह गैर-रैखिक होमियोमोर्फिज़म के अधीन समानवर्ती रहती है, , रैखिक सहित $X$ और $Y$, के संवर्तनों के अधीन और फिर भी असतत जानकारी की मात्रा को प्रसारित किया जा सकता है जो मूल्यों के निरंतर स्थान को स्वीकार करता है।

निरंतर स्थान तक विस्तारित असतत एन्ट्रापी के प्रत्यक्ष समवृत्ति के लिए, असतत बिंदुओं की सीमित घनत्व देखें।

विभेदक एन्ट्रापी के गुण

• संभाव्यता घनत्व के लिए $f$ और $g$, कुल्बैक-लीब्लर विचलन $D_{KL}(f||g)$ केवल समानता के साथ 0 से बड़ा या उसके बराबर है $f=g$ लगभग हर जगह। इसी प्रकार, दो यादृच्छिक चर के लिए $X$ और $Y$, $I(X;Y)\geq 0$ और $h(X|Y)\leq h(X)$ समानता के साथ यदि और केवल यदि $X$ और $Y$ स्वतंत्र होते हैं।.
• विभेदक एन्ट्रापी के लिए श्रृंखला नियम असतत स्थितियों की तरह ही लागू होता है

$h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})$.

• विभेदक एन्ट्रापी अनुवाद अपरिवर्तनीय है, अर्थात $c$ स्थिरांक के लिए .

$h(X+c)=h(X)$

• सामान्यतः विभेदक एन्ट्रापी स्वेच्छिक प्रतिघाती मानचित्रों के अधीन सर्वसाधारणतः स्थानांतरित नहीं होती है।

विशेष रूप से, $a$ स्थिरांक के लिए

$h(aX)=h(X)+\log |a|$

एक सदिश मूल्यवान यादृच्छिक चर $\mathbf {X}$ और एक उलटा (वर्ग) मैट्रिक्स (गणित) $\mathbf {A}$

$h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(|\det \mathbf {A} |\right)$

• सामान्य तौर पर, एक यादृच्छिक सदिश से समान आयाम वाले दूसरे यादृच्छिक सदिश में परिवर्तन के लिए $\mathbf {Y} =m\left(\mathbf {X} \right)$, संबंधित एन्ट्रॉपी के माध्यम से संबंधित हैं

$h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert dx$

कहाँ $\left\vert {\frac {\partial m}{\partial x}}\right\vert$ जैकोबियन मैट्रिक्स और परिवर्तन का निर्धारक है $m$. यदि परिवर्तन एक आक्षेप है तो उपरोक्त असमानता एक समानता बन जाती है। इसके अलावा, जब $m$ एक कठोर घूर्णन, अनुवाद या उसका संयोजन है, जैकोबियन निर्धारक हमेशा 1 होता है, और $h(Y)=h(X)$.

• यदि एक यादृच्छिक सदिश $X\in \mathbb {R} ^{n}$ माध्य शून्य और सहप्रसरण मैट्रिक्स है $K$, $h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]$ समानता के साथ यदि और केवल यदि $X$ बहुभिन्नरूपी सामान्य वितरण#संयुक्त सामान्यता है (सामान्य वितरण में #अधिकतमीकरण देखें)।

हालाँकि, विभेदक एन्ट्रापी में अन्य वांछनीय गुण नहीं हैं:

• यह चर के परिवर्तन के तहत अपरिवर्तनीय नहीं है, और इसलिए आयामहीन चर के साथ सबसे उपयोगी है।
• यह नकारात्मक हो सकता है.

विभेदक एन्ट्रापी का एक संशोधन जो इन कमियों को संबोधित करता है वह सापेक्ष सूचना एन्ट्रापी है, जिसे कुल्बैक-लीबलर विचलन के रूप में भी जाना जाता है, जिसमें एक अपरिवर्तनीय माप कारक शामिल है (असतत बिंदुओं की सीमित घनत्व देखें)।

सामान्य वितरण में अधिकतमीकरण

प्रमेय

सामान्य वितरण के साथ, किसी दिए गए विचरण के लिए अंतर एन्ट्रापी अधिकतम होती है। एक गाऊसी यादृच्छिक चर में समान विचरण के सभी यादृच्छिक चर के बीच सबसे बड़ी एन्ट्रापी होती है, या, वैकल्पिक रूप से, माध्य और विचरण की बाधाओं के तहत अधिकतम एन्ट्रापी वितरण गाऊसी होता है।

प्रमाण

होने देना $g(x)$ माध्य μ और विचरण के साथ एक सामान्य वितरण संभाव्यता घनत्व फ़ंक्शन बनें $\sigma ^{2}$ और $f(x)$ समान विचरण के साथ एक मनमाना संभाव्यता घनत्व फ़ंक्शन। चूँकि विभेदक एन्ट्रापी अनुवाद अपरिवर्तनीय है इसलिए हम यह मान सकते हैं $f(x)$ का एक ही मतलब है $\mu$ जैसा $g(x)$.

दो वितरणों के बीच कुल्बैक-लीब्लर विचलन पर विचार करें

$0\leq D_{KL}(f||g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))dx.$

अब उस पर ध्यान दें

${\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx\,+\,\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}$

क्योंकि परिणाम निर्भर नहीं करता $f(x)$ विचरण के अलावा अन्य. दोनों परिणामों को मिलाने से परिणाम प्राप्त होते हैं

$h(g)-h(f)\geq 0\!$

समानता के साथ जब $f(x)=g(x)$ कुल्बैक-लीब्लर विचलन के गुणों का अनुसरण करते हुए।

वैकल्पिक प्रमाण

इस परिणाम को विविधताओं की गणना का उपयोग करके भी प्रदर्शित किया जा सकता है। दो लैग्रैन्जियन गुणकों के साथ एक लैग्रैन्जियन फ़ंक्शन को इस प्रकार परिभाषित किया जा सकता है:

$L=\int _{-\infty }^{\infty }g(x)\ln(g(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }g(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)$

जहाँ g(x) माध्य μ वाला कोई फलन है। जब g(x) की एन्ट्रापी अधिकतम होती है और बाधा समीकरण, जिसमें सामान्यीकरण की स्थिति शामिल होती है $\left(1=\int _{-\infty }^{\infty }g(x)\,dx\right)$ और निश्चित विचरण की आवश्यकता $\left(\sigma ^{2}=\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)$, दोनों संतुष्ट हैं, तो g(x) के बारे में एक छोटा बदलाव δg(x) L के बारे में एक बदलाव δL उत्पन्न करेगा जो शून्य के बराबर है:

$0=\delta L=\int _{-\infty }^{\infty }\delta g(x)\left(\ln(g(x))+1+\lambda _{0}+\lambda (x-\mu )^{2}\right)\,dx$

चूँकि यह किसी भी छोटे δg(x) के लिए होना चाहिए, कोष्ठक में पद शून्य होना चाहिए, और g(x) के लिए हल करने पर परिणाम प्राप्त होंगे:

$g(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}$

λ को हल करने के लिए बाधा समीकरणों का उपयोग करना₀ और λ सामान्य वितरण उत्पन्न करता है:

$g(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$

उदाहरण: घातीय वितरण

होने देना $X$ पैरामीटर के साथ एक घातीय वितरण यादृच्छिक चर बनें $\lambda$, अर्थात्, संभाव्यता घनत्व फ़ंक्शन के साथ

$f(x)=\lambda e^{-\lambda x}{\mbox{ for }}x\geq 0.$

इसकी विभेदक एन्ट्रापी तब है

$h_{e}(X)\,$	$=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log(\lambda e^{-\lambda x})\,dx$
	$=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)$
	$=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda E[X]$
	$=-\log \lambda +1\,.$

यहाँ, $h_{e}(X)$ के स्थान पर प्रयोग किया गया $h(X)$ यह स्पष्ट करने के लिए कि गणना को सरल बनाने के लिए लघुगणक को आधार ई पर लिया गया था।

आकलनकर्ता त्रुटि से संबंध

अंतर एन्ट्रापी एक अनुमानक की अपेक्षित वर्ग त्रुटि पर निचली सीमा उत्पन्न करती है। किसी भी यादृच्छिक चर के लिए $X$ और अनुमानक ${\widehat {X}}$ निम्नलिखित धारण करता है::$\operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}$ समानता के साथ यदि और केवल यदि $X$ एक गाऊसी यादृच्छिक चर है और ${\widehat {X}}$ का माध्य है $X$.

विभिन्न वितरणों के लिए विभेदक एन्ट्रॉपी

नीचे दी गई तालिका में $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$ गामा फ़ंक्शन है, $\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ डिगामा फ़ंक्शन है, $B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ बीटा फ़ंक्शन है, और γ_E यूलर-माशेरोनी स्थिरांक है|यूलर का स्थिरांक।

Table of differential entropies

Distribution Name	Probability density function (pdf)	Differential entropy in nats	Support
Uniform	$f(x)={\frac {1}{b-a}}$	$\ln(b-a)\,$	$[a,b]\,$
Normal	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$	$(-\infty ,\infty )\,$
Exponential	$f(x)=\lambda \exp \left(-\lambda x\right)$	$1-\ln \lambda \,$	$[0,\infty )\,$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$	$1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}$	$[0,\infty )\,$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ for $0\leq x\leq 1$	$\ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,$ $-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,$	$[0,1]\,$
Cauchy	$f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}$	$\ln(4\pi \gamma )\,$	$(-\infty ,\infty )\,$
Chi	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$	$\ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$	$[0,\infty )\,$
Chi-squared	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$	$\ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$	$[0,\infty )\,$
Erlang	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	$(1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k$	$[0,\infty )\,$
F	$f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}$	$\ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-$ $\left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)$	$[0,\infty )\,$
Gamma	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$	$\ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,$	$[0,\infty )\,$
Laplace	Failed to parse (Conversion error. Server ("cli") reported: "SyntaxError: Expected "-", "[", "\\", "\\begin", "\\begin{", "]", "^", "_", "{", "}", [ \t\n\r], [%$], [().], [,:;?!'], [/|], [0-9], [><~], [\-+*=], or [a-zA-Z] but "ब" found.in 1:64"): {\displaystyle f(x) = \frac{1}{2b} \exp\left(-\frac{|x - \mu|}{बी}\दाएं)</गणित> || गणित>1 + \n(ab)\, </गणित>||<math>(-\infty,\infty)\,}
लॉजिस्टिक वितरण	$f(x)={\frac {e^{-x/s}}{s(1+e^{-x/s})^{2}}}$	$\ln s+2\,$	$(-\infty ,\infty )\,$
लॉग-सामान्य वितरण	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})$	$[0,\infty )\,$
मैक्सवेल-बोल्ट्ज़मैन	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$	$\ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}$	$[0,\infty )\,$
सामान्यीकृत गाऊसी वितरण	$f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})$	$\ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}$	$(-\infty ,\infty )\,$
पेरेटो वितरण	$f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$	$\ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}$	$[x_{m},\infty )\,$
छात्र का t	$f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}$	${\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)$	$(-\infty ,\infty )\,$
त्रिकोणीय वितरण	$f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}$	${\frac {1}{2}}+\ln {\frac {b-a}{2}}$	$[a,b]\,$
वेइबुल वितरण	$f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$	${\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1$	$[0,\infty )\,$
बहुभिन्नरूपी सामान्य वितरण	$f_{X}({\vec {x}})=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}$	${\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}$	$\mathbb {R} ^{N}$

अनेक विभेदक एन्ट्रापी से हैं।

वेरिएंट

जैसा कि ऊपर वर्णित है, विभेदक एन्ट्रॉपी असतत एन्ट्रॉपी के सभी गुणों को साझा नहीं करती है। उदाहरण के लिए, विभेदक एन्ट्रापी नकारात्मक हो सकती है; निरंतर समन्वय परिवर्तनों के तहत भी यह अपरिवर्तनीय नहीं है। एडविन थॉम्पसन जेन्स ने वास्तव में दिखाया कि उपरोक्त अभिव्यक्ति संभावनाओं के एक सीमित सेट के लिए अभिव्यक्ति की सही सीमा नहीं है।

विभेदक एन्ट्रापी का एक संशोधन इसे ठीक करने के लिए एक अपरिवर्तनीय माप कारक जोड़ता है, (असतत बिंदुओं की सीमित घनत्व देखें)। अगर $m(x)$ आगे संभाव्यता घनत्व होने के लिए बाध्य किया गया है, परिणामी धारणा को सूचना सिद्धांत में सापेक्ष एन्ट्रापी कहा जाता है:

$D(p||m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.$

उपरोक्त विभेदक एन्ट्रापी की परिभाषा को सीमा को विभाजित करके प्राप्त किया जा सकता है $X$ लंबाई के डिब्बे में $h$ संबंधित नमूना बिंदुओं के साथ $ih$ डिब्बे के भीतर, के लिए $X$ रीमैन अभिन्न. यह का क्वांटाइज़ेशन (सिग्नल प्रोसेसिंग) संस्करण देता है $X$, द्वारा परिभाषित $X_{h}=ih$ अगर $ih\leq X\leq (i+1)h$. फिर की एन्ट्रापी $X_{h}=ih$ है

$H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).$

दाईं ओर का पहला पद अंतर एन्ट्रापी का अनुमान लगाता है, जबकि दूसरा पद लगभग है $-\log(h)$. ध्यान दें कि यह प्रक्रिया बताती है कि एक सतत यादृच्छिक चर के असतत अर्थ में एन्ट्रापी होनी चाहिए $\infty$.

यह भी देखें

• सूचना एन्ट्रापी
• स्वयं जानकारी
• एंट्रॉपी अनुमान

बाहरी संबंध

• "Differential entropy", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• "Differential entropy". PlanetMath.