विभेदक एन्ट्रापी

विभेदात्मक एंट्रोपी सूचना सिद्धांत में एक अवधारणा है जिसने क्लोड शैनन के प्रयास को आगे बढ़ाने के लिए प्रयास किया था, जहां एंट्रोपी, एक यादृच्छिक प्रारूपी की औसत माप, को निरंतर संभावना तक विस्तारित करने के प्रयास के रूप में किया गया था।

दुर्भाग्य से, शैनन ने इस सूत्र को नहीं निकाला था, बल्कि उन्होंने सिर्फ यह माना था कि यह असतत एन्ट्रापी की सही निरंतर अनुक्रमिका है, लेकिन ऐसा नहीं है। वास्तविक रूप से असतत एंट्रोपी का वास्तविक निरंतर संस्करण बिन्दुओं का सीमा घनत्व है। विभेदात्मक एंट्रोपी साहित्य में सामान्यतः आपत्ति में आती है, परंतु यह एक सीमांकीय स्थिति है जो एलडीडीपी का होता है और एक है जो अपने साथ असंतत एंट्रोपी के मौलिक संबंध को खो देता है।

एक माप सिद्धांत की परिभाषा के अनुसार, प्रायिकता माप की विभेदात्मक एंट्रोपी उस माप से लेबेस्ग माप तक की नकारात्मक संबंधित एंट्रोपी होती है, जहां दूसरे को प्रायिकता माप के रूप में व्यवहारिक रूप से उपयोग किया जाता है, यद्यपि वह अविशोधित है।

परिभाषा

$X$ एक यादृच्छिक चर हो जिसकी प्रायिकता घनत्व फलन $f$ हो और जिसका समर्थन समुच्चय ${\mathcal {X}}$.हो विभेदात्मक एन्ट्रापी $h(X)$ या $h(f)$ परिभाषित किया जाता है

$h(X)=\operatorname {E} [-\log(f(X))]=-\int _{\mathcal {X}}f(x)\log f(x)\,dx$

संभाव्यता वितरण के लिए जिसमें स्पष्ट घनत्व फलन व्यंजक नहीं है, लेकिन एक स्पष्ट मात्रात्मक कार्य व्यंजक है,तब $Q(p)$,या $h(Q)$ के व्युत्पन्न के रूप में परिभाषित किया जा सकता है जैसे मात्रात्मक घनत्व फलन $Q'(p)$।

$h(Q)=\int _{0}^{1}\log Q'(p)\,dp$.

विभेदात्मक एंट्रोपी की एक विशेषता यह है कि इसकी मात्रा लघुत्तम मानदंड के आधार पर निर्भर करती है, जो सामान्यतः 2 होता है अर्थात मात्रा बिट में होती है विभिन्न आधारों में लिए गए लघुगणक के लिए लघुगणक इकाइयाँ देखें। संयुक्त एन्ट्रॉपी, सशर्त एन्ट्रॉपी अंतर एन्ट्रॉपी, और कुल्बैक-लीबलर विचलन जैसी संबंधित अवधारणाओं को समान नियमों से परिभाषित किया गया है। असतत रेखीय के विपरीत, अंतर एन्ट्रॉपी में एक प्रतिसंतुलन होता है जो $X$.को मापने के लिए प्रयोग की जाने वाली मात्राओं पर निर्भर करता है। उदाहरण के लिए, जब कोई मात्रा मिलीमीटर में मापी जाती है तो उसकी विभेदात्मक एंट्रोपी मीटर में मापी गई समान मात्रा से log(1000) अधिक होगी एक अयांस-मात्रिक मात्रा की विभेदात्मक एन्ट्रापी log(1000) अधिक होगी जब समान मात्रा को 1000 से विभाजित किया जाता है।

किसी को असतत एन्ट्रापी के गुणों को विभेदात्मक एन्ट्रापी पर लागू करने का प्रयास करते समय सावधानी बरतनी चाहिए, क्योंकि संभाव्यता घनत्व कार्य 1 से अधिक हो सकते हैं। उदाहरण के लिए, समान वितरण ${\mathcal {U}}(0,1/2)$ नकारात्मक विभेदात्मक एंट्रोपी रखता है; अर्थात यह ${\mathcal {U}}(0,1)$ की तुलना में अच्छी तरह से व्यवस्थित है।

$\int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,$

यह उदाहरण दिखाता है कि ${\mathcal {U}}(0,1)$ इस प्रकार विभेदात्मक एंट्रोपी, असतत एन्ट्रापी के सभी गुणों को साझा नहीं करता हैं।

ध्यान दें कि निरंतर पारस्परिक जानकारी $I(X;Y)$ अपने मौलिक महत्व को बनाए रखती है, क्योंकि यह वास्तव में $X$ और $Y$ जैसे-के विभाजनों की असतत सापेक्ष जानकारी की सीमा है, जबकि ये विभाजन दिन-प्रतिदिन अधिक सूक्ष्म होते हैं।इसलिए यह गैर-रैखिक होमियोमोर्फिज़म के अधीन समानवर्ती रहती है, , रैखिक सहित $X$ और $Y$, के संवर्तनों के अधीन और फिर भी असतत जानकारी की मात्रा को प्रसारित किया जा सकता है जो मूल्यों के निरंतर स्थान को स्वीकार करता है।

निरंतर स्थान तक विस्तारित असतत एन्ट्रापी के प्रत्यक्ष समवृत्ति के लिए, असतत बिंदुओं की सीमित घनत्व देखें।

विभेदात्मक एन्ट्रापी के गुण

• संभाव्यता घनत्व के लिए $f$ और $g$, कुल्बैक-लीब्लर विचलन $D_{KL}(f||g)$ केवल समानता के साथ 0 से बड़ा या उसके बराबर है $f=g$ लगभग हर जगह। इसी प्रकार, दो यादृच्छिक चर के लिए $X$ और $Y$, $I(X;Y)\geq 0$ और $h(X|Y)\leq h(X)$ समानता के साथ यदि और केवल यदि $X$ और $Y$ स्वतंत्र होते हैं।.
• विभेदात्मक एन्ट्रापी के लिए श्रृंखला नियम असतत स्थितियों की तरह ही लागू होता है

$h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})$.

• विभेदात्मक एन्ट्रापी अनुवाद अपरिवर्तनीय है, अर्थात $c$ स्थिरांक के लिए .

$h(X+c)=h(X)$

• सामान्यतः विभेदात्मक एन्ट्रापी स्वेच्छिक प्रतिघाती मानचित्रों के अधीन सर्वसाधारणतः स्थानांतरित नहीं होती है।

विशेष रूप से, $a$ स्थिरांक के लिए

$h(aX)=h(X)+\log |a|$

एक सदिश मूल्यवान यादृच्छिक चर $\mathbf {X}$ और एक उलटा (वर्ग) आव्यूह (गणित) $\mathbf {A}$

$h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(|\det \mathbf {A} |\right)$

• सामान्यतः, एक यादृच्छिक सदिश से समान आयाम वाले दूसरे यादृच्छिक सदिश में परिवर्तन के लिए $\mathbf {Y} =m\left(\mathbf {X} \right)$, संबंधित एन्ट्रॉपी के माध्यम से संबंधित हैं

$h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert dx$

जहाँ $\left\vert {\frac {\partial m}{\partial x}}\right\vert$ जैकोबियन आव्यूह और परिवर्तन का निर्धारक $m$ है . यदि परिवर्तन एक आक्षेप है तो उपरोक्त असमानता एक समानता बन जाती है। इसके अतिरिक्त, जब $m$ एक कठोर घूर्णन, अनुवाद या उसका संयोजन है, जैकोबियन निर्धारक सदैव 1, और $h(Y)=h(X)$. होता है

• यदि एक यादृच्छिक सदिश $X\in \mathbb {R} ^{n}$ माध्य शून्य और सहप्रसरण आव्यूह $K$ है , $h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]$ समानता के साथ यदि $X$ बहुभिन्नरूपी सामान्य वितरण संयुक्त सामान्यता है।

यद्यपि, विभेदात्मक एन्ट्रापी में अन्य वांछनीय गुण नहीं हैं:

• यह चर के परिवर्तन के तहत अपरिवर्तनीय नहीं है, और इसलिए आयामहीन चर के साथ सबसे उपयोगी है।
• यह नकारात्मक हो सकता है.

विभेदात्मक एन्ट्रापी का एक संशोधन जो इन कमियों को संबोधित करता है वह सापेक्ष सूचना एन्ट्रापी है, जिसे कुल्बैक-लीबलर विचलन के रूप में भी जाना जाता है, जिसमें एक अपरिवर्तनीय माप कारक सम्मिलित है ।

सामान्य वितरण में अधिकतमीकरण

प्रमेय

सामान्य वितरण के साथ, किसी दिए गए विचरण के लिए अंतर एन्ट्रापी अधिकतम होती है। एक गाऊसी यादृच्छिक चर में समान विचरण के सभी यादृच्छिक चर के बीच सबसे बड़ी एन्ट्रापी होती है, या, वैकल्पिक रूप से, माध्य और विचरण की बाधाओं के अंतर्गत अधिकतम एन्ट्रापी वितरण गाऊसी होता है।

प्रमाण

यदि $g(x)$ माध्य μ और विचरण के साथ एक सामान्य वितरण संभाव्यता घनत्व फलन बनें $\sigma ^{2}$ और $f(x)$ समान विचरण के साथ एक संभाव्यता घनत्व फलन होता है चूँकि विभेदात्मक एन्ट्रापी अनुवाद अपरिवर्तनीय होता है इसलिए हम यह मान सकते हैं कि $f(x)$ का औसत $\mu$के बराबर है जैसे की $g(x)$.

दो वितरणों के बीच कुल्बैक-लीब्लर विचलन पर विचार करें

$0\leq D_{KL}(f||g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))dx.$

अब उस पर ध्यान दें

${\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx\,+\,\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}$

क्योंकि परिणाम परिवर्तन के माध्यम से अतिरिक्त $f(x)$ पर निर्भर नहीं होता है। इन दो परिणामों को संयोजित करने से हमें निम्न योग का परिणाम मिलता है:

$h(g)-h(f)\geq 0\!$

जब $f(x)=g(x)$होता है, तब बराबरता के अनुसार कुलबैक-लीब्लर विचलन की गुणधर्मों के कारण, परिवर्तन के माध्यम से अतिरिरिक्त कोई दूसरा फलन परिणाम प्राप्त होता है।

वैकल्पिक प्रमाण

इस परिणाम को विविधताओं की गणना का उपयोग करके भी प्रदर्शित किया जा सकता है। दो लैग्रैन्जियन गुणकों के साथ एक लैग्रैन्जियन फलन को इस प्रकार परिभाषित किया जा सकता है:

$L=\int _{-\infty }^{\infty }g(x)\ln(g(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }g(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)$

यहां g(x) एक ऐसा फलन है जिसका औसत μ है जब g(x) की एंट्रोपी अधिकतम पर होती है और विवादापत्रक समीकरण, जो मानकरण शर्त से मिलकर बनते हैं $\left(1=\int _{-\infty }^{\infty }g(x)\,dx\right)$ और निश्चित विचरण की आवश्यकता $\left(\sigma ^{2}=\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)$, तब जब वे दोनों संतुष्ट हों, तो g(x) के बारे में एक छोटा विस्तार δg(x) L के बारे में एक बदलाव δL उत्पन्न करेगा जो शून्य के बराबर है:

$0=\delta L=\int _{-\infty }^{\infty }\delta g(x)\left(\ln(g(x))+1+\lambda _{0}+\lambda (x-\mu )^{2}\right)\,dx$

चूँकि यह किसी भी छोटे δg(x) के लिए होना चाहिए, कोष्ठक में पद शून्य होना चाहिए, और g(x) के लिए हल करने पर परिणाम प्राप्त होंगे:

$g(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}$

λ को हल करने के लिए बाधा समीकरणों का उपयोग करना₀ और λ सामान्य वितरण उत्पन्न करता है:

$g(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$

उदाहरण: घातीय वितरण

यदि $X$ पैरामीटर के साथ एक घातीय वितरण यादृच्छिक चर बनें $\lambda$, अर्थात्, संभाव्यता घनत्व फलन के साथ

$f(x)=\lambda e^{-\lambda x}{\mbox{ for }}x\geq 0.$

इसकी विभेदात्मक एन्ट्रापी तब है

$h_{e}(X)\,$	$=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log(\lambda e^{-\lambda x})\,dx$
	$=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)$
	$=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda E[X]$
	$=-\log \lambda +1\,.$

यहाँ, $h_{e}(X)$ के स्थान पर प्रयोग किया गया $h(X)$ यह स्पष्ट करने के लिए कि गणना को सरल बनाने के लिए लघुगणक को आधार e पर लिया गया था।

अनुमानक त्रुटि से संबंध

विभेदात्मक एन्ट्रापी एक अनुमानक अपेक्षित वर्ग त्रुटि पर निचली सीमा उत्पन्न करती है। किसी भी यादृच्छिक मानक $X$ और अनुमानक ${\widehat {X}}$ के लिए निम्नलिखित सत्य होता है।::

$\operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}$

यह सत्य केवल तब होता है जब $X$ एक गाऊसी यादृच्छिक चर है और ${\widehat {X}}$ का माध्य $X$.है।

विभिन्न वितरणों के लिए विभेदात्मक एन्ट्रॉपी

नीचे दी गई तालिका में $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$ गामाफलन है, $\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ डिगामाफलन है, $B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ बीटाफलन है, और γ_E यूलर-माशेरोनी स्थिरांक है

विभेदात्मक एन्ट्रॉपियों की तालिका

वितरण का नाम	संभाव्यता घनत्व फलन (पीडीएफ)	नेट्स में विभेदात्मक एन्ट्रापी	समर्थन
समरूप	$f(x)={\frac {1}{b-a}}$	$\ln(b-a)\,$	$[a,b]\,$
सामान्य	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$	$(-\infty ,\infty )\,$
घातांकीय	$f(x)=\lambda \exp \left(-\lambda x\right)$	$1-\ln \lambda \,$	$[0,\infty )\,$
रेले	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$	$1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}$	$[0,\infty )\,$
बीटा	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ for $0\leq x\leq 1$	$\ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,$ $-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,$	$[0,1]\,$
कौशी	$f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}$	$\ln(4\pi \gamma )\,$	$(-\infty ,\infty )\,$
ची	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$	$\ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$	$[0,\infty )\,$
ची- समकोण	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$	$\ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$	$[0,\infty )\,$
अर्लंग	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	$(1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k$	$[0,\infty )\,$
एफ	$f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}$	$\ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-$ $\left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)$	$[0,\infty )\,$
गामा	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$	$\ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,$	$[0,\infty )\,$
लाप्लास	$f(x)={\frac {e^{-x/s}}{s(1+e^{-x/s})^{2}}}$	$\ln s+2\,$	$(-\infty ,\infty )\,$
लॉजिस्टिक वितरण	$f(x)={\frac {e^{-x/s}}{s(1+e^{-x/s})^{2}}}$	$\ln s+2\,$	$(-\infty ,\infty )\,$
लॉग-सामान्य वितरण	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})$	$[0,\infty )\,$
मैक्सवेल-बोल्ट्ज़मैन	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$	$\ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}$	$[0,\infty )\,$
सामान्यीकृत गाऊसी वितरण	$f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})$	$\ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}$	$(-\infty ,\infty )\,$
पेरेटो वितरण	$f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$	$\ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}$	$[x_{m},\infty )\,$
छात्र का t	$f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}$	${\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)$	$(-\infty ,\infty )\,$
त्रिकोणीय वितरण	$f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}$	${\frac {1}{2}}+\ln {\frac {b-a}{2}}$	$[a,b]\,$
वेइबुल वितरण	$f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$	${\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1$	$[0,\infty )\,$
बहुभिन्नरूपी सामान्य वितरण	$f_{X}({\vec {x}})=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}$	${\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}$	$\mathbb {R} ^{N}$

अनेक विभेदात्मक एन्ट्रापी हैं।

परिवर्त रूप

जैसा कि ऊपर वर्णित है, विभेदात्मक एन्ट्रॉपी निर्दिष्ट एंट्रोपी के सभी गुणधर्मों को साझा नहीं करती है। उदाहरण के लिए, विभेदात्मक एन्ट्रापी नकारात्मक हो सकती है; इसके अतिरिक्त यह निरंतर संयुक्त निर्देशांक परिवर्तनों के अंतर्गत अविरूपी नहीं होती है। एडविन थॉम्पसन जेन्स ने वास्तव में दिखाया कि उपरोक्त अभिव्यक्ति संभावनाओं के एक सीमित समुच्चय के लिए अभिव्यक्ति की सही सीमा नहीं है।

विभेदात्मक एंट्रोपी का एक संशोधन इसे सही करने के लिए एक अविरूपी माप घटक जोड़ता है।

यदि $m(x)$ आगे संभाव्यता घनत्व होने के लिए बाध्य किया गया है,तो परिणामी धारणा को सूचना सिद्धांत में सापेक्ष एन्ट्रापी कहा जाता है:

$D(p||m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.$

उपरोक्त विभेदात्मकएंट्रोपी की परिभाषा को, $X$ की मान की श्रेणियों में विभाजित करके प्राप्त किया जा सकता है, जहां प्रत्येक श्रेणी की लंबाई $h$ है,और श्रेणी में संबंधित प्रारूपित बिंदुओं को $ih$ के रूप में निर्दिष्ट किया जाता है, जहां $X$अविभाज्य होता है। यह एक क्वांटाइज़ड संस्करण है जो $X$, द्वारा परिभाषित किया जाता हैं जिसे $X_{h}=ih$ यदि $ih\leq X\leq (i+1)h$.हैं। पुनः $X_{h}=ih$ का एंट्रोपी है।

$H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).$

दायीं ओर का पहला पद विभेदात्मक एन्ट्रापी का अनुमान लगाता है, जबकि दूसरा पद लगभग $-\log(h)$का अनुमान लगाता है। ध्यान दें कि यह प्रक्रिया सूचित करती है कि एक सतत यादृच्छिक मानक के अविच्छिन्न संदर्भ में असतत रूप से एंट्रोपी अनंत $\infty$होनी चाहिए।

यह भी देखें

• सूचना एन्ट्रापी
• स्वयं जानकारी
• एंट्रॉपी अनुमान

बाहरी संबंध

• "Differential entropy", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• "Differential entropy". PlanetMath.