एंट्रॉपी (सूचना सिद्धांत)

For other uses, see एन्ट्रापी (बहुविकल्पी).

सूचना सिद्धांत में यादृच्छिक चर की एन्ट्रापी सूचना का औसत स्तर, आश्चर्य या चर के संभावित परिणामों में विद्यमान अनिश्चितता है। असतत यादृच्छिक चर $X$ दिया गया है। जो वर्णमाला ${\mathcal {X}}$ में मान दर्शाता है और $p:{\mathcal {X}}\to [0,1]$ के अनुसार वितरित किया जाता है:

$$\mathrm {H} (X):=-\sum _{x\in {\mathcal {X}}}p(x)\log p(x)=\mathbb {E} [-\log p(X)],$$

जहाँ $\Sigma$ चर के संभावित मानों पर योगात्मक परिणाम को प्रदर्शित करता है। $\log$ के लिए आधार का चुनाव, लघुगणक, विभिन्न अनुप्रयोगों के लिए भिन्न होता है। बेस 2 अंश (या शैनन) की इकाई देता है। जबकि बेस यूलर की संख्या प्राकृतिक इकाइयां नेट (यूनिट) देती है और बेस 10 डीट्स, बैन या हार्टले (इकाई) की इकाइयों को प्रदान करता है। एन्ट्रापी की एक समतुल्य परिभाषा चर की स्व-सूचना का अपेक्षित मूल्य है।

एन्ट्रापी के दो बिट: दो निष्पक्ष सिक्के के मामले में, बिट्स में सूचना एन्ट्रापी संभावित परिणामों की संख्या का आधार -2 लघुगणक है; दो सिक्कों के साथ चार संभावित परिणाम हैं, और एंट्रॉपी के दो बिट हैं। आम तौर पर, सभी संभावित परिणामों पर विचार करते समय, सूचना एन्ट्रापी किसी घटना द्वारा दी गई जानकारी की औसत मात्रा होती है।

क्लाउड शैनन ने अपने 1948 के पेपर संचार का एक गणितीय सिद्धांत में सूचना एन्ट्रॉपी की अवधारणा को प्रस्तुत किया और इसे एक अन्य नाम शैनन एंट्रॉपी से भी जाना जाता है। शैनन का सिद्धांत डेटा संचार प्रणाली को तीन तत्वों से बना हुआ है: डेटा का स्रोत, संचार चैनल और एक रिसीवर। संचार की मौलिक कठिनता, जैसा कि शैनन द्वारा प्रदर्शित किया गया है, रिसीवर के लिए यह पहचानने में सक्षम होना है कि चैनल के माध्यम से प्राप्त सिग्नल के आधार पर स्रोत द्वारा कौन सा डेटा उत्पन्न किया गया था। शैनन ने डेटा स्रोत से संदेशों को इनकोड, कंप्रेस और ट्रांसमिट करने के विभिन्न प्रकारों पर विचार किया और अपने प्रसिद्ध शैनन के स्रोत कोडिंग प्रमेय में प्रमाणित किया कि एन्ट्रापी एक पूर्ण गणितीय सीमा का प्रतिनिधित्व करती है कि स्रोत से डेटा को शोर-चैनल पर दोषरहित रूप से कैसे संकुचित किया जा सकता है। शैनन ने अपने शोर-चैनल कोडिंग प्रमेय में शोर चैनलों के लिए इस परिणाम को अधिक शक्तिशाली बनाया है।

सूचना सिद्धांत में एन्ट्रॉपी सीधे सांख्यिकीय ऊष्मप्रवैगिकी में एंट्रॉपी (सांख्यिकीय ऊष्मप्रवैगिकी) के अनुरूप है। सादृश्य का परिणाम तब होता है जब यादृच्छिक चर के मान माइक्रोस्टेट्स की ऊर्जा को नामित करते हैं, इसलिए एन्ट्रापी के लिए गिब्स सूत्र औपचारिक रूप से शैनन के सूत्र के समान है। एंट्रॉपी का गणित के अन्य क्षेत्रों जैसे कि साहचर्य और यंत्र अधिगम से प्रासंगिकता है। परिभाषा को स्वयंसिद्धों के एक सेट से प्राप्त किया जा सकता है जो यह स्थापित करता है कि एन्ट्रापी इस बात का माप होना चाहिए कि एक चर का औसत परिणाम कितना सूचनात्मक है। निरंतर यादृच्छिक चर के लिए, अंतर एन्ट्रॉपी एंट्रॉपी के अनुरूप होता है।

परिचय

सूचना सिद्धांत का मूल विचार यह है कि संप्रेषित संदेश का सूचनात्मक मूल्य उस डिग्री पर निर्भर करता है जिस पर संदेश की सामग्री आश्चर्यजनक है। यदि अत्यधिक संभावित घटना घटित होती है, तो संदेश में बहुत कम जानकारी होती है। दूसरी ओर, यदि कोई अत्यधिक असंभावित घटना घटित होती है, तो संदेश बहुत अधिक जानकारीपूर्ण होता है। उदाहरण के लिए, यह ज्ञान कि कोई विशेष संख्या किसी लॉटरी की विजेता संख्या नहीं होगी, बहुत कम जानकारी प्रदान करती है, क्योंकि कोई विशेष चुनी गई संख्या लगभग निश्चित रूप से नहीं जीतेगी। हालाँकि, यह ज्ञान कि एक विशेष संख्या लॉटरी जीतेगी, उच्च सूचनात्मक मूल्य है क्योंकि यह बहुत कम संभावना वाली घटना के परिणाम का संचार करता है।

सूचना सामग्री, जिसे किसी घटना की आश्चर्यजनक या आत्म-सूचना भी कहा जाता है $E$ एक ऐसा कार्य है जो संभावना के रूप में बढ़ता है $p(E)$ घटना घट जाती है। कब $p(E)$ 1 के करीब है, घटना का आश्चर्य कम है, लेकिन अगर $p(E)$ 0 के करीब है, घटना का आश्चर्य अधिक है। इस संबंध को फ़ंक्शन द्वारा वर्णित किया गया है

$$\log \left({\frac {1}{p(E)}}\right),$$

कहाँ $\log$ लघुगणक है, जो घटना की संभावना 1 होने पर 0 आश्चर्य देता है। वास्तव में, $\log$ एकमात्र कार्य है जो #Characterization के इस विशिष्ट सेट को संतुष्ट करता है।

इसलिए, हम किसी घटना की जानकारी या आश्चर्य को परिभाषित कर सकते हैं $E$ द्वारा

$$I(E)=-\log _{2}(p(E)),$$

या समकक्ष,

$$I(E)=\log _{2}\left({\frac {1}{p(E)}}\right).$$

एन्ट्रापी एक यादृच्छिक परीक्षण के परिणाम की पहचान करके अपेक्षित (यानी, औसत) सूचना की मात्रा को मापता है। इसका मतलब यह है कि पासे को फेंकने से सिक्के को उछालने की तुलना में अधिक एंट्रोपी होती है क्योंकि पासे को उछालने के प्रत्येक परिणाम की संभावना कम होती है (लगभग) $p=1/6$) एक सिक्के के टॉस के प्रत्येक परिणाम की तुलना में ($p=1/2$).

संभाव्यता के साथ एक पक्षपाती सिक्के पर विचार करें p सिर और संभावना पर उतरने की 1 − p पूंछ पर उतरने का। अधिकतम आश्चर्य तब होता है जब p = 1/2, जिसके लिए एक परिणाम दूसरे पर अपेक्षित नहीं है। इस मामले में एक सिक्का फ्लिप में एक बिट का एंट्रॉपी होता है। (इसी प्रकार, परिवर्तनीय मूल्यों के साथ एक टर्नरी अंक प्रणाली में शामिल है $\log _{2}3$ (लगभग 1.58496) जानकारी के बिट्स क्योंकि इसमें तीन मानों में से एक हो सकता है।) न्यूनतम आश्चर्य तब होता है जब p = 0 या p = 1, जब घटना का परिणाम समय से पहले जाना जाता है, और एंट्रॉपी शून्य बिट्स है। जब एन्ट्रॉपी शून्य बिट्स होती है, तो इसे कभी-कभी एकता के रूप में संदर्भित किया जाता है, जहां बिल्कुल भी अनिश्चितता नहीं होती है - पसंद की कोई स्वतंत्रता नहीं - कोई सूचना सामग्री नहीं। पी के अन्य मान शून्य और एक बिट के बीच एंट्रॉपी देते हैं।

सूचना सिद्धांत डेटा संपीड़न के रूप में संदेश को संप्रेषित करने के लिए आवश्यक छोटी से छोटी जानकारी की गणना करने के लिए उपयोगी है। उदाहरण के लिए, एक बाइनरी चैनल पर 4 अक्षर 'ए', 'बी', 'सी' और 'डी' वाले अनुक्रमों के प्रसारण पर विचार करें। यदि सभी 4 अक्षर समान रूप से (25%) होने की संभावना है, तो प्रत्येक अक्षर को एन्कोड करने के लिए दो बिट्स का उपयोग करने से बेहतर नहीं हो सकता है। 'A' को '00', 'B' को '01', 'C' को '10' और 'D' को '11' लिखा जा सकता है। हालांकि, यदि प्रत्येक अक्षर की संभावनाएं असमान हैं, तो 'ए' 70% संभावना के साथ होता है, 'बी' 26% के साथ होता है, और 'सी' और 'डी' प्रत्येक 2% के साथ होता है, कोई चर लंबाई कोड असाइन कर सकता है। इस मामले में, 'A' को '0', 'B' को '10', 'C' को '110', और D को '111' के रूप में कोडित किया जाएगा। इस प्रतिनिधित्व के साथ, 70% समय केवल एक बिट भेजने की जरूरत है, 26% समय दो बिट्स, और केवल 4% समय 3 बिट्स। एंट्रॉपी कम होने के कारण औसतन 2 बिट्स से कम की आवश्यकता होती है ('ए' के ​​उच्च प्रसार के बाद 'बी' - एक साथ 96% अक्षर)। संभाव्यता-भारित लॉग संभावनाओं के योग की गणना इस प्रभाव को मापती है और कैप्चर करती है। अंग्रेजी पाठ, वर्णों की एक स्ट्रिंग के रूप में माना जाता है, इसमें काफी कम एन्ट्रापी है, अर्थात, काफी अनुमानित है। हम काफी निश्चित हो सकते हैं कि, उदाहरण के लिए, 'e' 'z' की तुलना में कहीं अधिक सामान्य होगा, कि संयोजन 'qu' किसी भी अन्य संयोजन की तुलना में 'q' के साथ कहीं अधिक सामान्य होगा, और यह कि संयोजन 'थ' 'z', 'q', या 'qu' से अधिक सामान्य होगा। पहले कुछ अक्षरों के बाद अक्सर शेष शब्द का अनुमान लगाया जा सकता है। अंग्रेजी पाठ में संदेश के प्रति वर्ण 0.6 और 1.3 बिट एंट्रॉपी के बीच है।

परिभाषा

बोल्ट्ज़मैन के Η-प्रमेय के नाम पर रखा गया, शैनन ने एन्ट्रापी को परिभाषित किया Η (ग्रीक कैपिटल लेटर ईटीए) असतत यादृच्छिक चर का ${\textstyle X}$, जो वर्णमाला में मान लेता है ${\mathcal {X}}$ और के अनुसार वितरित किया जाता है $p:{\mathcal {X}}\to [0,1]$ ऐसा है कि $p(x):=\mathbb {P} [X=x]$:

$$\mathrm {H} (X)=\mathbb {E} [\operatorname {I} (X)]=\mathbb {E} [-\log p(X)].$$

यहाँ $\mathbb {E}$ अपेक्षित मूल्य है, और I की स्वयं की जानकारी है X. $\operatorname {I} (X)$ स्वयं एक यादृच्छिक चर है।

एन्ट्रापी को स्पष्ट रूप से इस प्रकार लिखा जा सकता है:

$$\mathrm {H} (X)=-\sum _{x\in {\mathcal {X}}}p(x)\log _{b}p(x),$$

कहाँ b प्रयुक्त लघुगणक का आधार (घातांक) है। के सामान्य मूल्य b 2 हैं, e (गणितीय स्थिरांक)|यूलर की संख्या e, और 10, और एन्ट्रॉपी की संबंधित इकाइयां बिट (इकाई) के लिए हैं b = 2, नेट (यूनिट) के लिए b = e, और प्रतिबंध (यूनिट) के लिए b = 10. के मामले में $p(x)=0$ कुछ के लिए $x\in {\mathcal {X}}$, संगत योग का मान 0 log_b(0) माना जाता है 0, जो किसी फ़ंक्शन की सीमा के अनुरूप है:

$$\lim _{p\to 0^{+}}p\log(p)=0.$$

कोई दो चरों की सशर्त एन्ट्रापी को भी परिभाषित कर सकता है $X$ और $Y$ सेट से मान लेना ${\mathcal {X}}$ और ${\mathcal {Y}}$ क्रमशः, जैसे:

$$\mathrm {H} (X|Y)=-\sum _{x,y\in {\mathcal {X}}\times {\mathcal {Y}}}p_{X,Y}(x,y)\log {\frac {p_{X,Y}(x,y)}{p_{Y}(y)}},$$

कहाँ $p_{X,Y}(x,y):=\mathbb {P} [X=x,Y=y]$ और $p_{Y}(y)=\mathbb {P} [Y=y]$. इस मात्रा को यादृच्छिक चर में शेष यादृच्छिकता के रूप में समझा जाना चाहिए $X$ यादृच्छिक चर दिया $Y$.

माप सिद्धांत

माप सिद्धांत की भाषा में एंट्रॉपी को औपचारिक रूप से निम्नानुसार परिभाषित किया जा सकता है: होने देना $(X,\Sigma ,\mu )$ एक संभाव्यता स्थान बनें। होने देना $A\in \Sigma$ एक घटना (संभाव्यता सिद्धांत) हो। का आश्चर्य $A$ है

$$\sigma _{\mu }(A)=-\ln \mu (A).$$

का अपेक्षित आश्चर्य $A$ है

$$h_{\mu }(A)=\mu (A)\sigma _{\mu }(A).$$

ए $\mu$-एक सेट का लगभग विभाजन एक सेट परिवार है $P\subseteq {\mathcal {P}}(X)$ ऐसा है कि $\mu (\mathop {\cup } P)=1$ और $\mu (A\cap B)=0$ सभी विशिष्ट के लिए $A,B\in P$. (यह एक विभाजन के लिए सामान्य स्थितियों की छूट है।) की एन्ट्रापी $P$ है

$$\mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A).$$

होने देना $M$ एक सिग्मा-बीजगणित बनें $X$. की एन्ट्रापी $M$ है

$$\mathrm {H} _{\mu }(M)=\sup _{P\subseteq M}\mathrm {H} _{\mu }(P).$$

अंत में, प्रायिकता स्थान की एन्ट्रापी है $\mathrm {H} _{\mu }(\Sigma )$, वह है, के संबंध में एन्ट्रापी $\mu$ के सभी मापनीय उपसमुच्चयों के सिग्मा-बीजगणित का $X$.

एलरमैन की परिभाषा

डेविड एलरमैन व्याख्या करना चाहते थे कि क्यों सशर्त एन्ट्रॉपी और अन्य कार्यों में संभाव्यता सिद्धांत में कार्यों के समान गुण होते हैं। उनका दावा है कि माप सिद्धांत पर आधारित पिछली परिभाषाएँ केवल 2 की शक्तियों के साथ काम करती हैं। एलरमैन ने विभाजन का एक तर्क बनाया जो एक सार्वभौमिक सेट के सबसेट का द्वैत (गणित) है। सूचना को डिट (भेद) के रूप में परिमाणित किया जाता है, जो विभाजन पर एक माप है। डिट्स को शैनन (यूनिट) में परिवर्तित किया जा सकता है | शैनन के बिट्स, सशर्त एन्ट्रापी, आदि के लिए सूत्र प्राप्त करने के लिए।

उदाहरण

14–15}

यहां, एन्ट्रापी अधिकतम 1 बिट है, और एक कॉइन फ्लिप (2 संभावित मान) के परिणाम को संप्रेषित करने के लिए अधिकतम 1 बिट के औसत की आवश्यकता होगी (एक फेयर कॉइन के लिए ठीक 1 बिट) ). निष्पक्ष डाई (6 संभावित मान) के परिणाम में एंट्रॉपी लॉग होगा₂6 बिट।

Main articles: Binary entropy function and Bernoulli process

ज्ञात के साथ एक सिक्का उछालने पर विचार करें, जरूरी नहीं कि उचित हो, हेड या टेल आने की संभावनाएं; इसे बर्नौली प्रक्रिया के रूप में तैयार किया जा सकता है।

सिक्के के अगले टॉस के अज्ञात परिणाम की एन्ट्रापी अधिकतम हो जाती है यदि सिक्का उचित है (अर्थात, यदि हेड और टेल दोनों की समान संभावना 1/2 है)। यह अधिकतम अनिश्चितता की स्थिति है क्योंकि अगले टॉस के परिणाम की भविष्यवाणी करना सबसे कठिन है; सिक्के के प्रत्येक टॉस का परिणाम एक पूरी जानकारी देता है। यह है क्योंकि

$${\begin{aligned}\mathrm {H} (X)&=-\sum _{i=1}^{n}{p(x_{i})\log _{b}p(x_{i})}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\log _{2}{\frac {1}{2}}}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\cdot (-1)}=1\end{aligned}}$$

हालाँकि, अगर हम जानते हैं कि सिक्का उचित नहीं है, लेकिन संभावनाओं के साथ सिर या पट आता है p और q, कहाँ p ≠ q, तो अनिश्चितता कम होती है। हर बार जब इसे उछाला जाता है, तो एक पक्ष के दूसरे की तुलना में ऊपर आने की संभावना अधिक होती है। घटी हुई अनिश्चितता को कम एन्ट्रापी में परिमाणित किया जाता है: औसतन सिक्के का प्रत्येक टॉस एक पूर्ण बिट से कम सूचना प्रदान करता है। उदाहरण के लिए, यदि p = 0.7, फिर

$${\begin{aligned}\mathrm {H} (X)&=-p\log _{2}(p)-q\log _{2}(q)\\&=-0.7\log _{2}(0.7)-0.3\log _{2}(0.3)\\&\approx -0.7\cdot (-0.515)-0.3\cdot (-1.737)\\&=0.8816<1\end{aligned}}$$

समान संभाव्यता अधिकतम अनिश्चितता और इसलिए अधिकतम एन्ट्रॉपी उत्पन्न करती है। एन्ट्रापी, तब, केवल एकसमान संभाव्यता से जुड़े मूल्य से घट सकती है। चरम मामला एक दो-सिर वाले सिक्के का है जो कभी भी टेल नहीं आता है, या एक दो-पूंछ वाला सिक्का है जिसके परिणामस्वरूप कभी भी हेड नहीं आता है। फिर कोई अनिश्चितता नहीं है। एन्ट्रापी शून्य है: सिक्के का प्रत्येक टॉस कोई नई जानकारी नहीं देता है क्योंकि प्रत्येक सिक्के के टॉस का परिणाम हमेशा निश्चित होता है।

सूचना की लंबाई से विभाजित करके एन्ट्रापी को सामान्य किया जा सकता है। इस अनुपात को मीट्रिक एन्ट्रापी कहा जाता है और यह सूचना की यादृच्छिकता का एक उपाय है।

लक्षण वर्णन

अर्थ समझने के लिए −Σ p_i log(p_i), पहले एक सूचना समारोह को परिभाषित करें I घटना के संदर्भ में i संभाव्यता के साथ p_i. घटना के अवलोकन के कारण प्राप्त जानकारी की मात्रा i सूचना सामग्री के मूलभूत गुणों के शैनन के समाधान से अनुसरण करता है:

1. I(p) नीरस रूप से घट रहा है p: किसी घटना की संभावना में वृद्धि किसी प्रेक्षित घटना से सूचना को कम करती है, और इसके विपरीत।
2. I(1) = 0: हमेशा घटित होने वाली घटनाएँ सूचनाओं का संचार नहीं करती हैं।
3. I(p₁·p₂) = I(p₁) + I(p₂): स्वतंत्र घटनाओं से सीखी गई जानकारी प्रत्येक घटना से सीखी गई जानकारी का योग है।

दो स्वतंत्र घटनाओं को देखते हुए, यदि पहली घटना से एक प्राप्त हो सकता है n परिवर्तनीय परिणाम और दूसरे में से एक है m परिवर्तनीय परिणाम तो वहाँ हैं mn संयुक्त घटना के परिवर्तनीय परिणाम। इसका मतलब है कि अगर log₂(n) बिट्स को पहले मान को एनकोड करने की आवश्यकता होती है और log₂(m) दूसरे को सांकेतिक शब्दों में बदलने के लिए, एक की जरूरत है log₂(mn) = log₂(m) + log₂(n) दोनों को एनकोड करने के लिए।

शैनन ने पाया कि एक उपयुक्त विकल्प $\operatorname {I}$ द्वारा दिया गया है:

$$\operatorname {I} (p)=\log \left({\tfrac {1}{p}}\right)=-\log(p)$$

वास्तव में, के केवल संभव मूल्य $\operatorname {I}$ हैं $\operatorname {I} (u)=k\log u$ के लिए $k<0$. इसके अतिरिक्त, के लिए एक मान चुनना k मान चुनने के बराबर है $x>1$ के लिए $k=-1/\log x$, ताकि x लघुगणक के आधार से संबंधित है। इस प्रकार, उपरोक्त चार गुणों द्वारा एन्ट्रापी लक्षण वर्णन (गणित) है।

Proof

Let ${\textstyle \operatorname {I} }$ be the information function which one assumes to be twice continuously differentiable, one has: ${\begin{aligned}&\operatorname {I} (p_{1}p_{2})&=\ &\operatorname {I} (p_{1})+\operatorname {I} (p_{2})&&\quad {\text{Starting from property 3}}\\&p_{2}\operatorname {I} '(p_{1}p_{2})&=\ &\operatorname {I} '(p_{1})&&\quad {\text{taking the derivative w.r.t}}\ p_{1}\\&\operatorname {I} '(p_{1}p_{2})+p_{1}p_{2}\operatorname {I} ''(p_{1}p_{2})&=\ &0&&\quad {\text{taking the derivative w.r.t}}\ p_{2}\\&\operatorname {I} '(u)+u\operatorname {I} ''(u)&=\ &0&&\quad {\text{introducing}}\,u=p_{1}p_{2}\\&(u\mapsto u\operatorname {I} '(u))'&=\ &0\end{aligned}}$ This differential equation leads to the solution $\operatorname {I} (u)=k\log u+c$ for some $k,c\in \mathbb {R}$. Property 2 gives $c=0$. Property 1 and 2 give that $\operatorname {I} (p)\geq 0$ for all $p\in [0,1]$, so that $k<0$.

सूचना की विभिन्न इकाइयां (द्विआधारी लघुगणक के लिए बिट्स log₂, नेट (यूनिट) प्राकृतिक लघुगणक के लिए ln, दशमलव लघुगणक के लिए प्रतिबंध (इकाई)। log₁₀ और इसी तरह) एक दूसरे के आनुपातिकता (गणित) हैं। उदाहरण के लिए, एक निष्पक्ष सिक्के के टॉस के मामले में, हेड प्रदान करता है log₂(2) = 1 बिट जानकारी, जो लगभग 0.693 nats या 0.301 दशमलव अंक है। योगात्मकता के कारण, n टॉस प्रदान करते हैं n बिट्स की जानकारी, जो लगभग है 0.693n नट या 0.301n दशमलव अंक।

देखी गई घटनाओं का अर्थ (संदेशों का अर्थ) एंट्रॉपी की परिभाषा में कोई फर्क नहीं पड़ता। एन्ट्रॉपी केवल एक विशिष्ट घटना को देखने की संभावना को ध्यान में रखता है, इसलिए यह जो जानकारी समाहित करता है वह अंतर्निहित संभाव्यता वितरण के बारे में जानकारी है, न कि स्वयं घटनाओं का अर्थ।

वैकल्पिक लक्षण वर्णन

एंट्रॉपी का एक और लक्षण वर्णन निम्नलिखित गुणों का उपयोग करता है। हम निरूपित करते हैं p_i = Pr(X = x_i) और Η_n(p₁, ..., p_n) = Η(X).

1. निरंतरता: H निरंतर कार्य होना चाहिए, ताकि बहुत कम मात्रा में संभावनाओं के मूल्यों को बदलने से एन्ट्रॉपी को केवल थोड़ी मात्रा में बदलना चाहिए।
2. समरूपता: H परिणाम अपरिवर्तित होना चाहिए x_i को फिर से आदेश दिया जाता है। वह है, $\mathrm {H} _{n}\left(p_{1},p_{2},\ldots p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)$ किसी क्रमपरिवर्तन के लिए $\{i_{1},...,i_{n}\}$ का $\{1,...,n\}$.
3. अधिकतम: $\mathrm {H} _{n}$ अधिकतम होना चाहिए यदि सभी परिणाम समान रूप से होने की संभावना है अर्थात $\mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)$.
4. परिणामों की बढ़ती संख्या: परिवर्तनीय घटनाओं के लिए, एंट्रॉपी को परिणामों की संख्या के साथ बढ़ाना चाहिए यानी $\mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.$
5. Additivity: का एक पहनावा दिया n समान रूप से वितरित तत्व जिन्हें विभाजित किया गया है k बॉक्स (सब-सिस्टम) के साथ b₁, ..., b_k तत्वों में से प्रत्येक, पूरे पहनावे की एन्ट्रापी बॉक्स की प्रणाली की एन्ट्रापी और बॉक्स की अलग-अलग एन्ट्रापी के योग के बराबर होनी चाहिए, प्रत्येक को उस विशेष बॉक्स में होने की संभावना के साथ भारित किया जाना चाहिए।

योगात्मकता के नियम के निम्नलिखित परिणाम होते हैं: धनात्मक पूर्णांकों के लिए b_i कहाँ b₁ + ... + b_k = n,

$\mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)=\mathrm {H} _{k}\left({\frac {b_{1}}{n}},\ldots ,{\frac {b_{k}}{n}}\right)+\sum _{i=1}^{k}{\frac {b_{i}}{n}}\,\mathrm {H} _{b_{i}}\left({\frac {1}{b_{i}}},\ldots ,{\frac {1}{b_{i}}}\right).$

का चयन k = n, b₁ = ... = b_n = 1 इसका तात्पर्य है कि एक निश्चित परिणाम की एंट्रॉपी शून्य है: Η₁(1) = 0. इसका तात्पर्य है कि स्रोत वर्णमाला की दक्षता n प्रतीकों को इसके बराबर होने के रूप में परिभाषित किया जा सकता है n-एरी एन्ट्रॉपी। अतिरेक (सूचना सिद्धांत) भी देखें।

=== एडिटिविटी और सबअडिटिविटी === के माध्यम से वैकल्पिक लक्षण वर्णन

शैनन एन्ट्रॉपी का एक और संक्षिप्त स्वयंसिद्ध लक्षण वर्णन जानोस_एक्ज़ेल_(गणितज्ञ)|एक्ज़ेल, फोर्ट और एनजी द्वारा दिया गया था। निम्नलिखित गुणों के माध्यम से:

1. उप-विषमता: $\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$ संयुक्त रूप से वितरित यादृच्छिक चर के लिए $X,Y$.
2. एडिटिविटी: $\mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)$ जब यादृच्छिक चर $X,Y$ स्वतंत्र हैं।
3. विस्तारशीलता: $\mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})$, यानी प्रायिकता शून्य के साथ एक परिणाम जोड़ने से एंट्रॉपी नहीं बदलती है।
4. समरूपता: $\mathrm {H} _{n}(p_{1},\ldots ,p_{n})$ के क्रमपरिवर्तन के तहत अपरिवर्तनीय है $p_{1},\ldots ,p_{n}$.
5. छोटी संभावनाओं के लिए छोटा: $\lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0$.

यह दिखाया गया था कि कोई भी समारोह $\mathrm {H}$ उपर्युक्त गुणों को संतुष्ट करना एक गैर-ऋणात्मक स्थिरांक के साथ शैनन एंट्रॉपी का निरंतर गुणक होना चाहिए।एंट्रॉपी के पहले वर्णित लक्षणों की तुलना में, यह लक्षण वर्णन संभावना वेक्टर के एक समारोह के रूप में एंट्रॉपी के गुणों के बजाय यादृच्छिक चर (उप-विषमता और योगात्मकता) के एक समारोह के रूप में एंट्रॉपी के गुणों पर केंद्रित है। $p_{1},\ldots ,p_{n}$.

यह ध्यान देने योग्य है कि यदि हम छोटी संभावनाओं के लिए छोटी संपत्ति को छोड़ देते हैं, तो $\mathrm {H}$ शैनन एंट्रॉपी और हार्टले एंट्रॉपी का एक गैर-नकारात्मक रैखिक संयोजन होना चाहिए।

और गुण

शैनन एन्ट्रापी निम्नलिखित गुणों को संतुष्ट करती है, जिनमें से कुछ के लिए एन्ट्रापी की व्याख्या करना उपयोगी होता है क्योंकि एक यादृच्छिक चर के मान को प्रकट करके सीखी गई जानकारी की अपेक्षित मात्रा (या अनिश्चितता समाप्त हो जाती है) X:

• प्रायिकता शून्य के साथ किसी घटना को जोड़ना या हटाना एन्ट्रॉपी में योगदान नहीं देता है:

$\mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})$.

• जेन्सेन असमानता और फिर सेड्राक्यान की असमानता का उपयोग करके इसकी पुष्टि की जा सकती है

$\mathrm {H} (X)=\mathbb {E} [-\log _{b}p(X)]\leq -\log _{b}\left(\mathbb {E} [p(X)]\right)\leq \log _{b}n$.

की यह अधिकतम एन्ट्रॉपी log_b(n) एक समान संभाव्यता वितरण वाले स्रोत वर्णमाला द्वारा प्रभावी ढंग से प्राप्त किया जाता है: अनिश्चितता अधिकतम होती है जब सभी संभावित घटनाएं परिवर्तनीय होती हैं।

• एन्ट्रापी या मूल्यांकन द्वारा प्रकट की गई जानकारी की मात्रा (X,Y) (अर्थात् मूल्यांकन करना X और Y एक साथ) लगातार दो प्रयोग करके प्रकट की गई जानकारी के बराबर है: पहले के मूल्य का मूल्यांकन करना Y, फिर के मूल्य का खुलासा करना X दिया गया है कि आप का मूल्य जानते हैं Y. इसे इस प्रकार लिखा जा सकता है:

$\mathrm {H} (X,Y)=\mathrm {H} (X|Y)+\mathrm {H} (Y)=\mathrm {H} (Y|X)+\mathrm {H} (X).$

• अगर $Y=f(X)$ कहाँ $f$ एक समारोह है, तो $\mathrm {H} (f(X)|X)=0$. पिछले सूत्र को लागू करना $\mathrm {H} (X,f(X))$ पैदावार

$\mathrm {H} (X)+\mathrm {H} (f(X)|X)=\mathrm {H} (f(X))+\mathrm {H} (X|f(X)),$ :इसलिए $\mathrm {H} (f(X))\leq \mathrm {H} (X)$, एक चर की एन्ट्रॉपी केवल तभी घट सकती है जब बाद वाले को एक फ़ंक्शन के माध्यम से पारित किया जाता है।

• अगर X और Y दो स्वतंत्र यादृच्छिक चर हैं, फिर का मान जानना Y के मूल्य के बारे में हमारे ज्ञान को प्रभावित नहीं करता है X (चूंकि दोनों स्वतंत्रता से एक दूसरे को प्रभावित नहीं करते हैं):

$\mathrm {H} (X|Y)=\mathrm {H} (X).$

• अधिक आम तौर पर, किसी भी यादृच्छिक चर के लिए X और Y, अपने पास

$\mathrm {H} (X|Y)\leq \mathrm {H} (X)$.

• दो एक साथ होने वाली घटनाओं की एन्ट्रापी प्रत्येक व्यक्तिगत घटना की एन्ट्रापी के योग से अधिक नहीं है, अर्थात, $\mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)$, समानता के साथ अगर और केवल अगर दो घटनाएँ स्वतंत्र हैं।
• एंट्रॉपी $\mathrm {H} (p)$ प्रायिकता द्रव्यमान फलन में अवतल फलन है $p$, अर्थात।

$\mathrm {H} (\lambda p_{1}+(1-\lambda )p_{2})\geq \lambda \mathrm {H} (p_{1})+(1-\lambda )\mathrm {H} (p_{2})$

सभी संभाव्यता जन कार्यों के लिए $p_{1},p_{2}$ और $0\leq \lambda \leq 1$.

* तदनुसार, ऋणात्मक एन्ट्रॉपी (नेगेंट्रॉपी) फ़ंक्शन उत्तल है, और इसका उत्तल संयुग्म LogSumExp है।

पहलू

थर्मोडायनामिक एंट्रॉपी से संबंध

Main article: Entropy in thermodynamics and information theory

सूचना सिद्धांत में एन्ट्रापी शब्द को अपनाने की प्रेरणा शैनन के फार्मूले और सांख्यिकीय यांत्रिकी से बहुत समान ज्ञात सूत्रों के बीच घनिष्ठ समानता से आई है।

सांख्यिकीय ऊष्मप्रवैगिकी में ऊष्मप्रवैगिकी एन्ट्रापी के लिए सबसे सामान्य सूत्र {{math|S}थर्मोडायनामिक प्रणाली का } गिब्स एंट्रॉपी है,

$S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,$

कहाँ k_B बोल्ट्जमैन स्थिरांक है, और p_i एक माइक्रोस्टेट (सांख्यिकीय यांत्रिकी) की संभावना है। एंट्रॉपी (सांख्यिकीय ऊष्मप्रवैगिकी) को जे. विलार्ड गिब्स द्वारा 1878 में लुडविग बोल्ट्जमैन (1872) द्वारा पहले के काम के बाद परिभाषित किया गया था। 1927 में जॉन वॉन न्यूमैन द्वारा शुरू की गई वॉन न्यूमैन एन्ट्रॉपी देने के लिए गिब्स एंट्रॉपी क्वांटम भौतिकी की दुनिया में लगभग अपरिवर्तित अनुवाद करती है।

$S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,$

जहां ρ क्वांटम मैकेनिकल सिस्टम का घनत्व मैट्रिक्स है और Tr ट्रेस (रैखिक बीजगणित) है। रोजमर्रा के व्यावहारिक स्तर पर, सूचना एंट्रॉपी और थर्मोडायनामिक एंट्रॉपी के बीच संबंध स्पष्ट नहीं हैं। भौतिक विज्ञानी और रसायनशास्त्री एन्ट्रापी में परिवर्तनों में अधिक रुचि रखते हैं क्योंकि एक अपरिवर्तनीय संभाव्यता वितरण के बजाय ऊष्मप्रवैगिकी के दूसरे नियम के अनुसार एक प्रणाली सहज रूप से अपनी प्रारंभिक स्थितियों से दूर विकसित होती है। बोल्ट्जमैन स्थिरांक की सूक्ष्मता के रूप में k_B इंगित करता है, में परिवर्तन S / k_B रासायनिक और भौतिक प्रक्रियाओं में पदार्थों की छोटी मात्रा भी एंट्रॉपी की मात्रा का प्रतिनिधित्व करती है जो डेटा संपीड़न या संकेत आगे बढ़ाना में किसी भी चीज़ की तुलना में बहुत बड़ी है। शास्त्रीय ऊष्मप्रवैगिकी में, एन्ट्रापी को मैक्रोस्कोपिक माप के संदर्भ में परिभाषित किया गया है और किसी भी संभाव्यता वितरण का कोई संदर्भ नहीं देता है, जो कि सूचना एन्ट्रापी की परिभाषा के लिए केंद्रीय है।

ऊष्मप्रवैगिकी और जिसे अब सूचना सिद्धांत के रूप में जाना जाता है, के बीच संबंध सबसे पहले लुडविग बोल्ट्जमैन द्वारा बनाया गया था और उनके बोल्ट्जमैन के एंट्रोपी सूत्र द्वारा व्यक्त किया गया था:

$S=k_{\text{B}}\ln W$

कहाँ $S$ एक विशेष मैक्रोस्टेट का थर्मोडायनामिक एन्ट्रापी है (तापमान, आयतन, ऊर्जा, आदि जैसे थर्मोडायनामिक मापदंडों द्वारा परिभाषित), W माइक्रोस्टेट्स की संख्या है (विभिन्न ऊर्जा राज्यों में कणों के विभिन्न संयोजन) जो दिए गए मैक्रोस्टेट को उत्पन्न कर सकते हैं, और k_B बोल्ट्जमैन स्थिरांक है। यह माना जाता है कि प्रत्येक माइक्रोस्टेट समान रूप से संभावित है, ताकि किसी दिए गए माइक्रोस्टेट की संभावना हो p_i = 1/W. जब गिब्स एन्ट्रापी (या समकक्ष) के लिए उपरोक्त अभिव्यक्ति में इन संभावनाओं को प्रतिस्थापित किया जाता है k_B शैनन एन्ट्रापी से गुणा), बोल्ट्जमैन के समीकरण के परिणाम। सूचना सिद्धांत के संदर्भ में, एक प्रणाली की सूचना एन्ट्रापी एक माइक्रोस्टेट को निर्धारित करने के लिए आवश्यक गुम सूचना की मात्रा है, जिसे मैक्रोस्टेट दिया गया है।

एडविन थॉम्पसन जेनेस (1957) के विचार में, थर्मोडायनामिक एन्ट्रापी, जैसा कि सांख्यिकीय यांत्रिकी द्वारा समझाया गया है, को शैनन के सूचना सिद्धांत के एक अनुप्रयोग के रूप में देखा जाना चाहिए: थर्मोडायनामिक एन्ट्रापी की व्याख्या सिस्टम की विस्तृत सूक्ष्म स्थिति को परिभाषित करने के लिए आवश्यक शैनन जानकारी की मात्रा के आनुपातिक होने के रूप में की जाती है, जो इसके द्वारा असंबद्ध रहती है। क्लासिकल ऊष्मप्रवैगिकी के मैक्रोस्कोपिक चर के संदर्भ में केवल एक विवरण, आनुपातिकता के स्थिरांक के साथ सिर्फ बोल्ट्जमैन स्थिरांक। सिस्टम में गर्मी जोड़ने से इसकी थर्मोडायनेमिक एंट्रॉपी बढ़ जाती है क्योंकि यह सिस्टम के संभावित सूक्ष्म राज्यों की संख्या को बढ़ाता है जो इसके मैक्रोस्कोपिक चर के औसत दर्जे के मूल्यों के अनुरूप होते हैं, जिससे कोई भी पूर्ण राज्य विवरण लंबा हो जाता है। (लेख देखें: अधिकतम एन्ट्रापी ऊष्मप्रवैगिकी)। मैक्सवेल का दानव व्यक्तिगत अणुओं की अवस्थाओं के बारे में जानकारी का उपयोग करके (काल्पनिक रूप से) एक प्रणाली के थर्मोडायनामिक एन्ट्रॉपी को कम कर सकता है; लेकिन, रॉल्फ लैंडौएर (1961 से) और सहकर्मियों के रूप में दिखाया गया है, कार्य करने के लिए दानव को स्वयं प्रक्रिया में थर्मोडायनामिक एन्ट्रॉपी को बढ़ाना होगा, कम से कम शैनन की जानकारी की मात्रा जो वह पहले प्राप्त करने और संग्रहीत करने का प्रस्ताव करता है; और इसलिए कुल थर्मोडायनामिक एन्ट्रॉपी कम नहीं होती है (जो विरोधाभास को हल करती है)। लैंडौअर का सिद्धांत एक निश्चित मात्रा में सूचना को संसाधित करने के लिए एक कंप्यूटर को उत्पन्न होने वाली गर्मी की मात्रा पर एक निचली सीमा लगाता है, हालांकि आधुनिक कंप्यूटर बहुत कम कुशल हैं।

डेटा संपीड़न

Main articles: Shannon's source coding theorem and Data compression

एन्ट्रॉपी की शैनन की परिभाषा, जब एक सूचना स्रोत पर लागू होती है, स्रोत को एन्कोडेड बाइनरी अंकों के रूप में विश्वसनीय रूप से प्रसारित करने के लिए आवश्यक न्यूनतम चैनल क्षमता निर्धारित कर सकती है। शैनन की एन्ट्रॉपी संदेश में निहित जानकारी को मापती है, जो संदेश के उस हिस्से के विपरीत है जो निर्धारित (या अनुमानित) है। उत्तरार्द्ध के उदाहरणों में भाषा संरचना में अतिरेक या अक्षर या शब्द जोड़े, ट्रिपल आदि की घटना आवृत्तियों से संबंधित सांख्यिकीय गुण शामिल हैं। न्यूनतम चैनल क्षमता को विशिष्ट सेट का उपयोग करके या हफ़मैन कोडिंग, LZW|Lempel का उपयोग करके व्यवहार में महसूस किया जा सकता है। -ज़िव या अंकगणितीय कोडिंग। (कोलमोगोरोव जटिलता भी देखें।) व्यवहार में, संपीड़न एल्गोरिदम जानबूझकर त्रुटियों से बचाने के लिए अंततः, के रूप में कुछ विवेकपूर्ण अतिरेक शामिल करते हैं। किसी डेटा स्रोत की एन्ट्रापी दर उसे एन्कोड करने के लिए आवश्यक प्रति प्रतीक बिट्स की औसत संख्या है। मानव भविष्यवक्ताओं के साथ शैनन के प्रयोग अंग्रेजी में प्रति वर्ण 0.6 और 1.3 बिट्स के बीच एक सूचना दर दिखाते हैं; पीपीएम संपीड़न एल्गोरिदम अंग्रेजी पाठ में प्रति वर्ण 1.5 बिट के संपीड़न अनुपात को प्राप्त कर सकता है।

यदि कोई डेटा कम्प्रेशन योजना दोषरहित है - एक जिसमें आप हमेशा डीकंप्रेसन द्वारा संपूर्ण मूल संदेश को पुनर्प्राप्त कर सकते हैं - तो एक कंप्रेस्ड संदेश में मूल के समान जानकारी होती है लेकिन कम वर्णों में संप्रेषित होती है। इसमें प्रति वर्ण अधिक जानकारी (उच्च एन्ट्रापी) है। एक संपीड़ित संदेश में अतिरेक (सूचना सिद्धांत) कम होता है। शैनन के स्रोत कोडिंग प्रमेय में कहा गया है कि एक दोषरहित संपीड़न योजना संदेशों को औसत रूप से प्रति बिट संदेश के एक बिट से अधिक जानकारी प्राप्त करने के लिए संपीड़ित नहीं कर सकती है, लेकिन यह कि संदेश के प्रति बिट सूचना के एक बिट से कम किसी भी मूल्य को उपयुक्त नियोजित करके प्राप्त किया जा सकता है। कोडिंग योजना। संदेश की लंबाई से प्रति बिट गुणा किए गए संदेश की एन्ट्रॉपी इस बात का एक उपाय है कि संदेश में कुल कितनी जानकारी है। शैनन के प्रमेय का अर्थ यह भी है कि कोई दोषरहित संपीड़न योजना सभी संदेशों को छोटा नहीं कर सकती। यदि कुछ संदेश छोटे आकार में आते हैं, तो कबूतरखाने के सिद्धांत के कारण कम से कम एक संदेश अधिक लंबा होना चाहिए। व्यावहारिक उपयोग में, यह आम तौर पर कोई समस्या नहीं है, क्योंकि आम तौर पर केवल कुछ प्रकार के संदेशों को संपीड़ित करने में रुचि होती है, जैसे कि अंग्रेजी में एक दस्तावेज़, जो अस्पष्ट पाठ के विपरीत है, या शोर के बजाय डिजिटल फोटोग्राफ, और यह महत्वहीन है अगर एक संपीड़न एल्गोरिथ्म कुछ असंभावित या अरुचिकर अनुक्रमों को बड़ा बनाता है।

विज्ञान (पत्रिका) में 2011 के एक अध्ययन में अनुमान लगाया गया है कि वर्ष 2007 में उपलब्ध सबसे प्रभावी संपीड़न एल्गोरिदम पर सामान्य रूप से संकुचित सूचना को संग्रहीत और संप्रेषित करने के लिए दुनिया की तकनीकी क्षमता है, इसलिए तकनीकी रूप से उपलब्ध स्रोतों की एंट्रोपी का अनुमान लगाया गया है।

All figures in entropically compressed exabytes

Type of Information	1986	2007
Storage	2.6	295
Broadcast	432	1900
Telecommunications	0.281	65

लेखक 1986 में और फिर 2007 में सूचना (पूरी तरह से संकुचित) को संग्रहीत करने के लिए मानव जाति की तकनीकी क्षमता का अनुमान लगाते हैं। वे सूचना को तीन श्रेणियों में विभाजित करते हैं - एक माध्यम पर सूचना संग्रहीत करने के लिए, एक तरफ़ा प्रसारण नेटवर्क के माध्यम से सूचना प्राप्त करने के लिए, या सूचना का आदान-प्रदान करने के लिए। दो तरफा दूरसंचार नेटवर्क के माध्यम से।

विविधता के एक उपाय के रूप में एंट्रॉपी

Main article: Diversity index

एन्ट्रापी जैव विविधता को मापने के कई तरीकों में से एक है, और इसे विविधता सूचकांक के रूप में लागू किया जाता है। एक विविधता सूचकांक एक मात्रात्मक सांख्यिकीय माप है कि एक डेटासेट में कितने अलग-अलग प्रकार मौजूद हैं, जैसे कि एक समुदाय में प्रजातियां, पारिस्थितिक प्रजातियों की समृद्धि, प्रजातियों की समरूपता और प्रभुत्व (पारिस्थितिकी) के लिए लेखांकन। विशेष रूप से, शैनन एन्ट्रापी का लघुगणक है ¹D, 1 के बराबर पैरामीटर के साथ वास्तविक विविधता सूचकांक। शैनन इंडेक्स प्रकार के आनुपातिक बहुतायत से संबंधित है।

एन्ट्रॉपी की सीमाएं

एंट्रॉपी से संबंधित कई अवधारणाएं हैं जो गणितीय रूप से सूचना सामग्री को किसी तरह से परिमाणित करती हैं:

• किसी दिए गए संभाव्यता वितरण से लिए गए एक व्यक्तिगत संदेश या प्रतीक की स्व-सूचना,
• संदेशों या प्रतीकों के दिए गए संभाव्यता वितरण की एंट्रॉपी, और
• एक स्टोकेस्टिक प्रक्रिया की एन्ट्रापी दर।

(स्वयं-सूचना की दर को किसी दिए गए स्टोकास्टिक प्रक्रिया द्वारा उत्पन्न संदेशों या प्रतीकों के किसी विशेष अनुक्रम के लिए भी परिभाषित किया जा सकता है: यह स्थिर प्रक्रिया के मामले में हमेशा एंट्रॉपी दर के बराबर होगा।) जानकारी की अन्य मात्राएं भी हैं सूचना के विभिन्न स्रोतों की तुलना या संबंधित करने के लिए उपयोग किया जाता है।

उपरोक्त अवधारणाओं को भ्रमित नहीं करना महत्वपूर्ण है। अक्सर यह संदर्भ से ही स्पष्ट होता है कि कौन सा मतलब है। उदाहरण के लिए, जब कोई कहता है कि अंग्रेजी भाषा की एन्ट्रॉपी लगभग 1 बिट प्रति वर्ण है, तो वे वास्तव में अंग्रेजी भाषा को एक अनेक संभावनाओं में से चुनी हूई प्रक्रिया के रूप में मॉडलिंग कर रहे हैं और इसकी एन्ट्रापी दर के बारे में बात कर रहे हैं। शैनन ने स्वयं इस शब्द का प्रयोग इस प्रकार किया है।

यदि बहुत बड़े ब्लॉकों का उपयोग किया जाता है, तो प्रति-चरित्र एन्ट्रॉपी दर का अनुमान कृत्रिम रूप से कम हो सकता है क्योंकि अनुक्रम की संभाव्यता वितरण सटीक रूप से ज्ञात नहीं है; यह केवल एक अनुमान है। यदि कोई प्रत्येक पुस्तक के पाठ को एक अनुक्रम के रूप में प्रकाशित करता है, जिसमें प्रत्येक प्रतीक एक पूर्ण पुस्तक का पाठ है, और यदि कोई है N प्रकाशित पुस्तकें, और प्रत्येक पुस्तक केवल एक बार प्रकाशित होती है, प्रत्येक पुस्तक की संभावना का अनुमान है 1/N, और एंट्रॉपी (बिट्स में) है −log₂(1/N) = log₂(N). एक व्यावहारिक कोड के रूप में, यह प्रत्येक पुस्तक को एक आईएसबीएन निर्दिष्ट करने और पुस्तक के पाठ के स्थान पर इसका उपयोग करने के अनुरूप है, जब भी कोई पुस्तक को संदर्भित करना चाहता है। यह पुस्तकों के बारे में बात करने के लिए अत्यधिक उपयोगी है, लेकिन यह किसी एक पुस्तक की सूचना सामग्री, या सामान्य रूप से भाषा की विशेषता के लिए इतना उपयोगी नहीं है: संभाव्यता वितरण को जाने बिना पुस्तक को उसके पहचानकर्ता से पुनर्निर्माण करना संभव नहीं है, अर्थात , सभी पुस्तकों का पूरा पाठ। मुख्य विचार यह है कि संभाव्य मॉडल की जटिलता पर विचार किया जाना चाहिए। कोल्मोगोरोव जटिलता इस विचार का एक सैद्धांतिक सामान्यीकरण है जो किसी विशेष संभाव्यता मॉडल से स्वतंत्र अनुक्रम की सूचना सामग्री पर विचार करने की अनुमति देता है; यह अनुक्रम को आउटपुट करने वाले सार्वभौमिक कंप्यूटर के लिए सबसे छोटा कंप्यूटर प्रोग्राम मानता है। एक कोड जो किसी दिए गए मॉडल के लिए अनुक्रम की एंट्रॉपी दर प्राप्त करता है, साथ ही कोडबुक (यानी संभाव्य मॉडल), एक ऐसा प्रोग्राम है, लेकिन यह सबसे छोटा नहीं हो सकता है।

फाइबोनैचि अनुक्रम 1, 1, 2, 3, 5, 8, 13, .... अनुक्रम को एक संदेश और प्रत्येक संख्या को एक प्रतीक के रूप में मानते हुए, लगभग उतने ही प्रतीक हैं जितने संदेश में वर्ण हैं, दे रहे हैं लगभग एक एन्ट्रापी log₂(n). फाइबोनैचि अनुक्रम के पहले 128 प्रतीकों में लगभग 7 बिट/प्रतीक की एन्ट्रापी है, लेकिन अनुक्रम को एक सूत्र का उपयोग करके व्यक्त किया जा सकता है [F(n) = F(n−1) + F(n−2) के लिए n = 3, 4, 5, ..., F(1) =1, F(2) = 1] और इस सूत्र में बहुत कम एन्ट्रॉपी है और फिबोनैचि अनुक्रम की किसी भी लंबाई पर लागू होता है।

क्रिप्टोग्राफी में एन्ट्रापी की सीमाएं

क्रिप्ट विश्लेषण में, एन्ट्रापी का उपयोग अक्सर मोटे तौर पर एक क्रिप्टोग्राफ़िक कुंजी की अप्रत्याशितता के माप के रूप में किया जाता है, हालांकि इसका वास्तविक अनिश्चितता सिद्धांत अमाप्य है। उदाहरण के लिए, एक 128-बिट कुंजी जो समान रूप से और बेतरतीब ढंग से उत्पन्न होती है, में 128 बिट एन्ट्रापी होती है। यह भी लेता है (औसत पर) $2^{127}$ क्रूर बल द्वारा तोड़ने का अनुमान। एंट्रॉपी आवश्यक अनुमानों की संख्या को कैप्चर करने में विफल रहता है यदि संभावित कुंजियों को समान रूप से नहीं चुना जाता है। इसके बजाय, ब्रूट फ़ोर्स अटैक के लिए आवश्यक प्रयास को मापने के लिए गेसवर्क नामक एक उपाय का उपयोग किया जा सकता है। क्रिप्टोग्राफी में प्रयुक्त गैर-समान वितरण से अन्य समस्याएं उत्पन्न हो सकती हैं। उदाहरण के लिए, एक 1,000,000-अंकों वाला बाइनरी वन-टाइम पैड जिसमें एक्सक्लूसिव या. यदि पैड में 1,000,000 बिट्स एन्ट्रापी है, तो यह एकदम सही है। यदि पैड में 999,999 बिट्स एंट्रॉपी है, समान रूप से वितरित (पैड के प्रत्येक बिट में 0.999999 बिट्स एंट्रॉपी है) तो यह अच्छी सुरक्षा प्रदान कर सकता है। लेकिन अगर पैड में 999,999 बिट्स एंट्रॉपी है, जहां पहला बिट फिक्स है और शेष 999,999 बिट्स पूरी तरह यादृच्छिक हैं, तो सिफरटेक्स्ट का पहला बिट एन्क्रिप्ट नहीं किया जाएगा।

मार्कोव प्रक्रिया के रूप में डेटा

टेक्स्ट के लिए एन्ट्रापी को परिभाषित करने का एक सामान्य तरीका टेक्स्ट के मार्कोव मॉडल पर आधारित है। ऑर्डर -0 स्रोत के लिए (प्रत्येक वर्ण को अंतिम वर्णों से स्वतंत्र चुना गया है), बाइनरी एन्ट्रॉपी है:

$\mathrm {H} ({\mathcal {S}})=-\sum p_{i}\log p_{i},$

कहाँ p_i की संभावना है i. पहले क्रम के मार्कोव स्रोत के लिए (जिसमें एक चरित्र का चयन करने की संभावना केवल तुरंत पूर्ववर्ती चरित्र पर निर्भर है), एंट्रॉपी दर है:

$\mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),$

कहाँ i एक अवस्था है (कुछ पूर्ववर्ती वर्ण) और $p_{i}(j)$ की सम्भावना है j दिया गया i पिछले चरित्र के रूप में।

दूसरे क्रम के मार्कोव स्रोत के लिए, एन्ट्रापी दर है

$\mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log \ p_{i,j}(k).$

दक्षता (सामान्यीकृत एन्ट्रॉपी)

गैर-समान वितरण के साथ एक स्रोत वर्णमाला में उन प्रतीकों की तुलना में कम एन्ट्रॉपी होगी जो समान वितरण (यानी अनुकूलित वर्णमाला) थे। एन्ट्रापी में इस कमी को दक्षता नामक अनुपात के रूप में व्यक्त किया जा सकता है:

$\eta (X)={\frac {H}{H_{max}}}=-\sum _{i=1}^{n}{\frac {p(x_{i})\log _{b}(p(x_{i}))}{\log _{b}(n)}}$

लघुगणक के मूल गुणों को लागू करते हुए, इस मात्रा को इस रूप में भी व्यक्त किया जा सकता है:

$\eta (X)=-\sum _{i=1}^{n}{\frac {p(x_{i})\log _{b}(p(x_{i}))}{\log _{b}(n)}}=\sum _{i=1}^{n}{\frac {\log _{b}(p(x_{i})^{-p(x_{i})})}{\log _{b}(n)}}=\sum _{i=1}^{n}\log _{n}(p(x_{i})^{-p(x_{i})})=\log _{n}(\prod _{i=1}^{n}p(x_{i})^{-p(x_{i})})$

संचार चैनल के प्रभावी उपयोग की मात्रा निर्धारित करने में दक्षता की उपयोगिता है। इस फॉर्मूलेशन को सामान्यीकृत एंट्रॉपी के रूप में भी जाना जाता है, क्योंकि एंट्रॉपी को अधिकतम एंट्रॉपी से विभाजित किया जाता है ${\log _{b}(n)}$. इसके अलावा, दक्षता (सकारात्मक) आधार की पसंद के प्रति उदासीन है b, जैसा कि इसके ऊपर अंतिम लघुगणक के भीतर असंवेदनशीलता द्वारा इंगित किया गया है।

निरंतर यादृच्छिक चर के लिए एंट्रॉपी

विभेदक एन्ट्रॉपी

Main article: Differential entropy

शैनन एन्ट्रापी असतत मान लेने वाले यादृच्छिक चरों तक सीमित है। संभाव्यता घनत्व समारोह के साथ एक सतत यादृच्छिक चर के लिए संबंधित सूत्र f(x) परिमित या अनंत समर्थन के साथ $\mathbb {X}$ एक अपेक्षा के रूप में एन्ट्रापी के उपरोक्त रूप का उपयोग करते हुए, वास्तविक रेखा पर सादृश्य द्वारा परिभाषित किया गया है:

$\mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.$

यह अंतर एंट्रॉपी (या निरंतर एन्ट्रॉपी) है। निरंतर एन्ट्रॉपी का अग्रदूत h[f] कार्यात्मक के लिए अभिव्यक्ति है Η बोल्ट्जमान के एच-प्रमेय में।

यद्यपि दोनों कार्यों के बीच सादृश्य सांकेतिक है, निम्नलिखित प्रश्न निर्धारित किया जाना चाहिए: क्या अंतर एन्ट्रापी शैनन असतत एन्ट्रापी का एक वैध विस्तार है? डिफरेंशियल एंट्रॉपी में कई गुणों का अभाव है जो शैनन असतत एन्ट्रापी में है - यह नकारात्मक भी हो सकता है - और सुधारों का सुझाव दिया गया है, विशेष रूप से असतत बिंदुओं के घनत्व को सीमित करना।

इस प्रश्न का उत्तर देने के लिए, दो कार्यों के बीच एक संबंध स्थापित किया जाना चाहिए:

आम तौर पर परिमित माप प्राप्त करने के लिए बिन आकार शून्य हो जाता है। असतत मामले में, बिन आकार प्रत्येक की (अंतर्निहित) चौड़ाई है n (परिमित या अनंत) डिब्बे जिनकी संभावनाओं को निरूपित किया जाता है p_n. जैसा कि निरंतर डोमेन सामान्यीकृत है, चौड़ाई स्पष्ट होनी चाहिए।

ऐसा करने के लिए, एक सतत कार्य के साथ प्रारंभ करें f आकार के डिब्बे में विभाजित $\Delta$. माध्य-मूल्य प्रमेय के अनुसार एक मूल्य मौजूद है x_i प्रत्येक बिन में ऐसा है कि

$$f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx$$

समारोह का अभिन्न अंग f द्वारा अनुमानित (रीमैनियन अर्थ में) किया जा सकता है

$$\int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,$$

जहाँ यह सीमा और बिन आकार शून्य हो जाता है, समतुल्य हैं।

हम निरूपित करेंगे

$$\mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)$$

और लघुगणक का विस्तार, हमारे पास है

$$\mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).$$

जैसा Δ → 0, अपने पास

${\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}$

टिप्पणी; log(Δ) → −∞ जैसा Δ → 0, अंतर या निरंतर एन्ट्रॉपी की एक विशेष परिभाषा की आवश्यकता होती है:

$h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,$

जैसा कि पहले कहा गया है, जिसे डिफरेंशियल एंट्रॉपी कहा जाता है। इसका मतलब यह है कि अंतर एंट्रॉपी शैनन एंट्रॉपी की सीमा नहीं है n → ∞. इसके बजाय, यह शैनन एंट्रोपी की सीमा से एक अनंत ऑफसेट द्वारा भिन्न होता है (सूचना आयाम पर लेख भी देखें)।

असतत बिंदुओं का घनत्व सीमित करना

Main article: Limiting density of discrete points

इसका परिणाम यह निकलता है कि, शैनन एंट्रॉपी के विपरीत, डिफरेंशियल एन्ट्रापी सामान्य रूप से अनिश्चितता या सूचना का एक अच्छा उपाय नहीं है। उदाहरण के लिए, विभेदक एंट्रोपी ऋणात्मक हो सकती है; साथ ही यह निरंतर समन्वय परिवर्तनों के तहत अपरिवर्तनीय नहीं है। इस समस्या को इकाइयों के परिवर्तन से स्पष्ट किया जा सकता है x एक आयामी चर है। f(x) की इकाइयाँ होंगी 1/x. लघुगणक का तर्क विमाहीन होना चाहिए, अन्यथा यह अनुचित है, जिससे कि ऊपर दिए गए अंतर एंट्रॉपी अनुचित होंगे। अगर Δ का कुछ मानक मान है x (यानी बिन आकार) और इसलिए एक ही इकाइयां हैं, तो एक संशोधित अंतर एन्ट्रापी को उचित रूप में लिखा जा सकता है:

$$\mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,$$

और परिणाम इकाइयों के किसी भी विकल्प के लिए समान होगा x. वास्तव में, असतत एन्ट्रापी की सीमा के रूप में $N\rightarrow \infty$ की अवधि भी शामिल होगी $\log(N)$, जो सामान्य रूप से अनंत होगा। यह अपेक्षित है: विखंडित होने पर निरंतर चर में आमतौर पर अनंत एन्ट्रापी होती है। असतत बिंदुओं का सीमित घनत्व वास्तव में इस बात का माप है कि वितरण की तुलना में वितरण कितना आसान है, जो इसकी परिमाणीकरण योजना पर एक समान है।

सापेक्ष एन्ट्रॉपी

Main article: Generalized relative entropy

एन्ट्रापी का एक और उपयोगी माप जो असतत और निरंतर मामले में समान रूप से अच्छी तरह से काम करता है, वह वितरण की सापेक्ष एन्ट्रापी है। इसे कुल्बैक-लीब्लर विचलन के रूप में वितरण से एक संदर्भ माप के रूप में परिभाषित किया गया है m निम्नलिखित नुसार। मान लें कि एक संभाव्यता वितरण p किसी माप के संबंध में बिल्कुल सतत है m, अर्थात् रूप का है p(dx) = f(x)m(dx) कुछ गैर-नकारात्मक के लिए m-अभिन्न कार्य f साथ m-इंटीग्रल 1, तो सापेक्ष एन्ट्रापी को इस रूप में परिभाषित किया जा सकता है

$D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).$

इस रूप में सापेक्ष एन्ट्रॉपी सामान्यीकरण (संकेत में परिवर्तन तक) असतत एन्ट्रॉपी दोनों को करता है, जहां माप m मतगणना माप है, और अंतर एन्ट्रापी, जहाँ माप है m लेबेस्ग उपाय है। यदि माप m अपने आप में एक संभाव्यता वितरण है, सापेक्ष एन्ट्रापी गैर-ऋणात्मक है, और यदि शून्य है p = m उपायों के रूप में। यह किसी भी माप स्थान के लिए परिभाषित किया गया है, इसलिए समन्वय पुनर्मूल्यांकन के तहत स्वतंत्र और अपरिवर्तनीय समन्वय करें यदि कोई माप के परिवर्तन को ठीक से ध्यान में रखता है m. सापेक्ष एन्ट्रॉपी, और (निहित रूप से) एंट्रॉपी और अंतर एंट्रॉपी, संदर्भ माप पर निर्भर करते हैं m.

कॉम्बिनेटरिक्स में प्रयोग करें

कॉम्बिनेटरिक्स में एंट्रॉपी एक उपयोगी मात्रा बन गई है।

लूमिस–व्हिटनी असमानता

इसका एक सरल उदाहरण लूमिस-व्हिटनी असमानता का एक वैकल्पिक प्रमाण है: प्रत्येक उपसमुच्चय के लिए A ⊆ Z^d, अपने पास

$|A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|$

कहाँ P_i में ऑर्थोगोनल प्रक्षेपण है iवां निर्देशांक:

$P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.$

प्रमाण शियर्र की असमानता के सरल परिणाम के रूप में अनुसरण करता है: यदि X₁, ..., X_d यादृच्छिक चर हैं और S₁, ..., S_n के उपसमुच्चय हैं {1, ..., d} जैसे कि प्रत्येक पूर्णांक 1 और के बीच d बिल्कुल निहित है {{math|r}इन उपसमुच्चयों में से }, तब

$\mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]$

कहाँ $(X_{j})_{j\in S_{i}}$ यादृच्छिक चर का कार्टेशियन उत्पाद है X_j अनुक्रमणिका के साथ j में S_i (इसलिए इस सदिश का आयाम के आकार के बराबर है S_i).

हम स्केच करते हैं कि लूमिस-व्हिटनी इससे कैसे अनुसरण करता है: वास्तव में, चलो X मूल्यों के साथ एक समान रूप से वितरित यादृच्छिक चर हो A और ताकि प्रत्येक बिंदु में A समान संभावना के साथ होता है। तब (उपर्युक्त एंट्रॉपी के और गुणों द्वारा) Η(X) = log|A|, कहाँ |A| की प्रमुखता को दर्शाता है A. होने देना S_i = {1, 2, ..., i−1, i+1, ..., d}. की सीमा $(X_{j})_{j\in S_{i}}$ में निहित है P_i(A) और इसलिए $\mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|$. अब इसका उपयोग शियरर की असमानता के दाहिने पक्ष को बाध्य करने के लिए करें और परिणामी असमानता के विपरीत पक्षों को प्रतिपादित करें।

द्विपद गुणांक का सन्निकटन

पूर्णांकों के लिए 0 < k < n होने देना q = k/n. तब

${\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},$

कहाँ

$\mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).$

Proof (sketch)

Note that ${\tbinom {n}{k}}q^{qn}(1-q)^{n-nq}$ is one term of the expression $\sum _{i=0}^{n}{\tbinom {n}{i}}q^{i}(1-q)^{n-i}=(q+(1-q))^{n}=1.$ Rearranging gives the upper bound. For the lower bound one first shows, using some algebra, that it is the largest term in the summation. But then, ${\binom {n}{k}}q^{qn}(1-q)^{n-nq}\geq {\frac {1}{n+1}}$ since there are n + 1 terms in the summation. Rearranging gives the lower bound.

इसकी एक अच्छी व्याख्या यह है कि लंबाई के बाइनरी स्ट्रिंग्स की संख्या n के साथ बिल्कुल k अनेक 1 लगभग है $2^{n\mathrm {H} (k/n)}$.

मशीन लर्निंग में प्रयोग

मशीन लर्निंग तकनीक काफी हद तक सांख्यिकी और सूचना सिद्धांत से भी उत्पन्न होती है। सामान्य तौर पर, एन्ट्रॉपी अनिश्चितता का एक उपाय है और मशीन लर्निंग का उद्देश्य अनिश्चितता को कम करना है।

निर्णय ट्री लर्निंग एल्गोरिदम प्रत्येक नोड पर डेटा को नियंत्रित करने वाले निर्णय नियमों को निर्धारित करने के लिए सापेक्ष एन्ट्रापी का उपयोग करते हैं। निर्णय पेड़ों में सूचना लाभ $IG(Y,X)$, जो की एन्ट्रापी के बीच के अंतर के बराबर है $Y$ और की सशर्त एन्ट्रॉपी $Y$ दिया गया $X$, किसी विशेषता के अतिरिक्त मूल्य को जानने से, अपेक्षित जानकारी, या एन्ट्रापी में कमी की मात्रा निर्धारित करता है $X$. सूचना लाभ का उपयोग यह पहचानने के लिए किया जाता है कि डेटासेट की कौन सी विशेषताएँ सबसे अधिक जानकारी प्रदान करती हैं और इसका उपयोग पेड़ के नोड्स को बेहतर ढंग से विभाजित करने के लिए किया जाना चाहिए।

बायेसियन अनुमान मॉडल अक्सर प्रायिक संभाव्यता वितरण प्राप्त करने के लिए अधिकतम एन्ट्रॉपी के सिद्धांत को लागू करते हैं। विचार यह है कि वितरण जो एक प्रणाली के ज्ञान की वर्तमान स्थिति का सबसे अच्छा प्रतिनिधित्व करता है वह सबसे बड़ी एन्ट्रापी वाला है, और इसलिए पूर्व होने के लिए उपयुक्त है।

संभार तन्त्र परावर्तन या कृत्रिम तंत्रिका नेटवर्क द्वारा किए गए मशीन लर्निंग में वर्गीकरण अक्सर एक मानक हानि फ़ंक्शन को नियोजित करता है, जिसे क्रॉस एन्ट्रापी लॉस कहा जाता है, जो जमीनी सच्चाई और अनुमानित वितरण के बीच औसत क्रॉस एन्ट्रापी को कम करता है। सामान्य तौर पर, क्रॉस एंट्रॉपी केएल डाइवर्जेंस (जिसे सापेक्ष एंट्रॉपी भी कहा जाता है) के समान दो डेटासेट के बीच अंतर का एक उपाय है।

यह भी देखें

• अनुमानित एन्ट्रापी (ApEn)
• एंट्रॉपी (थर्मोडायनामिक्स)
• क्रॉस एन्ट्रापी - दो संभाव्यता वितरणों के बीच संभावनाओं के एक सेट से एक घटना की पहचान करने के लिए आवश्यक बिट्स की औसत संख्या का एक उपाय है
• एंट्रॉपी (समय का तीर)
• एंट्रॉपी एन्कोडिंग - एक कोडिंग योजना जो प्रतीकों को कोड प्रदान करती है ताकि प्रतीकों की संभावनाओं के साथ कोड की लंबाई का मिलान किया जा सके।
• एंट्रॉपी अनुमान
• एन्ट्रापी शक्ति असमानता
• मछुआरे की जानकारी
• ग्राफ एन्ट्रापी
• हैमिंग दूरी
• एन्ट्रापी का इतिहास
• सूचना सिद्धांत का इतिहास
• सूचना में उतार-चढ़ाव की जटिलता
• सूचना ज्यामिति
• कोल्मोगोरोव-सिनाई एंट्रॉपी गतिशील प्रणाली में
• लेवेनशेटिन दूरी
• आपसी जानकारी
• घबराहट
• गुणात्मक भिन्नता - सांकेतिक वितरण के लिए सांख्यिकीय फैलाव के अन्य उपाय
• क्वांटम सापेक्ष एन्ट्रॉपी - दो क्वांटम अवस्थाओं के बीच विभेदन क्षमता का माप।
• रेनी एंट्रॉपी - शैनन एंट्रॉपी का एक सामान्यीकरण; यह एक प्रणाली की विविधता, अनिश्चितता या यादृच्छिकता को मापने के लिए कार्यात्मकताओं के परिवार में से एक है।
• यादृच्छिकता
• नमूना एन्ट्रापी (SampEn)
• शैनन इंडेक्स
• भाग सूचकांक
• टाइपोग्लाइसीमिया

संदर्भ

This article incorporates material from Shannon's entropy on PlanetMath, which is licensed under the Creative Commons Attribution/Share-Alike License.

अग्रिम पठन

सूचना सिद्धांत पर पाठ्यपुस्तकें

• थॉमस एम. कवर|कवर, टी.एम., जॉय ए. थॉमस|थॉमस, जे.ए. (2006), सूचना सिद्धांत के तत्व - दूसरा संस्करण, विली-इन्टरसाइंस, ISBN 978-0-471-24195-9
• डेविड जे.सी. मैके|मैके, डी.जे.सी. (2003), इंफॉर्मेशन थ्योरी, इनफेरेंस एंड लर्निंग एल्गोरिदम, कैम्ब्रिज यूनिवर्सिटी प्रेस, ISBN 978-0-521-64298-9
• अरंड्ट, सी. (2004), इंफॉर्मेशन मेज़र्स: इंफॉर्मेशन एंड इट्स डिस्क्रिप्शन इन साइंस एंड इंजीनियरिंग, स्प्रिंगर, ISBN 978-3-540-40855-0
• ग्रे, आर. एम. (2011), एंट्रॉपी एंड इंफॉर्मेशन थ्योरी, स्प्रिंगर।
• Martin, Nathaniel F.G. & England, James W. (2011). एंट्रॉपी का गणितीय सिद्धांत. Cambridge University Press. ISBN 978-0-521-17738-2.{{cite book}}: CS1 maint: uses authors parameter (link)
• क्लॉड शैनन | शैनन, सी.ई., वॉरेन वीवर | वीवर, डब्ल्यू। (1949) द मैथमैटिकल थ्योरी ऑफ कम्युनिकेशन, यूनिवर्सिटी ऑफ इलिनोइस प्रेस। ISBN 0-252-72548-4
• स्टोन, जे.वी. (2014), अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड। ISBN 978-0956372857.

बाहरी संबंध

• "Entropy", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• "Entropy" at Rosetta Code—repository of implementations of Shannon entropy in different programming languages.
• Entropy an interdisciplinary journal on all aspects of the entropy concept. Open access.