जानकारी सामग्री

सूचना सिद्धांत में, सूचना सामग्री, आत्म-सूचना, आश्चर्य, या शैनन सूचना यादृच्छिक वेरिएबल से होने वाली किसी विशेष घटना (संभावना सिद्धांत) की संभावना से प्राप्त मूल मात्रा है। इसे संभावना व्यक्त करने के वैकल्पिक विधि के रूप में विचार किया जा सकता है, सामान्य अनेक कठिनाइयाँ या लॉग-बाधाओं की तरह, किन्तु सूचना सिद्धांत की समुच्चय में इसके विशेष गणितीय निवेश कारक हैं।

इस प्रकार से शैनन सूचना की व्याख्या किसी विशेष परिणाम के आश्चर्य के स्तर को मापने के रूप में की जा सकती है। चूंकि यह इतनी मूलभूत मात्रा है, यह कई अन्य समुच्चय में भी दिखाई देती है, जैसे यादृच्छिक वेरिएबल के इष्टतम शैनन के स्रोत कोडिंग प्रमेय को देखते हुए घटना को प्रसारित करने के लिए आवश्यक संदेश की लंबाई को दर्शाया गया है ।

शैनन की सूचना एंट्रॉपी (सूचना सिद्धांत) से निकटता से संबंधित है, जो यादृच्छिक वेरिएबल की आत्म-सूचना का अपेक्षित मूल्य है, जो यह निर्धारित करती है कि यादृच्छिक वेरिएबल औसतन कितना आश्चर्यजनक है। यह आत्म-सूचना की वह औसत मात्रा है जो पर्यवेक्षक किसी यादृच्छिक वेरिएबल को मापते समय उसके बारे में प्राप्त करने की अपेक्षा करता है।

अतः सूचना सामग्री को सूचना की विभिन्न इकाइयों में व्यक्त किया जा सकता है, जिनमें से अधिक समान बिट (अधिक सही रूप से शैनन कहा जाता है) है, जैसा कि नीचे बताया गया है।

परिभाषा

क्लाउड शैनन की आत्म-सूचना की परिभाषा को कई सिद्धांतों को पूरा करने के लिए चुना गया था:

1. 100% संभावना वाली घटना पूर्ण प्रकार से आश्चर्यजनक है और कोई सूचना नहीं देती है।
2. अनेक घटना जितनी कम संभावित होती है, वह उतनी ही अधिक आश्चर्यजनक होती है और उतनी ही अधिक सूचना देती है।
3. यदि दो स्वतंत्र घटनाओं को अलग-अलग मापा जाता है, तो सूचना की कुल मात्रा व्यक्तिगत घटनाओं की स्वयं-सूचना का योग है।

इस प्रकार से विस्तृत व्युत्पत्ति नीचे है, किन्तु यह दिखाया जा सकता है कि संभाव्यता का अनूठा कार्य है जो गुणक स्केलिंग कारक तक, इन तीन सिद्धांतों को पूरा करता है। सामान्यतः , वास्तविक संख्या $b>1$ दी गई है और घटना (संभावना सिद्धांत) $x$ संभाव्यता के साथ $P$, सूचना सामग्री को इस प्रकार परिभाषित किया गया है:

$$\mathrm {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.$$

आधार b उपरोक्त स्केलिंग कारक से मेल खाता है। b के विभिन्न विकल्प सूचना की विभिन्न इकाइयों के अनुरूप हैं: जब b = 2, इकाई शैनन (इकाई) (प्रतीक श) है, जिसे प्रायः 'बिट' कहा जाता है; जब b = e, इकाई नेट (इकाई) (प्रतीक नेट) है; और जब b = 10, इकाई हार्टले (इकाई) (प्रतीक हार्ट) है।

औपचारिक रूप से, यादृच्छिक वेरिएबल $X$ दिया गया है संभाव्यता द्रव्यमान फलन के साथ $p_{X}{\left(x\right)}$, मापने की स्व-सूचना $X$ परिणाम के रूप में (संभावना) $x$ परिभाषित किया जाता है

$$\operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.$$

इस प्रकार से उपरोक्त स्व-सूचना के लिए अंकन $I_{X}(x)$ का उपयोग सार्वभौमिक नहीं है। चूंकि संकेतन $I(X;Y)$ का उपयोग प्रायः पारस्परिक सूचना की संबंधित मात्रा के लिए भी किया जाता है, कई लेखक इसके अतिरिक्त स्व-एन्ट्रॉपी के लिए लोअरकेस $h_{X}(x)$ का उपयोग करते हैं, जो एन्ट्रॉपी के लिए पूंजी $H(X)$ के उपयोग को प्रतिबिंबित करता है।

गुण

संभाव्यता का नीरस रूप से घटता हुआ कार्य

किसी दिए गए संभाव्यता स्थान के लिए, दुर्लभ घटना (संभावना सिद्धांत) का माप सहज रूप से अधिक आश्चर्यजनक है, और अधिक सामान्य मूल्यों की तुलना में अधिक सूचना सामग्री प्रदान करता है। इस प्रकार, स्व-सूचना संभाव्यता का मोनोटोनिक फलन है, या कभी-कभी इसे एंटीटोनिक फलन भी कहा जाता है।

जबकि मानक संभावनाओं को अंतराल में वास्तविक संख्याओं $[0,1]$ द्वारा दर्शाया जाता है , आत्म-सूचना को अंतराल में विस्तारित वास्तविक संख्याओं $[0,\infty ]$ द्वारा दर्शाया जाता है . विशेष रूप से, लघुगणकीय आधार के किसी भी विकल्प के लिए हमारे पास निम्नलिखित हैं:

• यदि किसी विशेष घटना के घटित होने की 100% संभावना हो तो उसकी स्व-सूचना होती है $-\log(1)=0$: इसकी घटना बिल्कुल गैर-आश्चर्यजनक है और इससे कोई सूचना नहीं मिलती है।
• यदि किसी विशेष घटना के घटित होने की संभावना 0% है, तो उसकी स्व-सूचना है $-\log(0)=\infty$: इसकी घटना असीम रूप से आश्चर्यजनक है।

इससे, हम कुछ सामान्य गुण प्राप्त कर सकते हैं:

• सहज रूप से, किसी अप्रत्याशित घटना को देखने से अधिक सूचना प्राप्त होती है—यह आश्चर्यजनक है।
  • उदाहरण के लिए, यदि ऐलिस के लॉटरी जीतने की लाखों में से संभावना है, तो उसके दोस्त बॉब को यह जानने से लिए अधिक सूचना प्राप्त होगी कि उसने लॉटरी जीती है, अतिरिक्त इसके कि वह लॉटरी जीत गई है। निश्चित दिन. (लॉटरी गणित भी देखें।)
• यह यादृच्छिक वेरिएबल की आत्म-सूचना और उसके विचरण के मध्य अंतर्निहित संबंध स्थापित करता है।

लॉग-ऑड्स से संबंध

चूंकि शैनन सूचना लॉग-ऑड्स से निकटता से संबंधित है। विशेष रूप से, किसी घटना को देखते हुए $x$, मान लीजिये कि $p(x)$ की प्रायिकता है $x$ घटित हो रहा है, और वह $p(\lnot x)=1-p(x)$ की सम्भावना है $x$ घटित नहीं हो रहा है. फिर हमारे पास लॉग-ऑड्स की निम्नलिखित परिभाषा है:

$${\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)$$

इसे दो शैनन सूचनाओं के अंतर के रूप में व्यक्त किया जा सकता है:

$${\text{log-odds}}(x)=\mathrm {I} (\lnot x)-\mathrm {I} (x)$$

दूसरे शब्दों में, लॉग-ऑड्स की व्याख्या उस समय आश्चर्य के स्तर के रूप में की जा सकती है जब घटना नहीं होती है, घटना के घटित होने पर आश्चर्य के स्तर को घटा दिया जाता है।

स्वतंत्र घटनाओं की संयोजकता

दो स्वतंत्र घटनाओं की सूचना सामग्री प्रत्येक घटना की सूचना सामग्री का योग है। इस गुण को गणित में सिग्मा एडिटिविटी और विशेष रूप से माप (गणित)और संभाव्यता सिद्धांत में सिग्मा एडिटिविटी के रूप में जाना जाता है। संभाव्यता द्रव्यमान फलन क्रमशः $p_{X}(x)$और $p_{Y}(y)$ के साथ स्वतंत्र यादृच्छिक वेरिएबल ${\textstyle X,\,Y}$ पर विचार करें। संयुक्त संभाव्यता द्रव्यमान फलन है

$$p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)$$

क्योंकि ${\textstyle X}$ और ${\textstyle Y}$ स्वतंत्रता (संभावना सिद्धांत) हैं। परिणाम की सूचना सामग्री (संभावना) $(X,Y)=(x,y)$ है

$${\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}$$

देखना§ दो स्वतंत्र, समान रूप से वितरित पासे उदाहरण के लिए नीचे।

इस प्रकार से संभावनाओं के लिए संबंधित संपत्ति यह है कि स्वतंत्र घटनाओं की लॉग-संभावना प्रत्येक घटना की लॉग-संभावनाओं का योग है। लॉग-संभावना को समर्थन या नकारात्मक आश्चर्य के रूप में व्याख्या करना (वह डिग्री जिस तक कोई घटना किसी दिए गए मॉडल का समर्थन करती है: मॉडल को किसी घटना द्वारा इस सीमा तक समर्थित किया जाता है कि घटना अप्रत्याशित है, मॉडल को देखते हुए), यह दर्शाता है कि स्वतंत्र घटनाएं समर्थन जोड़ती हैं: दो घटनाएँ मिलकर सांख्यिकीय अनुमान के लिए जो सूचना प्रदान करती हैं, वह उनकी स्वतंत्र सूचना का योग है।

एंट्रॉपी से संबंध

यादृच्छिक वेरिएबल की शैनन एन्ट्रापी उपरोक्त $X$ को इस प्रकार परिभाषित किया गया है

$${\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}$$

अतः परिभाषा $X$ के अनुसार अपेक्षित मूल्य की माप की सूचना सामग्री के समान .

अपेक्षा को इसके समर्थन (गणित) पर असतत यादृच्छिक वेरिएबल पर लिया जाता है।

कभी-कभी, एन्ट्रापी को ही यादृच्छिक वेरिएबल की स्व-सूचना कहा जाता है, संभवतः इसलिए क्योंकि एन्ट्रापी $\mathrm {H} (X)=\operatorname {I} (X;X)$संतुष्ट करती है , जहाँ $\operatorname {I} (X;X)$ $X$ की पारस्परिक सूचना है

सतत यादृच्छिक वेरिएबल के लिए संबंधित अवधारणा विभेदक एन्ट्रापी है।

टिप्पणियाँ

इस उपाय को आश्चर्य भी कहा गया है, क्योंकि यह परिणाम देखने के "आश्चर्य" का प्रतिनिधित्व करता है (एक अत्यधिक असंभव परिणाम बहुत आश्चर्यजनक है)। यह शब्द (लॉग-प्रायिकता माप के रूप में) मायरोन ट्रिबस द्वारा उनकी 1961 की पुस्तक थर्मोस्टैटिक्स और थर्मोडायनामिक्स में गढ़ा गया था।.

जब घटना एक यादृच्छिक अहसास (एक वेरिएबल का) होती है तो वेरिएबल की आत्म-सूचना को अहसास की आत्म-सूचना के अपेक्षित मूल्य के रूप में परिभाषित किया जाता है।

स्व-सूचना उचित स्कोरिंग नियम का एक उदाहरण है

उदाहरण

निष्पक्ष सिक्का उछालना

$X$ सिक्का उछालने के बर्नौली परीक्षण पर विचार करें . सिक्के के शीर्ष के रूप में उतरने की घटना की संभावना (संभावना सिद्धांत)। ${\text{H}}$ और पट ${\text{T}}$ (निष्पक्ष सिक्का तथा अग्र एवं पृष्ठ देखें) प्रत्येक आधा-आधा है, ${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$. वेरिएबल को हेड के रूप में नमूनाकरण (सिग्नल प्रोसेसिंग) करने पर, संबंधित सूचना प्राप्त होती है

$$\operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,$$

इसलिए हेड के रूप में उतरने वाले उचित सिक्के का सूचना निवेश 1 शैनन (इकाई) है। इसी तरह, पूंछ मापने की सूचना प्राप्त होती है $T$ है

$$\operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.$$

निष्पक्ष पासा रोल

मान लीजिए कि हमारे पास निष्पक्ष छह-पक्षीय पासा. है। पासा पलटने का मान एक असतत एकसमान यादृच्छिक वैरिएबल$X\sim \mathrm {DU} [1,6]$ है जिसमे संभाव्यता द्रव्यमान फलन के साथ

$$p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}$$

किसी भी अन्य वैध रोल की तरह, 4 आने की प्रायिकता ${\textstyle p_{X}(4)={\frac {1}{6}}}$ है , 4 को रोल करने की सूचना सामग्री इस प्रकार है

$$\operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}$$

सूचना की।

दो स्वतंत्र, समान रूप से वितरित पासे

मान लीजिए कि हमारे पास दो स्वतंत्र, समान रूप से वितरित यादृच्छिक वेरिएबल हैं ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ प्रत्येक एक स्वतंत्र निष्पक्ष 6-पक्षीय पासा रोल के अनुरूप है। $X$ और $Y$ का संयुक्त संभाव्यता वितरण है

$${\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}$$

यादृच्छिक वेरिएबल की सूचना सामग्री $(X,Y)=(2,\,4)$ है

$${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}$$

और घटनाओं की संवेदनशीलता द्वारा भी गणना की जा सकती है

$${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}$$

रोल की आवृत्ति से सूचना

यदि हमें पासे के मूल्य के बारे में सुचना मिलती है, बिना यह जाने कि किस पासे का मूल्य क्या है, तो हम तथाकथित गणना वेरिएबल के साथ दृष्टिकोण को औपचारिक बना सकते हैं

$$C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}$$

के लिए $k\in \{1,2,3,4,5,6\}$, तब ${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$ और गिनती में बहुपद वितरण होता है

$${\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}$$

इसे सत्यापित करने के लिए, 6 परिणाम ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ घटना के अनुरूप $C_{k}=2$ और की कुल संभावना 1/6. ये एकमात्र ऐसी घटनाएँ हैं जिन्हें इस संवाद की पहचान के साथ निष्ठापूर्वक से संरक्षित किया गया है कि कौन सा पासा पलटा और कौन सा परिणाम निकला क्योंकि परिणाम समान हैं। अन्य संख्याओं को घुमाने वाले पासों को अलग करने के ज्ञान के बिना ${\textstyle {\binom {6}{2}}=15}$ संयोजन इस प्रकार हैं कि पासा संख्या को घुमाता है और दूसरा पासा अलग संख्या को घुमाता है, प्रत्येक की संभावना होती है 1/18. वास्तव में, ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$, आवश्यकता अनुसार।

आश्चर्य की बात नहीं है कि सीखने की सूचना सामग्री कि दोनों पासों को ही विशेष संख्या के रूप में घुमाया गया था, सीखने की सूचना सामग्री से अधिक है कि पासा संख्या थी और दूसरा अलग संख्या थी। उदाहरण के लिए घटनाओं को लीजिए $A_{k}=\{(X,Y)=(k,k)\}$ और $B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}$ के लिए $j\neq k,1\leq j,k\leq 6$. उदाहरण के लिए, $A_{2}=\{X=2{\text{ and }}Y=2\}$ और $B_{3,4}=\{(3,4),(4,3)\}$.

सूचना सामग्री हैं

$$\operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ Sh}}$$

$$\operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ Sh}}$$

मान लीजिये ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ऐसी घटना हो कि दोनों पासों का मूल्य समान हो और ${\text{Diff}}={\overline {\text{Same}}}$ ऐसा हो कि पासा अलग-अलग हो। तब ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ और ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$. घटनाओं की सूचना सामग्री हैं

$$\operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ Sh}}$$

$$\operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ Sh}}.$$

पासे के योग से सूचना

स्वतंत्र यादृच्छिक वेरिएबल के योग का संभाव्यता द्रव्यमान या घनत्व फलन (सामूहिक संभाव्यता माप) कनवल्शन या मापों का कनवल्शन है । स्वतंत्र निष्पक्ष 6-पक्षीय पासा रोल के मामले में, यादृच्छिक वेरिएबल $Z=X+Y$ संभाव्यता द्रव्यमान फलन ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$ है , जहाँ $*$ असतत कनवल्शन का प्रतिनिधित्व करता है। परिणाम (संभावना) $Z=5$ की प्रायिकता ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ है. इसलिए, दावा की गई सूचना है

$$\operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ Sh}}.$$

सामान्य असतत समान वितरण

सामान्यीकरण करना § निष्पक्ष पासा पलटना उपरोक्त उदाहरण में, सामान्य असतत समान यादृच्छिक वेरिएबल (डीयूआरवी) पर विचार करें $X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.$ सुविधा के लिए ${\textstyle N:=b-a+1}$ परिभाषित करें . प्रायिकता द्रव्यमान फलन है

$$p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}$$

सामान्यतः , डीयूआरवी के मानों को पूर्णांक होने की आवश्यकता नहीं है, या सूचना सिद्धांत के प्रयोजनों के लिए समान रूप से अंतरित होने की भी आवश्यकता नहीं है; उन्हें केवल समसंभाव्य होने की आवश्यकता है।किसी भी अवलोकन का सूचना निवेश $X=k$ है

$$\operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.$$

विशेष मामला: निरंतर यादृच्छिक चर

यदि $b=a$ ऊपर, $X$ नियतात्मक रूप से दिए गए संभाव्यता वितरण के साथ निरंतर यादृच्छिक वेरिएबल के लिए पतन (गणित)। $X=b$ और संभाव्यता डिराक माप ${\textstyle p_{X}(k)=\delta _{b}(k)}$ को मापती है . $X$ एकमात्र मूल्य नियतिवादी प्रणाली ले सकते हैं वह नियतात्मक रूप से $b$, है, इसलिए $X$ किसी भी माप की सूचना सामग्री है

$$\operatorname {I} _{X}(b)=-\log _{2}{1}=0.$$

सामान्यतः, किसी ज्ञात मूल्य को मापने से कोई सूचना प्राप्त नहीं होती है।

श्रेणीबद्ध वितरण

उपरोक्त सभी स्तिथियों को सामान्यीकृत करते हुए, ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ के समर्थन (गणित) और दिए गए संभाव्यता द्रव्यमान फलन के साथ एक श्रेणीबद्ध असतत यादृच्छिक वेरिएबल पर विचार करें

$$p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}$$

इस प्रकार से सूचना सिद्धांत के प्रयोजनों के लिए, $s\in {\mathcal {S}}$ मूल्यों का संख्याएँ होना आवश्यक नहीं है; वे परिमित माप के माप स्थान पर कोई परस्पर अनन्य घटनाएँ हो सकते हैं जिन्हें संभाव्यता माप $p$ के लिए सामान्यीकृत किया गया है, व्यापकता के नुकसान के बिना, हम मान सकते हैं कि श्रेणीबद्ध वितरण समुच्चय ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ पर समर्थित है, गणितीय संरचना संभाव्यता सिद्धांत के संदर्भ में आइसोमोर्फिक है और इसलिए सूचना सिद्धांत भी।

नतीजे की सूचना $X=x$ दिया हुआ है

$$\operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.$$

इन उदाहरणों से, सिग्मा एडिटिविटी द्वारा ज्ञात संभाव्यता वितरण के साथ स्वतंत्र यादृच्छिक वेरिएबल असतत यादृच्छिक वेरिएबल के किसी भी समुच्चय की सूचना की गणना करना संभव है।

व्युत्पत्ति

परिभाषा के अनुसार, सूचना रखने वाली मूल इकाई से सूचना प्राप्त करने वाली इकाई को तभी स्थानांतरित की जाती है, जब प्राप्तकर्ता को सूचना नहीं होती है। यदि प्राप्तकर्ता इकाई को संदेश प्राप्त करने से पहले संदेश की सामग्री निश्चित रूप से पता थी, तो प्राप्त संदेश की सूचना की मात्रा शून्य है। केवल तभी जब प्राप्तकर्ता को संदेश की सामग्री का अग्रिम ज्ञान 100% से कम हो, तभी संदेश वास्तव में सूचना संप्रेषित करता है।

इस प्रकार से उदाहरण के लिए, हास्य अभिनेता जॉर्ज कार्लिन के चरित्र (हिप्पी डिप्पी वेदरमैन) को उद्धृत करते हुए, आज रात के लिए मौसम का पूर्वानुमान: अंधेरा। रात भर अंधेरा प्रवाहित रहा, सुबह तक प्रकाश व्यापक रूप से फैली हुई थी। यह मानते हुए कि कोई व्यक्ति पृथ्वी के ध्रुवीय क्षेत्र के निकट नहीं रहता है, उस पूर्वानुमान में दर्शायी गई सूचना की मात्रा शून्य है क्योंकि पूर्वानुमान प्राप्त होने से पहले ही यह ज्ञात होता है कि अंधेरा सदैव रात के साथ आता है।

तदनुसार, किसी घटना की घटना (संभावना सिद्धांत) को सूचित करने वाली सामग्री को संदेश देने वाले संदेश में निहित स्व-सूचना की मात्रा, $\omega _{n}$, केवल उस घटना की संभावना पर निर्भर करता है।

$$\operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))$$

किसी फलन के लिए $f(\cdot )$ नीचे निर्धारित किया जाएगा. यदि $\operatorname {P} (\omega _{n})=1$, तब $\operatorname {I} (\omega _{n})=0$. यदि $\operatorname {P} (\omega _{n})<1$, तब $\operatorname {I} (\omega _{n})>0$.

इसके अतिरिक्त , परिभाषा के अनुसार, आत्म-सूचना का माप (गणित) गैर-नकारात्मक और योगात्मक है। यदि घटना $C$ की सूचना देने वाला संदेश दो सांख्यिकीय स्वतंत्रता घटनाओं $A$ और $B$ का प्रतिच्छेदन है, तो घटना $C$ की सूचना घटित होने वाली दोनों स्वतंत्र घटनाओं $A$ और $B$ के मिश्रित संदेश की है। मिश्रित संदेश $C$ की सूचना की मात्रा क्रमशः व्यक्तिगत घटक संदेश $A$ और $B$ की सूचना की मात्रा के समान होने की आशा की जाएगी:

$$\operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).$$

घटनाओं की स्वतंत्रता के कारण $A$ और $B$, घटना की संभावना $C$ है

$$\operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).$$

चूंकि , फलन प्रयुक्त करना $f(\cdot )$ का परिणाम

$${\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}$$

कॉची के कार्यात्मक समीकरण पर कार्य करने के लिए धन्यवाद, एकमात्र मोनोटोन फलन $f(\cdot )$ में ऐसी संपत्ति होना

$$f(x\cdot y)=f(x)+f(y)$$

लघुगणक फलन $\log _{b}(x)$ हैं . विभिन्न आधारों के लघुगणक के मध्य एकमात्र परिचालन अंतर अलग-अलग स्केलिंग स्थिरांक का है, इसलिए हम मान सकते हैं

$$f(x)=K\log(x)$$

जहाँ $\log$ प्राकृतिक लघुगणक है. चूँकि घटनाओं की संभावनाएँ हमेशा 0 और 1 के मध्य होती हैं और इन घटनाओं से जुड़ी सूचना गैर-नकारात्मक होनी चाहिए, इसके लिए यह आवश्यक है की $K<0$.

इन गुणों को ध्यान में रखते हुए, संभावना $\operatorname {I} (\omega _{n})$ के साथ परिणाम $\omega _{n}$ से जुड़ी स्व-सूचना $\operatorname {P} (\omega _{n})$ को इस प्रकार परिभाषित किया गया है:

$$\operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)$$

घटना $\omega _{n}$ की संभावना उतनी ही कम होगी , संदेश से जुड़ी आत्म-सूचना की मात्रा जितनी अधिक होगी कि घटना वास्तव में घटित हुई। यदि उपरोक्त लघुगणक आधार 2 है, तो $I(\omega _{n})$ की इकाई शैनन है. यह सबसे आम प्रथा है. आधार $e$ के प्राकृतिक लघुगणक का उपयोग करते समय , इकाई नेट (इकाई) होगी। आधार 10 लघुगणक के लिए, सूचना की इकाई हार्टले (इकाई) है।

एक त्वरित उदाहरण के रूप में, सिक्के के निरंतर 4 उछालों में 4 चित (या किसी विशिष्ट परिणाम) के परिणाम से जुड़ी सूचना सामग्री 4 शैनन (संभावना 1/16) होगी, और इसके अलावा परिणाम प्राप्त करने से जुड़ी सूचना सामग्री होगी निर्दिष्ट एक ~0.09 शैनन बिट्स (संभावना 15/16) होगा। विस्तृत उदाहरणों के लिए ऊपर देखें।

यह भी देखें

• आश्चर्यजनक विश्लेषण

अग्रिम पठन

• C.E. Shannon, A Mathematical Theory of Communication, Bell Systems Technical Journal, Vol. 27, pp 379–423, (Part I), 1948.

बाहरी संबंध

• Examples of surprisal measures
• "Surprisal" entry in a glossary of molecular information theory
• Bayesian Theory of Surprise