जानकारी सामग्री

सूचना सिद्धांत में, सूचना सामग्री, आत्म-सूचना, आश्चर्य, या शैनन सूचना यादृच्छिक वेरिएबल से होने वाली किसी विशेष घटना (संभावना सिद्धांत) की संभावना से प्राप्त मूल मात्रा है। इसे संभावना व्यक्त करने के वैकल्पिक विधि के रूप में विचार किया जा सकता है, सामान्य अनेक कठिनाइयाँ या लॉग-बाधाओं की तरह, किन्तु सूचना सिद्धांत की सेटिंग में इसके विशेष गणितीय लाभकारक हैं।

इस प्रकार से शैनन सूचना की व्याख्या किसी विशेष परिणाम के आश्चर्य के स्तर को मापने के रूप में की जा सकती है। चूंकि यह इतनी मूलभूत मात्रा है, यह कई अन्य सेटिंग्स में भी दिखाई देती है, जैसे यादृच्छिक वेरिएबल के इष्टतम शैनन के स्रोत कोडिंग प्रमेय को देखते हुए घटना को प्रसारित करने के लिए आवश्यक संदेश की लंबाई को दर्शाया गया है ।

शैनन की सूचना एंट्रॉपी (सूचना सिद्धांत) से निकटता से संबंधित है, जो यादृच्छिक वेरिएबल की आत्म-सूचना का अपेक्षित मूल्य है, जो यह निर्धारित करती है कि यादृच्छिक वेरिएबल औसतन कितना आश्चर्यजनक है। यह आत्म-सूचना की वह औसत मात्रा है जो पर्यवेक्षक किसी यादृच्छिक वेरिएबल को मापते समय उसके बारे में प्राप्त करने की अपेक्षा करता है।

अतः सूचना सामग्री को सूचना की विभिन्न इकाइयों में व्यक्त किया जा सकता है, जिनमें से अधिक समान बिट (अधिक सही रूप से शैनन कहा जाता है) है, जैसा कि नीचे बताया गया है।

परिभाषा

क्लाउड शैनन की आत्म-सूचना की परिभाषा को कई सिद्धांतों को पूरा करने के लिए चुना गया था:

1. 100% संभावना वाली घटना पूर्ण प्रकार से आश्चर्यजनक है और कोई सूचना नहीं देती है।
2. अनेक घटना जितनी कम संभावित होती है, वह उतनी ही अधिक आश्चर्यजनक होती है और उतनी ही अधिक सूचना देती है।
3. यदि दो स्वतंत्र घटनाओं को अलग-अलग मापा जाता है, तो सूचना की कुल मात्रा व्यक्तिगत घटनाओं की स्वयं-सूचना का योग है।

इस प्रकार से विस्तृत व्युत्पत्ति नीचे है, किन्तु यह दिखाया जा सकता है कि संभाव्यता का अनूठा कार्य है जो गुणक स्केलिंग कारक तक, इन तीन सिद्धांतों को पूरा करता है। सामान्यतः , वास्तविक संख्या $b>1$ दी गई है और घटना (संभावना सिद्धांत) $x$ संभाव्यता के साथ $P$, सूचना सामग्री को इस प्रकार परिभाषित किया गया है:

$$\mathrm {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.$$

आधार b उपरोक्त स्केलिंग कारक से मेल खाता है। b के विभिन्न विकल्प सूचना की विभिन्न इकाइयों के अनुरूप हैं: जब b = 2, इकाई शैनन (इकाई) (प्रतीक श) है, जिसे प्रायः 'बिट' कहा जाता है; जब b = e, इकाई नेट (इकाई) (प्रतीक नेट) है; और जब b = 10, इकाई हार्टले (इकाई) (प्रतीक हार्ट) है।

औपचारिक रूप से, यादृच्छिक वेरिएबल $X$ दिया गया है संभाव्यता द्रव्यमान फलन के साथ $p_{X}{\left(x\right)}$, मापने की स्व-सूचना $X$ परिणाम के रूप में (संभावना) $x$ परिभाषित किया जाता है

$$\operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.$$

इस प्रकार से उपरोक्त स्व-सूचना के लिए अंकन $I_{X}(x)$ का उपयोग सार्वभौमिक नहीं है। चूंकि संकेतन $I(X;Y)$ का उपयोग प्रायः पारस्परिक सूचना की संबंधित मात्रा के लिए भी किया जाता है, कई लेखक इसके अतिरिक्त स्व-एन्ट्रॉपी के लिए लोअरकेस $h_{X}(x)$ का उपयोग करते हैं, जो एन्ट्रॉपी के लिए पूंजी $H(X)$ के उपयोग को प्रतिबिंबित करता है।

गुण

संभाव्यता का नीरस रूप से घटता हुआ कार्य

किसी दिए गए संभाव्यता स्थान के लिए, दुर्लभ घटना (संभावना सिद्धांत) का माप सहज रूप से अधिक आश्चर्यजनक है, और अधिक सामान्य मूल्यों की तुलना में अधिक सूचना सामग्री प्रदान करता है। इस प्रकार, स्व-सूचना संभाव्यता का मोनोटोनिक फलन है, या कभी-कभी इसे एंटीटोनिक फलन भी कहा जाता है।

जबकि मानक संभावनाओं को अंतराल में वास्तविक संख्याओं $[0,1]$ द्वारा दर्शाया जाता है , आत्म-सूचना को अंतराल में विस्तारित वास्तविक संख्याओं $[0,\infty ]$ द्वारा दर्शाया जाता है . विशेष रूप से, लघुगणकीय आधार के किसी भी विकल्प के लिए हमारे पास निम्नलिखित हैं:

• यदि किसी विशेष घटना के घटित होने की 100% संभावना हो तो उसकी स्व-सूचना होती है $-\log(1)=0$: इसकी घटना बिल्कुल गैर-आश्चर्यजनक है और इससे कोई सूचना नहीं मिलती है।
• यदि किसी विशेष घटना के घटित होने की संभावना 0% है, तो उसकी स्व-सूचना है $-\log(0)=\infty$: इसकी घटना असीम रूप से आश्चर्यजनक है।

इससे, हम कुछ सामान्य गुण प्राप्त कर सकते हैं:

• सहज रूप से, किसी अप्रत्याशित घटना को देखने से अधिक सूचना प्राप्त होती है—यह आश्चर्यजनक है।
  • उदाहरण के लिए, यदि ऐलिस के लॉटरी जीतने की लाखों में से संभावना है, तो उसके दोस्त बॉब को यह जानने से लिए अधिक सूचना प्राप्त होगी कि उसने लॉटरी जीती है, अतिरिक्त इसके कि वह लॉटरी जीत गई है। निश्चित दिन. (लॉटरी गणित भी देखें।)
• यह यादृच्छिक वेरिएबल की आत्म-सूचना और उसके विचरण के मध्य अंतर्निहित संबंध स्थापित करता है।

लॉग-ऑड्स से संबंध

चूंकि शैनन सूचना लॉग-ऑड्स से निकटता से संबंधित है। विशेष रूप से, किसी घटना को देखते हुए $x$, मान लीजिये कि $p(x)$ की प्रायिकता है $x$ घटित हो रहा है, और वह $p(\lnot x)=1-p(x)$ की सम्भावना है $x$ घटित नहीं हो रहा है. फिर हमारे पास लॉग-ऑड्स की निम्नलिखित परिभाषा है:

$${\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)$$

इसे दो शैनन सूचनाओं के अंतर के रूप में व्यक्त किया जा सकता है:

$${\text{log-odds}}(x)=\mathrm {I} (\lnot x)-\mathrm {I} (x)$$

दूसरे शब्दों में, लॉग-ऑड्स की व्याख्या उस समय आश्चर्य के स्तर के रूप में की जा सकती है जब घटना नहीं होती है, घटना के घटित होने पर आश्चर्य के स्तर को घटा दिया जाता है।

स्वतंत्र घटनाओं की संयोजकता

दो स्वतंत्र घटनाओं की सूचना सामग्री प्रत्येक घटना की सूचना सामग्री का योग है। इस संपत्ति को गणित में योगात्मक मानचित्र के रूप में जाना जाता है, और विशेष रूप से माप (गणित) और संभाव्यता सिद्धांत में सिग्मा additivity के रूप में जाना जाता है। दो स्वतंत्र यादृच्छिक वेरिएबल पर विचार करें ${\textstyle X,\,Y}$ संभाव्यता जन कार्यों के साथ $p_{X}(x)$ और $p_{Y}(y)$ क्रमश। संयुक्त संभाव्यता द्रव्यमान फलन है

$$p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)$$

क्योंकि ${\textstyle X}$ और ${\textstyle Y}$ स्वतंत्रता (संभावना सिद्धांत) हैं। परिणाम की सूचना सामग्री (संभावना) $(X,Y)=(x,y)$ है

$${\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}$$

देखना§ Two independent, identically distributed dice उदाहरण के लिए नीचे।

संभावनाओं के लिए संबंधित संपत्ति यह है कि स्वतंत्र घटनाओं की लॉग-संभावना प्रत्येक घटना की लॉग-संभावनाओं का योग है। लॉग-संभावना को समर्थन या नकारात्मक आश्चर्य के रूप में व्याख्या करना (वह डिग्री जिस तक कोई घटना किसी दिए गए मॉडल का समर्थन करती है: मॉडल को किसी घटना द्वारा इस हद तक समर्थित किया जाता है कि घटना अप्रत्याशित है, मॉडल को देखते हुए), यह बताता है कि स्वतंत्र घटनाएं समर्थन जोड़ती हैं: दो घटनाएँ मिलकर सांख्यिकीय अनुमान के लिए जो सूचना प्रदान करती हैं, वह उनकी स्वतंत्र सूचना का योग है।

एंट्रॉपी से संबंध

यादृच्छिक वेरिएबल की शैनन एन्ट्रापी $X$ ऊपर शैनन एन्ट्रॉपी#परिभाषा है

$${\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}$$

परिभाषा के अनुसार अपेक्षित मूल्य की माप की सूचना सामग्री के बराबर $X$. अपेक्षा को इसके समर्थन (गणित) पर असतत यादृच्छिक वेरिएबल पर लिया जाता है।

कभी-कभी, एन्ट्रापी को ही यादृच्छिक वेरिएबल की स्व-सूचना कहा जाता है, संभवतः इसलिए क्योंकि एन्ट्रापी संतुष्ट करती है $\mathrm {H} (X)=\operatorname {I} (X;X)$, कहाँ $\operatorname {I} (X;X)$ की पारस्परिक सूचना है $X$ खुद के साथ.

सतत यादृच्छिक वेरिएबल के लिए संबंधित अवधारणा विभेदक एन्ट्रापी है।

टिप्पणियाँ

This measure has also been called surprisal, as it represents the "surprise" of seeing the outcome (a highly improbable outcome is very surprising). This term (as a log-probability measure) was coined by Myron Tribus in his 1961 book Thermostatics and Thermodynamics.

When the event is a random realization (of a variable) the self-information of the variable is defined as the expected value of the self-information of the realization.

Self-information is an example of a proper scoring rule.

उदाहरण

उचित सिक्का उछालना

सिक्का उछालने के बर्नौली परीक्षण पर विचार करें $X$. सिक्के के शीर्ष के रूप में उतरने की घटना की संभावना (संभावना सिद्धांत)। ${\text{H}}$ और पूँछ ${\text{T}}$ (निष्पक्ष सिक्का तथा अग्र एवं पृष्ठ देखें) प्रत्येक आधा-आधा है, ${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$. वैरिएबल को हेड के रूप में नमूनाकरण (सिग्नल प्रोसेसिंग) करने पर, संबंधित सूचना प्राप्त होती है

$$\operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,$$

इसलिए हेड के रूप में उतरने वाले उचित सिक्के का सूचना लाभ 1 शैनन (इकाई) है। इसी तरह, पूंछ मापने की सूचना प्राप्त होती है $T$ है

$$\operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.$$

निष्पक्ष पासा रोल

मान लीजिए कि हमारे पास अच्छा पासा है|एक अच्छा छह तरफा पासा। पासा पलटने का मूल्य असतत समान वितरण है $X\sim \mathrm {DU} [1,6]$ संभाव्यता द्रव्यमान फलन के साथ

$$p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}$$

4 आने की प्रायिकता है ${\textstyle p_{X}(4)={\frac {1}{6}}}$, किसी भी अन्य वैध रोल की तरह। 4 को रोल करने की सूचना सामग्री इस प्रकार है

$$\operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}$$

सूचना की।

दो स्वतंत्र, समान रूप से वितरित पासे

मान लीजिए कि हमारे पास दो स्वतंत्र और समान रूप से वितरित यादृच्छिक वेरिएबल हैं|स्वतंत्र, समान रूप से वितरित यादृच्छिक वेरिएबल ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ प्रत्येक स्वतंत्र यादृच्छिक वेरिएबल के अनुरूप 6-पक्षीय पासा रोल। की संयुक्त संभाव्यता वितरण $X$ और $Y$ है

$${\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}$$

यादृच्छिक वेरिएबल की सूचना सामग्री $(X,Y)=(2,\,4)$ है

$${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}$$

और स्वतंत्र घटनाओं की #Addivity द्वारा भी गणना की जा सकती है

$${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}$$

रोल की आवृत्ति से सूचना

यदि हमें पासे के मूल्य के बारे में सूचना प्राप्त होती है, तो बारह गुना विधि #केस एफएक्स में किस पासे का कौन सा मूल्य था, हम तथाकथित गिनती वेरिएबल के साथ दृष्टिकोण को औपचारिक रूप दे सकते हैं

$$C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}$$

के लिए $k\in \{1,2,3,4,5,6\}$, तब ${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$ और गिनती में बहुपद वितरण होता है

$${\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}$$

इसे सत्यापित करने के लिए, 6 परिणाम ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ घटना के अनुरूप $C_{k}=2$ और की कुल संभावना 1/6. ये एकमात्र ऐसी घटनाएँ हैं जिन्हें इस बात की पहचान के साथ ईमानदारी से संरक्षित किया गया है कि कौन सा पासा पलटा और कौन सा परिणाम निकला क्योंकि परिणाम समान हैं। अन्य संख्याओं को घुमाने वाले पासों को अलग करने के ज्ञान के बिना ${\textstyle {\binom {6}{2}}=15}$ संयोजन इस प्रकार हैं कि पासा संख्या को घुमाता है और दूसरा पासा अलग संख्या को घुमाता है, प्रत्येक की संभावना होती है 1/18. वास्तव में, ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$, आवश्यकता अनुसार।

आश्चर्य की बात नहीं है कि सीखने की सूचना सामग्री कि दोनों पासों को ही विशेष संख्या के रूप में घुमाया गया था, सीखने की सूचना सामग्री से अधिक है कि पासा संख्या थी और दूसरा अलग संख्या थी। उदाहरण के लिए घटनाओं को लीजिए $A_{k}=\{(X,Y)=(k,k)\}$ और $B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}$ के लिए $j\neq k,1\leq j,k\leq 6$. उदाहरण के लिए, $A_{2}=\{X=2{\text{ and }}Y=2\}$ और $B_{3,4}=\{(3,4),(4,3)\}$.

सूचना सामग्री हैं

$$\operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ Sh}}$$

$$\operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ Sh}}$$

होने देना ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ऐसी घटना हो कि दोनों पासों का मूल्य समान हो और ${\text{Diff}}={\overline {\text{Same}}}$ ऐसा हो कि पासा अलग-अलग हो। तब ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ और ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$. घटनाओं की सूचना सामग्री हैं

$$\operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ Sh}}$$

$$\operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ Sh}}.$$

पासे के योग से सूचना

स्वतंत्र यादृच्छिक चरों के योग का संभाव्यता द्रव्यमान या घनत्व फलन (सामूहिक संभाव्यता माप) कनवल्शन#मापों का कनवल्शन। स्वतंत्र निष्पक्ष 6-पक्षीय पासा रोल के मामले में, यादृच्छिक वेरिएबल $Z=X+Y$ संभाव्यता द्रव्यमान फलन है ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$, कहाँ $*$ असतत कनवल्शन का प्रतिनिधित्व करता है। परिणाम (संभावना) $Z=5$ संभावना है ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$. इसलिए, दावा की गई सूचना है

$$\operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ Sh}}.$$

सामान्य असतत समान वितरण

सामान्यीकरण करना § Fair dice roll उपरोक्त उदाहरण में, सामान्य असतत समान यादृच्छिक वेरिएबल (DURV) पर विचार करें $X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.$ सुविधा के लिए परिभाषित करें ${\textstyle N:=b-a+1}$. प्रायिकता द्रव्यमान फलन है

$$p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}$$

सामान्य तौर पर, DURV के मानों को पूर्णांक होने की आवश्यकता नहीं है, या सूचना सिद्धांत के प्रयोजनों के लिए समान रूप से अंतरित होने की भी आवश्यकता नहीं है; उन्हें केवल समसंभाव्य होने की आवश्यकता है।किसी भी अवलोकन का सूचना लाभ $X=k$ है

$$\operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.$$

विशेष मामला: निरंतर यादृच्छिक चर

अगर $b=a$ ऊपर, $X$ नियतात्मक रूप से दिए गए संभाव्यता वितरण के साथ निरंतर यादृच्छिक वेरिएबल के लिए पतन (गणित)। $X=b$ और संभाव्यता डिराक माप को मापती है ${\textstyle p_{X}(k)=\delta _{b}(k)}$. एकमात्र मूल्य $X$ नियतिवादी प्रणाली ले सकते हैं $b$, इसलिए किसी भी माप की सूचना सामग्री $X$ है

$$\operatorname {I} _{X}(b)=-\log _{2}{1}=0.$$

सामान्य तौर पर, किसी ज्ञात मूल्य को मापने से कोई सूचना प्राप्त नहीं होती है।

श्रेणीबद्ध वितरण

उपरोक्त सभी मामलों को सामान्यीकृत करते हुए, समर्थन (गणित) के साथ श्रेणीबद्ध वेरिएबल असतत यादृच्छिक वेरिएबल पर विचार करें ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ और संभाव्यता द्रव्यमान फलन द्वारा दिया गया

$$p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}$$

सूचना सिद्धांत के प्रयोजनों के लिए, मूल्य $s\in {\mathcal {S}}$ संख्याएँ होना आवश्यक नहीं है; वे परिमित माप के माप स्थान पर कोई भी पारस्परिक रूप से अनन्य # संभाव्यता घटना (संभावना सिद्धांत) हो सकते हैं जो संभाव्यता माप के लिए सामान्यीकरण (सांख्यिकी) रहा है $p$. व्यापकता की हानि के बिना, हम मान सकते हैं कि सेट पर श्रेणीबद्ध वितरण समर्थित है ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$; संभाव्यता सिद्धांत और इसलिए सूचना सिद्धांत के संदर्भ में गणितीय संरचना समरूपता है।

नतीजे की सूचना $X=x$ दिया हुआ है

$$\operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.$$

इन उदाहरणों से, सिग्मा एडिटिविटी द्वारा ज्ञात संभाव्यता वितरण के साथ स्वतंत्र यादृच्छिक वेरिएबल असतत यादृच्छिक वेरिएबल के किसी भी सेट की सूचना की गणना करना संभव है।

व्युत्पत्ति

परिभाषा के अनुसार, सूचना रखने वाली मूल इकाई से सूचना प्राप्त करने वाली इकाई को तभी स्थानांतरित की जाती है, जब प्राप्तकर्ता को सूचना नहीं होती है। यदि प्राप्तकर्ता इकाई को संदेश प्राप्त करने से पहले संदेश की सामग्री निश्चित रूप से पता थी, तो प्राप्त संदेश की सूचना की मात्रा शून्य है। केवल तभी जब प्राप्तकर्ता को संदेश की सामग्री का अग्रिम ज्ञान 100% से कम हो, तभी संदेश वास्तव में सूचना संप्रेषित करता है।

उदाहरण के लिए, हास्य अभिनेता जॉर्ज कार्लिन के चरित्र (हिप्पी डिप्पी वेदरमैन) को उद्धृत करते हुए, आज रात के लिए मौसम का पूर्वानुमान: अंधेरा। रात भर अंधेरा जारी रहा, सुबह तक रोशनी व्यापक रूप से बिखरी हुई थी। यह मानते हुए कि कोई व्यक्ति पृथ्वी के ध्रुवीय क्षेत्रों के निकट नहीं रहता है, उस पूर्वानुमान में बताई गई सूचना की मात्रा शून्य है क्योंकि पूर्वानुमान प्राप्त होने से पहले ही यह ज्ञात होता है कि अंधेरा हमेशा रात के साथ आता है।

तदनुसार, किसी घटना की घटना (संभावना सिद्धांत) को सूचित करने वाली सामग्री को संदेश देने वाले संदेश में निहित स्व-सूचना की मात्रा, $\omega _{n}$, केवल उस घटना की संभावना पर निर्भर करता है।

$$\operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))$$

किसी समारोह के लिए $f(\cdot )$ नीचे निर्धारित किया जाएगा. अगर $\operatorname {P} (\omega _{n})=1$, तब $\operatorname {I} (\omega _{n})=0$. अगर $\operatorname {P} (\omega _{n})<1$, तब $\operatorname {I} (\omega _{n})>0$.

इसके अलावा, परिभाषा के अनुसार, आत्म-सूचना का माप (गणित) गैर-नकारात्मक और योगात्मक है। यदि कोई संदेश घटना की सूचना देता है $C$ दो सांख्यिकीय स्वतंत्रता घटनाओं का प्रतिच्छेदन है $A$ और $B$, फिर घटना की सूचना $C$ घटित होना दोनों स्वतंत्र घटनाओं के मिश्रित संदेश का है $A$ और $B$ घटित हो रहा है. मिश्रित संदेश की सूचना की मात्रा $C$ व्यक्तिगत घटक संदेशों की सूचना की मात्रा के योग के बराबर होने की उम्मीद की जाएगी $A$ और $B$ क्रमश:

$$\operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).$$

घटनाओं की स्वतंत्रता के कारण $A$ और $B$, घटना की संभावना $C$ है

$$\operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).$$

हालाँकि, फलन लागू करना $f(\cdot )$ का परिणाम

$${\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}$$

कॉची के कार्यात्मक समीकरण पर काम करने के लिए धन्यवाद, एकमात्र मोनोटोन कार्य $f(\cdot )$ ऐसी संपत्ति होना

$$f(x\cdot y)=f(x)+f(y)$$

लघुगणक फलन हैं $\log _{b}(x)$. विभिन्न आधारों के लघुगणक के मध्य एकमात्र परिचालन अंतर अलग-अलग स्केलिंग स्थिरांक का है, इसलिए हम मान सकते हैं

$$f(x)=K\log(x)$$

कहाँ $\log$ प्राकृतिक लघुगणक है. चूँकि घटनाओं की संभावनाएँ हमेशा 0 और 1 के मध्य होती हैं और इन घटनाओं से जुड़ी सूचना गैर-नकारात्मक होनी चाहिए, इसके लिए यह आवश्यक है $K<0$.

इन गुणों को ध्यान में रखते हुए, आत्म-सूचना $\operatorname {I} (\omega _{n})$ परिणाम से सम्बंधित $\omega _{n}$ संभाव्यता के साथ $\operatorname {P} (\omega _{n})$ परिभाषित किया जाता है:

$$\operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)$$

घटना की संभावना उतनी ही कम होगी $\omega _{n}$, संदेश से जुड़ी आत्म-सूचना की मात्रा जितनी अधिक होगी कि घटना वास्तव में घटित हुई। यदि उपरोक्त लघुगणक आधार 2 है, तो की इकाई $I(\omega _{n})$ अंश ्स है. यह सबसे आम प्रथा है. आधार के प्राकृतिक लघुगणक का उपयोग करते समय $e$, इकाई नेट (इकाई) होगी। आधार 10 लघुगणक के लिए, सूचना की इकाई हार्टले (इकाई) है।

एक त्वरित उदाहरण के रूप में, सिक्के के लगातार 4 उछाल में 4 चित (या किसी विशिष्ट परिणाम) के परिणाम से जुड़ी सूचना सामग्री 4 बिट्स (संभावना 1/16) होगी, और परिणाम प्राप्त करने से जुड़ी सूचना सामग्री इसके अलावा होगी निर्दिष्ट ~0.09 बिट्स (संभावना 15/16) होगा। विस्तृत उदाहरणों के लिए ऊपर देखें।

यह भी देखें

• आश्चर्यजनक विश्लेषण

अग्रिम पठन

• C.E. Shannon, A Mathematical Theory of Communication, Bell Systems Technical Journal, Vol. 27, pp 379–423, (Part I), 1948.

बाहरी संबंध

• Examples of surprisal measures
• "Surprisal" entry in a glossary of molecular information theory
• Bayesian Theory of Surprise