जानकारी सामग्री

सूचना सिद्धांत में, सूचना सामग्री, आत्म-सूचना, आश्चर्य, या शैनन जानकारी एक यादृच्छिक चर से होने वाली किसी विशेष घटना (संभावना सिद्धांत) की संभावना से प्राप्त एक मूल मात्रा है। इसे संभावना व्यक्त करने के एक वैकल्पिक तरीके के रूप में सोचा जा सकता है, बहुत कुछ कठिनाइयाँ या लॉग-बाधाओं की तरह, लेकिन सूचना सिद्धांत की सेटिंग में इसके विशेष गणितीय फायदे हैं।

शैनन जानकारी की व्याख्या किसी विशेष परिणाम के आश्चर्य के स्तर को मापने के रूप में की जा सकती है। चूंकि यह इतनी बुनियादी मात्रा है, यह कई अन्य सेटिंग्स में भी दिखाई देती है, जैसे यादृच्छिक चर के इष्टतम शैनन के स्रोत कोडिंग प्रमेय को देखते हुए घटना को प्रसारित करने के लिए आवश्यक संदेश की लंबाई।

शैनन की जानकारी एंट्रॉपी (सूचना सिद्धांत) से निकटता से संबंधित है, जो एक यादृच्छिक चर की आत्म-जानकारी का अपेक्षित मूल्य है, जो यह निर्धारित करती है कि यादृच्छिक चर औसतन कितना आश्चर्यजनक है। यह आत्म-सूचना की वह औसत मात्रा है जो एक पर्यवेक्षक किसी यादृच्छिक चर को मापते समय उसके बारे में प्राप्त करने की अपेक्षा करता है। सूचना सामग्री को सूचना की विभिन्न इकाइयों में व्यक्त किया जा सकता है, जिनमें से सबसे आम बिट (अधिक सही ढंग से शैनन कहा जाता है) है, जैसा कि नीचे बताया गया है।

परिभाषा

क्लाउड शैनन की आत्म-सूचना की परिभाषा को कई सिद्धांतों को पूरा करने के लिए चुना गया था:

1. 100% संभावना वाली एक घटना पूरी तरह से आश्चर्यजनक है और कोई जानकारी नहीं देती है।
2. कोई घटना जितनी कम संभावित होती है, वह उतनी ही अधिक आश्चर्यजनक होती है और उतनी ही अधिक जानकारी देती है।
3. यदि दो स्वतंत्र घटनाओं को अलग-अलग मापा जाता है, तो जानकारी की कुल मात्रा व्यक्तिगत घटनाओं की स्वयं-जानकारी का योग है।

विस्तृत व्युत्पत्ति नीचे है, लेकिन यह दिखाया जा सकता है कि संभाव्यता का एक अनूठा कार्य है जो गुणक स्केलिंग कारक तक, इन तीन सिद्धांतों को पूरा करता है। मोटे तौर पर, एक वास्तविक संख्या दी गई है $b>1$ और एक घटना (संभावना सिद्धांत) $x$ संभाव्यता के साथ $P$, सूचना सामग्री को इस प्रकार परिभाषित किया गया है:

$$\mathrm {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.$$

आधार b उपरोक्त स्केलिंग कारक से मेल खाता है। बी के विभिन्न विकल्प सूचना की विभिन्न इकाइयों के अनुरूप हैं: कब b = 2, इकाई शैनन (इकाई) (प्रतीक श) है, जिसे अक्सर 'बिट' कहा जाता है; कब b = e, इकाई नेट (इकाई) (प्रतीक नेट) है; और जब b = 10, इकाई हार्टले (इकाई) (प्रतीक हार्ट) है।

औपचारिक रूप से, एक यादृच्छिक चर दिया गया है $X$ संभाव्यता द्रव्यमान फ़ंक्शन के साथ $p_{X}{\left(x\right)}$, मापने की स्व-जानकारी $X$ परिणाम के रूप में (संभावना) $x$ परिभाषित किया जाता है

$$\operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.$$

संकेतन का प्रयोग $I_{X}(x)$ उपरोक्त स्व-जानकारी सार्वभौमिक नहीं है। अंकन के बाद से $I(X;Y)$ इसका उपयोग अक्सर आपसी जानकारी की संबंधित मात्रा के लिए भी किया जाता है, कई लेखक छोटे अक्षरों का उपयोग करते हैं $h_{X}(x)$ इसके बजाय, पूंजी के उपयोग को प्रतिबिंबित करते हुए, स्व-एन्ट्रापी के लिए $H(X)$ एन्ट्रापी के लिए.

गुण

संभाव्यता का नीरस रूप से घटता हुआ कार्य

किसी दिए गए संभाव्यता स्थान के लिए, दुर्लभ घटना (संभावना सिद्धांत) का माप सहज रूप से अधिक आश्चर्यजनक है, और अधिक सामान्य मूल्यों की तुलना में अधिक जानकारी सामग्री प्रदान करता है। इस प्रकार, स्व-जानकारी संभाव्यता का एक मोनोटोनिक फ़ंक्शन है, या कभी-कभी इसे एंटीटोनिक फ़ंक्शन भी कहा जाता है।

जबकि मानक संभावनाओं को अंतराल में वास्तविक संख्याओं द्वारा दर्शाया जाता है $[0,1]$, आत्म-जानकारी को अंतराल में विस्तारित वास्तविक संख्याओं द्वारा दर्शाया जाता है $[0,\infty ]$. विशेष रूप से, लघुगणकीय आधार के किसी भी विकल्प के लिए हमारे पास निम्नलिखित हैं:

• यदि किसी विशेष घटना के घटित होने की 100% संभावना हो तो उसकी स्व-जानकारी होती है $-\log(1)=0$: इसकी घटना बिल्कुल गैर-आश्चर्यजनक है और इससे कोई जानकारी नहीं मिलती है।
• यदि किसी विशेष घटना के घटित होने की संभावना 0% है, तो उसकी स्व-जानकारी है $-\log(0)=\infty$: इसकी घटना असीम रूप से आश्चर्यजनक है।

इससे, हम कुछ सामान्य गुण प्राप्त कर सकते हैं:

• सहज रूप से, किसी अप्रत्याशित घटना को देखने से अधिक जानकारी प्राप्त होती है—यह आश्चर्यजनक है।
  • उदाहरण के लिए, यदि ऐलिस के लॉटरी जीतने की लाखों में से एक संभावना है, तो उसके दोस्त बॉब को यह जानने से काफी अधिक जानकारी प्राप्त होगी कि उसने लॉटरी जीती है, बजाय इसके कि वह लॉटरी जीत गई है। एक निश्चित दिन. (लॉटरी गणित भी देखें।)
• यह एक यादृच्छिक चर की आत्म-जानकारी और उसके विचरण के बीच एक अंतर्निहित संबंध स्थापित करता है।

लॉग-ऑड्स से संबंध

शैनन जानकारी लॉग-ऑड्स से निकटता से संबंधित है। विशेष रूप से, किसी घटना को देखते हुए $x$, लगता है कि $p(x)$ की सम्भावना है $x$ घटित हो रहा है, और वह $p(\lnot x)=1-p(x)$ की सम्भावना है $x$ घटित नहीं हो रहा है. फिर हमारे पास लॉग-ऑड्स की निम्नलिखित परिभाषा है:

$${\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)$$

इसे दो शैनन सूचनाओं के अंतर के रूप में व्यक्त किया जा सकता है:

$${\text{log-odds}}(x)=\mathrm {I} (\lnot x)-\mathrm {I} (x)$$

दूसरे शब्दों में, लॉग-ऑड्स की व्याख्या उस समय आश्चर्य के स्तर के रूप में की जा सकती है जब घटना नहीं होती है, घटना के घटित होने पर आश्चर्य के स्तर को घटा दिया जाता है।

स्वतंत्र घटनाओं की संयोजकता

दो स्वतंत्र घटनाओं की सूचना सामग्री प्रत्येक घटना की सूचना सामग्री का योग है। इस संपत्ति को गणित में योगात्मक मानचित्र के रूप में जाना जाता है, और विशेष रूप से माप (गणित) और संभाव्यता सिद्धांत में सिग्मा additivity के रूप में जाना जाता है। दो स्वतंत्र यादृच्छिक चर पर विचार करें ${\textstyle X,\,Y}$ संभाव्यता जन कार्यों के साथ $p_{X}(x)$ और $p_{Y}(y)$ क्रमश। संयुक्त संभाव्यता द्रव्यमान फलन है

$$p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)$$

क्योंकि ${\textstyle X}$ और ${\textstyle Y}$ स्वतंत्रता (संभावना सिद्धांत) हैं। परिणाम की सूचना सामग्री (संभावना) $(X,Y)=(x,y)$ है

$${\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}$$

देखना§ Two independent, identically distributed dice उदाहरण के लिए नीचे।

संभावनाओं के लिए संबंधित संपत्ति यह है कि स्वतंत्र घटनाओं की लॉग-संभावना प्रत्येक घटना की लॉग-संभावनाओं का योग है। लॉग-संभावना को समर्थन या नकारात्मक आश्चर्य के रूप में व्याख्या करना (वह डिग्री जिस तक कोई घटना किसी दिए गए मॉडल का समर्थन करती है: एक मॉडल को किसी घटना द्वारा इस हद तक समर्थित किया जाता है कि घटना अप्रत्याशित है, मॉडल को देखते हुए), यह बताता है कि स्वतंत्र घटनाएं समर्थन जोड़ती हैं: दो घटनाएँ मिलकर सांख्यिकीय अनुमान के लिए जो जानकारी प्रदान करती हैं, वह उनकी स्वतंत्र जानकारी का योग है।

एंट्रॉपी से संबंध

यादृच्छिक चर की शैनन एन्ट्रापी $X$ ऊपर शैनन एन्ट्रॉपी#परिभाषा है

$${\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}$$

परिभाषा के अनुसार अपेक्षित मूल्य की माप की जानकारी सामग्री के बराबर $X$. अपेक्षा को इसके समर्थन (गणित) पर असतत यादृच्छिक चर पर लिया जाता है।

कभी-कभी, एन्ट्रापी को ही यादृच्छिक चर की स्व-सूचना कहा जाता है, संभवतः इसलिए क्योंकि एन्ट्रापी संतुष्ट करती है $\mathrm {H} (X)=\operatorname {I} (X;X)$, कहाँ $\operatorname {I} (X;X)$ की पारस्परिक जानकारी है $X$ खुद के साथ. सतत यादृच्छिक चर के लिए संबंधित अवधारणा विभेदक एन्ट्रापी है।

टिप्पणियाँ

This measure has also been called surprisal, as it represents the "surprise" of seeing the outcome (a highly improbable outcome is very surprising). This term (as a log-probability measure) was coined by Myron Tribus in his 1961 book Thermostatics and Thermodynamics.

When the event is a random realization (of a variable) the self-information of the variable is defined as the expected value of the self-information of the realization.

Self-information is an example of a proper scoring rule.

उदाहरण

उचित सिक्का उछालना

सिक्का उछालने के बर्नौली परीक्षण पर विचार करें $X$. सिक्के के शीर्ष के रूप में उतरने की घटना की संभावना (संभावना सिद्धांत)। ${\text{H}}$ और पूँछ ${\text{T}}$ (निष्पक्ष सिक्का तथा अग्र एवं पृष्ठ देखें) प्रत्येक आधा-आधा है, ${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$. वैरिएबल को हेड के रूप में नमूनाकरण (सिग्नल प्रोसेसिंग) करने पर, संबंधित जानकारी प्राप्त होती है

$$\operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,$$

इसलिए हेड के रूप में उतरने वाले एक उचित सिक्के का सूचना लाभ 1 शैनन (इकाई) है।इसी तरह, पूंछ मापने की जानकारी प्राप्त होती है $T$ है

$$\operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.$$

निष्पक्ष पासा रोल

मान लीजिए कि हमारे पास एक अच्छा पासा है|एक अच्छा छह तरफा पासा। एक पासा पलटने का मूल्य एक असतत समान वितरण है $X\sim \mathrm {DU} [1,6]$ संभाव्यता द्रव्यमान फ़ंक्शन के साथ

$$p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}$$

4 आने की प्रायिकता है ${\textstyle p_{X}(4)={\frac {1}{6}}}$, किसी भी अन्य वैध रोल की तरह। 4 को रोल करने की सूचना सामग्री इस प्रकार है

$$\operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}$$

जानकारी की।

दो स्वतंत्र, समान रूप से वितरित पासे

मान लीजिए कि हमारे पास दो स्वतंत्र और समान रूप से वितरित यादृच्छिक चर हैं|स्वतंत्र, समान रूप से वितरित यादृच्छिक चर ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ प्रत्येक एक स्वतंत्र यादृच्छिक चर के अनुरूप 6-पक्षीय पासा रोल। की संयुक्त संभाव्यता वितरण $X$ और $Y$ है

$${\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}$$

यादृच्छिक चर की सूचना सामग्री $(X,Y)=(2,\,4)$ है

$${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}$$

और स्वतंत्र घटनाओं की #Addivity द्वारा भी गणना की जा सकती है

$${\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}$$

रोल की आवृत्ति से जानकारी

यदि हमें पासे के मूल्य के बारे में जानकारी प्राप्त होती है, तो बारह गुना तरीके#केस एफएक्स में किस पासे का कौन सा मूल्य था, हम तथाकथित गिनती चर के साथ दृष्टिकोण को औपचारिक रूप दे सकते हैं

$$C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}$$

के लिए $k\in \{1,2,3,4,5,6\}$, तब ${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$ और गिनती में बहुपद वितरण होता है

$${\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}$$

इसे सत्यापित करने के लिए, 6 परिणाम ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ घटना के अनुरूप $C_{k}=2$ और की कुल संभावना 1/6. ये एकमात्र ऐसी घटनाएँ हैं जिन्हें इस बात की पहचान के साथ ईमानदारी से संरक्षित किया गया है कि कौन सा पासा पलटा और कौन सा परिणाम निकला क्योंकि परिणाम समान हैं। अन्य संख्याओं को घुमाने वाले पासों को अलग करने के ज्ञान के बिना ${\textstyle {\binom {6}{2}}=15}$ संयोजन इस प्रकार हैं कि एक पासा एक संख्या को घुमाता है और दूसरा पासा एक अलग संख्या को घुमाता है, प्रत्येक की संभावना होती है 1/18. वास्तव में, ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$, आवश्यकता अनुसार।

आश्चर्य की बात नहीं है कि सीखने की सूचना सामग्री कि दोनों पासों को एक ही विशेष संख्या के रूप में घुमाया गया था, सीखने की सूचना सामग्री से अधिक है कि एक पासा एक संख्या थी और दूसरा एक अलग संख्या थी। उदाहरण के लिए घटनाओं को लीजिए $A_{k}=\{(X,Y)=(k,k)\}$ और $B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}$ के लिए $j\neq k,1\leq j,k\leq 6$. उदाहरण के लिए, $A_{2}=\{X=2{\text{ and }}Y=2\}$ और $B_{3,4}=\{(3,4),(4,3)\}$.

सूचना सामग्री हैं

$$\operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ Sh}}$$

$$\operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ Sh}}$$

होने देना ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ऐसी घटना हो कि दोनों पासों का मूल्य समान हो और ${\text{Diff}}={\overline {\text{Same}}}$ ऐसा हो कि पासा अलग-अलग हो। तब ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ और ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$. घटनाओं की सूचना सामग्री हैं

$$\operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ Sh}}$$

$$\operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ Sh}}.$$

पासे के योग से जानकारी

स्वतंत्र यादृच्छिक चरों के योग का संभाव्यता द्रव्यमान या घनत्व फ़ंक्शन (सामूहिक संभाव्यता माप) कनवल्शन#मापों का कनवल्शन। स्वतंत्र निष्पक्ष 6-पक्षीय पासा रोल के मामले में, यादृच्छिक चर $Z=X+Y$ संभाव्यता द्रव्यमान फलन है ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$, कहाँ $*$ असतत कनवल्शन का प्रतिनिधित्व करता है। परिणाम (संभावना) $Z=5$ संभावना है ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$. इसलिए, दावा की गई जानकारी है

$$\operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ Sh}}.$$

सामान्य असतत समान वितरण

सामान्यीकरण करना § Fair dice roll उपरोक्त उदाहरण में, एक सामान्य असतत समान यादृच्छिक चर (DURV) पर विचार करें $X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.$ सुविधा के लिए परिभाषित करें ${\textstyle N:=b-a+1}$. प्रायिकता द्रव्यमान फलन है

$$p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}$$

सामान्य तौर पर, DURV के मानों को पूर्णांक होने की आवश्यकता नहीं है, या सूचना सिद्धांत के प्रयोजनों के लिए समान रूप से अंतरित होने की भी आवश्यकता नहीं है; उन्हें केवल समसंभाव्य होने की आवश्यकता है।किसी भी अवलोकन का सूचना लाभ $X=k$ है

$$\operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.$$

विशेष मामला: निरंतर यादृच्छिक चर

अगर $b=a$ ऊपर, $X$ नियतात्मक रूप से दिए गए संभाव्यता वितरण के साथ एक निरंतर यादृच्छिक चर के लिए पतन (गणित)। $X=b$ और संभाव्यता डिराक माप को मापती है ${\textstyle p_{X}(k)=\delta _{b}(k)}$. एकमात्र मूल्य $X$ नियतिवादी प्रणाली ले सकते हैं $b$, इसलिए किसी भी माप की सूचना सामग्री $X$ है

$$\operatorname {I} _{X}(b)=-\log _{2}{1}=0.$$

सामान्य तौर पर, किसी ज्ञात मूल्य को मापने से कोई जानकारी प्राप्त नहीं होती है।

श्रेणीबद्ध वितरण

उपरोक्त सभी मामलों को सामान्यीकृत करते हुए, समर्थन (गणित) के साथ एक श्रेणीबद्ध चर असतत यादृच्छिक चर पर विचार करें ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ और संभाव्यता द्रव्यमान फ़ंक्शन द्वारा दिया गया

$$p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}$$

सूचना सिद्धांत के प्रयोजनों के लिए, मूल्य $s\in {\mathcal {S}}$ संख्याएँ होना आवश्यक नहीं है; वे परिमित माप के माप स्थान पर कोई भी पारस्परिक रूप से अनन्य # संभाव्यता घटना (संभावना सिद्धांत) हो सकते हैं जो संभाव्यता माप के लिए सामान्यीकरण (सांख्यिकी) रहा है $p$. व्यापकता की हानि के बिना, हम मान सकते हैं कि सेट पर श्रेणीबद्ध वितरण समर्थित है ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$; संभाव्यता सिद्धांत और इसलिए सूचना सिद्धांत के संदर्भ में गणितीय संरचना समरूपता है।

नतीजे की जानकारी $X=x$ दिया हुआ है

$$\operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.$$

इन उदाहरणों से, सिग्मा एडिटिविटी द्वारा ज्ञात संभाव्यता वितरण के साथ स्वतंत्र यादृच्छिक चर असतत यादृच्छिक चर के किसी भी सेट की जानकारी की गणना करना संभव है।

व्युत्पत्ति

परिभाषा के अनुसार, जानकारी रखने वाली एक मूल इकाई से जानकारी प्राप्त करने वाली इकाई को तभी स्थानांतरित की जाती है, जब प्राप्तकर्ता को जानकारी नहीं होती है। यदि प्राप्तकर्ता इकाई को संदेश प्राप्त करने से पहले संदेश की सामग्री निश्चित रूप से पता थी, तो प्राप्त संदेश की जानकारी की मात्रा शून्य है। केवल तभी जब प्राप्तकर्ता को संदेश की सामग्री का अग्रिम ज्ञान 100% से कम हो, तभी संदेश वास्तव में जानकारी संप्रेषित करता है।

उदाहरण के लिए, हास्य अभिनेता जॉर्ज कार्लिन के एक चरित्र (हिप्पी डिप्पी वेदरमैन) को उद्धृत करते हुए, आज रात के लिए मौसम का पूर्वानुमान: अंधेरा। रात भर अंधेरा जारी रहा, सुबह तक रोशनी व्यापक रूप से बिखरी हुई थी। यह मानते हुए कि कोई व्यक्ति पृथ्वी के ध्रुवीय क्षेत्रों के निकट नहीं रहता है, उस पूर्वानुमान में बताई गई जानकारी की मात्रा शून्य है क्योंकि पूर्वानुमान प्राप्त होने से पहले ही यह ज्ञात होता है कि अंधेरा हमेशा रात के साथ आता है।

तदनुसार, किसी घटना की घटना (संभावना सिद्धांत) को सूचित करने वाली सामग्री को संदेश देने वाले संदेश में निहित स्व-जानकारी की मात्रा, $\omega _{n}$, केवल उस घटना की संभावना पर निर्भर करता है।

$$\operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))$$

किसी समारोह के लिए $f(\cdot )$ नीचे निर्धारित किया जाएगा. अगर $\operatorname {P} (\omega _{n})=1$, तब $\operatorname {I} (\omega _{n})=0$. अगर $\operatorname {P} (\omega _{n})<1$, तब $\operatorname {I} (\omega _{n})>0$.

इसके अलावा, परिभाषा के अनुसार, आत्म-जानकारी का माप (गणित) गैर-नकारात्मक और योगात्मक है। यदि कोई संदेश घटना की सूचना देता है $C$ दो सांख्यिकीय स्वतंत्रता घटनाओं का प्रतिच्छेदन है $A$ और $B$, फिर घटना की जानकारी $C$ घटित होना दोनों स्वतंत्र घटनाओं के मिश्रित संदेश का है $A$ और $B$ घटित हो रहा है. मिश्रित संदेश की जानकारी की मात्रा $C$ व्यक्तिगत घटक संदेशों की जानकारी की मात्रा के योग के बराबर होने की उम्मीद की जाएगी $A$ और $B$ क्रमश:

$$\operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).$$

घटनाओं की स्वतंत्रता के कारण $A$ और $B$, घटना की संभावना $C$ है

$$\operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).$$

हालाँकि, फ़ंक्शन लागू करना $f(\cdot )$ का परिणाम

$${\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}$$

कॉची के कार्यात्मक समीकरण पर काम करने के लिए धन्यवाद, एकमात्र मोनोटोन कार्य $f(\cdot )$ ऐसी संपत्ति होना

$$f(x\cdot y)=f(x)+f(y)$$

लघुगणक फलन हैं $\log _{b}(x)$. विभिन्न आधारों के लघुगणक के बीच एकमात्र परिचालन अंतर अलग-अलग स्केलिंग स्थिरांक का है, इसलिए हम मान सकते हैं

$$f(x)=K\log(x)$$

कहाँ $\log$ प्राकृतिक लघुगणक है. चूँकि घटनाओं की संभावनाएँ हमेशा 0 और 1 के बीच होती हैं और इन घटनाओं से जुड़ी जानकारी गैर-नकारात्मक होनी चाहिए, इसके लिए यह आवश्यक है $K<0$.

इन गुणों को ध्यान में रखते हुए, आत्म-जानकारी $\operatorname {I} (\omega _{n})$ परिणाम से सम्बंधित $\omega _{n}$ संभाव्यता के साथ $\operatorname {P} (\omega _{n})$ परिभाषित किया जाता है:

$$\operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)$$

घटना की संभावना उतनी ही कम होगी $\omega _{n}$, संदेश से जुड़ी आत्म-जानकारी की मात्रा जितनी अधिक होगी कि घटना वास्तव में घटित हुई। यदि उपरोक्त लघुगणक आधार 2 है, तो की इकाई $I(\omega _{n})$ अंश ्स है. यह सबसे आम प्रथा है. आधार के प्राकृतिक लघुगणक का उपयोग करते समय $e$, इकाई नेट (इकाई) होगी। आधार 10 लघुगणक के लिए, सूचना की इकाई हार्टले (इकाई) है।

एक त्वरित उदाहरण के रूप में, एक सिक्के के लगातार 4 उछाल में 4 चित (या किसी विशिष्ट परिणाम) के परिणाम से जुड़ी सूचना सामग्री 4 बिट्स (संभावना 1/16) होगी, और परिणाम प्राप्त करने से जुड़ी सूचना सामग्री इसके अलावा होगी निर्दिष्ट एक ~0.09 बिट्स (संभावना 15/16) होगा। विस्तृत उदाहरणों के लिए ऊपर देखें।

यह भी देखें

• आश्चर्यजनक विश्लेषण

अग्रिम पठन

• C.E. Shannon, A Mathematical Theory of Communication, Bell Systems Technical Journal, Vol. 27, pp 379–423, (Part I), 1948.

बाहरी संबंध

• Examples of surprisal measures
• "Surprisal" entry in a glossary of molecular information theory
• Bayesian Theory of Surprise