View source for जानकारी सामग्री

{{short description|Basic quantity derived from the probability of a particular event occurring from a random variable}}[[सूचना सिद्धांत]] में, '''सूचना कंटेंट''', आत्म-सूचना, आश्चर्य, या शैनन सूचना यादृच्छिक वेरिएबल से होने वाली किसी विशेष घटना ([[संभावना]] सिद्धांत) की संभावना से प्राप्त मूल मात्रा है। इसे संभावना व्यक्त करने के वैकल्पिक विधि के रूप में विचार किया जा सकता है, सामान्य अनेक [[कठिनाइयाँ]] या [[लॉग-बाधाओं]] की तरह, किन्तु सूचना सिद्धांत की समुच्चय में इसके विशेष गणितीय निवेश कारक हैं।

इस प्रकार से शैनन सूचना की व्याख्या किसी विशेष परिणाम के आश्चर्य के स्तर को मापने के रूप में की जा सकती है। चूंकि यह इतनी मूलभूत मात्रा है, यह कई अन्य समुच्चय में भी दिखाई देती है, जैसे यादृच्छिक वेरिएबल के इष्टतम शैनन के स्रोत कोडिंग प्रमेय को देखते हुए घटना को प्रसारित करने के लिए आवश्यक संदेश की लंबाई को दर्शाया गया है ।

शैनन की सूचना ''एंट्रॉपी (सूचना सिद्धांत)'' से निकटता से संबंधित है, जो यादृच्छिक वेरिएबल की आत्म-सूचना का अपेक्षित मूल्य है, जो यह निर्धारित करती है कि यादृच्छिक वेरिएबल औसतन कितना आश्चर्यजनक है। यह आत्म-सूचना की वह औसत मात्रा है जो पर्यवेक्षक किसी यादृच्छिक वेरिएबल को मापते समय उसके बारे में प्राप्त करने की अपेक्षा करता है।<ref>Jones, D.S., ''Elementary Information Theory'', Vol., Clarendon Press, Oxford pp 11–15 1979</ref>

अतः सूचना कंटेंट को सूचना की विभिन्न इकाइयों में व्यक्त किया जा सकता है, जिनमें से अधिक समान बिट (अधिक सही रूप से शैनन कहा जाता है) है, जैसा कि नीचे बताया गया है।

== परिभाषा ==
[[क्लाउड शैनन]] की आत्म-सूचना की परिभाषा को कई सिद्धांतों को पूरा करने के लिए चुना गया था:

# 100% संभावना वाली घटना पूर्ण प्रकार से आश्चर्यजनक है और कोई सूचना नहीं देती है।
# अनेक घटना जितनी कम संभावित होती है, वह उतनी ही अधिक आश्चर्यजनक होती है और उतनी ही अधिक सूचना देती है।
# यदि दो स्वतंत्र घटनाओं को अलग-अलग मापा जाता है, तो सूचना की कुल मात्रा व्यक्तिगत घटनाओं की स्वयं-सूचना का योग है।

इस प्रकार से विस्तृत व्युत्पत्ति नीचे है, किन्तु यह दिखाया जा सकता है कि संभाव्यता का अनूठा कार्य है जो गुणक स्केलिंग कारक तक, इन तीन सिद्धांतों को पूरा करता है। सामान्यतः वास्तविक संख्या <math>b>1</math> दी गई है और घटना (संभावना सिद्धांत) <math>x</math> संभाव्यता के साथ <math>P</math>, सूचना कंटेंट को इस प्रकार परिभाषित किया गया है:
<math display="block">\mathrm{I}(x) := - \log_b{\left[\Pr{\left(x\right)}\right]} = -\log_b{\left(P\right)}. </math>
आधार b उपरोक्त स्केलिंग कारक से मेल खाता है। ''b'' के विभिन्न विकल्प सूचना की विभिन्न इकाइयों के अनुरूप हैं: जब {{nowrap|1=''b'' = 2}}, इकाई [[शैनन (इकाई)]] (प्रतीक श) है, जिसे प्रायः 'बिट' कहा जाता है; जब {{nowrap|1=''b'' = [[Euler's number|e]]}}, इकाई [[नेट (इकाई)]] (प्रतीक नेट) है; और जब {{nowrap|1=''b'' = 10}}, इकाई [[हार्टले (इकाई)]] (प्रतीक हार्ट) है।

औपचारिक रूप से, यादृच्छिक वेरिएबल <math>X</math> दिया गया है संभाव्यता द्रव्यमान फलन के साथ <math>p_{X}{\left(x\right)}</math>, मापने की स्व-सूचना <math>X</math> परिणाम के रूप में (संभावना) <math>x</math> परिभाषित किया जाता है<ref name=":0">{{Cite book|title=क्वांटम कंप्यूटिंग की व्याख्या|last=McMahon|first=David M.|publisher=Wiley-Interscience|year=2008|isbn=9780470181386 |location=Hoboken, NJ|oclc=608622533}}</ref>
<math display="block">\operatorname I_X(x) := 
 - \log{\left[p_{X}{\left(x\right)}\right]}
 = \log{\left(\frac{1}{p_{X}{\left(x\right)}}\right)}. </math>  
इस प्रकार से उपरोक्त स्व-सूचना के लिए अंकन <math>I_X(x)</math> का उपयोग सार्वभौमिक नहीं है। चूंकि संकेतन <math>I(X;Y)</math> का उपयोग प्रायः [[आपसी जानकारी|पारस्परिक सूचना]] की संबंधित मात्रा के लिए भी किया जाता है, कई लेखक इसके अतिरिक्त स्व-एन्ट्रॉपी के लिए लोअरकेस <math>h_X(x)</math> का उपयोग करते हैं, जो एन्ट्रॉपी के लिए पूंजी <math>H(X)</math> के उपयोग को प्रतिबिंबित करता है।

== गुण ==
=== संभाव्यता का नीरस रूप से घटता हुआ कार्य ===
किसी दिए गए [[संभाव्यता स्थान]] के लिए, घटना (संभावना सिद्धांत) का माप सहज रूप से अधिक आश्चर्यजनक है, और अधिक सामान्य मूल्यों की तुलना में अधिक सूचना कंटेंट प्रदान करता है। इस प्रकार, स्व-सूचना संभाव्यता का [[मोनोटोनिक फ़ंक्शन|मोनोटोनिक फलन]] है, या कभी-कभी इसे एंटीटोनिक फलन भी कहा जाता है।

जबकि मानक संभावनाओं को अंतराल में वास्तविक संख्याओं <math>[0, 1]</math> द्वारा दर्शाया जाता है , आत्म-सूचना को अंतराल में विस्तारित वास्तविक संख्याओं <math>[0, \infty]</math> द्वारा दर्शाया जाता है . विशेष रूप से, लघुगणकीय आधार के किसी भी विकल्प के लिए हमारे पास निम्नलिखित हैं:

* यदि किसी विशेष घटना के घटित होने की 100% संभावना हो तो उसकी स्व-सूचना होती है <math>-\log(1) = 0</math>: इसकी घटना बिल्कुल गैर-आश्चर्यजनक है और इससे कोई सूचना नहीं मिलती है।
* यदि किसी विशेष घटना के घटित होने की संभावना 0% है, तो उसकी स्व-सूचना है <math>-\log(0) = \infty</math>: इसकी घटना असीम रूप से आश्चर्यजनक है।

इससे, हम कुछ सामान्य गुण प्राप्त कर सकते हैं:

* सहज रूप से, किसी अप्रत्याशित घटना को देखने से अधिक सूचना प्राप्त होती है—यह आश्चर्यजनक है।
** उदाहरण के लिए, यदि ऐलिस के [[लॉटरी]] जीतने की लाखों में से संभावना है, तो उसके दोस्त बॉब को यह जानने से लिए अधिक सूचना प्राप्त होगी कि उसने लॉटरी जीती है, अतिरिक्त इसके कि वह लॉटरी जीत गई है। निश्चित दिन. ([[लॉटरी गणित]] भी देखें।)
* यह यादृच्छिक वेरिएबल की आत्म-सूचना और उसके विचरण के मध्य अंतर्निहित संबंध स्थापित करता है।

=== लॉग-ऑड्स से संबंध ===
चूंकि शैनन सूचना लॉग-ऑड्स से निकटता से संबंधित है। विशेष रूप से, किसी घटना को देखते हुए <math>x</math>, मान लीजिये कि <math>p(x)</math> की प्रायिकता है <math>x</math> घटित हो रहा है, और वह <math>p(\lnot x) = 1-p(x)</math> की सम्भावना है <math>x</math> घटित नहीं हो रहा है. फिर हमारे पास लॉग-ऑड्स की निम्नलिखित परिभाषा है:
<math display="block">\text{log-odds}(x) = \log\left(\frac{p(x)}{p(\lnot x)}\right)</math>
इसे दो शैनन सूचनाओं के अंतर के रूप में व्यक्त किया जा सकता है:
<math display="block">\text{log-odds}(x) = \mathrm{I}(\lnot x) - \mathrm{I}(x)</math>
दूसरे शब्दों में, लॉग-ऑड्स की व्याख्या उस समय आश्चर्य के स्तर के रूप में की जा सकती है जब घटना नहीं होती है, घटना के घटित होने पर आश्चर्य के स्तर को घटा दिया जाता है।

=== स्वतंत्र घटनाओं की संयोजकता ===
दो स्वतंत्र घटनाओं की सूचना कंटेंट प्रत्येक घटना की सूचना कंटेंट का योग है। इस गुण को गणित में [[ सिग्मा additivity |सिग्मा एडिटिविटी]] और विशेष रूप से [[माप (गणित)]]और संभाव्यता सिद्धांत में सिग्मा एडिटिविटी के रूप में जाना जाता है। संभाव्यता द्रव्यमान फलन क्रमशः <math>p_X(x)</math>और <math>p_Y(y)</math> के साथ [[स्वतंत्र यादृच्छिक चर|स्वतंत्र यादृच्छिक]] वेरिएबल <math display="inline">X,\, Y</math> पर विचार करें। संयुक्त संभाव्यता द्रव्यमान फलन है

<math display="block"> p_{X, Y}\!\left(x, y\right) = \Pr(X = x,\, Y = y) 
 = p_X\!(x)\,p_Y\!(y) 
</math>
क्योंकि <math display="inline">X</math> और <math display="inline">Y</math> [[स्वतंत्रता (संभावना सिद्धांत)]] हैं। परिणाम की सूचना कंटेंट (संभावना) <math> (X, Y) = (x, y)</math> है<math display="block"> \begin{align}
\operatorname{I}_{X,Y}(x, y) &= -\log_2\left[p_{X,Y}(x, y)\right]
 = -\log_2 \left[p_X\!(x)p_Y\!(y)\right] \\[5pt]
 &= -\log_2 \left[p_X{(x)}\right] -\log_2 \left[p_Y{(y)}\right] \\[5pt]
 &= \operatorname{I}_X(x) + \operatorname{I}_Y(y)
\end{align}
</math>
देखना{{Section link||दो स्वतंत्र, समान रूप से वितरित पासे|nopage=वाई}} उदाहरण के लिए नीचे।

इस प्रकार से [[संभावना]]ओं के लिए संबंधित संपत्ति यह है कि स्वतंत्र घटनाओं की लॉग-संभावना प्रत्येक घटना की लॉग-संभावनाओं का योग है। लॉग-संभावना को समर्थन या नकारात्मक आश्चर्य के रूप में व्याख्या करना (वह डिग्री जिस तक कोई घटना किसी दिए गए मॉडल का समर्थन करती है: मॉडल को किसी घटना द्वारा इस सीमा तक समर्थित किया जाता है कि घटना अप्रत्याशित है, मॉडल को देखते हुए), यह दर्शाता है कि स्वतंत्र घटनाएं समर्थन जोड़ती हैं: दो घटनाएँ मिलकर सांख्यिकीय अनुमान के लिए जो सूचना प्रदान करती हैं, वह उनकी स्वतंत्र सूचना का योग है।

==एंट्रॉपी से संबंध==
यादृच्छिक वेरिएबल की [[शैनन एन्ट्रापी]] उपरोक्त <math>X </math> को इस प्रकार परिभाषित किया गया है
<math display="block">\begin{alignat}{2} 
 \Eta(X) &= \sum_{x} {-p_{X}{\left(x\right)} \log{p_{X}{\left(x\right)}}} \\
 &= \sum_{x} {p_{X}{\left(x\right)} \operatorname{I}_X(x)} \\
 &{\overset{\underset{\mathrm{def}}{}}{=}} \ 
  \operatorname{E}{\left[\operatorname{I}_X (X)\right]},
\end{alignat} </math>
अतः परिभाषा <math>X </math> के अनुसार [[अपेक्षित मूल्य]] की माप की सूचना कंटेंट के समान .<ref>{{cite book|url=https://books.google.com/books?id=Lyte2yl1SPAC&pg=PA11|title=सूचना सिद्धांत और कोडिंग में बुनियादी बातें|author=Borda, Monica|publisher=Springer|year=2011|isbn=978-3-642-20346-6}}</ref>{{rp|11}}<ref>{{cite book|url=https://books.google.com/books?id=VpRESN24Zj0C&pg=PA19|title=सूचना और कोडिंग का गणित|publisher=American Mathematical Society|year=2002|isbn=978-0-8218-4256-0|author1=Han, Te Sun |author2=Kobayashi, Kingo }}</ref>{{rp|19–20}}

अपेक्षा को इसके [[समर्थन (गणित)]] पर [[असतत यादृच्छिक चर|असतत यादृच्छिक]] वेरिएबल पर लिया जाता है।

कभी-कभी, एन्ट्रापी को ही यादृच्छिक वेरिएबल की स्व-सूचना कहा जाता है, संभवतः इसलिए क्योंकि एन्ट्रापी <math>\Eta(X) = \operatorname{I}(X; X)</math>संतुष्ट करती है , जहाँ <math>\operatorname{I}(X;X)</math> <math>X</math> की पारस्परिक सूचना है <ref>Thomas M. Cover, Joy A. Thomas; Elements of Information Theory; p. 20; 1991.</ref>

[[सतत यादृच्छिक चर|सतत यादृच्छिक]] वेरिएबल के लिए संबंधित अवधारणा [[विभेदक एन्ट्रापी]] है।

== टिप्पणियाँ ==
इस उपाय को आश्चर्य भी कहा गया है, क्योंकि यह परिणाम देखने के "आश्चर्य" का प्रतिनिधित्व करता है (एक अत्यधिक असंभव परिणाम बहुत आश्चर्यजनक है)। यह शब्द (लॉग-प्रायिकता माप के रूप में) मायरोन ट्रिबस द्वारा उनकी 1961 की पुस्तक थर्मोस्टैटिक्स और थर्मोडायनामिक्स में गढ़ा गया था।.<ref name="Bernstein1972">R. B. Bernstein and R. D. Levine (1972) "Entropy and Chemical Change. I. Characterization of Product (and Reactant) Energy Distributions in Reactive Molecular Collisions: Information and Entropy Deficiency", ''The Journal of Chemical Physics'' '''57''', 434–449 [https://aip.scitation.org/doi/abs/10.1063/1.1677983 link].</ref><ref name="Tribus1961">[http://www.eoht.info/page/Myron+Tribus Myron Tribus] (1961) '''Thermodynamics and Thermostatics:''' ''An Introduction to Energy, Information and States of Matter, with Engineering Applications'' (D. Van Nostrand, 24 West 40 Street, New York 18, New York, U.S.A) Tribus, Myron (1961), pp. 64–66 [https://archive.org/details/thermostaticsthe00trib borrow].</ref>

जब घटना एक यादृच्छिक अनुभव (एक वेरिएबल का) होती है तो वेरिएबल की आत्म-सूचना को अनुभव की आत्म-सूचना के अपेक्षित मूल्य के रूप में परिभाषित किया जाता है।

स्व-सूचना उचित [[Scoring rule|स्कोरिंग]] नियम का एक [[Scoring rule|उदाहरण]] है

==उदाहरण==

===निष्पक्ष [[सिक्का उछालना]] ===
<math>X</math> सिक्का उछालने के [[बर्नौली परीक्षण]] पर विचार करें . सिक्के के शीर्ष के रूप में उतरने की घटना की संभावना (संभावना सिद्धांत)। <math>\text{H}</math> और पट <math>\text{T}</math> (निष्पक्ष सिक्का तथा अग्र एवं पृष्ठ देखें) प्रत्येक आधा-आधा है, <math display="inline">p_X{(\text{H})} = p_X{(\text{T})} = \tfrac{1}{2} = 0.5</math>. वेरिएबल को हेड के रूप में [[ नमूनाकरण (सिग्नल प्रोसेसिंग) |नमूनाकरण (सिग्नल प्रोसेसिंग)]] करने पर, संबंधित सूचना प्राप्त होती है
<math display="block">\operatorname{I}_X(\text{H})
 = -\log_2 {p_X{(\text{H})}}
 = -\log_2\!{\tfrac{1}{2}} = 1,</math>इसलिए हेड के रूप में उतरने वाले उचित सिक्के का सूचना निवेश 1 शैनन (इकाई) है।<ref name=":0" /> इसी तरह, पूंछ मापने की सूचना प्राप्त होती है <math>T</math> है<math display="block">\operatorname{I}_X(T)
 = -\log_2 {p_X{(\text{T})}}
 = -\log_2 {\tfrac{1}{2}} = 1 \text{ Sh}.</math>
=== [[निष्पक्ष पासा]] रोल ===
मान लीजिए कि हमारे पास निष्पक्ष छह-पक्षीय पासा. है। पासा पलटने का मान एक असतत एकसमान यादृच्छिक वैरिएबल <math>X \sim \mathrm{DU}[1, 6]</math> है जिसमे संभाव्यता द्रव्यमान फलन के साथ  <math display="block">p_X(k) = \begin{cases}
\frac{1}{6}, & k \in \{1, 2, 3, 4, 5, 6\} \\
0, & \text{otherwise}
\end{cases}</math>किसी भी अन्य वैध रोल की तरह, 4 आने की प्रायिकता <math display="inline">p_X(4) = \frac{1}{6}</math> है , 4 को रोल करने की सूचना कंटेंट इस प्रकार है<math display="block">\operatorname{I}_{X}(4) = -\log_2{p_X{(4)}} 
= -\log_2{\tfrac{1}{6}} 
\approx 2.585\; \text{Sh}</math>सूचना की।

=== दो स्वतंत्र, समान रूप से वितरित पासे ===
मान लीजिए कि हमारे पास दो स्वतंत्र, समान रूप से वितरित यादृच्छिक वेरिएबल हैं <math display="inline">X,\, Y \sim \mathrm{DU}[1, 6]</math> प्रत्येक एक स्वतंत्र निष्पक्ष 6-पक्षीय पासा रोल के अनुरूप है। <math>X</math> और <math>Y</math> का [[संयुक्त संभाव्यता वितरण]] है<math display="block"> \begin{align}
 p_{X, Y}\!\left(x, y\right) & {} = \Pr(X = x,\, Y = y) 
 = p_X\!(x)\,p_Y\!(y) \\
 & {} = \begin{cases}
  \displaystyle{1 \over 36}, \ &x, y \in [1, 6] \cap \mathbb{N} \\
  0 & \text{otherwise.} \end{cases}
\end{align}</math>
यादृच्छिक वेरिएबल की सूचना कंटेंट <math> (X, Y) = (2,\, 4)</math> है
<math display="block"> \begin{align}
\operatorname{I}_{X, Y}{(2, 4)} 
 &= -\log_2\!{\left[p_{X,Y}{(2, 4)}\right]}
 = \log_2\!{36} = 2 \log_2\!{6} \\
 & \approx 5.169925 \text{ Sh},
\end{align}
</math>
और घटनाओं की संवेदनशीलता द्वारा भी गणना की जा सकती है<math display="block"> \begin{align}
\operatorname{I}_{X, Y}{(2, 4)} 
 &= -\log_2\!{\left[p_{X,Y}{(2, 4)}\right]}
 = -\log_2\!{\left[p_X(2)\right]} -\log_2\!{\left[p_Y(4)\right]} \\
 & = 2\log_2\!{6} \\
 & \approx 5.169925 \text{ Sh}.
\end{align}
</math>

==== रोल की आवृत्ति से सूचना ====
यदि हमें पासे के मूल्य के बारे में सुचना मिलती है, बिना यह जाने कि किस पासे का मूल्य क्या है, तो हम तथाकथित गणना वेरिएबल के साथ दृष्टिकोण को औपचारिक बना सकते हैं
<math display="block"> C_k := \delta_k(X) + \delta_k(Y) = \begin{cases} 
 0, & \neg\, (X = k \vee Y = k) \\
 1, & \quad X = k\, \veebar \, Y = k \\
 2, & \quad X = k\, \wedge \, Y = k
\end{cases}
</math>
के लिए <math> k \in \{1, 2, 3, 4, 5, 6\}</math>, तब <math display="inline"> \sum_{k=1}^{6}{C_k} = 2</math> और गिनती में [[बहुपद वितरण]] होता है
<math display="block"> \begin{align}
 f(c_1,\ldots,c_6) & {} = \Pr(C_1 = c_1 \text{ and } \dots \text{ and } C_6 = c_6) \\
 & {} = \begin{cases} { \displaystyle {1\over{18}}{1 \over c_1!\cdots c_k!}}, 
    \ & \text{when } \sum_{i=1}^6 c_i=2 \\
  0 & \text{otherwise,} \end{cases} \\
 & {} = \begin{cases} {1 \over 18}, 
  \ & \text{when 2 } c_k \text{ are } 1 \\
  {1 \over 36}, \ & \text{when exactly one } c_k = 2 \\
  0, \ & \text{otherwise.}
 \end{cases}
\end{align}</math>
इसे सत्यापित करने के लिए, 6 परिणाम <math display="inline">(X, Y) \in \left\{(k, k)\right\}_{k = 1}^{6} = \left\{
 (1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)
\right\}</math> घटना के अनुरूप <math>C_k = 2</math> और की [[कुल संभावना]] {{Sfrac|6}}. ये एकमात्र ऐसी घटनाएँ हैं जिन्हें इस संवाद की पहचान के साथ निष्ठापूर्वक से संरक्षित किया गया है कि कौन सा पासा पलटा और कौन सा परिणाम निकला क्योंकि परिणाम समान हैं। अन्य संख्याओं को घुमाने वाले पासों को अलग करने के ज्ञान के बिना <math display="inline"> \binom{6}{2} = 15</math> [[संयोजन]] इस प्रकार हैं कि पासा संख्या को घुमाता है और दूसरा पासा अलग संख्या को घुमाता है, प्रत्येक की संभावना होती है {{Sfrac|18}}. वास्तव में, <math display="inline"> 6 \cdot \tfrac{1}{36} + 15 \cdot \tfrac{1}{18} = 1</math>, आवश्यकता अनुसार।

आश्चर्य की बात नहीं है कि सीखने की सूचना कंटेंट कि दोनों पासों को ही विशेष संख्या के रूप में घुमाया गया था, सीखने की सूचना कंटेंट से अधिक है कि पासा संख्या थी और दूसरा अलग संख्या थी। उदाहरण के लिए घटनाओं को लीजिए <math> A_k = \{(X, Y) = (k, k)\}</math> और <math> B_{j, k} = \{c_j = 1\} \cap \{c_k = 1\}</math> के लिए <math> j \ne k, 1 \leq j, k \leq 6</math>. उदाहरण के लिए, <math> A_2 = \{X = 2 \text{ and } Y = 2\}</math> और <math> B_{3, 4} = \{(3, 4), (4, 3)\}</math>.

सूचना कंटेंट हैं
<math display="block"> \operatorname{I}(A_2) = -\log_2\!{\tfrac{1}{36}} = 5.169925 \text{ Sh}</math>
<math display="block"> \operatorname{I}\left(B_{3, 4}\right) = - \log_2 \! \tfrac{1}{18} = 4.169925 \text{ Sh}</math>





मान लीजिये <math display="inline"> \text{Same} = \bigcup_{i = 1}^{6}{A_i}</math> ऐसी घटना हो कि दोनों पासों का मूल्य समान हो और <math> \text{Diff} = \overline{\text{Same}}</math> ऐसा हो कि पासा अलग-अलग हो। तब <math display="inline"> \Pr(\text{Same}) = \tfrac{1}{6}</math> और <math display="inline"> \Pr(\text{Diff}) = \tfrac{5}{6}</math>. घटनाओं की सूचना कंटेंट हैं
<math display="block"> \operatorname{I}(\text{Same}) = -\log_2\!{\tfrac{1}{6}} = 2.5849625 \text{ Sh}</math><math display="block"> \operatorname{I}(\text{Diff}) = -\log_2\!{\tfrac{5}{6}} = 0.2630344 \text{ Sh}.</math>

==== पासे के योग से सूचना ====

स्वतंत्र यादृच्छिक वेरिएबल के योग का संभाव्यता द्रव्यमान या घनत्व फलन (सामूहिक [[संभाव्यता माप]]) कनवल्शन या मापों का कनवल्शन है । स्वतंत्र निष्पक्ष 6-पक्षीय पासा रोल के मामले में, यादृच्छिक वेरिएबल <math> Z = X + Y</math> संभाव्यता द्रव्यमान फलन <math display="inline"> p_Z(z) = p_X(x) * p_Y(y) = {6 - |z - 7| \over 36} </math> है , जहाँ <math> *</math> [[असतत कनवल्शन]] का प्रतिनिधित्व करता है। परिणाम (संभावना) <math> Z = 5 </math> की प्रायिकता  <math display="inline"> p_Z(5) = \frac{4}{36} = {1 \over 9} </math> है. इसलिए, दावा की गई सूचना है<math display="block"> \operatorname{I}_Z(5) = -\log_2{\tfrac{1}{9}} = \log_2{9}
 \approx 3.169925 \text{ Sh}. 
</math>
=== सामान्य असतत समान वितरण ===

सामान्यीकरण करना {{Section link||निष्पक्ष पासा पलटना|nopage=वाई}} उपरोक्त उदाहरण में, सामान्य असतत समान यादृच्छिक वेरिएबल (डीयूआरवी) पर विचार करें <math>X \sim \mathrm{DU}[a,b]; \quad a, b \in \mathbb{Z}, \ b \ge a.</math> सुविधा के लिए <math display="inline">N := b - a + 1</math> परिभाषित करें . प्रायिकता द्रव्यमान फलन है <math display="block">p_X(k) = \begin{cases}
 \frac{1}{N}, & k \in [a, b] \cap \mathbb{Z}  \\
 0,  & \text{otherwise}.
\end{cases}</math>सामान्यतः , डीयूआरवी के मानों को [[पूर्णांक]] होने की आवश्यकता नहीं है, या सूचना सिद्धांत के प्रयोजनों के लिए समान रूप से अंतरित होने की भी आवश्यकता नहीं है; उन्हें केवल [[समसंभाव्य]] होने की आवश्यकता है।<ref name=":0" />किसी भी अवलोकन का सूचना निवेश <math>X = k</math> है<math display="block">\operatorname{I}_X(k) = -\log_2{\frac{1}{N}}  = \log_2{N} \text{ Sh}.</math>
==== विशेष मामला: निरंतर यादृच्छिक चर ====
यदि <math>b = a</math> ऊपर, <math>X</math> नियतात्मक रूप से दिए गए संभाव्यता वितरण के साथ [[निरंतर यादृच्छिक चर|निरंतर यादृच्छिक]] वेरिएबल के लिए पतन (गणित)। <math>X = b</math> और संभाव्यता [[डिराक माप]] <math display="inline">p_X(k) = \delta_{b}(k)</math> को मापती है . <math>X</math> एकमात्र मूल्य [[नियतिवादी प्रणाली]] ले सकते हैं वह नियतात्मक रूप से <math>b</math>, है, इसलिए <math>X</math> किसी भी माप की सूचना कंटेंट है<math display="block">\operatorname{I}_X(b) = - \log_2{1} = 0.</math>सामान्यतः, किसी ज्ञात मूल्य को मापने से कोई सूचना प्राप्त नहीं होती है।<ref name=":0" />
=== श्रेणीबद्ध वितरण ===
उपरोक्त सभी स्तिथियों को सामान्यीकृत करते हुए, <math display="inline">\mathcal{S} = \bigl\{s_i\bigr\}_{i=1}^{N}</math> के समर्थन (गणित) और दिए गए संभाव्यता द्रव्यमान फलन के साथ एक श्रेणीबद्ध [[असतत यादृच्छिक चर|असतत यादृच्छिक]] वेरिएबल पर विचार करें

<math display="block">p_X(k) = \begin{cases}
 p_i, & k = s_i \in \mathcal{S}
 \\ 0,  & \text{otherwise} .
\end{cases}</math>
इस प्रकार से सूचना सिद्धांत के प्रयोजनों के लिए, <math>s \in \mathcal{S}</math> मूल्यों का [[संख्या]]एँ होना आवश्यक नहीं है; वे [[परिमित माप]] के माप स्थान पर कोई परस्पर अनन्य घटनाएँ हो सकते हैं जिन्हें संभाव्यता माप <math>p</math> के लिए सामान्यीकृत किया गया है, व्यापकता के नुकसान के बिना, हम मान सकते हैं कि श्रेणीबद्ध वितरण समुच्चय <math display="inline">[N] = \left\{1, 2, \dots, N \right\}</math> पर समर्थित है, गणितीय संरचना संभाव्यता सिद्धांत के संदर्भ में आइसोमोर्फिक है और इसलिए सूचना सिद्धांत भी है।

परिणाम की सूचना <math>X = x</math> दिया हुआ है

<math display="block">\operatorname{I}_X(x) = -\log_2{p_X(x)}.</math>
इन उदाहरणों से, सिग्मा एडिटिविटी द्वारा ज्ञात संभाव्यता वितरण के साथ स्वतंत्र यादृच्छिक वेरिएबल असतत यादृच्छिक वेरिएबल के किसी भी समुच्चय की सूचना की गणना करना संभव है।

==व्युत्पत्ति==
परिभाषा के अनुसार, सूचना रखने वाली मूल इकाई से सूचना प्राप्त करने वाली इकाई को तभी स्थानांतरित की जाती है, जब प्राप्तकर्ता को सूचना नहीं होती है। यदि प्राप्तकर्ता इकाई को संदेश प्राप्त करने से पहले संदेश की कंटेंट निश्चित रूप से पता थी, तो प्राप्त संदेश की सूचना की मात्रा शून्य है। केवल तभी जब प्राप्तकर्ता को संदेश की कंटेंट का अग्रिम ज्ञान 100% से कम हो, तभी संदेश वास्तव में सूचना संप्रेषित करता है।

इस प्रकार से उदाहरण के लिए, हास्य अभिनेता [[जॉर्ज कार्लिन]] के चरित्र (हिप्पी डिप्पी वेदरमैन) को उद्धृत करते हुए, आज रात के लिए मौसम का पूर्वानुमान: अंधेरा। रात भर अंधेरा प्रवाहित रहा, सुबह तक प्रकाश व्यापक रूप से फैली हुई थी।<ref>{{Cite web|title=जॉर्ज कार्लिन का एक उद्धरण|url=https://www.goodreads.com/quotes/94336-weather-forecast-for-tonight-dark-continued-dark-overnight-with-widely|access-date=2021-04-01|website=www.goodreads.com}}</ref> यह मानते हुए कि कोई व्यक्ति [[पृथ्वी के ध्रुवीय क्षेत्र]] के निकट नहीं रहता है, उस पूर्वानुमान में दर्शायी गई सूचना की मात्रा शून्य है क्योंकि पूर्वानुमान प्राप्त होने से पहले ही यह ज्ञात होता है कि अंधेरा सदैव रात के साथ आता है।

तदनुसार, किसी घटना की घटना (संभावना सिद्धांत) को सूचित करने वाली कंटेंट को संदेश देने वाले संदेश में निहित स्व-सूचना की मात्रा, <math>\omega_n</math>, केवल उस घटना की संभावना पर निर्भर करता है।

<math display="block">\operatorname I(\omega_n) = f(\operatorname P(\omega_n)) </math>
किसी फलन के लिए <math>f(\cdot)</math> नीचे निर्धारित किया जाएगा. यदि <math>\operatorname P(\omega_n) = 1</math>, तब <math>\operatorname I(\omega_n) = 0</math>. यदि <math>\operatorname P(\omega_n) < 1</math>, तब <math>\operatorname I(\omega_n) > 0</math>. 

इसके अतिरिक्त , परिभाषा के अनुसार, आत्म-सूचना का माप (गणित) गैर-नकारात्मक और योगात्मक है। यदि घटना <math>C</math> की सूचना देने वाला संदेश दो [[सांख्यिकीय स्वतंत्रता]] घटनाओं <math>A</math> और <math>B</math> का प्रतिच्छेदन है, तो घटना <math>C</math> की सूचना घटित होने वाली दोनों स्वतंत्र घटनाओं <math>A</math> और <math>B</math> के मिश्रित संदेश की है। मिश्रित संदेश <math>C</math> की सूचना की मात्रा क्रमशः व्यक्तिगत घटक संदेश <math>A</math> और <math>B</math> की सूचना की मात्रा के समान होने की आशा की जाएगी:
<math display="block">\operatorname I(C) = \operatorname I(A \cap B) = \operatorname I(A) + \operatorname I(B).</math>
घटनाओं की स्वतंत्रता के कारण <math>A</math> और <math>B</math>, घटना की संभावना <math>C</math> है
<math display="block">\operatorname P(C) = \operatorname P(A \cap B) = \operatorname P(A) \cdot \operatorname P(B).</math>
चूंकि , फलन प्रयुक्त करना <math>f(\cdot)</math> का परिणाम
<math display="block">\begin{align}
   \operatorname I(C) & = \operatorname I(A) + \operatorname I(B) \\
f(\operatorname P(C)) & = f(\operatorname P(A)) + f(\operatorname P(B)) \\
                      & = f\big(\operatorname P(A) \cdot \operatorname P(B)\big) \\
\end{align}</math>
कॉची के कार्यात्मक समीकरण पर कार्य करने के लिए धन्यवाद, एकमात्र मोनोटोन फलन <math>f(\cdot)</math> में ऐसी संपत्ति होना 
<math display="block">f(x \cdot y) = f(x) + f(y)</math>
लघुगणक फलन <math>\log_b(x)</math> हैं . विभिन्न आधारों के लघुगणक के मध्य एकमात्र परिचालन अंतर अलग-अलग स्केलिंग स्थिरांक का है, इसलिए हम मान सकते हैं

<math display="block">f(x) = K \log(x)</math>
जहाँ <math>\log</math> [[प्राकृतिक]] लघुगणक है. चूँकि घटनाओं की संभावनाएँ हमेशा ''0'' और ''1'' के मध्य होती हैं और इन घटनाओं से जुड़ी सूचना गैर-नकारात्मक होनी चाहिए, इसके लिए यह आवश्यक है की <math>K<0</math>.

इन गुणों को ध्यान में रखते हुए, संभावना <math>\operatorname I(\omega_n)</math> के साथ परिणाम <math>\omega_n</math> से जुड़ी स्व-सूचना <math>\operatorname P(\omega_n)</math> को इस प्रकार परिभाषित किया गया है:
<math display="block">\operatorname I(\omega_n) = -\log(\operatorname P(\omega_n)) = \log \left(\frac{1}{\operatorname P(\omega_n)} \right) </math>
घटना <math>\omega_n</math> की संभावना उतनी ही कम होगी , संदेश से जुड़ी आत्म-सूचना की मात्रा जितनी अधिक होगी कि घटना वास्तव में घटित हुई। यदि उपरोक्त लघुगणक आधार 2 है, तो <math> I(\omega_n)</math> की इकाई [[ अंश |शैनन]] है. यह सबसे आम प्रथा है. आधार <math> e</math> के प्राकृतिक लघुगणक का उपयोग करते समय , इकाई नेट (इकाई) होगी। आधार 10 लघुगणक के लिए, सूचना की इकाई हार्टले (इकाई) है। 

एक त्वरित उदाहरण के रूप में, सिक्के के निरंतर ''4'' उछालों में 4 चित (या किसी विशिष्ट परिणाम) के परिणाम से जुड़ी सूचना कंटेंट 4 शैनन (संभावना ''1/16'') होगी, और इसके अलावा परिणाम प्राप्त करने से जुड़ी सूचना कंटेंट होगी निर्दिष्ट एक ''~0.09'' शैनन बिट्स (संभावना ''15/16'') होगा। विस्तृत उदाहरणों के लिए ऊपर देखें।

== यह भी देखें ==
*[[आश्चर्यजनक विश्लेषण]]

== संदर्भ ==
{{Reflist}}

== अग्रिम पठन ==
*[[Claude Shannon|C.E. Shannon]], [[A Mathematical Theory of Communication]], ''Bell Systems Technical Journal'', Vol. 27, pp 379–423, (Part I), 1948.
== बाहरी संबंध ==
* [http://www.umsl.edu/~fraundor/egsurpri.html Examples of surprisal measures]
* [https://web.archive.org/web/20120717011943/http://www.lecb.ncifcrf.gov/~toms/glossary.html#surprisal "Surprisal" entry in a glossary of molecular information theory]
* [http://ilab.usc.edu/surprise/ Bayesian Theory of Surprise]

[[Category:Created On 10/07/2023]]
[[Category:Lua-based templates]]
[[Category:Machine Translated Page]]
[[Category:Pages with script errors]]
[[Category:Short description with empty Wikidata description]]
[[Category:Templates Vigyan Ready]]
[[Category:Templates that add a tracking category]]
[[Category:Templates that generate short descriptions]]
[[Category:Templates using TemplateData]]
[[Category:एन्ट्रापी और सूचना]]
[[Category:सूचना सिद्धांत]]