सूचना सिद्धांत: Difference between revisions

Latest revision as of 14:05, 14 December 2023

सूचना सिद्धांत सूचना के परिमाणीकरण कंप्यूटर डेटा और संचार का गणितीय अध्ययन है।^[1] इस सूचना सिद्धांत को मूल रूप से हैरी निक्विस्ट और राल्फ हार्टले ने 1920 के दशक में और क्लाउड शैनन ने 940 के दशक में स्थापित किया गया था।^[2]^: vii इस सूचना सिद्धांत का उपयोग संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और विद्युत इंजीनियरिंग मे भी किया जाता है।

सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक वेरिएबल के मान या यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।^[1] उदाहरण के लिए एक सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम सूचना (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक सूचना, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में सोर्स कोडिंग, एल्गोरिथम कॉम्प्लेक्सिटी सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा सम्मिलित हैं।

सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में सोर्स कोडिंग/डेटा कंप्रेशन (उदाहरण के लिए ज़िप फ़ाइलों के लिए), चैनल कोडिंग का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित है। इसका प्रभाव अंतरिक्ष में वोयाजर मिशन की सफलता, कॉम्पैक्ट डिस्क के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। इस सिद्धांत का सांख्यिकीय अनुमान,^[3] क्रिप्टोग्राफी, न्यूरोबायोलॉजी^[4] धारणा^[5] भाषा विज्ञान, आणविक कोड^[6] (जैव सूचना विज्ञान), थर्मल भौतिकी,^[7] आणविक गतिकी^[8] क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति सूचना एकत्र करना, साहित्यिक त्रुटि का पता लगाना, पैटर्न पहचान के विकास और कार्य^[9] सहित अन्य क्षेत्रों में भी अनुप्रयोग किया गया है।^[10]

समीक्षा

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण के उपयोग का अध्ययन करता है। संक्षेप में सूचना को अनिश्चितता का समाधान माना जा सकता है। एक ध्वनि चैनल पर सूचना के संचार की स्थिति में इस अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के गणितीय सिद्धांत नामक (ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन) एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक समूह के रूप में माना जाता है। इसका मुख्य लक्ष्य इन संदेशों को ध्वनि वाले चैनल पर भेजना और प्राप्तकर्ता को चैनल की ध्वनि के अतिरिक्त त्रुटि की कम संभावना के साथ संदेश को पुनर्निर्मित करना है। शैनन का मुख्य परिणाम ध्वनि-चैनल कोडिंग सिद्धांत से प्राप्त हुआ है कि कई चैनल उपयोगों की सीमा में सूचना की दर जो कि मुख्य रूप से प्राप्त करने योग्य है चैनल क्षमता के बराबर है जो केवल चैनल के डेटा पर निर्भर करती है जिस पर संदेश आते हैं और भेजे जाते हैं।^[4]

कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और ध्वनि वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के निकट तक कम करने के लिए स्पष्ट प्रकारो को खोजने से है जिन्हें कोड कहा जाता है। इन कोडों को सामान्यतः डेटा कंप्रेशन (सोर्स कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद की कई स्थितियों मे शैनन के कार्य को सिद्ध करने के प्रकारों को खोजने में कई साल लग गए थे।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम कोड और सिफर हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है।

ऐतिहासिक सूचना

सूचना सिद्धांत के अनुशासन को स्थापित करने करने के लिए ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लाउड ईशैनन के क्लासिक पेपर "संचार का गणितीय सिद्धांत" (ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन) मे प्रकाशन था जिससे उन्हें "सूचना सिद्धांत के जनक" नाम से भी जाना जाने लगा था।

इस पेपर से पहले बेल लैब्स में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए, हैरी नाइक्विस्ट के 1924 के पेपर टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ इवेंट में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक भाग सम्मिलित है जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है। संबंध $W = K log m$ (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है जहां W बुद्धि के संवेरिएबलण की गति है, m प्रत्येक समय फेज़ में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर 'सूचना प्रसारण' शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है इस प्रकार सूचना को $H = log S n = n log S$ के रूप में क्रमबद्ध करता है, जहां S भावित प्रतीकों की संख्या और संचार में प्रतीकों की संख्या थी। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को विभाजित करने के सांख्यिकीय विश्लेषण के भाग के रूप में इसी प्रकार के विचारों का उपयोग किया था।

विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा ऊष्मागतिकी के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और ऊष्मागतिकी एन्ट्रॉपी के बीच संबंध ऊष्मागतिकी और सूचना सिद्धांत की एन्ट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और अभूतपूर्व पेपर में जिसके लिए कार्य 1944 के अंत तक बेल लैब्स में अपेक्षाकृत स्थिति तक पूर्ण हो चुका था। शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में प्रस्तुत किया था जो इस कई संभावनाओ के साथ प्रारम्भ हुआ था।

"संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर प्रयुक्त या अनुमानित करने के रूप से पुन: प्रस्तुत करना है।"

इसके साथ के कई विचार किए गए हैं:

किसी सोर्स की सूचना एन्ट्रापी, रिडंडेंसीय (सूचना सिद्धांत), और सोर्स कोडिंग सिद्धांत के माध्यम से इसकी प्रासंगिकता।
ध्वनि-चैनल कोडिंग सिद्धांत द्वारा दिए गए पूर्ण ओपेन सोर्स संचार सहित ध्वनि चैनल की पारस्परिक सूचना और चैनल क्षमता।
गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले नियम का व्यावहारिक परिणाम।
बिट - सूचना की फंडामेंटल यूनिट (मौलिक इकाई)

सूचना की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक सूचना सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत प्रायः यादृच्छिक वेरिएबल से संबद्ध वितरण की सूचना के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक वेरिएबल में सूचना के माप की मात्रा निर्धारित करने की स्वीकृति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक वेरिएबलों पर परिभाषित पारस्परिक सूचना है, जो उन वेरिएबलों के बीच सामान्य सूचना की माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक वेरिएबल के प्रोबेबिलिटी वितरण की एक विशेषता है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नियम द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है जो उत्तरार्द्ध दो यादृच्छिक वेरिएबल के संयुक्त वितरण की एक विशेषता है और लंबी ब्लॉक लंबाई की सीमा में एक ध्वनि चैनल में विश्वसनीय संचार की अधिकतम दर है जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं तब निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है और डेसिमल जो सामान्यतः लघुगणक पर आधारित है। निम्नलिखित में $p log p$ को शून्य के बराबर माना जाता है।

जहां $p = 0$ है क्योंकि किसी भी लघुगणकीय आधार के लिए $\lim _{p\rightarrow 0+}p\log p=0$ है।

सूचना सोर्स की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक सोर्स प्रतीक की संभाव्यता द्रव्यमान के आधार पर एंट्रॉपी (सूचना सिद्धांत) $H$ , बिट्स की इकाइयों में (प्रति प्रतीक) द्वारा दी गई है:

H=-\sum _{i}p_{i}\log _{2}(p_{i})

जहां $p i$ सोर्स प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार $e$ , जहां $e$ यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए आधार 2⁸ = 256 का लघुगणक प्रति प्रतीक बाइट में माप उत्पन्न करेगा और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।

सामान्यतः एक असतत यादृच्छिक वेरिएबल $X$ की एन्ट्रापी $H X$ , $X$ के मान से संबद्ध अनिश्चितता की मात्रा का माप है जब केवल इसका वितरण ज्ञात होता है। एक सोर्स की एन्ट्रापी जो स्वतंत्र और समान रूप से वितरित (आईआईडी) $N$ प्रतीकों के अनुक्रम का उत्सर्जन करती है वह $N \cdot H$ बिट्स ( $N$ प्रतीकों के प्रति संदेश) है। यदि सोर्स डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई $N$ के संदेश की एन्ट्रापी $N \cdot H$ से कम होती है।

यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है और इनमें से प्रत्येक बिट का मान संचार से पहले प्राप्तकर्ता को ज्ञात है तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन सूचना (जिसे प्रायः बिट्स कहा जाता है) प्रसारित की गई है। इन दो वेरिएबल सीमाओं के बीच सूचना को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का समूह ${x 1, ..., x n}$ है तब वह $X$ हो सकता है जहां $p (x)$ की संभावना $x\in \mathbb {X}$ है और एन्ट्रापी $H$ को $X$ द्वारा रिभषित किया है:^[11]

H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).

यहां, $I (x)$ स्व-सूचना है जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है और $\mathbb {E} _{X}$ अपेक्षित मान है। एन्ट्रापी की एक विशेषता यह है कि यह तब अधिकतम होती है जबकि सभी स्थितियों में संदेश प्रोबेबिलिटी $p (x) = 1/ n$ होती है। अर्थात अप्रत्याशित स्थिति में $H (X) = log n$ है। दो परिणामों वाले यादृच्छिक वेरिएबल के लिए सूचना एन्ट्रॉपी की विशेष स्थिति बाइनरी एन्ट्रॉपी है जिसे सामान्यतः लघुगणक आधार 2 पर ले जाया जाता है। इस प्रकार शैनन (s) को इकाई के रूप में रखा जाता है:

H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).

संयुक्त (जॉइंट) एन्ट्रापी

दो असतत यादृच्छिक वेरिएबल $X$ और $Y$ की जाइंट एन्ट्रापी केवल उनके युग्म $(X, Y)$ की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि $X$ और $Y$ स्वतंत्र हैं, तो उनकी जाइंट एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है। उदाहरण के लिए यदि $(X, Y)$ शतरंज के भाग की स्थिति को दर्शाता है:

H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,

समान संकेतन के अतिरिक्त संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जा सकता है।

सशर्त एन्ट्रापी समीकरण

यादृच्छिक वेरिएबल Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y में X का समीकरण भी कहा जाता है) $Y$ पर औसत सशर्त एन्ट्रॉपी है:^[12]

H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).

चूँकि एन्ट्रापी को एक यादृच्छिक वेरिएबल पर या उस यादृच्छिक वेरिएबल पर एक निश्चित मान पर वर्णित किया जा सकता है। इसलिए इस विषय का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल विशेषता है:

H(X|Y)=H(X,Y)-H(Y).\,

पारस्परिक (म्यूच्यूअल) सूचना

पारस्परिक सूचना उस सूचना की मात्रा को मापती है जो एक यादृच्छिक वेरिएबल में दूसरे वेरिएबल को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई सूचना की मात्रा को अधिकतम करने के लिए किया जा सकता है। सामान्यतः $Y$ के सापेक्ष $X$ की पारस्परिक सूचना इस प्रकार दी गई है:

I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}

जहाँ $SI$ विशिष्ट पारस्परिक सूचना है।

पारस्परिक सूचना की एक मूल विशेषता है:

I(X;Y)=H(X)-H(X|Y).\,

अर्थात्, Y को जानने से हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन $I (X; Y)$ बिट्स को सुरक्षित कर सकते हैं।

पारस्परिक सूचना सममित है:

I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,

पारस्परिक सूचना को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:

I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].

दूसरे शब्दों में यह इस विषय की माप है कि यदि हमें Y का मान दिया जाए तो X पर संभाव्यता वितरण औसतन कितना परिवर्तित हो सकता है। इसे प्रायः सीमांत वितरण के उत्पाद से वास्तविक संयुक्त विवरण तक विचलन के रूप में पुनर्निर्मित किया जाता है:

I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).

पारस्परिक सूचना कई तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण की निकटता से संबंधित है और पियर्सन के χ² परीक्षण के लिए पारस्परिक सूचना को वेरिएबल के एक युग्म के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है। सामान्यतः इसमें अपेक्षाकृत एक निर्दिष्ट एसिम्प्टोटिक (अंतर्निहित) वितरण होता है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ या सापेक्ष एन्ट्रॉपी) दो वितरणों मे प्रोबेबिलिटी वितरण $p(X)$ और $q(X)$ की तुलना करने का सामान्य प्रकार है। यदि हम आंकड़ा को इस प्रकार से परिवर्तित करते हैं कि $q(X)$ कुछ डेटा में अंतर्निहित वितरण है जब वास्तव में $p(X)$ सही वितरण है तो कुल्बैक-लीबलर विचलन प्रति डेटम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है। सामान्यतः जिसको इस प्रकार परिभाषित किया गया है:

D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.

हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है जो कुल्बैक-लीबलर विचलन की एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है और इसे अर्ध-क्वासिमेट्रिक बनाता है। कुल्बैक-लीबलर विचलन की एक अन्य व्याख्या को कुल्बैक-लीबलर से पूर्व प्रस्तुत किया गया था माना कि एक संख्या X का प्रोबेबिलिटी वितरण $p(x)$ के साथ एक अलग समूह मे यादृच्छिक रूप से प्रस्तुत किया गया है। यदि ऐलिस को वास्तविक वितरण $p(x)$ का अनुमान है तब बॉब का मानना है कि वितरण $q(x)$ है तब बॉब औसतन X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित हो सकता है। कुल्बैक-लीबलर विचलन बॉब के सुरप्रिसल का अपेक्षित मान है जिसमें से ऐलिस का सुरप्रिसल कम है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस प्रकार बॉब के पूर्व अनुमान से इसकी गलत मात्रा निर्धारित की जा सकती है इससे उसे अनावश्यक रूप से आश्चर्यचकित होने की संभावना है।

निर्देशित सूचना

निर्देशित सूचना, $I(X^{n}\to Y^{n})$ , एक सूचना सिद्धांत का उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$ निर्देशित सूचना शब्द जेम्स मैसी द्वारा निर्मित किया गया था और इसे निम्न रूप में परिभाषित किया गया है:

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})

,

X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}

जहाँ $I(X^{i};Y_{i}|Y^{i-1})$ :की सशर्त पारस्परिक सूचना है:

$I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$ .

पारस्परिक सूचना के विपरीत निर्देशित सूचना सममित नहीं होती है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो $X^{n}$ और $Y^{n}$ के रूप मे प्रसारित होते हैं।^[13] निर्देशित सूचना में समस्याओं में कई अनुप्रयोग होते हैं जहाँ निर्देशित सूचना एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,^[14]^[15] प्रतिक्रिया के साथ असतत मेमोरी लेस नेटवर्क की क्षमता के कारण मेमोरी सूचना के साथ गैंबलिंगडेटा कंप्रेशन^[16] और रीयल-टाइम संचार सेटिंग^[17]^[18] मे सांख्यिकीय भौतिकी है।^[19]^[20]

अन्य सूचना

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक सूचना सम्मिलित है। साथ ही निर्णय लेने में कितनी सूचना का उपयोग किया गया है इसके लिए माप के रूप में व्यावहारिक सूचना का प्रस्ताव किया गया है।

कोडिंग सिद्धांत

सीडी-आर की पाठनीय सतह पर अस्पष्ट दिखाने वाली छवि को संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके सूक्ष्म अस्पष्ट छवि को पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे सोर्स कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो सोर्स की सूचना एन्ट्रापी है।

डेटा कंप्रेशन (सोर्स कोडिंग): कंप्रेशन समस्या के लिए दो फ़ंक्शन हैं:
- लॉसलेस डेटा कंप्रेशन: डेटा का पुनर्निर्माण किया जाना चाहिए।
- लोससि डेटा कंप्रेशन: डेटा को पुनः बनाने के लिए आवश्यक बिट्स आवंटित करता है, डिस्टोर्शन फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट स्तर के सूचना सिद्धांत के इस उपसमूह को रेट-डिस्टोर्शन सिद्धांत कहा जाता है।
त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा कंप्रेशन जितना संभव हो उतना रिडंडेंसीय बिट्स को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की रिडंडेंसीय (अर्थात, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक ध्वनि चैनल में प्रसारित करने के लिए आवश्यक है। .

कंप्रेशन और संचार में कोडिंग सिद्धांत का यह विभाजन सूचना संचार सिद्धांत या सोर्स-चैनल संचार सिद्धांत द्वारा उपयुक्त है जो कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उपयुक्त करता है। हालाँकि, ये सिद्धांत केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता और प्राप्तकर्ता उपयोगकर्ता से संचार करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल) या अधिक सामान्य नेटवर्क वाले परिदृश्यों में संचार के बाद कंप्रेशन इष्टतम नहीं हो सकता है।

सोर्स सिद्धांत

कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का सोर्स माना जा सकता है। एक मेमोरी लेस सोर्स वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक वेरिएबल होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी सोर्स स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अपेक्षाकृत प्रकार से अध्ययन किया गया है।

दर

सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। मेमोरी लेस सोर्स के लिए यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया की स्थिति में यह है:

r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );

अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी किसी प्रक्रिया की अधिक सामान्य स्थिति के लिए आवश्यक रूप से स्थिर नहीं है जिसकी औसत दर है:

r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});

अर्थात्, प्रति प्रतीक जाइंट एन्ट्रापी की सीमा स्थिर सोर्स के लिए दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।^[21]

सूचना दर के रूप में परिभाषित किया गया है:

r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});

सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के विषय में चर्चा करना सामान्य है। उदाहरण के लिए, जब सूचना का सोर्स अंग्रेजी भाषा है। सूचना के सोर्स की दर उसकी रिडंडेंसी से संबंधित है और इसे अपेक्षाकृत अच्छी तरह से कंप्रेस्ड किया जा सकता है क्योकि यह सोर्स कोडिंग का विषय है।

चैनल क्षमता

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल प्रायः सिग्नल के ध्वनि का उपयुक्त पुनर्निर्माण करने में विफल होते हैं, साइलेंस और सिग्नल कोर्रप्शन के अन्य रूप प्रायः चैनल गुणवत्ता को नष्ट करते हैं।

एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}

यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है और Y हमारे चैनल पर एक इकाई समय मे प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। माना कि $p (y | x)$ X दिए गए Y का सशर्त प्रोबेबिलिटी डिस्ट्रीब्यूशन फ़ंक्शन है। हम $p (y | x)$ को हमारे संचार चैनल की अंतर्निहित निश्चित विशेषता (हमारे चैनल के ध्वनि की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूर्ण रूप से हमारे चैनल और $f (x)$ से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के अंतर्गत हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक सूचना है और इस अधिकतम पारस्परिक सूचना को चैनल क्षमता कहा जाता है और इसे निम्न समीकरण द्वारा दिया जाता है:

C=\max _{f}I(X;Y).\!

इस क्षमता में सूचना दर R (जहां R सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित विशेषता है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और डिकोडिंग एल्गोरिदम सम्मिलित है जैसे कि ब्लॉक त्रुटि की अधिकतम प्रोबेबिलिटी ≤ ε है। अर्थात्, अपेक्षाकृत रूप से छोटी ब्लॉक त्रुटि के साथ संचारित करना सदैव संभव होता है। इसके अतिरिक्त किसी भी दर R > C के लिए अपेक्षाकृत रूप से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक ध्वनि चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

गॉसियन ध्वनि के अंतर्गत एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले सिद्धांत देखें।
क्रॉसओवर प्रोबेबिलिटी p वाला बाइनरी सममित चैनल (बीएससी) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रोबेबिलिटी p के साथ इनपुट बिट को फ़्लिप करता है। बीएससी की क्षमता $1 - H b (p)$ बिट्स प्रति चैनल है जहां $H b$ बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

इरेज़र प्रोबेबिलिटी P वाला बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'e' है जिसे इरेज़र कहा जाता है। इरेज़र एक इनपुट बिट में सूचना के पूर्ण लॉस को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - P बिट्स है।

मेमोरी और निर्देशित सूचना वाले चैनल

सामान्यतः कई चैनलों में मेमोरी होती है। अर्थात् समय $i$ पर चैनल सशर्त प्रोबेबिलिटी $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$ दी गयी है जिसमे $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ का उपयोग करना प्रायः अधिक सामान्य होता है जो कि $P(y_{i}|x^{i},y^{i-1}).$ एक चैनल बन गया है।

ऐसी स्थिति मे चैनल क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं होती है यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है।^[22]^[23]

अन्य क्षेत्रों के लिए अनुप्रयोग

कृत्रिम बुद्धिमत्ता और गोपनीयता अनुप्रयोग

सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर प्रयुक्त होती हैं। ट्यूरिंग की सूचना इकाई बैन का उपयोग अल्ट्रा-प्रोजेक्ट में किया गया था जिसमे जर्मन एनिग्मा मशीन कोड को विभाजित कर दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में लाई शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया था जिसे अब यूनिसिटी दूरी कहा जाता है। अतिरिक्तता के आधार पर यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है। सूचना सिद्धांत हमें यह विश्वास देता है कि सूचना को गुप्त रखना पहले दिखने की तुलना में कहीं अधिक जटिल है। एक जटिल स्थिति का अटैक असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक उपयोग किए जाने वाले तरीकों पर आधारित सिस्टम को नष्ट कर सकता है। ऐसे सभी प्रकारों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात अटैक वन-टाइम में उन्हें नष्ट नहीं कर सकता है।

सूचना सैद्धांतिक सुरक्षा का तात्पर्य वन-टाइम पैड जैसे प्रकारों से है जो ऐसे क्रूर बल के अटैक के प्रति संवेदनशील नहीं हैं। ऐसी स्थितियों में प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी) के बीच सकारात्मक सशर्त पारस्परिक सूचना उपयुक्त वेरिएबल सुनिश्चित कर सकती है जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच अतिरिक्त शर्त पारस्परिक सूचना शून्य रहती है, जिसके परिणामस्वरूप सुरक्षित संचार होता है। दूसरे शब्दों में एक गुप्त वेरिएबल सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं टेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं हो सकता है। हालाँकि किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित प्रकारो को भी अपेक्षाकृत सही रूप से प्रयुक्त करने के लिए उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख डेटा के पुन: उपयोग के कारण सोवियत संघ के वन-टाइम पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या

छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा लाइब्रेरी और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे लगभग सार्वभौमिक रूप से क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से सुरक्षित नहीं हैं। यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें इसके अनुसार कार्य करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मान रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित इन उपायों के बीच अंतर का अर्थ यह है कि उच्च शैनन एन्ट्रॉपी वाला यादृच्छिक वेरिएबल एक एक्सट्रैक्टर में उपयोग के लिए क्रिप्टोग्राफी उपयोग मे आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय निरीक्षण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल निरीक्षण के क्षेत्र में था। इस क्षेत्र में कार्य करने से अवांछित ध्वनि को वांछित भूकंपीय संकेत से अलग करना संभव हो गया था। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग प्रकार की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।^[24]

संकेत विज्ञान

संकेत विज्ञान डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना है। नौटा ने संकेत विज्ञान सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया है।^[25]^: 171^[26]^: 137 नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया।^[25]^: 91 अतिरेक और कोड नियंत्रण जैसे सूचना सिद्धांत की अवधारणाओं का उपयोग अम्बर्टो इको और :it:Ferruccio Rossi-Landi|Ferruccio Rossi-Landi जैसे लाक्षणिकों द्वारा विचारधारा को संदेश संचरण के एक रूप के रूप में समझाने के लिए किया गया है जिससे एक प्रमुख सामाजिक वर्ग अपने संदेश का उत्सर्जन करता है उन संकेतों का उपयोग करना जो उच्च स्तर की अतिरेक प्रदर्शित करते हैं जैसे कि प्रतिस्पर्धी लोगों के चयन के बीच केवल एक संदेश को डिकोड किया जाता है।^[27]

तंत्रिका सूचना का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना मे सैद्धांतिक प्रकारों को प्रयुक्त किया गया है।^[28] इस संदर्भ में एक सूचना-सैद्धांतिक उपाय जैसे कि कार्यात्मक क्लस्टर (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)^[29]) या प्रभावी सूचना (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत) को परिभाषित किया गया है।^[30]^[31]^[32] पुनर्प्रवेश प्रक्रिया संगठन के आधार पर न्यूरोनल के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन या सांख्यिकीय प्रकारों के आधार पर ऊर्जा को कम करने के उपाय कार्ल जे. फ्रिस्टन का ऊर्जा सिद्धांत (एफईपी) के सूचना-सैद्धांतिक उपाय है जो प्रस्तुत करते है कि स्व-संगठित प्रणाली में प्रत्येक उपयुक्त परिवर्तन और बायेसियन परिकल्पना से अपेक्षाकृत ऊर्जा कम हो सकती है।^[33]^[34]^[35]^[36]^[37]

विविध अनुप्रयोग

सूचना सिद्धांत के कई अनुप्रयोग गैंबलिंग ब्लैक होल और जैव सूचना विज्ञान से संबंधित हैं।

यह भी देखें

एल्गोरिथम प्रोबेबिलिटी
बायेसियन सिद्धान्त
संचार सिद्धांत
निर्माता सिद्धांत - सूचना सिद्धांत का सामान्यीकरण जिसमें क्वांटम सूचना सम्मिलित है।
औपचारिक विज्ञान
चुम्बकीय संभावना
इन्फो मेट्रिक
न्यूनतम संदेश लंबाई
न्यूनतम विवरण लंबाई
सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची

अनुप्रयोग

नेटवर्किंग
क्रिप्ट एनालिसिस
क्रिप्टोग्राफी
साइबरनेटिक्स
ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
गैंबलिंग
सेस्मिक ऐक्सप्लोरशन

इतिहास

हार्टले, आर.वी.एल.
सूचना सिद्धांत का इतिहास
क्लॉड एलवुड शैनन
सूचना सिद्धांत की समयरेखा
एच.पी. ह्यूबर्ट हॉकी

सिद्धांत

अवधारणा

बैन (यूनिट)
चैनल क्षमता
संचार चैनल
संचार सोर्स
सशर्त एन्ट्रापी
कॉवेर्ट चैनल
डाटा कॉम्प्रेशन
डिकोडर
डिफरेंटीएल एन्ट्रापी
फुंगिबल इनफार्मेशन
फ्लक्चुएशन कॉम्प्लेक्सिटी इनफार्मेशन
सूचना एन्ट्रापी
जॉइंट एन्ट्रॉपी
कुलबैक-लीब्लर डाइवर्जेंस
प्वाइंटवाइज म्यूचअल इनफार्मेशन (पीएमआई)
रिसीवर (सूचना सिद्धांत)
रिडंडेंसीय (सूचना सिद्धांत)
रेनी एंट्रॉपी
यूनीसिटी डिस्टेंस
साइबरनेटिक्स
हैमिंग डिस्टेंस

संदर्भ

↑ ^1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.
↑ Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.
↑ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
↑ ^4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.
↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
↑ cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.
↑ Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.
↑ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.
↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
↑ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.
↑ Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.
↑ Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.
↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.
↑ Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.
↑ Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.
↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.
↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
↑ Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.
↑ Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.
↑ Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.
↑ ^25.0 ^25.1 Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.
↑ Nöth, Winfried (January 2012). "चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत". Cybernetics and Human Knowing. 19 (1–2): 137–161.
↑ Nöth, Winfried (1981). "Semiotics of ideology". Semiotica, Issue 148.
↑ Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526
↑ Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.
↑ Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.
↑ Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.
↑ Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.
↑ Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.
↑ Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.
↑ Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.
↑ Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.
↑ Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

अग्रिम पठन

क्लासिक कार्य

क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].

सूचना सिद्धांत पर पाठ्यपुस्तकें

Arndt, C. सूचना उपाय, सूचना और विज्ञान और इंजीनियरिंग में इसका विवरण (स्प्रिंगर श्रृंखला: सिग्नल और संचार प्रौद्योगिकी), 2004, ISBN 978-3-540-40855-0
ऐश, आरबी। सूचना सिद्धांत। न्यूयॉर्क: इंटरसाइंस, 1965। ISBN 0-470-03445-9. न्यूयॉर्क: डोवर 1990। ISBN 0-486-66521-6
Gallager, R. सूचना सिद्धांत और विश्वसनीय संचार। न्यूयॉर्क: जॉन विली एंड संस, 1968। ISBN 0-471-29048-3
गोल्डमैन, एस. सूचना सिद्धांत। न्यूयॉर्क: प्रेंटिस हॉल, 1953। न्यूयॉर्क: डोवर 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
Cover, Thomas; Thomas, Joy A. (2006). सूचना सिद्धांत के तत्व (2nd ed.). New York: Wiley-Interscience. ISBN 0-471-24195-4.
सिसजर, आई, कोर्नर, जे. इंफॉर्मेशन थ्योरी: डिस्क्रीट मेमोरीलेस सिस्टम्स के लिए कोडिंग प्रमेय एकेडेमिया किआडो: दूसरा संस्करण, 1997। ISBN 963-05-7440-3
डेविड जे.सी. मैके|मैके, डेविड जे.सी. सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम कैम्ब्रिज: कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003। ISBN 0-521-64298-1
मंसूरीपुर, एम. सूचना सिद्धांत का परिचय। न्यूयॉर्क: अप्रेंटिस हॉल, 1987। ISBN 0-13-484668-0
रॉबर्ट मैकएलिस |मैकएलिस, आर. सूचना और कोडिंग का सिद्धांत। कैम्ब्रिज, 2002। ISBN 978-0521831857
जॉन आर. पियर्स|पियर्स, जेआर। सूचना सिद्धांत का परिचय: प्रतीक, संकेत और शोर। डोवर (दूसरा संस्करण)। 1961 (डोवर 1980 द्वारा पुनर्मुद्रित)।
रेजा, एफ. एन इंट्रोडक्शन टू इंफॉर्मेशन थ्योरी। न्यूयॉर्क: मैकग्रा-हिल 1961। न्यूयॉर्क: डोवर 1994। ISBN 0-486-68210-2
Shannon, Claude; Weaver, Warren (1949). संचार का गणितीय सिद्धांत (PDF). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
स्टोन, जेवी। पुस्तक का अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड, 2014। ISBN 978-0956372857.
युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0

अन्य पुस्तकें

लियोन ब्रिलौइन, विज्ञान और सूचना सिद्धांत, माइनोला, एन.वाई: डोवर, [1956, 1962] 2004। ISBN 0-486-43918-6
जेम्स ग्लीक, सूचना: एक इतिहास, एक सिद्धांत, एक बाढ़, न्यूयॉर्क: पेंथियन, 2011। ISBN 978-0-375-42372-7
ए.आई. खिनचिन, मैथमैटिकल फ़ाउंडेशन ऑफ़ इंफ़ॉर्मेशन थ्योरी, न्यूयॉर्क: डोवर, 1957। ISBN 0-486-60434-9
एच.एस. लेफ़ और ए.एफ. रेक्स, संपादक, मैक्सवेल्स डेमन: एंट्रॉपी, सूचना, कम्प्यूटिंग, प्रिंसटन यूनिवर्सिटी प्रेस, प्रिंसटन, न्यू जर्सी (1990)। ISBN 0-691-08727-X
रॉबर्ट के. लोगान। सूचना क्या है? - बायोस्फीयर, सिम्बोस्फीयर, टेक्नोस्फीयर और इकोनोस्फीयर में प्रचार संगठन, टोरंटो: डेमो पब्लिशिंग।
टॉम सिगफ्रीड, द बिट एंड द पेंडुलम, विले, 2000। ISBN 0-471-32174-5
चार्ल्स साबुन, ब्रह्मांड को डिकोड करना, वाइकिंग, 2006। ISBN 0-670-03441-X
जेरेमी कैंपबेल, व्याकरणिक आदमी, टचस्टोन/साइमन एंड शूस्टर, 1982, ISBN 0-671-44062-4
हेनरी थेल, अर्थशास्त्र और सूचना सिद्धांत, रैंड मैकनेली एंड कंपनी - शिकागो, 1967।
Escolano, Suau, Bonev, इंफॉर्मेशन थ्योरी इन कंप्यूटर विज़न एंड पैटर्न रिकग्निशन, स्प्रिंगर, 2009। ISBN 978-1-84882-296-2
Vlatko Vedral, डिकोडिंग रियलिटी: द यूनिवर्स एज़ क्वांटम इंफॉर्मेशन, ऑक्सफोर्ड यूनिवर्सिटी प्रेस 2010। ISBN 0-19-923769-7

बाहरी संबंध

"Information", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education
IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews

[:0-1] 1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.

[2] Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.

[3] Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.

[Spikes-4] 4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.

[5] Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.

[6] ; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.

[7] Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.

[8] Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.

[9] Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.

[10] Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.

[Reza-11] Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.

[Ash-12] Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.

[13] Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.

[14] Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)

[15] Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.

[16] Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.

[17] Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.

[18] Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.

[19] Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.

[20] Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.

[21] Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.

[22] Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)

[23] Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.

[24] Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.

[Nauta_1972-25] 25.0 ^25.1 Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.

[Nöth_2012-26] Nöth, Winfried (January 2012). "चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत". Cybernetics and Human Knowing. 19 (1–2): 137–161.

[27] Nöth, Winfried (1981). "Semiotics of ideology". Semiotica, Issue 148.

[28] Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526

[29] Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.

[30] Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.

[31] Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.

[32] Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.

[33] Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.

[34] Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.

[35] Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.

[36] Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.

[37] Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

@@ Line 1: / Line 1: @@
 {{short description|Scientific study of digital information}}
-{{distinguish|Information science}}
+{{distinguish|सूचना विज्ञान}}
-{{Example farm|date=May 2020}}
-{{Information theory}}
-सूचना सिद्धांत परिमाणीकरण (विज्ञान), [[कंप्यूटर डेटा भंडारण]] और सूचना के दूरसंचार का वैज्ञानिक अध्ययन है।<ref>{{Cite web|title=क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया|url=https://www.fiercetelecom.com/special-report/claude-shannon-pioneered-digital-information-theory|access-date=2021-04-30|website=FierceTelecom|language=en}}</ref> 1920 के दशक में [[हैरी निक्विस्ट]] और राल्फ हार्टले और 1940 के दशक में [[क्लाउड शैनन]] के कार्यों द्वारा इस क्षेत्र को मौलिक रूप से स्थापित किया गया था।<ref>{{Cite book|last=Shannon|first=Claude Elwood|url=https://www.worldcat.org/oclc/40716662|title=संचार का गणितीय सिद्धांत|date=1998|publisher=University of Illinois Press|others=Warren Weaver|isbn=0-252-72546-8|location=Urbana|oclc=40716662}}</ref>{{Rp|page=vii|location=}} क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, [[कंप्यूटर विज्ञान]], सांख्यिकीय यांत्रिकी, [[सूचना इंजीनियरिंग (क्षेत्र)]], और [[विद्युत अभियन्त्रण]] के चौराहे पर है।
-सूचना सिद्धांत में एक महत्वपूर्ण उपाय सूचना एन्ट्रॉपी है। एन्ट्रापी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में शामिल अनिश्चितता की मात्रा निर्धारित करता है। उदाहरण के लिए, एक [[पासा]] के रोल से परिणाम निर्दिष्ट करने की तुलना में एक निष्पक्ष सिक्का फ्लिप (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करने से कम जानकारी (कम एन्ट्रापी) मिलती है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय हैं आपसी सूचना, [[चैनल क्षमता]], त्रुटि घातांक और सापेक्ष एन्ट्रापी। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, [[एल्गोरिथम जटिलता सिद्धांत]], [[एल्गोरिथम सूचना सिद्धांत]] और [[सूचना-सैद्धांतिक सुरक्षा]] शामिल हैं।
+'''सूचना सिद्धांत''' सूचना के परिमाणीकरण [[कंप्यूटर डेटा भंडारण|कंप्यूटर डेटा]] और संचार का गणितीय अध्ययन है।<ref name=":0">{{Cite web|title=क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया|url=https://www.fiercetelecom.com/special-report/claude-shannon-pioneered-digital-information-theory|access-date=2021-04-30|website=FierceTelecom|language=en}}</ref> इस सूचना सिद्धांत को मूल रूप से [[हैरी निक्विस्ट]] और राल्फ हार्टले ने 1920 के दशक में और [[क्लाउड शैनन]] ने 940 के दशक में स्थापित किया गया था।<ref>{{Cite book|last=Shannon|first=Claude Elwood|url=https://www.worldcat.org/oclc/40716662|title=संचार का गणितीय सिद्धांत|date=1998|publisher=University of Illinois Press|others=Warren Weaver|isbn=0-252-72546-8|location=Urbana|oclc=40716662}}</ref>{{Rp|page=vii|location=}} इस सूचना सिद्धांत का उपयोग संभाव्यता सिद्धांत, सांख्यिकी, [[कंप्यूटर विज्ञान]], सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और [[विद्युत अभियन्त्रण|विद्युत]] इंजीनियरिंग मे भी किया जाता है।
-सूचना सिद्धांत के मौलिक विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप (फ़ाइल प्रारूप)), और चैनल कोडिंग/त्रुटि का पता लगाने और सुधार (जैसे [[डिजिटल खरीदारों की पंक्ति]] के लिए) शामिल हैं। गहरे अंतरिक्ष में वोयाजर कार्यक्रम मिशन की सफलता, [[कॉम्पैक्ट डिस्क]] का आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए इसका प्रभाव महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय निष्कर्ष सहित अन्य क्षेत्रों में भी आवेदन मिला है,<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref> [[क्रिप्टोग्राफी]], [[तंत्रिका जीव विज्ञान]],<ref name="Spikes">{{cite book|title=स्पाइक्स: न्यूरल कोड की खोज|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> अनुभूति,<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> भाषा विज्ञान, विकास<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव|journal=Science|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> और समारोह<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण|url=http://alum.mit.edu/www/toms/|journal=Gene|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097}}</ref> आणविक कोड (जैव सूचना विज्ञान), थर्मल भौतिकी,<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=सूचना सिद्धांत और सांख्यिकीय यांत्रिकी|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> [[आणविक गतिकी]],<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720}}</ref> क्वांटम कंप्यूटिंग, [[ब्लैक होल]], सूचना पुनर्प्राप्ति, इंटेलिजेंस (सूचना एकत्र करना), साहित्यिक चोरी का पता लगाना,<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=श्रृंखला पत्र और विकासवादी इतिहास|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref> पैटर्न पहचान, विसंगति पहचान<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि|author=David R. Anderson|date=November 1, 2003|archive-url=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archive-date=July 23, 2011|url-status=dead|access-date=2010-06-23}}
+सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक वेरिएबल के मान या यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।<ref name=":0" /> उदाहरण के लिए एक सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम सूचना (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक सूचना, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में सोर्स कोडिंग, [[एल्गोरिथम जटिलता सिद्धांत|एल्गोरिथम कॉम्प्लेक्सिटी सिद्धांत]], [[एल्गोरिथम सूचना सिद्धांत]] और [[सूचना-सैद्धांतिक सुरक्षा]] सम्मिलित हैं।
-</ref> और कला निर्माण भी।
-== सिंहावलोकन ==
+सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में सोर्स कोडिंग/डेटा कंप्रेशन (उदाहरण के लिए ज़िप फ़ाइलों के लिए), चैनल कोडिंग का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित है। इसका प्रभाव अंतरिक्ष में वोयाजर मिशन की सफलता, [[कॉम्पैक्ट डिस्क]] के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। इस सिद्धांत का सांख्यिकीय अनुमान,<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref> [[क्रिप्टोग्राफी]], न्यूरोबायोलॉजी<ref name="Spikes">{{cite book|title=स्पाइक्स: न्यूरल कोड की खोज|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> धारणा<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> भाषा विज्ञान, आणविक कोड<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव|journal=Science|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> (जैव सूचना विज्ञान), थर्मल भौतिकी,<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=सूचना सिद्धांत और सांख्यिकीय यांत्रिकी|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> [[आणविक गतिकी]]<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720}}</ref> क्वांटम कंप्यूटिंग, [[ब्लैक होल]], सूचना पुनर्प्राप्ति सूचना एकत्र करना, साहित्यिक त्रुटि का पता लगाना, पैटर्न पहचान के विकास और कार्य<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण|url=http://alum.mit.edu/www/toms/|journal=Gene|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097}}</ref> सहित अन्य क्षेत्रों में भी अनुप्रयोग किया गया है।<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=श्रृंखला पत्र और विकासवादी इतिहास|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>
-सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता के समाधान के रूप में माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लॉड शैनन द्वारा [[संचार का एक गणितीय सिद्धांत]] नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को एक शोर वाले चैनल पर भेजें, और रिसीवर को चैनल के शोर के बावजूद त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए। शैनन का मुख्य परिणाम, नॉइज़-चैनल कोडिंग प्रमेय ने दिखाया कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश भेजा जाता है।<ref name="Spikes" />
-कोडिंग सिद्धांत स्पष्ट तरीकों को खोजने से संबंधित है, जिन्हें कोड कहा जाता है, दक्षता बढ़ाने के लिए और शोर चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के पास कम करने के लिए। इन कोडों को मोटे तौर पर डेटा कम्प्रेशन (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने वाली विधियों को खोजने में कई साल लग गए।
+== समीक्षा ==
+सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण के उपयोग का अध्ययन करता है। संक्षेप में सूचना को अनिश्चितता का समाधान माना जा सकता है। एक ध्वनि चैनल पर सूचना के संचार की स्थिति में इस अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के ''गणितीय सिद्धांत नामक'' (''ए मैथमेटिकल  थ्योरी  ऑफ़  कम्युनिकेशन'') एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक समूह के रूप में माना जाता है। इसका मुख्य लक्ष्य इन संदेशों को ध्वनि वाले चैनल पर भेजना और प्राप्तकर्ता को चैनल की ध्वनि के अतिरिक्त त्रुटि की कम संभावना के साथ संदेश को पुनर्निर्मित करना है। शैनन का मुख्य परिणाम ध्वनि-चैनल कोडिंग सिद्धांत से प्राप्त हुआ है कि कई चैनल उपयोगों की सीमा में सूचना की दर जो कि मुख्य रूप से प्राप्त करने योग्य है चैनल क्षमता के बराबर है जो केवल चैनल के डेटा पर निर्भर करती है जिस पर संदेश आते हैं और भेजे जाते हैं।<ref name="Spikes" />
-सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (दोनों [[कोड (क्रिप्टोग्राफी)]] और [[सिफ़र]]) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत से अवधारणाओं, विधियों और परिणामों का क्रिप्टोग्राफी और [[क्रिप्ट विश्लेषण]] में व्यापक रूप से उपयोग किया जाता है। एक ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।
+कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और ध्वनि वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के निकट तक कम करने के लिए स्पष्ट प्रकारो को खोजने से है जिन्हें कोड कहा जाता है। इन कोडों को सामान्यतः डेटा कंप्रेशन (सोर्स कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद की कई स्थितियों मे शैनन के कार्य को सिद्ध करने के प्रकारों को खोजने में कई साल लग गए थे।
-== ऐतिहासिक पृष्ठभूमि ==
+सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम कोड और सिफर हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है।
-{{Main|History of information theory}}
-जुलाई और अक्टूबर 1948 में [[बेल सिस्टम तकनीकी जर्नल]] में क्लॉड ई. शैनन के क्लासिक पेपर ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन का प्रकाशन सूचना सिद्धांत के अनुशासन की स्थापना और इसे तत्काल दुनिया भर में ध्यान में लाने वाली ऐतिहासिक घटना थी।
-इस पत्र से पहले, [[बेल लैब्स]] में सीमित सूचना-सैद्धांतिक विचारों को विकसित किया गया था, सभी समान संभावना की घटनाओं को मानते हुए। हैरी न्यक्विस्ट का 1924 का पेपर, टेलीग्राफ गति को प्रभावित करने वाले कुछ कारक, एक सैद्धांतिक खंड शामिल है जो खुफिया जानकारी और लाइन की गति को बताता है जिस पर इसे संचार प्रणाली द्वारा प्रेषित किया जा सकता है, संबंध देते हुए {{math|1=''W'' = ''K'' log ''m''}} (बोल्ट्ज़मैन स्थिरांक को याद करते हुए), जहां W बुद्धि के संचरण की गति है, m प्रत्येक चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है, और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर, सूचना का प्रसारण, शब्द सूचना का उपयोग एक मापने योग्य मात्रा के रूप में करता है, जो रिसीवर की क्षमता को किसी अन्य से प्रतीकों के एक क्रम को अलग करने की क्षमता को दर्शाता है, इस प्रकार जानकारी को परिमाणित करता है {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}, जहां S संभव प्रतीकों की संख्या थी, और n संचरण में प्रतीकों की संख्या थी। सूचना की इकाई इसलिए [[दशमलव अंक]] थी, जिसे कभी-कभी एक इकाई या पैमाने या सूचना के माप के रूप में उनके सम्मान में [[हार्टले (इकाई)]] कहा जाता है। 1940 में [[एलन ट्यूरिंग]] ने जर्मन द्वितीय विश्व युद्ध के टूटने के सांख्यिकीय विश्लेषण के भाग के रूप में एनिग्मा सिफर के क्रिप्टैनालिसिस के समान विचारों का उपयोग किया।
+== ऐतिहासिक सूचना ==
+{{Main|सूचना सिद्धांत का इतिहास}}
-[[लुडविग बोल्ट्जमैन]] और जे. विलार्ड गिब्स द्वारा ऊष्मप्रवैगिकी के क्षेत्र के लिए विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर द्वारा महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रापी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एंट्रॉपी में खोजे गए हैं।
+सूचना सिद्धांत के अनुशासन को स्थापित करने करने के लिए ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में [[बेल सिस्टम तकनीकी जर्नल]] में क्लाउड ईशैनन के क्लासिक पेपर "''संचार का गणितीय सिद्धांत''" (''ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन)'' मे प्रकाशन था जिससे उन्हें "सूचना सिद्धांत के जनक" नाम से भी जाना जाने लगा था।
-शैनन के क्रांतिकारी और ग्राउंडब्रेकिंग पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को एक सांख्यिकीय प्रक्रिया के रूप में अंतर्निहित सूचना सिद्धांत के रूप में पेश किया, जो कि दावे के साथ शुरू हुआ:
+इस पेपर से पहले [[बेल लैब्स]] में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए, हैरी नाइक्विस्ट के 1924 के पेपर टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ इवेंट में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक भाग सम्मिलित है जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है। संबंध {{math|1=''W'' = ''K'' log ''m''}} (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है जहां W बुद्धि के संवेरिएबलण की गति है, m प्रत्येक समय फेज़ में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर 'सूचना प्रसारण' शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है इस प्रकार सूचना को {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}} के रूप में क्रमबद्ध करता है, जहां S भावित प्रतीकों की संख्या और संचार में प्रतीकों की संख्या थी। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में [[एलन ट्यूरिंग]] ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को विभाजित करने के सांख्यिकीय विश्लेषण के भाग के रूप में इसी प्रकार के विचारों का उपयोग किया था।
-: संचार की मूलभूत समस्या एक बिंदु पर पुनरुत्पादन की है, या तो बिल्कुल या लगभग, एक संदेश दूसरे बिंदु पर चुना गया है।
-इसके साथ के विचार आए
+विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित [[लुडविग बोल्ट्जमैन]] और जे. विलार्ड गिब्स द्वारा ऊष्मागतिकी के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और ऊष्मागतिकी एन्ट्रॉपी के बीच संबंध ऊष्मागतिकी और सूचना सिद्धांत की एन्ट्रॉपी में खोजे गए हैं।
-* किसी स्रोत की सूचना एन्ट्रापी और अतिरेक (सूचना सिद्धांत), और स्रोत कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता;
-* शोर-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण हानि-मुक्त संचार के वादे सहित एक शोर चैनल की पारस्परिक जानकारी और चैनल क्षमता;
-* [[गॉसियन चैनल]] की चैनल क्षमता के लिए शैनन-हार्टले कानून का व्यावहारिक परिणाम; साथ ही
-* द [[काटा]]—जानकारी की सबसे मौलिक इकाई को देखने का एक नया तरीका।
-== जानकारी की मात्रा ==
+शैनन के क्रांतिकारी और अभूतपूर्व पेपर में जिसके लिए कार्य 1944 के अंत तक बेल लैब्स में अपेक्षाकृत स्थिति तक पूर्ण हो चुका था। शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में प्रस्तुत किया था जो इस कई संभावनाओ के साथ प्रारम्भ हुआ था।
-{{Main|Quantities of information}}
+: "संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर प्रयुक्त या अनुमानित करने के रूप से पुन: प्रस्तुत करना है।"
-सूचना सिद्धांत संभाव्यता सिद्धांत और सांख्यिकी पर आधारित है, जहां सूचना की मात्रा को आमतौर पर बिट्स के रूप में वर्णित किया जाता है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के उपायों से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एंट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एक एकल यादृच्छिक चर में सूचना के मापन की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित आपसी जानकारी है, जो उन चरों के बीच आम सूचना के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को मज़बूती से संकुचित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर संचार चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल के आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।
-निम्नलिखित सूत्रों में लघुगणकीय आधार का चुनाव उपयोग की जाने वाली सूचना एन्ट्रॉपी के मापन की इकाइयों को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लघुगणक पर आधारित है। अन्य इकाइयों में नेट (इकाई) शामिल है, जो [[प्राकृतिक]] लघुगणक पर आधारित है, और [[उन्होंने कहा]], जो [[सामान्य लघुगणक]] पर आधारित है।
+इसके साथ के कई विचार किए गए हैं:
+* किसी सोर्स की सूचना एन्ट्रापी, रिडंडेंसीय (सूचना सिद्धांत), और सोर्स कोडिंग सिद्धांत के माध्यम से इसकी प्रासंगिकता।
+* ध्वनि-चैनल कोडिंग सिद्धांत द्वारा दिए गए पूर्ण ओपेन सोर्स संचार सहित ध्वनि चैनल की पारस्परिक सूचना और चैनल क्षमता।
+* [[गॉसियन चैनल]] की चैनल क्षमता के लिए शैनन-हार्टले नियम का व्यावहारिक परिणाम।
+* [[काटा|बिट]] - सूचना की फंडामेंटल यूनिट (मौलिक इकाई)
-निम्नलिखित में, रूप की अभिव्यक्ति {{math|''p'' log ''p''}} सम्मेलन द्वारा जब भी शून्य के बराबर माना जाता है {{math|1=''p'' = 0}}. यह उचित है क्योंकि <math>\lim_{p \rightarrow 0+} p \log p = 0</math> किसी भी लघुगणकीय आधार के लिए।
+== सूचना की मात्रा ==
+{{Main|सूचना की मात्रा}}
-=== सूचना स्रोत की एन्ट्रॉपी ===
+सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक सूचना सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत प्रायः यादृच्छिक वेरिएबल से संबद्ध वितरण की सूचना के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक वेरिएबल में सूचना के माप की मात्रा निर्धारित करने की स्वीकृति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक वेरिएबलों पर परिभाषित पारस्परिक सूचना है, जो उन वेरिएबलों के बीच सामान्य सूचना की माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक वेरिएबल के प्रोबेबिलिटी वितरण की एक विशेषता है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नियम द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है जो उत्तरार्द्ध दो यादृच्छिक वेरिएबल के संयुक्त वितरण की एक विशेषता है और लंबी ब्लॉक लंबाई की सीमा में एक ध्वनि चैनल में विश्वसनीय संचार की अधिकतम दर है जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं तब निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है और डेसिमल जो सामान्यतः [[सामान्य लघुगणक|लघुगणक]] पर आधारित है। निम्नलिखित में {{math|''p'' log ''p''}} को शून्य के बराबर माना जाता है।
-संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक के संभाव्यता द्रव्यमान समारोह के आधार पर, शैनन [[एंट्रॉपी (सूचना सिद्धांत)]] {{math|''H''}}, बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दिया गया है
+जहां {{math|1=''p'' = 0}} है क्योंकि किसी भी लघुगणकीय आधार के लिए <math>\lim_{p \rightarrow 0+} p \log p = 0</math> है।
+=== सूचना सोर्स की एन्ट्रॉपी ===
+संप्रेषित किए जाने वाले प्रत्येक सोर्स प्रतीक की संभाव्यता द्रव्यमान के आधार पर [[एंट्रॉपी (सूचना सिद्धांत)]] {{math|''H''}}, बिट्स की इकाइयों में (प्रति प्रतीक) द्वारा दी गई है:
 :<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
-कहाँ पे {{math|''p<sub>i</sub>''}} होने की संभावना है {{math|''i''}}स्रोत प्रतीक का -वाँ संभावित मान। यह समीकरण बिट्स (प्रति प्रतीक) की इकाइयों में एंट्रॉपी देता है क्योंकि यह आधार 2 के लॉगरिदम का उपयोग करता है, और एंट्रॉपी के इस बेस -2 माप को कभी-कभी उनके सम्मान में शैनन (यूनिट) कहा जाता है। एंट्रॉपी की गणना आमतौर पर प्राकृतिक लघुगणक (बेस {{mvar|[[E (mathematical constant)|e]]}}, कहाँ पे {{mvar|e}} यूलर की संख्या है), जो प्रति प्रतीक नेट्स में एंट्रॉपी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक शामिल करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन आमतौर पर कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार का एक लघुगणक {{nowrap|1=2<sup>8</sup> = 256}} [[बाइट]] प्रति प्रतीक में एक माप उत्पन्न करेगा, और आधार 10 का एक लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टले (इकाई)) में माप का उत्पादन करेगा।
+जहां {{math|''p<sub>i</sub>''}} सोर्स प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार {{mvar|[[E (mathematical constant)|e]]}}, जहां {{mvar|e}} यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए आधार {{nowrap|1=2<sup>8</sup> = 256}} का लघुगणक प्रति प्रतीक बाइट में माप उत्पन्न करेगा और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।
-सहज रूप से, एन्ट्रापी {{math|''H<sub>X</sub>''}} असतत यादृच्छिक चर का {{math|''X''}} के मूल्य से जुड़ी अनिश्चितता की मात्रा का एक उपाय है {{math|''X''}} जब केवल इसका वितरण ज्ञात हो।
+सामान्यतः एक असतत यादृच्छिक वेरिएबल {{math|''X''}} की एन्ट्रापी {{math|''H<sub>X</sub>''}}, {{math|''X''}} के मान से संबद्ध अनिश्चितता की मात्रा का माप है जब केवल इसका वितरण ज्ञात होता है। एक सोर्स की एन्ट्रापी जो [[स्वतंत्र और समान रूप से वितरित]] (आईआईडी) {{math|''N''}} प्रतीकों के अनुक्रम का उत्सर्जन करती है वह {{math|''N'' ⋅ ''H''}} बिट्स ({{math|''N''}} प्रतीकों के प्रति संदेश) है। यदि सोर्स डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई {{math|''N''}} के संदेश की एन्ट्रापी {{math|''N'' ⋅ ''H''}} से कम होती है।
-एक स्रोत की एन्ट्रापी जो अनुक्रम का उत्सर्जन करती है {{math|''N''}} प्रतीक जो [[स्वतंत्र और समान रूप से वितरित]] (आईआईडी) हैं {{math|''N'' ⋅ ''H''}} बिट्स (के प्रति संदेश {{math|''N''}} प्रतीक)। यदि स्रोत डेटा प्रतीक समान रूप से वितरित किए जाते हैं लेकिन स्वतंत्र नहीं होते हैं, तो लंबाई के संदेश की एंट्रॉपी {{math|''N''}} से कम होगा {{math|''N'' ⋅ ''H''}}.
+[[File:Binary entropy plot.svg|thumbनेल | राइट | 200 पीएक्स सफलता की संभावना के एक समारोह के रूप में, जिसे अक्सर कहा जाता है {{em|[[binary entropy function]]}}, {{math|''H''<sub>b</sub>(''p'')}}. एन्ट्रापी को 1 बिट प्रति परीक्षण पर अधिकतम किया जाता है जब दो संभावित परिणाम समान रूप से संभावित होते हैं, जैसा कि एक निष्पक्ष सिक्का टॉस में होता है।]]
-[[File:Binary entropy plot.svg|thumbनेल | राइट | 200 पीएक्स सफलता की संभावना के एक समारोह के रूप में, जिसे अक्सर कहा जाता है {{em|[[binary entropy function]]}}, {{math|''H''<sub>b</sub>(''p'')}}. एन्ट्रापी को 1 बिट प्रति परीक्षण पर अधिकतम किया जाता है जब दो संभावित परिणाम समान रूप से संभावित होते हैं, जैसा कि एक निष्पक्ष सिक्का टॉस में होता है।]]यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है, और इन बिट्स में से प्रत्येक का मूल्य रिसीवर को पता है (निश्चितता के साथ एक विशिष्ट मूल्य है) तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। यदि, हालांकि, प्रत्येक बिट स्वतंत्र रूप से समान रूप से 0 या 1 होने की संभावना है, सूचना के 1000 शैनन (अधिक बार बिट्स कहलाते हैं) प्रेषित किए गए हैं। इन दो चरम सीमाओं के बीच, सूचना को निम्नानुसार परिमाणित किया जा सकता है। यदि <math>\mathbb{X}</math> सभी संदेशों का सेट है {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}} वह {{math|''X''}} हो सकता है, और {{math|''p''(''x'')}} कुछ की संभावना है <math>x \in \mathbb X</math>, फिर एन्ट्रापी, {{math|''H''}}, का {{math|''X''}} परिभषित किया:<ref name = Reza>{{cite book | title = सूचना सिद्धांत का एक परिचय| author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8}}</ref>
+यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है और इनमें से प्रत्येक बिट का मान संचार से पहले प्राप्तकर्ता को ज्ञात है तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन सूचना (जिसे प्रायः बिट्स कहा जाता है) प्रसारित की गई है। इन दो वेरिएबल सीमाओं के बीच सूचना को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि <math>\mathbb{X}</math> सभी संदेशों का समूह {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}} है तब वह {{math|''X''}} हो सकता है जहां {{math|''p''(''x'')}} की संभावना <math>x \in \mathbb X</math> है और एन्ट्रापी {{math|''H''}} को {{math|''X''}} द्वारा रिभषित किया है:<ref name="Reza">{{cite book | title = सूचना सिद्धांत का एक परिचय| author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8}}</ref>
 :<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>
-(यहां, {{math|''I''(''x'')}} स्व-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और <math>\mathbb{E}_X</math> [[अपेक्षित मूल्य]] है।) एंट्रॉपी की एक संपत्ति यह है कि यह अधिकतम हो जाता है जब संदेश स्थान में सभी संदेश परिवर्तनीय होते हैं {{math|1=''p''(''x'') = 1/''n''}}; यानी, सबसे अप्रत्याशित, किस मामले में {{math|1=''H''(''X'') = log ''n''}}.
+यहां, {{math|''I''(''x'')}} स्व-सूचना है जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है और <math>\mathbb{E}_X</math> अपेक्षित मान है। एन्ट्रापी की एक विशेषता यह है कि यह तब अधिकतम होती है जबकि सभी स्थितियों में संदेश प्रोबेबिलिटी {{math|1=''p''(''x'') = 1/''n''}} होती है। अर्थात अप्रत्याशित स्थिति में {{math|1=''H''(''X'') = log ''n''}} है। दो परिणामों वाले यादृच्छिक वेरिएबल के लिए सूचना एन्ट्रॉपी की विशेष स्थिति बाइनरी एन्ट्रॉपी है जिसे सामान्यतः लघुगणक आधार 2 पर ले जाया जाता है। इस प्रकार शैनन (s) को इकाई के रूप में रखा जाता है:
-दो परिणामों के साथ एक यादृच्छिक चर के लिए सूचना एन्ट्रापी का विशेष मामला बाइनरी एन्ट्रापी फ़ंक्शन है, जिसे आमतौर पर लघुगणकीय आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (Sh) को इकाई के रूप में रखा जाता है:
 :<math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).</math>
+=== संयुक्त (जॉइंट) एन्ट्रापी ===
-=== संयुक्त एन्ट्रॉपी === {{em|[[joint entropy]]}} }} दो असतत यादृच्छिक चर के {{math|''X''}} तथा {{math|''Y''}} उनकी जोड़ी की एन्ट्रॉपी मात्र है: {{math|(''X'', ''Y'')}}. इसका तात्पर्य यह है कि यदि {{math|''X''}} तथा {{math|''Y''}} सांख्यिकीय स्वतंत्रता हैं, तो उनकी संयुक्त एन्ट्रॉपी उनकी अलग-अलग एन्ट्रापी का योग है।
+दो असतत यादृच्छिक वेरिएबल {{math|''X''}} और {{math|''Y''}} की जाइंट एन्ट्रापी केवल उनके युग्म {{math|(''X'', ''Y'')}} की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि {{math|''X''}} और {{math|''Y''}} स्वतंत्र हैं, तो उनकी जाइंट एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है। उदाहरण के लिए यदि {{math|(''X'', ''Y'')}} शतरंज के भाग की स्थिति को दर्शाता है:
-उदाहरण के लिए, यदि {{math|(''X'', ''Y'')}} शतरंज के मोहरे की स्थिति का प्रतिनिधित्व करता है—{{math|''X''}} पंक्ति और {{math|''Y''}} स्तंभ, तो टुकड़े की पंक्ति और टुकड़े के स्तंभ की संयुक्त एन्ट्रापी टुकड़े की स्थिति की एन्ट्रापी होगी।
 :<math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math>
-समान अंकन के बावजूद, संयुक्त एंट्रॉपी को भ्रमित नहीं किया जाना चाहिए {{em|[[cross entropy]]}}.
+समान संकेतन के अतिरिक्त संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जा सकता है।
-===सशर्त एंट्रोपी (संतुलन)=== {{em|[[conditional entropy]]}} }} या की सशर्त अनिश्चितता {{math|''X''}} यादृच्छिक चर दिया {{math|''Y''}} (जिसे इक्विवोकेशन भी कहा जाता है {{math|''X''}} के बारे में {{math|''Y''}}) औसत सशर्त एंट्रॉपी ओवर है {{math|''Y''}}:<ref name=Ash>{{cite book | title = सूचना सिद्धांत| author = Robert B. Ash | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16}}</ref>
+=== सशर्त एन्ट्रापी समीकरण ===
+यादृच्छिक वेरिएबल Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y में X का समीकरण भी कहा जाता है) {{math|''Y''}} पर औसत सशर्त एन्ट्रॉपी है:<ref name="Ash">{{cite book | title = सूचना सिद्धांत| author = Robert B. Ash | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16}}</ref>
 :<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math>
-क्योंकि एन्ट्रापी को एक यादृच्छिक चर पर वातानुकूलित किया जा सकता है या उस यादृच्छिक चर पर एक निश्चित मान होने पर, सशर्त एन्ट्रॉपी की इन दो परिभाषाओं को भ्रमित न करने के लिए देखभाल की जानी चाहिए, जिनमें से पूर्व अधिक सामान्य उपयोग में है। सशर्त एन्ट्रॉपी के इस रूप की एक मूल संपत्ति यह है कि:
+चूँकि एन्ट्रापी को एक यादृच्छिक वेरिएबल पर या उस यादृच्छिक वेरिएबल पर एक निश्चित मान पर वर्णित किया जा सकता है। इसलिए इस विषय का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल विशेषता है:
 : <math> H(X|Y) = H(X,Y) - H(Y) .\,</math>
+===पारस्परिक (म्यूच्यूअल) सूचना===
+पारस्परिक सूचना उस सूचना की मात्रा को मापती है जो एक यादृच्छिक वेरिएबल में दूसरे वेरिएबल को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई सूचना की मात्रा को अधिकतम करने के लिए किया जा सकता है। सामान्यतः {{math|''Y''}} के सापेक्ष {{math|''X''}} की पारस्परिक सूचना इस प्रकार दी गई है:
-===पारस्परिक जानकारी (रूपांतरण)===
-पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। संचार में यह महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। की आपसी जानकारी {{math|''X''}} के सापेक्ष {{math|''Y''}} द्वारा दिया गया है:
 :<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
-कहाँ पे {{math|SI}} (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।
+जहाँ {{math|SI}} विशिष्ट पारस्परिक सूचना है।
-आपसी जानकारी की एक मूल संपत्ति यह है
+पारस्परिक सूचना की एक मूल विशेषता है:
 : <math>I(X;Y) = H(X) - H(X|Y).\,</math>
-यानी Y को जानकर हम औसतन 200 रुपये की बचत कर सकते हैं {{math|''I''(''X''; ''Y'')}} वाई को नहीं जानने की तुलना में एन्कोडिंग एक्स में बिट्स।
+अर्थात्, Y को जानने से हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन {{math|''I''(''X''; ''Y'')}} बिट्स को सुरक्षित कर सकते हैं।
-पारस्परिक जानकारी सममित कार्य है:
+पारस्परिक सूचना सममित है:
 : <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>
-म्युचुअल जानकारी को औसत कुल्बैक-लीब्लर डाइवर्जेंस (सूचना लाभ) के रूप में व्यक्त किया जा सकता है, जो कि एक्स की पूर्ववर्ती संभावना के बीच वाई के मान और एक्स पर पूर्व संभावना के बीच है:
+पारस्परिक सूचना को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:
 : <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>
-दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाता है, तो औसतन X पर प्रायिकता वितरण कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त के विचलन के रूप में पुनर्गणना किया जाता है। वितरण:
+दूसरे शब्दों में यह इस विषय की माप है कि यदि हमें Y का मान दिया जाए तो X पर संभाव्यता वितरण औसतन कितना परिवर्तित हो सकता है। इसे प्रायः सीमांत वितरण के उत्पाद से वास्तविक संयुक्त विवरण तक विचलन के रूप में पुनर्निर्मित किया जाता है:
 : <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>
-पारस्परिक जानकारी [[संभावना-अनुपात परीक्षण]] से निकटता से संबंधित है। आकस्मिक तालिकाओं और बहुराष्ट्रीय वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण और पियर्सन के ची-स्क्वेर्ड टेस्ट से निकटता से संबंधित है। पियर्सन का χ<sup>2</sup> परीक्षण: पारस्परिक जानकारी को चरों की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है, और एक अच्छी तरह से निर्दिष्ट स्पर्शोन्मुख वितरण है।
+पारस्परिक सूचना कई तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण की निकटता से संबंधित है और पियर्सन के χ<sup>2</sup> परीक्षण के लिए पारस्परिक सूचना को वेरिएबल के एक युग्म के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है। सामान्यतः इसमें अपेक्षाकृत एक निर्दिष्ट एसिम्प्टोटिक (अंतर्निहित) वितरण होता है।
 ===कुलबैक-लीब्लर विचलन (सूचना लाभ)===
-कुल्बैक-लीब्लर डाइवर्जेंस (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रापी) दो वितरणों की तुलना करने का एक तरीका है: एक वास्तविक संभाव्यता वितरण {{tmath|p(X)}}, और एक मनमाना संभाव्यता वितरण {{tmath|q(X)}}. अगर हम डेटा को इस तरीके से कंप्रेस करते हैं जो मान लेता है {{tmath|q(X)}} कुछ डेटा के अंतर्गत वितरण है, जब, वास्तव में, {{tmath|p(X)}} सही वितरण है, कुल्बैक-लीब्लर विचलन संपीड़न के लिए आवश्यक औसत अतिरिक्त बिट्स प्रति डेटा की संख्या है। इस प्रकार परिभाषित किया गया है
+कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ या सापेक्ष एन्ट्रॉपी) दो वितरणों मे प्रोबेबिलिटी वितरण {{tmath|p(X)}} और {{tmath|q(X)}} की तुलना करने का सामान्य प्रकार है। यदि हम आंकड़ा को इस प्रकार से परिवर्तित करते हैं कि {{tmath|q(X)}} कुछ डेटा में अंतर्निहित वितरण है जब वास्तव में {{tmath|p(X)}} सही वितरण है तो कुल्बैक-लीबलर विचलन प्रति डेटम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है। सामान्यतः जिसको इस प्रकार परिभाषित किया गया है:
 :<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
-यद्यपि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में प्रयोग किया जाता है, केएल विचलन एक वास्तविक [[मीट्रिक (गणित)]] नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-कैसिमेट्रिक बनाकर)।
+हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है जो कुल्बैक-लीबलर विचलन की एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है और इसे अर्ध-क्वासिमेट्रिक बनाता है। कुल्बैक-लीबलर विचलन की एक अन्य व्याख्या को कुल्बैक-लीबलर से पूर्व प्रस्तुत किया गया था माना कि एक संख्या X का प्रोबेबिलिटी वितरण {{tmath|p(x)}} के साथ एक अलग समूह मे यादृच्छिक रूप से प्रस्तुत किया गया है। यदि ऐलिस को वास्तविक वितरण {{tmath|p(x)}} का अनुमान है तब बॉब का मानना है कि वितरण {{tmath|q(x)}} है तब बॉब औसतन X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित हो सकता है। कुल्बैक-लीबलर विचलन बॉब के सुरप्रिसल का अपेक्षित मान है जिसमें से ऐलिस का सुरप्रिसल कम है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस प्रकार बॉब के पूर्व अनुमान से इसकी गलत मात्रा निर्धारित की जा सकती है इससे उसे अनावश्यक रूप से आश्चर्यचकित होने की संभावना है।
-केएल डाइवर्जेंस की एक और व्याख्या सत्य से पहले पेश किया गया अनावश्यक आश्चर्य है: मान लीजिए कि एक संख्या X संभाव्यता वितरण के साथ असतत सेट से यादृच्छिक रूप से तैयार होने वाली है। {{tmath|p(x)}}. अगर ऐलिस सही वितरण जानता है {{tmath|p(x)}}, जबकि बॉब का मानना है (इसकी पूर्व संभावना है) कि वितरण है {{tmath|q(x)}}, तब बॉब ऐलिस की तुलना में अधिक सूचनात्मक सामग्री होगी, एक्स के मूल्य को देखने पर। केएल विचलन बॉब के (व्यक्तिपरक) सरप्रिसल माइनस ऐलिस के आश्चर्य का (उद्देश्य) अपेक्षित मूल्य है, यदि लॉग बेस में है तो बिट्स में मापा जाता है। 2. इस तरह, बॉब का पूर्व कितना गलत है, यह इस बात से निर्धारित किया जा सकता है कि इससे उसे कितना अनावश्यक रूप से आश्चर्य हुआ।
+=== [[निर्देशित जानकारी|निर्देशित सूचना]] ===
+निर्देशित सूचना, <math>I(X^n\to Y^n) </math>, एक सूचना सिद्धांत का उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है यादृच्छिक प्रक्रिया के लिए <math>Y^n = \{Y_1,Y_2,\dots,Y_n\}</math> निर्देशित सूचना शब्द [[जेम्स मैसी]] द्वारा निर्मित किया गया था और इसे निम्न रूप में परिभाषित किया गया है:
-=== [[निर्देशित जानकारी]] ===
-निर्देशित जानकारी, <math>I(X^n\to Y^n) </math>, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है  <math>X^n = \{X_1,X_2,\dots,X_n\}</math> यादृच्छिक प्रक्रिया के लिए <math>Y^n = \{Y_1,Y_2,\dots,Y_n\}</math>. निर्देशित सूचना शब्द [[जेम्स मैसी]] द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है
 :<math>I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math>,
-कहाँ पे <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी]] है <math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>.
+:<math>X^n = \{X_1,X_2,\dots,X_n\}</math>
-पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। <math>I(X^n\to Y^n) </math> h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं <math>X^n</math> प्रति <math>Y^n</math>. निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,<ref>{{cite journal|last1=Massey|first1=James|title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990|issue=ISITA|citeseerx=10.1.1.36.5688}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> प्रतिक्रिया के साथ असतत [[स्मृतिहीन]] नेटवर्क की क्षमता,<ref>{{cite journal|last1=Kramer|first1=G.|title=असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1|pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> कारण पक्ष की जानकारी के साथ [[जुआ]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim|first2=Young-Han|last3=Weissman|first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6|pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872|s2cid=11722596}}</ref> कारण पक्ष की जानकारी के साथ डेटा संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo|last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013|volume=59|issue=6|pages=3607–3618|doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref>
+जहाँ <math>I(X^{i};Y_i|Y^{i-1})</math> :की [[सशर्त पारस्परिक जानकारी|सशर्त पारस्परिक सूचना]] है:
-और रीयल-टाइम नियंत्रण संचार सेटिंग में,<ref>{{cite journal|last1=Charalambous|first1=Charalambos D.|last2=Stavrou|first2=Photios A.|title=सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ|journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052|doi=10.1109/TIT.2016.2604846|arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण|journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618|s2cid=1401958 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a |arxiv=1510.04214 }}</ref> सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |pages=043403 |doi=10.1088/1742-5468/2016/04/043403|arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237 }}</ref>
+<math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>.
-===अन्य मात्राएं===
+पारस्परिक सूचना के विपरीत निर्देशित सूचना सममित नहीं होती है। <math>I(X^n\to Y^n) </math> h> उन सूचना बिट्स को मापता है जो <math>X^n</math> और <math>Y^n</math> के रूप मे प्रसारित होते हैं।<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim|first2=Young-Han|last3=Weissman|first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6|pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872|s2cid=11722596}}</ref> निर्देशित सूचना में समस्याओं में कई अनुप्रयोग होते हैं जहाँ निर्देशित सूचना एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,<ref>{{cite journal|last1=Massey|first1=James|title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990|issue=ISITA|citeseerx=10.1.1.36.5688}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> प्रतिक्रिया के साथ असतत [[स्मृतिहीन|मेमोरी लेस]] नेटवर्क की क्षमता के कारण मेमोरी सूचना के साथ [[जुआ|गैंबलिंग]]डेटा कंप्रेशन<ref>{{cite journal|last1=Simeone|first1=Osvaldo|last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013|volume=59|issue=6|pages=3607–3618|doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref> और रीयल-टाइम संचार सेटिंग<ref>{{cite journal|last1=Charalambous|first1=Charalambos D.|last2=Stavrou|first2=Photios A.|title=सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ|journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052|doi=10.1109/TIT.2016.2604846|arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण|journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618|s2cid=1401958 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a |arxiv=1510.04214 }}</ref> मे सांख्यिकीय भौतिकी है।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |pages=043403 |doi=10.1088/1742-5468/2016/04/043403|arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237 }}</ref><ref>{{cite journal|last1=Kramer|first1=G.|title=असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1|pages=4–21|doi=10.1109/TIT.2002.806135}}</ref>
-अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एंट्रोपी (एन्ट्रॉपी का एक सामान्यीकरण), [[अंतर एन्ट्रापी]] (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक जानकारी शामिल हैं।
+===अन्य सूचना===
+अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक सूचना सम्मिलित है। साथ ही निर्णय लेने में कितनी सूचना का उपयोग किया गया है इसके लिए माप के रूप में व्यावहारिक सूचना का प्रस्ताव किया गया है।
 == कोडिंग सिद्धांत ==
-{{Main|Coding theory}}
+{{Main|कोडिंग सिद्धांत}}
-[[File:CDSCRATCHES.jpg|thumb|right|सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।]]कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए एक सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो कि स्रोत की सूचना एन्ट्रापी है।
+[[File:CDSCRATCHES.jpg|thumb|right|सीडी-आर की पाठनीय सतह पर अस्पष्ट दिखाने वाली छवि को संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके सूक्ष्म अस्पष्ट छवि को पढ़ा जा सकता है।]]कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे सोर्स कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो सोर्स की सूचना एन्ट्रापी है।
-* डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
+* डेटा कंप्रेशन (सोर्स कोडिंग): कंप्रेशन समस्या के लिए दो फ़ंक्शन हैं:
-** [[दोषरहित डेटा संपीड़न]]: डेटा को ठीक से खंगाला जाना चाहिए;
+** [[दोषरहित डेटा संपीड़न|लॉसलेस डेटा कंप्रेशन]]: डेटा का पुनर्निर्माण किया जाना चाहिए।
-** [[हानिपूर्ण डेटा संपीड़न]]: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
+** [[हानिपूर्ण डेटा संपीड़न|लोससि डेटा कंप्रेशन]]: डेटा को पुनः बनाने के लिए आवश्यक बिट्स आवंटित करता है, डिस्टोर्शन फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट स्तर के सूचना सिद्धांत के इस उपसमूह को रेट-डिस्टोर्शन सिद्धांत कहा जाता है।
-* त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है। .
+* त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा कंप्रेशन जितना संभव हो उतना रिडंडेंसीय बिट्स को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की रिडंडेंसीय (अर्थात, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक ध्वनि चैनल में प्रसारित करने के लिए आवश्यक है। .
-संपीड़न और संचरण में कोडिंग सिद्धांत का यह विभाजन सूचना प्रसारण प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो बिट्स के उपयोग को कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में उचित ठहराते हैं। हालांकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहां एक प्रेषक उपयोगकर्ता एक प्राप्त करने वाले उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर ([[प्रसारण चैनल]]) या इंटरमीडियरी हेल्पर्स (रिले चैनल), या अधिक सामान्य [[कंप्यूटर नेटवर्क]] वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न इष्टतम नहीं हो सकता है।
+कंप्रेशन और संचार में कोडिंग सिद्धांत का यह विभाजन सूचना संचार सिद्धांत या सोर्स-चैनल संचार सिद्धांत द्वारा उपयुक्त है जो कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उपयुक्त करता है। हालाँकि, ये सिद्धांत केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता और प्राप्तकर्ता उपयोगकर्ता से संचार करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल) या अधिक सामान्य नेटवर्क वाले परिदृश्यों में संचार के बाद कंप्रेशन इष्टतम नहीं हो सकता है।
-=== स्रोत सिद्धांत ===
+=== सोर्स सिद्धांत ===
-कोई भी प्रक्रिया जो लगातार संदेश उत्पन्न करती है, उसे माना जा सकता है {{em|[[Communication source|source]]}} जानकारी की। एक स्मृतिहीन स्रोत वह है जिसमें प्रत्येक संदेश एक [[स्वतंत्र समान रूप से वितरित यादृच्छिक चर]] है, जबकि [[एर्गोडिक सिद्धांत]] और स्थिर प्रक्रिया के गुण कम प्रतिबंधात्मक बाधाओं को लागू करते हैं। ऐसे सभी स्रोत स्टोकेस्टिक प्रक्रिया हैं। सूचना सिद्धांत के बाहर इन शर्तों का अपने आप में अच्छी तरह से अध्ययन किया जाता है।
+कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का सोर्स माना जा सकता है। एक मेमोरी लेस सोर्स वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक वेरिएबल होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी सोर्स स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अपेक्षाकृत प्रकार से अध्ययन किया गया है।
-====दर ====<!-- This section is linked from [[Channel capacity]] -->
+====दर ====
-सूचना एन्ट्रापी दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है
+सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। मेमोरी लेस सोर्स के लिए यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया की स्थिति में यह है:
 :<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);</math>
-वह है, एक प्रतीक की सशर्त एन्ट्रॉपी जो पिछले सभी प्रतीकों को उत्पन्न करती है। एक प्रक्रिया के अधिक सामान्य मामले के लिए जो अनिवार्य रूप से स्थिर नहीं है, औसत दर है
+अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी किसी प्रक्रिया की अधिक सामान्य स्थिति के लिए आवश्यक रूप से स्थिर नहीं है जिसकी औसत दर है:
 :<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);</math>
-अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दो व्यंजक समान परिणाम देते हैं।<ref>{{cite book | title = मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक| author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&q=entropy-rate+conditional&pg=PA56 | isbn = 1-55860-369-7 }}</ref>
+अर्थात्, प्रति प्रतीक जाइंट एन्ट्रापी की सीमा स्थिर सोर्स के लिए दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।<ref>{{cite book | title = मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक| author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&q=entropy-rate+conditional&pg=PA56 | isbn = 1-55860-369-7 }}</ref>
-सूचना दर के रूप में परिभाषित किया गया है
+सूचना दर के रूप में परिभाषित किया गया है:
 :<math>r = \lim_{n \to \infty} \frac{1}{n} I(X_1, X_2, \dots X_n;Y_1,Y_2, \dots Y_n);</math>
-सूचना सिद्धांत में किसी भाषा की दर या एन्ट्रापी के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब सूचना का स्रोत अंग्रेजी गद्य हो। सूचना के स्रोत की दर इसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह से संकुचित किया जा सकता है, इसका विषय {{em|source coding}}.
+सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के विषय में चर्चा करना सामान्य है। उदाहरण के लिए, जब सूचना का सोर्स अंग्रेजी भाषा है। सूचना के सोर्स की दर उसकी रिडंडेंसी से संबंधित है और इसे अपेक्षाकृत अच्छी तरह से कंप्रेस्ड किया जा सकता है क्योकि यह सोर्स कोडिंग का विषय है।
 === चैनल क्षमता ===
-{{Main|Channel capacity}}
+{{Main|चैनल क्षमता}}
-एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालांकि, चैनल अक्सर सिग्नल के सटीक पुनर्निर्माण का उत्पादन करने में असफल होते हैं; शोर, मौन की अवधि, और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को कम करते हैं।
+एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल प्रायः सिग्नल के ध्वनि का उपयुक्त पुनर्निर्माण करने में विफल होते हैं, साइलेंस और सिग्नल कोर्रप्शन के अन्य रूप प्रायः चैनल गुणवत्ता को नष्ट करते हैं।
-असतत चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:
+एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:
 :<math title="Channel model">
 \xrightarrow[\text{Message}]{W}
 \begin{array}{ |c| }\hline \text{Encoder} \\ f_n \\ \hline\end{array} \xrightarrow[\mathrm{Encoded \atop sequence}]{X^n} \begin{array}{ |c| }\hline \text{Channel} \\ p(y|x) \\ \hline\end{array} \xrightarrow[\mathrm{Received \atop sequence}]{Y^n} \begin{array}{ |c| }\hline \text{Decoder} \\ g_n \\ \hline\end{array} \xrightarrow[\mathrm{Estimated \atop message}]{\hat W}</math>
-यहाँ X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। होने देना {{math|''p''(''y''{{pipe}}''x'')}} Y दिए गए X का सशर्त प्रायिकता बंटन फलन है। हम विचार करेंगे {{math|''p''(''y''{{pipe}}''x'')}} हमारे संचार चैनल की अंतर्निहित अचल संपत्ति होना (हमारे चैनल के सिग्नल शोर की प्रकृति का प्रतिनिधित्व करना)। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और हमारी पसंद से निर्धारित होता है {{math|''f''(''x'')}}, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजने के लिए चुनते हैं। इन बाधाओं के तहत, हम सूचना की दर, या सिग्नल (इलेक्ट्रिकल इंजीनियरिंग) को अधिकतम करना चाहते हैं, हम चैनल पर संवाद कर सकते हैं। इसके लिए उपयुक्त उपाय पारस्परिक सूचना है, और इस अधिकतम पारस्परिक सूचना को कहा जाता है {{em|channel capacity}} और इसके द्वारा दिया गया है:
+यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है और Y हमारे चैनल पर एक इकाई समय मे प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। माना कि {{math|''p''(''y''{{pipe}}''x'')}} X दिए गए Y का सशर्त प्रोबेबिलिटी डिस्ट्रीब्यूशन फ़ंक्शन है। हम {{math|''p''(''y''{{pipe}}''x'')}} को हमारे संचार चैनल की अंतर्निहित निश्चित विशेषता (हमारे चैनल के ध्वनि की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूर्ण रूप से हमारे चैनल और {{math|''f''(''x'')}} से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के अंतर्गत हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक सूचना है और इस अधिकतम पारस्परिक सूचना को चैनल क्षमता कहा जाता है और इसे निम्न समीकरण द्वारा दिया जाता है:
 :<math> C = \max_{f} I(X;Y).\! </math>
-इस क्षमता में सूचना दर R पर संचार करने से संबंधित निम्नलिखित संपत्ति है (जहाँ R आमतौर पर बिट्स प्रति प्रतीक है)। किसी भी सूचना दर आर <सी और कोडिंग त्रुटि ε> 0 के लिए, काफी बड़े एन के लिए, लंबाई एन और दर ≥ आर और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R> C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।
+इस क्षमता में सूचना दर R (जहां R सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित विशेषता है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और डिकोडिंग एल्गोरिदम सम्मिलित है जैसे कि ब्लॉक त्रुटि की अधिकतम प्रोबेबिलिटी ≤ ε है। अर्थात्, अपेक्षाकृत रूप से छोटी ब्लॉक त्रुटि के साथ संचारित करना सदैव संभव होता है। इसके अतिरिक्त किसी भी दर R > C के लिए अपेक्षाकृत रूप से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।
-[[चैनल कोड]] ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।
+[[चैनल कोड]] ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक ध्वनि चैनल पर डेटा संचारित करने के लिए किया जा सकता है।
 ==== विशेष चैनल मॉडल की क्षमता ====
-* गॉसियन शोर के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
+* गॉसियन ध्वनि के अंतर्गत एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले सिद्धांत देखें।
-* क्रॉसओवर प्रायिकता p वाला एक [[बाइनरी सममित चैनल]] (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है {{math|1 &minus; ''H''<sub>b</sub>(''p'')}} बिट्स प्रति चैनल उपयोग, जहां {{math|''H''<sub>b</sub>}} बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:
+* क्रॉसओवर प्रोबेबिलिटी p वाला [[बाइनरी सममित चैनल]] (बीएससी) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रोबेबिलिटी p के साथ इनपुट बिट को फ़्लिप करता है। बीएससी की क्षमता {{math|1 &minus; ''H''<sub>b</sub>(''p'')}} बिट्स प्रति चैनल है जहां {{math|''H''<sub>b</sub>}} बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:
-::[[File:Binary symmetric channel.svg]]* एक [[बाइनरी इरेज़र चैनल]] (BEC) इरेज़र प्रायिकता p के साथ एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान का प्रतिनिधित्व करता है। बीईसी की क्षमता है {{nowrap|1 &minus; ''p''}} बिट्स प्रति चैनल उपयोग।
+::[[File:Binary symmetric channel.svg]]
+::इरेज़र प्रोबेबिलिटी P वाला बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'e' है जिसे इरेज़र कहा जाता है। इरेज़र एक इनपुट बिट में सूचना के पूर्ण लॉस को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - P बिट्स है।
 ::[[File:Binary erasure channel.svg]]
-==== स्मृति और निर्देशित जानकारी वाले चैनल ====
+==== मेमोरी और निर्देशित सूचना वाले चैनल ====
-व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर <math> i </math> चैनल सशर्त संभाव्यता द्वारा दिया गया है  <math> P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1). </math>.
+सामान्यतः कई चैनलों में मेमोरी होती है। अर्थात् समय <math> i </math> पर चैनल सशर्त प्रोबेबिलिटी <math> P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1). </math> दी गयी है जिसमे <math> x^i=(x_i,x_{i-1},x_{i-2},...,x_1) </math> का उपयोग करना प्रायः अधिक सामान्य होता है जो कि <math> P(y_i|x^i,y^{i-1}). </math> एक चैनल बन गया है।
-अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है <math> x^i=(x_i,x_{i-1},x_{i-2},...,x_1) </math> और चैनल बन गया <math> P(y_i|x^i,y^{i-1}). </math>.
-ऐसे मामले में क्षमता आपसी सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और निर्देशित सूचना दर मामले में प्रतिक्रिया होती है या नहीं<ref>{{cite journal |last1=Massey |first1=James L. |title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990 |citeseerx=10.1.1.36.5688 }}</ref><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref> (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है)।
-== अन्य क्षेत्रों के लिए आवेदन ==
-=== इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग ===
-सूचना सिद्धांत संबंधी अवधारणाएं क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन (यूनिट) का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जर्मन [[पहेली मशीन]] कोड को तोड़कर और यूरोप डे में विजय को तेज किया। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब एकता दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय गूढ़ता सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में [[सिफर]] पाठ देने का प्रयास करता है।
-सूचना सिद्धांत हमें यह मानने की ओर ले जाता है कि रहस्य को बनाए रखना पहले प्रकट होने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला सार्वजनिक-कुंजी क्रिप्टोग्राफी या सममित-कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है, जैसे [[ब्लॉक सिफर]]। ऐसे सभी तरीकों की सुरक्षा वर्तमान में इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।
+ऐसी स्थिति मे चैनल क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं होती है यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है।<ref>{{cite journal |last1=Massey |first1=James L. |title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990 |citeseerx=10.1.1.36.5688 }}</ref><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref>
-[[सूचना सैद्धांतिक सुरक्षा]] एक बार के पैड जैसे तरीकों को संदर्भित करती है जो इस तरह के क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट ([[कुंजी (क्रिप्टोग्राफी)]] पर सशर्त) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक छिपकर सुनने वाला सिफरटेक्स्ट का ज्ञान प्राप्त करके प्लेनटेक्स्ट के बारे में अपने अनुमान को सुधारने में सक्षम नहीं होगा, लेकिन कुंजी का नहीं। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए; मुख्य सामग्री के अनुचित पुन: उपयोग के कारण वेनोना परियोजना सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।
+== अन्य क्षेत्रों के लिए अनुप्रयोग ==
-=== छद्म आयामी संख्या पीढ़ी ===
+=== कृत्रिम बुद्धिमत्ता और गोपनीयता अनुप्रयोग ===
-कंप्यूटर भाषा पुस्तकालयों और अनुप्रयोग कार्यक्रमों में छद्म यादृच्छिक संख्या जनरेटर व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें सॉफ्टवेयर के बाहर यादृच्छिक बीजों की आवश्यकता होती है ताकि वे काम कर सकें। इन्हें एक्सट्रैक्टर (गणित) के माध्यम से प्राप्त किया जा सकता है, अगर सावधानी से किया जाए। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप [[न्यूनतम-एन्ट्रॉपी]] है, रेनी एंट्रॉपी के माध्यम से शैनन एंट्रॉपी से संबंधित मूल्य; क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने के लिए रेनी एंट्रॉपी का भी उपयोग किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और इसलिए क्रिप्टोग्राफी उपयोगों के लिए आवश्यक रूप से संतोषजनक नहीं है।
+सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर प्रयुक्त होती हैं। ट्यूरिंग की सूचना इकाई बैन का उपयोग अल्ट्रा-प्रोजेक्ट में किया गया था जिसमे जर्मन [[पहेली मशीन|एनिग्मा मशीन]] कोड को विभाजित कर दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में लाई शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया था जिसे अब यूनिसिटी दूरी कहा जाता है। अतिरिक्तता के आधार पर यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है। सूचना सिद्धांत हमें यह विश्वास देता है कि सूचना को गुप्त रखना पहले दिखने की तुलना में कहीं अधिक जटिल है। एक जटिल स्थिति का अटैक असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक उपयोग किए जाने वाले तरीकों पर आधारित सिस्टम को नष्ट कर सकता है। ऐसे सभी प्रकारों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात अटैक वन-टाइम में उन्हें नष्ट नहीं कर सकता है।
-=== भूकंपीय अन्वेषण ===
+[[सूचना सैद्धांतिक सुरक्षा]] का तात्पर्य वन-टाइम पैड जैसे प्रकारों से है जो ऐसे क्रूर बल के अटैक के प्रति संवेदनशील नहीं हैं। ऐसी स्थितियों में प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी) के बीच सकारात्मक सशर्त पारस्परिक सूचना उपयुक्त वेरिएबल सुनिश्चित कर सकती है जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच अतिरिक्त शर्त पारस्परिक सूचना शून्य रहती है, जिसके परिणामस्वरूप सुरक्षित संचार होता है। दूसरे शब्दों में एक गुप्त वेरिएबल सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं टेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं हो सकता है। हालाँकि किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित प्रकारो को भी अपेक्षाकृत सही रूप से प्रयुक्त करने के लिए उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख डेटा के पुन: उपयोग के कारण सोवियत संघ के वन-टाइम पैड को क्रैक करने में सक्षम थी।
-सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम ने अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना और अलग करना संभव बना दिया। सूचना सिद्धांत और [[अंकीय संकेत प्रक्रिया]] पिछले एनालॉग तरीकों की तुलना में संकल्प और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=निगम और नवाचार| year=1981 | journal=Strategic Management Journal | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref>
+=== छद्म आयामी संख्या ===
+छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा लाइब्रेरी और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे लगभग सार्वभौमिक रूप से क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से सुरक्षित नहीं हैं। यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें इसके अनुसार कार्य करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मान रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित इन उपायों के बीच अंतर का अर्थ यह है कि उच्च शैनन एन्ट्रॉपी वाला यादृच्छिक वेरिएबल एक एक्सट्रैक्टर में उपयोग के लिए क्रिप्टोग्राफी उपयोग मे आवश्यक रूप से संतोषजनक नहीं है।
-=== लाक्षणिकता ===
+=== भूकंपीय निरीक्षण ===
-लाक्षणिकता :nl:डोएड नौटा और विन्फ्रेड नोथ दोनों ने [[चार्ल्स सैंडर्स पियर्स]] को लाक्षणिकता पर अपने कार्यों में सूचना के सिद्धांत का निर्माण करने के रूप में माना।<ref name="Nauta 1972">{{cite book |last1=Nauta |first1=Doede |title=सूचना का अर्थ|date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref>{{rp|171}}<ref name="Nöth 2012">{{cite journal |last1=Nöth |first1=Winfried |title=चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत|journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</रेफरी>{{rp|137}} नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972"/>{{rp|91}}
+सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल निरीक्षण के क्षेत्र में था। इस क्षेत्र में कार्य करने से अवांछित ध्वनि को वांछित भूकंपीय संकेत से अलग करना संभव हो गया था। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग प्रकार की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=निगम और नवाचार| year=1981 | journal=Strategic Management Journal | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref>
+=== संकेत विज्ञान ===
+संकेत विज्ञान डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना है। नौटा ने संकेत विज्ञान सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया है।<ref name="Nauta 1972">{{cite book |last1=Nauta |first1=Doede |title=सूचना का अर्थ|date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref>{{rp|171}}<ref name="Nöth 2012">{{cite journal |last1=Nöth |first1=Winfried |title=चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत|journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</ref>{{rp|137}} नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972"/>{{rp|91}}
 अतिरेक और कोड नियंत्रण जैसे सूचना सिद्धांत की अवधारणाओं का उपयोग अम्बर्टो इको और :it:Ferruccio Rossi-Landi|Ferruccio Rossi-Landi जैसे लाक्षणिकों द्वारा विचारधारा को संदेश संचरण के एक रूप के रूप में समझाने के लिए किया गया है जिससे एक प्रमुख सामाजिक वर्ग अपने संदेश का उत्सर्जन करता है उन संकेतों का उपयोग करना जो उच्च स्तर की अतिरेक प्रदर्शित करते हैं जैसे कि प्रतिस्पर्धी लोगों के चयन के बीच केवल एक संदेश को डिकोड किया जाता है।<ref>Nöth, Winfried (1981). "[https://kobra.uni-kassel.de/bitstream/handle/123456789/2014122246977/semi_2004_002.pdf?sequence=1&isAllowed=y Semiotics of ideology]". ''Semiotica'', Issue 148.</ref>
+[[Category:1948 में कंप्यूटर से संबंधित परिचय|Information Theory]]
+[[Category:Articles with hatnote templates targeting a nonexistent page|Information Theory]]
+[[Category:CS1 errors]]
+[[Category:Created On 15/12/2022|Information Theory]]
+[[Category:Machine Translated Page|Information Theory]]
+[[Category:Pages with empty portal template|Information Theory]]
+[[Category:Pages with reference errors]]
+[[Category:Pages with script errors|Information Theory]]
+[[Category:Portal templates with redlinked portals|Information Theory]]
+[[Category:Short description with empty Wikidata description|Information Theory]]
-=== तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन ===
+=== तंत्रिका सूचना का एकीकृत प्रक्रिया संगठन ===
-[[संज्ञानात्मक तंत्रिका विज्ञान]] में [[बाध्यकारी समस्या]] के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सिद्धांत विधियों को लागू किया गया है।<ref>Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526</ref> इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे {{em|functional clusters}} ([[गेराल्ड एडेलमैन]] और [[गिउलिओ टोनोनी]] के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)<ref>Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.</ref>) या {{em|effective information}} (टोनोनी की चेतना का [[एकीकृत सूचना सिद्धांत]] (आईआईटी)।<ref>Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.</ref><ref>Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.</ref><ref>Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.</ref>), परिभाषित किया गया है (एक पुनः प्रवेशी प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय विधियों के आधार पर मुक्त ऊर्जा को कम करने का उपाय (कार्ल जे। फ्रिस्टन का [[मुक्त ऊर्जा सिद्धांत]]) (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन मुक्त ऊर्जा को कम करता है, और [[बायेसियन मस्तिष्क]] परिकल्पना<ref>Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.</ref><ref>Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.</ref><ref>Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.</ref><ref>Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.</ref><ref>Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.</ref>).
+संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना मे सैद्धांतिक प्रकारों को प्रयुक्त किया गया है।<ref>Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526</ref> इस संदर्भ में एक सूचना-सैद्धांतिक उपाय जैसे कि कार्यात्मक क्लस्टर ([[गेराल्ड एडेलमैन]] और [[गिउलिओ टोनोनी]] के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)<ref>Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.</ref>) या प्रभावी सूचना (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत) को परिभाषित किया गया है।<ref>Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.</ref><ref>Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.</ref><ref>Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.</ref> पुनर्प्रवेश प्रक्रिया संगठन के आधार पर न्यूरोनल के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन या सांख्यिकीय प्रकारों के आधार पर ऊर्जा को कम करने के उपाय कार्ल जे. फ्रिस्टन का ऊर्जा सिद्धांत (एफईपी) के सूचना-सैद्धांतिक उपाय है जो प्रस्तुत करते है कि स्व-संगठित प्रणाली में प्रत्येक उपयुक्त परिवर्तन और [[बायेसियन मस्तिष्क|बायेसियन]] परिकल्पना से अपेक्षाकृत ऊर्जा कम हो सकती है।<ref>Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.</ref><ref>Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.</ref><ref>Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.</ref><ref>Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.</ref><ref>Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.</ref>
 === विविध अनुप्रयोग ===
-सूचना सिद्धांत में [[जुआ और सूचना सिद्धांत]], [[ब्लैक होल सूचना विरोधाभास]] और जैव सूचना विज्ञान में भी अनुप्रयोग हैं।
+सूचना सिद्धांत के कई अनुप्रयोग गैंबलिंग ब्लैक होल और जैव सूचना विज्ञान से संबंधित हैं।
 == यह भी देखें ==
 {{Portal|Mathematics}}
 {{cols|colwidth=21em}}
-* [[एल्गोरिथम संभावना]]
+* [[एल्गोरिथम प्रोबेबिलिटी]]
-* बायेसियन अनुमान
+* बायेसियन सिद्धान्त
 * [[संचार सिद्धांत]]
-* [[निर्माता सिद्धांत]] - सूचना सिद्धांत का एक सामान्यीकरण जिसमें क्वांटम सूचना शामिल है
+* [[निर्माता सिद्धांत]] - सूचना सिद्धांत का सामान्यीकरण जिसमें क्वांटम सूचना सम्मिलित है।
 * [[औपचारिक विज्ञान]]
-* [[आगमनात्मक संभावना]]
+* [[चुम्बकीय संभावना]]
-* [[जानकारी मेट्रिक्स]]
+* [[इन्फो मेट्रिक]]
 * [[न्यूनतम संदेश लंबाई]]
 * [[न्यूनतम विवरण लंबाई]]
 * सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची
-* सूचना का दर्शन
 {{colend}}
 === अनुप्रयोग ===
 {{cols}}
-* [[सक्रिय नेटवर्किंग]]
+* [[नेटवर्किंग]]
 * क्रिप्ट एनालिसिस
 * क्रिप्टोग्राफी
 * [[साइबरनेटिक्स]]
 * ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
-* जुआ
+* गैंबलिंग
-* [[इंटेलिजेंस (सूचना एकत्र करना)]]
+* सेस्मिक ऐक्सप्लोरशन
-* प्रतिबिंब भूकंप विज्ञान
 {{colend}}
 === इतिहास ===
-* राल्फ हार्टले|हार्टले, आर.वी.एल.
+* हार्टले, आर.वी.एल.
 * [[सूचना सिद्धांत का इतिहास]]
-* क्लॉड एलवुड शैनन | शैनन, सी.ई.
+* क्लॉड एलवुड शैनन
 * सूचना सिद्धांत की समयरेखा
-* ह्यूबर्ट हॉकी | हॉकी, एच.पी.
+* एच.पी. ह्यूबर्ट हॉकी
 === सिद्धांत ===
 {{div col|colwidth=16em}}
 * [[कोडिंग सिद्धांत]]
-* जांच सिद्धांत
+* डिटेक्टिव सिद्धांत
-* [[अनुमान सिद्धांत]]
+* [[एस्टिमेशन सिद्धांत]]
-* [[फिशर की जानकारी]]
+* [[फिशर इंफॉर्मेशन]]
 * [[सूचना बीजगणित]]
-* [[जानकारी विषमता]]
+* [[असममिति सूचना]]
 * [[सूचना क्षेत्र सिद्धांत]]
 * [[सूचना ज्यामिति]]
 * [[सूचना सिद्धांत और माप सिद्धांत]]
-* [[कोलमोगोरोव जटिलता]]
+* [[कोलमोगोरोव कॉम्प्लेक्सिटी]]
-* [[सूचना सिद्धांत में अनसुलझी समस्याओं की सूची]]
+* [[सूचना सिद्धांत में समस्याओं की सूची]]
 * [[सूचना का तर्क]]
 * [[नेटवर्क कोडिंग]]
-* सूचना का दर्शन
+* सूचना विज्ञान
 * क्वांटम सूचना विज्ञान
-* स्रोत कोडिंग
+* [[सोर्स कोडिंग]]
 {{div col end}}
+=== अवधारणा ===
-=== अवधारणाओं ===
 {{div col|colwidth=16em}}
-* प्रतिबंध (इकाई)
+* बैन (यूनिट)
 * चैनल क्षमता
-* बातचीत का माध्यम
+* संचार चैनल
-* [[संचार स्रोत]]
+* [[संचार सोर्स]]
 * [[सशर्त एन्ट्रापी]]
-* [[गुप्त चैनल]]
+* [[कॉवेर्ट चैनल]]
-* आधार - सामग्री संकोचन
+* डाटा कॉम्प्रेशन
 * डिकोडर
-* विभेदक एन्ट्रापी
+* डिफरेंटीएल एन्ट्रापी
-* वैकल्पिक जानकारी
+* फुंगिबल इनफार्मेशन
-* सूचना में उतार-चढ़ाव की जटिलता
+* फ्लक्चुएशन कॉम्प्लेक्सिटी इनफार्मेशन
 * सूचना एन्ट्रापी
-* संयुक्त एन्ट्रॉपी
+* जॉइंट एन्ट्रॉपी
-* कुलबैक-लीब्लर डाइवर्जेंस
+* [[कुलबैक-लीब्लर डाइवर्जेंस]]
-* आपसी जानकारी
+* [[प्वाइंटवाइज म्यूचअल इनफार्मेशन (पीएमआई)]]
-* प्वाइंटवाइज आपसी जानकारी (पीएमआई)
 * रिसीवर (सूचना सिद्धांत)
-* अतिरेक (सूचना सिद्धांत)
+* रिडंडेंसीय (सूचना सिद्धांत)
-* रेनी एंट्रॉपी
+* [[रेनी एंट्रॉपी]]
-* स्व-सूचना
+* [[यूनीसिटी डिस्टेंस]]
-* एकता दूरी
+* [[साइबरनेटिक्स]]
-* विविधता (साइबरनेटिक्स)
+* [[हैमिंग डिस्टेंस]]
-* [[हैमिंग दूरी]]
 {{div col end}}
 ==संदर्भ==
 {{Reflist}}
 == अग्रिम पठन ==
-=== क्लासिक काम ===
+=== क्लासिक कार्य ===
 {{refbegin}}
 * क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.] <br />[https://web.archive.org/web/20150409204946/http://cm.bell-labs. com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।]
@@ Line 330: / Line 317: @@
 {{refend}}
 == बाहरी संबंध ==
-{{Wikiquote}}
-{{Library resources box}}
 * {{SpringerEOM |title=Information |id=p/i051040}}
 * Lambert F. L. (1999), "[http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!]", ''Journal of Chemical Education''
 * [http://www.itsoc.org/ IEEE Information Theory Society] and [https://www.itsoc.org/resources/surveys ITSOC Monographs, Surveys, and Reviews]
-{{Areas of mathematics}}{{Authority control}}
 {{DEFAULTSORT:Information Theory}}[[Category:सूचना सिद्धांत| ]]
 [[Category: क्लाउड शैनन]]
@@ Line 349: / Line 332: @@
 [[Category: Machine Translated Page]]
 [[Category:Created On 15/12/2022]]
+[[Category:Vigyan Ready]]

Anonymous

Search