सूचना सिद्धांत

Template:Example farm

सूचना सिद्धांत सूचना के परिमाणीकरण, कंप्यूटर डेटा और संचार का गणितीय अध्ययन है।^[1] यह सूचना सिद्धांत मूल रूप से 1920 के दशक में हैरी निक्विस्ट और राल्फ हार्टले ने और 1940 के दशक में क्लाउड शैनन के द्वारा स्थापित किया गया था।^[2]^: vii अनुप्रयुक्त गणित का क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और विद्युत इंजीनियरिंग के चौराहे पर है।

सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।^[1] उदाहरण के लिए, एक उचित सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम जानकारी (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक जानकारी, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, एल्गोरिथम जटिलता सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा सम्मिलित हैं।

सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप फ़ाइलों के लिए), और चैनल कोडिंग/त्रुटि का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित हैं। इसका प्रभाव गहरे अंतरिक्ष में वोयाजर मिशन की सफलता, कॉम्पैक्ट डिस्क के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय अनुमान,^[3] क्रिप्टोग्राफी, न्यूरोबायोलॉजी^[4] धारणा^[5] भाषाविज्ञान, आणविक कोड^[6] (जैव सूचना विज्ञान), थर्मल भौतिकी,^[7] आणविक गतिकी^[8] के विकास और कार्य^[9]सहित अन्य क्षेत्रों में भी अनुप्रयोग मिला है।^[10] क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति, खुफिया जानकारी एकत्र करना, साहित्यिक चोरी का पता लगाना, पैटर्न पहचान, विसंगति का पता लगाना और यहां तक कि कला निर्माण भी।^[11]

समीक्षा

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता का समाधान माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के एक गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें जानकारी को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को शोर वाले चैनल पर भेजें, और प्राप्तकर्ता को चैनल के शोर के बावजूद, त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए कहें। शैनन का मुख्य परिणाम, शोर-चैनल कोडिंग प्रमेय से पता चला कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो कि स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश आते हैं भेजे जाते हैं.^[4]

कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और शोर वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के करीब तक कम करने के लिए स्पष्ट तरीकों को खोजने से है, जिन्हें कोड कहा जाता है। इन कोडों को मोटे तौर पर डेटा संपीड़न (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने के तरीकों को खोजने में कई साल लग गए।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (कोड और सिफर दोनों) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है। ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।

ऐतिहासिक सूचना

सूचना सिद्धांत के अनुशासन को स्थापित करने और इसे तुरंत दुनिया भर के ध्यान में लाने वाली ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लाउड ईशैनन के क्लासिक पेपर "ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन" का प्रकाशन था। उन्हें "सूचना सिद्धांत के जनक" नाम से जाना जाने लगा।

इस पेपर से पहले बेल लैब्स में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए। हैरी नाइक्विस्ट के 1924 के पेपर, टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ कारक, में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक खंड सम्मिलित है, जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है, संबंध $W = K log m$ (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है। , जहां W बुद्धि के संचरण की गति है, m प्रत्येक समय चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है।

राल्फ हार्टले का 1928 का पेपर, ट्रांसमिशन ऑफ इंफॉर्मेशन, शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है, इस प्रकार जानकारी को $H = log S n = n log S$ के रूप में मात्राबद्ध करता है, जहां एस संख्या थी संभावित प्रतीकों की संख्या, और ट्रांसमिशन में प्रतीकों की संख्या। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को तोड़ने के सांख्यिकीय विश्लेषण के हिस्से के रूप में इसी तरह के विचारों का इस्तेमाल किया।

विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा थर्मोडायनामिक्स के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रॉपी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एन्ट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और अभूतपूर्व पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में पेश किया, जो इस दावे के साथ शुरू हुआ:

"संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर सटीक या अनुमानित रूप से पुन: प्रस्तुत करना है।"

इसके साथ के विचार आए

किसी स्रोत की सूचना एन्ट्रापी और अतिरेक (सूचना सिद्धांत), और स्रोत कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता;
शोर-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण हानि-मुक्त संचार के वादे सहित एक शोर चैनल की पारस्परिक जानकारी और चैनल क्षमता;
गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले कानून का व्यावहारिक परिणाम; साथ ही
द काटा—जानकारी की सबसे मौलिक इकाई को देखने का एक नया तरीका।

जानकारी की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक जानकारी सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक चर में जानकारी के माप की मात्रा निर्धारित करने की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित पारस्परिक जानकारी है, जो उन चरों के बीच सामान्य जानकारी के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की एक संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।

निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है, और दशमलव अंक, जो सामान्य लघुगणक पर आधारित है।

निम्नलिखित में $p log p$ की अभिव्यक्ति को सम्मेलन द्वारा शून्य के बराबर माना जाता है जब भी $p = 0$ यह उचित है क्योंकि किसी भी लॉगरिदमिक आधार के लिए $\lim _{p\rightarrow 0+}p\log p=0$ है।

सूचना स्रोत की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक की संभाव्यता द्रव्यमान फ़ंक्शन के आधार पर एंट्रॉपी (सूचना सिद्धांत) $H$ , बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दी गई है

H=-\sum _{i}p_{i}\log _{2}(p_{i})

जहां $p i$ स्रोत प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है, और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार $e$ , जहां $e$ यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार 2⁸ = 256 का लघुगणक प्रति प्रतीक बाइट्स में माप उत्पन्न करेगा, और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।

सहज रूप से, एक असतत यादृच्छिक चर $X$ की एन्ट्रापी $H X$ , $X$ के मान से जुड़ी अनिश्चितता की मात्रा का एक माप है, जब केवल इसका वितरण ज्ञात होता है।

एक स्रोत की एन्ट्रापी जो स्वतंत्र और समान रूप से वितरित (आईआईडी) एन प्रतीकों के अनुक्रम का उत्सर्जन करती है वह $N \cdot H$ बिट्स ( $N$ प्रतीकों के प्रति संदेश) है। यदि स्रोत डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई $N$ $N$ के संदेश की एन्ट्रापी $N \cdot H$ से कम होगी।

यदि कोई 1000 बिट्स (0एस और 1एस) प्रसारित करता है, और इनमें से प्रत्येक बिट का मूल्य ट्रांसमिशन से पहले रिसीवर को ज्ञात है (निश्चितता के साथ एक विशिष्ट मूल्य है), तो यह स्पष्ट है कि कोई जानकारी प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन जानकारी (जिसे अक्सर बिट्स कहा जाता है) प्रसारित की गई है। इन दो चरम सीमाओं के बीच, जानकारी को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का सेट है ${x 1, ..., x n}$ वह $X$ हो सकता है, और $p (x)$ कुछ की संभावना है $x\in \mathbb {X}$ , फिर एन्ट्रापी, $H$ , का $X$ परिभषित किया:^[12]

H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).

(यहां, $I (x)$ स्वयं-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और $\mathbb {E} _{X}$ अपेक्षित मूल्य है।) एन्ट्रापी की एक संपत्ति यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्य $p (x) = 1/ n$ हैं यानी सबसे अप्रत्याशित स्थिति में $H (X) = log n$

दो परिणामों वाले यादृच्छिक चर के लिए सूचना एन्ट्रॉपी का विशेष मामला बाइनरी एन्ट्रॉपी फ़ंक्शन है, जिसे सामान्यतः लॉगरिदमिक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:

H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).

संयुक्त एन्ट्रापी

दो असतत यादृच्छिक चर $X$ और $Y$ की संयुक्त एन्ट्रापी केवल उनकी जोड़ी $(X, Y)$ की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि $X$ और $Y$ स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है।

उदाहरण के लिए, यदि (X, Y) शतरंज के मोहरे की स्थिति को दर्शाता है

H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,

समान संकेतन के बावजूद, संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जाना चाहिए।

सशर्त एन्ट्रापी (समीकरण)

यादृच्छिक चर Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y के बारे में X का समीकरण भी कहा जाता है) $Y$ पर औसत सशर्त एन्ट्रॉपी है:^[13]

H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).

चूँकि एन्ट्रापी को एक यादृच्छिक चर पर या उस यादृच्छिक चर पर एक निश्चित मूल्य पर वातानुकूलित किया जा सकता है, इसलिए इस बात का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल संपत्ति यह है:

H(X|Y)=H(X,Y)-H(Y).\,

पारस्परिक जानकारी (रूपांतरण)

पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। $Y$ के सापेक्ष $X$ की पारस्परिक जानकारी इस प्रकार दी गई है:

I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}

कहाँ पे $SI$ (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।

आपसी जानकारी की एक मूल संपत्ति यह है

I(X;Y)=H(X)-H(X|Y).\,

अर्थात्, Y को जानने से, हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन $I (X; Y)$ बिट्स बचा सकते हैं।

पारस्परिक जानकारी सममित कार्य है:

I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,

पारस्परिक जानकारी को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:

I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].

दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त तक विचलन के रूप में पुनर्गणना किया जाता है।

I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).

आपसी जानकारी आकस्मिक तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण से निकटता से संबंधित है और पियर्सन के χ² परीक्षण के लिए आपसी जानकारी को चर की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है और इसमें एक अच्छी तरह से निर्दिष्ट एसिम्प्टोटिक वितरण होता है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रॉपी) दो वितरणों एक "सही" संभाव्यता वितरण $p(X)$ और एक मनमाना संभाव्यता वितरण $q(X)$ की तुलना करने का एक तरीका है। अगर यदि हम डेटा को इस तरह से संपीड़ित करते हैं कि मान लेते हैं कि $q(X)$ कुछ डेटा में अंतर्निहित वितरण है, जब, वास्तव में $p(X)$ सही वितरण है, तो कुल्बैक-लीबलर विचलन प्रति डेटाम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है संपीड़न. इसे इस प्रकार परिभाषित किया गया है:

D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.

हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-क्वासिमेट्रिक बनाता है)।

केएल विचलन की एक अन्य व्याख्या सत्य से पूर्व द्वारा पेश किया गया "अनावश्यक आश्चर्य" है, मान लीजिए कि एक संख्या एक्स संभाव्यता वितरण $p(x)$ के साथ एक अलग सेट से यादृच्छिक रूप से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितरण $p(x)$ पता है, जबकि बॉब का मानना है (पहले से है) कि वितरण $q(x)$ है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्चर्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्चर्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्चर्यचकित" होने की उम्मीद है।

निर्देशित जानकारी

निर्देशित जानकारी, $I(X^{n}\to Y^{n})$ , एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है $X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$ यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$ . निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})

,

कहाँ पे $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक जानकारी है

$I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$ .

पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं $X^{n}$ प्रति $Y^{n}$ . निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,^[14]^[15] प्रतिक्रिया के साथ असतत स्मृतिहीन नेटवर्क की क्षमता,^[16] कारण पक्ष की जानकारी के साथ जुआ,^[17] कारण पक्ष की जानकारी के साथ डेटा संपीड़न,^[18] और रीयल-टाइम नियंत्रण संचार सेटिंग में,^[19]^[20] सांख्यिकीय भौतिकी।^[21]

अन्य मात्राएं

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए जानकारी की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक जानकारी सम्मिलित है। साथ ही, निर्णय लेने में कितनी जानकारी का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक जानकारी का प्रस्ताव किया गया है।

कोडिंग सिद्धांत

सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो स्रोत की सूचना एन्ट्रापी है।

डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
- दोषरहित डेटा संपीड़न: डेटा को ठीक से खंगाला जाना चाहिए;
- हानिपूर्ण डेटा संपीड़न: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है। .

संपीड़न और ट्रांसमिशन में कोडिंग सिद्धांत का यह विभाजन सूचना ट्रांसमिशन प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में जानकारी के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न अब इष्टतम नहीं हो सकता है।

स्रोत सिद्धांत

कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का स्रोत माना जा सकता है। एक स्मृतिहीन स्रोत वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक चर होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी स्रोत स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अच्छी तरह से अध्ययन किया गया है।

दर

सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि, एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है

r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );

अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी। किसी प्रक्रिया के अधिक सामान्य मामले के लिए जो आवश्यक रूप से स्थिर नहीं है, औसत दर है

r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});

अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।^[22]

सूचना दर के रूप में परिभाषित किया गया है

r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});

सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब जानकारी का स्रोत अंग्रेजी गद्य है। सूचना के स्रोत की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह स्रोत कोडिंग का विषय है।

चैनल क्षमता

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल अक्सर सिग्नल के शोर का सटीक पुनर्निर्माण करने में विफल होते हैं, मौन की अवधि और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को ख़राब करते हैं।

एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}

यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि $p (y | x)$ X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम $p (y | x)$ को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के शोर की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और $f (x)$ की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक जानकारी है, और इस अधिकतम पारस्परिक जानकारी को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:

C=\max _{f}I(X;Y).\!

इस क्षमता में सूचना दर आर (जहां आर सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित संपत्ति है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R > C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

गॉसियन शोर के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
क्रॉसओवर प्रायिकता p वाला एक बाइनरी सममित चैनल (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है $1 - H b (p)$ बिट्स प्रति चैनल उपयोग, जहां $H b$ बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।

स्मृति और निर्देशित जानकारी वाले चैनल

व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर $i$ चैनल सशर्त संभाव्यता द्वारा दिया गया है $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$ . अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ और चैनल बन गया $P(y_{i}|x^{i},y^{i-1}).$ .

ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित जानकारी पारस्परिक जानकारी के बराबर होती है)।^[23]^[24]

अन्य क्षेत्रों के लिए आवेदन

इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग

सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन, का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जिसने जर्मन एनिग्मा मशीन कोड को तोड़ दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में तेजी लाई। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब यूनिसिटी दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है।

सूचना सिद्धांत हमें यह विश्वास दिलाता है कि रहस्यों को छिपाकर रखना पहले दिखने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है। ऐसे सभी तरीकों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।

सूचना सैद्धांतिक सुरक्षा का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तचर सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या पीढ़ी

छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा पुस्तकालयों और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें इरादे के अनुसार काम करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर्स के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मूल्य रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और क्रिप्टोग्राफी उपयोग के लिए आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय अन्वेषण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम करने से अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना संभव हो गया। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग तरीकों की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।^[25]

लाक्षणिकता

सांकेतिकतावादी डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना। नौटा ने लाक्षणिक सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया।^[26]^: 171Cite error: Closing </ref> missing for <ref> tag

तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका जानकारी के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को लागू किया गया है।^[27] इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)^[28]) या प्रभावी जानकारी (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।^[29]^[30]^[31]), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और बायेसियन मस्तिष्क परिकल्पना^[32]^[33]^[34]^[35]^[36])।

विविध अनुप्रयोग

सूचना सिद्धांत का जुआ ब्लैक होल और जैव सूचना विज्ञान में भी अनुप्रयोग है।

यह भी देखें

एल्गोरिथम संभावना
बायेसियन अनुमान
संचार सिद्धांत
निर्माता सिद्धांत - सूचना सिद्धांत का एक सामान्यीकरण जिसमें क्वांटम सूचना शामिल है
औपचारिक विज्ञान
आगमनात्मक संभावना
जानकारी मेट्रिक्स
न्यूनतम संदेश लंबाई
न्यूनतम विवरण लंबाई
सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची
सूचना का दर्शन

अनुप्रयोग

सक्रिय नेटवर्किंग
क्रिप्ट एनालिसिस
क्रिप्टोग्राफी
साइबरनेटिक्स
ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
जुआ
इंटेलिजेंस (सूचना एकत्र करना)
प्रतिबिंब भूकंप विज्ञान

इतिहास

राल्फ हार्टले|हार्टले, आर.वी.एल.
सूचना सिद्धांत का इतिहास
क्लॉड एलवुड शैनन
सूचना सिद्धांत की समयरेखा
एच.पी. ह्यूबर्ट हॉकी

सिद्धांत

कोडिंग सिद्धांत
जांच सिद्धांत
अनुमान सिद्धांत
फिशर की जानकारी
सूचना बीजगणित
जानकारी विषमता
सूचना क्षेत्र सिद्धांत
सूचना ज्यामिति
सूचना सिद्धांत और माप सिद्धांत
कोलमोगोरोव जटिलता
सूचना सिद्धांत में अनसुलझी समस्याओं की सूची
सूचना का तर्क
नेटवर्क कोडिंग
सूचना का दर्शन
क्वांटम सूचना विज्ञान
स्रोत कोडिंग

अवधारणाओं

प्रतिबंध (इकाई)
चैनल क्षमता
बातचीत का माध्यम
संचार स्रोत
सशर्त एन्ट्रापी
गुप्त चैनल
आधार - सामग्री संकोचन
डिकोडर
विभेदक एन्ट्रापी
वैकल्पिक जानकारी
सूचना में उतार-चढ़ाव की जटिलता
सूचना एन्ट्रापी
संयुक्त एन्ट्रॉपी
कुलबैक-लीब्लर डाइवर्जेंस
आपसी जानकारी
प्वाइंटवाइज आपसी जानकारी (पीएमआई)
रिसीवर (सूचना सिद्धांत)
अतिरेक (सूचना सिद्धांत)
रेनी एंट्रॉपी
स्व-सूचना
एकता दूरी
विविधता (साइबरनेटिक्स)
हैमिंग दूरी

संदर्भ

↑ ^1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.
↑ Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.
↑ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
↑ ^4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.
↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
↑ cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.
↑ Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.
↑ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.
↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
↑ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.
↑ David R. Anderson (November 1, 2003). "अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि" (PDF). Archived from the original (PDF) on July 23, 2011. Retrieved 2010-06-23.
↑ Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.
↑ Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.
↑ Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.
↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.
↑ Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.
↑ Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.
↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.
↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
↑ Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.
↑ Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.
↑ Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.
↑ Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526
↑ Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.
↑ Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.
↑ Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.
↑ Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.
↑ Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.
↑ Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.
↑ Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.
↑ Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.
↑ Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

अग्रिम पठन

क्लासिक काम

क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].