सूचना सिद्धांत

Template:Example farm

सूचना सिद्धांत परिमाणीकरण (विज्ञान), कंप्यूटर डेटा भंडारण और सूचना के दूरसंचार का वैज्ञानिक अध्ययन है।^[1] 1920 के दशक में हैरी निक्विस्ट और राल्फ हार्टले और 1940 के दशक में क्लाउड शैनन के कार्यों द्वारा इस क्षेत्र को मौलिक रूप से स्थापित किया गया था।^[2]^: vii क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग (क्षेत्र), और विद्युत अभियन्त्रण के चौराहे पर है।

सूचना सिद्धांत में एक महत्वपूर्ण उपाय सूचना एन्ट्रॉपी है। एन्ट्रापी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में शामिल अनिश्चितता की मात्रा निर्धारित करता है। उदाहरण के लिए, एक पासा के रोल से परिणाम निर्दिष्ट करने की तुलना में एक निष्पक्ष सिक्का फ्लिप (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करने से कम जानकारी (कम एन्ट्रापी) मिलती है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय हैं आपसी सूचना, चैनल क्षमता, त्रुटि घातांक और सापेक्ष एन्ट्रापी। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, एल्गोरिथम जटिलता सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा शामिल हैं।

सूचना सिद्धांत के मौलिक विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप (फ़ाइल प्रारूप)), और चैनल कोडिंग/त्रुटि का पता लगाने और सुधार (जैसे डिजिटल खरीदारों की पंक्ति के लिए) शामिल हैं। गहरे अंतरिक्ष में वोयाजर कार्यक्रम मिशन की सफलता, कॉम्पैक्ट डिस्क का आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए इसका प्रभाव महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय निष्कर्ष सहित अन्य क्षेत्रों में भी आवेदन मिला है,^[3] क्रिप्टोग्राफी, तंत्रिका जीव विज्ञान,^[4] अनुभूति,^[5] भाषा विज्ञान, विकास^[6] और समारोह^[7] आणविक कोड (जैव सूचना विज्ञान), थर्मल भौतिकी,^[8] आणविक गतिकी,^[9] क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति, इंटेलिजेंस (सूचना एकत्र करना), साहित्यिक चोरी का पता लगाना,^[10] पैटर्न पहचान, विसंगति पहचान^[11] और कला निर्माण भी।

सिंहावलोकन

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता के समाधान के रूप में माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लॉड शैनन द्वारा संचार का एक गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को एक शोर वाले चैनल पर भेजें, और रिसीवर को चैनल के शोर के बावजूद त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए। शैनन का मुख्य परिणाम, नॉइज़-चैनल कोडिंग प्रमेय ने दिखाया कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश भेजा जाता है।^[4]

कोडिंग सिद्धांत स्पष्ट तरीकों को खोजने से संबंधित है, जिन्हें कोड कहा जाता है, दक्षता बढ़ाने के लिए और शोर चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के पास कम करने के लिए। इन कोडों को मोटे तौर पर डेटा कम्प्रेशन (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने वाली विधियों को खोजने में कई साल लग गए।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (दोनों कोड (क्रिप्टोग्राफी) और सिफ़र) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत से अवधारणाओं, विधियों और परिणामों का क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में व्यापक रूप से उपयोग किया जाता है। एक ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।

ऐतिहासिक पृष्ठभूमि

जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लॉड ई. शैनन के क्लासिक पेपर ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन का प्रकाशन सूचना सिद्धांत के अनुशासन की स्थापना और इसे तत्काल दुनिया भर में ध्यान में लाने वाली ऐतिहासिक घटना थी।

इस पत्र से पहले, बेल लैब्स में सीमित सूचना-सैद्धांतिक विचारों को विकसित किया गया था, सभी समान संभावना की घटनाओं को मानते हुए। हैरी न्यक्विस्ट का 1924 का पेपर, टेलीग्राफ गति को प्रभावित करने वाले कुछ कारक, एक सैद्धांतिक खंड शामिल है जो खुफिया जानकारी और लाइन की गति को बताता है जिस पर इसे संचार प्रणाली द्वारा प्रेषित किया जा सकता है, संबंध देते हुए $W = K log m$ (बोल्ट्ज़मैन स्थिरांक को याद करते हुए), जहां W बुद्धि के संचरण की गति है, m प्रत्येक चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है, और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर, सूचना का प्रसारण, शब्द सूचना का उपयोग एक मापने योग्य मात्रा के रूप में करता है, जो रिसीवर की क्षमता को किसी अन्य से प्रतीकों के एक क्रम को अलग करने की क्षमता को दर्शाता है, इस प्रकार जानकारी को परिमाणित करता है $H = log S n = n log S$ , जहां S संभव प्रतीकों की संख्या थी, और n संचरण में प्रतीकों की संख्या थी। सूचना की इकाई इसलिए दशमलव अंक थी, जिसे कभी-कभी एक इकाई या पैमाने या सूचना के माप के रूप में उनके सम्मान में हार्टले (इकाई) कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के टूटने के सांख्यिकीय विश्लेषण के भाग के रूप में एनिग्मा सिफर के क्रिप्टैनालिसिस के समान विचारों का उपयोग किया।

लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा ऊष्मप्रवैगिकी के क्षेत्र के लिए विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर द्वारा महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रापी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एंट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और ग्राउंडब्रेकिंग पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को एक सांख्यिकीय प्रक्रिया के रूप में अंतर्निहित सूचना सिद्धांत के रूप में पेश किया, जो कि दावे के साथ शुरू हुआ:

संचार की मूलभूत समस्या एक बिंदु पर पुनरुत्पादन की है, या तो बिल्कुल या लगभग, एक संदेश दूसरे बिंदु पर चुना गया है।

इसके साथ के विचार आए

किसी स्रोत की सूचना एन्ट्रापी और अतिरेक (सूचना सिद्धांत), और स्रोत कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता;
शोर-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण हानि-मुक्त संचार के वादे सहित एक शोर चैनल की पारस्परिक जानकारी और चैनल क्षमता;
गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले कानून का व्यावहारिक परिणाम; साथ ही
द काटा—जानकारी की सबसे मौलिक इकाई को देखने का एक नया तरीका।

जानकारी की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और सांख्यिकी पर आधारित है, जहां सूचना की मात्रा को आमतौर पर बिट्स के रूप में वर्णित किया जाता है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के उपायों से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एंट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एक एकल यादृच्छिक चर में सूचना के मापन की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित आपसी जानकारी है, जो उन चरों के बीच आम सूचना के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को मज़बूती से संकुचित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर संचार चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल के आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।

निम्नलिखित सूत्रों में लघुगणकीय आधार का चुनाव उपयोग की जाने वाली सूचना एन्ट्रॉपी के मापन की इकाइयों को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लघुगणक पर आधारित है। अन्य इकाइयों में नेट (इकाई) शामिल है, जो प्राकृतिक लघुगणक पर आधारित है, और उन्होंने कहा, जो सामान्य लघुगणक पर आधारित है।

निम्नलिखित में, रूप की अभिव्यक्ति $p log p$ सम्मेलन द्वारा जब भी शून्य के बराबर माना जाता है $p = 0$ . यह उचित है क्योंकि $\lim _{p\rightarrow 0+}p\log p=0$ किसी भी लघुगणकीय आधार के लिए।

सूचना स्रोत की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक के संभाव्यता द्रव्यमान समारोह के आधार पर, शैनन एंट्रॉपी (सूचना सिद्धांत) $H$ , बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दिया गया है

H=-\sum _{i}p_{i}\log _{2}(p_{i})

कहाँ पे $p i$ होने की संभावना है $i$ स्रोत प्रतीक का -वाँ संभावित मान। यह समीकरण बिट्स (प्रति प्रतीक) की इकाइयों में एंट्रॉपी देता है क्योंकि यह आधार 2 के लॉगरिदम का उपयोग करता है, और एंट्रॉपी के इस बेस -2 माप को कभी-कभी उनके सम्मान में शैनन (यूनिट) कहा जाता है। एंट्रॉपी की गणना आमतौर पर प्राकृतिक लघुगणक (बेस $e$ , कहाँ पे $e$ यूलर की संख्या है), जो प्रति प्रतीक नेट्स में एंट्रॉपी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक शामिल करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन आमतौर पर कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार का एक लघुगणक 2⁸ = 256 बाइट प्रति प्रतीक में एक माप उत्पन्न करेगा, और आधार 10 का एक लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टले (इकाई)) में माप का उत्पादन करेगा।

सहज रूप से, एन्ट्रापी $H X$ असतत यादृच्छिक चर का $X$ के मूल्य से जुड़ी अनिश्चितता की मात्रा का एक उपाय है $X$ जब केवल इसका वितरण ज्ञात हो।

एक स्रोत की एन्ट्रापी जो अनुक्रम का उत्सर्जन करती है $N$ प्रतीक जो स्वतंत्र और समान रूप से वितरित (आईआईडी) हैं $N \cdot H$ बिट्स (के प्रति संदेश $N$ प्रतीक)। यदि स्रोत डेटा प्रतीक समान रूप से वितरित किए जाते हैं लेकिन स्वतंत्र नहीं होते हैं, तो लंबाई के संदेश की एंट्रॉपी $N$ से कम होगा $N \cdot H$ .

यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है, और इन बिट्स में से प्रत्येक का मूल्य रिसीवर को पता है (निश्चितता के साथ एक विशिष्ट मूल्य है) तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। यदि, हालांकि, प्रत्येक बिट स्वतंत्र रूप से समान रूप से 0 या 1 होने की संभावना है, सूचना के 1000 शैनन (अधिक बार बिट्स कहलाते हैं) प्रेषित किए गए हैं। इन दो चरम सीमाओं के बीच, सूचना को निम्नानुसार परिमाणित किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का सेट है ${x 1, ..., x n}$ वह $X$ हो सकता है, और $p (x)$ कुछ की संभावना है $x\in \mathbb {X}$ , फिर एन्ट्रापी, $H$ , का $X$ परिभषित किया:^[12]

H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).

(यहां, $I (x)$ स्व-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और $\mathbb {E} _{X}$ अपेक्षित मूल्य है।) एंट्रॉपी की एक संपत्ति यह है कि यह अधिकतम हो जाता है जब संदेश स्थान में सभी संदेश परिवर्तनीय होते हैं $p (x) = 1/ n$ ; यानी, सबसे अप्रत्याशित, किस मामले में $H (X) = log n$ .

दो परिणामों के साथ एक यादृच्छिक चर के लिए सूचना एन्ट्रापी का विशेष मामला बाइनरी एन्ट्रापी फ़ंक्शन है, जिसे आमतौर पर लघुगणकीय आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (Sh) को इकाई के रूप में रखा जाता है:

H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).

=== संयुक्त एन्ट्रॉपी === joint entropy }} दो असतत यादृच्छिक चर के $X$ तथा $Y$ उनकी जोड़ी की एन्ट्रॉपी मात्र है: $(X, Y)$ . इसका तात्पर्य यह है कि यदि $X$ तथा $Y$ सांख्यिकीय स्वतंत्रता हैं, तो उनकी संयुक्त एन्ट्रॉपी उनकी अलग-अलग एन्ट्रापी का योग है।

उदाहरण के लिए, यदि $(X, Y)$ शतरंज के मोहरे की स्थिति का प्रतिनिधित्व करता है— $X$ पंक्ति और $Y$ स्तंभ, तो टुकड़े की पंक्ति और टुकड़े के स्तंभ की संयुक्त एन्ट्रापी टुकड़े की स्थिति की एन्ट्रापी होगी।

H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,

समान अंकन के बावजूद, संयुक्त एंट्रॉपी को भ्रमित नहीं किया जाना चाहिए cross entropy.

===सशर्त एंट्रोपी (संतुलन)=== conditional entropy }} या की सशर्त अनिश्चितता $X$ यादृच्छिक चर दिया $Y$ (जिसे इक्विवोकेशन भी कहा जाता है $X$ के बारे में $Y$ ) औसत सशर्त एंट्रॉपी ओवर है $Y$ :^[13]

H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).

क्योंकि एन्ट्रापी को एक यादृच्छिक चर पर वातानुकूलित किया जा सकता है या उस यादृच्छिक चर पर एक निश्चित मान होने पर, सशर्त एन्ट्रॉपी की इन दो परिभाषाओं को भ्रमित न करने के लिए देखभाल की जानी चाहिए, जिनमें से पूर्व अधिक सामान्य उपयोग में है। सशर्त एन्ट्रॉपी के इस रूप की एक मूल संपत्ति यह है कि:

H(X|Y)=H(X,Y)-H(Y).\,

पारस्परिक जानकारी (रूपांतरण)

पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। संचार में यह महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। की आपसी जानकारी $X$ के सापेक्ष $Y$ द्वारा दिया गया है:

I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}

कहाँ पे $SI$ (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।

आपसी जानकारी की एक मूल संपत्ति यह है

I(X;Y)=H(X)-H(X|Y).\,

यानी Y को जानकर हम औसतन 200 रुपये की बचत कर सकते हैं $I (X; Y)$ वाई को नहीं जानने की तुलना में एन्कोडिंग एक्स में बिट्स।

पारस्परिक जानकारी सममित कार्य है:

I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,

म्युचुअल जानकारी को औसत कुल्बैक-लीब्लर डाइवर्जेंस (सूचना लाभ) के रूप में व्यक्त किया जा सकता है, जो कि एक्स की पूर्ववर्ती संभावना के बीच वाई के मान और एक्स पर पूर्व संभावना के बीच है:

I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].

दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाता है, तो औसतन X पर प्रायिकता वितरण कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त के विचलन के रूप में पुनर्गणना किया जाता है। वितरण:

I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).

पारस्परिक जानकारी संभावना-अनुपात परीक्षण से निकटता से संबंधित है। आकस्मिक तालिकाओं और बहुराष्ट्रीय वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण और पियर्सन के ची-स्क्वेर्ड टेस्ट से निकटता से संबंधित है। पियर्सन का χ² परीक्षण: पारस्परिक जानकारी को चरों की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है, और एक अच्छी तरह से निर्दिष्ट स्पर्शोन्मुख वितरण है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीब्लर डाइवर्जेंस (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रापी) दो वितरणों की तुलना करने का एक तरीका है: एक वास्तविक संभाव्यता वितरण $p(X)$ , और एक मनमाना संभाव्यता वितरण $q(X)$ . अगर हम डेटा को इस तरीके से कंप्रेस करते हैं जो मान लेता है $q(X)$ कुछ डेटा के अंतर्गत वितरण है, जब, वास्तव में, $p(X)$ सही वितरण है, कुल्बैक-लीब्लर विचलन संपीड़न के लिए आवश्यक औसत अतिरिक्त बिट्स प्रति डेटा की संख्या है। इस प्रकार परिभाषित किया गया है

D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.

यद्यपि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में प्रयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक (गणित) नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-कैसिमेट्रिक बनाकर)।

केएल डाइवर्जेंस की एक और व्याख्या सत्य से पहले पेश किया गया अनावश्यक आश्चर्य है: मान लीजिए कि एक संख्या X संभाव्यता वितरण के साथ असतत सेट से यादृच्छिक रूप से तैयार होने वाली है। $p(x)$ . अगर ऐलिस सही वितरण जानता है $p(x)$ , जबकि बॉब का मानना है (इसकी पूर्व संभावना है) कि वितरण है $q(x)$ , तब बॉब ऐलिस की तुलना में अधिक सूचनात्मक सामग्री होगी, एक्स के मूल्य को देखने पर। केएल विचलन बॉब के (व्यक्तिपरक) सरप्रिसल माइनस ऐलिस के आश्चर्य का (उद्देश्य) अपेक्षित मूल्य है, यदि लॉग बेस में है तो बिट्स में मापा जाता है। 2. इस तरह, बॉब का पूर्व कितना गलत है, यह इस बात से निर्धारित किया जा सकता है कि इससे उसे कितना अनावश्यक रूप से आश्चर्य हुआ।

निर्देशित जानकारी

निर्देशित जानकारी, $I(X^{n}\to Y^{n})$ , एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है $X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$ यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$ . निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})

,

कहाँ पे $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक जानकारी है $I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$ . पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं $X^{n}$ प्रति $Y^{n}$ . निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,^[14]^[15] प्रतिक्रिया के साथ असतत स्मृतिहीन नेटवर्क की क्षमता,^[16] कारण पक्ष की जानकारी के साथ जुआ,^[17] कारण पक्ष की जानकारी के साथ डेटा संपीड़न,^[18] और रीयल-टाइम नियंत्रण संचार सेटिंग में,^[19]^[20] सांख्यिकीय भौतिकी।^[21]

अन्य मात्राएं

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एंट्रोपी (एन्ट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रापी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक जानकारी शामिल हैं।

कोडिंग सिद्धांत

सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए एक सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो कि स्रोत की सूचना एन्ट्रापी है।

डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
- दोषरहित डेटा संपीड़न: डेटा को ठीक से खंगाला जाना चाहिए;
- हानिपूर्ण डेटा संपीड़न: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है। .

संपीड़न और संचरण में कोडिंग सिद्धांत का यह विभाजन सूचना प्रसारण प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो बिट्स के उपयोग को कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में उचित ठहराते हैं। हालांकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहां एक प्रेषक उपयोगकर्ता एक प्राप्त करने वाले उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या इंटरमीडियरी हेल्पर्स (रिले चैनल), या अधिक सामान्य कंप्यूटर नेटवर्क वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न इष्टतम नहीं हो सकता है।

स्रोत सिद्धांत

कोई भी प्रक्रिया जो लगातार संदेश उत्पन्न करती है, उसे माना जा सकता है source जानकारी की। एक स्मृतिहीन स्रोत वह है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक चर है, जबकि एर्गोडिक सिद्धांत और स्थिर प्रक्रिया के गुण कम प्रतिबंधात्मक बाधाओं को लागू करते हैं। ऐसे सभी स्रोत स्टोकेस्टिक प्रक्रिया हैं। सूचना सिद्धांत के बाहर इन शर्तों का अपने आप में अच्छी तरह से अध्ययन किया जाता है।

दर

सूचना एन्ट्रापी दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है

r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );

वह है, एक प्रतीक की सशर्त एन्ट्रॉपी जो पिछले सभी प्रतीकों को उत्पन्न करती है। एक प्रक्रिया के अधिक सामान्य मामले के लिए जो अनिवार्य रूप से स्थिर नहीं है, औसत दर है

r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});

अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दो व्यंजक समान परिणाम देते हैं।^[22] सूचना दर के रूप में परिभाषित किया गया है

r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});

सूचना सिद्धांत में किसी भाषा की दर या एन्ट्रापी के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब सूचना का स्रोत अंग्रेजी गद्य हो। सूचना के स्रोत की दर इसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह से संकुचित किया जा सकता है, इसका विषय source coding.

चैनल क्षमता

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालांकि, चैनल अक्सर सिग्नल के सटीक पुनर्निर्माण का उत्पादन करने में असफल होते हैं; शोर, मौन की अवधि, और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को कम करते हैं।

असतत चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}

यहाँ X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। होने देना $p (y | x)$ Y दिए गए X का सशर्त प्रायिकता बंटन फलन है। हम विचार करेंगे $p (y | x)$ हमारे संचार चैनल की अंतर्निहित अचल संपत्ति होना (हमारे चैनल के सिग्नल शोर की प्रकृति का प्रतिनिधित्व करना)। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और हमारी पसंद से निर्धारित होता है $f (x)$ , संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजने के लिए चुनते हैं। इन बाधाओं के तहत, हम सूचना की दर, या सिग्नल (इलेक्ट्रिकल इंजीनियरिंग) को अधिकतम करना चाहते हैं, हम चैनल पर संवाद कर सकते हैं। इसके लिए उपयुक्त उपाय पारस्परिक सूचना है, और इस अधिकतम पारस्परिक सूचना को कहा जाता है channel capacity और इसके द्वारा दिया गया है:

C=\max _{f}I(X;Y).\!

इस क्षमता में सूचना दर R पर संचार करने से संबंधित निम्नलिखित संपत्ति है (जहाँ R आमतौर पर बिट्स प्रति प्रतीक है)। किसी भी सूचना दर आर <सी और कोडिंग त्रुटि ε> 0 के लिए, काफी बड़े एन के लिए, लंबाई एन और दर ≥ आर और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R> C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

गॉसियन शोर के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
क्रॉसओवर प्रायिकता p वाला एक बाइनरी सममित चैनल (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है $1 - H b (p)$ बिट्स प्रति चैनल उपयोग, जहां $H b$ बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

* एक बाइनरी इरेज़र चैनल (BEC) इरेज़र प्रायिकता p के साथ एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान का प्रतिनिधित्व करता है। बीईसी की क्षमता है 1 − p बिट्स प्रति चैनल उपयोग।

स्मृति और निर्देशित जानकारी वाले चैनल

व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर $i$ चैनल सशर्त संभाव्यता द्वारा दिया गया है $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$ . अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ और चैनल बन गया $P(y_{i}|x^{i},y^{i-1}).$ . ऐसे मामले में क्षमता आपसी सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और निर्देशित सूचना दर मामले में प्रतिक्रिया होती है या नहीं^[23]^[24] (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है)।

अन्य क्षेत्रों के लिए आवेदन

इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग

सूचना सिद्धांत संबंधी अवधारणाएं क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन (यूनिट) का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जर्मन पहेली मशीन कोड को तोड़कर और यूरोप डे में विजय को तेज किया। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब एकता दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय गूढ़ता सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफर पाठ देने का प्रयास करता है।

सूचना सिद्धांत हमें यह मानने की ओर ले जाता है कि रहस्य को बनाए रखना पहले प्रकट होने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला सार्वजनिक-कुंजी क्रिप्टोग्राफी या सममित-कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है, जैसे ब्लॉक सिफर। ऐसे सभी तरीकों की सुरक्षा वर्तमान में इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।

सूचना सैद्धांतिक सुरक्षा एक बार के पैड जैसे तरीकों को संदर्भित करती है जो इस तरह के क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी (क्रिप्टोग्राफी) पर सशर्त) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक छिपकर सुनने वाला सिफरटेक्स्ट का ज्ञान प्राप्त करके प्लेनटेक्स्ट के बारे में अपने अनुमान को सुधारने में सक्षम नहीं होगा, लेकिन कुंजी का नहीं। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए; मुख्य सामग्री के अनुचित पुन: उपयोग के कारण वेनोना परियोजना सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या पीढ़ी

कंप्यूटर भाषा पुस्तकालयों और अनुप्रयोग कार्यक्रमों में छद्म यादृच्छिक संख्या जनरेटर व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें सॉफ्टवेयर के बाहर यादृच्छिक बीजों की आवश्यकता होती है ताकि वे काम कर सकें। इन्हें एक्सट्रैक्टर (गणित) के माध्यम से प्राप्त किया जा सकता है, अगर सावधानी से किया जाए। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एन्ट्रॉपी है, रेनी एंट्रॉपी के माध्यम से शैनन एंट्रॉपी से संबंधित मूल्य; क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने के लिए रेनी एंट्रॉपी का भी उपयोग किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और इसलिए क्रिप्टोग्राफी उपयोगों के लिए आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय अन्वेषण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम ने अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना और अलग करना संभव बना दिया। सूचना सिद्धांत और अंकीय संकेत प्रक्रिया पिछले एनालॉग तरीकों की तुलना में संकल्प और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।^[25]

लाक्षणिकता

लाक्षणिकता :nl:डोएड नौटा और विन्फ्रेड नोथ दोनों ने चार्ल्स सैंडर्स पियर्स को लाक्षणिकता पर अपने कार्यों में सूचना के सिद्धांत का निर्माण करने के रूप में माना।^[26]^: 171Cite error: Closing </ref> missing for <ref> tag

तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सिद्धांत विधियों को लागू किया गया है।^[27] इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे functional clusters (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)^[28]) या effective information (टोनोनी की चेतना का एकीकृत सूचना सिद्धांत (आईआईटी)।^[29]^[30]^[31]), परिभाषित किया गया है (एक पुनः प्रवेशी प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय विधियों के आधार पर मुक्त ऊर्जा को कम करने का उपाय (कार्ल जे। फ्रिस्टन का मुक्त ऊर्जा सिद्धांत) (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन मुक्त ऊर्जा को कम करता है, और बायेसियन मस्तिष्क परिकल्पना^[32]^[33]^[34]^[35]^[36]).

विविध अनुप्रयोग

सूचना सिद्धांत में जुआ और सूचना सिद्धांत, ब्लैक होल सूचना विरोधाभास और जैव सूचना विज्ञान में भी अनुप्रयोग हैं।

यह भी देखें

एल्गोरिथम संभावना
बायेसियन अनुमान
संचार सिद्धांत
निर्माता सिद्धांत - सूचना सिद्धांत का एक सामान्यीकरण जिसमें क्वांटम सूचना शामिल है
औपचारिक विज्ञान
आगमनात्मक संभावना
जानकारी मेट्रिक्स
न्यूनतम संदेश लंबाई
न्यूनतम विवरण लंबाई
सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची
सूचना का दर्शन

अनुप्रयोग

सक्रिय नेटवर्किंग
क्रिप्ट एनालिसिस
क्रिप्टोग्राफी
साइबरनेटिक्स
ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
जुआ
इंटेलिजेंस (सूचना एकत्र करना)
प्रतिबिंब भूकंप विज्ञान

इतिहास

राल्फ हार्टले|हार्टले, आर.वी.एल.
सूचना सिद्धांत का इतिहास
क्लॉड एलवुड शैनन | शैनन, सी.ई.
सूचना सिद्धांत की समयरेखा
ह्यूबर्ट हॉकी | हॉकी, एच.पी.

सिद्धांत

कोडिंग सिद्धांत
जांच सिद्धांत
अनुमान सिद्धांत
फिशर की जानकारी
सूचना बीजगणित
जानकारी विषमता
सूचना क्षेत्र सिद्धांत
सूचना ज्यामिति
सूचना सिद्धांत और माप सिद्धांत
कोलमोगोरोव जटिलता
सूचना सिद्धांत में अनसुलझी समस्याओं की सूची
सूचना का तर्क
नेटवर्क कोडिंग
सूचना का दर्शन
क्वांटम सूचना विज्ञान
स्रोत कोडिंग

अवधारणाओं

प्रतिबंध (इकाई)
चैनल क्षमता
बातचीत का माध्यम
संचार स्रोत
सशर्त एन्ट्रापी
गुप्त चैनल
आधार - सामग्री संकोचन
डिकोडर
विभेदक एन्ट्रापी
वैकल्पिक जानकारी
सूचना में उतार-चढ़ाव की जटिलता
सूचना एन्ट्रापी
संयुक्त एन्ट्रॉपी
कुलबैक-लीब्लर डाइवर्जेंस
आपसी जानकारी
प्वाइंटवाइज आपसी जानकारी (पीएमआई)
रिसीवर (सूचना सिद्धांत)
अतिरेक (सूचना सिद्धांत)
रेनी एंट्रॉपी
स्व-सूचना
एकता दूरी
विविधता (साइबरनेटिक्स)
हैमिंग दूरी

संदर्भ

↑ "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.
↑ Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.
↑ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
↑ ^4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.
↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
↑ cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.
↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
↑ Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.
↑ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.
↑ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.
↑ David R. Anderson (November 1, 2003). "अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि" (PDF). Archived from the original (PDF) on July 23, 2011. Retrieved 2010-06-23.
↑ Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.
↑ Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.
↑ Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.
↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.
↑ Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.
↑ Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.
↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.
↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
↑ Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.
↑ Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.
↑ Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.
↑ Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526
↑ Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.
↑ Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.
↑ Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.
↑ Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.
↑ Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.
↑ Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.
↑ Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.
↑ Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.
↑ Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

अग्रिम पठन

क्लासिक काम

क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].