सूचना सिद्धांत

Not to be confused with सूचना विज्ञान.

सूचना सिद्धांत सूचना के परिमाणीकरण कंप्यूटर डेटा और संचार का गणितीय अध्ययन है। इस सूचना सिद्धांत को मूल रूप से हैरी निक्विस्ट और राल्फ हार्टले ने 1920 के दशक में और क्लाउड शैनन ने 940 के दशक में स्थापित किया गया था। इस सूचना सिद्धांत का उपयोग संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और विद्युत इंजीनियरिंग मे भी किया जाता है।

सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक वेरिएबल के मान या यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है। उदाहरण के लिए एक सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम सूचना (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक सूचना, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में सोर्स कोडिंग, एल्गोरिथम कॉम्प्लेक्सिटी सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा सम्मिलित हैं।

सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में सोर्स कोडिंग/डेटा कंप्रेशन (उदाहरण के लिए ज़िप फ़ाइलों के लिए), चैनल कोडिंग का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित है। इसका प्रभाव अंतरिक्ष में वोयाजर मिशन की सफलता, कॉम्पैक्ट डिस्क के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। इस सिद्धांत का सांख्यिकीय अनुमान, क्रिप्टोग्राफी, न्यूरोबायोलॉजी धारणा भाषा विज्ञान, आणविक कोड (जैव सूचना विज्ञान), थर्मल भौतिकी, आणविक गतिकी क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति सूचना एकत्र करना, साहित्यिक त्रुटि का पता लगाना, पैटर्न पहचान के विकास और कार्य सहित अन्य क्षेत्रों में भी अनुप्रयोग किया गया है।

समीक्षा

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण के उपयोग का अध्ययन करता है। संक्षेप में सूचना को अनिश्चितता का समाधान माना जा सकता है। एक ध्वनि चैनल पर सूचना के संचार की स्थिति में इस अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के गणितीय सिद्धांत नामक (ए मैथमेटिकल  थ्योरी  ऑफ़  कम्युनिकेशन) एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक समूह के रूप में माना जाता है। इसका मुख्य लक्ष्य इन संदेशों को ध्वनि वाले चैनल पर भेजना और प्राप्तकर्ता को चैनल की ध्वनि के अतिरिक्त त्रुटि की कम संभावना के साथ संदेश को पुनर्निर्मित करना है। शैनन का मुख्य परिणाम ध्वनि-चैनल कोडिंग सिद्धांत से प्राप्त हुआ है कि कई चैनल उपयोगों की सीमा में सूचना की दर जो कि मुख्य रूप से प्राप्त करने योग्य है चैनल क्षमता के बराबर है जो केवल चैनल के डेटा पर निर्भर करती है जिस पर संदेश आते हैं और भेजे जाते हैं।

कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और ध्वनि वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के निकट तक कम करने के लिए स्पष्ट प्रकारो को खोजने से है जिन्हें कोड कहा जाता है। इन कोडों को सामान्यतः डेटा कंप्रेशन (सोर्स कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद की कई स्थितियों मे शैनन के कार्य को सिद्ध करने के प्रकारों को खोजने में कई साल लग गए थे।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम कोड और सिफर हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है।

ऐतिहासिक सूचना

Main article: सूचना सिद्धांत का इतिहास

सूचना सिद्धांत के अनुशासन को स्थापित करने करने के लिए ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लाउड ईशैनन के क्लासिक पेपर "संचार का गणितीय सिद्धांत" (ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन) मे प्रकाशन था जिससे उन्हें "सूचना सिद्धांत के जनक" नाम से भी जाना जाने लगा था।

इस पेपर से पहले बेल लैब्स में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए, हैरी नाइक्विस्ट के 1924 के पेपर टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ इवेंट में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक भाग सम्मिलित है जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है। संबंध W = K log m (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है जहां W बुद्धि के संवेरिएबलण की गति है, m प्रत्येक समय फेज़ में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर 'सूचना प्रसारण' शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है इस प्रकार सूचना को H = log Sⁿ = n log S के रूप में क्रमबद्ध करता है, जहां S भावित प्रतीकों की संख्या और संचार में प्रतीकों की संख्या थी। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को विभाजित करने के सांख्यिकीय विश्लेषण के भाग के रूप में इसी प्रकार के विचारों का उपयोग किया था।

विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा ऊष्मागतिकी के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और ऊष्मागतिकी एन्ट्रॉपी के बीच संबंध ऊष्मागतिकी और सूचना सिद्धांत की एन्ट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और अभूतपूर्व पेपर में जिसके लिए कार्य 1944 के अंत तक बेल लैब्स में अपेक्षाकृत स्थिति तक पूर्ण हो चुका था। शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में प्रस्तुत किया था जो इस कई संभावनाओ के साथ प्रारम्भ हुआ था।

"संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर प्रयुक्त या अनुमानित करने के रूप से पुन: प्रस्तुत करना है।"

इसके साथ के कई विचार किए गए हैं:

• किसी सोर्स की सूचना एन्ट्रापी, रिडंडेंसीय (सूचना सिद्धांत), और सोर्स कोडिंग सिद्धांत के माध्यम से इसकी प्रासंगिकता।
• ध्वनि-चैनल कोडिंग सिद्धांत द्वारा दिए गए पूर्ण ओपेन सोर्स संचार सहित ध्वनि चैनल की पारस्परिक सूचना और चैनल क्षमता।
• गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले नियम का व्यावहारिक परिणाम।
• बिट - सूचना की फंडामेंटल यूनिट (मौलिक इकाई)

सूचना की मात्रा

Main article: सूचना की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक सूचना सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत प्रायः यादृच्छिक वेरिएबल से संबद्ध वितरण की सूचना के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक वेरिएबल में सूचना के माप की मात्रा निर्धारित करने की स्वीकृति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक वेरिएबलों पर परिभाषित पारस्परिक सूचना है, जो उन वेरिएबलों के बीच सामान्य सूचना की माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक वेरिएबल के प्रोबेबिलिटी वितरण की एक विशेषता है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नियम द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है जो उत्तरार्द्ध दो यादृच्छिक वेरिएबल के संयुक्त वितरण की एक विशेषता है और लंबी ब्लॉक लंबाई की सीमा में एक ध्वनि चैनल में विश्वसनीय संचार की अधिकतम दर है जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं तब निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है और डेसिमल जो सामान्यतः लघुगणक पर आधारित है। निम्नलिखित में p log p को शून्य के बराबर माना जाता है।

जहां p = 0 है क्योंकि किसी भी लघुगणकीय आधार के लिए $\lim _{p\rightarrow 0+}p\log p=0$ है।

सूचना सोर्स की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक सोर्स प्रतीक की संभाव्यता द्रव्यमान के आधार पर एंट्रॉपी (सूचना सिद्धांत) H, बिट्स की इकाइयों में (प्रति प्रतीक) द्वारा दी गई है:

$H=-\sum _{i}p_{i}\log _{2}(p_{i})$

जहां p_i सोर्स प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार e, जहां e यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए आधार 2⁸ = 256 का लघुगणक प्रति प्रतीक बाइट में माप उत्पन्न करेगा और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।

सामान्यतः एक असतत यादृच्छिक वेरिएबल X की एन्ट्रापी H_X, X के मान से संबद्ध अनिश्चितता की मात्रा का माप है जब केवल इसका वितरण ज्ञात होता है। एक सोर्स की एन्ट्रापी जो स्वतंत्र और समान रूप से वितरित (आईआईडी) N प्रतीकों के अनुक्रम का उत्सर्जन करती है वह N ⋅ H बिट्स (N प्रतीकों के प्रति संदेश) है। यदि सोर्स डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई N के संदेश की एन्ट्रापी N ⋅ H से कम होती है।

यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है और इनमें से प्रत्येक बिट का मान संचार से पहले प्राप्तकर्ता को ज्ञात है तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन सूचना (जिसे प्रायः बिट्स कहा जाता है) प्रसारित की गई है। इन दो वेरिएबल सीमाओं के बीच सूचना को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का समूह {x₁, ..., x_n} है तब वह X हो सकता है जहां p(x) की संभावना $x\in \mathbb {X}$ है और एन्ट्रापी H को X द्वारा रिभषित किया है:

$H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).$

यहां, I(x) स्व-सूचना है जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है और $\mathbb {E} _{X}$ अपेक्षित मान है। एन्ट्रापी की एक विशेषता यह है कि यह तब अधिकतम होती है जबकि सभी स्थितियों में संदेश प्रोबेबिलिटी p(x) = 1/n होती है। अर्थात अप्रत्याशित स्थिति में H(X) = log n है। दो परिणामों वाले यादृच्छिक वेरिएबल के लिए सूचना एन्ट्रॉपी की विशेष स्थिति बाइनरी एन्ट्रॉपी है जिसे सामान्यतः लघुगणक आधार 2 पर ले जाया जाता है। इस प्रकार शैनन (s) को इकाई के रूप में रखा जाता है:

$H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).$

संयुक्त (जॉइंट) एन्ट्रापी

दो असतत यादृच्छिक वेरिएबल X और Y की जाइंट एन्ट्रापी केवल उनके युग्म (X, Y) की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि X और Y स्वतंत्र हैं, तो उनकी जाइंट एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है। उदाहरण के लिए यदि (X, Y) शतरंज के भाग की स्थिति को दर्शाता है:

$H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,$

समान संकेतन के अतिरिक्त संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जा सकता है।

सशर्त एन्ट्रापी समीकरण

यादृच्छिक वेरिएबल Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y में X का समीकरण भी कहा जाता है) Y पर औसत सशर्त एन्ट्रॉपी है:

$H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).$

चूँकि एन्ट्रापी को एक यादृच्छिक वेरिएबल पर या उस यादृच्छिक वेरिएबल पर एक निश्चित मान पर वर्णित किया जा सकता है। इसलिए इस विषय का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल विशेषता है:

$H(X|Y)=H(X,Y)-H(Y).\,$

पारस्परिक (म्यूच्यूअल) सूचना

पारस्परिक सूचना उस सूचना की मात्रा को मापती है जो एक यादृच्छिक वेरिएबल में दूसरे वेरिएबल को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई सूचना की मात्रा को अधिकतम करने के लिए किया जा सकता है। सामान्यतः Y के सापेक्ष X की पारस्परिक सूचना इस प्रकार दी गई है:

$I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}$

जहाँ SI विशिष्ट पारस्परिक सूचना है।

पारस्परिक सूचना की एक मूल विशेषता है:

$I(X;Y)=H(X)-H(X|Y).\,$

अर्थात्, Y को जानने से हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन I(X; Y) बिट्स को सुरक्षित कर सकते हैं।

पारस्परिक सूचना सममित है:

$I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,$

पारस्परिक सूचना को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:

$I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].$

दूसरे शब्दों में यह इस विषय की माप है कि यदि हमें Y का मान दिया जाए तो X पर संभाव्यता वितरण औसतन कितना परिवर्तित हो सकता है। इसे प्रायः सीमांत वितरण के उत्पाद से वास्तविक संयुक्त विवरण तक विचलन के रूप में पुनर्निर्मित किया जाता है:

$I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).$

पारस्परिक सूचना कई तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण की निकटता से संबंधित है और पियर्सन के χ² परीक्षण के लिए पारस्परिक सूचना को वेरिएबल के एक युग्म के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है। सामान्यतः इसमें अपेक्षाकृत एक निर्दिष्ट एसिम्प्टोटिक (अंतर्निहित) वितरण होता है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ या सापेक्ष एन्ट्रॉपी) दो वितरणों मे प्रोबेबिलिटी वितरण $p(X)$ और $q(X)$ की तुलना करने का सामान्य प्रकार है। यदि हम आंकड़ा को इस प्रकार से परिवर्तित करते हैं कि $q(X)$ कुछ डेटा में अंतर्निहित वितरण है जब वास्तव में $p(X)$ सही वितरण है तो कुल्बैक-लीबलर विचलन प्रति डेटम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है। सामान्यतः जिसको इस प्रकार परिभाषित किया गया है:

$D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.$

हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है जो कुल्बैक-लीबलर विचलन की एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है और इसे अर्ध-क्वासिमेट्रिक बनाता है। कुल्बैक-लीबलर विचलन की एक अन्य व्याख्या को कुल्बैक-लीबलर से पूर्व प्रस्तुत किया गया था माना कि एक संख्या X का प्रोबेबिलिटी वितरण $p(x)$ के साथ एक अलग समूह मे यादृच्छिक रूप से प्रस्तुत किया गया है। यदि ऐलिस को वास्तविक वितरण $p(x)$ का अनुमान है तब बॉब का मानना ​​है कि वितरण $q(x)$ है तब बॉब औसतन X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित हो सकता है। कुल्बैक-लीबलर विचलन बॉब के सुरप्रिसल का अपेक्षित मान है जिसमें से ऐलिस का सुरप्रिसल कम है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस प्रकार बॉब के पूर्व अनुमान से इसकी गलत मात्रा निर्धारित की जा सकती है इससे उसे अनावश्यक रूप से आश्चर्यचकित होने की संभावना है।

निर्देशित सूचना

निर्देशित सूचना, $I(X^{n}\to Y^{n})$, एक सूचना सिद्धांत का उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$ निर्देशित सूचना शब्द जेम्स मैसी द्वारा निर्मित किया गया था और इसे निम्न रूप में परिभाषित किया गया है:

$I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$,

$X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$

जहाँ $I(X^{i};Y_{i}|Y^{i-1})$ :की सशर्त पारस्परिक सूचना है:

$I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$.

पारस्परिक सूचना के विपरीत निर्देशित सूचना सममित नहीं होती है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो $X^{n}$ और $Y^{n}$ के रूप मे प्रसारित होते हैं। निर्देशित सूचना में समस्याओं में कई अनुप्रयोग होते हैं जहाँ निर्देशित सूचना एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता, प्रतिक्रिया के साथ असतत मेमोरी लेस नेटवर्क की क्षमता के कारण मेमोरी सूचना के साथ गैंबलिंगडेटा कंप्रेशन और रीयल-टाइम संचार सेटिंग मे सांख्यिकीय भौतिकी है।

अन्य सूचना

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक सूचना सम्मिलित है। साथ ही निर्णय लेने में कितनी सूचना का उपयोग किया गया है इसके लिए माप के रूप में व्यावहारिक सूचना का प्रस्ताव किया गया है।

कोडिंग सिद्धांत

Main article: कोडिंग सिद्धांत

सीडी-आर की पाठनीय सतह पर अस्पष्ट दिखाने वाली छवि को संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके सूक्ष्म अस्पष्ट छवि को पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे सोर्स कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो सोर्स की सूचना एन्ट्रापी है।

• डेटा कंप्रेशन (सोर्स कोडिंग): कंप्रेशन समस्या के लिए दो फ़ंक्शन हैं:
  • लॉसलेस डेटा कंप्रेशन: डेटा का पुनर्निर्माण किया जाना चाहिए।
  • लोससि डेटा कंप्रेशन: डेटा को पुनः बनाने के लिए आवश्यक बिट्स आवंटित करता है, डिस्टोर्शन फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट स्तर के सूचना सिद्धांत के इस उपसमूह को रेट-डिस्टोर्शन सिद्धांत कहा जाता है।
• त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा कंप्रेशन जितना संभव हो उतना रिडंडेंसीय बिट्स को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की रिडंडेंसीय (अर्थात, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक ध्वनि चैनल में प्रसारित करने के लिए आवश्यक है। .

कंप्रेशन और संचार में कोडिंग सिद्धांत का यह विभाजन सूचना संचार सिद्धांत या सोर्स-चैनल संचार सिद्धांत द्वारा उपयुक्त है जो कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उपयुक्त करता है। हालाँकि, ये सिद्धांत केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता और प्राप्तकर्ता उपयोगकर्ता से संचार करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल) या अधिक सामान्य नेटवर्क वाले परिदृश्यों में संचार के बाद कंप्रेशन इष्टतम नहीं हो सकता है।

सोर्स सिद्धांत

कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का सोर्स माना जा सकता है। एक मेमोरी लेस सोर्स वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक वेरिएबल होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी सोर्स स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अपेक्षाकृत प्रकार से अध्ययन किया गया है।

दर

सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। मेमोरी लेस सोर्स के लिए यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया की स्थिति में यह है:

$r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );$

अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी किसी प्रक्रिया की अधिक सामान्य स्थिति के लिए आवश्यक रूप से स्थिर नहीं है जिसकी औसत दर है:

$r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});$

अर्थात्, प्रति प्रतीक जाइंट एन्ट्रापी की सीमा स्थिर सोर्स के लिए दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।

सूचना दर के रूप में परिभाषित किया गया है:

$r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});$

सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के विषय में चर्चा करना सामान्य है। उदाहरण के लिए, जब सूचना का सोर्स अंग्रेजी भाषा है। सूचना के सोर्स की दर उसकी रिडंडेंसी से संबंधित है और इसे अपेक्षाकृत अच्छी तरह से कंप्रेस्ड किया जा सकता है क्योकि यह सोर्स कोडिंग का विषय है।

चैनल क्षमता

Main article: चैनल क्षमता

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल प्रायः सिग्नल के ध्वनि का उपयुक्त पुनर्निर्माण करने में विफल होते हैं, साइलेंस और सिग्नल कोर्रप्शन के अन्य रूप प्रायः चैनल गुणवत्ता को नष्ट करते हैं।

एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

${\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}$

यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है और Y हमारे चैनल पर एक इकाई समय मे प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। माना कि p(y|x) X दिए गए Y का सशर्त प्रोबेबिलिटी डिस्ट्रीब्यूशन फ़ंक्शन है। हम p(y|x) को हमारे संचार चैनल की अंतर्निहित निश्चित विशेषता (हमारे चैनल के ध्वनि की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूर्ण रूप से हमारे चैनल और f(x) से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के अंतर्गत हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक सूचना है और इस अधिकतम पारस्परिक सूचना को चैनल क्षमता कहा जाता है और इसे निम्न समीकरण द्वारा दिया जाता है:

$C=\max _{f}I(X;Y).\!$

इस क्षमता में सूचना दर R (जहां R सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित विशेषता है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और डिकोडिंग एल्गोरिदम सम्मिलित है जैसे कि ब्लॉक त्रुटि की अधिकतम प्रोबेबिलिटी ≤ ε है। अर्थात्, अपेक्षाकृत रूप से छोटी ब्लॉक त्रुटि के साथ संचारित करना सदैव संभव होता है। इसके अतिरिक्त किसी भी दर R > C के लिए अपेक्षाकृत रूप से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक ध्वनि चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

• गॉसियन ध्वनि के अंतर्गत एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले सिद्धांत देखें।
• क्रॉसओवर प्रोबेबिलिटी p वाला बाइनरी सममित चैनल (बीएससी) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रोबेबिलिटी p के साथ इनपुट बिट को फ़्लिप करता है। बीएससी की क्षमता 1 − H_b(p) बिट्स प्रति चैनल है जहां H_b बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

इरेज़र प्रोबेबिलिटी P वाला बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'e' है जिसे इरेज़र कहा जाता है। इरेज़र एक इनपुट बिट में सूचना के पूर्ण लॉस को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - P बिट्स है।

मेमोरी और निर्देशित सूचना वाले चैनल

सामान्यतः कई चैनलों में मेमोरी होती है। अर्थात् समय $i$ पर चैनल सशर्त प्रोबेबिलिटी $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$ दी गयी है जिसमे $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ का उपयोग करना प्रायः अधिक सामान्य होता है जो कि $P(y_{i}|x^{i},y^{i-1}).$ एक चैनल बन गया है।

ऐसी स्थिति मे चैनल क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं होती है यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है।

अन्य क्षेत्रों के लिए अनुप्रयोग

कृत्रिम बुद्धिमत्ता और गोपनीयता अनुप्रयोग

सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर प्रयुक्त होती हैं। ट्यूरिंग की सूचना इकाई बैन का उपयोग अल्ट्रा-प्रोजेक्ट में किया गया था जिसमे जर्मन एनिग्मा मशीन कोड को विभाजित कर दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में लाई शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया था जिसे अब यूनिसिटी दूरी कहा जाता है। अतिरिक्तता के आधार पर यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है। सूचना सिद्धांत हमें यह विश्वास देता है कि सूचना को गुप्त रखना पहले दिखने की तुलना में कहीं अधिक जटिल है। एक जटिल स्थिति का अटैक असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक उपयोग किए जाने वाले तरीकों पर आधारित सिस्टम को नष्ट कर सकता है। ऐसे सभी प्रकारों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात अटैक वन-टाइम में उन्हें नष्ट नहीं कर सकता है।

सूचना सैद्धांतिक सुरक्षा का तात्पर्य वन-टाइम पैड जैसे प्रकारों से है जो ऐसे क्रूर बल के अटैक के प्रति संवेदनशील नहीं हैं। ऐसी स्थितियों में प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी) के बीच सकारात्मक सशर्त पारस्परिक सूचना उपयुक्त वेरिएबल सुनिश्चित कर सकती है जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच अतिरिक्त शर्त पारस्परिक सूचना शून्य रहती है, जिसके परिणामस्वरूप सुरक्षित संचार होता है। दूसरे शब्दों में एक गुप्त वेरिएबल सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं टेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं हो सकता है। हालाँकि किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित प्रकारो को भी अपेक्षाकृत सही रूप से प्रयुक्त करने के लिए उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख डेटा के पुन: उपयोग के कारण सोवियत संघ के वन-टाइम पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या

छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा लाइब्रेरी और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे लगभग सार्वभौमिक रूप से क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से सुरक्षित नहीं हैं। यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक ​​कि उन्हें इसके अनुसार कार्य करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मान रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित इन उपायों के बीच अंतर का अर्थ यह है कि उच्च शैनन एन्ट्रॉपी वाला यादृच्छिक वेरिएबल एक एक्सट्रैक्टर में उपयोग के लिए क्रिप्टोग्राफी उपयोग मे आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय निरीक्षण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल निरीक्षण के क्षेत्र में था। इस क्षेत्र में कार्य करने से अवांछित ध्वनि को वांछित भूकंपीय संकेत से अलग करना संभव हो गया था। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग प्रकार की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।

संकेत विज्ञान

संकेत विज्ञान डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना है। नौटा ने संकेत विज्ञान सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया है। नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया। अतिरेक और कोड नियंत्रण जैसे सूचना सिद्धांत की अवधारणाओं का उपयोग अम्बर्टो इको और :it:Ferruccio Rossi-Landi|Ferruccio Rossi-Landi जैसे लाक्षणिकों द्वारा विचारधारा को संदेश संचरण के एक रूप के रूप में समझाने के लिए किया गया है जिससे एक प्रमुख सामाजिक वर्ग अपने संदेश का उत्सर्जन करता है उन संकेतों का उपयोग करना जो उच्च स्तर की अतिरेक प्रदर्शित करते हैं जैसे कि प्रतिस्पर्धी लोगों के चयन के बीच केवल एक संदेश को डिकोड किया जाता है।

तंत्रिका सूचना का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना मे सैद्धांतिक प्रकारों को प्रयुक्त किया गया है। इस संदर्भ में एक सूचना-सैद्धांतिक उपाय जैसे कि कार्यात्मक क्लस्टर (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)) या प्रभावी सूचना (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत) को परिभाषित किया गया है। पुनर्प्रवेश प्रक्रिया संगठन के आधार पर न्यूरोनल के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन या सांख्यिकीय प्रकारों के आधार पर ऊर्जा को कम करने के उपाय कार्ल जे. फ्रिस्टन का ऊर्जा सिद्धांत (एफईपी) के सूचना-सैद्धांतिक उपाय है जो प्रस्तुत करते है कि स्व-संगठित प्रणाली में प्रत्येक उपयुक्त परिवर्तन और बायेसियन परिकल्पना से अपेक्षाकृत ऊर्जा कम हो सकती है।

विविध अनुप्रयोग

सूचना सिद्धांत के कई अनुप्रयोग गैंबलिंग ब्लैक होल और जैव सूचना विज्ञान से संबंधित हैं।

यह भी देखें

• एल्गोरिथम प्रोबेबिलिटी
• बायेसियन सिद्धान्त
• संचार सिद्धांत
• निर्माता सिद्धांत - सूचना सिद्धांत का सामान्यीकरण जिसमें क्वांटम सूचना सम्मिलित है।
• औपचारिक विज्ञान
• चुम्बकीय संभावना
• इन्फो मेट्रिक
• न्यूनतम संदेश लंबाई
• न्यूनतम विवरण लंबाई
• सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची

अनुप्रयोग

• नेटवर्किंग
• क्रिप्ट एनालिसिस
• क्रिप्टोग्राफी
• साइबरनेटिक्स
• ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
• गैंबलिंग
• सेस्मिक ऐक्सप्लोरशन

इतिहास

• हार्टले, आर.वी.एल.
• सूचना सिद्धांत का इतिहास
• क्लॉड एलवुड शैनन
• सूचना सिद्धांत की समयरेखा
• एच.पी. ह्यूबर्ट हॉकी

सिद्धांत

• कोडिंग सिद्धांत
• डिटेक्टिव सिद्धांत
• एस्टिमेशन सिद्धांत
• फिशर इंफॉर्मेशन
• सूचना बीजगणित
• असममिति सूचना
• सूचना क्षेत्र सिद्धांत
• सूचना ज्यामिति
• सूचना सिद्धांत और माप सिद्धांत
• कोलमोगोरोव कॉम्प्लेक्सिटी
• सूचना सिद्धांत में समस्याओं की सूची
• सूचना का तर्क
• नेटवर्क कोडिंग
• सूचना विज्ञान
• क्वांटम सूचना विज्ञान
• सोर्स कोडिंग

अवधारणा

• बैन (यूनिट)
• चैनल क्षमता
• संचार चैनल
• संचार सोर्स
• सशर्त एन्ट्रापी
• कॉवेर्ट चैनल
• डाटा कॉम्प्रेशन
• डिकोडर
• डिफरेंटीएल एन्ट्रापी
• फुंगिबल इनफार्मेशन
• फ्लक्चुएशन कॉम्प्लेक्सिटी इनफार्मेशन
• सूचना एन्ट्रापी
• जॉइंट एन्ट्रॉपी
• कुलबैक-लीब्लर डाइवर्जेंस
• प्वाइंटवाइज म्यूचअल इनफार्मेशन (पीएमआई)
• रिसीवर (सूचना सिद्धांत)
• रिडंडेंसीय (सूचना सिद्धांत)
• रेनी एंट्रॉपी
• यूनीसिटी डिस्टेंस
• साइबरनेटिक्स
• हैमिंग डिस्टेंस

अग्रिम पठन

क्लासिक कार्य

• क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
  com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
• आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
• एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

• जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
• आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
• Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
• Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].

सूचना सिद्धांत पर पाठ्यपुस्तकें

• Arndt, C. सूचना उपाय, सूचना और विज्ञान और इंजीनियरिंग में इसका विवरण (स्प्रिंगर श्रृंखला: सिग्नल और संचार प्रौद्योगिकी), 2004, ISBN 978-3-540-40855-0
• ऐश, आरबी। सूचना सिद्धांत। न्यूयॉर्क: इंटरसाइंस, 1965। ISBN 0-470-03445-9. न्यूयॉर्क: डोवर 1990। ISBN 0-486-66521-6
• Gallager, R. सूचना सिद्धांत और विश्वसनीय संचार। न्यूयॉर्क: जॉन विली एंड संस, 1968। ISBN 0-471-29048-3
• गोल्डमैन, एस. सूचना सिद्धांत। न्यूयॉर्क: प्रेंटिस हॉल, 1953। न्यूयॉर्क: डोवर 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
• Cover, Thomas; Thomas, Joy A. (2006). सूचना सिद्धांत के तत्व (2nd ed.). New York: Wiley-Interscience. ISBN 0-471-24195-4.
• सिसजर, आई, कोर्नर, जे. इंफॉर्मेशन थ्योरी: डिस्क्रीट मेमोरीलेस सिस्टम्स के लिए कोडिंग प्रमेय एकेडेमिया किआडो: दूसरा संस्करण, 1997। ISBN 963-05-7440-3
• डेविड जे.सी. मैके|मैके, डेविड जे.सी. सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम कैम्ब्रिज: कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003। ISBN 0-521-64298-1
• मंसूरीपुर, एम. सूचना सिद्धांत का परिचय। न्यूयॉर्क: अप्रेंटिस हॉल, 1987। ISBN 0-13-484668-0
• रॉबर्ट मैकएलिस |मैकएलिस, आर. सूचना और कोडिंग का सिद्धांत। कैम्ब्रिज, 2002। ISBN 978-0521831857
• जॉन आर. पियर्स|पियर्स, जेआर। सूचना सिद्धांत का परिचय: प्रतीक, संकेत और शोर। डोवर (दूसरा संस्करण)। 1961 (डोवर 1980 द्वारा पुनर्मुद्रित)।
• रेजा, एफ. एन इंट्रोडक्शन टू इंफॉर्मेशन थ्योरी। न्यूयॉर्क: मैकग्रा-हिल 1961। न्यूयॉर्क: डोवर 1994। ISBN 0-486-68210-2
• Shannon, Claude; Weaver, Warren (1949). संचार का गणितीय सिद्धांत (PDF). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
• स्टोन, जेवी। पुस्तक का अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड, 2014। ISBN 978-0956372857.
• युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
• युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0

अन्य पुस्तकें

• लियोन ब्रिलौइन, विज्ञान और सूचना सिद्धांत, माइनोला, एन.वाई: डोवर, [1956, 1962] 2004। ISBN 0-486-43918-6
• जेम्स ग्लीक, सूचना: एक इतिहास, एक सिद्धांत, एक बाढ़, न्यूयॉर्क: पेंथियन, 2011। ISBN 978-0-375-42372-7
• ए.आई. खिनचिन, मैथमैटिकल फ़ाउंडेशन ऑफ़ इंफ़ॉर्मेशन थ्योरी, न्यूयॉर्क: डोवर, 1957। ISBN 0-486-60434-9
• एच.एस. लेफ़ और ए.एफ. रेक्स, संपादक, मैक्सवेल्स डेमन: एंट्रॉपी, सूचना, कम्प्यूटिंग, प्रिंसटन यूनिवर्सिटी प्रेस, प्रिंसटन, न्यू जर्सी (1990)। ISBN 0-691-08727-X
• रॉबर्ट के. लोगान। सूचना क्या है? - बायोस्फीयर, सिम्बोस्फीयर, टेक्नोस्फीयर और इकोनोस्फीयर में प्रचार संगठन, टोरंटो: डेमो पब्लिशिंग।
• टॉम सिगफ्रीड, द बिट एंड द पेंडुलम, विले, 2000। ISBN 0-471-32174-5
• चार्ल्स साबुन, ब्रह्मांड को डिकोड करना, वाइकिंग, 2006। ISBN 0-670-03441-X
• जेरेमी कैंपबेल, व्याकरणिक आदमी, टचस्टोन/साइमन एंड शूस्टर, 1982, ISBN 0-671-44062-4
• हेनरी थेल, अर्थशास्त्र और सूचना सिद्धांत, रैंड मैकनेली एंड कंपनी - शिकागो, 1967।
• Escolano, Suau, Bonev, इंफॉर्मेशन थ्योरी इन कंप्यूटर विज़न एंड पैटर्न रिकग्निशन, स्प्रिंगर, 2009। ISBN 978-1-84882-296-2
• Vlatko Vedral, डिकोडिंग रियलिटी: द यूनिवर्स एज़ क्वांटम इंफॉर्मेशन, ऑक्सफोर्ड यूनिवर्सिटी प्रेस 2010। ISBN 0-19-923769-7

बाहरी संबंध

• "Information", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education
• IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews