सूचना सिद्धांत

Not to be confused with सूचना विज्ञान.

सूचना सिद्धांत सूचना के परिमाणीकरण, कंप्यूटर डेटा और संचार का गणितीय अध्ययन है। इस सूचना सिद्धांत को मूल रूप से हैरी निक्विस्ट और राल्फ हार्टले ने 1920 के दशक में और क्लाउड शैनन ने 940 के दशक में स्थापित किया गया था। इस सूचना सिद्धांत को संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और विद्युत इंजीनियरिंग के है।

सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है। उदाहरण के लिए, एक उचित सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम जानकारी (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक जानकारी, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, एल्गोरिथम जटिलता सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा सम्मिलित हैं।

सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप फ़ाइलों के लिए), और चैनल कोडिंग/त्रुटि का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित हैं। इसका प्रभाव गहरे अंतरिक्ष में वोयाजर मिशन की सफलता, कॉम्पैक्ट डिस्क के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय अनुमान, क्रिप्टोग्राफी, न्यूरोबायोलॉजी धारणा भाषाविज्ञान, आणविक कोड (जैव सूचना विज्ञान), थर्मल भौतिकी, आणविक गतिकी के विकास और कार्यसहित अन्य क्षेत्रों में भी अनुप्रयोग मिला है। क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति, खुफिया जानकारी एकत्र करना, साहित्यिक चोरी का पता लगाना, पैटर्न पहचान, विसंगति का पता लगाना और यहां तक ​​कि कला निर्माण भी।

समीक्षा

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण के उपयोग का अध्ययन करता है। संक्षेप में सूचना को अनिश्चितता का समाधान माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के एक गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें जानकारी को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को शोर वाले चैनल पर भेजें, और प्राप्तकर्ता को चैनल के शोर के बावजूद, त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए कहें। शैनन का मुख्य परिणाम, शोर-चैनल कोडिंग प्रमेय से पता चला कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो कि स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश आते हैं भेजे जाते हैं.

कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और शोर वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के करीब तक कम करने के लिए स्पष्ट तरीकों को खोजने से है, जिन्हें कोड कहा जाता है। इन कोडों को मोटे तौर पर डेटा संपीड़न (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के कार्य को साबित करने के तरीकों को खोजने में कई साल लग गए।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (कोड और सिफर दोनों) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है। ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।

ऐतिहासिक सूचना

Main article: सूचना सिद्धांत का इतिहास

सूचना सिद्धांत के अनुशासन को स्थापित करने और इसे तुरंत दुनिया भर के ध्यान में लाने वाली ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लाउड ईशैनन के क्लासिक पेपर "ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन" का प्रकाशन था। उन्हें "सूचना सिद्धांत के जनक" नाम से जाना जाने लगा।

इस पेपर से पहले बेल लैब्स में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए। हैरी नाइक्विस्ट के 1924 के पेपर, टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ कारक, में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक खंड सम्मिलित है, जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है, संबंध W = K log m (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है। , जहां W बुद्धि के संचरण की गति है, m प्रत्येक समय चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है।

राल्फ हार्टले का 1928 का पेपर, ट्रांसमिशन ऑफ इंफॉर्मेशन, शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है, इस प्रकार जानकारी को H = log Sⁿ = n log S के रूप में मात्राबद्ध करता है, जहां एस संख्या थी संभावित प्रतीकों की संख्या, और ट्रांसमिशन में प्रतीकों की संख्या। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को तोड़ने के सांख्यिकीय विश्लेषण के हिस्से के रूप में इसी तरह के विचारों का इस्तेमाल किया।

विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा थर्मोडायनामिक्स के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रॉपी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एन्ट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और अभूतपूर्व पेपर में, जिसके लिए कार्य 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में पेश किया, जो इस दावे के साथ शुरू हुआ:

"संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर सटीक या अनुमानित रूप से पुन: प्रस्तुत करना है।"

इसके साथ के विचार आए

• किसी स्रोत की सूचना एन्ट्रापी और अतिरेक (सूचना सिद्धांत), और स्रोत कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता;
• शोर-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण हानि-मुक्त संचार के वादे सहित एक शोर चैनल की पारस्परिक जानकारी और चैनल क्षमता;
• गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले कानून का व्यावहारिक परिणाम; साथ ही
• द काटा—जानकारी की सबसे मौलिक इकाई को देखने का एक नया तरीका।

जानकारी की मात्रा

Main article: सूचना की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक जानकारी सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक चर में जानकारी के माप की मात्रा निर्धारित करने की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित पारस्परिक जानकारी है, जो उन चरों के बीच सामान्य जानकारी के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की एक संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।

निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है, और दशमलव अंक, जो सामान्य लघुगणक पर आधारित है।

निम्नलिखित में p log p की अभिव्यक्ति को सम्मेलन द्वारा शून्य के बराबर माना जाता है जब भी p = 0 यह उचित है क्योंकि किसी भी लॉगरिदमिक आधार के लिए $\lim _{p\rightarrow 0+}p\log p=0$ है।

सूचना स्रोत की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक की संभाव्यता द्रव्यमान फ़ंक्शन के आधार पर एंट्रॉपी (सूचना सिद्धांत) H, बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दी गई है

$H=-\sum _{i}p_{i}\log _{2}(p_{i})$

जहां p_i स्रोत प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है, और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार e, जहां e यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार 2⁸ = 256 का लघुगणक प्रति प्रतीक बाइट्स में माप उत्पन्न करेगा, और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।

सहज रूप से, एक असतत यादृच्छिक चर X की एन्ट्रापी H_X, X के मान से जुड़ी अनिश्चितता की मात्रा का एक माप है, जब केवल इसका वितरण ज्ञात होता है।

एक स्रोत की एन्ट्रापी जो स्वतंत्र और समान रूप से वितरित (आईआईडी) एन प्रतीकों के अनुक्रम का उत्सर्जन करती है वह N ⋅ H बिट्स (N प्रतीकों के प्रति संदेश) है। यदि स्रोत डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई NN के संदेश की एन्ट्रापी N ⋅ H से कम होगी।

यदि कोई 1000 बिट्स (0एस और 1एस) प्रसारित करता है, और इनमें से प्रत्येक बिट का मूल्य ट्रांसमिशन से पहले रिसीवर को ज्ञात है (निश्चितता के साथ एक विशिष्ट मूल्य है), तो यह स्पष्ट है कि कोई जानकारी प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन जानकारी (जिसे अक्सर बिट्स कहा जाता है) प्रसारित की गई है। इन दो चरम सीमाओं के बीच, जानकारी को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का सेट है {x₁, ..., x_n} वह X हो सकता है, और p(x) कुछ की संभावना है $x\in \mathbb {X}$, फिर एन्ट्रापी, H, का X परिभषित किया:

$H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).$

(यहां, I(x) स्वयं-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और $\mathbb {E} _{X}$ अपेक्षित मूल्य है।) एन्ट्रापी की एक संपत्ति यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्य p(x) = 1/n हैं यानी सबसे अप्रत्याशित स्थिति में H(X) = log n

दो परिणामों वाले यादृच्छिक चर के लिए सूचना एन्ट्रॉपी का विशेष मामला बाइनरी एन्ट्रॉपी फ़ंक्शन है, जिसे सामान्यतः लॉगरिदमिक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:

$H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).$

संयुक्त एन्ट्रापी

दो असतत यादृच्छिक चर X और Y की संयुक्त एन्ट्रापी केवल उनकी जोड़ी (X, Y) की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि X और Y स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है।

उदाहरण के लिए, यदि (X, Y) शतरंज के मोहरे की स्थिति को दर्शाता है

$H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,$

समान संकेतन के बावजूद, संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जाना चाहिए।

सशर्त एन्ट्रापी (समीकरण)

यादृच्छिक चर Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y के बारे में X का समीकरण भी कहा जाता है) Y पर औसत सशर्त एन्ट्रॉपी है:

$H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).$

चूँकि एन्ट्रापी को एक यादृच्छिक चर पर या उस यादृच्छिक चर पर एक निश्चित मूल्य पर वातानुकूलित किया जा सकता है, इसलिए इस बात का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल संपत्ति यह है:

$H(X|Y)=H(X,Y)-H(Y).\,$

पारस्परिक जानकारी (रूपांतरण)

पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। Y के सापेक्ष X की पारस्परिक जानकारी इस प्रकार दी गई है:

$I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}$

कहाँ पे SI (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।

आपसी जानकारी की एक मूल संपत्ति यह है

$I(X;Y)=H(X)-H(X|Y).\,$

अर्थात्, Y को जानने से, हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन I(X; Y) बिट्स बचा सकते हैं।

पारस्परिक जानकारी सममित कार्य है:

$I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,$

पारस्परिक जानकारी को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:

$I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].$

दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त तक विचलन के रूप में पुनर्गणना किया जाता है।

$I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).$

आपसी जानकारी आकस्मिक तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण से निकटता से संबंधित है और पियर्सन के χ² परीक्षण के लिए आपसी जानकारी को चर की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है और इसमें एक अच्छी तरह से निर्दिष्ट एसिम्प्टोटिक वितरण होता है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रॉपी) दो वितरणों एक "सही" संभाव्यता वितरण $p(X)$ और एक मनमाना संभाव्यता वितरण $q(X)$ की तुलना करने का एक तरीका है। अगर यदि हम डेटा को इस तरह से संपीड़ित करते हैं कि मान लेते हैं कि $q(X)$ कुछ डेटा में अंतर्निहित वितरण है, जब, वास्तव में $p(X)$ सही वितरण है, तो कुल्बैक-लीबलर विचलन प्रति डेटाम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है संपीड़न. इसे इस प्रकार परिभाषित किया गया है:

$D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.$

हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-क्वासिमेट्रिक बनाता है)।

केएल विचलन की एक अन्य व्याख्या सत्य से पूर्व द्वारा पेश किया गया "अनावश्यक आश्चर्य" है, मान लीजिए कि एक संख्या एक्स संभाव्यता वितरण $p(x)$ के साथ एक अलग सेट से यादृच्छिक रूप से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितरण $p(x)$ पता है, जबकि बॉब का मानना ​​है (पहले से है) कि वितरण $q(x)$ है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्चर्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्चर्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्चर्यचकित" होने की उम्मीद है।

निर्देशित जानकारी

निर्देशित जानकारी, $I(X^{n}\to Y^{n})$, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है $X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$ यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$. निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है

$I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$,

कहाँ पे $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक जानकारी है

$I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$.

पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं $X^{n}$ प्रति $Y^{n}$. निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता, प्रतिक्रिया के साथ असतत स्मृतिहीन नेटवर्क की क्षमता, कारण पक्ष की जानकारी के साथ जुआ, कारण पक्ष की जानकारी के साथ डेटा संपीड़न, और रीयल-टाइम नियंत्रण संचार सेटिंग में, सांख्यिकीय भौतिकी।

अन्य मात्राएं

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए जानकारी की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक जानकारी सम्मिलित है। साथ ही, निर्णय लेने में कितनी जानकारी का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक जानकारी का प्रस्ताव किया गया है।

कोडिंग सिद्धांत

Main article: कोडिंग सिद्धांत

सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो स्रोत की सूचना एन्ट्रापी है।

• डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
  • दोषरहित डेटा संपीड़न: डेटा को ठीक से खंगाला जाना चाहिए;
  • हानिपूर्ण डेटा संपीड़न: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
• त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है। .

संपीड़न और ट्रांसमिशन में कोडिंग सिद्धांत का यह विभाजन सूचना ट्रांसमिशन प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में जानकारी के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न अब इष्टतम नहीं हो सकता है।

स्रोत सिद्धांत

कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का स्रोत माना जा सकता है। एक स्मृतिहीन स्रोत वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक चर होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी स्रोत स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अच्छी तरह से अध्ययन किया गया है।

दर

सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि, एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है

$r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );$

अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी। किसी प्रक्रिया के अधिक सामान्य मामले के लिए जो आवश्यक रूप से स्थिर नहीं है, औसत दर है

$r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});$

अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।

सूचना दर के रूप में परिभाषित किया गया है

$r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});$

सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब जानकारी का स्रोत अंग्रेजी गद्य है। सूचना के स्रोत की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह स्रोत कोडिंग का विषय है।

चैनल क्षमता

Main article: Channel capacity

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल अक्सर सिग्नल के शोर का सटीक पुनर्निर्माण करने में विफल होते हैं, मौन की अवधि और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को ख़राब करते हैं।

एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

${\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}$

यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि p(y|x) X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम p(y|x) को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के शोर की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और f(x) की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक जानकारी है, और इस अधिकतम पारस्परिक जानकारी को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:

$C=\max _{f}I(X;Y).\!$

इस क्षमता में सूचना दर आर (जहां आर सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित संपत्ति है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R > C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

• गॉसियन शोर के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
• क्रॉसओवर प्रायिकता p वाला एक बाइनरी सममित चैनल (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है 1 − H_b(p) बिट्स प्रति चैनल उपयोग, जहां H_b बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।

स्मृति और निर्देशित जानकारी वाले चैनल

व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर $i$ चैनल सशर्त संभाव्यता द्वारा दिया गया है $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$. अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ और चैनल बन गया $P(y_{i}|x^{i},y^{i-1}).$.

ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित जानकारी पारस्परिक जानकारी के बराबर होती है)।

अन्य क्षेत्रों के लिए आवेदन

इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग

सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर प्रयुक्त होती हैं। ट्यूरिंग की सूचना इकाई, बैन, का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जिसने जर्मन एनिग्मा मशीन कोड को तोड़ दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में तेजी लाई शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब यूनिसिटी दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है।

सूचना सिद्धांत हमें यह विश्वास दिलाता है कि रहस्यों को छिपाकर रखना पहले दिखने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है। ऐसे सभी तरीकों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।

सूचना सैद्धांतिक सुरक्षा का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तचर सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से प्रयुक्त करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या पीढ़ी

छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा पुस्तकालयों और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक ​​कि उन्हें इरादे के अनुसार कार्य करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर्स के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मूल्य रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और क्रिप्टोग्राफी उपयोग के लिए आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय निरीक्षण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल निरीक्षण के क्षेत्र में था। इस क्षेत्र में कार्य करने से अवांछित ध्वनि को वांछित भूकंपीय संकेत से अलग करना संभव हो गया था। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग प्रकार की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।

लाक्षणिकता

सांकेतिकतावादी डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना। नौटा ने लाक्षणिक सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया।

तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका जानकारी के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को प्रयुक्त किया गया है। इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)) या प्रभावी जानकारी (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और बायेसियन मस्तिष्क परिकल्पना)।

विविध अनुप्रयोग

सूचना सिद्धांत के कई अनुप्रयोग गैंबलिंग ब्लैक होल और जैव सूचना विज्ञान में हैं।

यह भी देखें

• एल्गोरिथम प्रोबेबिलिटी
• बायेसियन सिद्धान्त
• संचार सिद्धांत
• निर्माता सिद्धांत - सूचना सिद्धांत का सामान्यीकरण जिसमें क्वांटम सूचना सम्मिलित है।
• औपचारिक विज्ञान
• चुम्बकीय संभावना
• इन्फो मेट्रिक
• न्यूनतम संदेश लंबाई
• न्यूनतम विवरण लंबाई
• सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची

अनुप्रयोग

• नेटवर्किंग
• क्रिप्ट एनालिसिस
• क्रिप्टोग्राफी
• साइबरनेटिक्स
• ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
• गैंबलिंग
• सेस्मिक ऐक्सप्लोरशन

इतिहास

• हार्टले, आर.वी.एल.
• सूचना सिद्धांत का इतिहास
• क्लॉड एलवुड शैनन
• सूचना सिद्धांत की समयरेखा
• एच.पी. ह्यूबर्ट हॉकी

सिद्धांत

• कोडिंग सिद्धांत
• डिटेक्टिव सिद्धांत
• एस्टिमेशन सिद्धांत
• फिशर इंफॉर्मेशन
• सूचना बीजगणित
• असममिति सूचना
• सूचना क्षेत्र सिद्धांत
• सूचना ज्यामिति
• सूचना सिद्धांत और माप सिद्धांत
• कोलमोगोरोव कॉम्प्लेक्सिटी
• सूचना सिद्धांत में समस्याओं की सूची
• सूचना का तर्क
• नेटवर्क कोडिंग
• सूचना विज्ञान
• क्वांटम सूचना विज्ञान
• सोर्स कोडिंग

अवधारणा

• बैन (यूनिट)
• चैनल क्षमता
• संचार चैनल
• संचार सोर्स
• सशर्त एन्ट्रापी
• कॉवेर्ट चैनल
• डाटा कॉम्प्रेशन
• डिकोडर
• डिफरेंटीएल एन्ट्रापी
• फुंगिबल इनफार्मेशन
• फ्लक्चुएशन कॉम्प्लेक्सिटी इनफार्मेशन
• सूचना एन्ट्रापी
• जॉइंट एन्ट्रॉपी
• कुलबैक-लीब्लर डाइवर्जेंस
• प्वाइंटवाइज म्यूचअल इनफार्मेशन (पीएमआई)
• रिसीवर (सूचना सिद्धांत)
• रिडंडेंसीय (सूचना सिद्धांत)
• रेनी एंट्रॉपी
• यूनीसिटी डिस्टेंस
• साइबरनेटिक्स
• हैमिंग डिस्टेंस

अग्रिम पठन

क्लासिक कार्य

• क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
  com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
• आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
• एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

• जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
• आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
• Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
• Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].

सूचना सिद्धांत पर पाठ्यपुस्तकें

• Arndt, C. सूचना उपाय, सूचना और विज्ञान और इंजीनियरिंग में इसका विवरण (स्प्रिंगर श्रृंखला: सिग्नल और संचार प्रौद्योगिकी), 2004, ISBN 978-3-540-40855-0
• ऐश, आरबी। सूचना सिद्धांत। न्यूयॉर्क: इंटरसाइंस, 1965। ISBN 0-470-03445-9. न्यूयॉर्क: डोवर 1990। ISBN 0-486-66521-6
• Gallager, R. सूचना सिद्धांत और विश्वसनीय संचार। न्यूयॉर्क: जॉन विली एंड संस, 1968। ISBN 0-471-29048-3
• गोल्डमैन, एस. सूचना सिद्धांत। न्यूयॉर्क: प्रेंटिस हॉल, 1953। न्यूयॉर्क: डोवर 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
• Cover, Thomas; Thomas, Joy A. (2006). सूचना सिद्धांत के तत्व (2nd ed.). New York: Wiley-Interscience. ISBN 0-471-24195-4.
• सिसजर, आई, कोर्नर, जे. इंफॉर्मेशन थ्योरी: डिस्क्रीट मेमोरीलेस सिस्टम्स के लिए कोडिंग प्रमेय एकेडेमिया किआडो: दूसरा संस्करण, 1997। ISBN 963-05-7440-3
• डेविड जे.सी. मैके|मैके, डेविड जे.सी. सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम कैम्ब्रिज: कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003। ISBN 0-521-64298-1
• मंसूरीपुर, एम. सूचना सिद्धांत का परिचय। न्यूयॉर्क: अप्रेंटिस हॉल, 1987। ISBN 0-13-484668-0
• रॉबर्ट मैकएलिस |मैकएलिस, आर. सूचना और कोडिंग का सिद्धांत। कैम्ब्रिज, 2002। ISBN 978-0521831857
• जॉन आर. पियर्स|पियर्स, जेआर। सूचना सिद्धांत का परिचय: प्रतीक, संकेत और शोर। डोवर (दूसरा संस्करण)। 1961 (डोवर 1980 द्वारा पुनर्मुद्रित)।
• रेजा, एफ. एन इंट्रोडक्शन टू इंफॉर्मेशन थ्योरी। न्यूयॉर्क: मैकग्रा-हिल 1961। न्यूयॉर्क: डोवर 1994। ISBN 0-486-68210-2
• Shannon, Claude; Weaver, Warren (1949). संचार का गणितीय सिद्धांत (PDF). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
• स्टोन, जेवी। पुस्तक का अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड, 2014। ISBN 978-0956372857.
• युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
• युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0

अन्य पुस्तकें

• लियोन ब्रिलौइन, विज्ञान और सूचना सिद्धांत, माइनोला, एन.वाई: डोवर, [1956, 1962] 2004। ISBN 0-486-43918-6
• जेम्स ग्लीक, सूचना: एक इतिहास, एक सिद्धांत, एक बाढ़, न्यूयॉर्क: पेंथियन, 2011। ISBN 978-0-375-42372-7
• ए.आई. खिनचिन, मैथमैटिकल फ़ाउंडेशन ऑफ़ इंफ़ॉर्मेशन थ्योरी, न्यूयॉर्क: डोवर, 1957। ISBN 0-486-60434-9
• एच.एस. लेफ़ और ए.एफ. रेक्स, संपादक, मैक्सवेल्स डेमन: एंट्रॉपी, सूचना, कम्प्यूटिंग, प्रिंसटन यूनिवर्सिटी प्रेस, प्रिंसटन, न्यू जर्सी (1990)। ISBN 0-691-08727-X
• रॉबर्ट के. लोगान। सूचना क्या है? - बायोस्फीयर, सिम्बोस्फीयर, टेक्नोस्फीयर और इकोनोस्फीयर में प्रचार संगठन, टोरंटो: डेमो पब्लिशिंग।
• टॉम सिगफ्रीड, द बिट एंड द पेंडुलम, विले, 2000। ISBN 0-471-32174-5
• चार्ल्स साबुन, ब्रह्मांड को डिकोड करना, वाइकिंग, 2006। ISBN 0-670-03441-X
• जेरेमी कैंपबेल, व्याकरणिक आदमी, टचस्टोन/साइमन एंड शूस्टर, 1982, ISBN 0-671-44062-4
• हेनरी थेल, अर्थशास्त्र और सूचना सिद्धांत, रैंड मैकनेली एंड कंपनी - शिकागो, 1967।
• Escolano, Suau, Bonev, इंफॉर्मेशन थ्योरी इन कंप्यूटर विज़न एंड पैटर्न रिकग्निशन, स्प्रिंगर, 2009। ISBN 978-1-84882-296-2
• Vlatko Vedral, डिकोडिंग रियलिटी: द यूनिवर्स एज़ क्वांटम इंफॉर्मेशन, ऑक्सफोर्ड यूनिवर्सिटी प्रेस 2010। ISBN 0-19-923769-7

बाहरी संबंध

• "Information", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education
• IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews

{{Navbox

| name =गणित के क्षेत्र

|state = autocollapse

| title =अंक शास्त्र | bodyclass = hlist

|above =

• History
  • Timeline
• Outline
• Lists
• Glossary

| group1 = नींव | list1 =* श्रेणी सिद्धांत

• सूचना सिद्धांत
• गणितीय तर्क
• गणित का दर्शन
• समुच्चय सिद्धान्त
• प्रकार सिद्धांत

| group2 =बीजगणित | list2 =* सार

• कम्यूटेटिव
• प्राथमिक
• समूह सिद्धांत
• रैखिक
• मल्टीलिनियर
• यूनिवर्सल
• होमोलॉजिकल

| group3 = विश्लेषण | list3 =* पथरी

• वास्तविक विश्लेषण
• जटिल विश्लेषण
• हाइपरकम्प्लेक्स विश्लेषण
• अंतर समीकरण
• कार्यात्मक विश्लेषण
• हार्मोनिक विश्लेषण
• माप सिद्धांत

| group4 = असतत | list4 =* कॉम्बीनेटरिक्स

• ग्राफ सिद्धांत
• आदेश सिद्धांत

| group5 =ज्यामिति | list5 =* बीजगणितीय

• विश्लेषणात्मक
• अंकगणित
• अंतर
• असतत
• Euclidean
• परिमित

| group6 =संख्या सिद्धांत | list6 =* अंकगणित

• बीजगणितीय संख्या सिद्धांत
• विश्लेषणात्मक संख्या सिद्धांत
• डायोफेंटाइन ज्यामिति

| group7 =टोपोलॉजी | list7 =* सामान्य

• बीजगणितीय
• अंतर
• ज्यामितीय
• होमोटॉपी सिद्धांत

| group8 = लागू | list8 =* इंजीनियरिंग गणित

• गणितीय जीव विज्ञान
• गणितीय रसायन विज्ञान
• गणितीय अर्थशास्त्र
• गणितीय वित्त
• गणितीय भौतिकी
• गणितीय मनोविज्ञान
• गणितीय समाजशास्त्र
• गणितीय सांख्यिकी
• संभावना
• सांख्यिकी
• सिस्टम साइंस
  • नियंत्रण सिद्धांत
  • खेल सिद्धांत
  • गतिविधि अनुसंधान

| group9 = कम्प्यूटेशनल | list9 =* कंप्यूटर विज्ञान

• गणना का सिद्धांत
• कम्प्यूटेशनल जटिलता सिद्धांत
• संख्यात्मक विश्लेषण
• अनुकूलन
• कंप्यूटर बीजगणित

| group10 = संबंधित विषय | list10 =* अनौपचारिक गणित

• मनोरंजक गणित
• गणित और कला
• गणित शिक्षा

| below =* '

• ' श्रेणी' '
• ' कॉमन्स'
• [[gikewikipedia: wikiproject matics | wikiproject]

}}