सूचना सिद्धांत: Difference between revisions

Revision as of 19:51, 6 December 2023

सूचना सिद्धांत सूचना के परिमाणीकरण, कंप्यूटर डेटा और संचार का गणितीय अध्ययन है।^[1] यह सूचना सिद्धांत मूल रूप से 1920 के दशक में हैरी निक्विस्ट और राल्फ हार्टले ने और 1940 के दशक में क्लाउड शैनन के द्वारा स्थापित किया गया था।^[2]^: vii अनुप्रयुक्त गणित का क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और विद्युत इंजीनियरिंग के चौराहे पर है।

सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।^[1] उदाहरण के लिए, एक उचित सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम जानकारी (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक जानकारी, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, एल्गोरिथम जटिलता सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा सम्मिलित हैं।

सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप फ़ाइलों के लिए), और चैनल कोडिंग/त्रुटि का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित हैं। इसका प्रभाव गहरे अंतरिक्ष में वोयाजर मिशन की सफलता, कॉम्पैक्ट डिस्क के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय अनुमान,^[3] क्रिप्टोग्राफी, न्यूरोबायोलॉजी^[4] धारणा^[5] भाषाविज्ञान, आणविक कोड^[6] (जैव सूचना विज्ञान), थर्मल भौतिकी,^[7] आणविक गतिकी^[8] के विकास और कार्य^[9]सहित अन्य क्षेत्रों में भी अनुप्रयोग मिला है।^[10] क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति, खुफिया जानकारी एकत्र करना, साहित्यिक चोरी का पता लगाना, पैटर्न पहचान, विसंगति का पता लगाना और यहां तक कि कला निर्माण भी।^[11]

समीक्षा

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता का समाधान माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के एक गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें जानकारी को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को शोर वाले चैनल पर भेजें, और प्राप्तकर्ता को चैनल के शोर के बावजूद, त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए कहें। शैनन का मुख्य परिणाम, शोर-चैनल कोडिंग प्रमेय से पता चला कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो कि स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश आते हैं भेजे जाते हैं.^[4]

कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और शोर वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के करीब तक कम करने के लिए स्पष्ट तरीकों को खोजने से है, जिन्हें कोड कहा जाता है। इन कोडों को मोटे तौर पर डेटा संपीड़न (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने के तरीकों को खोजने में कई साल लग गए।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (कोड और सिफर दोनों) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है। ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।

ऐतिहासिक सूचना

सूचना सिद्धांत के अनुशासन को स्थापित करने और इसे तुरंत दुनिया भर के ध्यान में लाने वाली ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लाउड ईशैनन के क्लासिक पेपर "ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन" का प्रकाशन था। उन्हें "सूचना सिद्धांत के जनक" नाम से जाना जाने लगा।

इस पेपर से पहले बेल लैब्स में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए। हैरी नाइक्विस्ट के 1924 के पेपर, टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ कारक, में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक खंड सम्मिलित है, जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है, संबंध $W = K log m$ (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है। , जहां W बुद्धि के संचरण की गति है, m प्रत्येक समय चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है।

राल्फ हार्टले का 1928 का पेपर, ट्रांसमिशन ऑफ इंफॉर्मेशन, शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है, इस प्रकार जानकारी को $H = log S n = n log S$ के रूप में मात्राबद्ध करता है, जहां एस संख्या थी संभावित प्रतीकों की संख्या, और ट्रांसमिशन में प्रतीकों की संख्या। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को तोड़ने के सांख्यिकीय विश्लेषण के हिस्से के रूप में इसी तरह के विचारों का इस्तेमाल किया।

विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा थर्मोडायनामिक्स के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रॉपी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एन्ट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और अभूतपूर्व पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में पेश किया, जो इस दावे के साथ शुरू हुआ:

"संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर सटीक या अनुमानित रूप से पुन: प्रस्तुत करना है।"

इसके साथ के विचार आए

किसी स्रोत की सूचना एन्ट्रापी और अतिरेक (सूचना सिद्धांत), और स्रोत कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता;
शोर-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण हानि-मुक्त संचार के वादे सहित एक शोर चैनल की पारस्परिक जानकारी और चैनल क्षमता;
गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले कानून का व्यावहारिक परिणाम; साथ ही
द काटा—जानकारी की सबसे मौलिक इकाई को देखने का एक नया तरीका।

जानकारी की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक जानकारी सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक चर में जानकारी के माप की मात्रा निर्धारित करने की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित पारस्परिक जानकारी है, जो उन चरों के बीच सामान्य जानकारी के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की एक संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।

निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है, और दशमलव अंक, जो सामान्य लघुगणक पर आधारित है।

निम्नलिखित में $p log p$ की अभिव्यक्ति को सम्मेलन द्वारा शून्य के बराबर माना जाता है जब भी $p = 0$ यह उचित है क्योंकि किसी भी लॉगरिदमिक आधार के लिए $\lim _{p\rightarrow 0+}p\log p=0$ है।

सूचना स्रोत की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक की संभाव्यता द्रव्यमान फ़ंक्शन के आधार पर एंट्रॉपी (सूचना सिद्धांत) $H$ , बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दी गई है

H=-\sum _{i}p_{i}\log _{2}(p_{i})

जहां $p i$ स्रोत प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है, और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार $e$ , जहां $e$ यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार 2⁸ = 256 का लघुगणक प्रति प्रतीक बाइट्स में माप उत्पन्न करेगा, और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।

सहज रूप से, एक असतत यादृच्छिक चर $X$ की एन्ट्रापी $H X$ , $X$ के मान से जुड़ी अनिश्चितता की मात्रा का एक माप है, जब केवल इसका वितरण ज्ञात होता है।

एक स्रोत की एन्ट्रापी जो स्वतंत्र और समान रूप से वितरित (आईआईडी) एन प्रतीकों के अनुक्रम का उत्सर्जन करती है वह $N \cdot H$ बिट्स ( $N$ प्रतीकों के प्रति संदेश) है। यदि स्रोत डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई $N$ $N$ के संदेश की एन्ट्रापी $N \cdot H$ से कम होगी।

200 पीएक्स सफलता की संभावना के एक समारोह के रूप में, जिसे अक्सर कहा जाता है binary entropy function, Hb(p). एन्ट्रापी को 1 बिट प्रति परीक्षण पर अधिकतम किया जाता है जब दो संभावित परिणाम समान रूप से संभावित होते हैं, जैसा कि एक निष्पक्ष सिक्का टॉस में होता है।

यदि कोई 1000 बिट्स (0एस और 1एस) प्रसारित करता है, और इनमें से प्रत्येक बिट का मूल्य ट्रांसमिशन से पहले रिसीवर को ज्ञात है (निश्चितता के साथ एक विशिष्ट मूल्य है), तो यह स्पष्ट है कि कोई जानकारी प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन जानकारी (जिसे अक्सर बिट्स कहा जाता है) प्रसारित की गई है। इन दो चरम सीमाओं के बीच, जानकारी को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का सेट है ${x 1, ..., x n}$ वह $X$ हो सकता है, और $p (x)$ कुछ की संभावना है $x\in \mathbb {X}$ , फिर एन्ट्रापी, $H$ , का $X$ परिभषित किया:^[12]

H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).

(यहां, $I (x)$ स्वयं-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और $\mathbb {E} _{X}$ अपेक्षित मूल्य है।) एन्ट्रापी की एक संपत्ति यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्य $p (x) = 1/ n$ हैं यानी सबसे अप्रत्याशित स्थिति में $H (X) = log n$

दो परिणामों वाले यादृच्छिक चर के लिए सूचना एन्ट्रॉपी का विशेष मामला बाइनरी एन्ट्रॉपी फ़ंक्शन है, जिसे सामान्यतः लॉगरिदमिक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:

H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).

संयुक्त एन्ट्रापी

दो असतत यादृच्छिक चर $X$ और $Y$ की संयुक्त एन्ट्रापी केवल उनकी जोड़ी $(X, Y)$ की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि $X$ और $Y$ स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है।

उदाहरण के लिए, यदि (X, Y) शतरंज के मोहरे की स्थिति को दर्शाता है

H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,

समान संकेतन के बावजूद, संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जाना चाहिए।

सशर्त एन्ट्रापी (समीकरण)

यादृच्छिक चर Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y के बारे में X का समीकरण भी कहा जाता है) $Y$ पर औसत सशर्त एन्ट्रॉपी है:^[13]

H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).

चूँकि एन्ट्रापी को एक यादृच्छिक चर पर या उस यादृच्छिक चर पर एक निश्चित मूल्य पर वातानुकूलित किया जा सकता है, इसलिए इस बात का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल संपत्ति यह है:

H(X|Y)=H(X,Y)-H(Y).\,

पारस्परिक जानकारी (रूपांतरण)

पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। $Y$ के सापेक्ष $X$ की पारस्परिक जानकारी इस प्रकार दी गई है:

I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}

कहाँ पे $SI$ (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।

आपसी जानकारी की एक मूल संपत्ति यह है

I(X;Y)=H(X)-H(X|Y).\,

अर्थात्, Y को जानने से, हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन $I (X; Y)$ बिट्स बचा सकते हैं।

पारस्परिक जानकारी सममित कार्य है:

I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,

पारस्परिक जानकारी को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:

I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].

दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त तक विचलन के रूप में पुनर्गणना किया जाता है।

I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).

आपसी जानकारी आकस्मिक तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण से निकटता से संबंधित है और पियर्सन के χ² परीक्षण के लिए आपसी जानकारी को चर की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है और इसमें एक अच्छी तरह से निर्दिष्ट एसिम्प्टोटिक वितरण होता है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रॉपी) दो वितरणों एक "सही" संभाव्यता वितरण $p(X)$ और एक मनमाना संभाव्यता वितरण $q(X)$ की तुलना करने का एक तरीका है। अगर यदि हम डेटा को इस तरह से संपीड़ित करते हैं कि मान लेते हैं कि $q(X)$ कुछ डेटा में अंतर्निहित वितरण है, जब, वास्तव में $p(X)$ सही वितरण है, तो कुल्बैक-लीबलर विचलन प्रति डेटाम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है संपीड़न. इसे इस प्रकार परिभाषित किया गया है:

D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.

हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-क्वासिमेट्रिक बनाता है)।

केएल विचलन की एक अन्य व्याख्या सत्य से पूर्व द्वारा पेश किया गया "अनावश्यक आश्चर्य" है, मान लीजिए कि एक संख्या एक्स संभाव्यता वितरण $p(x)$ के साथ एक अलग सेट से यादृच्छिक रूप से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितरण $p(x)$ पता है, जबकि बॉब का मानना है (पहले से है) कि वितरण $q(x)$ है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्चर्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्चर्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्चर्यचकित" होने की उम्मीद है।

निर्देशित जानकारी

निर्देशित जानकारी, $I(X^{n}\to Y^{n})$ , एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है $X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$ यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$ . निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})

,

कहाँ पे $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक जानकारी है

$I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$ .

पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं $X^{n}$ प्रति $Y^{n}$ . निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,^[14]^[15] प्रतिक्रिया के साथ असतत स्मृतिहीन नेटवर्क की क्षमता,^[16] कारण पक्ष की जानकारी के साथ जुआ,^[17] कारण पक्ष की जानकारी के साथ डेटा संपीड़न,^[18] और रीयल-टाइम नियंत्रण संचार सेटिंग में,^[19]^[20] सांख्यिकीय भौतिकी।^[21]

अन्य मात्राएं

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए जानकारी की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक जानकारी सम्मिलित है। साथ ही, निर्णय लेने में कितनी जानकारी का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक जानकारी का प्रस्ताव किया गया है।

कोडिंग सिद्धांत

Error creating thumbnail:

सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो स्रोत की सूचना एन्ट्रापी है।

डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
- दोषरहित डेटा संपीड़न: डेटा को ठीक से खंगाला जाना चाहिए;
- हानिपूर्ण डेटा संपीड़न: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है। .

संपीड़न और ट्रांसमिशन में कोडिंग सिद्धांत का यह विभाजन सूचना ट्रांसमिशन प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में जानकारी के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न अब इष्टतम नहीं हो सकता है।

स्रोत सिद्धांत

कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का स्रोत माना जा सकता है। एक स्मृतिहीन स्रोत वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक चर होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी स्रोत स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अच्छी तरह से अध्ययन किया गया है।

दर

सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि, एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है

r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );

अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी। किसी प्रक्रिया के अधिक सामान्य मामले के लिए जो आवश्यक रूप से स्थिर नहीं है, औसत दर है

r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});

अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।^[22]

सूचना दर के रूप में परिभाषित किया गया है

r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});

सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब जानकारी का स्रोत अंग्रेजी गद्य है। सूचना के स्रोत की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह स्रोत कोडिंग का विषय है।

चैनल क्षमता

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल अक्सर सिग्नल के शोर का सटीक पुनर्निर्माण करने में विफल होते हैं, मौन की अवधि और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को ख़राब करते हैं।

एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}

यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि $p (y | x)$ X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम $p (y | x)$ को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के शोर की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और $f (x)$ की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक जानकारी है, और इस अधिकतम पारस्परिक जानकारी को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:

C=\max _{f}I(X;Y).\!

इस क्षमता में सूचना दर आर (जहां आर सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित संपत्ति है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R > C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

गॉसियन शोर के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
क्रॉसओवर प्रायिकता p वाला एक बाइनरी सममित चैनल (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है $1 - H b (p)$ बिट्स प्रति चैनल उपयोग, जहां $H b$ बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।

स्मृति और निर्देशित जानकारी वाले चैनल

व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर $i$ चैनल सशर्त संभाव्यता द्वारा दिया गया है $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$ . अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ और चैनल बन गया $P(y_{i}|x^{i},y^{i-1}).$ .

ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित जानकारी पारस्परिक जानकारी के बराबर होती है)।^[23]^[24]

अन्य क्षेत्रों के लिए आवेदन

इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग

सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन, का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जिसने जर्मन एनिग्मा मशीन कोड को तोड़ दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में तेजी लाई। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब यूनिसिटी दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है।

सूचना सिद्धांत हमें यह विश्वास दिलाता है कि रहस्यों को छिपाकर रखना पहले दिखने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है। ऐसे सभी तरीकों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।

सूचना सैद्धांतिक सुरक्षा का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तचर सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या पीढ़ी

छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा पुस्तकालयों और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें इरादे के अनुसार काम करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर्स के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मूल्य रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और क्रिप्टोग्राफी उपयोग के लिए आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय अन्वेषण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम करने से अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना संभव हो गया। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग तरीकों की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।^[25]

लाक्षणिकता

सांकेतिकतावादी डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना। नौटा ने लाक्षणिक सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया।^[26]^: 171Cite error: Closing </ref> missing for <ref> tag

तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका जानकारी के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को लागू किया गया है।^[27] इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)^[28]) या प्रभावी जानकारी (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।^[29]^[30]^[31]), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और बायेसियन मस्तिष्क परिकल्पना^[32]^[33]^[34]^[35]^[36])।

विविध अनुप्रयोग

सूचना सिद्धांत का जुआ ब्लैक होल और जैव सूचना विज्ञान में भी अनुप्रयोग है।

यह भी देखें

एल्गोरिथम संभावना
बायेसियन अनुमान
संचार सिद्धांत
निर्माता सिद्धांत - सूचना सिद्धांत का एक सामान्यीकरण जिसमें क्वांटम सूचना शामिल है
औपचारिक विज्ञान
आगमनात्मक संभावना
जानकारी मेट्रिक्स
न्यूनतम संदेश लंबाई
न्यूनतम विवरण लंबाई
सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची
सूचना का दर्शन

अनुप्रयोग

सक्रिय नेटवर्किंग
क्रिप्ट एनालिसिस
क्रिप्टोग्राफी
साइबरनेटिक्स
ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
जुआ
इंटेलिजेंस (सूचना एकत्र करना)
प्रतिबिंब भूकंप विज्ञान

इतिहास

राल्फ हार्टले|हार्टले, आर.वी.एल.
सूचना सिद्धांत का इतिहास
क्लॉड एलवुड शैनन
सूचना सिद्धांत की समयरेखा
एच.पी. ह्यूबर्ट हॉकी

सिद्धांत

कोडिंग सिद्धांत
जांच सिद्धांत
अनुमान सिद्धांत
फिशर की जानकारी
सूचना बीजगणित
जानकारी विषमता
सूचना क्षेत्र सिद्धांत
सूचना ज्यामिति
सूचना सिद्धांत और माप सिद्धांत
कोलमोगोरोव जटिलता
सूचना सिद्धांत में अनसुलझी समस्याओं की सूची
सूचना का तर्क
नेटवर्क कोडिंग
सूचना का दर्शन
क्वांटम सूचना विज्ञान
स्रोत कोडिंग

अवधारणाओं

प्रतिबंध (इकाई)
चैनल क्षमता
बातचीत का माध्यम
संचार स्रोत
सशर्त एन्ट्रापी
गुप्त चैनल
आधार - सामग्री संकोचन
डिकोडर
विभेदक एन्ट्रापी
वैकल्पिक जानकारी
सूचना में उतार-चढ़ाव की जटिलता
सूचना एन्ट्रापी
संयुक्त एन्ट्रॉपी
कुलबैक-लीब्लर डाइवर्जेंस
आपसी जानकारी
प्वाइंटवाइज आपसी जानकारी (पीएमआई)
रिसीवर (सूचना सिद्धांत)
अतिरेक (सूचना सिद्धांत)
रेनी एंट्रॉपी
स्व-सूचना
एकता दूरी
विविधता (साइबरनेटिक्स)
हैमिंग दूरी

संदर्भ

↑ ^1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.
↑ Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.
↑ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
↑ ^4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.
↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
↑ cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.
↑ Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.
↑ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.
↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
↑ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.
↑ David R. Anderson (November 1, 2003). "अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि" (PDF). Archived from the original (PDF) on July 23, 2011. Retrieved 2010-06-23.
↑ Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.
↑ Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.
↑ Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.
↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.
↑ Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.
↑ Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.
↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.
↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
↑ Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.
↑ Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.
↑ Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.
↑ Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526
↑ Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.
↑ Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.
↑ Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.
↑ Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.
↑ Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.
↑ Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.
↑ Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.
↑ Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.
↑ Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

अग्रिम पठन

क्लासिक काम

क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].

सूचना सिद्धांत पर पाठ्यपुस्तकें

Arndt, C. सूचना उपाय, सूचना और विज्ञान और इंजीनियरिंग में इसका विवरण (स्प्रिंगर श्रृंखला: सिग्नल और संचार प्रौद्योगिकी), 2004, ISBN 978-3-540-40855-0
ऐश, आरबी। सूचना सिद्धांत। न्यूयॉर्क: इंटरसाइंस, 1965। ISBN 0-470-03445-9. न्यूयॉर्क: डोवर 1990। ISBN 0-486-66521-6
Gallager, R. सूचना सिद्धांत और विश्वसनीय संचार। न्यूयॉर्क: जॉन विली एंड संस, 1968। ISBN 0-471-29048-3
गोल्डमैन, एस. सूचना सिद्धांत। न्यूयॉर्क: प्रेंटिस हॉल, 1953। न्यूयॉर्क: डोवर 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
Cover, Thomas; Thomas, Joy A. (2006). सूचना सिद्धांत के तत्व (2nd ed.). New York: Wiley-Interscience. ISBN 0-471-24195-4.
सिसजर, आई, कोर्नर, जे. इंफॉर्मेशन थ्योरी: डिस्क्रीट मेमोरीलेस सिस्टम्स के लिए कोडिंग प्रमेय एकेडेमिया किआडो: दूसरा संस्करण, 1997। ISBN 963-05-7440-3
डेविड जे.सी. मैके|मैके, डेविड जे.सी. सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम कैम्ब्रिज: कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003। ISBN 0-521-64298-1
मंसूरीपुर, एम. सूचना सिद्धांत का परिचय। न्यूयॉर्क: अप्रेंटिस हॉल, 1987। ISBN 0-13-484668-0
रॉबर्ट मैकएलिस |मैकएलिस, आर. सूचना और कोडिंग का सिद्धांत। कैम्ब्रिज, 2002। ISBN 978-0521831857
जॉन आर. पियर्स|पियर्स, जेआर। सूचना सिद्धांत का परिचय: प्रतीक, संकेत और शोर। डोवर (दूसरा संस्करण)। 1961 (डोवर 1980 द्वारा पुनर्मुद्रित)।
रेजा, एफ. एन इंट्रोडक्शन टू इंफॉर्मेशन थ्योरी। न्यूयॉर्क: मैकग्रा-हिल 1961। न्यूयॉर्क: डोवर 1994। ISBN 0-486-68210-2
Shannon, Claude; Weaver, Warren (1949). संचार का गणितीय सिद्धांत (PDF). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
स्टोन, जेवी। पुस्तक का अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड, 2014। ISBN 978-0956372857.
युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0

अन्य पुस्तकें

लियोन ब्रिलौइन, विज्ञान और सूचना सिद्धांत, माइनोला, एन.वाई: डोवर, [1956, 1962] 2004। ISBN 0-486-43918-6
जेम्स ग्लीक, सूचना: एक इतिहास, एक सिद्धांत, एक बाढ़, न्यूयॉर्क: पेंथियन, 2011। ISBN 978-0-375-42372-7
ए.आई. खिनचिन, मैथमैटिकल फ़ाउंडेशन ऑफ़ इंफ़ॉर्मेशन थ्योरी, न्यूयॉर्क: डोवर, 1957। ISBN 0-486-60434-9
एच.एस. लेफ़ और ए.एफ. रेक्स, संपादक, मैक्सवेल्स डेमन: एंट्रॉपी, सूचना, कम्प्यूटिंग, प्रिंसटन यूनिवर्सिटी प्रेस, प्रिंसटन, न्यू जर्सी (1990)। ISBN 0-691-08727-X
रॉबर्ट के. लोगान। सूचना क्या है? - बायोस्फीयर, सिम्बोस्फीयर, टेक्नोस्फीयर और इकोनोस्फीयर में प्रचार संगठन, टोरंटो: डेमो पब्लिशिंग।
टॉम सिगफ्रीड, द बिट एंड द पेंडुलम, विले, 2000। ISBN 0-471-32174-5
चार्ल्स साबुन, ब्रह्मांड को डिकोड करना, वाइकिंग, 2006। ISBN 0-670-03441-X
जेरेमी कैंपबेल, व्याकरणिक आदमी, टचस्टोन/साइमन एंड शूस्टर, 1982, ISBN 0-671-44062-4
हेनरी थेल, अर्थशास्त्र और सूचना सिद्धांत, रैंड मैकनेली एंड कंपनी - शिकागो, 1967।
Escolano, Suau, Bonev, इंफॉर्मेशन थ्योरी इन कंप्यूटर विज़न एंड पैटर्न रिकग्निशन, स्प्रिंगर, 2009। ISBN 978-1-84882-296-2
Vlatko Vedral, डिकोडिंग रियलिटी: द यूनिवर्स एज़ क्वांटम इंफॉर्मेशन, ऑक्सफोर्ड यूनिवर्सिटी प्रेस 2010। ISBN 0-19-923769-7

बाहरी संबंध

"Information", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education
IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews

{{Navbox

| name =गणित के क्षेत्र

|state = autocollapse

| title =अंक शास्त्र | bodyclass = hlist

|above =

| group1 = नींव | list1 =* श्रेणी सिद्धांत

| group2 =बीजगणित | list2 =* सार

| group3 = विश्लेषण | list3 =* पथरी

| group4 = असतत | list4 =* कॉम्बीनेटरिक्स

| group5 =ज्यामिति | list5 =* बीजगणितीय

| group6 =संख्या सिद्धांत | list6 =* अंकगणित

| group7 =टोपोलॉजी | list7 =* सामान्य

| group8 = लागू | list8 =* इंजीनियरिंग गणित

| group9 = कम्प्यूटेशनल | list9 =* कंप्यूटर विज्ञान

| group10 = संबंधित विषय | list10 =* अनौपचारिक गणित

| below =* '

Category ' श्रेणी' '
Commons page ' कॉमन्स'
WikiProject [[gikewikipedia: wikiproject matics | wikiproject]

}}

[:0-1] 1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.

[2] Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.

[3] Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.

[Spikes-4] 4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.

[5] Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.

[6] ; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.

[7] Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.

[8] Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.

[9] Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.

[10] Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.

[11] David R. Anderson (November 1, 2003). "अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि" (PDF). Archived from the original (PDF) on July 23, 2011. Retrieved 2010-06-23.

[Reza-12] Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.

[Ash-13] Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.

[14] Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)

[15] Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.

[16] Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.

[17] Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.

[18] Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.

[19] Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.

[20] Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.

[21] Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.

[22] Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.

[23] Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)

[24] Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.

[25] Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.

[Nauta_1972-26] Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.

[27] Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526

[28] Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.

[29] Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.

[30] Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.

[31] Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.

[32] Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.

[33] Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.

[34] Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.

[35] Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.

[36] Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

@@ Line 3: / Line 3: @@
 {{Example farm|date=May 2020}}
 {{Information theory}}
-सूचना सिद्धांत परिमाणीकरण (विज्ञान), [[कंप्यूटर डेटा भंडारण]] और सूचना के दूरसंचार का वैज्ञानिक अध्ययन है।<ref>{{Cite web|title=क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया|url=https://www.fiercetelecom.com/special-report/claude-shannon-pioneered-digital-information-theory|access-date=2021-04-30|website=FierceTelecom|language=en}}</ref> 1920 के दशक में [[हैरी निक्विस्ट]] और राल्फ हार्टले और 1940 के दशक में [[क्लाउड शैनन]] के कार्यों द्वारा इस क्षेत्र को मौलिक रूप से स्थापित किया गया था।<ref>{{Cite book|last=Shannon|first=Claude Elwood|url=https://www.worldcat.org/oclc/40716662|title=संचार का गणितीय सिद्धांत|date=1998|publisher=University of Illinois Press|others=Warren Weaver|isbn=0-252-72546-8|location=Urbana|oclc=40716662}}</ref>{{Rp|page=vii|location=}} क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, [[कंप्यूटर विज्ञान]], सांख्यिकीय यांत्रिकी, [[सूचना इंजीनियरिंग (क्षेत्र)]], और [[विद्युत अभियन्त्रण]] के चौराहे पर है।
+'''सूचना सिद्धांत''' सूचना के परिमाणीकरण, [[कंप्यूटर डेटा भंडारण|कंप्यूटर डेटा]] और संचार का गणितीय अध्ययन है।<ref name=":0">{{Cite web|title=क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया|url=https://www.fiercetelecom.com/special-report/claude-shannon-pioneered-digital-information-theory|access-date=2021-04-30|website=FierceTelecom|language=en}}</ref> यह सूचना सिद्धांत मूल रूप से 1920 के दशक में [[हैरी निक्विस्ट]] और राल्फ हार्टले ने और 1940 के दशक में [[क्लाउड शैनन]] के द्वारा स्थापित किया गया था।<ref>{{Cite book|last=Shannon|first=Claude Elwood|url=https://www.worldcat.org/oclc/40716662|title=संचार का गणितीय सिद्धांत|date=1998|publisher=University of Illinois Press|others=Warren Weaver|isbn=0-252-72546-8|location=Urbana|oclc=40716662}}</ref>{{Rp|page=vii|location=}} अनुप्रयुक्त गणित का क्षेत्र संभाव्यता सिद्धांत, सांख्यिकी, [[कंप्यूटर विज्ञान]], सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और [[विद्युत अभियन्त्रण|विद्युत]] इंजीनियरिंग के चौराहे पर है।
-सूचना सिद्धांत में एक महत्वपूर्ण उपाय सूचना एन्ट्रॉपी है। एन्ट्रापी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में शामिल अनिश्चितता की मात्रा निर्धारित करता है। उदाहरण के लिए, एक [[पासा]] के रोल से परिणाम निर्दिष्ट करने की तुलना में एक निष्पक्ष सिक्का फ्लिप (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करने से कम जानकारी (कम एन्ट्रापी) मिलती है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय हैं आपसी सूचना, [[चैनल क्षमता]], त्रुटि घातांक और सापेक्ष एन्ट्रापी। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, [[एल्गोरिथम जटिलता सिद्धांत]], [[एल्गोरिथम सूचना सिद्धांत]] और [[सूचना-सैद्धांतिक सुरक्षा]] शामिल हैं।
+सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक चर के मूल्य या एक यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।<ref name=":0" /> उदाहरण के लिए, एक उचित सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम जानकारी (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक जानकारी, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में स्रोत कोडिंग, [[एल्गोरिथम जटिलता सिद्धांत]], [[एल्गोरिथम सूचना सिद्धांत]] और [[सूचना-सैद्धांतिक सुरक्षा]] सम्मिलित हैं।
-सूचना सिद्धांत के मौलिक विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप (फ़ाइल प्रारूप)), और चैनल कोडिंग/त्रुटि का पता लगाने और सुधार (जैसे [[डिजिटल खरीदारों की पंक्ति]] के लिए) शामिल हैं। गहरे अंतरिक्ष में वोयाजर कार्यक्रम मिशन की सफलता, [[कॉम्पैक्ट डिस्क]] का आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए इसका प्रभाव महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय निष्कर्ष सहित अन्य क्षेत्रों में भी आवेदन मिला है,<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref> [[क्रिप्टोग्राफी]], [[तंत्रिका जीव विज्ञान]],<ref name="Spikes">{{cite book|title=स्पाइक्स: न्यूरल कोड की खोज|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> अनुभूति,<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> भाषा विज्ञान, विकास<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव|journal=Science|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> और समारोह<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण|url=http://alum.mit.edu/www/toms/|journal=Gene|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097}}</ref> आणविक कोड (जैव सूचना विज्ञान), थर्मल भौतिकी,<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=सूचना सिद्धांत और सांख्यिकीय यांत्रिकी|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> [[आणविक गतिकी]],<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720}}</ref> क्वांटम कंप्यूटिंग, [[ब्लैक होल]], सूचना पुनर्प्राप्ति, इंटेलिजेंस (सूचना एकत्र करना), साहित्यिक चोरी का पता लगाना,<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=श्रृंखला पत्र और विकासवादी इतिहास|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref> पैटर्न पहचान, विसंगति पहचान<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि|author=David R. Anderson|date=November 1, 2003|archive-url=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archive-date=July 23, 2011|url-status=dead|access-date=2010-06-23}}
+सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में स्रोत कोडिंग/डेटा संपीड़न (उदाहरण के लिए ज़िप फ़ाइलों के लिए), और चैनल कोडिंग/त्रुटि का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित हैं। इसका प्रभाव गहरे अंतरिक्ष में वोयाजर मिशन की सफलता, [[कॉम्पैक्ट डिस्क]] के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। सिद्धांत को सांख्यिकीय अनुमान,<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref> [[क्रिप्टोग्राफी]], न्यूरोबायोलॉजी<ref name="Spikes">{{cite book|title=स्पाइक्स: न्यूरल कोड की खोज|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> धारणा<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> भाषाविज्ञान, आणविक कोड<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव|journal=Science|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> (जैव सूचना विज्ञान), थर्मल भौतिकी,<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=सूचना सिद्धांत और सांख्यिकीय यांत्रिकी|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> [[आणविक गतिकी]]<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720}}</ref> के विकास और कार्य<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण|url=http://alum.mit.edu/www/toms/|journal=Gene|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097}}</ref>सहित अन्य क्षेत्रों में भी अनुप्रयोग मिला है।<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=श्रृंखला पत्र और विकासवादी इतिहास|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref> क्वांटम कंप्यूटिंग, [[ब्लैक होल]], सूचना पुनर्प्राप्ति, खुफिया जानकारी एकत्र करना, साहित्यिक चोरी का पता लगाना, पैटर्न पहचान, विसंगति का पता लगाना और यहां तक कि कला निर्माण भी।<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=अनुभवजन्य विज्ञान में लोग सूचना-सैद्धांतिक तरीकों को बेहतर ढंग से क्यों समझना चाहते हैं, इस पर कुछ पृष्ठभूमि|author=David R. Anderson|date=November 1, 2003|archive-url=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archive-date=July 23, 2011|url-status=dead|access-date=2010-06-23}}
-</ref> और कला निर्माण भी।
+</ref>
-== सिंहावलोकन ==
+== समीक्षा ==
-सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता के समाधान के रूप में माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लॉड शैनन द्वारा [[संचार का एक गणितीय सिद्धांत]] नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को एक शोर वाले चैनल पर भेजें, और रिसीवर को चैनल के शोर के बावजूद त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए। शैनन का मुख्य परिणाम, नॉइज़-चैनल कोडिंग प्रमेय ने दिखाया कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश भेजा जाता है।<ref name="Spikes" />
+सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण और उपयोग का अध्ययन करता है। संक्षेप में, सूचना को अनिश्चितता का समाधान माना जा सकता है। एक शोर चैनल पर सूचना के संचार के मामले में, इस अमूर्त अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के एक गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें जानकारी को संभावित संदेशों के एक सेट के रूप में माना जाता है, और लक्ष्य है इन संदेशों को शोर वाले चैनल पर भेजें, और प्राप्तकर्ता को चैनल के शोर के बावजूद, त्रुटि की कम संभावना के साथ संदेश को फिर से बनाने के लिए कहें। शैनन का मुख्य परिणाम, शोर-चैनल कोडिंग प्रमेय से पता चला कि, कई चैनल उपयोगों की सीमा में, सूचना की दर जो कि स्पर्शोन्मुख रूप से प्राप्त करने योग्य है, चैनल क्षमता के बराबर है, एक मात्रा जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश आते हैं भेजे जाते हैं.<ref name="Spikes" />
-कोडिंग सिद्धांत स्पष्ट तरीकों को खोजने से संबंधित है, जिन्हें कोड कहा जाता है, दक्षता बढ़ाने के लिए और शोर चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के पास कम करने के लिए। इन कोडों को मोटे तौर पर डेटा कम्प्रेशन (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने वाली विधियों को खोजने में कई साल लग गए।
+कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और शोर वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के करीब तक कम करने के लिए स्पष्ट तरीकों को खोजने से है, जिन्हें कोड कहा जाता है। इन कोडों को मोटे तौर पर डेटा संपीड़न (स्रोत कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद के मामले में, शैनन के काम को साबित करने के तरीकों को खोजने में कई साल लग गए।
-सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (दोनों [[कोड (क्रिप्टोग्राफी)]] और [[सिफ़र]]) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत से अवधारणाओं, विधियों और परिणामों का क्रिप्टोग्राफी और [[क्रिप्ट विश्लेषण]] में व्यापक रूप से उपयोग किया जाता है। एक ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।
+सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम (कोड और सिफर दोनों) हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है। ऐतिहासिक अनुप्रयोग के लिए लेख प्रतिबंध (इकाई) देखें।
-== ऐतिहासिक पृष्ठभूमि ==
+== ऐतिहासिक सूचना ==
-{{Main|History of information theory}}
+{{Main|सूचना सिद्धांत का इतिहास}}
-जुलाई और अक्टूबर 1948 में [[बेल सिस्टम तकनीकी जर्नल]] में क्लॉड ई. शैनन के क्लासिक पेपर ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन का प्रकाशन सूचना सिद्धांत के अनुशासन की स्थापना और इसे तत्काल दुनिया भर में ध्यान में लाने वाली ऐतिहासिक घटना थी।
-इस पत्र से पहले, [[बेल लैब्स]] में सीमित सूचना-सैद्धांतिक विचारों को विकसित किया गया था, सभी समान संभावना की घटनाओं को मानते हुए। हैरी न्यक्विस्ट का 1924 का पेपर, टेलीग्राफ गति को प्रभावित करने वाले कुछ कारक, एक सैद्धांतिक खंड शामिल है जो खुफिया जानकारी और लाइन की गति को बताता है जिस पर इसे संचार प्रणाली द्वारा प्रेषित किया जा सकता है, संबंध देते हुए {{math|1=''W'' = ''K'' log ''m''}} (बोल्ट्ज़मैन स्थिरांक को याद करते हुए), जहां W बुद्धि के संचरण की गति है, m प्रत्येक चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है, और K एक स्थिरांक है। राल्फ हार्टले का 1928 का पेपर, सूचना का प्रसारण, शब्द सूचना का उपयोग एक मापने योग्य मात्रा के रूप में करता है, जो रिसीवर की क्षमता को किसी अन्य से प्रतीकों के एक क्रम को अलग करने की क्षमता को दर्शाता है, इस प्रकार जानकारी को परिमाणित करता है {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}, जहां S संभव प्रतीकों की संख्या थी, और n संचरण में प्रतीकों की संख्या थी। सूचना की इकाई इसलिए [[दशमलव अंक]] थी, जिसे कभी-कभी एक इकाई या पैमाने या सूचना के माप के रूप में उनके सम्मान में [[हार्टले (इकाई)]] कहा जाता है। 1940 में [[एलन ट्यूरिंग]] ने जर्मन द्वितीय विश्व युद्ध के टूटने के सांख्यिकीय विश्लेषण के भाग के रूप में एनिग्मा सिफर के क्रिप्टैनालिसिस के समान विचारों का उपयोग किया।
+सूचना सिद्धांत के अनुशासन को स्थापित करने और इसे तुरंत दुनिया भर के ध्यान में लाने वाली ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में [[बेल सिस्टम तकनीकी जर्नल]] में क्लाउड ईशैनन के क्लासिक पेपर "ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन" का प्रकाशन था। उन्हें "सूचना सिद्धांत के जनक" नाम से जाना जाने लगा।
-[[लुडविग बोल्ट्जमैन]] और जे. विलार्ड गिब्स द्वारा ऊष्मप्रवैगिकी के क्षेत्र के लिए विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर द्वारा महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रापी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एंट्रॉपी में खोजे गए हैं।
+इस पेपर से पहले [[बेल लैब्स]] में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए। हैरी नाइक्विस्ट के 1924 के पेपर, टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ कारक, में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक खंड सम्मिलित है, जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है, संबंध {{math|1=''W'' = ''K'' log ''m''}} (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है। , जहां W बुद्धि के संचरण की गति है, m प्रत्येक समय चरण में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है।
-शैनन के क्रांतिकारी और ग्राउंडब्रेकिंग पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को एक सांख्यिकीय प्रक्रिया के रूप में अंतर्निहित सूचना सिद्धांत के रूप में पेश किया, जो कि दावे के साथ शुरू हुआ:
+राल्फ हार्टले का 1928 का पेपर, ट्रांसमिशन ऑफ इंफॉर्मेशन, शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है, इस प्रकार जानकारी को {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}} के रूप में मात्राबद्ध करता है, जहां एस संख्या थी संभावित प्रतीकों की संख्या, और ट्रांसमिशन में प्रतीकों की संख्या। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में [[एलन ट्यूरिंग]] ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को तोड़ने के सांख्यिकीय विश्लेषण के हिस्से के रूप में इसी तरह के विचारों का इस्तेमाल किया।
-: संचार की मूलभूत समस्या एक बिंदु पर पुनरुत्पादन की है, या तो बिल्कुल या लगभग, एक संदेश दूसरे बिंदु पर चुना गया है।
+विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित [[लुडविग बोल्ट्जमैन]] और जे. विलार्ड गिब्स द्वारा थर्मोडायनामिक्स के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और थर्मोडायनामिक एन्ट्रॉपी के बीच संबंध, थर्मोडायनामिक्स और सूचना सिद्धांत में एन्ट्रॉपी में खोजे गए हैं।
+शैनन के क्रांतिकारी और अभूतपूर्व पेपर में, जिसके लिए काम 1944 के अंत तक बेल लैब्स में काफी हद तक पूरा हो चुका था, शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में पेश किया, जो इस दावे के साथ शुरू हुआ:
+: "संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर सटीक या अनुमानित रूप से पुन: प्रस्तुत करना है।"
 इसके साथ के विचार आए
@@ Line 35: / Line 38: @@
 == जानकारी की मात्रा ==
-{{Main|Quantities of information}}
+{{Main|सूचना की मात्रा}}
-सूचना सिद्धांत संभाव्यता सिद्धांत और सांख्यिकी पर आधारित है, जहां सूचना की मात्रा को आमतौर पर बिट्स के रूप में वर्णित किया जाता है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के उपायों से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एंट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एक एकल यादृच्छिक चर में सूचना के मापन की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित आपसी जानकारी है, जो उन चरों के बीच आम सूचना के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को मज़बूती से संकुचित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर संचार चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल के आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।
+सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक जानकारी सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत अक्सर यादृच्छिक चर से जुड़े वितरण की जानकारी के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक चर में जानकारी के माप की मात्रा निर्धारित करने की अनुमति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक चरों पर परिभाषित पारस्परिक जानकारी है, जो उन चरों के बीच सामान्य जानकारी के माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक चर के संभाव्यता वितरण की एक संपत्ति है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नमूनों द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है। उत्तरार्द्ध दो यादृच्छिक चर के संयुक्त वितरण की एक संपत्ति है, और लंबी ब्लॉक लंबाई की सीमा में एक शोर चैनल में विश्वसनीय संचार की अधिकतम दर है, जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं।
-निम्नलिखित सूत्रों में लघुगणकीय आधार का चुनाव उपयोग की जाने वाली सूचना एन्ट्रॉपी के मापन की इकाइयों को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लघुगणक पर आधारित है। अन्य इकाइयों में नेट (इकाई) शामिल है, जो [[प्राकृतिक]] लघुगणक पर आधारित है, और [[उन्होंने कहा]], जो [[सामान्य लघुगणक]] पर आधारित है।
+निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है, और दशमलव अंक, जो [[सामान्य लघुगणक]] पर आधारित है।
-निम्नलिखित में, रूप की अभिव्यक्ति {{math|''p'' log ''p''}} सम्मेलन द्वारा जब भी शून्य के बराबर माना जाता है {{math|1=''p'' = 0}}. यह उचित है क्योंकि <math>\lim_{p \rightarrow 0+} p \log p = 0</math> किसी भी लघुगणकीय आधार के लिए।
+निम्नलिखित में {{math|''p'' log ''p''}} की अभिव्यक्ति को सम्मेलन द्वारा शून्य के बराबर माना जाता है जब भी {{math|1=''p'' = 0}} यह उचित है क्योंकि किसी भी लॉगरिदमिक आधार के लिए <math>\lim_{p \rightarrow 0+} p \log p = 0</math> है।
 === सूचना स्रोत की एन्ट्रॉपी ===
-संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक के संभाव्यता द्रव्यमान समारोह के आधार पर, शैनन [[एंट्रॉपी (सूचना सिद्धांत)]] {{math|''H''}}, बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दिया गया है
+संप्रेषित किए जाने वाले प्रत्येक स्रोत प्रतीक की संभाव्यता द्रव्यमान फ़ंक्शन के आधार पर [[एंट्रॉपी (सूचना सिद्धांत)]] {{math|''H''}}, बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दी गई है
 :<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
-कहाँ पे {{math|''p<sub>i</sub>''}} होने की संभावना है {{math|''i''}}स्रोत प्रतीक का -वाँ संभावित मान। यह समीकरण बिट्स (प्रति प्रतीक) की इकाइयों में एंट्रॉपी देता है क्योंकि यह आधार 2 के लॉगरिदम का उपयोग करता है, और एंट्रॉपी के इस बेस -2 माप को कभी-कभी उनके सम्मान में शैनन (यूनिट) कहा जाता है। एंट्रॉपी की गणना आमतौर पर प्राकृतिक लघुगणक (बेस {{mvar|[[E (mathematical constant)|e]]}}, कहाँ पे {{mvar|e}} यूलर की संख्या है), जो प्रति प्रतीक नेट्स में एंट्रॉपी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक शामिल करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन आमतौर पर कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार का एक लघुगणक {{nowrap|1=2<sup>8</sup> = 256}} [[बाइट]] प्रति प्रतीक में एक माप उत्पन्न करेगा, और आधार 10 का एक लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टले (इकाई)) में माप का उत्पादन करेगा।
+जहां {{math|''p<sub>i</sub>''}} स्रोत प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है, और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार {{mvar|[[E (mathematical constant)|e]]}}, जहां {{mvar|e}} यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार {{nowrap|1=2<sup>8</sup> = 256}} का लघुगणक प्रति प्रतीक बाइट्स में माप उत्पन्न करेगा, और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।
-सहज रूप से, एन्ट्रापी {{math|''H<sub>X</sub>''}} असतत यादृच्छिक चर का {{math|''X''}} के मूल्य से जुड़ी अनिश्चितता की मात्रा का एक उपाय है {{math|''X''}} जब केवल इसका वितरण ज्ञात हो।
+सहज रूप से, एक असतत यादृच्छिक चर {{math|''X''}} की एन्ट्रापी {{math|''H<sub>X</sub>''}}, {{math|''X''}} के मान से जुड़ी अनिश्चितता की मात्रा का एक माप है, जब केवल इसका वितरण ज्ञात होता है।
-एक स्रोत की एन्ट्रापी जो अनुक्रम का उत्सर्जन करती है {{math|''N''}} प्रतीक जो [[स्वतंत्र और समान रूप से वितरित]] (आईआईडी) हैं {{math|''N'' ⋅ ''H''}} बिट्स (के प्रति संदेश {{math|''N''}} प्रतीक)। यदि स्रोत डेटा प्रतीक समान रूप से वितरित किए जाते हैं लेकिन स्वतंत्र नहीं होते हैं, तो लंबाई के संदेश की एंट्रॉपी {{math|''N''}} से कम होगा {{math|''N'' ⋅ ''H''}}.
+एक स्रोत की एन्ट्रापी जो [[स्वतंत्र और समान रूप से वितरित]] (आईआईडी) एन प्रतीकों के अनुक्रम का उत्सर्जन करती है वह {{math|''N'' ⋅ ''H''}} बिट्स ({{math|''N''}} प्रतीकों के प्रति संदेश) है। यदि स्रोत डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई {{math|''N''}}{{math|''N''}} के संदेश की एन्ट्रापी {{math|''N'' ⋅ ''H''}} से कम होगी।
-[[File:Binary entropy plot.svg|thumbनेल | राइट | 200 पीएक्स सफलता की संभावना के एक समारोह के रूप में, जिसे अक्सर कहा जाता है {{em|[[binary entropy function]]}}, {{math|''H''<sub>b</sub>(''p'')}}. एन्ट्रापी को 1 बिट प्रति परीक्षण पर अधिकतम किया जाता है जब दो संभावित परिणाम समान रूप से संभावित होते हैं, जैसा कि एक निष्पक्ष सिक्का टॉस में होता है।]]यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है, और इन बिट्स में से प्रत्येक का मूल्य रिसीवर को पता है (निश्चितता के साथ एक विशिष्ट मूल्य है) तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। यदि, हालांकि, प्रत्येक बिट स्वतंत्र रूप से समान रूप से 0 या 1 होने की संभावना है, सूचना के 1000 शैनन (अधिक बार बिट्स कहलाते हैं) प्रेषित किए गए हैं। इन दो चरम सीमाओं के बीच, सूचना को निम्नानुसार परिमाणित किया जा सकता है। यदि <math>\mathbb{X}</math> सभी संदेशों का सेट है {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}} वह {{math|''X''}} हो सकता है, और {{math|''p''(''x'')}} कुछ की संभावना है <math>x \in \mathbb X</math>, फिर एन्ट्रापी, {{math|''H''}}, का {{math|''X''}} परिभषित किया:<ref name = Reza>{{cite book | title = सूचना सिद्धांत का एक परिचय| author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8}}</ref>
+[[File:Binary entropy plot.svg|thumbनेल | राइट | 200 पीएक्स सफलता की संभावना के एक समारोह के रूप में, जिसे अक्सर कहा जाता है {{em|[[binary entropy function]]}}, {{math|''H''<sub>b</sub>(''p'')}}. एन्ट्रापी को 1 बिट प्रति परीक्षण पर अधिकतम किया जाता है जब दो संभावित परिणाम समान रूप से संभावित होते हैं, जैसा कि एक निष्पक्ष सिक्का टॉस में होता है।]]
+यदि कोई 1000 बिट्स (0एस और 1एस) प्रसारित करता है, और इनमें से प्रत्येक बिट का मूल्य ट्रांसमिशन से पहले रिसीवर को ज्ञात है (निश्चितता के साथ एक विशिष्ट मूल्य है), तो यह स्पष्ट है कि कोई जानकारी प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन जानकारी (जिसे अक्सर बिट्स कहा जाता है) प्रसारित की गई है। इन दो चरम सीमाओं के बीच, जानकारी को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि <math>\mathbb{X}</math> सभी संदेशों का सेट है {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}} वह {{math|''X''}} हो सकता है, और {{math|''p''(''x'')}} कुछ की संभावना है <math>x \in \mathbb X</math>, फिर एन्ट्रापी, {{math|''H''}}, का {{math|''X''}} परिभषित किया:<ref name="Reza">{{cite book | title = सूचना सिद्धांत का एक परिचय| author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8}}</ref>
 :<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>
-(यहां, {{math|''I''(''x'')}} स्व-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और <math>\mathbb{E}_X</math> [[अपेक्षित मूल्य]] है।) एंट्रॉपी की एक संपत्ति यह है कि यह अधिकतम हो जाता है जब संदेश स्थान में सभी संदेश परिवर्तनीय होते हैं {{math|1=''p''(''x'') = 1/''n''}}; यानी, सबसे अप्रत्याशित, किस मामले में {{math|1=''H''(''X'') = log ''n''}}.
+(यहां, {{math|''I''(''x'')}} स्वयं-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और <math>\mathbb{E}_X</math> [[अपेक्षित मूल्य]] है।) एन्ट्रापी की एक संपत्ति यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्य {{math|1=''p''(''x'') = 1/''n''}} हैं यानी सबसे अप्रत्याशित स्थिति में {{math|1=''H''(''X'') = log ''n''}}
-दो परिणामों के साथ एक यादृच्छिक चर के लिए सूचना एन्ट्रापी का विशेष मामला बाइनरी एन्ट्रापी फ़ंक्शन है, जिसे आमतौर पर लघुगणकीय आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (Sh) को इकाई के रूप में रखा जाता है:
+दो परिणामों वाले यादृच्छिक चर के लिए सूचना एन्ट्रॉपी का विशेष मामला बाइनरी एन्ट्रॉपी फ़ंक्शन है, जिसे सामान्यतः लॉगरिदमिक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:
 :<math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).</math>
+=== संयुक्त एन्ट्रापी ===
+दो असतत यादृच्छिक चर {{math|''X''}} और {{math|''Y''}} की संयुक्त एन्ट्रापी केवल उनकी जोड़ी {{math|(''X'', ''Y'')}} की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि {{math|''X''}} और {{math|''Y''}} स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है।
-=== संयुक्त एन्ट्रॉपी === {{em|[[joint entropy]]}} }} दो असतत यादृच्छिक चर के {{math|''X''}} तथा {{math|''Y''}} उनकी जोड़ी की एन्ट्रॉपी मात्र है: {{math|(''X'', ''Y'')}}. इसका तात्पर्य यह है कि यदि {{math|''X''}} तथा {{math|''Y''}} सांख्यिकीय स्वतंत्रता हैं, तो उनकी संयुक्त एन्ट्रॉपी उनकी अलग-अलग एन्ट्रापी का योग है।
+उदाहरण के लिए, यदि (X, Y) शतरंज के मोहरे की स्थिति को दर्शाता है
-उदाहरण के लिए, यदि {{math|(''X'', ''Y'')}} शतरंज के मोहरे की स्थिति का प्रतिनिधित्व करता है—{{math|''X''}} पंक्ति और {{math|''Y''}} स्तंभ, तो टुकड़े की पंक्ति और टुकड़े के स्तंभ की संयुक्त एन्ट्रापी टुकड़े की स्थिति की एन्ट्रापी होगी।
 :<math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math>
-समान अंकन के बावजूद, संयुक्त एंट्रॉपी को भ्रमित नहीं किया जाना चाहिए {{em|[[cross entropy]]}}.
+समान संकेतन के बावजूद, संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जाना चाहिए।
-===सशर्त एंट्रोपी (संतुलन)=== {{em|[[conditional entropy]]}} }} या की सशर्त अनिश्चितता {{math|''X''}} यादृच्छिक चर दिया {{math|''Y''}} (जिसे इक्विवोकेशन भी कहा जाता है {{math|''X''}} के बारे में {{math|''Y''}}) औसत सशर्त एंट्रॉपी ओवर है {{math|''Y''}}:<ref name=Ash>{{cite book | title = सूचना सिद्धांत| author = Robert B. Ash | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16}}</ref>
+=== सशर्त एन्ट्रापी (समीकरण) ===
+यादृच्छिक चर Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y के बारे में X का समीकरण भी कहा जाता है) {{math|''Y''}} पर औसत सशर्त एन्ट्रॉपी है:<ref name="Ash">{{cite book | title = सूचना सिद्धांत| author = Robert B. Ash | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16}}</ref>
 :<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math>
-क्योंकि एन्ट्रापी को एक यादृच्छिक चर पर वातानुकूलित किया जा सकता है या उस यादृच्छिक चर पर एक निश्चित मान होने पर, सशर्त एन्ट्रॉपी की इन दो परिभाषाओं को भ्रमित न करने के लिए देखभाल की जानी चाहिए, जिनमें से पूर्व अधिक सामान्य उपयोग में है। सशर्त एन्ट्रॉपी के इस रूप की एक मूल संपत्ति यह है कि:
+चूँकि एन्ट्रापी को एक यादृच्छिक चर पर या उस यादृच्छिक चर पर एक निश्चित मूल्य पर वातानुकूलित किया जा सकता है, इसलिए इस बात का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल संपत्ति यह है:
 : <math> H(X|Y) = H(X,Y) - H(Y) .\,</math>
 ===पारस्परिक जानकारी (रूपांतरण)===
-पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। संचार में यह महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। की आपसी जानकारी {{math|''X''}} के सापेक्ष {{math|''Y''}} द्वारा दिया गया है:
+पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक चर के बारे में दूसरे को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। {{math|''Y''}} के सापेक्ष {{math|''X''}} की पारस्परिक जानकारी इस प्रकार दी गई है:
 :<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
@@ Line 82: / Line 87: @@
 आपसी जानकारी की एक मूल संपत्ति यह है
 : <math>I(X;Y) = H(X) - H(X|Y).\,</math>
-यानी Y को जानकर हम औसतन 200 रुपये की बचत कर सकते हैं {{math|''I''(''X''; ''Y'')}} वाई को नहीं जानने की तुलना में एन्कोडिंग एक्स में बिट्स।
+अर्थात्, Y को जानने से, हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन {{math|''I''(''X''; ''Y'')}} बिट्स बचा सकते हैं।
 पारस्परिक जानकारी सममित कार्य है:
 : <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>
-म्युचुअल जानकारी को औसत कुल्बैक-लीब्लर डाइवर्जेंस (सूचना लाभ) के रूप में व्यक्त किया जा सकता है, जो कि एक्स की पूर्ववर्ती संभावना के बीच वाई के मान और एक्स पर पूर्व संभावना के बीच है:
+पारस्परिक जानकारी को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:
 : <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>
-दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाता है, तो औसतन X पर प्रायिकता वितरण कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त के विचलन के रूप में पुनर्गणना किया जाता है। वितरण:
+दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त तक विचलन के रूप में पुनर्गणना किया जाता है।
 : <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>
-पारस्परिक जानकारी [[संभावना-अनुपात परीक्षण]] से निकटता से संबंधित है। आकस्मिक तालिकाओं और बहुराष्ट्रीय वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण और पियर्सन के ची-स्क्वेर्ड टेस्ट से निकटता से संबंधित है। पियर्सन का χ<sup>2</sup> परीक्षण: पारस्परिक जानकारी को चरों की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है, और एक अच्छी तरह से निर्दिष्ट स्पर्शोन्मुख वितरण है।
+आपसी जानकारी आकस्मिक तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण से निकटता से संबंधित है और पियर्सन के χ<sup>2</sup> परीक्षण के लिए आपसी जानकारी को चर की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है और इसमें एक अच्छी तरह से निर्दिष्ट एसिम्प्टोटिक वितरण होता है।
 ===कुलबैक-लीब्लर विचलन (सूचना लाभ)===
-कुल्बैक-लीब्लर डाइवर्जेंस (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रापी) दो वितरणों की तुलना करने का एक तरीका है: एक वास्तविक संभाव्यता वितरण {{tmath|p(X)}}, और एक मनमाना संभाव्यता वितरण {{tmath|q(X)}}. अगर हम डेटा को इस तरीके से कंप्रेस करते हैं जो मान लेता है {{tmath|q(X)}} कुछ डेटा के अंतर्गत वितरण है, जब, वास्तव में, {{tmath|p(X)}} सही वितरण है, कुल्बैक-लीब्लर विचलन संपीड़न के लिए आवश्यक औसत अतिरिक्त बिट्स प्रति डेटा की संख्या है। इस प्रकार परिभाषित किया गया है
+कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रॉपी) दो वितरणों एक "सही" संभाव्यता वितरण {{tmath|p(X)}} और एक मनमाना संभाव्यता वितरण {{tmath|q(X)}} की तुलना करने का एक तरीका है। अगर यदि हम डेटा को इस तरह से संपीड़ित करते हैं कि मान लेते हैं कि {{tmath|q(X)}} कुछ डेटा में अंतर्निहित वितरण है, जब, वास्तव में {{tmath|p(X)}} सही वितरण है, तो कुल्बैक-लीबलर विचलन प्रति डेटाम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है संपीड़न. इसे इस प्रकार परिभाषित किया गया है:
 :<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
-यद्यपि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में प्रयोग किया जाता है, केएल विचलन एक वास्तविक [[मीट्रिक (गणित)]] नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-कैसिमेट्रिक बनाकर)।
+हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-क्वासिमेट्रिक बनाता है)।
-केएल डाइवर्जेंस की एक और व्याख्या सत्य से पहले पेश किया गया अनावश्यक आश्चर्य है: मान लीजिए कि एक संख्या X संभाव्यता वितरण के साथ असतत सेट से यादृच्छिक रूप से तैयार होने वाली है। {{tmath|p(x)}}. अगर ऐलिस सही वितरण जानता है {{tmath|p(x)}}, जबकि बॉब का मानना है (इसकी पूर्व संभावना है) कि वितरण है {{tmath|q(x)}}, तब बॉब ऐलिस की तुलना में अधिक सूचनात्मक सामग्री होगी, एक्स के मूल्य को देखने पर। केएल विचलन बॉब के (व्यक्तिपरक) सरप्रिसल माइनस ऐलिस के आश्चर्य का (उद्देश्य) अपेक्षित मूल्य है, यदि लॉग बेस में है तो बिट्स में मापा जाता है। 2. इस तरह, बॉब का पूर्व कितना गलत है, यह इस बात से निर्धारित किया जा सकता है कि इससे उसे कितना अनावश्यक रूप से आश्चर्य हुआ।
+केएल विचलन की एक अन्य व्याख्या सत्य से पूर्व द्वारा पेश किया गया "अनावश्यक आश्चर्य" है, मान लीजिए कि एक संख्या एक्स संभाव्यता वितरण {{tmath|p(x)}} के साथ एक अलग सेट से यादृच्छिक रूप से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितरण {{tmath|p(x)}} पता है, जबकि बॉब का मानना है (पहले से है) कि वितरण {{tmath|q(x)}} है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्चर्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्चर्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्चर्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्चर्यचकित" होने की उम्मीद है।
 === [[निर्देशित जानकारी]] ===
-निर्देशित जानकारी, <math>I(X^n\to Y^n) </math>, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है  <math>X^n = \{X_1,X_2,\dots,X_n\}</math> यादृच्छिक प्रक्रिया के लिए <math>Y^n = \{Y_1,Y_2,\dots,Y_n\}</math>. निर्देशित सूचना शब्द [[जेम्स मैसी]] द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है
+निर्देशित जानकारी, <math>I(X^n\to Y^n) </math>, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है <math>X^n = \{X_1,X_2,\dots,X_n\}</math> यादृच्छिक प्रक्रिया के लिए <math>Y^n = \{Y_1,Y_2,\dots,Y_n\}</math>. निर्देशित सूचना शब्द [[जेम्स मैसी]] द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है
 :<math>I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math>,
-कहाँ पे <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी]] है <math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>.
+कहाँ पे <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी]] है
+<math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>.
 पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। <math>I(X^n\to Y^n) </math> h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं <math>X^n</math> प्रति <math>Y^n</math>. निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,<ref>{{cite journal|last1=Massey|first1=James|title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990|issue=ISITA|citeseerx=10.1.1.36.5688}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> प्रतिक्रिया के साथ असतत [[स्मृतिहीन]] नेटवर्क की क्षमता,<ref>{{cite journal|last1=Kramer|first1=G.|title=असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1|pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> कारण पक्ष की जानकारी के साथ [[जुआ]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim|first2=Young-Han|last3=Weissman|first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6|pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872|s2cid=11722596}}</ref> कारण पक्ष की जानकारी के साथ डेटा संपीड़न,<ref>{{cite journal|last1=Simeone|first1=Osvaldo|last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013|volume=59|issue=6|pages=3607–3618|doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref>
 और रीयल-टाइम नियंत्रण संचार सेटिंग में,<ref>{{cite journal|last1=Charalambous|first1=Charalambos D.|last2=Stavrou|first2=Photios A.|title=सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ|journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052|doi=10.1109/TIT.2016.2604846|arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण|journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618|s2cid=1401958 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a |arxiv=1510.04214 }}</ref> सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |pages=043403 |doi=10.1088/1742-5468/2016/04/043403|arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237 }}</ref>
 ===अन्य मात्राएं===
-अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एंट्रोपी (एन्ट्रॉपी का एक सामान्यीकरण), [[अंतर एन्ट्रापी]] (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण) और सशर्त पारस्परिक जानकारी शामिल हैं।
+अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए जानकारी की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक जानकारी सम्मिलित है। साथ ही, निर्णय लेने में कितनी जानकारी का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक जानकारी का प्रस्ताव किया गया है।
 == कोडिंग सिद्धांत ==
-{{Main|Coding theory}}
+{{Main|कोडिंग सिद्धांत}}
-[[File:CDSCRATCHES.jpg|thumb|right|सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।]]कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए एक सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो कि स्रोत की सूचना एन्ट्रापी है।
+[[File:CDSCRATCHES.jpg|thumb|right|सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।]]कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे स्रोत कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो स्रोत की सूचना एन्ट्रापी है।
 * डेटा संपीड़न (स्रोत कोडिंग): संपीड़न समस्या के लिए दो फॉर्मूलेशन हैं:
@@ Line 121: / Line 127: @@
 * त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा संपीड़न जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक शोर चैनल में प्रसारित करने के लिए आवश्यक है। .
-संपीड़न और संचरण में कोडिंग सिद्धांत का यह विभाजन सूचना प्रसारण प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो बिट्स के उपयोग को कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में उचित ठहराते हैं। हालांकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहां एक प्रेषक उपयोगकर्ता एक प्राप्त करने वाले उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर ([[प्रसारण चैनल]]) या इंटरमीडियरी हेल्पर्स (रिले चैनल), या अधिक सामान्य [[कंप्यूटर नेटवर्क]] वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न इष्टतम नहीं हो सकता है।
+संपीड़न और ट्रांसमिशन में कोडिंग सिद्धांत का यह विभाजन सूचना ट्रांसमिशन प्रमेय, या स्रोत-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में जानकारी के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में लागू होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, ट्रांसमिशन के बाद संपीड़न अब इष्टतम नहीं हो सकता है।
 === स्रोत सिद्धांत ===
-कोई भी प्रक्रिया जो लगातार संदेश उत्पन्न करती है, उसे माना जा सकता है {{em|[[Communication source|source]]}} जानकारी की। एक स्मृतिहीन स्रोत वह है जिसमें प्रत्येक संदेश एक [[स्वतंत्र समान रूप से वितरित यादृच्छिक चर]] है, जबकि [[एर्गोडिक सिद्धांत]] और स्थिर प्रक्रिया के गुण कम प्रतिबंधात्मक बाधाओं को लागू करते हैं। ऐसे सभी स्रोत स्टोकेस्टिक प्रक्रिया हैं। सूचना सिद्धांत के बाहर इन शर्तों का अपने आप में अच्छी तरह से अध्ययन किया जाता है।
+कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का स्रोत माना जा सकता है। एक स्मृतिहीन स्रोत वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक चर होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी स्रोत स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अच्छी तरह से अध्ययन किया गया है।
 ====दर ====<!-- This section is linked from [[Channel capacity]] -->
-सूचना एन्ट्रापी दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है
+सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन स्रोतों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि, एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है
 :<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);</math>
-वह है, एक प्रतीक की सशर्त एन्ट्रॉपी जो पिछले सभी प्रतीकों को उत्पन्न करती है। एक प्रक्रिया के अधिक सामान्य मामले के लिए जो अनिवार्य रूप से स्थिर नहीं है, औसत दर है
+अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी। किसी प्रक्रिया के अधिक सामान्य मामले के लिए जो आवश्यक रूप से स्थिर नहीं है, औसत दर है
 :<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);</math>
-अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दो व्यंजक समान परिणाम देते हैं।<ref>{{cite book | title = मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक| author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&q=entropy-rate+conditional&pg=PA56 | isbn = 1-55860-369-7 }}</ref>
+अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर स्रोतों के लिए, ये दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।<ref>{{cite book | title = मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक| author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&q=entropy-rate+conditional&pg=PA56 | isbn = 1-55860-369-7 }}</ref>
 सूचना दर के रूप में परिभाषित किया गया है
 :<math>r = \lim_{n \to \infty} \frac{1}{n} I(X_1, X_2, \dots X_n;Y_1,Y_2, \dots Y_n);</math>
-सूचना सिद्धांत में किसी भाषा की दर या एन्ट्रापी के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब सूचना का स्रोत अंग्रेजी गद्य हो। सूचना के स्रोत की दर इसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह से संकुचित किया जा सकता है, इसका विषय {{em|source coding}}.
+सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब जानकारी का स्रोत अंग्रेजी गद्य है। सूचना के स्रोत की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह स्रोत कोडिंग का विषय है।
 === चैनल क्षमता ===
 {{Main|Channel capacity}}
-एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालांकि, चैनल अक्सर सिग्नल के सटीक पुनर्निर्माण का उत्पादन करने में असफल होते हैं; शोर, मौन की अवधि, और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को कम करते हैं।
+एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल अक्सर सिग्नल के शोर का सटीक पुनर्निर्माण करने में विफल होते हैं, मौन की अवधि और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को ख़राब करते हैं।
-असतत चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:
+एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:
 :<math title="Channel model">
 \xrightarrow[\text{Message}]{W}
 \begin{array}{ |c| }\hline \text{Encoder} \\ f_n \\ \hline\end{array} \xrightarrow[\mathrm{Encoded \atop sequence}]{X^n} \begin{array}{ |c| }\hline \text{Channel} \\ p(y|x) \\ \hline\end{array} \xrightarrow[\mathrm{Received \atop sequence}]{Y^n} \begin{array}{ |c| }\hline \text{Decoder} \\ g_n \\ \hline\end{array} \xrightarrow[\mathrm{Estimated \atop message}]{\hat W}</math>
-यहाँ X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। होने देना {{math|''p''(''y''{{pipe}}''x'')}} Y दिए गए X का सशर्त प्रायिकता बंटन फलन है। हम विचार करेंगे {{math|''p''(''y''{{pipe}}''x'')}} हमारे संचार चैनल की अंतर्निहित अचल संपत्ति होना (हमारे चैनल के सिग्नल शोर की प्रकृति का प्रतिनिधित्व करना)। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और हमारी पसंद से निर्धारित होता है {{math|''f''(''x'')}}, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजने के लिए चुनते हैं। इन बाधाओं के तहत, हम सूचना की दर, या सिग्नल (इलेक्ट्रिकल इंजीनियरिंग) को अधिकतम करना चाहते हैं, हम चैनल पर संवाद कर सकते हैं। इसके लिए उपयुक्त उपाय पारस्परिक सूचना है, और इस अधिकतम पारस्परिक सूचना को कहा जाता है {{em|channel capacity}} और इसके द्वारा दिया गया है:
+यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि {{math|''p''(''y''{{pipe}}''x'')}} X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम {{math|''p''(''y''{{pipe}}''x'')}} को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के शोर की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और {{math|''f''(''x'')}} की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक जानकारी है, और इस अधिकतम पारस्परिक जानकारी को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:
 :<math> C = \max_{f} I(X;Y).\! </math>
-इस क्षमता में सूचना दर R पर संचार करने से संबंधित निम्नलिखित संपत्ति है (जहाँ R आमतौर पर बिट्स प्रति प्रतीक है)। किसी भी सूचना दर आर <सी और कोडिंग त्रुटि ε> 0 के लिए, काफी बड़े एन के लिए, लंबाई एन और दर ≥ आर और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R> C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।
+इस क्षमता में सूचना दर आर (जहां आर सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित संपत्ति है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R > C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।
 [[चैनल कोड]] ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक शोर चैनल पर डेटा संचारित करने के लिए किया जा सकता है।
@@ Line 157: / Line 164: @@
 * क्रॉसओवर प्रायिकता p वाला एक [[बाइनरी सममित चैनल]] (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है {{math|1 &minus; ''H''<sub>b</sub>(''p'')}} बिट्स प्रति चैनल उपयोग, जहां {{math|''H''<sub>b</sub>}} बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:
-::[[File:Binary symmetric channel.svg]]* एक [[बाइनरी इरेज़र चैनल]] (BEC) इरेज़र प्रायिकता p के साथ एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान का प्रतिनिधित्व करता है। बीईसी की क्षमता है {{nowrap|1 &minus; ''p''}} बिट्स प्रति चैनल उपयोग।
+::[[File:Binary symmetric channel.svg]]
+::इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।
 ::[[File:Binary erasure channel.svg]]
 ==== स्मृति और निर्देशित जानकारी वाले चैनल ====
-व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर <math> i </math> चैनल सशर्त संभाव्यता द्वारा दिया गया है  <math> P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1). </math>.
+व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर <math> i </math> चैनल सशर्त संभाव्यता द्वारा दिया गया है <math> P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1). </math>.
 अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है <math> x^i=(x_i,x_{i-1},x_{i-2},...,x_1) </math> और चैनल बन गया <math> P(y_i|x^i,y^{i-1}). </math>.
-ऐसे मामले में क्षमता आपसी सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और निर्देशित सूचना दर मामले में प्रतिक्रिया होती है या नहीं<ref>{{cite journal |last1=Massey |first1=James L. |title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990 |citeseerx=10.1.1.36.5688 }}</ref><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref> (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है)।
+ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित जानकारी पारस्परिक जानकारी के बराबर होती है)।<ref>{{cite journal |last1=Massey |first1=James L. |title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990 |citeseerx=10.1.1.36.5688 }}</ref><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref>
 == अन्य क्षेत्रों के लिए आवेदन ==
 === इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग ===
-सूचना सिद्धांत संबंधी अवधारणाएं क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन (यूनिट) का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जर्मन [[पहेली मशीन]] कोड को तोड़कर और यूरोप डे में विजय को तेज किया। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब एकता दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय गूढ़ता सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में [[सिफर]] पाठ देने का प्रयास करता है।
+सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर लागू होती हैं। ट्यूरिंग की सूचना इकाई, बैन, का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जिसने जर्मन [[पहेली मशीन|एनिग्मा मशीन]] कोड को तोड़ दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में तेजी लाई। शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब यूनिसिटी दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है।
-सूचना सिद्धांत हमें यह मानने की ओर ले जाता है कि रहस्य को बनाए रखना पहले प्रकट होने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला सार्वजनिक-कुंजी क्रिप्टोग्राफी या सममित-कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है, जैसे [[ब्लॉक सिफर]]। ऐसे सभी तरीकों की सुरक्षा वर्तमान में इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।
+सूचना सिद्धांत हमें यह विश्वास दिलाता है कि रहस्यों को छिपाकर रखना पहले दिखने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है। ऐसे सभी तरीकों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।
-[[सूचना सैद्धांतिक सुरक्षा]] एक बार के पैड जैसे तरीकों को संदर्भित करती है जो इस तरह के क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट ([[कुंजी (क्रिप्टोग्राफी)]] पर सशर्त) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक छिपकर सुनने वाला सिफरटेक्स्ट का ज्ञान प्राप्त करके प्लेनटेक्स्ट के बारे में अपने अनुमान को सुधारने में सक्षम नहीं होगा, लेकिन कुंजी का नहीं। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए; मुख्य सामग्री के अनुचित पुन: उपयोग के कारण वेनोना परियोजना सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।
+[[सूचना सैद्धांतिक सुरक्षा]] का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संचरण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तचर सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से लागू करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।
 === छद्म आयामी संख्या पीढ़ी ===
-कंप्यूटर भाषा पुस्तकालयों और अनुप्रयोग कार्यक्रमों में छद्म यादृच्छिक संख्या जनरेटर व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें सॉफ्टवेयर के बाहर यादृच्छिक बीजों की आवश्यकता होती है ताकि वे काम कर सकें। इन्हें एक्सट्रैक्टर (गणित) के माध्यम से प्राप्त किया जा सकता है, अगर सावधानी से किया जाए। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप [[न्यूनतम-एन्ट्रॉपी]] है, रेनी एंट्रॉपी के माध्यम से शैनन एंट्रॉपी से संबंधित मूल्य; क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने के लिए रेनी एंट्रॉपी का भी उपयोग किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और इसलिए क्रिप्टोग्राफी उपयोगों के लिए आवश्यक रूप से संतोषजनक नहीं है।
+छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा पुस्तकालयों और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें इरादे के अनुसार काम करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर्स के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मूल्य रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक चर एक एक्सट्रैक्टर में उपयोग के लिए और क्रिप्टोग्राफी उपयोग के लिए आवश्यक रूप से संतोषजनक नहीं है।
 === भूकंपीय अन्वेषण ===
-सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम ने अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना और अलग करना संभव बना दिया। सूचना सिद्धांत और [[अंकीय संकेत प्रक्रिया]] पिछले एनालॉग तरीकों की तुलना में संकल्प और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=निगम और नवाचार| year=1981 | journal=Strategic Management Journal | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref>
+सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल अन्वेषण के क्षेत्र में था। इस क्षेत्र में काम करने से अवांछित शोर को वांछित भूकंपीय संकेत से अलग करना संभव हो गया। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग तरीकों की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=निगम और नवाचार| year=1981 | journal=Strategic Management Journal | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref>
 === लाक्षणिकता ===
-लाक्षणिकता :nl:डोएड नौटा और विन्फ्रेड नोथ दोनों ने [[चार्ल्स सैंडर्स पियर्स]] को लाक्षणिकता पर अपने कार्यों में सूचना के सिद्धांत का निर्माण करने के रूप में माना।<ref name="Nauta 1972">{{cite book |last1=Nauta |first1=Doede |title=सूचना का अर्थ|date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref>{{rp|171}}<ref name="Nöth 2012">{{cite journal |last1=Nöth |first1=Winfried |title=चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत|journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</रेफरी>{{rp|137}} नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972"/>{{rp|91}}
+सांकेतिकतावादी डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना। नौटा ने लाक्षणिक सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972">{{cite book |last1=Nauta |first1=Doede |title=सूचना का अर्थ|date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref>{{rp|171}}<ref name="Nöth 2012">{{cite journal |last1=Nöth |first1=Winfried |title=चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत|journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</रेफरी>{{rp|137}} नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972"/>{{rp|91}}
 अतिरेक और कोड नियंत्रण जैसे सूचना सिद्धांत की अवधारणाओं का उपयोग अम्बर्टो इको और :it:Ferruccio Rossi-Landi|Ferruccio Rossi-Landi जैसे लाक्षणिकों द्वारा विचारधारा को संदेश संचरण के एक रूप के रूप में समझाने के लिए किया गया है जिससे एक प्रमुख सामाजिक वर्ग अपने संदेश का उत्सर्जन करता है उन संकेतों का उपयोग करना जो उच्च स्तर की अतिरेक प्रदर्शित करते हैं जैसे कि प्रतिस्पर्धी लोगों के चयन के बीच केवल एक संदेश को डिकोड किया जाता है।<ref>Nöth, Winfried (1981). "[https://kobra.uni-kassel.de/bitstream/handle/123456789/2014122246977/semi_2004_002.pdf?sequence=1&isAllowed=y Semiotics of ideology]". ''Semiotica'', Issue 148.</ref>
 === तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन ===
-[[संज्ञानात्मक तंत्रिका विज्ञान]] में [[बाध्यकारी समस्या]] के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सिद्धांत विधियों को लागू किया गया है।<ref>Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526</ref> इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे {{em|functional clusters}} ([[गेराल्ड एडेलमैन]] और [[गिउलिओ टोनोनी]] के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)<ref>Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.</ref>) या {{em|effective information}} (टोनोनी की चेतना का [[एकीकृत सूचना सिद्धांत]] (आईआईटी)।<ref>Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.</ref><ref>Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.</ref><ref>Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.</ref>), परिभाषित किया गया है (एक पुनः प्रवेशी प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय विधियों के आधार पर मुक्त ऊर्जा को कम करने का उपाय (कार्ल जे। फ्रिस्टन का [[मुक्त ऊर्जा सिद्धांत]]) (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन मुक्त ऊर्जा को कम करता है, और [[बायेसियन मस्तिष्क]] परिकल्पना<ref>Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.</ref><ref>Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.</ref><ref>Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.</ref><ref>Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.</ref><ref>Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.</ref>).
+संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका जानकारी के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को लागू किया गया है।<ref>Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526</ref> इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर ([[गेराल्ड एडेलमैन]] और [[गिउलिओ टोनोनी]] के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)<ref>Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.</ref>) या प्रभावी जानकारी (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।<ref>Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.</ref><ref>Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.</ref><ref>Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.</ref>), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और [[बायेसियन मस्तिष्क]] परिकल्पना<ref>Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.</ref><ref>Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.</ref><ref>Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.</ref><ref>Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.</ref><ref>Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.</ref>)।
 === विविध अनुप्रयोग ===
-सूचना सिद्धांत में [[जुआ और सूचना सिद्धांत]], [[ब्लैक होल सूचना विरोधाभास]] और जैव सूचना विज्ञान में भी अनुप्रयोग हैं।
+सूचना सिद्धांत का जुआ ब्लैक होल और जैव सूचना विज्ञान में भी अनुप्रयोग है।
 == यह भी देखें ==
@@ Line 208: / Line 213: @@
 * सूचना का दर्शन
 {{colend}}
 === अनुप्रयोग ===
 {{cols}}
@@ Line 221: / Line 224: @@
 * प्रतिबिंब भूकंप विज्ञान
 {{colend}}
 === इतिहास ===
 * राल्फ हार्टले|हार्टले, आर.वी.एल.
 * [[सूचना सिद्धांत का इतिहास]]
-* क्लॉड एलवुड शैनन | शैनन, सी.ई.
+* क्लॉड एलवुड शैनन
 * सूचना सिद्धांत की समयरेखा
-* ह्यूबर्ट हॉकी | हॉकी, एच.पी.
+* एच.पी. ह्यूबर्ट हॉकी
 === सिद्धांत ===
@@ Line 249: / Line 250: @@
 * स्रोत कोडिंग
 {{div col end}}
 === अवधारणाओं ===
 {{div col|colwidth=16em}}
@@ Line 277: / Line 276: @@
 * [[हैमिंग दूरी]]
 {{div col end}}
 ==संदर्भ==
 {{Reflist}}

Anonymous

Search