सूचना सिद्धांत: Difference between revisions

Revision as of 10:06, 7 December 2023

सूचना सिद्धांत सूचना के परिमाणीकरण कंप्यूटर डेटा और संचार का गणितीय अध्ययन है।^[1] इस सूचना सिद्धांत को मूल रूप से हैरी निक्विस्ट और राल्फ हार्टले ने 1920 के दशक में और क्लाउड शैनन ने 940 के दशक में स्थापित किया गया था।^[2]^: vii इस सूचना सिद्धांत को संभाव्यता सिद्धांत, सांख्यिकी, कंप्यूटर विज्ञान, सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और विद्युत इंजीनियरिंग मे भी उपयोग किया जाता है।

सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक वेरिएबल के मान या यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।^[1] उदाहरण के लिए एक सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम सूचना (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक सूचना, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में सोर्स कोडिंग, एल्गोरिथम जटिलता सिद्धांत, एल्गोरिथम सूचना सिद्धांत और सूचना-सैद्धांतिक सुरक्षा सम्मिलित हैं।

सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में सोर्स कोडिंग/डेटा कंप्रेशन (उदाहरण के लिए ज़िप फ़ाइलों के लिए), चैनल कोडिंग का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित है। इसका प्रभाव अंतरिक्ष में वोयाजर मिशन की सफलता, कॉम्पैक्ट डिस्क के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। इस सिद्धांत का सांख्यिकीय अनुमान,^[3] क्रिप्टोग्राफी, न्यूरोबायोलॉजी^[4] धारणा^[5] भाषाविज्ञान, आणविक कोड^[6] (जैव सूचना विज्ञान), थर्मल भौतिकी,^[7] आणविक गतिकी^[8] क्वांटम कंप्यूटिंग, ब्लैक होल, सूचना पुनर्प्राप्ति सूचना एकत्र करना, साहित्यिक त्रुटि का पता लगाना, पैटर्न पहचान के विकास और कार्य^[9] सहित अन्य क्षेत्रों में भी अनुप्रयोग किया गया है।^[10]

समीक्षा

सूचना सिद्धांत सूचना के प्रसारण, प्रसंस्करण, निष्कर्षण के उपयोग का अध्ययन करता है। संक्षेप में सूचना को अनिश्चितता का समाधान माना जा सकता है। एक ध्वनि चैनल पर सूचना के संचार की स्थिति में इस अवधारणा को 1948 में क्लाउड शैनन द्वारा संचार के गणितीय सिद्धांत नामक एक पेपर में औपचारिक रूप दिया गया था, जिसमें सूचना को संभावित संदेशों के एक समूह के रूप में माना जाता है इसका मुख्य लक्ष्य इन संदेशों को ध्वनि वाले चैनल पर भेजना और प्राप्तकर्ता को चैनल की ध्वनि के अतिरिक्त त्रुटि की कम संभावना के साथ संदेश को पुनर्निर्मित करना है। शैनन का मुख्य परिणाम ध्वनि-चैनल कोडिंग प्रमेय से प्राप्त हुआ है कि कई चैनल उपयोगों की सीमा में सूचना की दर जो कि मुख्य रूप से प्राप्त करने योग्य है चैनल क्षमता के बराबर है जो केवल चैनल के आंकड़ों पर निर्भर करती है जिस पर संदेश आते हैं और भेजे जाते हैं।^[4]

कोडिंग सिद्धांत का संबंध दक्षता बढ़ाने और ध्वनि वाले चैनलों पर डेटा संचार की त्रुटि दर को चैनल क्षमता के निकट तक कम करने के लिए स्पष्ट प्रकारो को खोजने से है जिन्हें कोड कहा जाता है। इन कोडों को सामान्यतः डेटा कंप्रेशन (सोर्स कोडिंग) और त्रुटि-सुधार (चैनल कोडिंग) तकनीकों में विभाजित किया जा सकता है। बाद की कई स्थितियों मे शैनन के कार्य को सिद्ध करने के प्रकारों को खोजने में कई साल लग गए थे।

सूचना सिद्धांत कोड का एक तीसरा वर्ग क्रिप्टोग्राफ़िक एल्गोरिदम कोड और सिफर हैं। कोडिंग सिद्धांत और सूचना सिद्धांत की अवधारणाओं, विधियों और परिणामों का व्यापक रूप से क्रिप्टोग्राफी और क्रिप्ट विश्लेषण में उपयोग किया जाता है।

ऐतिहासिक सूचना

सूचना सिद्धांत के अनुशासन को स्थापित करने करने के लिए ऐतिहासिक घटना जुलाई और अक्टूबर 1948 में बेल सिस्टम तकनीकी जर्नल में क्लाउड ईशैनन के क्लासिक पेपर "संचार का गणितीय सिद्धांत" मे प्रकाशन था जिससे उन्हें "सूचना सिद्धांत के जनक" नाम से भी जाना जाने लगा था।

इस पेपर से पहले बेल लैब्स में सीमित सूचना-सैद्धांतिक विचार विकसित किए गए थे, सभी समान संभावना वाली घटनाओं को मानते हुए, हैरी नाइक्विस्ट के 1924 के पेपर, टेलीग्राफ स्पीड को प्रभावित करने वाले कुछ इवेंट में "बुद्धिमत्ता" और "लाइन स्पीड" को मापने वाला एक सैद्धांतिक भाग सम्मिलित है जिस पर इसे संचार प्रणाली द्वारा प्रसारित किया जा सकता है। संबंध $W = K log m$ (बोल्ट्ज़मान स्थिरांक को याद करते हुए) दिया गया है जहां W बुद्धि के संवेरिएबलण की गति है, m प्रत्येक समय फेज़ में चुनने के लिए विभिन्न वोल्टेज स्तरों की संख्या है और K एक स्थिरांक है।

राल्फ हार्टले का 1928 का पेपर 'सूचना प्रसारण' शब्द सूचना को मापने योग्य मात्रा के रूप में उपयोग करता है, जो प्रतीकों के एक अनुक्रम को किसी अन्य से अलग करने की रिसीवर की क्षमता को दर्शाता है इस प्रकार सूचना को $H = log S n = n log S$ के रूप में क्रमबद्ध करता है, जहां S भावित प्रतीकों की संख्या और संचार में प्रतीकों की संख्या थी। इसलिए सूचना की इकाई दशमलव अंक थी, जिसे कभी-कभी सूचना की इकाई या पैमाने या माप के रूप में उनके सम्मान में हार्टले कहा जाता है। 1940 में एलन ट्यूरिंग ने जर्मन द्वितीय विश्व युद्ध के एनिग्मा सिफर को विभाजित करने के सांख्यिकीय विश्लेषण के भाग के रूप में इसी प्रकार के विचारों का उपयोग किया था।

विभिन्न संभावनाओं की घटनाओं के साथ सूचना सिद्धांत के पीछे का अधिकांश गणित लुडविग बोल्ट्जमैन और जे. विलार्ड गिब्स द्वारा ऊष्मागतिकी के क्षेत्र के लिए विकसित किया गया था। 1960 के दशक में रॉल्फ लैंडौएर के महत्वपूर्ण योगदान सहित सूचना-सैद्धांतिक एन्ट्रॉपी और ऊष्मागतिकी एन्ट्रॉपी के बीच संबंध ऊष्मागतिकी और सूचना सिद्धांत की एन्ट्रॉपी में खोजे गए हैं।

शैनन के क्रांतिकारी और अभूतपूर्व पेपर में जिसके लिए कार्य 1944 के अंत तक बेल लैब्स में अपेक्षाकृत स्थिति तक पूर्ण हो चुका था। शैनन ने पहली बार संचार के गुणात्मक और मात्रात्मक मॉडल को सूचना सिद्धांत में अंतर्निहित एक सांख्यिकीय प्रक्रिया के रूप में प्रस्तुत किया था जो इस कई संभावनाओ के साथ प्रारम्भ हुआ था।

"संचार की मूल समस्या एक बिंदु पर चयनित संदेश को किसी अन्य बिंदु पर प्रयुक्त या अनुमानित करने के रूप से पुन: प्रस्तुत करना है।"

इसके साथ के कई विचार किए गए हैं:

किसी सोर्स की सूचना एन्ट्रापी, रिडंडेंसीय (सूचना सिद्धांत), और सोर्स कोडिंग प्रमेय के माध्यम से इसकी प्रासंगिकता।
ध्वनि-चैनल कोडिंग प्रमेय द्वारा दिए गए पूर्ण ओपेन सोर्स संचार सहित ध्वनि चैनल की पारस्परिक सूचना और चैनल क्षमता।
गॉसियन चैनल की चैनल क्षमता के लिए शैनन-हार्टले नियम का व्यावहारिक परिणाम।
बिट - सूचना की फंडामेंटल यूनिट (मौलिक इकाई)

सूचना की मात्रा

सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक सूचना सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत प्रायः यादृच्छिक वेरिएबल से संबद्ध वितरण की सूचना के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक वेरिएबल में सूचना के माप की मात्रा निर्धारित करने की स्वीकृति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक वेरिएबलों पर परिभाषित पारस्परिक सूचना है, जो उन वेरिएबलों के बीच सामान्य सूचना की माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक वेरिएबल के संभाव्यता वितरण की एक विशेषता है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नियम द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है जो उत्तरार्द्ध दो यादृच्छिक वेरिएबल के संयुक्त वितरण की एक विशेषता है और लंबी ब्लॉक लंबाई की सीमा में एक ध्वनि चैनल में विश्वसनीय संचार की अधिकतम दर है जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं तब निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है और डेसिमल जो सामान्यतः लघुगणक पर आधारित है। निम्नलिखित में $p log p$ को शून्य के बराबर माना जाता है।

जहां $p = 0$ है क्योंकि किसी भी लघुगणकीय आधार के लिए $\lim _{p\rightarrow 0+}p\log p=0$ है।

सूचना सोर्स की एन्ट्रॉपी

संप्रेषित किए जाने वाले प्रत्येक सोर्स प्रतीक की संभाव्यता द्रव्यमान फलन के आधार पर एंट्रॉपी (सूचना सिद्धांत) $H$ , बिट्स की इकाइयों में (प्रति प्रतीक) द्वारा दी गई है:

H=-\sum _{i}p_{i}\log _{2}(p_{i})

जहां $p i$ सोर्स प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार $e$ , जहां $e$ यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए आधार 2⁸ = 256 का लघुगणक प्रति प्रतीक बाइट में माप उत्पन्न करेगा और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।

सामान्यतः एक असतत यादृच्छिक वेरिएबल $X$ की एन्ट्रापी $H X$ , $X$ के मान से संबद्ध अनिश्चितता की मात्रा का माप है जब केवल इसका वितरण ज्ञात होता है। एक सोर्स की एन्ट्रापी जो स्वतंत्र और समान रूप से वितरित (आईआईडी) $N$ प्रतीकों के अनुक्रम का उत्सर्जन करती है वह $N \cdot H$ बिट्स ( $N$ प्रतीकों के प्रति संदेश) है। यदि सोर्स डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई $N$ के संदेश की एन्ट्रापी $N \cdot H$ से कम होती है।

यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है और इनमें से प्रत्येक बिट का मान संचार से पहले रिसीवर को ज्ञात है तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन सूचना (जिसे प्रायः बिट्स कहा जाता है) प्रसारित की गई है। इन दो वेरिएबल सीमाओं के बीच सूचना को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि $\mathbb {X}$ सभी संदेशों का समूह ${x 1, ..., x n}$ है तब वह $X$ हो सकता है जहां $p (x)$ की संभावना $x\in \mathbb {X}$ है और एन्ट्रापी $H$ को $X$ द्वारा रिभषित किया है:^[11]

H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).

यहां, $I (x)$ स्व-सूचना है जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है और $\mathbb {E} _{X}$ अपेक्षित मान है। एन्ट्रापी की एक विशेषता यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्यता $p (x) = 1/ n$ होती है। अर्थात अप्रत्याशित स्थिति में $H (X) = log n$ है। दो परिणामों वाले यादृच्छिक वेरिएबल के लिए सूचना एन्ट्रॉपी की विशेष स्थिति बाइनरी एन्ट्रॉपी है जिसे सामान्यतः लघुगणक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:

H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).

संयुक्त (जॉइंट) एन्ट्रापी

दो असतत यादृच्छिक वेरिएबल $X$ और $Y$ की संयुक्त एन्ट्रापी केवल उनके युग्म $(X, Y)$ की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि $X$ और $Y$ स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है। उदाहरण के लिए यदि $(X, Y)$ शतरंज के भाग की स्थिति को दर्शाता है:

H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,

समान संकेतन के अतिरिक्त संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जा सकता है।

सशर्त एन्ट्रापी समीकरण

यादृच्छिक वेरिएबल Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y में X का समीकरण भी कहा जाता है) $Y$ पर औसत सशर्त एन्ट्रॉपी है:^[12]

H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).

चूँकि एन्ट्रापी को एक यादृच्छिक वेरिएबल पर या उस यादृच्छिक वेरिएबल पर एक निश्चित मान पर वर्णित किया जा सकता है। इसलिए इस विषय का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल विशेषता है:

H(X|Y)=H(X,Y)-H(Y).\,

पारस्परिक (म्यूच्यूअल) सूचना

पारस्परिक सूचना उस सूचना की मात्रा को मापती है जो एक यादृच्छिक वेरिएबल में दूसरे वेरिएबल को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई सूचना की मात्रा को अधिकतम करने के लिए किया जा सकता है। सामान्यतः $Y$ के सापेक्ष $X$ की पारस्परिक सूचना इस प्रकार दी गई है:

I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}

जहाँ $SI$ विशिष्ट पारस्परिकर सूचना है।

पारस्परिक सूचना की एक मूल विशेषता है:

I(X;Y)=H(X)-H(X|Y).\,

अर्थात्, Y को जानने से हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन $I (X; Y)$ बिट्स को सुरक्षित कर सकते हैं।

पारस्परिक सूचना सममित है:

I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,

पारस्परिक सूचना को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:

I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].

दूसरे शब्दों में यह इस विषय की माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना परिवर्तित हो सकता है। इसे प्रायः सीमांत वितरण के उत्पाद से वास्तविक संयुक्त विवरण तक विचलन के रूप में पुनर्निर्मित किया जाता है:

I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).

पारस्परिक सूचना कई तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण की निकटता से संबंधित है और पियर्सन के χ² परीक्षण के लिए पारस्परिक सूचना को वेरिएबल के एक युग्म के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है। सामान्यतः इसमें अपेक्षाकृत एक निर्दिष्ट एसिम्प्टोटिक (अंतर्निहित) वितरण होता है।

कुलबैक-लीब्लर विचलन (सूचना लाभ)

कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ या सापेक्ष एन्ट्रॉपी) दो वितरणों मे संभाव्यता वितरण $p(X)$ और एक संभाव्यता वितरण $q(X)$ की तुलना करने का सामान्य प्रकार है। यदि हम आंकड़ा को इस प्रकार से संपीड़ित करते हैं कि $q(X)$ कुछ डेटा में अंतर्निहित वितरण है जब वास्तव में $p(X)$ सही वितरण है तो कुल्बैक-लीबलर विचलन प्रति डेटम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है। सामान्यतः जिसको इस प्रकार परिभाषित किया गया है:

D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.

हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है जो केएल विचलन की एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है और इसे अर्ध-क्वासिमेट्रिक बनाता है। कुल्बैक-लीबलर विचलन की एक अन्य व्याख्या को कुल्बैक-लीबलर से पूर्व प्रस्तुत किया गया था माना कि एक संख्या X संभाव्यता वितरण $p(x)$ के साथ एक अलग समूह से यादृच्छिक रूप से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितरण $p(x)$ पता है, जबकि बॉब का मानना है (पहले से है) कि वितरण $q(x)$ है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्वेरिएबल्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्वेरिएबल्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्वेरिएबल्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्वेरिएबल्यचकित" होने की उम्मीद है।

निर्देशित सूचना

निर्देशित सूचना, $I(X^{n}\to Y^{n})$ , एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है $X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}$ यादृच्छिक प्रक्रिया के लिए $Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}$ . निर्देशित सूचना शब्द जेम्स मैसी द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})

,

कहाँ पे $I(X^{i};Y_{i}|Y^{i-1})$ सशर्त पारस्परिक सूचना है

$I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$ .

पारस्परिक सूचना से भिन्न, निर्देशिका सूचना सममित नहीं है। $I(X^{n}\to Y^{n})$ h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं $X^{n}$ प्रति $Y^{n}$ . निर्देशित सूचना में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,^[13]^[14] प्रतिक्रिया के साथ असतत स्मृतिहीन नेटवर्क की क्षमता,^[15] कारण पक्ष की सूचना के साथ जुआ,^[16] कारण पक्ष की सूचना के साथ डेटा कंप्रेशन,^[17] और रीयल-टाइम नियंत्रण संचार सेटिंग में,^[18]^[19] सांख्यिकीय भौतिकी।^[20]

अन्य मात्राएं

अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक सूचना सम्मिलित है। साथ ही, निर्णय लेने में कितनी सूचना का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक सूचना का प्रस्ताव किया गया है।

कोडिंग सिद्धांत

सीडी-आर की पढ़ने योग्य सतह पर खरोंच दिखाने वाली तस्वीर। संगीत और डेटा सीडी को त्रुटि सुधार कोड का उपयोग करके कोडित किया जाता है और इस प्रकार त्रुटि का पता लगाने और सुधार का उपयोग करके मामूली खरोंच होने पर भी पढ़ा जा सकता है।

कोडिंग सिद्धांत सूचना सिद्धांत के सबसे महत्वपूर्ण और प्रत्यक्ष अनुप्रयोगों में से एक है। इसे सोर्स कोडिंग सिद्धांत और चैनल कोडिंग सिद्धांत में विभाजित किया जा सकता है। डेटा के लिए सांख्यिकीय विवरण का उपयोग करते हुए, सूचना सिद्धांत डेटा का वर्णन करने के लिए आवश्यक बिट्स की संख्या निर्धारित करता है, जो सोर्स की सूचना एन्ट्रापी है।

डेटा कंप्रेशन (सोर्स कोडिंग): कंप्रेशन समस्या के लिए दो फॉर्मूलेशन हैं:
- दोषरहित डेटा कंप्रेशन: डेटा को ठीक से खंगाला जाना चाहिए;
- हानिपूर्ण डेटा कंप्रेशन: डेटा को फिर से बनाने के लिए आवश्यक बिट्स आवंटित करता है, विरूपण फ़ंक्शन द्वारा मापा गया एक निर्दिष्ट निष्ठा स्तर के भीतर। सूचना सिद्धांत के इस सबसेट को दर-विरूपण सिद्धांत कहा जाता है।
त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा कंप्रेशन जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक ध्वनि चैनल में प्रसारित करने के लिए आवश्यक है। .

कंप्रेशन और संचार में कोडिंग सिद्धांत का यह विभाजन सूचना संचार प्रमेय, या सोर्स-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, संचार के बाद कंप्रेशन अब इष्टतम नहीं हो सकता है।

सोर्स सिद्धांत

कोई भी प्रक्रिया जो क्रमिक संदेश उत्पन्न करती है उसे सूचना का सोर्स माना जा सकता है। एक स्मृतिहीन सोर्स वह होता है जिसमें प्रत्येक संदेश एक स्वतंत्र समान रूप से वितरित यादृच्छिक वेरिएबल होता है, जबकि एर्गोडिसिटी और स्थिरता के गुण कम प्रतिबंधात्मक बाधाएं लगाते हैं। ऐसे सभी सोर्स स्टोकेस्टिक हैं। इन शब्दों का उनके स्वयं के बाहरी सूचना सिद्धांत में अच्छी तरह से अध्ययन किया गया है।

दर

सूचना दर प्रति प्रतीक औसत एन्ट्रापी है। स्मृतिहीन सोर्सों के लिए, यह केवल प्रत्येक प्रतीक की एन्ट्रापी है, जबकि, एक स्थिर स्टोकेस्टिक प्रक्रिया के मामले में, यह है

r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );

अर्थात्, पिछले सभी उत्पन्न प्रतीकों को देखते हुए एक प्रतीक की सशर्त एन्ट्रापी। किसी प्रक्रिया के अधिक सामान्य मामले के लिए जो आवश्यक रूप से स्थिर नहीं है, औसत दर है

r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});

अर्थात्, प्रति प्रतीक संयुक्त एन्ट्रापी की सीमा। स्थिर सोर्सों के लिए, ये दोनों अभिव्यक्तियाँ समान परिणाम देती हैं।^[21]

सूचना दर के रूप में परिभाषित किया गया है

r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});

सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब सूचना का सोर्स अंग्रेजी गद्य है। सूचना के सोर्स की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह सोर्स कोडिंग का विषय है।

चैनल क्षमता

एक चैनल पर संचार सूचना सिद्धांत की प्राथमिक प्रेरणा है। हालाँकि, चैनल अक्सर सिग्नल के ध्वनि का सटीक पुनर्निर्माण करने में विफल होते हैं, मौन की अवधि और सिग्नल भ्रष्टाचार के अन्य रूप अक्सर गुणवत्ता को ख़राब करते हैं।

एक अलग चैनल पर संचार प्रक्रिया पर विचार करें। प्रक्रिया का एक सरल मॉडल नीचे दिखाया गया है:

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}

यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि $p (y | x)$ X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम $p (y | x)$ को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के ध्वनि की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और $f (x)$ की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक सूचना है, और इस अधिकतम पारस्परिक सूचना को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:

C=\max _{f}I(X;Y).\!

इस क्षमता में सूचना दर आर (जहां आर सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित संपत्ति है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R > C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।

चैनल कोड ऐसे लगभग इष्टतम कोड खोजने से संबंधित है जिसका उपयोग चैनल क्षमता के निकट दर पर एक छोटी कोडिंग त्रुटि के साथ एक ध्वनि चैनल पर डेटा संचारित करने के लिए किया जा सकता है।

विशेष चैनल मॉडल की क्षमता

गॉसियन ध्वनि के अधीन एक निरंतर-समय का एनालॉग संचार चैनल- शैनन-हार्टले प्रमेय देखें।
क्रॉसओवर प्रायिकता p वाला एक बाइनरी सममित चैनल (BSC) एक बाइनरी इनपुट, बाइनरी आउटपुट चैनल है जो प्रायिकता p के साथ इनपुट बिट को फ़्लिप करता है। BSC की क्षमता है $1 - H b (p)$ बिट्स प्रति चैनल उपयोग, जहां $H b$ बेस-2 लघुगणक के लिए बाइनरी एन्ट्रॉपी फ़ंक्शन है:

इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में सूचना के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।

स्मृति और निर्देशित सूचना वाले चैनल

व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर $i$ चैनल सशर्त संभाव्यता द्वारा दिया गया है $P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).$ . अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है $x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})$ और चैनल बन गया $P(y_{i}|x^{i},y^{i-1}).$ .

ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है)।^[22]^[23]

अन्य क्षेत्रों के लिए आवेदन

इंटेलिजेंस उपयोग और गोपनीयता अनुप्रयोग

सूचना सैद्धांतिक अवधारणाएँ क्रिप्टोग्राफी और क्रिप्ट विश्लेषण पर प्रयुक्त होती हैं। ट्यूरिंग की सूचना इकाई, बैन, का उपयोग अल्ट्रा प्रोजेक्ट में किया गया, जिसने जर्मन एनिग्मा मशीन कोड को तोड़ दिया और यूरोप में द्वितीय विश्व युद्ध के अंत में तेजी लाई शैनन ने स्वयं एक महत्वपूर्ण अवधारणा को परिभाषित किया जिसे अब यूनिसिटी दूरी कहा जाता है। सादे पाठ की अतिरेक के आधार पर, यह अद्वितीय व्याख्या सुनिश्चित करने के लिए आवश्यक न्यूनतम मात्रा में सिफरटेक्स्ट देने का प्रयास करता है।

सूचना सिद्धांत हमें यह विश्वास दिलाता है कि रहस्यों को छिपाकर रखना पहले दिखने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है। ऐसे सभी तरीकों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।

सूचना सैद्धांतिक सुरक्षा का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक सूचना उचित संवेरिएबलण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक सूचना शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तवेरिएबल सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से प्रयुक्त करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।

छद्म आयामी संख्या पीढ़ी

छद्म यादृच्छिक संख्या जनरेटर कंप्यूटर भाषा पुस्तकालयों और एप्लिकेशन प्रोग्रामों में व्यापक रूप से उपलब्ध हैं। वे, लगभग सार्वभौमिक रूप से, क्रिप्टोग्राफ़िक उपयोग के लिए अनुपयुक्त हैं क्योंकि वे आधुनिक कंप्यूटर उपकरण और सॉफ़्टवेयर की नियतात्मक प्रकृति से बच नहीं पाते हैं। बेहतर यादृच्छिक संख्या जनरेटर के एक वर्ग को क्रिप्टोग्राफ़िक रूप से सुरक्षित छद्म यादृच्छिक संख्या जनरेटर कहा जाता है, लेकिन यहां तक कि उन्हें इरादे के अनुसार कार्य करने के लिए सॉफ़्टवेयर के बाहरी यादृच्छिक बीज की आवश्यकता होती है। यदि सावधानी से किया जाए तो इन्हें एक्सट्रैक्टर्स के माध्यम से प्राप्त किया जा सकता है। एक्सट्रैक्टर्स में पर्याप्त यादृच्छिकता का माप न्यूनतम-एंट्रॉपी है, रेनी एन्ट्रॉपी के माध्यम से शैनन एन्ट्रॉपी से संबंधित एक मूल्य रेनी एन्ट्रॉपी का उपयोग क्रिप्टोग्राफ़िक सिस्टम में यादृच्छिकता का मूल्यांकन करने में भी किया जाता है। हालांकि संबंधित, इन उपायों के बीच अंतर का मतलब है कि उच्च शैनन एन्ट्रॉपी वाला एक यादृच्छिक वेरिएबल एक एक्सट्रैक्टर में उपयोग के लिए और क्रिप्टोग्राफी उपयोग के लिए आवश्यक रूप से संतोषजनक नहीं है।

भूकंपीय निरीक्षण

सूचना सिद्धांत का एक प्रारंभिक व्यावसायिक अनुप्रयोग भूकंपीय तेल निरीक्षण के क्षेत्र में था। इस क्षेत्र में कार्य करने से अवांछित ध्वनि को वांछित भूकंपीय संकेत से अलग करना संभव हो गया था। सूचना सिद्धांत और डिजिटल सिग्नल प्रोसेसिंग पिछले एनालॉग प्रकार की तुलना में रिज़ॉल्यूशन और छवि स्पष्टता में एक बड़ा सुधार प्रदान करते हैं।^[24]

लाक्षणिकता

सांकेतिकतावादी डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना। नौटा ने लाक्षणिक सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया।^[25]^: 171Cite error: Closing </ref> missing for <ref> tag

तंत्रिका सूचना का एकीकृत प्रक्रिया संगठन

संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को प्रयुक्त किया गया है।^[26] इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर (गेराल्ड एडेलमैन और गिउलिओ टोनोनी के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)^[27]) या प्रभावी सूचना (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।^[28]^[29]^[30]), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और बायेसियन मस्तिष्क परिकल्पना^[31]^[32]^[33]^[34]^[35])।

विविध अनुप्रयोग

सूचना सिद्धांत के कई अनुप्रयोग गैंबलिंग ब्लैक होल और जैव सूचना विज्ञान में हैं।

यह भी देखें

एल्गोरिथम प्रोबेबिलिटी
बायेसियन सिद्धान्त
संचार सिद्धांत
निर्माता सिद्धांत - सूचना सिद्धांत का सामान्यीकरण जिसमें क्वांटम सूचना सम्मिलित है।
औपचारिक विज्ञान
चुम्बकीय संभावना
इन्फो मेट्रिक
न्यूनतम संदेश लंबाई
न्यूनतम विवरण लंबाई
सैद्धांतिक कंप्यूटर विज्ञान # सूचना सिद्धांत में महत्वपूर्ण प्रकाशनों की सूची

अनुप्रयोग

नेटवर्किंग
क्रिप्ट एनालिसिस
क्रिप्टोग्राफी
साइबरनेटिक्स
ऊष्मप्रवैगिकी और सूचना सिद्धांत में एन्ट्रॉपी
गैंबलिंग
सेस्मिक ऐक्सप्लोरशन

इतिहास

हार्टले, आर.वी.एल.
सूचना सिद्धांत का इतिहास
क्लॉड एलवुड शैनन
सूचना सिद्धांत की समयरेखा
एच.पी. ह्यूबर्ट हॉकी

सिद्धांत

अवधारणा

बैन (यूनिट)
चैनल क्षमता
संचार चैनल
संचार सोर्स
सशर्त एन्ट्रापी
कॉवेर्ट चैनल
डाटा कॉम्प्रेशन
डिकोडर
डिफरेंटीएल एन्ट्रापी
फुंगिबल इनफार्मेशन
फ्लक्चुएशन कॉम्प्लेक्सिटी इनफार्मेशन
सूचना एन्ट्रापी
जॉइंट एन्ट्रॉपी
कुलबैक-लीब्लर डाइवर्जेंस
प्वाइंटवाइज म्यूचअल इनफार्मेशन (पीएमआई)
रिसीवर (सूचना सिद्धांत)
रिडंडेंसीय (सूचना सिद्धांत)
रेनी एंट्रॉपी
यूनीसिटी डिस्टेंस
साइबरनेटिक्स
हैमिंग डिस्टेंस

संदर्भ

↑ ^1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.
↑ Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.
↑ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
↑ ^4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.
↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
↑ cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.
↑ Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.
↑ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.
↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
↑ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.
↑ Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.
↑ Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.
↑ Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.
↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.
↑ Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.
↑ Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.
↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.
↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
↑ Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.
↑ Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)
↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
↑ Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.
↑ Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.
↑ Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526
↑ Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.
↑ Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.
↑ Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.
↑ Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.
↑ Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.
↑ Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.
↑ Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.
↑ Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.
↑ Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

अग्रिम पठन

क्लासिक कार्य

क्लॉड एलवुड शैनन | शैनन, सी.ई. (1948), ए मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन, बेल सिस्टम टेक्निकल जर्नल, 27, पीपी. 379–423 और 623–656, जुलाई और अक्टूबर, 1948। edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]
com/cm/ms/what/shannonday/paper.html नोट्स और अन्य प्रारूप।
आर.वी.एल. हार्टले, सूचना का प्रसारण, बेल सिस्टम टेक्निकल जर्नल, जुलाई 1928
एंड्री कोलमोगोरोव (1968), सूचना की मात्रात्मक परिभाषा के लिए तीन दृष्टिकोण कंप्यूटर गणित के अंतर्राष्ट्रीय जर्नल में।

अन्य पत्रिका लेख

जे. एल. केली, जूनियर, प्रिंसटन, सूचना दर बेल सिस्टम तकनीकी जर्नल की एक नई व्याख्या, वॉल्यूम। 35, जुलाई 1956, पीपी. 917–26।
आर लैंडौएर, IEEE.org, इंफॉर्मेशन इज फिजिकल प्रोक। भौतिकी और संगणना पर कार्यशाला PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4।
Landauer, R. (1961). "कम्प्यूटिंग प्रक्रिया में अपरिवर्तनीयता और ऊष्मा उत्पादन" (PDF). IBM J. Res. Dev. 5 (3): 183–191. doi:10.1147/rd.53.0183.
Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "बहुभिन्नरूपी सूचना उपाय: एक प्रयोगवादी का दृष्टिकोण". arXiv:1111.6857 [cs.IT].

सूचना सिद्धांत पर पाठ्यपुस्तकें

Arndt, C. सूचना उपाय, सूचना और विज्ञान और इंजीनियरिंग में इसका विवरण (स्प्रिंगर श्रृंखला: सिग्नल और संचार प्रौद्योगिकी), 2004, ISBN 978-3-540-40855-0
ऐश, आरबी। सूचना सिद्धांत। न्यूयॉर्क: इंटरसाइंस, 1965। ISBN 0-470-03445-9. न्यूयॉर्क: डोवर 1990। ISBN 0-486-66521-6
Gallager, R. सूचना सिद्धांत और विश्वसनीय संचार। न्यूयॉर्क: जॉन विली एंड संस, 1968। ISBN 0-471-29048-3
गोल्डमैन, एस. सूचना सिद्धांत। न्यूयॉर्क: प्रेंटिस हॉल, 1953। न्यूयॉर्क: डोवर 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
Cover, Thomas; Thomas, Joy A. (2006). सूचना सिद्धांत के तत्व (2nd ed.). New York: Wiley-Interscience. ISBN 0-471-24195-4.
सिसजर, आई, कोर्नर, जे. इंफॉर्मेशन थ्योरी: डिस्क्रीट मेमोरीलेस सिस्टम्स के लिए कोडिंग प्रमेय एकेडेमिया किआडो: दूसरा संस्करण, 1997। ISBN 963-05-7440-3
डेविड जे.सी. मैके|मैके, डेविड जे.सी. सूचना सिद्धांत, अनुमान, और सीखने के एल्गोरिदम कैम्ब्रिज: कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003। ISBN 0-521-64298-1
मंसूरीपुर, एम. सूचना सिद्धांत का परिचय। न्यूयॉर्क: अप्रेंटिस हॉल, 1987। ISBN 0-13-484668-0
रॉबर्ट मैकएलिस |मैकएलिस, आर. सूचना और कोडिंग का सिद्धांत। कैम्ब्रिज, 2002। ISBN 978-0521831857
जॉन आर. पियर्स|पियर्स, जेआर। सूचना सिद्धांत का परिचय: प्रतीक, संकेत और शोर। डोवर (दूसरा संस्करण)। 1961 (डोवर 1980 द्वारा पुनर्मुद्रित)।
रेजा, एफ. एन इंट्रोडक्शन टू इंफॉर्मेशन थ्योरी। न्यूयॉर्क: मैकग्रा-हिल 1961। न्यूयॉर्क: डोवर 1994। ISBN 0-486-68210-2
Shannon, Claude; Weaver, Warren (1949). संचार का गणितीय सिद्धांत (PDF). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
स्टोन, जेवी। पुस्तक का अध्याय 1 सूचना सिद्धांत: एक ट्यूटोरियल परिचय, शेफ़ील्ड विश्वविद्यालय, इंग्लैंड, 2014। ISBN 978-0956372857.
युंग, आरडब्ल्यू। ए फर्स्ट कोर्स इन इंफॉर्मेशन थ्योरी क्लूवर एकेडमिक/प्लेनम पब्लिशर्स, 2002। ISBN 0-306-46791-7.
युंग, आरडब्ल्यू। सूचना सिद्धांत और नेटवर्क कोडिंग स्प्रिंगर 2008, 2002। ISBN 978-0-387-79233-0

अन्य पुस्तकें

लियोन ब्रिलौइन, विज्ञान और सूचना सिद्धांत, माइनोला, एन.वाई: डोवर, [1956, 1962] 2004। ISBN 0-486-43918-6
जेम्स ग्लीक, सूचना: एक इतिहास, एक सिद्धांत, एक बाढ़, न्यूयॉर्क: पेंथियन, 2011। ISBN 978-0-375-42372-7
ए.आई. खिनचिन, मैथमैटिकल फ़ाउंडेशन ऑफ़ इंफ़ॉर्मेशन थ्योरी, न्यूयॉर्क: डोवर, 1957। ISBN 0-486-60434-9
एच.एस. लेफ़ और ए.एफ. रेक्स, संपादक, मैक्सवेल्स डेमन: एंट्रॉपी, सूचना, कम्प्यूटिंग, प्रिंसटन यूनिवर्सिटी प्रेस, प्रिंसटन, न्यू जर्सी (1990)। ISBN 0-691-08727-X
रॉबर्ट के. लोगान। सूचना क्या है? - बायोस्फीयर, सिम्बोस्फीयर, टेक्नोस्फीयर और इकोनोस्फीयर में प्रचार संगठन, टोरंटो: डेमो पब्लिशिंग।
टॉम सिगफ्रीड, द बिट एंड द पेंडुलम, विले, 2000। ISBN 0-471-32174-5
चार्ल्स साबुन, ब्रह्मांड को डिकोड करना, वाइकिंग, 2006। ISBN 0-670-03441-X
जेरेमी कैंपबेल, व्याकरणिक आदमी, टचस्टोन/साइमन एंड शूस्टर, 1982, ISBN 0-671-44062-4
हेनरी थेल, अर्थशास्त्र और सूचना सिद्धांत, रैंड मैकनेली एंड कंपनी - शिकागो, 1967।
Escolano, Suau, Bonev, इंफॉर्मेशन थ्योरी इन कंप्यूटर विज़न एंड पैटर्न रिकग्निशन, स्प्रिंगर, 2009। ISBN 978-1-84882-296-2
Vlatko Vedral, डिकोडिंग रियलिटी: द यूनिवर्स एज़ क्वांटम इंफॉर्मेशन, ऑक्सफोर्ड यूनिवर्सिटी प्रेस 2010। ISBN 0-19-923769-7

बाहरी संबंध

"Information", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education
IEEE Information Theory Society and ITSOC Monographs, Surveys, and Reviews

{{Navbox

| name =गणित के क्षेत्र

|state = autocollapse

| title =अंक शास्त्र | bodyclass = hlist

|above =

| group1 = नींव | list1 =* श्रेणी सिद्धांत

| group2 =बीजगणित | list2 =* सार

| group3 = विश्लेषण | list3 =* पथरी

| group4 = असतत | list4 =* कॉम्बीनेटरिक्स

| group5 =ज्यामिति | list5 =* बीजगणितीय

| group6 =संख्या सिद्धांत | list6 =* अंकगणित

| group7 =टोपोलॉजी | list7 =* सामान्य

| group8 = लागू | list8 =* इंजीनियरिंग गणित

| group9 = कम्प्यूटेशनल | list9 =* कंप्यूटर विज्ञान

| group10 = संबंधित विषय | list10 =* अनौपचारिक गणित

| below =* '

' श्रेणी' '
' कॉमन्स'
[[gikewikipedia: wikiproject matics | wikiproject]

}}

[:0-1] 1.0 ^1.1 "क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया". FierceTelecom (in English). Retrieved 2021-04-30.

[2] Shannon, Claude Elwood (1998). संचार का गणितीय सिद्धांत. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.

[3] Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.

[Spikes-4] 4.0 ^4.1 F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). स्पाइक्स: न्यूरल कोड की खोज. The MIT press. ISBN 978-0262681087.

[5] Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है". Scientific Reports (in English). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.

[6] ; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.

[7] Jaynes, E. T. (1957). "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.

[8] Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि". Journal of Applied Physics (in English). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442. S2CID 225010720.

[9] Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.

[10] Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "श्रृंखला पत्र और विकासवादी इतिहास". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Archived from the original on 2007-10-07. Retrieved 2008-03-11.

[Reza-11] Fazlollah M. Reza (1994) [1961]. सूचना सिद्धांत का एक परिचय. Dover Publications, Inc., New York. ISBN 0-486-68210-2.

[Ash-12] Robert B. Ash (1990) [1965]. सूचना सिद्धांत. Dover Publications, Inc. ISBN 0-486-66521-6.

[13] Massey, James (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी" (ISITA). CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)

[14] Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.

[15] Kramer, G. (January 2003). "असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम". IEEE Transactions on Information Theory. 49 (1): 4–21. doi:10.1109/TIT.2002.806135.

[16] Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). "पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या". IEEE Transactions on Information Theory. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.

[17] Simeone, Osvaldo; Permuter, Haim Henri (June 2013). "स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है". IEEE Transactions on Information Theory. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.

[18] Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). "सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ". IEEE Transactions on Information Theory. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.

[19] Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). "न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण". IEEE Transactions on Automatic Control. 63 (1): 37–52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958.

[20] Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 April 2016). "जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य". Journal of Statistical Mechanics: Theory and Experiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.

[21] Jerry D. Gibson (1998). मल्टीमीडिया के लिए डिजिटल संपीड़न: सिद्धांत और मानक. Morgan Kaufmann. ISBN 1-55860-369-7.

[22] Massey, James L. (1990). "करणीय, प्रतिक्रिया और निर्देशित जानकारी". CiteSeerX 10.1.1.36.5688. {{cite journal}}: Cite journal requires |journal= (help)

[23] Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल". IEEE Transactions on Information Theory. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.

[24] Haggerty, Patrick E. (1981). "निगम और नवाचार". Strategic Management Journal. 2 (2): 97–118. doi:10.1002/smj.4250020202.

[Nauta_1972-25] Nauta, Doede (1972). सूचना का अर्थ. The Hague: Mouton. ISBN 9789027919960.

[26] Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526

[27] Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.

[28] Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.

[29] Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.

[30] Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.

[31] Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.

[32] Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.

[33] Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.

[34] Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.

[35] Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

@@ Line 4: / Line 4: @@
 '''सूचना सिद्धांत''' सूचना के परिमाणीकरण [[कंप्यूटर डेटा भंडारण|कंप्यूटर डेटा]] और संचार का गणितीय अध्ययन है।<ref name=":0">{{Cite web|title=क्लाउड शैनन, डिजिटल सूचना सिद्धांत का बीड़ा उठाया|url=https://www.fiercetelecom.com/special-report/claude-shannon-pioneered-digital-information-theory|access-date=2021-04-30|website=FierceTelecom|language=en}}</ref> इस सूचना सिद्धांत को मूल रूप से [[हैरी निक्विस्ट]] और राल्फ हार्टले ने 1920 के दशक में और [[क्लाउड शैनन]] ने 940 के दशक में स्थापित किया गया था।<ref>{{Cite book|last=Shannon|first=Claude Elwood|url=https://www.worldcat.org/oclc/40716662|title=संचार का गणितीय सिद्धांत|date=1998|publisher=University of Illinois Press|others=Warren Weaver|isbn=0-252-72546-8|location=Urbana|oclc=40716662}}</ref>{{Rp|page=vii|location=}} इस सूचना सिद्धांत को संभाव्यता सिद्धांत, सांख्यिकी, [[कंप्यूटर विज्ञान]], सांख्यिकीय यांत्रिकी, सूचना इंजीनियरिंग और [[विद्युत अभियन्त्रण|विद्युत]] इंजीनियरिंग मे भी उपयोग किया जाता है।
-सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक वेरिएबल के मान या यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।<ref name=":0" /> उदाहरण के लिए एक सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम जानकारी (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक सूचना, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में सोर्स कोडिंग, [[एल्गोरिथम जटिलता सिद्धांत]], [[एल्गोरिथम सूचना सिद्धांत]] और [[सूचना-सैद्धांतिक सुरक्षा]] सम्मिलित हैं।
+सूचना सिद्धांत में एक प्रमुख माप एन्ट्रापी है। एन्ट्रॉपी एक यादृच्छिक वेरिएबल के मान या यादृच्छिक प्रक्रिया के परिणाम में सम्मिलित अनिश्चितता की मात्रा निर्धारित करती है।<ref name=":0" /> उदाहरण के लिए एक सिक्के के उछाल (दो समान रूप से संभावित परिणामों के साथ) के परिणाम की पहचान करना एक पासे के रोल (छह समान रूप से संभावित परिणामों के साथ) के परिणाम को निर्दिष्ट करने की तुलना में कम सूचना (कम एन्ट्रापी, कम अनिश्चितता) प्रदान करता है। सूचना सिद्धांत में कुछ अन्य महत्वपूर्ण उपाय पारस्परिक सूचना, चैनल क्षमता, त्रुटि प्रतिपादक और सापेक्ष एन्ट्रापी हैं। सूचना सिद्धांत के महत्वपूर्ण उप-क्षेत्रों में सोर्स कोडिंग, [[एल्गोरिथम जटिलता सिद्धांत]], [[एल्गोरिथम सूचना सिद्धांत]] और [[सूचना-सैद्धांतिक सुरक्षा]] सम्मिलित हैं।
-सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में सोर्स कोडिंग/डेटा कंप्रेशन (उदाहरण के लिए ज़िप फ़ाइलों के लिए), चैनल कोडिंग का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित है। इसका प्रभाव अंतरिक्ष में वोयाजर मिशन की सफलता, [[कॉम्पैक्ट डिस्क]] के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। इस सिद्धांत का सांख्यिकीय अनुमान,<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref> [[क्रिप्टोग्राफी]], न्यूरोबायोलॉजी<ref name="Spikes">{{cite book|title=स्पाइक्स: न्यूरल कोड की खोज|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> धारणा<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> भाषाविज्ञान, आणविक कोड<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव|journal=Science|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> (जैव सूचना विज्ञान), थर्मल भौतिकी,<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=सूचना सिद्धांत और सांख्यिकीय यांत्रिकी|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> [[आणविक गतिकी]]<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720}}</ref> क्वांटम कंप्यूटिंग, [[ब्लैक होल]], सूचना पुनर्प्राप्ति जानकारी एकत्र करना, साहित्यिक त्रुटि का पता लगाना, पैटर्न पहचान के विकास और कार्य<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण|url=http://alum.mit.edu/www/toms/|journal=Gene|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097}}</ref> सहित अन्य क्षेत्रों में भी अनुप्रयोग किया गया है।<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=श्रृंखला पत्र और विकासवादी इतिहास|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>
+सूचना सिद्धांत के मूलभूत विषयों के अनुप्रयोगों में सोर्स कोडिंग/डेटा कंप्रेशन (उदाहरण के लिए ज़िप फ़ाइलों के लिए), चैनल कोडिंग का पता लगाना और सुधार (उदाहरण के लिए डीएसएल के लिए) सम्मिलित है। इसका प्रभाव अंतरिक्ष में वोयाजर मिशन की सफलता, [[कॉम्पैक्ट डिस्क]] के आविष्कार, मोबाइल फोन की व्यवहार्यता और इंटरनेट के विकास के लिए महत्वपूर्ण रहा है। इस सिद्धांत का सांख्यिकीय अनुमान,<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) {{ISBN|978-0-387-95364-9}}.</ref> [[क्रिप्टोग्राफी]], न्यूरोबायोलॉजी<ref name="Spikes">{{cite book|title=स्पाइक्स: न्यूरल कोड की खोज|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> धारणा<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=सूचना सिद्धांत के आधार पर मानव दृष्टि निर्धारित की जाती है|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> भाषाविज्ञान, आणविक कोड<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=फाइलोजेनी का बायेसियन अनुमान और विकासवादी जीव विज्ञान पर इसका प्रभाव|journal=Science|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> (जैव सूचना विज्ञान), थर्मल भौतिकी,<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=सूचना सिद्धांत और सांख्यिकीय यांत्रिकी|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> [[आणविक गतिकी]]<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=आणविक गतिकी सिमुलेशन के अभिसरण मूल्यांकन के लिए सूचना एन्ट्रापी की विधि|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720}}</ref> क्वांटम कंप्यूटिंग, [[ब्लैक होल]], सूचना पुनर्प्राप्ति सूचना एकत्र करना, साहित्यिक त्रुटि का पता लगाना, पैटर्न पहचान के विकास और कार्य<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=थॉमस डी. श्नाइडर], माइकल डीन (1998) एबीसीआर जीन का संगठन: प्रमोटर और ब्याह जंक्शन अनुक्रमों का विश्लेषण|url=http://alum.mit.edu/www/toms/|journal=Gene|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097}}</ref> सहित अन्य क्षेत्रों में भी अनुप्रयोग किया गया है।<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=श्रृंखला पत्र और विकासवादी इतिहास|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>
 == समीक्षा ==
@@ Line 38: / Line 38: @@
 {{Main|सूचना की मात्रा}}
-सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक सूचना सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत प्रायः यादृच्छिक वेरिएबल से संबद्ध वितरण की सूचना के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक वेरिएबल में सूचना के माप की मात्रा निर्धारित करने की स्वीकृति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक वेरिएबलों पर परिभाषित पारस्परिक सूचना है, जो उन वेरिएबलों के बीच सामान्य सूचना की माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक वेरिएबल के संभाव्यता वितरण की एक विशेषता है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नियम द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है जो उत्तरार्द्ध दो यादृच्छिक वेरिएबल के संयुक्त वितरण की एक विशेषता है और लंबी ब्लॉक लंबाई की सीमा में एक ध्वनि चैनल में विश्वसनीय संचार की अधिकतम दर है जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं तब '''निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उप'''योग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है, जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है, और दशमलव अंक, जो [[सामान्य लघुगणक]] पर आधारित है।
+सूचना सिद्धांत संभाव्यता सिद्धांत और आंकड़ों पर आधारित है, जहां मात्रात्मक सूचना सामान्यतः बिट्स के संदर्भ में वर्णित की जाती है। सूचना सिद्धांत प्रायः यादृच्छिक वेरिएबल से संबद्ध वितरण की सूचना के माप से संबंधित होता है। सबसे महत्वपूर्ण उपायों में से एक को एन्ट्रॉपी कहा जाता है, जो कई अन्य उपायों का निर्माण खंड बनाता है। एन्ट्रॉपी एकल यादृच्छिक वेरिएबल में सूचना के माप की मात्रा निर्धारित करने की स्वीकृति देता है। एक अन्य उपयोगी अवधारणा दो यादृच्छिक वेरिएबलों पर परिभाषित पारस्परिक सूचना है, जो उन वेरिएबलों के बीच सामान्य सूचना की माप का वर्णन करती है, जिसका उपयोग उनके सहसंबंध का वर्णन करने के लिए किया जा सकता है। पूर्व मात्रा एक यादृच्छिक वेरिएबल के संभाव्यता वितरण की एक विशेषता है और उस दर पर एक सीमा देती है जिस पर दिए गए वितरण के साथ स्वतंत्र नियम द्वारा उत्पन्न डेटा को विश्वसनीय रूप से संपीड़ित किया जा सकता है जो उत्तरार्द्ध दो यादृच्छिक वेरिएबल के संयुक्त वितरण की एक विशेषता है और लंबी ब्लॉक लंबाई की सीमा में एक ध्वनि चैनल में विश्वसनीय संचार की अधिकतम दर है जब चैनल आंकड़े संयुक्त वितरण द्वारा निर्धारित किए जाते हैं तब निम्नलिखित सूत्रों में लघुगणकीय आधार का चयन उपयोग की जाने वाली सूचना एन्ट्रापी की इकाई को निर्धारित करता है। सूचना की एक सामान्य इकाई बिट है जो बाइनरी लॉगरिदम पर आधारित है। अन्य इकाइयों में नेट सम्मिलित है, जो प्राकृतिक लघुगणक पर आधारित है और डेसिमल जो सामान्यतः [[सामान्य लघुगणक|लघुगणक]] पर आधारित है। निम्नलिखित में {{math|''p'' log ''p''}} को शून्य के बराबर माना जाता है।
-निम्नलिखित में {{math|''p'' log ''p''}} की अभिव्यक्ति को सम्मेलन द्वारा शून्य के बराबर माना जाता है जब भी {{math|1=''p'' = 0}} यह उचित है क्योंकि किसी भी लॉगरिदमिक आधार के लिए <math>\lim_{p \rightarrow 0+} p \log p = 0</math> है।
+जहां {{math|1=''p'' = 0}} है क्योंकि किसी भी लघुगणकीय आधार के लिए <math>\lim_{p \rightarrow 0+} p \log p = 0</math> है।
 === सूचना सोर्स की एन्ट्रॉपी ===
-संप्रेषित किए जाने वाले प्रत्येक सोर्स प्रतीक की संभाव्यता द्रव्यमान फ़ंक्शन के आधार पर [[एंट्रॉपी (सूचना सिद्धांत)]] {{math|''H''}}, बिट्स की इकाइयों में (प्रति प्रतीक), द्वारा दी गई है
+संप्रेषित किए जाने वाले प्रत्येक सोर्स प्रतीक की संभाव्यता द्रव्यमान फलन के आधार पर [[एंट्रॉपी (सूचना सिद्धांत)]] {{math|''H''}}, बिट्स की इकाइयों में (प्रति प्रतीक) द्वारा दी गई है:
 :<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
-जहां {{math|''p<sub>i</sub>''}} सोर्स प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है, और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार {{mvar|[[E (mathematical constant)|e]]}}, जहां {{mvar|e}} यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता से बचकर विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए, आधार {{nowrap|1=2<sup>8</sup> = 256}} का लघुगणक प्रति प्रतीक बाइट्स में माप उत्पन्न करेगा, और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।
+जहां {{math|''p<sub>i</sub>''}} सोर्स प्रतीक के i-वें संभावित मान के घटित होने की संभावना है। यह समीकरण "बिट्स" (प्रति प्रतीक) की इकाइयों में एन्ट्रापी देता है क्योंकि यह आधार 2 के लघुगणक का उपयोग करता है और एन्ट्रापी के इस आधार -2 माप को कभी-कभी उनके सम्मान में शैनन कहा जाता है। एन्ट्रॉपी की गणना सामान्यतः प्राकृतिक लघुगणक (आधार {{mvar|[[E (mathematical constant)|e]]}}, जहां {{mvar|e}} यूलर की संख्या है) का उपयोग करके की जाती है, जो प्रति प्रतीक नेट में एन्ट्रापी का माप उत्पन्न करती है और कभी-कभी सूत्रों में अतिरिक्त स्थिरांक को सम्मिलित करने की आवश्यकता विश्लेषण को सरल बनाती है। अन्य आधार भी संभव हैं, लेकिन सामान्यतः कम उपयोग किए जाते हैं। उदाहरण के लिए आधार {{nowrap|1=2<sup>8</sup> = 256}} का लघुगणक प्रति प्रतीक बाइट में माप उत्पन्न करेगा और आधार 10 का लघुगणक प्रति प्रतीक दशमलव अंकों (या हार्टलेज़) में माप उत्पन्न करेगा।
-सहज रूप से, एक असतत यादृच्छिक वेरिएबल {{math|''X''}} की एन्ट्रापी {{math|''H<sub>X</sub>''}}, {{math|''X''}} के मान से जुड़ी अनिश्चितता की मात्रा का एक माप है, जब केवल इसका वितरण ज्ञात होता है।
+सामान्यतः एक असतत यादृच्छिक वेरिएबल {{math|''X''}} की एन्ट्रापी {{math|''H<sub>X</sub>''}}, {{math|''X''}} के मान से संबद्ध अनिश्चितता की मात्रा का माप है जब केवल इसका वितरण ज्ञात होता है। एक सोर्स की एन्ट्रापी जो [[स्वतंत्र और समान रूप से वितरित]] (आईआईडी) {{math|''N''}} प्रतीकों के अनुक्रम का उत्सर्जन करती है वह {{math|''N'' ⋅ ''H''}} बिट्स ({{math|''N''}} प्रतीकों के प्रति संदेश) है। यदि सोर्स डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई {{math|''N''}} के संदेश की एन्ट्रापी {{math|''N'' ⋅ ''H''}} से कम होती है।
-एक सोर्स की एन्ट्रापी जो [[स्वतंत्र और समान रूप से वितरित]] (आईआईडी) एन प्रतीकों के अनुक्रम का उत्सर्जन करती है वह {{math|''N'' ⋅ ''H''}} बिट्स ({{math|''N''}} प्रतीकों के प्रति संदेश) है। यदि सोर्स डेटा प्रतीकों को समान रूप से वितरित किया गया है लेकिन स्वतंत्र नहीं है तो लंबाई {{math|''N''}}{{math|''N''}} के संदेश की एन्ट्रापी {{math|''N'' ⋅ ''H''}} से कम होगी।
 [[File:Binary entropy plot.svg|thumbनेल | राइट | 200 पीएक्स सफलता की संभावना के एक समारोह के रूप में, जिसे अक्सर कहा जाता है {{em|[[binary entropy function]]}}, {{math|''H''<sub>b</sub>(''p'')}}. एन्ट्रापी को 1 बिट प्रति परीक्षण पर अधिकतम किया जाता है जब दो संभावित परिणाम समान रूप से संभावित होते हैं, जैसा कि एक निष्पक्ष सिक्का टॉस में होता है।]]
-यदि कोई 1000 बिट्स (0एस और 1एस) प्रसारित करता है, और इनमें से प्रत्येक बिट का मूल्य संचार से पहले रिसीवर को ज्ञात है (निश्चितता के साथ एक विशिष्ट मूल्य है), तो यह स्पष्ट है कि कोई जानकारी प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन जानकारी (जिसे अक्सर बिट्स कहा जाता है) प्रसारित की गई है। इन दो वेरिएबलम सीमाओं के बीच, जानकारी को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि <math>\mathbb{X}</math> सभी संदेशों का सेट है {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}} वह {{math|''X''}} हो सकता है, और {{math|''p''(''x'')}} कुछ की संभावना है <math>x \in \mathbb X</math>, फिर एन्ट्रापी, {{math|''H''}}, का {{math|''X''}} परिभषित किया:<ref name="Reza">{{cite book | title = सूचना सिद्धांत का एक परिचय| author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8}}</ref>
+यदि कोई 1000 बिट्स (0s और 1s) प्रसारित करता है और इनमें से प्रत्येक बिट का मान संचार से पहले रिसीवर को ज्ञात है तो यह स्पष्ट है कि कोई सूचना प्रसारित नहीं होती है। हालाँकि, यदि प्रत्येक बिट स्वतंत्र रूप से 0 या 1 होने की समान रूप से संभावना है, तो 1000 शैनन सूचना (जिसे प्रायः बिट्स कहा जाता है) प्रसारित की गई है। इन दो वेरिएबल सीमाओं के बीच सूचना को निम्नानुसार मात्राबद्ध किया जा सकता है। यदि <math>\mathbb{X}</math> सभी संदेशों का समूह {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}} है तब वह {{math|''X''}} हो सकता है जहां {{math|''p''(''x'')}} की संभावना <math>x \in \mathbb X</math> है और एन्ट्रापी {{math|''H''}} को {{math|''X''}} द्वारा रिभषित किया है:<ref name="Reza">{{cite book | title = सूचना सिद्धांत का एक परिचय| author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8}}</ref>
 :<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>
-(यहां, {{math|''I''(''x'')}} स्वयं-सूचना है, जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है, और <math>\mathbb{E}_X</math> [[अपेक्षित मूल्य]] है।) एन्ट्रापी की एक संपत्ति यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्य {{math|1=''p''(''x'') = 1/''n''}} हैं यानी सबसे अप्रत्याशित स्थिति में {{math|1=''H''(''X'') = log ''n''}}
+यहां, {{math|''I''(''x'')}} स्व-सूचना है जो एक व्यक्तिगत संदेश का एन्ट्रापी योगदान है और <math>\mathbb{E}_X</math> अपेक्षित मान है। एन्ट्रापी की एक विशेषता यह है कि यह तब अधिकतम होती है जब सभी संदेश स्थान में संदेश समसंभाव्यता {{math|1=''p''(''x'') = 1/''n''}} होती है। अर्थात अप्रत्याशित स्थिति में {{math|1=''H''(''X'') = log ''n''}} है। दो परिणामों वाले यादृच्छिक वेरिएबल के लिए सूचना एन्ट्रॉपी की विशेष स्थिति बाइनरी एन्ट्रॉपी है जिसे सामान्यतः लघुगणक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:
-दो परिणामों वाले यादृच्छिक वेरिएबल के लिए सूचना एन्ट्रॉपी का विशेष मामला बाइनरी एन्ट्रॉपी फ़ंक्शन है, जिसे सामान्यतः लॉगरिदमिक आधार 2 पर ले जाया जाता है, इस प्रकार शैनन (श) को इकाई के रूप में रखा जाता है:
 :<math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).</math>
-=== संयुक्त एन्ट्रापी ===
+=== संयुक्त (जॉइंट) एन्ट्रापी ===
-दो असतत यादृच्छिक वेरिएबल {{math|''X''}} और {{math|''Y''}} की संयुक्त एन्ट्रापी केवल उनकी जोड़ी {{math|(''X'', ''Y'')}} की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि {{math|''X''}} और {{math|''Y''}} स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है।
+दो असतत यादृच्छिक वेरिएबल {{math|''X''}} और {{math|''Y''}} की संयुक्त एन्ट्रापी केवल उनके युग्म {{math|(''X'', ''Y'')}} की एन्ट्रापी है। इसका तात्पर्य यह है कि यदि {{math|''X''}} और {{math|''Y''}} स्वतंत्र हैं, तो उनकी संयुक्त एन्ट्रापी उनकी व्यक्तिगत एन्ट्रापी का योग है। उदाहरण के लिए यदि {{math|(''X'', ''Y'')}} शतरंज के भाग की स्थिति को दर्शाता है:
-उदाहरण के लिए, यदि (X, Y) शतरंज के मोहरे की स्थिति को दर्शाता है
 :<math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math>
-समान संकेतन के बावजूद, संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जाना चाहिए।
+समान संकेतन के अतिरिक्त संयुक्त एन्ट्रॉपी को क्रॉस-एंट्रॉपी के साथ भ्रमित नहीं किया जा सकता है।
-=== सशर्त एन्ट्रापी (समीकरण) ===
+=== सशर्त एन्ट्रापी समीकरण ===
-यादृच्छिक वेरिएबल Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y के बारे में X का समीकरण भी कहा जाता है) {{math|''Y''}} पर औसत सशर्त एन्ट्रॉपी है:<ref name="Ash">{{cite book | title = सूचना सिद्धांत| author = Robert B. Ash | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16}}</ref>
+यादृच्छिक वेरिएबल Y दिए गए X की सशर्त एन्ट्रॉपी या सशर्त अनिश्चितता (जिसे Y में X का समीकरण भी कहा जाता है) {{math|''Y''}} पर औसत सशर्त एन्ट्रॉपी है:<ref name="Ash">{{cite book | title = सूचना सिद्धांत| author = Robert B. Ash | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16}}</ref>
 :<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math>
-चूँकि एन्ट्रापी को एक यादृच्छिक वेरिएबल पर या उस यादृच्छिक वेरिएबल पर एक निश्चित मूल्य पर वातानुकूलित किया जा सकता है, इसलिए इस बात का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल संपत्ति यह है:
+चूँकि एन्ट्रापी को एक यादृच्छिक वेरिएबल पर या उस यादृच्छिक वेरिएबल पर एक निश्चित मान पर वर्णित किया जा सकता है। इसलिए इस विषय का ध्यान रखा जाना चाहिए कि सशर्त एन्ट्रापी की इन दो परिभाषाओं को भ्रमित न करें, जिनमें से पहला अधिक सामान्य उपयोग में है। सशर्त एन्ट्रापी के इस रूप की एक मूल विशेषता है:
 : <math> H(X|Y) = H(X,Y) - H(Y) .\,</math>
-===पारस्परिक जानकारी (रूपांतरण)===
+===पारस्परिक (म्यूच्यूअल) सूचना===
-पारस्परिक जानकारी उस जानकारी की मात्रा को मापती है जो एक यादृच्छिक वेरिएबल के बारे में दूसरे को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई जानकारी की मात्रा को अधिकतम करने के लिए किया जा सकता है। {{math|''Y''}} के सापेक्ष {{math|''X''}} की पारस्परिक जानकारी इस प्रकार दी गई है:
+पारस्परिक सूचना उस सूचना की मात्रा को मापती है जो एक यादृच्छिक वेरिएबल में दूसरे वेरिएबल को देखकर प्राप्त की जा सकती है। यह संचार में महत्वपूर्ण है जहां इसका उपयोग भेजे गए और प्राप्त संकेतों के बीच साझा की गई सूचना की मात्रा को अधिकतम करने के लिए किया जा सकता है। सामान्यतः {{math|''Y''}} के सापेक्ष {{math|''X''}} की पारस्परिक सूचना इस प्रकार दी गई है:
 :<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
-कहाँ पे {{math|SI}} (विशिष्ट पारस्परिक सूचना) बिन्दुवार परस्पर सूचना है।
+जहाँ {{math|SI}} विशिष्ट पारस्परिकर सूचना है।
-आपसी जानकारी की एक मूल संपत्ति यह है
+पारस्परिक सूचना की एक मूल विशेषता है:
 : <math>I(X;Y) = H(X) - H(X|Y).\,</math>
-अर्थात्, Y को जानने से, हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन {{math|''I''(''X''; ''Y'')}} बिट्स बचा सकते हैं।
+अर्थात्, Y को जानने से हम Y को न जानने की तुलना में एन्कोडिंग X में औसतन {{math|''I''(''X''; ''Y'')}} बिट्स को सुरक्षित कर सकते हैं।
-पारस्परिक जानकारी सममित कार्य है:
+पारस्परिक सूचना सममित है:
 : <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>
-पारस्परिक जानकारी को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:
+पारस्परिक सूचना को Y के मान और X पर पूर्व वितरण को देखते हुए X के पश्च संभाव्यता वितरण के बीच औसत कुल्बैक-लीब्लर विचलन (सूचना लाभ) के रूप में व्यक्त किया जा सकता है:
 : <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>
-दूसरे शब्दों में, यह इस बात का माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना बदल जाएगा। इसे अक्सर सीमांत वितरण के उत्पाद से वास्तविक संयुक्त तक विचलन के रूप में पुनर्गणना किया जाता है।
+दूसरे शब्दों में यह इस विषय की माप है कि यदि हमें Y का मान दिया जाए तो X पर प्रायिकता वितरण औसतन कितना परिवर्तित हो सकता है। इसे प्रायः सीमांत वितरण के उत्पाद से वास्तविक संयुक्त विवरण तक विचलन के रूप में पुनर्निर्मित किया जाता है:
 : <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>
-आपसी जानकारी आकस्मिक तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण से निकटता से संबंधित है और पियर्सन के χ<sup>2</sup> परीक्षण के लिए आपसी जानकारी को वेरिएबल की एक जोड़ी के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है और इसमें एक अच्छी तरह से निर्दिष्ट एसिम्प्टोटिक वितरण होता है।
+पारस्परिक सूचना कई तालिकाओं और बहुपद वितरण के संदर्भ में लॉग-संभावना अनुपात परीक्षण की निकटता से संबंधित है और पियर्सन के χ<sup>2</sup> परीक्षण के लिए पारस्परिक सूचना को वेरिएबल के एक युग्म के बीच स्वतंत्रता का आकलन करने के लिए एक आँकड़ा माना जा सकता है। सामान्यतः इसमें अपेक्षाकृत एक निर्दिष्ट एसिम्प्टोटिक (अंतर्निहित) वितरण होता है।
 ===कुलबैक-लीब्लर विचलन (सूचना लाभ)===
-कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ, या सापेक्ष एन्ट्रॉपी) दो वितरणों एक "सही" संभाव्यता वितरण {{tmath|p(X)}} और एक मनमाना संभाव्यता वितरण {{tmath|q(X)}} की तुलना करने का एक तरीका है। अगर यदि हम डेटा को इस तरह से संपीड़ित करते हैं कि मान लेते हैं कि {{tmath|q(X)}} कुछ डेटा में अंतर्निहित वितरण है, जब, वास्तव में {{tmath|p(X)}} सही वितरण है, तो कुल्बैक-लीबलर विचलन प्रति डेटाम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है कंप्रेशन. इसे इस प्रकार परिभाषित किया गया है:
+कुल्बैक-लीबलर विचलन (या सूचना विचलन, सूचना लाभ या सापेक्ष एन्ट्रॉपी) दो वितरणों मे संभाव्यता वितरण {{tmath|p(X)}} और एक संभाव्यता वितरण {{tmath|q(X)}} की तुलना करने का सामान्य प्रकार है। यदि हम आंकड़ा को इस प्रकार से संपीड़ित करते हैं कि {{tmath|q(X)}} कुछ डेटा में अंतर्निहित वितरण है जब वास्तव में {{tmath|p(X)}} सही वितरण है तो कुल्बैक-लीबलर विचलन प्रति डेटम के लिए आवश्यक औसत अतिरिक्त बिट्स की संख्या है। सामान्यतः जिसको इस प्रकार परिभाषित किया गया है:
 :<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
-हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है, केएल विचलन एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है (इसे अर्ध-क्वासिमेट्रिक बनाता है)।
+हालाँकि इसे कभी-कभी 'दूरी मीट्रिक' के रूप में उपयोग किया जाता है जो केएल विचलन की एक वास्तविक मीट्रिक नहीं है क्योंकि यह सममित नहीं है और त्रिकोण असमानता को संतुष्ट नहीं करता है और इसे अर्ध-क्वासिमेट्रिक बनाता है। कुल्बैक-लीबलर विचलन की एक अन्य व्याख्या को कुल्बैक-लीबलर से पूर्व प्रस्तुत किया गया था माना कि एक संख्या X संभाव्यता वितरण {{tmath|p(x)}} के साथ एक अलग समूह से यादृच्छिक रूप '''से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितर'''ण {{tmath|p(x)}} पता है, जबकि बॉब का मानना है (पहले से है) कि वितरण {{tmath|q(x)}} है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्वेरिएबल्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्वेरिएबल्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्वेरिएबल्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्वेरिएबल्यचकित" होने की उम्मीद है।
-केएल विचलन की एक अन्य व्याख्या सत्य से पूर्व द्वारा पेश किया गया "अनावश्यक आश्वेरिएबल्य" है, मान लीजिए कि एक संख्या एक्स संभाव्यता वितरण {{tmath|p(x)}} के साथ एक अलग सेट से यादृच्छिक रूप से खींची जाने वाली है। यदि ऐलिस को वास्तविक वितरण {{tmath|p(x)}} पता है, जबकि बॉब का मानना है (पहले से है) कि वितरण {{tmath|q(x)}} है, तो बॉब, औसतन, X का मान देखकर, ऐलिस की तुलना में अधिक आश्वेरिएबल्यचकित होगा। केएल विचलन बॉब के (व्यक्तिपरक) आश्वेरिएबल्य का (उद्देश्य) अपेक्षित मूल्य ऐलिस के आश्वेरिएबल्य को घटाकर है, यदि लॉग आधार 2 में है तो बिट्स में मापा जाता है। इस तरह, बॉब का पूर्व "गलत" किस हद तक "गलत" है, इसकी मात्रा निर्धारित की जा सकती है। अनावश्यक रूप से आश्वेरिएबल्यचकित" होने की उम्मीद है।
-=== [[निर्देशित जानकारी]] ===
+=== [[निर्देशित जानकारी|निर्देशित सूचना]] ===
-निर्देशित जानकारी, <math>I(X^n\to Y^n) </math>, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है <math>X^n = \{X_1,X_2,\dots,X_n\}</math> यादृच्छिक प्रक्रिया के लिए <math>Y^n = \{Y_1,Y_2,\dots,Y_n\}</math>. निर्देशित सूचना शब्द [[जेम्स मैसी]] द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है
+निर्देशित सूचना, <math>I(X^n\to Y^n) </math>, एक सूचना सिद्धांत उपाय है जो यादृच्छिक प्रक्रिया से सूचना प्रवाह की मात्रा निर्धारित करता है <math>X^n = \{X_1,X_2,\dots,X_n\}</math> यादृच्छिक प्रक्रिया के लिए <math>Y^n = \{Y_1,Y_2,\dots,Y_n\}</math>. निर्देशित सूचना शब्द [[जेम्स मैसी]] द्वारा गढ़ा गया था और इसे इस रूप में परिभाषित किया गया है
 :<math>I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math>,
-कहाँ पे <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी]] है
+कहाँ पे <math>I(X^{i};Y_i|Y^{i-1})</math> [[सशर्त पारस्परिक जानकारी|सशर्त पारस्परिक सूचना]] है
 <math>I(X_1,X_2,...,X_{i};Y_i|Y_1,Y_2,...,Y_{i-1})</math>.
-पारस्परिक जानकारी से भिन्न, निर्देशिका जानकारी सममित नहीं है। <math>I(X^n\to Y^n) </math> h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं <math>X^n</math> प्रति <math>Y^n</math>. निर्देशित जानकारी में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,<ref>{{cite journal|last1=Massey|first1=James|title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990|issue=ISITA|citeseerx=10.1.1.36.5688}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> प्रतिक्रिया के साथ असतत [[स्मृतिहीन]] नेटवर्क की क्षमता,<ref>{{cite journal|last1=Kramer|first1=G.|title=असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1|pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> कारण पक्ष की जानकारी के साथ [[जुआ]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim|first2=Young-Han|last3=Weissman|first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6|pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872|s2cid=11722596}}</ref> कारण पक्ष की जानकारी के साथ डेटा कंप्रेशन,<ref>{{cite journal|last1=Simeone|first1=Osvaldo|last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013|volume=59|issue=6|pages=3607–3618|doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref>
+पारस्परिक सूचना से भिन्न, निर्देशिका सूचना सममित नहीं है। <math>I(X^n\to Y^n) </math> h> उन सूचना बिट्स को मापता है जो से कारणात्मक रूप से प्रसारित होते हैं <math>X^n</math> प्रति <math>Y^n</math>. निर्देशित सूचना में समस्याओं में कई अनुप्रयोग होते हैं जहाँ कारणता एक महत्वपूर्ण भूमिका निभाती है जैसे फीडबैक के साथ चैनल क्षमता,<ref>{{cite journal|last1=Massey|first1=James|title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990|issue=ISITA|citeseerx=10.1.1.36.5688}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> प्रतिक्रिया के साथ असतत [[स्मृतिहीन]] नेटवर्क की क्षमता,<ref>{{cite journal|last1=Kramer|first1=G.|title=असतत मेमोरीलेस नेटवर्क के लिए क्षमता परिणाम|journal=IEEE Transactions on Information Theory|date=January 2003|volume=49|issue=1|pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> कारण पक्ष की सूचना के साथ [[जुआ]],<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim|first2=Young-Han|last3=Weissman|first3=Tsachy|title=पोर्टफोलियो सिद्धांत, डेटा संपीड़न, और परिकल्पना परीक्षण में निर्देशित सूचना की व्याख्या|journal=IEEE Transactions on Information Theory|date=June 2011|volume=57|issue=6|pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872|s2cid=11722596}}</ref> कारण पक्ष की सूचना के साथ डेटा कंप्रेशन,<ref>{{cite journal|last1=Simeone|first1=Osvaldo|last2=Permuter|first2=Haim Henri|title=स्रोत कोडिंग जब साइड सूचना में देरी हो सकती है|journal=IEEE Transactions on Information Theory|date=June 2013|volume=59|issue=6|pages=3607–3618|doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref>
 और रीयल-टाइम नियंत्रण संचार सेटिंग में,<ref>{{cite journal|last1=Charalambous|first1=Charalambos D.|last2=Stavrou|first2=Photios A.|title=सार रिक्त स्थान पर निर्देशित सूचना: गुण और परिवर्तनशील समानताएँ|journal=IEEE Transactions on Information Theory|date=August 2016|volume=62|issue=11|pages=6019–6052|doi=10.1109/TIT.2016.2604846|arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=न्यूनतम निर्देशित सूचना के साथ LQG नियंत्रण: अर्ध निश्चित प्रोग्रामिंग दृष्टिकोण|journal=IEEE Transactions on Automatic Control |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618|s2cid=1401958 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a |arxiv=1510.04214 }}</ref> सांख्यिकीय भौतिकी।<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=जुआ और माप-आधारित कार्य निष्कर्षण के बीच सादृश्य|journal=Journal of Statistical Mechanics: Theory and Experiment |date=20 April 2016 |volume=2016 |issue=4 |pages=043403 |doi=10.1088/1742-5468/2016/04/043403|arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237 }}</ref>
 ===अन्य मात्राएं===
-अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए जानकारी की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक जानकारी सम्मिलित है। साथ ही, निर्णय लेने में कितनी जानकारी का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक जानकारी का प्रस्ताव किया गया है।
+अन्य महत्वपूर्ण सूचना सैद्धांतिक मात्राओं में रेनी एन्ट्रॉपी (एंट्रॉपी का एक सामान्यीकरण), अंतर एन्ट्रॉपी (निरंतर वितरण के लिए सूचना की मात्रा का सामान्यीकरण), और सशर्त पारस्परिक सूचना सम्मिलित है। साथ ही, निर्णय लेने में कितनी सूचना का उपयोग किया गया है, इसके माप के रूप में व्यावहारिक सूचना का प्रस्ताव किया गया है।
 == कोडिंग सिद्धांत ==
@@ Line 123: / Line 115: @@
 * त्रुटि-सुधार कोड (चैनल कोडिंग): जबकि डेटा कंप्रेशन जितना संभव हो उतना अतिरेक को हटा देता है, एक त्रुटि-सुधार कोड केवल सही प्रकार की अतिरेक (यानी, त्रुटि सुधार) जोड़ता है जो डेटा को कुशलतापूर्वक और ईमानदारी से एक ध्वनि चैनल में प्रसारित करने के लिए आवश्यक है। .
-कंप्रेशन और संचार में कोडिंग सिद्धांत का यह विभाजन सूचना संचार प्रमेय, या सोर्स-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में जानकारी के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, संचार के बाद कंप्रेशन अब इष्टतम नहीं हो सकता है।
+कंप्रेशन और संचार में कोडिंग सिद्धांत का यह विभाजन सूचना संचार प्रमेय, या सोर्स-चैनल पृथक्करण प्रमेय द्वारा उचित है जो कई संदर्भों में सूचना के लिए सार्वभौमिक मुद्रा के रूप में बिट्स के उपयोग को उचित ठहराता है। हालाँकि, ये प्रमेय केवल उस स्थिति में प्रयुक्त होते हैं जहाँ एक संचारण उपयोगकर्ता एक प्राप्तकर्ता उपयोगकर्ता से संवाद करना चाहता है। एक से अधिक ट्रांसमीटर (मल्टीपल-एक्सेस चैनल), एक से अधिक रिसीवर (प्रसारण चैनल) या मध्यस्थ "सहायक" (रिले चैनल), या अधिक सामान्य नेटवर्क वाले परिदृश्यों में, संचार के बाद कंप्रेशन अब इष्टतम नहीं हो सकता है।
 === सोर्स सिद्धांत ===
@@ Line 139: / Line 131: @@
 सूचना दर के रूप में परिभाषित किया गया है
 :<math>r = \lim_{n \to \infty} \frac{1}{n} I(X_1, X_2, \dots X_n;Y_1,Y_2, \dots Y_n);</math>
-सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब जानकारी का सोर्स अंग्रेजी गद्य है। सूचना के सोर्स की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह सोर्स कोडिंग का विषय है।
+सूचना सिद्धांत में किसी भाषा की "दर" या "एन्ट्रॉपी" के बारे में बात करना आम बात है। यह उचित है, उदाहरण के लिए, जब सूचना का सोर्स अंग्रेजी गद्य है। सूचना के सोर्स की दर उसकी अतिरेक से संबंधित है और इसे कितनी अच्छी तरह संपीड़ित किया जा सकता है, यह सोर्स कोडिंग का विषय है।
 === चैनल क्षमता ===
@@ Line 150: / Line 142: @@
 \xrightarrow[\text{Message}]{W}
 \begin{array}{ |c| }\hline \text{Encoder} \\ f_n \\ \hline\end{array} \xrightarrow[\mathrm{Encoded \atop sequence}]{X^n} \begin{array}{ |c| }\hline \text{Channel} \\ p(y|x) \\ \hline\end{array} \xrightarrow[\mathrm{Received \atop sequence}]{Y^n} \begin{array}{ |c| }\hline \text{Decoder} \\ g_n \\ \hline\end{array} \xrightarrow[\mathrm{Estimated \atop message}]{\hat W}</math>
-यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि {{math|''p''(''y''{{pipe}}''x'')}} X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम {{math|''p''(''y''{{pipe}}''x'')}} को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के ध्वनि की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और {{math|''f''(''x'')}} की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक जानकारी है, और इस अधिकतम पारस्परिक जानकारी को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:
+यहां X प्रेषित संदेशों के स्थान का प्रतिनिधित्व करता है, और Y हमारे चैनल पर एक इकाई समय के दौरान प्राप्त संदेशों के स्थान का प्रतिनिधित्व करता है। मान लीजिए कि {{math|''p''(''y''{{pipe}}''x'')}} X दिए गए Y का सशर्त संभाव्यता वितरण फ़ंक्शन है। हम {{math|''p''(''y''{{pipe}}''x'')}} को हमारे संचार चैनल की अंतर्निहित निश्चित संपत्ति (हमारे चैनल के ध्वनि की प्रकृति का प्रतिनिधित्व) के रूप में मानेंगे। फिर X और Y का संयुक्त वितरण पूरी तरह से हमारे चैनल और {{math|''f''(''x'')}} की हमारी पसंद से निर्धारित होता है, संदेशों का सीमांत वितरण जिसे हम चैनल पर भेजना चुनते हैं। इन बाधाओं के तहत, हम सूचना या सिग्नल की दर को अधिकतम करना चाहेंगे, जिसे हम चैनल पर संचार कर सकते हैं। इसके लिए उपयुक्त माप पारस्परिक सूचना है, और इस अधिकतम पारस्परिक सूचना को चैनल क्षमता कहा जाता है और इसे निम्न द्वारा दिया जाता है:
 :<math> C = \max_{f} I(X;Y).\! </math>
 इस क्षमता में सूचना दर आर (जहां आर सामान्यतः प्रति प्रतीक बिट्स है) पर संचार करने से संबंधित निम्नलिखित संपत्ति है। किसी भी सूचना दर R < C और कोडिंग त्रुटि ε > 0 के लिए, पर्याप्त बड़े N के लिए, लंबाई N और दर ≥ R का एक कोड और एक डिकोडिंग एल्गोरिदम मौजूद है, जैसे कि ब्लॉक त्रुटि की अधिकतम संभावना ≤ ε है; अर्थात्, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना हमेशा संभव होता है। इसके अलावा, किसी भी दर R > C के लिए, मनमाने ढंग से छोटी ब्लॉक त्रुटि के साथ संचारित करना असंभव है।
@@ Line 161: / Line 153: @@
 ::[[File:Binary symmetric channel.svg]]
-::इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में जानकारी के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।
+::इरेज़र प्रोबेबिलिटी पी वाला एक बाइनरी इरेज़र चैनल (बीईसी) एक बाइनरी इनपुट, टर्नरी आउटपुट चैनल है। संभावित चैनल आउटपुट 0, 1 और एक तीसरा प्रतीक 'ई' है जिसे इरेज़र कहा जाता है। मिटाना एक इनपुट बिट के बारे में सूचना के पूर्ण नुकसान को दर्शाता है। बीईसी की क्षमता प्रति चैनल उपयोग 1 - पी बिट्स है।
 ::[[File:Binary erasure channel.svg]]
-==== स्मृति और निर्देशित जानकारी वाले चैनल ====
+==== स्मृति और निर्देशित सूचना वाले चैनल ====
 व्यवहार में कई चैनलों में मेमोरी होती है। अर्थात्, समय पर <math> i </math> चैनल सशर्त संभाव्यता द्वारा दिया गया है <math> P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1). </math>.
 अंकन का उपयोग करना अक्सर अधिक आरामदायक होता है <math> x^i=(x_i,x_{i-1},x_{i-2},...,x_1) </math> और चैनल बन गया <math> P(y_i|x^i,y^{i-1}). </math>.
-ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित जानकारी पारस्परिक जानकारी के बराबर होती है)।<ref>{{cite journal |last1=Massey |first1=James L. |title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990 |citeseerx=10.1.1.36.5688 }}</ref><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref>
+ऐसे मामले में क्षमता पारस्परिक सूचना दर द्वारा दी जाती है जब कोई प्रतिक्रिया उपलब्ध नहीं होती है और उस स्थिति में निर्देशित सूचना दर दी जाती है जब या तो प्रतिक्रिया होती है या नहीं (यदि कोई प्रतिक्रिया नहीं है तो निर्देशित सूचना पारस्परिक सूचना के बराबर होती है)।<ref>{{cite journal |last1=Massey |first1=James L. |title=करणीय, प्रतिक्रिया और निर्देशित जानकारी|date=1990 |citeseerx=10.1.1.36.5688 }}</ref><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=समय-अपरिवर्तनीय नियतात्मक प्रतिक्रिया के साथ परिमित राज्य चैनल|journal=IEEE Transactions on Information Theory |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref>
 == अन्य क्षेत्रों के लिए आवेदन ==
@@ Line 178: / Line 170: @@
 सूचना सिद्धांत हमें यह विश्वास दिलाता है कि रहस्यों को छिपाकर रखना पहले दिखने की तुलना में कहीं अधिक कठिन है। एक क्रूर बल का हमला असममित कुंजी एल्गोरिदम या ब्लॉक सिफर जैसे सममित कुंजी एल्गोरिदम (कभी-कभी गुप्त कुंजी एल्गोरिदम कहा जाता है) के सबसे अधिक इस्तेमाल किए जाने वाले तरीकों पर आधारित सिस्टम को तोड़ सकता है। ऐसे सभी तरीकों की सुरक्षा इस धारणा से आती है कि कोई भी ज्ञात हमला व्यावहारिक समय में उन्हें तोड़ नहीं सकता है।
-[[सूचना सैद्धांतिक सुरक्षा]] का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक जानकारी उचित संवेरिएबलण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक जानकारी शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तवेरिएबल सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से प्रयुक्त करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।
+[[सूचना सैद्धांतिक सुरक्षा]] का तात्पर्य वन-टाइम पैड जैसे तरीकों से है जो ऐसे क्रूर बल के हमलों के प्रति संवेदनशील नहीं हैं। ऐसे मामलों में, प्लेनटेक्स्ट और सिफरटेक्स्ट (कुंजी पर वातानुकूलित) के बीच सकारात्मक सशर्त पारस्परिक सूचना उचित संवेरिएबलण सुनिश्चित कर सकती है, जबकि प्लेनटेक्स्ट और सिफरटेक्स्ट के बीच बिना शर्त पारस्परिक सूचना शून्य रहती है, जिसके परिणामस्वरूप बिल्कुल सुरक्षित संचार होता है। दूसरे शब्दों में, एक गुप्तवेरिएबल सिफरटेक्स्ट का ज्ञान प्राप्त करके, लेकिन कुंजी का नहीं, सादेटेक्स्ट के अपने अनुमान को सुधारने में सक्षम नहीं होगा। हालाँकि, किसी भी अन्य क्रिप्टोग्राफ़िक प्रणाली की तरह, सूचना-सैद्धांतिक रूप से सुरक्षित तरीकों को भी सही ढंग से प्रयुक्त करने के लिए देखभाल का उपयोग किया जाना चाहिए, वेनोना परियोजना प्रमुख सामग्री के अनुचित पुन: उपयोग के कारण सोवियत संघ के एक बार के पैड को क्रैक करने में सक्षम थी।
 === छद्म आयामी संख्या पीढ़ी ===
@@ Line 188: / Line 180: @@
 सांकेतिकतावादी डोएडे नौटा और विनफ्राइड नोथ दोनों ने चार्ल्स सैंडर्स पीयर्स को सांकेतिकता पर अपने कार्यों में सूचना का एक सिद्धांत बनाने वाला माना। नौटा ने लाक्षणिक सूचना सिद्धांत को "कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं" के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972">{{cite book |last1=Nauta |first1=Doede |title=सूचना का अर्थ|date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref>{{rp|171}}<ref name="Nöth 2012">{{cite journal |last1=Nöth |first1=Winfried |title=चार्ल्स एस. पियर्स की सूचना का सिद्धांत: प्रतीकों और ज्ञान के विकास का सिद्धांत|journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</रेफरी>{{rp|137}} नौटा ने सांकेतिक सूचना सिद्धांत को कोडिंग, फ़िल्टरिंग और सूचना प्रसंस्करण की आंतरिक प्रक्रियाओं के अध्ययन के रूप में परिभाषित किया।<ref name="Nauta 1972"/>{{rp|91}}
 अतिरेक और कोड नियंत्रण जैसे सूचना सिद्धांत की अवधारणाओं का उपयोग अम्बर्टो इको और :it:Ferruccio Rossi-Landi|Ferruccio Rossi-Landi जैसे लाक्षणिकों द्वारा विचारधारा को संदेश संचरण के एक रूप के रूप में समझाने के लिए किया गया है जिससे एक प्रमुख सामाजिक वर्ग अपने संदेश का उत्सर्जन करता है उन संकेतों का उपयोग करना जो उच्च स्तर की अतिरेक प्रदर्शित करते हैं जैसे कि प्रतिस्पर्धी लोगों के चयन के बीच केवल एक संदेश को डिकोड किया जाता है।<ref>Nöth, Winfried (1981). "[https://kobra.uni-kassel.de/bitstream/handle/123456789/2014122246977/semi_2004_002.pdf?sequence=1&isAllowed=y Semiotics of ideology]". ''Semiotica'', Issue 148.</ref>
-=== तंत्रिका जानकारी का एकीकृत प्रक्रिया संगठन ===
+=== तंत्रिका सूचना का एकीकृत प्रक्रिया संगठन ===
-संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका जानकारी के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को प्रयुक्त किया गया है।<ref>Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526</ref> इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर ([[गेराल्ड एडेलमैन]] और [[गिउलिओ टोनोनी]] के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)<ref>Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.</ref>) या प्रभावी जानकारी (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।<ref>Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.</ref><ref>Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.</ref><ref>Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.</ref>), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और [[बायेसियन मस्तिष्क]] परिकल्पना<ref>Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.</ref><ref>Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.</ref><ref>Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.</ref><ref>Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.</ref><ref>Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.</ref>)।
+संज्ञानात्मक तंत्रिका विज्ञान में बाध्यकारी समस्या के संदर्भ में तंत्रिका सूचना के एकीकृत प्रक्रिया संगठन का विश्लेषण करने के लिए संज्ञानात्मक विज्ञान में मात्रात्मक सूचना सैद्धांतिक तरीकों को प्रयुक्त किया गया है।<ref>Maurer, H. (2021). Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism. CRC Press, Boca Raton/FL, chap. 10, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526</ref> इस संदर्भ में, या तो एक सूचना-सैद्धांतिक उपाय, जैसे कि कार्यात्मक क्लस्टर ([[गेराल्ड एडेलमैन]] और [[गिउलिओ टोनोनी]] के कार्यात्मक क्लस्टरिंग मॉडल और गतिशील कोर परिकल्पना (डीसीएच)<ref>Edelman, G.M. and G. Tononi (2000). A Universe of Consciousness: How Matter Becomes Imagination. Basic Books, New York.</ref>) या प्रभावी सूचना (टोनोनी की चेतना की एकीकृत सूचना सिद्धांत (आईआईटी)।<ref>Tononi, G. and O. Sporns (2003). Measuring information integration. BMC Neuroscience 4: 1-20.</ref><ref>Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience 5: 1-22.</ref><ref>Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. In: G. Adelman and B. Smith [eds.]: Encyclopedia of Neuroscience. 3rd Ed. Elsevier, Amsterdam, Oxford.</ref>), परिभाषित किया गया है (एक पुनर्प्रवेश प्रक्रिया संगठन के आधार पर, यानी न्यूरोनल आबादी के समूहों के बीच न्यूरोफिज़ियोलॉजिकल गतिविधि का सिंक्रनाइज़ेशन), या सांख्यिकीय तरीकों के आधार पर मुक्त ऊर्जा को कम करने का उपाय ( कार्ल जे. फ्रिस्टन का मुक्त ऊर्जा सिद्धांत (एफईपी), एक सूचना-सैद्धांतिक उपाय है जो बताता है कि स्व-संगठित प्रणाली में प्रत्येक अनुकूली परिवर्तन से मुक्त ऊर्जा कम हो जाती है, और [[बायेसियन मस्तिष्क]] परिकल्पना<ref>Friston, K. and K.E. Stephan (2007). Free-energy and the brain. Synthese 159: 417-458.</ref><ref>Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience 11: 127-138.</ref><ref>Friston, K., M. Breakstear and G. Deco (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience 6: 1-19.</ref><ref>Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface 10: 20130475.</ref><ref>Kirchhoff, M., T. Parr, E. Palacios, K. Friston and J. Kiverstein. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface 15: 20170792.</ref>)।
 === विविध अनुप्रयोग ===

Anonymous

Search