सूचना में अस्थिरता जटिलता

सूचना में अस्थिरता जटिलता सूचना सैद्धांतिक मात्रा है जिसे एन्ट्रॉपी (सूचना सिद्धांत) के बारे में जानकारी के अस्थिरता के रूप में परिभाषित किया गया है। यह गतिशील प्रणाली में व्यवस्था और अराजकता की प्रबलता में अस्थिरता से व्युत्पन्न है और इसका उपयोग कई विविध क्षेत्रों में जटिलता के माप के रूप में किया गया है। इसे बेट्स और शेपर्ड द्वारा 1993 के पेपर में प्रस्तुत किया गया था।

परिभाषा

असतत गतिशील प्रणाली की सूचना में अस्थिरता की जटिलता स्तिथि की संभाव्यता वितरण का फलन है जब यह यादृच्छिक बाहरी इनपुट डेटा के अधीन होता है। प्रणाली को समृद्ध सूचना स्रोत जैसे कि यादृच्छिक संख्या जनरेटर या श्वेत रव सिग्नल के साथ चलाने का उद्देश्य प्रणाली की आंतरिक गतिशीलता का परीक्षण करना है, जैसे सिग्नल प्रोसेसिंग में आवृत्ति-समृद्ध आवेग का उपयोग किया जाता है।

यदि कोई प्रणाली ${\textstyle N}$ है संभावित स्थितियाँ ${\textstyle p_{i}}$ज्ञात हैं, तो इसकी सूचना एन्ट्रापी है:

$\mathrm {H} =\sum _{i=1}^{N}p_{i}I_{i}=-\sum _{i=1}^{N}p_{i}\log p_{i},$

जहाँ ${\textstyle I_{i}=-\log p_{i}}$ स्तिथि की सूचना सामग्री ${\textstyle i}$ है।

प्रणाली की सूचना अस्थिरता जटिलता को मानक विचलन या अस्थिरता के रूप में परिभाषित किया गया है ${\textstyle I}$ माध्य के बारे में ${\textstyle \mathrm {H} }$ इस प्रकार है:

$\sigma _{I}={\sqrt {\sum _{i=1}^{N}p_{i}(I_{i}-\mathrm {H} )^{2}}}={\sqrt {\sum _{i=1}^{N}p_{i}I_{i}^{2}-\mathrm {H} ^{2}}}$

या

$\sigma _{I}={\sqrt {\sum _{i=1}^{N}p_{i}\log ^{2}p_{i}-{\Biggl (}\sum _{i=1}^{N}p_{i}\log p_{i}{\Biggr )}^{2}}}.$

स्तिथि की जानकारी में अस्थिरता $\sigma _{I}$ सभी के साथ अधिकतम अव्यवस्थित प्रणाली में शून्य है प्रणाली अपने यादृच्छिक इनपुट $p_{i}=1/N$ को कॉपी करता है। जब प्रणाली केवल निश्चित स्थिति के साथ सम्पूर्ण रूप से व्यवस्थित होता है, तो $\sigma _{I}$ भी शून्य होता है $(p_{1}=1)$, इनपुट को ध्यान किए बिना $\sigma _{I}$ इन दो शीर्ष सीमाओं के मध्य उच्च-संभावना वाली स्तिथि और निम्न-संभावना वाली स्तिथि के मिश्रण के साथ स्थान को संपन्न करने वाला अशून्य है।

सूचना की अस्थिरता मेमोरी और गणना की अनुमति देता है

जैसे-जैसे जटिल गतिशील प्रणाली समय के साथ विकसित होती है, यह स्थितियों के मध्य कैसे परिवर्तन करती है यह अनियमित विधियों से बाहरी उत्तेजनाओं पर निर्भर करता है। कभी-कभी यह बाहरी उत्तेजनाओं के प्रति अधिक संवेदनशील (अस्थिर) हो सकता है और कभी-कभी कम संवेदनशील (स्थिर) हो सकता है। यदि किसी विशेष स्तिथि में कई संभावित स्तिथि हैं, तो बाहरी जानकारी यह निर्धारित करती है कि कौन सा अगला होगा और प्रणाली स्थान में विशेष प्रक्षेपवक्र का पालन करके उस जानकारी को प्राप्त करता है। किंतु यदि कई भिन्न-भिन्न स्थितियां एक ही स्थितियों की ओर ले जाते हैं, तो नेक्स्ट स्तिथि में प्रवेश करने पर प्रणाली यह जानकारी विलुप्त कर देता है कि कौन सी स्तिथि उससे पहले आई थी। इस प्रकार, जटिल प्रणाली समय के साथ विकसित होने पर समय-समय से सूचना लाभ और हानि प्रदर्शित करती है। सूचना का परिवर्तन या अस्थिरता याद रखने और भूलने के समान है।

स्थितियों के मध्य ट्रांजीशन से जुड़ी जानकारी का लाभ या हानि स्तिथि की जानकारी से संबंधित हो सकती है। स्थितियों से ट्रांजीशन का सूचना लाभ $i$, $j$ स्तिथि छोड़ते समय प्राप्त की गई जानकारी है $i$ स्तिथि में प्रवेश करते समय विलुप्त हुई जानकारी $j$ कम होगी :

$\Gamma _{ij}=-\log p_{i\rightarrow j}+\log p_{i\leftarrow j}.$

यहाँ ${\textstyle p_{i\rightarrow j}}$ यदि वर्तमान स्थिति है तो आगे की सशर्त संभावना है फिर अगली स्थिति $i$ है विपरीत सशर्त संभावना $j$ और $p_{i\leftarrow j}$ है यदि वर्तमान स्थिति है तब पूर्व स्थिति $j$ थी, सशर्त संभावनाएँ ट्रांजीशन संभावना $j$ से संबंधित हैं $p_{ij}$, स्थिति संभावना का कहना है कि $i$ स्थिति द्वारा ट्रांजीशन $j$ होता है:

$p_{ij}=p_{i}p_{i\rightarrow j}=p_{j}p_{i\leftarrow j}.$

सशर्त संभावनाओं को समाप्त करना:

$\Gamma _{ij}=-\log(p_{ij}/p_{i})+\log(p_{ij}/p_{j})=\log p_{i}-\log p_{j}=I_{j}-I_{i}.$

इसलिए ट्रांजीशन के परिणामस्वरूप प्रणाली द्वारा प्राप्त शुद्ध जानकारी केवल प्रारंभिक से अंतिम स्थिति तक जानकारी में वृद्धि पर निर्भर करती है। यह दिखाया जा सकता है कि यह निरंतर कई परिवर्तन के लिए भी सत्य है।

$\Gamma =\Delta I$ बल और संभावित ऊर्जा के मध्य संबंध की याद दिलाता है#किसी क्षमता से व्युत्पन्न। $I$ क्षमता की तरह है $\Phi$ और $\Gamma$ बल की तरह है $\mathbf {F}$ स्थितिज ऊर्जा में#_संभावना_से_व्युत्पन्न|$\mathbf {F} ={\nabla \Phi }$. बाहरी जानकारी मेमोरी स्टोरेज को पूरा करने के लिए प्रणाली को उच्च सूचना क्षमता की स्थिति में "ऊपर की ओर" धकेलती है, ठीक उसी तरह जैसे किसी द्रव्यमान को उच्च गुरुत्वाकर्षण क्षमता की स्थिति में ऊपर की ओर धकेलना ऊर्जा को संग्रहीत करता है। ऊर्जा भंडारण की मात्रा केवल अंतिम ऊंचाई पर निर्भर करती है, पहाड़ी के रास्ते पर नहीं। इसी तरह, सूचना भंडारण की मात्रा राज्य स्थान में दो राज्यों के मध्य ट्रांजीशन पथ पर निर्भर नहीं करती है। बार जब कोई प्रणाली उच्च सूचना क्षमता वाली दुर्लभ स्थिति में पहुंच जाता है, तो यह पहले से संग्रहीत जानकारी खोकर अधिक सामान्य स्थिति में आ सकता है।

मानक विचलन#असतत यादृच्छिक चर की गणना करना उपयोगी हो सकता है $\Gamma$ इसके माध्य के बारे में (जो शून्य है), अर्थात् शुद्ध सूचना लाभ का अस्थिरता $\sigma _{\Gamma }$,किंतु $\sigma _{I}$ राज्य स्थान में बहु-ट्रांजीशन मेमोरी लूप को ध्यान में रखता है और इसलिए यह प्रणाली की कम्प्यूटेशनल शक्ति का बेहतर संकेतक होना चाहिए। इसके अतिरिक्त, $\sigma _{I}$ गणना करना आसान है क्योंकि राज्यों की तुलना में कई अधिक ट्रांजीशन हो सकते हैं।

अराजकता और व्यवस्था

गतिशील प्रणाली जो बाहरी जानकारी के प्रति संवेदनशील है (अस्थिर) कैओस सिद्धांत व्यवहार प्रदर्शित करती है जबकि जो बाहरी जानकारी के प्रति असंवेदनशील है (स्थिर) व्यवस्थित व्यवहार प्रदर्शित करती है। जटिल प्रणाली दोनों व्यवहार प्रदर्शित करती है, समृद्ध सूचना स्रोत के अधीन होने पर गतिशील संतुलन में उनके मध्य अस्थिरता होता है। अस्थिरता की डिग्री की मात्रा निर्धारित की जाती है $\sigma _{I}$; यह समय के साथ विकसित होने पर जटिल प्रणाली में अराजकता और व्यवस्था की प्रबलता में परिवर्तन को पकड़ता है।

उदाहरण: प्राथमिक सेलुलर ऑटोमेटन का नियम 110 संस्करण

प्राथमिक सेलुलर ऑटोमेटन का नियम 110 संस्करण नियम 110 # सार्वभौमिक गणना में सक्षम होने के लिए सार्वभौमिकता का प्रमाण रहा है। यह प्रमाण ग्लाइडर या नियम 110 में नियम 110 # स्पेसशिप के रूप में जाने जाने वाले जुट और स्वयं-स्थायी सेल पैटर्न के अस्तित्व और इंटरैक्शन पर आधारित है, इमर्जेंस # इमर्जेंट गुण और प्रक्रिया घटनाएं, जो याद रखने के लिए ऑटोमेटन कोशिकाओं के समूहों की क्षमता का संकेत देती हैं। ग्लाइडर उनके मध्य से गुजर रहा है. इसलिए यह उम्मीद की जाती है कि सूचना लाभ और हानि, अस्थिरता और स्थिरता, अराजकता और व्यवस्था के विकल्पों के परिणामस्वरूप राज्य स्थान में मेमोरी लूप होंगे।

आसन्न ऑटोमेटन कोशिकाओं के 3-सेल समूह पर विचार करें जो नियम 110 का पालन करते हैं:end-center-end. केंद्र कोशिका की अगली स्थिति स्वयं की वर्तमान स्थिति और नियम द्वारा निर्दिष्ट अंतिम कोशिकाओं पर निर्भर करती है:

Elementary cellular automaton rule 110

3-cell group	1-1-1	1-1-0	1-0-1	1-0-0	0-1-1	0-1-0	0-0-1	0-0-0
next center cell	0	1	1	0	1	1	1	0

इस प्रणाली की सूचना अस्थिरता जटिलता की गणना करने के लिए, 3-सेल समूह के प्रत्येक छोर पर ड्राइवर सेल संलग्न करें ताकि यादृच्छिक बाहरी उत्तेजना प्रदान की जा सके, 'driver→end-center-end←driver, ताकि नियम को दो अंतिम कोशिकाओं पर लागू किया जा सके। आगे की सशर्त संभावनाओं को निर्धारित करने के लिए, आगे निर्धारित करें कि प्रत्येक संभावित वर्तमान स्थिति के लिए और ड्राइवर सेल सामग्री के प्रत्येक संभावित संयोजन के लिए अगली स्थिति क्या है।

इस प्रणाली का राज्य आरेख नीचे दर्शाया गया है, जिसमें वृत्त राज्यों का प्रतिनिधित्व करते हैं और तीर राज्यों के मध्य ट्रांजीशन का प्रतिनिधित्व करते हैं। इस प्रणाली की आठ अवस्थाएँ, 1-1-1 को 0-0-0 को 3-सेल समूह की 3-बिट सामग्री के ऑक्टल समकक्ष के साथ लेबल किया गया है: 7 से 0. ट्रांजीशन तीरों को आगे की सशर्त संभावनाओं के साथ लेबल किया गया है। ध्यान दें कि अराजकता और व्यवस्था, संवेदनशीलता और असंवेदनशीलता, चालक कोशिकाओं से बाहरी जानकारी के लाभ और हानि में परिवर्तनशीलता के अनुरूप तीरों के विचलन और अभिसरण में परिवर्तनशीलता है।

नियम 110 प्राथमिक सेलुलर ऑटोमेटन के लिए 3-सेल राज्य आरेख यादृच्छिक उत्तेजना के साथ आगे की सशर्त ट्रांजीशन संभावनाओं को दर्शाता है।

आगे की सशर्त संभावनाएं संभावित ड्राइवर सेल सामग्री के अनुपात से निर्धारित होती हैं जो विशेष ट्रांजीशन को चलाती हैं। उदाहरण के लिए, दो ड्राइवर सेल सामग्री के चार संभावित संयोजनों के लिए, स्थिति 7 स्थिति 5, 4, 1 और 0 की ओर ले जाती है इसलिए $p_{7\rightarrow 5}$, $p_{7\rightarrow 4}$, $p_{7\rightarrow 1}$, और $p_{7\rightarrow 0}$ प्रत्येक ¼ या 25% हैं। इसी प्रकार, अवस्था 0 अवस्था 0, 1, 0 और 1 की ओर ले जाती है $p_{0\rightarrow 1}$और $p_{0\rightarrow 0}$प्रत्येक ½ या 50% हैं। इत्यादि।

राज्य की संभावनाएँ इससे संबंधित हैं

$p_{j}=\sum _{i=0}^{7}p_{i}p_{i\rightarrow j}$ और $\sum _{i=0}^{7}p_{i}=1.$

इन रैखिक बीजगणितीय समीकरणों को राज्य संभावनाओं के लिए मैन्युअल रूप से या कंप्यूटर प्रोग्राम की सहायता से निम्नलिखित परिणामों के साथ हल किया जा सकता है:

Rule 110 state probabilities for 3-cell automaton with random stimulation

p0	p1	p2	p3	p4	p5	p6	p7
2/17	2/17	1/34	5/34	2/17	2/17	2/17	4/17

सूचना एन्ट्रापी और जटिलता की गणना राज्य संभावनाओं से की जा सकती है:

$\mathrm {H} =-\sum _{i=0}^{7}p_{i}\log _{2}p_{i}=2.86{\text{ bits}},$

$\sigma _{I}={\sqrt {\sum _{i=0}^{7}p_{i}\log _{2}^{2}p_{i}-\mathrm {H} ^{2}}}=0.56{\text{ bits}}.$

ध्यान दें कि आठ राज्यों के लिए अधिकतम संभव एन्ट्रापी है $\log _{2}8=3{\text{ bits}},$ जो कि स्थिति होगी यदि सभी आठ राज्य ⅛ (यादृच्छिकता) की संभावनाओं के साथ समान रूप से संभावित हों। इस प्रकार नियम 110 में 2.86 बिट्स पर अपेक्षाकृत उच्च एन्ट्रापी या राज्य उपयोग है। किंतु यह एन्ट्रापी के बारे में राज्य की जानकारी में पर्याप्त अस्थिरता और इस प्रकार जटिलता के पर्याप्त मूल्य को नहीं रोकता है। जबकि, अधिकतम एन्ट्रापी जटिलता को दूर कर देगी।

जब ऊपर उपयोग की गई विश्लेषणात्मक विधि अव्यवहार्य हो तो राज्य की संभावनाओं को प्राप्त करने के लिए वैकल्पिक विधि का उपयोग किया जा सकता है। बस कई पीढ़ियों के लिए यादृच्छिक स्रोत के साथ प्रणाली को उसके इनपुट (ड्राइवर सेल) पर चलाएं और अनुभवजन्य रूप से राज्य की संभावनाओं का निरीक्षण करें। जब यह 10 मिलियन पीढ़ियों तक कंप्यूटर सिमुलेशन के माध्यम से किया जाता है तो परिणाम इस प्रकार हैं:

Information variables for the rule 110 elementary cellular automaton

number of cells	3	4	5	6	7	8	9	10	11	12	13
$\mathrm {H}$ (bits)	2.86	3.81	4.73	5.66	6.56	7.47	8.34	9.25	10.09	10.97	11.78
$\sigma _{I}$(bits)	0.56	0.65	0.72	0.73	0.79	0.81	0.89	0.90	1.00	1.01	1.15
$\sigma _{I}/\mathrm {H}$	0.20	0.17	0.15	0.13	0.12	0.11	0.11	0.10	0.10	0.09	0.10

चूंकि दोनों $\mathrm {H}$ और $\sigma _{I}$ प्रणाली आकार के साथ उनके आयाम रहित अनुपात में वृद्धि होती है $\sigma _{I}/\mathrm {H}$, सापेक्ष सूचना अस्थिरता जटिलता, विभिन्न आकारों की प्रणालियों की बेहतर तुलना करने के लिए शामिल है। ध्यान दें कि अनुभवजन्य और विश्लेषणात्मक परिणाम 3-सेल ऑटोमेटन के लिए सहमत हैं।

बेट्स और शेपर्ड के पेपर में, $\sigma _{I}$ सभी प्राथमिक सेलुलर ऑटोमेटन नियमों के लिए गणना की गई है और यह देखा गया है कि जो धीमी गति से चलने वाले ग्लाइडर और संभवतः स्थिर वस्तुओं को प्रदर्शित करते हैं, जैसा कि नियम 110 करता है, बड़े मूल्यों के साथ अत्यधिक सहसंबद्ध हैं $\sigma _{I}$. $\sigma _{I}$ इसलिए इसे सार्वभौमिक गणना के लिए उम्मीदवार नियमों का चयन करने के लिए फिल्टर के रूप में उपयोग किया जा सकता है, जिसे साबित करना कठिन है।

अनुप्रयोग

यद्यपि सूचना अस्थिरता जटिलता सूत्र की व्युत्पत्ति गतिशील प्रणाली में सूचना के अस्थिरता पर आधारित है, सूत्र केवल राज्य संभावनाओं पर निर्भर करता है और इसलिए यह किसी भी संभाव्यता वितरण पर भी लागू होता है, जिसमें स्थिर छवियों या पाठ से प्राप्त वितरण भी शामिल है।

वर्षों से मूल पेपरकई विविध क्षेत्रों में शोधकर्ताओं द्वारा संदर्भित किया गया है: जटिलता सिद्धांत, जटिल प्रणाली विज्ञान, जटिल नेटवर्क, अराजक गतिशीलता, अनेक-निकाय स्थानीयकरण उलझाव, पर्यावरणीय इंजीनियरिंग, पारिस्थितिक जटिलता, पारिस्थितिक समय-श्रृंखला विश्लेषण, पारिस्थितिकी तंत्र स्थिरता, वायु और पानी प्रदूषण, जलवैज्ञानिक तरंगिका विश्लेषण, मृदा जल प्रवाह, मिट्टी की नमी, हेडवाटर अपवाह, भूजल की गहराई, हवाई यातायात नियंत्रण, प्रवाह पैटर्न और बाढ़ की घटनाएँ, टोपोलॉजी, अर्थशास्त्र, धातु का बाजार पूर्वानुमान और बिजली कीमतें, स्वास्थ्य सूचना विज्ञान, मानव संज्ञान, मानव चाल कीनेमेटिक्स, तंत्रिका विज्ञान, ईईजी विश्लेषण, शिक्षा, निवेश, कृत्रिम जीवन और सौंदर्यशास्त्र.