सूचना में अस्थिरता जटिलता

इनफार्मेशन में अस्थिरता काम्प्लेक्सता इनफार्मेशन सैद्धांतिक मात्रा है जिसे एन्ट्रॉपी (इनफार्मेशन सिद्धांत) के बारे में जानकारी के अस्थिरता के रूप में परिभाषित किया गया है। यह गतिशील सिस्टम में व्यवस्था और अराजकता की प्रबलता में अस्थिरता से व्युत्पन्न है और इसका उपयोग कई विविध क्षेत्रों में काम्प्लेक्सता के माप के रूप में किया गया है। इसे बेट्स और शेपर्ड द्वारा 1993 के पेपर में प्रस्तुत किया गया था।

परिभाषा

असतत गतिशील सिस्टम की इनफार्मेशन में अस्थिरता की काम्प्लेक्सता स्तिथि की संभाव्यता वितरण का फलन है जब यह यादृच्छिक बाहरी इनपुट डेटा के अधीन होता है। सिस्टम को समृद्ध इनफार्मेशन स्रोत जैसे कि यादृच्छिक संख्या जनरेटर या श्वेत रव सिग्नल के साथ चलाने का उद्देश्य सिस्टम की आंतरिक गतिशीलता का परीक्षण करना है, जैसे सिग्नल प्रोसेसिंग में आवृत्ति-समृद्ध आवेग का उपयोग किया जाता है।

यदि कोई सिस्टम ${\textstyle N}$ है संभावित स्थितियाँ ${\textstyle p_{i}}$ज्ञात हैं, तो इसकी इनफार्मेशन एन्ट्रापी है:

$\mathrm {H} =\sum _{i=1}^{N}p_{i}I_{i}=-\sum _{i=1}^{N}p_{i}\log p_{i},$

जहाँ ${\textstyle I_{i}=-\log p_{i}}$ स्तिथि की इनफार्मेशन सामग्री ${\textstyle i}$ है।

सिस्टम की इनफार्मेशन अस्थिरता काम्प्लेक्सता को मानक विचलन या अस्थिरता के रूप में परिभाषित किया गया है ${\textstyle I}$ माध्य के बारे में ${\textstyle \mathrm {H} }$ इस प्रकार है:

$\sigma _{I}={\sqrt {\sum _{i=1}^{N}p_{i}(I_{i}-\mathrm {H} )^{2}}}={\sqrt {\sum _{i=1}^{N}p_{i}I_{i}^{2}-\mathrm {H} ^{2}}}$

या

$\sigma _{I}={\sqrt {\sum _{i=1}^{N}p_{i}\log ^{2}p_{i}-{\Biggl (}\sum _{i=1}^{N}p_{i}\log p_{i}{\Biggr )}^{2}}}.$

स्तिथि की जानकारी में अस्थिरता $\sigma _{I}$ सभी के साथ अधिकतम अव्यवस्थित सिस्टम में शून्य है सिस्टम अपने यादृच्छिक इनपुट $p_{i}=1/N$ को कॉपी करता है। जब सिस्टम केवल निश्चित स्थिति के साथ सम्पूर्ण रूप से व्यवस्थित होता है, तो $\sigma _{I}$ भी शून्य होता है $(p_{1}=1)$, इनपुट को ध्यान किए बिना $\sigma _{I}$ इन दो शीर्ष सीमाओं के मध्य उच्च-संभावना वाली स्तिथि और निम्न-संभावना वाली स्तिथि के मिश्रण के साथ स्थान को संपन्न करने वाला अशून्य है।

इनफार्मेशन की अस्थिरता मेमोरी और गणना की अनुमति देता है

जैसे-जैसे काम्प्लेक्स गतिशील सिस्टम समय के साथ विकसित होती है, यह स्थितियों के मध्य कैसे परिवर्तन करती है यह अनियमित विधियों से बाहरी उत्तेजनाओं पर निर्भर करता है। कभी-कभी यह बाहरी उत्तेजनाओं के प्रति अधिक संवेदनशील (अस्थिर) हो सकता है और कभी-कभी कम संवेदनशील (स्थिर) हो सकता है। यदि किसी विशेष स्तिथि में कई संभावित स्तिथि हैं, तो बाहरी जानकारी यह निर्धारित करती है कि कौन सा अगला होगा और सिस्टम स्थान में विशेष प्रक्षेपवक्र का पालन करके उस जानकारी को प्राप्त करता है। किंतु यदि कई भिन्न-भिन्न स्थितियां एक ही स्थितियों की ओर ले जाते हैं, तो नेक्स्ट स्तिथि में प्रवेश करने पर सिस्टम यह जानकारी विलुप्त कर देता है कि कौन सी स्तिथि उससे पहले आई थी। इस प्रकार, काम्प्लेक्स सिस्टम समय के साथ विकसित होने पर समय-समय से इनफार्मेशन लाभ और हानि प्रदर्शित करती है। इनफार्मेशन का परिवर्तन या अस्थिरता याद रखने और भूलने के समान है।

स्थितियों के मध्य ट्रांजीशन से जुड़ी जानकारी का लाभ या हानि स्तिथि की जानकारी से संबंधित हो सकती है। स्थितियों से ट्रांजीशन का इनफार्मेशन लाभ $i$, $j$ स्तिथि छोड़ते समय प्राप्त की गई जानकारी है $i$ स्तिथि में प्रवेश करते समय विलुप्त हुई जानकारी $j$ कम होगी :

$\Gamma _{ij}=-\log p_{i\rightarrow j}+\log p_{i\leftarrow j}.$

यहाँ ${\textstyle p_{i\rightarrow j}}$ यदि वर्तमान स्थिति है तो आगे की सशर्त संभावना है फिर अगली स्थिति $i$ है विपरीत सशर्त संभावना $j$ और $p_{i\leftarrow j}$ है यदि वर्तमान स्थिति है तब पूर्व स्थिति $j$ थी, सशर्त संभावनाएँ ट्रांजीशन संभावना $j$ से संबंधित हैं $p_{ij}$, स्थिति संभावना का कहना है कि $i$ स्थिति द्वारा ट्रांजीशन $j$ होता है:

$p_{ij}=p_{i}p_{i\rightarrow j}=p_{j}p_{i\leftarrow j}.$

सशर्त संभावनाओं को समाप्त करना:

$\Gamma _{ij}=-\log(p_{ij}/p_{i})+\log(p_{ij}/p_{j})=\log p_{i}-\log p_{j}=I_{j}-I_{i}.$

इसलिए ट्रांजीशन के परिणामस्वरूप सिस्टम द्वारा प्राप्त शुद्ध जानकारी केवल प्रारंभिक से अंतिम स्थिति तक जानकारी में वृद्धि पर निर्भर करती है। यह दिखाया जा सकता है कि यह निरंतर कई परिवर्तन के लिए भी सत्य है।

$\Gamma =\Delta I$ बल और संभावित ऊर्जा के मध्य संबंध है किसी क्षमता $I$ से व्युत्पन्न $\Phi$ और $\Gamma$ बल के जैसे है $\mathbf {F}$ में $\mathbf {F} ={\nabla \Phi }$ बाहरी जानकारी मेमोरी स्टोरेज को पूर्ण करने के लिए सिस्टम को उच्च इनफार्मेशन क्षमता की स्थिति में "ऊपर की ओर" पुश करती है, ठीक उसी प्रकार जैसे किसी द्रव्यमान को उच्च गुरुत्वाकर्षण क्षमता की स्थिति में ऊपर की ओर पुश करना ऊर्जा को संग्रहीत करता है। ऊर्जा स्टोरेज की मात्रा केवल अंतिम ऊंचाई पर निर्भर करती है, पहाड़ी के मार्ग पर नहीं पर निर्भर करती है। इसी प्रकार, इनफार्मेशन स्टोरेज की मात्रा स्थिति स्थान में दो स्थिति के मध्य ट्रांजीशन पथ पर निर्भर नहीं करती है। जब कोई सिस्टम उच्च इनफार्मेशन क्षमता वाली दुर्लभ स्थिति में पहुंच जाता है, तो यह पहले से संग्रहीत जानकारी विलुप्त करके अधिक सामान्य स्थिति में आ सकता है।

मानक विचलन असतत यादृच्छिक चर की गणना करना उपयोगी हो सकता है, इसके माध्य $\Gamma$ के बारे में (जो शून्य है), अर्थात् शुद्ध इनफार्मेशन लाभ की अस्थिरता $\sigma _{\Gamma }$,किंतु $\sigma _{I}$ स्थिति स्थान में बहु-ट्रांजीशन मेमोरी लूप को ध्यान में रखता है और इसलिए यह सिस्टम की कम्प्यूटेशनल शक्ति का उत्तम संकेतक होना चाहिए। इसके अतिरिक्त, $\sigma _{I}$ गणना करना सरल है क्योंकि स्थितियों की तुलना में कई अधिक ट्रांजीशन हो सकते हैं।

कैओस और व्यवस्था

गतिशील प्रणाली जो बाहरी जानकारी के प्रति संवेदनशील है (अस्थिर) कैओस सिद्धांत व्यवहार प्रदर्शित करती है जबकि बाहरी जानकारी के प्रति असंवेदनशील है (स्थिर) व्यवस्थित व्यवहार प्रदर्शित करती है। काम्प्लेक्स सिस्टम दोनों व्यवहार प्रदर्शित करते है, समृद्ध इनफार्मेशन स्रोत के अधीन होने पर गतिशील संतुलन में उनके मध्य अस्थिरता होता है। अस्थिरता की डिग्री की मात्रा निर्धारित की जाती है $\sigma _{I}$; समय के साथ विकसित होने पर काम्प्लेक्स सिस्टम में कैओस और व्यवस्था की प्रबलता में परिवर्तन करता है।

उदाहरण: प्राथमिक सेलुलर ऑटोमेटन का नियम 110 संस्करण

प्राथमिक सेलुलर ऑटोमेटन का नियम 110 संस्करण सार्वभौमिक गणना में सक्षम सिद्ध हुआ है। प्रमाण ग्लाइडर या स्पेसशिप के रूप में जाने जाने वाले एकजुट और स्वयं-स्थायी सेल पैटर्न के अस्तित्व और इंटरैक्शन पर आधारित है, जो आकस्मिक घटना है, जो ऑटोमेटन सेल्स के ग्रुपों की यह याद रखने की क्षमता का संकेत देता है कि ग्लाइडर उनके मध्य से निकल रहा है। इसलिए यह आशा की जाती है कि इनफार्मेशन लाभ और हानि, अस्थिरता और स्थिरता, अराजकता और व्यवस्था के विकल्पों के परिणामस्वरूप स्तिथि स्थान में मेमोरी लूप होंगे।

आसन्न ऑटोमेटन सेल्स के 3-सेल ग्रुप पर विचार किया जाता है, जो नियम 110 end-center-end का पालन करते हैं: सेण्टर सेल की अगली स्थिति स्वयं की वर्तमान स्थिति और नियम द्वारा निर्दिष्ट अंतिम सेल्स पर निर्भर करती है:

प्राथमिक सेलुलर ऑटोमेटन नियम 110

3-सेल ग्रुप	1-1-1	1-1-0	1-0-1	1-0-0	0-1-1	0-1-0	0-0-1	0-0-0
नेक्स्ट सेण्टर सेल	0	1	1	0	1	1	1	0

इस सिस्टम की इनफार्मेशन अस्थिरता काम्प्लेक्सता की गणना करने के लिए, 3-सेल ग्रुप के प्रत्येक एंड पर ड्राइवर सेल संलग्न किया जाता है, जिससे driver→end-center-end←driverयादृच्छिक बाहरी उत्तेजना प्रदान की जा सके, जिससे नियम को दो अंतिम सेल्स पर प्रारम्भ किया जा सके। आगे की सशर्त संभावनाओं को निर्धारित करने के लिए, आगे निर्धारित करें कि प्रत्येक संभावित वर्तमान स्थिति के लिए और ड्राइवर सेल सामग्री के प्रत्येक संभावित संयोजन के लिए अगली स्थिति क्या है।

इस सिस्टम का स्तिथि आरेख नीचे दर्शाया गया है, जिसमें वृत्त स्थितियों का प्रतिनिधित्व करते हैं और एरो स्थितियों के मध्य ट्रांजीशन का प्रतिनिधित्व करते हैं। इस सिस्टम की आठ अवस्थाएँ, 1-1-1 को 0-0-0 को 3-सेल ग्रुप की 3-बिट सामग्री के ऑक्टल समकक्ष के साथ लेबल किया गया है: 7 से 0 ट्रांजीशन एरो को आगे की सशर्त संभावनाओं के साथ लेबल किया गया है। ध्यान दें कि अराजकता और व्यवस्था, संवेदनशीलता और असंवेदनशीलता, ड्राईवर सेल से बाहरी जानकारी के लाभ और हानि में परिवर्तनशीलता के अनुरूप एरो के विचलन और अभिसरण में परिवर्तनशीलता है।

नियम 110 प्राथमिक सेलुलर ऑटोमेटन के लिए 3-सेल स्तिथिआरेख यादृच्छिक उत्तेजना के साथ आगे की सशर्त ट्रांजीशन संभावनाओं को दर्शाता है।

आगे की सशर्त संभावनाएं संभावित ड्राइवर सेल सामग्री के अनुपात से निर्धारित होती हैं जो विशेष ट्रांजीशन को चलाती हैं। उदाहरण के लिए, दो ड्राइवर सेल सामग्री के चार संभावित संयोजनों के लिए, स्थिति 7 स्थिति 5, 4, 1 और 0 की ओर ले जाती है इसलिए $p_{7\rightarrow 5}$, $p_{7\rightarrow 4}$, $p_{7\rightarrow 1}$, और $p_{7\rightarrow 0}$ प्रत्येक ¼ या 25% हैं। इसी प्रकार, अवस्था 0 अवस्था 0, 1, 0 और 1 की ओर ले जाती है $p_{0\rightarrow 1}$और $p_{0\rightarrow 0}$ प्रत्येक ½ या 50% हैं। इत्यादि।

अवस्था की संभावनाएँ इससे संबंधित हैं

$p_{j}=\sum _{i=0}^{7}p_{i}p_{i\rightarrow j}$ और $\sum _{i=0}^{7}p_{i}=1.$

इन रैखिक बीजगणितीय समीकरणों को अवस्था संभावनाओं के लिए मैन्युअल रूप से या कंप्यूटर प्रोग्राम की सहायता से निम्नलिखित परिणामों के साथ समाधान किया जा सकता है:

नियम 110 यादृच्छिक उत्तेजना के साथ 3-सेल ऑटोमेटन के लिए संभावनाएं बताता है

p0	p1	p2	p3	p4	p5	p6	p7
2/17	2/17	1/34	5/34	2/17	2/17	2/17	4/17

इनफार्मेशन एन्ट्रापी और काम्प्लेक्स की गणना अवस्था संभावनाओं से की जा सकती है:

$\mathrm {H} =-\sum _{i=0}^{7}p_{i}\log _{2}p_{i}=2.86{\text{ bits}},$

$\sigma _{I}={\sqrt {\sum _{i=0}^{7}p_{i}\log _{2}^{2}p_{i}-\mathrm {H} ^{2}}}=0.56{\text{ bits}}.$

ध्यान दें कि आठ राज्यों के लिए अधिकतम संभव एन्ट्रापी है $\log _{2}8=3{\text{ bits}},$ जो कि स्थिति होगी यदि सभी आठ राज्य ⅛ (यादृच्छिकता) की संभावनाओं के साथ समान रूप से संभावित हों। इस प्रकार नियम 110 में 2.86 बिट्स पर अपेक्षाकृत उच्च एन्ट्रापी या राज्य उपयोग है। किंतु यह एन्ट्रापी के बारे में राज्य की जानकारी में पर्याप्त अस्थिरता और इस प्रकार काम्प्लेक्सता के पर्याप्त मूल्य को नहीं रोकता है। जबकि, अधिकतम एन्ट्रापी काम्प्लेक्सता को दूर कर देगी।

जब ऊपर उपयोग की गई विश्लेषणात्मक विधि अव्यवहार्य हो तो राज्य की संभावनाओं को प्राप्त करने के लिए वैकल्पिक विधि का उपयोग किया जा सकता है। बस कई पीढ़ियों के लिए यादृच्छिक स्रोत के साथ सिस्टम को उसके इनपुट (ड्राइवर सेल) पर चलाएं और अनुभवजन्य रूप से राज्य की संभावनाओं का निरीक्षण करें। जब यह 10 मिलियन पीढ़ियों तक कंप्यूटर सिमुलेशन के माध्यम से किया जाता है तो परिणाम इस प्रकार हैं:

Information variables for the rule 110 elementary cellular automaton

number of cells	3	4	5	6	7	8	9	10	11	12	13
$\mathrm {H}$ (bits)	2.86	3.81	4.73	5.66	6.56	7.47	8.34	9.25	10.09	10.97	11.78
$\sigma _{I}$(bits)	0.56	0.65	0.72	0.73	0.79	0.81	0.89	0.90	1.00	1.01	1.15
$\sigma _{I}/\mathrm {H}$	0.20	0.17	0.15	0.13	0.12	0.11	0.11	0.10	0.10	0.09	0.10

चूंकि दोनों $\mathrm {H}$ और $\sigma _{I}$ सिस्टम आकार के साथ उनके आयाम रहित अनुपात में वृद्धि होती है $\sigma _{I}/\mathrm {H}$, सापेक्ष इनफार्मेशन अस्थिरता काम्प्लेक्सता, विभिन्न आकारों की प्रणालियों की उत्तम तुलना करने के लिए शामिल है। ध्यान दें कि अनुभवजन्य और विश्लेषणात्मक परिणाम 3-सेल ऑटोमेटन के लिए सहमत हैं।

बेट्स और शेपर्ड के पेपर में, $\sigma _{I}$ सभी प्राथमिक सेलुलर ऑटोमेटन नियमों के लिए गणना की गई है और यह देखा गया है कि जो धीमी गति से चलने वाले ग्लाइडर और संभवतः स्थिर वस्तुओं को प्रदर्शित करते हैं, जैसा कि नियम 110 करता है, बड़े मूल्यों के साथ अत्यधिक सहसंबद्ध हैं $\sigma _{I}$. $\sigma _{I}$ इसलिए इसे सार्वभौमिक गणना के लिए उम्मीदवार नियमों का चयन करने के लिए फिल्टर के रूप में उपयोग किया जा सकता है, जिसे साबित करना कठिन है।

अनुप्रयोग

यद्यपि इनफार्मेशन अस्थिरता काम्प्लेक्सता सूत्र की व्युत्पत्ति गतिशील सिस्टम में इनफार्मेशन के अस्थिरता पर आधारित है, सूत्र केवल राज्य संभावनाओं पर निर्भर करता है और इसलिए यह किसी भी संभाव्यता वितरण पर भी प्रारम्भ होता है, जिसमें स्थिर छवियों या पाठ से प्राप्त वितरण भी शामिल है।

वर्षों से मूल पेपरकई विविध क्षेत्रों में शोधकर्ताओं द्वारा संदर्भित किया गया है: काम्प्लेक्सता सिद्धांत, काम्प्लेक्स सिस्टम विज्ञान, काम्प्लेक्स नेटवर्क, अराजक गतिशीलता, अनेक-निकाय स्थानीयकरण उलझाव, पर्यावरणीय इंजीनियरिंग, पारिस्थितिक काम्प्लेक्सता, पारिस्थितिक समय-श्रृंखला विश्लेषण, पारिस्थितिकी तंत्र स्थिरता, वायु और पानी प्रदूषण, जलवैज्ञानिक तरंगिका विश्लेषण, मृदा जल प्रवाह, मिट्टी की नमी, हेडवाटर अपवाह, भूजल की गहराई, हवाई यातायात नियंत्रण, प्रवाह पैटर्न और बाढ़ की घटनाएँ, टोपोलॉजी, अर्थशास्त्र, धातु का बाजार पूर्वानुमान और बिजली कीमतें, स्वास्थ्य इनफार्मेशन विज्ञान, मानव संज्ञान, मानव चाल कीनेमेटिक्स, तंत्रिका विज्ञान, ईईजी विश्लेषण, शिक्षा, निवेश, कृत्रिम जीवन और सौंदर्यशास्त्र.