सूचना-मिति

Not to be confused with सूचना विज्ञान.

सूचना-मिति [[वैज्ञानिक मॉडलिंग]], निष्कर्ष और कुशल सूचना प्रसंस्करण के लिए अंतःविषय दृष्टिकोण है। यह ध्वनि और सीमित सूचना की स्थितियों में मॉडलिंग, कथन और निष्कर्ष निकालने का विज्ञान है। विज्ञान के दृष्टिकोण से, यह संरचना सूचना सिद्धांत, अनुमान के सांख्यिकीय विधिया, अनुप्रयुक्त गणित, कंप्यूटर विज्ञान, अर्थमिति, जटिलता सिद्धांत, निर्णय विश्लेषण, मॉडलिंग और विज्ञान के दर्शन का प्रतिछेदन हैं।

सूचना-मिति कम-निर्धारित या गलत ढंग से प्रस्तुत की गई समस्याओं को हल करने के लिए एक सीमित अनुकूलन संरचना प्रदान करता है - ऐसी समस्याएं जहां एक अद्वितीय समाधान खोजने के लिए पर्याप्त सूचना नहीं है। ऐसी समस्याएँ सभी विज्ञानों में बहुत साधारण हैं: उपलब्ध सूचना असंपूर्ण हैं, सीमित, ध्वनि (संकेत संसाधन) और अनिश्चितता है। सूचना-मिति वैज्ञानिक मॉडलिंग, सूचना प्रसंस्करण, सिद्धांत निर्माण और वैज्ञानिक वर्णक्रम में अनुमान समस्याओं के लिए उपयोगी है। सूचना-मिति संरचना का उपयोग प्रतिस्पर्धी सिद्धांतों या आकाश्मिक यांत्रिकी के विषय में परिकल्पनाओं का परीक्षण करने के लिए भी किया जा सकता है।

इतिहास

सूचना-मिति अधिकतम एन्ट्रापी औपचारिकता के प्राचीन सिद्धांत से विकसित हुआ, जो क्लाउड शैनन के कार्य पर आधारित है। प्रारंभिक योगदान अधिकतर प्राकृतिक और गणितीय/सांख्यिकीय विज्ञान में थे। 1980 के दशक के मध्य से और विशेष रूप से 1990 के दशक के मध्य में, सामाजिक और व्यवहार विज्ञान में समस्याओं के वृहद् वर्ग को संभालने के लिए, विशेष रूप से जटिल समस्याओं और डेटा के लिए, अधिकतम एन्ट्रापी दृष्टिकोण को सामान्यीकृत और विस्तारित किया गया था। 'सूचना-मिति' शब्द 2009 में अमोस गोलान द्वारा अंतःविषय सूचना-मिति संस्थान के उद्घाटन से ठीक पहले बनाया गया था।

प्रारंभिक परिभाषाएँ

यादृच्छिक चर ${\textstyle X}$ पर विचार करें जिसके परिणामस्वरूप K विशिष्ट परिणामों में से एक हो सकता है। प्रायिकता ${\textstyle p_{k}}$ प्रत्येक परिणाम ${\textstyle p_{k}=p(x_{k})}$ के लिए ${\textstyle k=1,2,\ldots ,K}$ का ${\textstyle x_{k}}$ है। इस प्रकार, ${\textstyle P}$ के-आयामी प्रायिकता वितरण ${\textstyle X}$ के लिए परिभाषित किया गया है जैसे कि $p_{k}\epsilon [0,1]$ और ${\textstyle \sum _{k}p_{k}=1}$। किसी एकल परिणाम ${\textstyle x_{k}}$ का ${\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})}$ (जैसे, शैनन) होना की सूचनात्मक सामग्री को परिभाषित करते हैं। वितरण के अंत में एक परिणाम का अवलोकन करना (एक दुर्लभ घटना), दूसरे, अधिक संभावित, परिणाम को देखने की तुलना में बहुत अधिक सूचना प्रदान करता है। एन्ट्रापी यादृच्छिक चर X के परिणाम की अपेक्षित सूचना सामग्री है जिसका संभाव्यता वितरण P है:

$$H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]$$

यहाँ $p_{k}\log _{2}(p_{k})\equiv 0$ अगर $p_{k}=0$, और $\operatorname {E}$ अपेक्षित प्रचालक है।

मुलभुत सूचना-मिति समस्या

मॉडलिंग की समस्या पर विचार करें और उस चर के केवल माध्य (अपेक्षित मान) को देखते हुए कुछ k-विमीय असतत यादृच्छिक चर के न देखे गए प्रायिकता वितरण का अनुमान लगाया जाता हैं। हम यह भी जानते हैं कि संभावनाएँ ऋणोत्तर और सामान्यीकृत हैं (अर्थात, योग बिल्कुल 1 तक)। सभी K > 2 के लिए समस्या कम निर्धारित है। सूचना-मिति संरचना के भीतर, समाधान दो बाधाओं के अधीन यादृच्छिक चर: माध्य और सामान्यीकरण की एन्ट्रापी को अधिकतम करना है। इससे सामान्य अधिकतम एन्ट्रापी समाधान प्राप्त होता है। उस समस्या के समाधान को कई प्रकारो से विस्तारित और सामान्यीकृत किया जा सकता है। सबसे पहले, कोई शैनन की एन्ट्रॉपी के अतिरिक्त किसी अन्य एन्ट्रॉपी का उपयोग कर सकता है। दूसरा, एक ही दृष्टिकोण का उपयोग निरंतर यादृच्छिक चर के लिए, सभी प्रकार के सशर्त प्रतिरूप (उदाहरण के लिए, प्रतिगमन, असमानता और अरेखीय प्रतिरूप) और कई बाधाओं के लिए किया जा सकता है। तीसरा, पूर्ववर्ती को उस संरचना में सम्मिलित किया जा सकता है। चौथा, अधिक अनिश्चितता को समायोजित करने के लिए: देखे गए मानो के विषय में अनिश्चितता और/या प्रतिरूपके बारे में उसी ढांचे को अनिश्चितता बढ़ाया जा सकता है। अंत में, उसी मुलभुत संरचना का उपयोग नए प्रतिरूप/सिद्धांतों को विकसित करने, सभी उपलब्ध सूचना का उपयोग करके इन प्रतिरूपो को मान्य करने और प्रतिरूप के बारे में सांख्यिकीय परिकल्पनाओं का परीक्षण करने के लिए किया जा सकता है।

उदाहरण

छह पक्षीय पासा

बार-बार स्वतंत्र प्रयोगों से प्राप्त सूचना के आधार पर अनुमान हैं।

निम्नलिखित उदाहरण का श्रेय एल. बोल्ट्ज़मैन को दिया जाता है और इसे ईटी जेनेस द्वारा और अधिक लोकप्रिय बनाया गया था। छह-पक्षीय die पर विचार करें, जहाँ die उछालना है घटना है और इसके विशिष्ट परिणाम die के ऊपरी सतह पर 1 से 6 तक की संख्याएँ हैं। प्रयोग समान die उछालने की स्वतंत्र पुनरावृत्ति है।

मान लीजिए कि आप केवल die के छह-पक्षीय के N उछाल के प्रयोगसिद्ध औसत मान; y, का निरीक्षण करते हैं। उस सूचना को देखते हुए, आप प्रायिकताओं का अनुमान लगाना चाहते हैं कि तलो का एक विशिष्ट मूल्य die के अगले उछाल में दिखाई देता हैं। आप यह भी जानते हैं कि प्रायिकताओं का योग 1 होना चाहिए। इन दो बाधाओं (माध्य और सामान्यीकरण) के अधीन एन्ट्रॉपी को अधिकतम करना (और लॉग बेस 2 का उपयोग करना) सबसे अनभिज्ञ समाधान उत्पन्न करता है।

$${\begin{aligned}&{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}$$

${\textstyle x_{k}=k}$ और ${\textstyle k=1,2,\ldots ,6}$ के लिए होता हैं। समाधान है

$${\widehat {p}}_{k}={\frac {2^{-{\widehat {\lambda }}x_{k}}}{\sum _{k=1}^{6}2^{-{\widehat {\lambda }}x_{k}}}}\equiv {\frac {2^{-\lambda x_{k}}}{\Omega }}$$

जहाँ ${\textstyle {\widehat {p}}_{k}}$ घटना की अनुमानित संभावना ${\textstyle k}$ है, ${\textstyle {\widehat {\lambda }}}$ माध्य प्रतिबन्ध से जुड़े अनुमानित लैग्रेंज गुणक हैं, और ${\textstyle \Omega }$ विभाजन फलन (सांख्यिकीय यांत्रिकी) (सामान्यीकरण) फलन है। यदि यह 3.5 के माध्य से उचित die है आप अपेक्षा करेंगे कि सभी फलकों की संभावना समान है और संभावनाएँ भी समान हैं। अधिकतम एन्ट्रापी समाधान यही देता है। यदि die 4 के माध्य के साथ अनुचित (या लोडेड) है, जिसके परिणामस्वरूप अधिकतम एन्ट्रापी समाधान ${\textstyle p_{k}=(0.103,0.123,0.146,0.174,0.207,0.247)}$होता हैं। तुलना के लिए, न्यूनतम वर्ग मानदंड ${\textstyle \left(\sum _{k=1}^{6}p_{k}^{2}\right)}$ को न्यूनतम करना, एन्ट्रापी परिणाम ${\textstyle p_{k}(LS)=(0.095,0.124,0.152,0.181,0.210,0.238)}$ को अधिकतम करने के स्थान पर किया जाता हैं।

कुछ अंतर-विषयक उदाहरण

वर्षा की भविष्यवाणी :अपेक्षित दैनिक वर्षा (अंकगणितीय माध्य) का उपयोग करके, दैनिक वर्षा वितरण का अनुमान लगाने और पूर्वानुमान लगाने के लिए अधिकतम एन्ट्रापी संरचना का उपयोग किया जा सकता है।

निवेश सूचि प्रबंधन : माना कि एक निवेश सूचि प्रबंधक है जिसे निवेशक की बाधाओं और प्राथमिकताओं को ध्यान में रखते हुए, कुछ परिसंपत्तियों को आवंटित करने या विभिन्न परिसंपत्तियों को निवेश सूचि भार आवंटित करने की आवश्यकता है। इन प्राथमिकताओं और बाधाओं के साथ-साथ देखी गई सूचना, जैसे कि व्यापार का अर्थ वापस करना, और कुछ समय अवधि में प्रत्येक परिसंपत्ति का सहप्रसरण, का उपयोग करके, इष्टतम निवेश सूचि भार खोजने के लिए एन्ट्रापी अधिकतमकरण संरचना का उपयोग किया जा सकता है। इस स्थिति में, निवेश सूचि की एन्ट्रापी इसकी विविधता का प्रतिनिधित्व करती है। इस संरचना को अन्य बाधाओं जैसे न्यूनतम भिन्नता, अधिकतम विविधता इत्यादि को सम्मिलित करने के लिए संशोधित किया जा सकता है। उस मॉडल में असमानताएं सम्मिलित हैं और छोटी बिक्री को सम्मिलित करने के लिए इसे और सामान्यीकृत किया जा सकता है। ऐसे और भी उदाहरण और संबंधित कोड यहां पाए जा सकते हैं।

सूचना-मिति से संबंधित कार्यों की एक विस्तृत सूची यहां पाई जा सकती है: http://info-metrics.org/bibliography.html

यह भी देखें

• सूचना सिद्धांत
• एंट्रॉपी
• अधिकतम एन्ट्रापी का सिद्धांत
• अनुमान
• सांख्यिकीय निष्कर्ष
• विवश अनुकूलन

अग्रिम पठन

क्लासिक्स

• रुडोल्फ क्लॉसियस. शी. गति की प्रकृति पर जिसे हम ऊष्मा कहते हैं। लंदन, एडिनबर्ग, और डबलिन फिलॉसॉफिकल मैगज़ीन और जर्नल ऑफ़ साइंस, '14' (91):108-127, 1857।
• लुडविग बोल्ट्ज़मैन। गैस अणुओं के तापीय संतुलन पर आगे के अध्ययन (गैसमोलेकुलेन में अध्ययन के आधार पर)। सिट्ज़ुंग्सबेरीचटे डेर अकाडेमी डेर विसेनशाफ्टन, मैथेमेटिशे-नेचुरविस्सचाफ्टलिचे क्लासे, पृष्ठ 275-370, 1872।
• जे. डब्ल्यू. गिब्स। सांख्यिकीय यांत्रिकी में प्राथमिक सिद्धांत। (न्यू हेवन, सीटी: येल यूनिवर्सिटी प्रेस), 1902।
• सी. ई. शैनन। संचार का एक गणितीय सिद्धांत । बेल सिस्टम टेक्निकल जर्नल, '27':379-423, 1948।
• वाई. अलहसीद और आर. डी. लेविन। सूचना सैद्धांतिक दृष्टिकोण में प्रायोगिक और अंतर्निहित अनिश्चितताएँ। रासायनिक भौतिकी पत्र, '73' (1):16-20, 1980।
• आर. बी. ऐश. सूचना सिद्धांत. इंटरसाइंस, न्यूयॉर्क, 1965।
• एक कैटिचा। सापेक्ष एन्ट्रापी और आगमनात्मक अनुमान। 2004.
• एक कैटिचा। संभाव्यता, एन्ट्रापी और सांख्यिकीय भौतिकी पर व्याख्यान। मैक्सएंट, साओ पाउलो, ब्राज़ील, 2008।
• जान एम. वैन कैम्पेनहौट कवर और थॉमस एम. अधिकतम एन्ट्रापी और सशर्त संभाव्यता। सूचना सिद्धांत पर आईईईई लेनदेन, आईटी-27, संख्या 4, 1981।
• आई. सिस्ज़ार। न्यूनतम वर्ग और अधिकतम एन्ट्रापी क्यों? रैखिक व्युत्क्रम समस्या के अनुमान के लिए एक स्वयंसिद्ध दृष्टिकोण। सांख्यिकी के इतिहास, '19':2032-2066, 1991।
• डेविड डोनोहो, होसैन काकावंड, और जेम्स मैमन। रैखिक समीकरणों की एक अनिर्धारित प्रणाली का सबसे सरल समाधान। सूचना सिद्धांत में, 2006 आईईईई अंतर्राष्ट्रीय संगोष्ठी, पृष्ठ 1924-1928। आईईईई, 2007।

बुनियादी पुस्तकें और शोध मोनोग्राफ

• गोलान, अमोस। इन्फो-मेट्रिक्स की नींव: मॉडलिंग, अनुमान और अपूर्ण जानकारी। ऑक्सफोर्ड यूनिवर्सिटी प्रेस, 2018।
• गोलान. सूचना और एन्ट्रॉपी अर्थमिति - एक समीक्षा और संश्लेषण। अर्थमिति में नींव और रुझान, 2(1-2):1-145, 2008।
• आर. डी. लेविन और एम. ट्राइबस। अधिकतम एन्ट्रॉपी औपचारिकता। एमआईटी प्रेस, कैम्ब्रिज, एमए, 1979।
• जे. एन. कपूर. विज्ञान और इंजीनियरिंग में अधिकतम एन्ट्रॉपी मॉडल। विली, 1993.
• जे. हर्टे. अधिकतम एन्ट्रॉपी और पारिस्थितिकी: प्रचुरता, वितरण और ऊर्जावान का एक सिद्धांत। ऑक्सफोर्ड यू प्रेस, 2011।
• ए. गोलान, जी. जज, और डी. मिलर। अधिकतम एन्ट्रापी अर्थमिति: सीमित डेटा के साथ मजबूत अनुमान। जॉन विले एंड संस, 1996।
• ई. टी. जेन्स। संभाव्यता सिद्धांत: विज्ञान का तर्क। कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003।

अन्य प्रतिनिधि आवेदन

• जे. आर. बनावर, ए. मैरिटन, और आई. वोल्कोव। अधिकतम एन्ट्रापी के सिद्धांत के अनुप्रयोग: भौतिकी से पारिस्थितिकी तक। जर्नल ऑफ फिजिक्स-कंडेंस्ड मैटर, 22(6), 2010।
• अनिल के. बेरा और सुंग वाई. पार्क। अधिकतम एन्ट्रॉपी सिद्धांत का उपयोग करके इष्टतम पोर्टफोलियो विविधीकरण। अर्थमितीय समीक्षाएँ, 27(4-6):484-512, 2008।
• भाटी, बी. बुयुकसाहिन, और ए. गोलान। छवि पुनर्निर्माण: एक सूचना सैद्धांतिक दृष्टिकोण। अमेरिकन स्टैटिस्टिकल एसोसिएशन कार्यवाही, 2005।
• पीटर डब्ल्यू बुचेन और माइकल केली। विकल्प कीमतों से अनुमानित परिसंपत्ति का अधिकतम एन्ट्रापी वितरण। वित्तीय और मात्रात्मक विश्लेषण जर्नल, 31(01):143-159, 1996।
• रान्डेल सी कैंपबेल और आर कार्टर हिल। अधिकतम एन्ट्रॉपी का उपयोग करके बहुपद विकल्पों की भविष्यवाणी करना। अर्थशास्त्र पत्र, 64(3):263-269, 1999।
• एरियल कैटिचा और अमोस गोलान। अर्थव्यवस्थाओं के मॉडलिंग के लिए एक एंट्रोपिक ढांचा। फिजिका ए: सांख्यिकीय यांत्रिकी और इसके अनुप्रयोग, 408:149-163, 2014।
• मार्शा कौरचेन, अमोस गोलान, और डेविड निकर्सन। ऋण भेदभाव का अनुमान और मूल्यांकन: एक सूचनात्मक दृष्टिकोण। जर्नल ऑफ़ हाउसिंग रिसर्च, 11(1):67-90, 2000।
• त्सुकासा फुजिवारा और योशियो मियाहारा। ज्यामितीय लेवी प्रक्रियाओं के लिए न्यूनतम-एन्ट्रॉपी मार्टिंगेल माप। वित्त और स्टोचैस्टिक्स, 7(4):509-531, 2003।

मार्को फ्रिटेली. न्यूनतम एन्ट्रापी मार्टिंगेल माप और अपूर्ण बाजारों में मूल्यांकन समस्या। गणितीय वित्त, 10(1):39-52, 2000।

• डी. ग्लेनॉन और ए. गोलान। सूचना-सैद्धांतिक दृष्टिकोण बैंकों का उपयोग करके बैंक विफलता का एक मार्कोव मॉडल अनुमान लगाया गया। रिपोर्ट, यूएस ट्रेजरी, 2003।
• ए गोलान। अनुभवजन्य साक्ष्य के साथ फर्मों के आकार वितरण का एक बहुपरिवर्तनीय स्टोकेस्टिक सिद्धांत। अर्थमिति में प्रगति, 10:1-46, 1994।
• ए गोलान। कर्मियों के प्रतिधारण पर मुआवजे के प्रभाव का मॉडकॉम्प मॉडल - एक सूचना सैद्धांतिक दृष्टिकोण। रिपोर्ट, अमेरिकी नौसेना, फरवरी 2003।

अमोस गोलान और वोल्कर डोज़। टोमोग्राफिक पुनर्निर्माण के लिए एक सामान्यीकृत सूचना सैद्धांतिक दृष्टिकोण। जर्नल ऑफ़ फ़िज़िक्स ए: गणितीय और सामान्य, 34(7):1271, 2001।

• बार्ट हेगमैन और रामपाल एस एटियेन। एन्ट्रापी अधिकतमीकरण और प्रजातियों का स्थानिक वितरण। अमेरिकी प्रकृतिवादी, 175(4):ई74-ई90, 2010।
• यू. वी. टूसेंट, ए. गोलान और वी. डोज़ और, "क्वाड्रपल मास स्पेक्ट्रा का अधिकतम एन्ट्रॉपी अपघटन।" जर्नल ऑफ़ वैक्यूम साइंस एंड टेक्नोलॉजी ए 22(2), मार्च/अप्रैल 2004, 401-406
• गोलान ए., और डी. वोल्कर, "टोमोग्राफ़िक पुनर्निर्माण के लिए एक सामान्यीकृत सूचना सैद्धांतिक दृष्टिकोण," भौतिकी ए के जे.: गणितीय और सामान्य (2001) 1271-1283।

बाहरी संबंध

• "Info-Metrics Institute: Information-Theoretic Data Analysis and Exposition | American University, Washington, D.C." american.edu. Retrieved 2017-11-07.
• "Center for Science of Information NSF STC". soihub.org. Retrieved 2017-11-07.
• http://info-metrics.org/