सूचना-मिति

Not to be confused with Informetrics.

सूचना-मिति [[वैज्ञानिक मॉडलिंग]], निष्कर्ष और कुशल सूचना प्रसंस्करण के लिए अंतःविषय दृष्टिकोण है। यह ध्वनि और सीमित सूचना की स्थितियों में मॉडलिंग, कथन और निष्कर्ष निकालने का विज्ञान है। विज्ञान के दृष्टिकोण से, यह संरचना सूचना सिद्धांत, अनुमान के सांख्यिकीय विधिया, अनुप्रयुक्त गणित, कंप्यूटर विज्ञान, अर्थमिति, जटिलता सिद्धांत, निर्णय विश्लेषण, मॉडलिंग और विज्ञान के दर्शन का प्रतिछेदन हैं।

सूचना-मिति कम-निर्धारित या गलत ढंग से प्रस्तुत की गई समस्याओं को हल करने के लिए एक सीमित अनुकूलन संरचना प्रदान करता है - ऐसी समस्याएं जहां एक अद्वितीय समाधान खोजने के लिए पर्याप्त सूचना नहीं है। ऐसी समस्याएँ सभी विज्ञानों में बहुत साधारण हैं: उपलब्ध सूचना असंपूर्ण हैं, सीमित, ध्वनि (संकेत संसाधन) और अनिश्चितता है। सूचना-मिति वैज्ञानिक मॉडलिंग, सूचना प्रसंस्करण, सिद्धांत निर्माण और वैज्ञानिक वर्णक्रम में अनुमान समस्याओं के लिए उपयोगी है। सूचना-मिति संरचना का उपयोग प्रतिस्पर्धी सिद्धांतों या आकाश्मिक यांत्रिकी के विषय में परिकल्पनाओं का परीक्षण करने के लिए भी किया जा सकता है।

इतिहास

इन्फो-मेट्रिक्स अधिकतम एन्ट्रापी औपचारिकता के शास्त्रीय सिद्धांत से विकसित हुआ, जो क्लाउड शैनन के काम पर आधारित है। प्रारंभिक योगदान अधिकतर प्राकृतिक और गणितीय/सांख्यिकीय विज्ञान में थे। 1980 के दशक के मध्य से और विशेष रूप से 1990 के दशक के मध्य में, सामाजिक और व्यवहार विज्ञान में समस्याओं के एक बड़े वर्ग को संभालने के लिए, विशेष रूप से जटिल समस्याओं और डेटा के लिए, अधिकतम एन्ट्रापी दृष्टिकोण को सामान्यीकृत और विस्तारित किया गया था। 'इन्फो-मेट्रिक्स' शब्द 2009 में अमोस गोलान द्वारा अंतःविषय इन्फो-मेट्रिक्स संस्थान के उद्घाटन से ठीक पहले गढ़ा गया था।

प्रारंभिक परिभाषाएँ

एक यादृच्छिक चर पर विचार करें ${\textstyle X}$ जिसके परिणामस्वरूप K विशिष्ट परिणामों में से एक हो सकता है। संभावना ${\textstyle p_{k}}$ प्रत्येक परिणाम का ${\textstyle x_{k}}$ है ${\textstyle p_{k}=p(x_{k})}$ के लिए ${\textstyle k=1,2,\ldots ,K}$. इस प्रकार, ${\textstyle P}$ के-आयामी संभाव्यता वितरण के लिए परिभाषित किया गया है ${\textstyle X}$ ऐसा है कि $p_{k}\epsilon [0,1]$ और ${\textstyle \sum _{k}p_{k}=1}$. किसी एकल परिणाम की सूचनात्मक सामग्री को परिभाषित करें ${\textstyle x_{k}}$ होना ${\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})}$ (जैसे, शैनन)। वितरण के अंत में एक परिणाम का अवलोकन करना (एक दुर्लभ घटना) दूसरे, अधिक संभावित, परिणाम को देखने की तुलना में बहुत अधिक जानकारी प्रदान करता है। एन्ट्रापी यादृच्छिक चर X के परिणाम की अपेक्षित सूचना सामग्री है जिसका संभाव्यता वितरण P है:

$$H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]$$

यहाँ $p_{k}\log _{2}(p_{k})\equiv 0$ अगर $p_{k}=0$, और $\operatorname {E}$ अपेक्षित मूल्य ऑपरेटर है.

बुनियादी सूचना-मेट्रिक्स समस्या

मॉडलिंग की समस्या पर विचार करें और उस चर के केवल माध्य (अपेक्षित मान) को देखते हुए कुछ के-आयामी असतत यादृच्छिक चर के न देखे गए संभाव्यता वितरण का अनुमान लगाएं। हम यह भी जानते हैं कि संभावनाएँ गैर-नकारात्मक और सामान्यीकृत हैं (अर्थात, योग बिल्कुल 1 तक)। सभी K > 2 के लिए समस्या कम निर्धारित है। इन्फो-मेट्रिक्स ढांचे के भीतर, समाधान दो बाधाओं के अधीन यादृच्छिक चर की एन्ट्रापी को अधिकतम करना है: माध्य और सामान्यीकरण। इससे सामान्य अधिकतम एन्ट्रापी समाधान प्राप्त होता है। उस समस्या के समाधान को कई तरीकों से विस्तारित और सामान्यीकृत किया जा सकता है। सबसे पहले, कोई शैनन की एन्ट्रॉपी के बजाय किसी अन्य एन्ट्रॉपी का उपयोग कर सकता है। दूसरा, एक ही दृष्टिकोण का उपयोग निरंतर यादृच्छिक चर के लिए, सभी प्रकार के सशर्त मॉडल (उदाहरण के लिए, प्रतिगमन, असमानता और गैर-रेखीय मॉडल) और कई बाधाओं के लिए किया जा सकता है। तीसरा, पुजारियों को उस ढांचे में शामिल किया जा सकता है। चौथा, अधिक अनिश्चितता को समायोजित करने के लिए उसी ढांचे को बढ़ाया जा सकता है: देखे गए मूल्यों के बारे में अनिश्चितता और/या मॉडल के बारे में अनिश्चितता। अंत में, उसी बुनियादी ढांचे का उपयोग नए मॉडल/सिद्धांतों को विकसित करने, सभी उपलब्ध जानकारी का उपयोग करके इन मॉडलों को मान्य करने और मॉडल के बारे में सांख्यिकीय परिकल्पनाओं का परीक्षण करने के लिए किया जा सकता है।

उदाहरण

छह भुजाओं वाला पासा

बार-बार स्वतंत्र प्रयोगों से प्राप्त जानकारी के आधार पर अनुमान।

निम्नलिखित उदाहरण का श्रेय एल. बोल्ट्ज़मैन को दिया जाता है और इसे ईटी जेनेस द्वारा और अधिक लोकप्रिय बनाया गया। छह-तरफा पर विचार करें die, कहां उछालना है die घटना है और इसके विशिष्ट परिणाम ऊपरी सतह पर 1 से 6 तक की संख्याएँ हैं die. प्रयोग समान उछालने की स्वतंत्र पुनरावृत्ति है die. मान लीजिए कि आप केवल छह-तरफा के एन उछाल के अनुभवजन्य औसत मूल्य, वाई का निरीक्षण करते हैं die. उस जानकारी को देखते हुए, आप संभावनाओं का अनुमान लगाना चाहते हैं कि चेहरे का एक विशिष्ट मूल्य अगले टॉस में दिखाई देगा die. आप यह भी जानते हैं कि संभावनाओं का योग 1 होना चाहिए। इन दो बाधाओं (माध्य और सामान्यीकरण) के अधीन एन्ट्रॉपी को अधिकतम करना (और लॉग बेस 2 का उपयोग करना) सबसे अनजान समाधान उत्पन्न करता है।

$${\begin{aligned}&{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}$$

के लिए ${\textstyle x_{k}=k}$ और ${\textstyle k=1,2,\ldots ,6}$ . समाधान है

$${\widehat {p}}_{k}={\frac {2^{-{\widehat {\lambda }}x_{k}}}{\sum _{k=1}^{6}2^{-{\widehat {\lambda }}x_{k}}}}\equiv {\frac {2^{-\lambda x_{k}}}{\Omega }}$$

कहाँ ${\textstyle {\widehat {p}}_{k}}$ घटना की अनुमानित संभावना है ${\textstyle k}$, ${\textstyle {\widehat {\lambda }}}$ माध्य बाधा से जुड़े अनुमानित लैग्रेंज गुणक हैं, और ${\textstyle \Omega }$ विभाजन फलन (सांख्यिकीय यांत्रिकी) (सामान्यीकरण) फलन है। यदि यह मेला है die 3.5 के माध्य से आप अपेक्षा करेंगे कि सभी फलकों की संभावना समान है और संभावनाएँ भी समान हैं। अधिकतम एन्ट्रापी समाधान यही देता है। यदि die 4 के माध्य के साथ अनुचित (या लोडेड) है, जिसके परिणामस्वरूप अधिकतम एन्ट्रापी समाधान होगा ${\textstyle p_{k}=(0.103,0.123,0.146,0.174,0.207,0.247)}$. तुलना के लिए, न्यूनतम वर्ग मानदंड को न्यूनतम करना ${\textstyle \left(\sum _{k=1}^{6}p_{k}^{2}\right)}$ एन्ट्रापी पैदावार को अधिकतम करने के बजाय ${\textstyle p_{k}(LS)=(0.095,0.124,0.152,0.181,0.210,0.238)}$.

कुछ अंतर-विषयक उदाहरण

वर्षा की भविष्यवाणी: अपेक्षित दैनिक वर्षा (अंकगणितीय माध्य) का उपयोग करके, दैनिक वर्षा वितरण का अनुमान लगाने और पूर्वानुमान लगाने के लिए अधिकतम एन्ट्रापी ढांचे का उपयोग किया जा सकता है। पोर्टफोलियो प्रबंधन: मान लीजिए कि एक पोर्टफोलियो प्रबंधक है जिसे निवेशक की बाधाओं और प्राथमिकताओं को ध्यान में रखते हुए, कुछ परिसंपत्तियों को आवंटित करने या विभिन्न परिसंपत्तियों को पोर्टफोलियो भार आवंटित करने की आवश्यकता है। इन प्राथमिकताओं और बाधाओं के साथ-साथ देखी गई जानकारी, जैसे कि बाजार का मतलब रिटर्न, और कुछ समय अवधि में प्रत्येक परिसंपत्ति का सहप्रसरण, का उपयोग करके, इष्टतम पोर्टफोलियो भार खोजने के लिए एन्ट्रापी अधिकतमकरण ढांचे का उपयोग किया जा सकता है। इस मामले में, पोर्टफोलियो की एन्ट्रापी इसकी विविधता का प्रतिनिधित्व करती है। इस ढांचे को अन्य बाधाओं जैसे न्यूनतम भिन्नता, अधिकतम विविधता इत्यादि को शामिल करने के लिए संशोधित किया जा सकता है। उस मॉडल में असमानताएं शामिल हैं और छोटी बिक्री को शामिल करने के लिए इसे और सामान्यीकृत किया जा सकता है। ऐसे और भी उदाहरण और संबंधित कोड यहां पाए जा सकते हैं इन्फो-मेट्रिक्स से संबंधित कार्यों की एक विस्तृत सूची यहां पाई जा सकती है: http://info-metrics.org/bibliography.html

यह भी देखें

• सूचना सिद्धांत
• एंट्रॉपी
• अधिकतम एन्ट्रापी का सिद्धांत
• अनुमान
• सांख्यिकीय निष्कर्ष
• विवश अनुकूलन

अग्रिम पठन

क्लासिक्स

• रुडोल्फ क्लॉसियस. शी. गति की प्रकृति पर जिसे हम ऊष्मा कहते हैं। लंदन, एडिनबर्ग, और डबलिन फिलॉसॉफिकल मैगज़ीन और जर्नल ऑफ़ साइंस, '14' (91):108-127, 1857।
• लुडविग बोल्ट्ज़मैन। गैस अणुओं के तापीय संतुलन पर आगे के अध्ययन (गैसमोलेकुलेन में अध्ययन के आधार पर)। सिट्ज़ुंग्सबेरीचटे डेर अकाडेमी डेर विसेनशाफ्टन, मैथेमेटिशे-नेचुरविस्सचाफ्टलिचे क्लासे, पृष्ठ 275-370, 1872।
• जे. डब्ल्यू. गिब्स। सांख्यिकीय यांत्रिकी में प्राथमिक सिद्धांत। (न्यू हेवन, सीटी: येल यूनिवर्सिटी प्रेस), 1902।
• सी. ई. शैनन। संचार का एक गणितीय सिद्धांत । बेल सिस्टम टेक्निकल जर्नल, '27':379-423, 1948।
• वाई. अलहसीद और आर. डी. लेविन। सूचना सैद्धांतिक दृष्टिकोण में प्रायोगिक और अंतर्निहित अनिश्चितताएँ। रासायनिक भौतिकी पत्र, '73' (1):16-20, 1980।
• आर. बी. ऐश. सूचना सिद्धांत. इंटरसाइंस, न्यूयॉर्क, 1965।
• एक कैटिचा। सापेक्ष एन्ट्रापी और आगमनात्मक अनुमान। 2004.
• एक कैटिचा। संभाव्यता, एन्ट्रापी और सांख्यिकीय भौतिकी पर व्याख्यान। मैक्सएंट, साओ पाउलो, ब्राज़ील, 2008।
• जान एम. वैन कैम्पेनहौट कवर और थॉमस एम. अधिकतम एन्ट्रापी और सशर्त संभाव्यता। सूचना सिद्धांत पर आईईईई लेनदेन, आईटी-27, संख्या 4, 1981।
• आई. सिस्ज़ार। न्यूनतम वर्ग और अधिकतम एन्ट्रापी क्यों? रैखिक व्युत्क्रम समस्या के अनुमान के लिए एक स्वयंसिद्ध दृष्टिकोण। सांख्यिकी के इतिहास, '19':2032-2066, 1991।
• डेविड डोनोहो, होसैन काकावंड, और जेम्स मैमन। रैखिक समीकरणों की एक अनिर्धारित प्रणाली का सबसे सरल समाधान। सूचना सिद्धांत में, 2006 आईईईई अंतर्राष्ट्रीय संगोष्ठी, पृष्ठ 1924-1928। आईईईई, 2007।

बुनियादी पुस्तकें और शोध मोनोग्राफ

• गोलान, अमोस। इन्फो-मेट्रिक्स की नींव: मॉडलिंग, अनुमान और अपूर्ण जानकारी। ऑक्सफोर्ड यूनिवर्सिटी प्रेस, 2018।
• गोलान. सूचना और एन्ट्रॉपी अर्थमिति - एक समीक्षा और संश्लेषण। अर्थमिति में नींव और रुझान, 2(1-2):1-145, 2008।
• आर. डी. लेविन और एम. ट्राइबस। अधिकतम एन्ट्रॉपी औपचारिकता। एमआईटी प्रेस, कैम्ब्रिज, एमए, 1979।
• जे. एन. कपूर. विज्ञान और इंजीनियरिंग में अधिकतम एन्ट्रॉपी मॉडल। विली, 1993.
• जे. हर्टे. अधिकतम एन्ट्रॉपी और पारिस्थितिकी: प्रचुरता, वितरण और ऊर्जावान का एक सिद्धांत। ऑक्सफोर्ड यू प्रेस, 2011।
• ए. गोलान, जी. जज, और डी. मिलर। अधिकतम एन्ट्रापी अर्थमिति: सीमित डेटा के साथ मजबूत अनुमान। जॉन विले एंड संस, 1996।
• ई. टी. जेन्स। संभाव्यता सिद्धांत: विज्ञान का तर्क। कैम्ब्रिज यूनिवर्सिटी प्रेस, 2003।

अन्य प्रतिनिधि आवेदन

• जे. आर. बनावर, ए. मैरिटन, और आई. वोल्कोव। अधिकतम एन्ट्रापी के सिद्धांत के अनुप्रयोग: भौतिकी से पारिस्थितिकी तक। जर्नल ऑफ फिजिक्स-कंडेंस्ड मैटर, 22(6), 2010।
• अनिल के. बेरा और सुंग वाई. पार्क। अधिकतम एन्ट्रॉपी सिद्धांत का उपयोग करके इष्टतम पोर्टफोलियो विविधीकरण। अर्थमितीय समीक्षाएँ, 27(4-6):484-512, 2008।
• भाटी, बी. बुयुकसाहिन, और ए. गोलान। छवि पुनर्निर्माण: एक सूचना सैद्धांतिक दृष्टिकोण। अमेरिकन स्टैटिस्टिकल एसोसिएशन कार्यवाही, 2005।
• पीटर डब्ल्यू बुचेन और माइकल केली। विकल्प कीमतों से अनुमानित परिसंपत्ति का अधिकतम एन्ट्रापी वितरण। वित्तीय और मात्रात्मक विश्लेषण जर्नल, 31(01):143-159, 1996।
• रान्डेल सी कैंपबेल और आर कार्टर हिल। अधिकतम एन्ट्रॉपी का उपयोग करके बहुपद विकल्पों की भविष्यवाणी करना। अर्थशास्त्र पत्र, 64(3):263-269, 1999।
• एरियल कैटिचा और अमोस गोलान। अर्थव्यवस्थाओं के मॉडलिंग के लिए एक एंट्रोपिक ढांचा। फिजिका ए: सांख्यिकीय यांत्रिकी और इसके अनुप्रयोग, 408:149-163, 2014।
• मार्शा कौरचेन, अमोस गोलान, और डेविड निकर्सन। ऋण भेदभाव का अनुमान और मूल्यांकन: एक सूचनात्मक दृष्टिकोण। जर्नल ऑफ़ हाउसिंग रिसर्च, 11(1):67-90, 2000।
• त्सुकासा फुजिवारा और योशियो मियाहारा। ज्यामितीय लेवी प्रक्रियाओं के लिए न्यूनतम-एन्ट्रॉपी मार्टिंगेल माप। वित्त और स्टोचैस्टिक्स, 7(4):509-531, 2003।

मार्को फ्रिटेली. न्यूनतम एन्ट्रापी मार्टिंगेल माप और अपूर्ण बाजारों में मूल्यांकन समस्या। गणितीय वित्त, 10(1):39-52, 2000।

• डी. ग्लेनॉन और ए. गोलान। सूचना-सैद्धांतिक दृष्टिकोण बैंकों का उपयोग करके बैंक विफलता का एक मार्कोव मॉडल अनुमान लगाया गया। रिपोर्ट, यूएस ट्रेजरी, 2003।
• ए गोलान। अनुभवजन्य साक्ष्य के साथ फर्मों के आकार वितरण का एक बहुपरिवर्तनीय स्टोकेस्टिक सिद्धांत। अर्थमिति में प्रगति, 10:1-46, 1994।
• ए गोलान। कर्मियों के प्रतिधारण पर मुआवजे के प्रभाव का मॉडकॉम्प मॉडल - एक सूचना सैद्धांतिक दृष्टिकोण। रिपोर्ट, अमेरिकी नौसेना, फरवरी 2003।

अमोस गोलान और वोल्कर डोज़। टोमोग्राफिक पुनर्निर्माण के लिए एक सामान्यीकृत सूचना सैद्धांतिक दृष्टिकोण। जर्नल ऑफ़ फ़िज़िक्स ए: गणितीय और सामान्य, 34(7):1271, 2001।

• बार्ट हेगमैन और रामपाल एस एटियेन। एन्ट्रापी अधिकतमीकरण और प्रजातियों का स्थानिक वितरण। अमेरिकी प्रकृतिवादी, 175(4):ई74-ई90, 2010।
• यू. वी. टूसेंट, ए. गोलान और वी. डोज़ और, "क्वाड्रपल मास स्पेक्ट्रा का अधिकतम एन्ट्रॉपी अपघटन।" जर्नल ऑफ़ वैक्यूम साइंस एंड टेक्नोलॉजी ए 22(2), मार्च/अप्रैल 2004, 401-406
• गोलान ए., और डी. वोल्कर, "टोमोग्राफ़िक पुनर्निर्माण के लिए एक सामान्यीकृत सूचना सैद्धांतिक दृष्टिकोण," भौतिकी ए के जे.: गणितीय और सामान्य (2001) 1271-1283।

बाहरी संबंध

• "Info-Metrics Institute: Information-Theoretic Data Analysis and Exposition | American University, Washington, D.C." american.edu. Retrieved 2017-11-07.
• "Center for Science of Information NSF STC". soihub.org. Retrieved 2017-11-07.
• http://info-metrics.org/