फिशर संसूचना

गणितीय आँकड़ों में, फ़िशर संसूचना (कभी-कभी केवल सूचना कहलाती है) संसूचना की मात्रा को मापने का प्रकार है जो प्रेक्षण योग्य यादृच्छिक चर X वितरण के अज्ञात पैरामीटर θ के मॉडल X के विषय में होता है। औपचारिक रूप से, यह स्कोर की भिन्नता है, या देखी गई संसूचना का अपेक्षित मूल्य होता है।

सांख्यिकीविद् रोनाल्ड फिशर (फ्रांसिस यसिड्रो एडगेवर्थ द्वारा कुछ प्रारंभिक परिणामों के पश्चात) द्वारा अधिकतम-संभावना अनुमान के स्पर्शोन्मुख सिद्धांत में फिशर संसूचना की भूमिका पर जोर दिया गया था। फिशर संसूचना आव्यूह का उपयोग अधिकतम-संभावना अनुमानों से जुड़े सहप्रसरण आव्यूह की गणना करने के लिए किया जाता है। इसका उपयोग परीक्षण आँकड़ों के निर्माण में जैसे वाल्ड परीक्षण किया जा सकता है।

बायेसियन सांख्यिकी में, फिशर की संसूचना जेफ़रीज़ के नियम के अनुसार गैर-सूचनात्मक पूर्व वितरणों की व्युत्पत्ति में भूमिका निभाती है। यह पश्च वितरण के बड़े-प्रारूप सहप्रसरण के रूप में भी प्रकट होता है, नियम यह है कि पूर्व पर्याप्त रूप से सुचारू हो (परिणाम जिसे बर्नस्टीन-वॉन मिज़ प्रमेय के रूप में जाना जाता है, जिसे घातीय परिवारों के लिए लाप्लास द्वारा प्रत्याशित किया गया था)। लाप्लास के सन्निकटन के साथ पोस्टीरियर का अनुमान लगाते समय उसी परिणाम का उपयोग किया जाता है, जहां फिशर की संसूचना फिटेड गॉसियन के सहप्रसरण के रूप में दिखाई देती है।

वैज्ञानिक प्रकृति (भौतिक, जैविक, आदि) की सांख्यिकीय प्रणालियाँ जिनके संभावित कार्य शिफ्ट-इनवेरिएंट का पालन करते हैं, उन्हें अधिकतम फिशर संसूचना का पालन करने के लिए दिखाया गया है। अधिकतम स्तर प्रणाली बाधाओं की प्रकृति पर निर्भर करता है।

परिभाषा

फ़िशर संसूचना, संसूचना की मात्रा को मापने की विधि है जो अवलोकन योग्य यादृच्छिक चर है $X$ में अज्ञात पैरामीटर है जिस पर $\theta$ की संभावना है $X$ निर्भर करता है। मान लीजिये $f(X;\theta )$ के लिए प्रायिकता घनत्व फलन (या प्रायिकता द्रव्यमान फलन) $X$ के मान पर प्रतिबंधित $\theta$ होता है। यह संभावना का वर्णन करता है कि हम दिए गए परिणाम का निरीक्षण करते हैं $X$, का ज्ञात मान $\theta$ दिया गया है। यदि $f$ में परिवर्तनों के संबंध में तीव्रता से चरम पर $\theta$ का उचित मान प्रदर्शित करना सरल है $\theta$ डेटा से, या समकक्ष, कि डेटा $X$ पैरामीटर $\theta$ के विषय में अत्यधिक संसूचना प्रदान करता है। यदि $f$ समतल और विस्तारित है, तो यह कई प्रतिरूप लेगा $X$ के वास्तविक उचित मान का अनुमान लगाने के लिए वह $\theta$ प्रतिचयन की जा रही संपूर्ण जनसंख्या का उपयोग करके प्राप्त किया जाएगा। यह $\theta$ किसी प्रकार के विचरण के संबंध में अध्ययन करने का सुझाव देता है।

औपचारिक रूप से, $\theta$ के संबंध में आंशिक व्युत्पन्न प्रायिकता फलन के प्राकृतिक लघुगणक को स्कोर कहा जाता है। कुछ नियमितता प्रावधानों के अंतर्गत, यदि $\theta$ उचित पैरामीटर है (अर्थात $X$ वास्तव में $f(X;\theta )$ के रूप में वितरित किया जाता है), यह दिखाया जा सकता है कि स्कोर का अपेक्षित मान (प्रथम क्षण), उचित पैरामीटर मान पर मूल्यांकन $\theta$, 0 किया गया है: ${\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\right|\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[3pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[3pt]={}&{\frac {\partial }{\partial \theta }}1\\={}&0.\end{aligned}}$

फिशर संसूचना को स्कोर के विचरण के रूप में परिभाषित किया गया है:

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\right|\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,$

ध्यान दें कि $0\leq {\mathcal {I}}(\theta )$ उच्च फिशर संसूचना वाले यादृच्छिक चर का अर्थ है कि स्कोर का निरपेक्ष मान प्रायः उच्च होता है। फिशर की संसूचना किसी विशेष अवलोकन का कार्य नहीं है, क्योंकि यादृच्छिक चर X को औसत कर दिया गया है।

यदि log f(x; θ) θ के संबंध में दो बार अवकलनीय है, और कुछ नियमितता प्रावधानों के अंतर्गत, फ़िशर संसूचना को इस रूप में भी लिखा जा सकता है:

${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\right|\theta \right],$

तब से

${\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}$

और

$\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\right|\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.$

इस प्रकार, फिशर की संसूचना को समर्थन वक्र (लॉग-संभावना का ग्राफ) की वक्रता के रूप में देखा जा सकता है। अधिकतम संभावना अनुमान के निकट, अल्प फिशर संसूचना इसलिए प्रदर्शित करती है कि अधिकतम "ब्लंट" दिखाई देता है, अर्थात, अधिकतम उथला है और समान लॉग-संभावना के साथ निकट के कई मान हैं। इसके विपरीत, उच्च फिशर संसूचना प्रदर्शित करती है कि अधिकतम तीव्र है।

नियमितता की स्थिति

नियमितता के नियम इस प्रकार हैं:

1. θ के संबंध में f(X; θ) का आंशिक व्युत्पन्न लगभग प्रत्येक जगह उपस्थित है। (जब तक कि यह समुच्चय θ पर निर्भर नहीं करता है, तब तक यह शून्य समुच्चय पर उपस्थित नहीं हो सकता है।)
2. f(X; θ) के समाकल को θ के संबंध में समाकल चिह्न के अंतर्गत विभेदित किया जा सकता है।
3. f(X; θ) का समर्थन θ पर निर्भर नहीं करता है।

यदि θ सदिश राशि है तो θ के प्रत्येक घटक के लिए नियमितता के नियम होने चाहिए। घनत्व का उदाहरण शोध करना सरल है जो नियमितता के नियमों को पूर्ण नहीं करता है: समान (0, θ) चर का घनत्व 1 और 3 के नियमों को पूर्ण करने में विफल रहता है। इस स्थिति में, उचित प्रकार से फिशर की संसूचना की गणना परिभाषा से की जा सकती है, इसमें वे गुण नहीं होंगे जो सामान्यतः माने जाते हैं।

संभावना की दृष्टि से

चूँकि दिए गए X के θ की संभावना सदैव प्रायिकता f(X; θ) के समानुपाती होती है, उनके लघुगणक आवश्यक रूप से स्थिरांक से भिन्न होते हैं जो θ से स्वतंत्र होता है, और θ के संबंध में इन लघुगणकों के डेरिवेटिव आवश्यक रूप से समान होते हैं। इस प्रकार कोई फिशर संसूचना की परिभाषाओं में लॉग-लाइबिलिटी l(θ; X) के अतिरिक्त log f(X; θ) में स्थानापन्न कर सकता है।

किसी भी आकार के प्रतिरूप

मान X एकल वितरण से निकाले गए एकल प्रतिरूप का प्रतिनिधित्व कर सकता है या वितरण के संग्रह से निकाले गए प्रतिरूपों के संग्रह का प्रतिनिधित्व कर सकता है। यदि n प्रतिरूप हैं और संबंधित n वितरण सांख्यिकीय रूप से स्वतंत्र हैं, तो फ़िशर संसूचना आवश्यक रूप से इसके वितरण से प्रत्येक एकल प्रतिरूप के लिए फ़िशर संसूचना मानों का योग होगी। विशेष रूप से, यदि n वितरण स्वतंत्र हैं और समान रूप से वितरित किए गए हैं, तो फ़िशर संसूचना आवश्यक रूप से सामान्य वितरण से एकल प्रतिरूप की फ़िशर संसूचना का n गुना होगी।

क्रैमर-राव बाउंड की अनौपचारिक व्युत्पत्ति

क्रैमर-राव बाउंड कहता है कि फिशर संसूचना का व्युत्क्रम θ के किसी भी निष्पक्ष अनुमानक के विचरण पर निचली सीमा है। एच.एल. वैन ट्रीज़ (1968) और बी. रॉय फ्रीडेन (2004) क्रैमर-राव बाउंड प्राप्त करने की निम्नलिखित विधि प्रदान करते हैं, जिसके परिणामस्वरूप फिशर संसूचना के उपयोग का वर्णन होता है।

अनौपचारिक रूप से, हम निष्पक्ष अनुमानक पर विचार करके ${\hat {\theta }}(X)$ प्रारंभ करते हैं, गणितीय रूप से, निष्पक्ष का अर्थ है कि;

$\operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \right|\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .$

यह अभिव्यक्ति θ से स्वतंत्र शून्य है, इसलिए θ के संबंध में इसका आंशिक व्युत्पन्न भी शून्य होना चाहिए। उत्पाद नियम के अनुसार, यह आंशिक अवकलज भी समान है:

$0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.$

प्रत्येक θ के लिए, प्रायिकता फलन प्रायिकता घनत्व फलन है, और इसलिए $\int f\,dx=1$ के आंशिक व्युत्पन्न पर श्रृंखला नियम का उपयोग करके $\log f$ और पुनः विभाजित और $f(x;\theta )$ गुणा करना, कोई इसे सत्यापित कर सकता है:

${\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.$

उपर्युक्त में इन दो तथ्यों का प्रयोग करने पर हमें प्राप्त होता है:

$\int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.$

इंटीग्रैंड फैक्टरिंग देता है:

$\int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.$

समाकलन में व्यंजक का वर्ग करने पर कॉशी-श्वार्ज़ असमानता प्राप्त होती है:

$1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].$

दूसरा ब्रैकेटेड कारक फिशर सूचना के रूप में परिभाषित किया गया है, जबकि प्रथम ब्रैकेटेड कारक अनुमानक की अपेक्षित माध्य-वर्ग त्रुटि ${\hat {\theta }}$ है, पुनर्व्यवस्थित करके, असमानता हमें बताती है कि;

$\operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.$

दूसरे शब्दों में, जिस त्रुटिहीनता का हम अनुमान लगा सकते हैं, वह मौलिक रूप से संभावित कार्य की फिशर संसूचना द्वारा सीमित है।

वैकल्पिक रूप से, यादृच्छिक चर के लिए कॉची-श्वार्ज़ असमानता से सीधे ही निष्कर्ष प्राप्त किया जा सकता है, $|\operatorname {Cov} (AB)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)$, यादृच्छिक चर ${\hat {\theta }}(X)$ और $\partial _{\theta }\log f(X;\theta )$ पर प्रारम्भ होता है, और यह देखते हुए कि निष्पक्ष अनुमानक हैं:

$$\operatorname {Cov} [{\hat {\theta }}(X)\partial _{\theta }\log f(X;\theta )]=\int dx({\hat {\theta }}(x)-\mathrm {E} [{\hat {\theta }}])\partial _{\theta }f(x;\theta )=\partial _{\theta }\mathrm {E} [{\hat {\theta }}]=1.$$

एकल-पैरामीटर बरनौली प्रयोग

बरनौली परीक्षण दो संभावित परिणामों, सफलता और असफलता के साथ यादृच्छिक चर है, जिसमें सफलता की संभावना θ है। परिणाम के विषय में सोचा जा सकता है कि सिक्का टॉस द्वारा निर्धारित किया जा सकता है, जिसमें हेड होने की संभावना θ और पूंछ होने की संभावना 1 − θ है।

मान लीजिये कि X बरनौली परीक्षण है। X में निहित फिशर संसूचना की गणना की जा सकती है:

${\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\right|\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\right|\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}$

क्योंकि फिशर की संसूचना योगात्मक है, फिशर की संसूचना n स्वतंत्र बर्नौली परीक्षणों में निहित है:

${\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.$

यह n बर्नौली परीक्षणों में सफलताओं की औसत संख्या के विचरण का पारस्परिक है, इसलिए इस स्थिति में, क्रैमर-राव बाउंड समानता है।

आव्यूह फॉर्म

जब N पैरामीटर हैं, तो θ N × 1 सदिश $\theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}}$ है, तब फिशर संसूचना N × N आव्यूह का रूप ले लेती है। इस आव्यूह को फिशर इंफॉर्मेशन आव्यूह (एफआईएम) कहा जाता है और इसमें विशिष्ट तत्व होता है:

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\right|\theta \right].$

एफआईएम N × N सकारात्मक अर्ध निश्चित आव्यूह है। यदि यह सकारात्मक निश्चित है, तो यह N-आयामीपैरामीटर स्थान पर रिमेंनियन मीट्रिक को परिभाषित करता है। विषय सूचना ज्यामिति इसका उपयोग फिशर संसूचना को अंतर ज्यामिति से जोड़ने के लिए करती है, और उस संदर्भ में, इस मीट्रिक को फिशर संसूचना मीट्रिक के रूप में जाना जाता है।

कुछ निश्चित नियमितता नियमों  के अंतर्गत , फिशर संसूचना आव्यूह को इस रूप में भी लिखा जा सकता है:

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\right|\theta \right]\,.$

परिणाम कई अर्थों में रोचक है:

• इसे सापेक्ष एंट्रॉपी के हेसियन आव्यूह के रूप में प्राप्त किया जा सकता है।
• इसे सकारात्मक-निश्चित होने पर फिशर-राव ज्यामिति को परिभाषित करने के लिए रिमेंनियन मीट्रिक के रूप में उपयोग किया जा सकता है।
• चर के उपयुक्त परिवर्तन के पश्चात, इसे यूक्लिडियन मीट्रिक से प्रेरित मीट्रिक के रूप में समझा जा सकता है।
• अपने जटिल-मूल्यवान रूप में, यह फ़ुबिनी-अध्ययन मीट्रिक है।
• यह विल्क्स प्रमेय के प्रमाण का प्रमुख भाग है, जो संभावना सिद्धांत की आवश्यकता के बिना विश्वास क्षेत्र अनुमानों को अधिकतम संभावना अनुमान (उन स्थितियों के लिए जिनके लिए यह प्रस्तावित होता है) की अनुमति देता है।
• ऐसी स्थितियों में जहां उपरोक्त एफआईएम की विश्लेषणात्मक गणना कठिन है, एफआईएम के अनुमान के रूप में नकारात्मक लॉग-लाइबिलिटी फ़ंक्शन के हेसियन आव्यूह के सरल मोंटे कार्लो अनुमानों का औसत बनना संभव है। अनुमान नकारात्मक लॉग-संभावना फ़ंक्शन के मान या नकारात्मक लॉग-संभावना फ़ंक्शन के ग्रेडिएंट पर आधारित हो सकते हैं; नकारात्मक लॉग-संभावना फ़ंक्शन के हेस्सियन की कोई विश्लेषणात्मक गणना आवश्यक नहीं है।

सूचना लंबकोणीय पैरामीटर

हम कहते हैं कि दो पैरामीटर घटक सदिश θ₁और θ₂ सूचना लंबकोणीय हैं यदि फिशर संसूचना आव्यूह भिन्न-भिन्न ब्लॉकों में इन घटकों के साथ ब्लॉक विकर्ण है। लंबकोणीय मापदंडों को इस अर्थ में निपटाना सरल है कि उनके अधिकतम संभावना स्पर्शोन्मुख रूप से असंबद्ध है। सांख्यिकीय मॉडल का विश्लेषण करने के विषय में विचार करते समय, मॉडेलर को सलाह दी जाती है कि वह मॉडल के लंबकोणीय पैरामीट्रिजेशन के शोध में कुछ समय निवेश करते हैं, विशेष रूप से जब ब्याज का पैरामीटर एक-आयामी है, किन्तु उपद्रव पैरामीटर का कोई आयाम हो सकता है।

एकवचन सांख्यिकीय मॉडल

See also: नियमित पैरामीट्रिक मॉडल

यदि फिशर संसूचना आव्यूह सभी θ के लिए सकारात्मक निश्चित है, तो संबंधित सांख्यिकीय मॉडल को नियमित कहा जाता है; अन्यथा, सांख्यिकीय मॉडल को एकवचन कहा जाता है। एकवचन सांख्यिकीय मॉडल के उदाहरणों में निम्नलिखित सम्मिलित हैं: सामान्य मिश्रण, द्विपद मिश्रण, बहुपद मिश्रण, बायेसियन नेटवर्क, तंत्रिका नेटवर्क, रेडियल आधार कार्य, छिपे हुए मार्कोव मॉडल, स्टोचैस्टिक संदर्भ-मुक्त व्याकरण, कम रैंक प्रतिगमन, बोल्ट्जमैन मशीन आदि हैं।

मशीन लर्निंग में, यदि सांख्यिकीय मॉडल प्रस्तुत किया जाता है जिससे कि यह यादृच्छिक घटना से छिपी हुई संरचना को निकाल सके, तो यह स्वाभाविक रूप से एकवचन बन जाता है।

बहुभिन्नरूपी सामान्य वितरण

N-वैरिएट बहुभिन्नरूपी सामान्य वितरण के लिए एफआईएम, $\,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)$ का विशेष रूप होता है। पैरामीटर के K-आयामी सदिश मान लें कि $\theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}$ और यादृच्छिक सामान्य चर के सदिश $X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}$होता है। मान लें कि इन यादृच्छिक चरों के माध्य मान $\,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}$हैं, और जाने $\,\Sigma (\theta )$ सहप्रसरण आव्यूह हो। फिर, $1\leq m,\,n\leq K$, (m, n) एफआईएम की प्रविष्टि है:

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),$

जहाँ $(\cdot )^{\textsf {T}}$ सदिश के स्थानान्तरण को दर्शाता है, $\operatorname {tr} (\cdot )$ वर्ग आव्यूह के ट्रेस (आव्यूह ) को दर्शाता है, और:

${\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}$

ध्यान दें कि विशेष, किन्तु अधिक सामान्य स्थिति वह है जहां $\Sigma (\theta )=\Sigma$, निरंतर है। तब,

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\$

इस स्थिति में फिशर संसूचना आव्यूह को कम से कम वर्गों के आकलन सिद्धांत के सामान्य समीकरणों के गुणांक आव्यूह के साथ पहचाना जा सकता है।

एक और विशेष स्थिति तब होती है जब माध्य और सहप्रसरण दो भिन्न-भिन्न सदिश मापदंडों पर निर्भर करते हैं, उन्हें β और θ कहते हैं। यह विशेष रूप से स्थानिक डेटा के विश्लेषण में लोकप्रिय है, जो प्रायः सहसंबद्ध अवशेषों के साथ रैखिक मॉडल का उपयोग करता है। इस स्थिति में,

${\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)$

जहाँ;

${\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}$

गुण

श्रृंखला नियम

एंट्रॉपी या पारस्परिक संसूचना के समान फिशर की संसूचना में भी श्रृंखला नियम अपघटन होता है। विशेष रूप से, यदि X और Y संयुक्त रूप से यादृच्छिक चर वितरित किए जाते हैं, तो यह इस प्रकार है:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta )$

जहाँ ${\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]$ और ${\mathcal {I}}_{Y\mid X=x}(\theta )$ Y के सापेक्ष फिशर संसूचना $\theta$ है, विशिष्ट मान X = x दिए जाने पर Y के नियमानुसार घनत्व के संबंध में गणना की जाती है।

विशेष स्थिति के रूप में, यदि दो यादृच्छिक चर स्वतंत्रत हैं, तो दो यादृच्छिक चर द्वारा उत्पन्न संसूचना प्रत्येक यादृच्छिक चर से भिन्न-भिन्न संसूचना का योग है:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).$

परिणामस्वरूप, n स्वतंत्र और समान रूप से वितरित यादृच्छिक चर अवलोकनों के यादृच्छिक प्रतिरूप में संसूचना आकार 1 के प्रतिरूप में संसूचना का n गुना है।

F-विचलन

उत्तल फलन दिया $f:[0,\infty )\to (-\infty ,\infty ]$ वह $f(x)$ सभी के लिए परिमित है $x>0$, $f(1)=0$, और $f(0)=\lim _{t\to 0^{+}}f(t)$, (जो अनंत हो सकता है), यह f-विचलन को $D_{f}$ के रूप में परिभाषित करता है, तो यदि $f$ सख्ती से उत्तल है $1$, फिर स्थानीय रूप से $\theta \in \Theta$ होता है, फिशर संसूचना आव्यूह मीट्रिक है, इस अर्थ में कि;

$$(\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\|P_{\theta })$$

जहाँ $P_{\theta }$ द्वारा पैरामीट्रिज्ड वितरण $\theta$ है। अर्थात यह पीडीएफ के साथ वितरण $f(x;\theta )$है।

इस रूप में, यह स्पष्ट है कि फिशर संसूचना आव्यूह रीमैनियन मीट्रिक है, और चर के परिवर्तन के अंतर्गत उचित रूप से भिन्न होता है। (रिपैरामेट्रिजेशन पर अनुभाग देखें)

पर्याप्त आंकड़े

पर्याप्त आंकड़े द्वारा प्रदान की गई संसूचना प्रतिरूप X के समान है। इसे पर्याप्त आँकड़ों के लिए नेमैन के गुणनखंडन का उपयोग करके देखा जा सकता है। यदि T(X) θ के लिए पर्याप्त है, तब;

$f(X;\theta )=g(T(X),\theta )h(X)$

कुछ फलनों के लिए g और h है। θ से h(X) की स्वतंत्रता का तात्पर्य है:

${\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],$

और सूचना की समानता फ़िशर संसूचना की परिभाषा से अनुसरण करती है। अधिक सामान्यतः, यदि T = t(X) तब आँकड़ा है:

${\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )$

समानता के साथ यदि और केवल T पर्याप्त आंकड़ा है।

रिपैरामेट्रिजेशन

फिशर की संसूचना समस्या के पैरामीट्रिजेशन पर निर्भर करती है। यदि θ और η अनुमान समस्या के दो अदिश पैरामीट्रिजेशन हैं, और θ η का निरंतर भिन्न-भिन्न फलन है, तो

${\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}$

जहाँ ${\mathcal {I}}_{\eta }$ और ${\mathcal {I}}_{\theta }$ क्रमशः η और θ के फिशर संसूचना उपाय हैं।

सदिश स्थिति में, मान लीजिए ${\boldsymbol {\theta }}$ और ${\boldsymbol {\eta }}$ k-सदिश हैं जो अनुमान समस्या को पैरामीट्रिज करते हैं, और मान लीजिए कि ${\boldsymbol {\theta }}$ का सतत अवकलनीय फलन ${\boldsymbol {\eta }}$ है, तब,

${\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}$

जहां k × k जैकबियन आव्यूह का (i, j)वां तत्व ${\boldsymbol {J}}$ द्वारा परिभाषित किया गया है:

$J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},$

और जहां ${\boldsymbol {J}}^{\textsf {T}}$ का आव्यूह स्थानान्तरण ${\boldsymbol {J}}$ है।

सूचना ज्यामिति में, इसे रीमैनियन मैनिफोल्ड पर निर्देशांक के परिवर्तन के रूप में देखा जाता है, और वक्रता के आंतरिक गुण विभिन्न पैरामीट्रिजेशन के अंतर्गत अपरिवर्तित होते हैं। सामान्यतः, फिशर संसूचना आव्यूह उष्मागतिक अवस्था के मैनिफोल्ड के लिए रिमेंनियन मीट्रिक (अधिक त्रुटिहीन, फिशर-राव मीट्रिक) प्रदान करता है, और चरण संक्रमणों के वर्गीकरण के लिए सूचना-ज्यामितीय जटिलता माप के रूप में उपयोग किया जा सकता है, उदाहरण के लिए, अदिश उष्मागतिक मीट्रिक टेन्सर की वक्रता चरण संक्रमण बिंदु पर (और केवल) विचलन करती है।

उष्मागतिक संदर्भ में, फिशर संसूचना आव्यूह संबंधित क्रम पैरामीटर में परिवर्तन की दर से संबंधित है। विशेष रूप से, ऐसे संबंध फिशर सूचना आव्यूह के भिन्न-भिन्न तत्वों के विचलन के माध्यम से दूसरे क्रम के चरण संक्रमणों की पहचान करते हैं।

आइसोपेरिमेट्रिक असमानता

फिशर संसूचना आव्यूह आइसोपेरिमेट्रिक असमानता जैसी असमानता में भूमिका निभाता है। किसी दिए गए एन्ट्रापी के साथ सभी प्रायिकता वितरणों में, जिसकी फिशर सूचना आव्यूह में सबसे छोटा ट्रेस है, वह गॉसियन वितरण है। यह इस प्रकार है कि कैसे, दिए गए आयतन वाले सभी परिबद्ध समुच्चयों में, गोले का पृष्ठीय क्षेत्रफल सबसे छोटा होता है।

प्रमाण में बहुभिन्नरूपी यादृच्छिक चर लेना सम्मिलित है $X$ घनत्व फलन के साथ $f$ और घनत्व का परिवार बनाने के लिए स्थान पैरामीटर $\{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}$ जोड़ना होता है। फिर, मिन्कोव्स्की-स्टेनर सूत्र के अनुरूप, सतह क्षेत्र $X$ होना परिभाषित किया गया है:

$S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}$

जहां $Z_{\varepsilon }$ सहप्रसरण आव्यूह वाला गॉसियन चर $\varepsilon I$ है। सतह क्षेत्र नाम उपयुक्त है क्योंकि एंट्रॉपी शक्ति $e^{H(X)}$ प्रभावी समर्थन समुच्चय की मात्रा है, इसलिए $S(X)$ प्रभावी समर्थन समुच्चय की मात्रा का व्युत्पन्न है, बहुत कुछ मिन्कोव्स्की-स्टेनर सूत्र के जैसे होता है। प्रमाण का शेष भाग एंट्रॉपी शक्ति असमानता का उपयोग करता है, जो ब्रून-मिन्कोव्स्की प्रमेय के जैसे है। फिशर इंफॉर्मेशन आव्यूह का ट्रेस कारक के रूप में $S(X)$ पाया जाता है।

अनुप्रयोग

प्रयोगों का इष्टतम डिजाइन

इष्टतम प्रयोगात्मक डिजाइन में फिशर संसूचना का व्यापक रूप से उपयोग किया जाता है। अनुमानक-भिन्नता और फिशर संसूचना की पारस्परिकता के कारण, भिन्नता को अल्प करना सूचना को अधिकतम करने से युग्मित होता है।

जब रेखीय (या रेखीयकृत) सांख्यिकीय मॉडल में कई पैरामीटर होते हैं, तो पैरामीटर अनुमानक का माध्य सदिश होता है और इसका सहप्रसरण आव्यूह होता है। विचरण आव्यूह के व्युत्क्रम को संसूचना आव्यूह कहा जाता है। चूंकि पैरामीटर सदिश के अनुमानक का भिन्नता आव्यूह है, भिन्नता को अल्प करने की समस्या जटिल है। सांख्यिकीय सिद्धांत का उपयोग करते हुए, सांख्यिकीविद् वास्तविक-मूल्यवान सारांश आँकड़ों का उपयोग करके सूचना-आव्यूह को संकुचित करते हैं; वास्तविक-मूल्यवान कार्य होने के कारण, इन सूचना मानदंडों को अधिकतम किया जा सकता है।

परंपरागत रूप से, सांख्यिकीविदों ने सामान्यतः सकारात्मक वास्तविक मानों (जैसे निर्धारक या आव्यूह ट्रेस) सहप्रसरण आव्यूह (निष्पक्ष अनुमानक के) के कुछ सारांश आंकड़ों पर विचार करके अनुमानकों और डिजाइनों का मूल्यांकन किया है, सकारात्मक वास्तविक संख्याओं के साथ कार्य करने से कई लाभ मिलते हैं: यदि एकल पैरामीटर के अनुमानक में सकारात्मक भिन्नता है, तो भिन्नता और फिशर संसूचना दोनों सकारात्मक वास्तविक संख्याएं हैं; इसलिए वे गैर-ऋणात्मक वास्तविक संख्याओं के उत्तल शंकु के सदस्य हैं (जिनके शून्येतर सदस्य इसी शंकु में व्युत्क्रम हैं)।

कई मापदंडों के लिए, सहप्रसरण आव्यूह और संसूचना आव्यूह, चार्ल्स लोवेनर (लोवनर) के आदेश के अंतर्गत आंशिक क्रम में सदिश स्थान के आदेश में गैर-नकारात्मक-निश्चित सममित मैट्रिसेस के उत्तल शंकु के तत्व हैं। यह शंकु आव्यूह जोड़ और व्युत्क्रम के साथ-साथ सकारात्मक वास्तविक संख्याओं और आव्यूहों के गुणन के अंतर्गत संवृत है। आव्यूह थ्योरी और लोवेनर ऑर्डर की प्रदर्शनी पुकेलशेम में दिखाई देती है।

अपरिवर्तनीय सिद्धांत के अर्थ में पारंपरिक इष्टतमता मानदंड सूचना आव्यूह के अपरिवर्तनीय हैं; बीजगणितीय रूप से, पारंपरिक इष्टतमता मानदंड (फिशर) सूचना आव्यूह (इष्टतम डिजाइन देखें) के आइगेन मान ​​​​के कार्यात्मक हैं।

बायेसियन सांख्यिकी में पूर्व जेफ़रीज़

बायेसियन सांख्यिकी में, फिशर की संसूचना का उपयोग जेफ़रीज़ पूर्व की गणना करने के लिए किया जाता है, जो कि निरंतर वितरण मापदंडों के लिए मानक, गैर-सूचनात्मक पूर्व है।

कम्प्यूटेशनल न्यूरोसाइंस

फिशर की संसूचना का उपयोग न्यूरल कोड की त्रुटिहीनता पर सीमाओं के शोध करने के लिए किया गया है। उस स्थिति में, X सामान्यतः कम आयामी चर θ (जैसे उत्तेजना पैरामीटर) का प्रतिनिधित्व करने वाले कई न्यूरॉन्स की संयुक्त प्रतिक्रिया होती है। विशेष रूप से तंत्रिका प्रतिक्रियाओं के शोर में सहसंबंधों की भूमिका का अध्ययन किया गया है।

भौतिक नियमों की व्युत्पत्ति

भौतिक कानूनों के आधार के रूप में बी. रॉय फ्रीडेन द्वारा प्रस्तुत विवादास्पद सिद्धांत में फिशर की संसूचना केंद्रीय भूमिका निभाती है, ऐसा दावा जो विवादित रहा है।

मशीन लर्निंग

फिशर की संसूचना का उपयोग मशीन सीखने की प्रौद्योगिकी में किया जाता है जैसे कि प्रत्यास्थ वजन संपिण्डन में किया जाता है, जो कृत्रिम तंत्रिका नेटवर्क में भयावह विस्मरण को अल्प करता है।

दूसरे क्रम के ग्रेडिएंट डिसेंट नेटवर्क प्रशिक्षण में फिशर की संसूचना को हानि फ़ंक्शन के हेस्सियन के विकल्प के रूप में उपयोग किया जा सकता है।

सापेक्ष एन्ट्रापी से संबंध

See also: फिशर जानकारी मीट्रिक

फिशर की संसूचना सापेक्ष एन्ट्रॉपी से संबंधित है। दो वितरणों के मध्य सापेक्ष एन्ट्रॉपी, या कुल्बैक-लीब्लर विचलन $p$ और $q$ रूप में लिखा जा सकता है:

$KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.$

अब संभाव्यता वितरण के परिवार पर विचार करें $f(x;\theta )$ द्वारा पैरामीट्रिज्ड $\theta \in \Theta$ होता है, फिर परिवार में दो वितरणों के मध्य कुल्बैक-लीब्लर विचलन को इस रूप में लिखा जा सकता है:

$D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.$

यदि $\theta$ निश्चित है, तो एक ही परिवार के दो वितरणों के मध्य सापेक्ष एन्ट्रापी अल्प से अल्प $\theta '=\theta$ हो जाती है, $\theta '$ के लिए $\theta$ के निकट श्रृंखला में पिछले व्यंजक को दूसरे क्रम तक विस्तारित कर सकता है:

$D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)$

किन्तु दूसरे क्रम के व्युत्पन्न को इस रूप में लिखा जा सकता है:

$\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.$

इस प्रकार फिशर संसूचना अपने मापदंडों के संबंध में नियमबद्ध वितरण के सापेक्ष एन्ट्रापी की वक्रता का प्रतिनिधित्व करती है।

इतिहास

फिशर संसूचना पर कई प्रारंभिक सांख्यिकीविदों विशेष रूप से एफ वाई एडगेवर्थ द्वारा वर्णन किया गया था। उदाहरण के लिए, सैवेज कहते हैं: इसमें [फिशर संसूचना], वह [फिशर] कुछ सीमा तक प्रत्याशित था (एजवर्थ 1908–9 esp। 502, 507–8, 662, 677–8, 82–5 और संदर्भ वह [एजवर्थ] पियर्सन और फिलोन 1898 [...] सहित उद्धृत करता है)। कई प्रारंभिक ऐतिहासिक स्रोत हैं और इस प्रारंभिक कार्य की कई समीक्षाएँ हैं।

यह भी देखें

• दक्षता (सांख्यिकी)
• देखी गई संसूचना
• फिशर सूचना मीट्रिक
• गठन आव्यूह
• सूचना ज्यामिति
• जेफरीस पूर्व
• क्रैमर-राव बाउंड
• न्यूनतम फिशर संसूचना
• क्वांटम फिशर संसूचना

सूचना सिद्धांत में नियोजित अन्य उपाय:

• एंट्रॉपी (सूचना सिद्धांत)
• कुलबैक-लीब्लर डाइवर्जेंस
• स्वयं सूचना

संदर्भ

• Cramér, Harald (1946). Mathematical methods of statistics. Princeton mathematical series. Princeton: Princeton University Press. ISBN 0691080046.
• Edgeworth, F. Y. (Jun 1908). "On the Probable Errors of Frequency-Constants". Journal of the Royal Statistical Society. 71 (2): 381–397. doi:10.2307/2339461. JSTOR 2339461.
• Edgeworth, F. Y. (Sep 1908). "On the Probable Errors of Frequency-Constants (Contd.)". Journal of the Royal Statistical Society. 71 (3): 499–512. doi:10.2307/2339293. JSTOR 2339293.
• Edgeworth, F. Y. (Dec 1908). "On the Probable Errors of Frequency-Constants (Contd.)". Journal of the Royal Statistical Society. 71 (4): 651–678. doi:10.2307/2339378. JSTOR 2339378.
• Fisher, R. A. (1922-01-01). "On the mathematical foundations of theoretical statistics". Philosophical Transactions of the Royal Society of London, Series A. 222 (594–604): 309–368. Bibcode:1922RSPTA.222..309F. doi:10.1098/rsta.1922.0009.
• Frieden, B. R. (2004) Science from Fisher Information: A Unification. Cambridge Univ. Press. ISBN 0-521-00911-1.
• Frieden, B. Roy; Gatenby, Robert A. (2013). "Principle of maximum Fisher information from Hardy's axioms applied to statistical systems". Physical Review E. 88 (4): 042144. arXiv:1405.0007. Bibcode:2013PhRvE..88d2144F. doi:10.1103/PhysRevE.88.042144. PMC 4010149. PMID 24229152.
• Hald, A. (May 1999). "On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares". Statistical Science. 14 (2): 214–222. doi:10.1214/ss/1009212248. JSTOR 2676741.
• Hald, A. (1998). A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. ISBN 978-0-471-17912-2.
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. ISBN 978-0-387-98502-2.
• Le Cam, Lucien (1986). Asymptotic Methods in Statistical Decision Theory. Springer-Verlag. ISBN 978-0-387-96307-5.
• Pratt, John W. (May 1976). "F. Y. Edgeworth and R. A. Fisher on the Efficiency of Maximum Likelihood Estimation". Annals of Statistics. 4 (3): 501–514. doi:10.1214/aos/1176343457. JSTOR 2958222.
• Rao, C. Radhakrishna (1945). "Information and accuracy attainable in the estimation of statistical parameters". Bulletin of the Calcutta Mathematical Society. Springer Series in Statistics. 37: 81–91. doi:10.1007/978-1-4612-0919-5_16. ISBN 978-0-387-94037-3. S2CID 117034671.
• Savage, L. J. (May 1976). "On Rereading R. A. Fisher". Annals of Statistics. 4 (3): 441–500. doi:10.1214/aos/1176343456. JSTOR 2958221.
• Schervish, Mark J. (1995). Theory of Statistics. New York: Springer. ISBN 978-0-387-94546-0.
• Stigler, S. M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. ISBN 978-0-674-40340-6.
• Stigler, S. M. (1978). "Francis Ysidro Edgeworth, Statistician". Journal of the Royal Statistical Society, Series A. 141 (3): 287–322. doi:10.2307/2344804. JSTOR 2344804.
• Stigler, S. M. (1999). Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. ISBN 978-0-674-83601-3.
• Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I. New York: Wiley. ISBN 978-0-471-09517-0.