अनुमानक का पूर्वाग्रह

सांख्यिकी में, अनुमानक (या अभिनत फलन) का अभिनत इस अनुमानक के अपेक्षित मान और अनुमानित पैरामीटर के वास्तविक मान के बीच का अंतर है। शून्य अभिनत वाला अनुमानक या निर्णय नियम अनभिनत कहलाता है। सांख्यिकी में, "अभिनत" एक अनुमानक की एक वस्तुगत गुण है। अभिनत संगति से एक अलग अवधारणा है: सुसंगत अनुमानक संभाव्यता में पैरामीटर के वास्तविक मान में अभिसरण करते हैं, लेकिन अभिनतपूर्ण या अनभिनत हो सकते हैं; अधिक जानकारी के लिए अभिनत बनाम निरंतरता देखें।

अन्य सभी समान होने के कारण, अनभिनत अनुमानक अभिनत अनुमानक के लिए अधिकतम है, हालांकि व्यवहार में, अभिनत अनुमानक (सामान्य रूप से छोटे अभिनत के साथ) प्रायः उपयोग किए जाते हैं। जब अभिनत अनुमानक का उपयोग किया जाता है, तो अभिनत की सीमा की गणना की जाती है। अभिनत अनुमानक का उपयोग विभिन्न कारणों से किया जा सकता है: क्योंकि समष्‍टि के बारे में और धारणाओं के बिना अनभिनत अनुमानक सम्मिलित नहीं है; क्योंकि एक अनुमानक की गणना करना कठिन है (मानक विचलन के अनभिनत अनुमान के रूप में); क्योंकि केंद्रीय प्रवृत्ति के विभिन्न समाधानों के संबंध में अभिनत अनुमानक अनभिनत हो सकता है; क्योंकि एक पक्षपाती अनुमानक निष्पक्ष अनुमानकों (विशेष रूप से अवमूल्यन अनुमानक में) की तुलना में कुछ हानि फलन (विशेष रूप से औसत वर्ग त्रुटि) का कम मान देता है; या क्योंकि कुछ स्थितियों में अनभिनत होना बहुत प्रबल स्थिति है, और सिर्फ अनभिनत अनुमानक उपयोगी नहीं होते हैं।

अभिनत को औसत (अपेक्षित मान) के अतिरिक्त माध्यिका के संबंध में भी मापा जा सकता है, इस स्थिति में सामान्य औसत-निष्पक्षता गुण से औसत-निष्पक्षता को अलग करता है। गैर-रैखिक डेटा परिवर्तन (सांख्यिकी) के अंतर्गत माध्य-निष्पक्षता संरक्षित नहीं है, हालांकि औसत-निष्पक्षता है (देखें § रूपांतरणों का प्रभाव); उदाहरण के लिए, प्रतिदर्श प्रसरण समष्‍टि प्रसरण के लिए अभिनत अनुमानक है। ये सभी नीचे सचित्र हैं।

परिभाषा

मान लीजिए कि हमारे पास एक सांख्यिकीय मॉडल है, जिसे वास्तविक संख्या θ द्वारा परिचालित किया गया है, जो देखे गए डेटा, $P_{\theta }(x)=P(x\mid \theta )$ के लिए प्रायिकता विभाजन को उत्पन्न करता है और एक आँकड़ा ${\hat {\theta }}$ जो किसी भी देखे गए डेटा $x$ के आधार पर θ के अनुमानक के रूप में कार्य करता है अर्थात्, हम मानते हैं कि हमारा डेटा किसी अज्ञात विभाजन $P(x\mid \theta )$ का अनुसरण करता है (जहां θ एक निश्चित, अज्ञात स्थिरांक है जो इस विभाजन का हिस्सा है), और फिर हम कुछ अनुमानक ${\hat {\theta }}$ का निर्माण करते हैं मानचित्रों ने डेटा को उन मानों पर देखा जो हम आशा करते हैं कि वे θ के समीप हैं। ${\hat {\theta }}$ का 'अभिनत' के सापेक्ष $\theta$ परिभाषित किया जाता है^[1]

\operatorname {Bias} ({\hat {\theta }},\theta )=\operatorname {Bias} _{\theta }[\,{\hat {\theta }}\,]=\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}\,]-\theta =\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}-\theta \,],

जहाँ $\operatorname {E} _{x\mid \theta }$ विभाजन पर अपेक्षित मान $P(x\mid \theta )$ दर्शाता है (अर्थात, सभी संभावित अवलोकनों का औसत $x$ ) दूसरा समीकरण अनुसरण करता है क्योंकि θ सशर्त विभाजन $P(x\mid \theta )$ के संबंध में मापने योग्य है

अनुमानक को अनभिनत कहा जाता है यदि इसका अभिनत पैरामीटर θ के सभी मानों के लिए शून्य के बराबर है, या समतुल्य है, यदि अनुमानक का अपेक्षित मान पैरामीटर के समान होता है।^[2]

अनुमानक के गुणों से संबंधित अनुकरण प्रयोग में, अनुमानित अंतर का उपयोग करके अनुमानक के अभिनत का आकलन किया जा सकता है।

उदाहरण

प्रतिदर्श प्रसरण

यादृच्छिक चर का प्रतिदर्श प्रसरण अनुमानक अभिनत के दो स्वरूप को प्रदर्शित करता है: सबसे पहले, सहज अनुमानक अभिनत है, जिसे मापन कारक द्वारा सही किया जा सकता है; दूसरा, अनभिनत अनुमानक माध्य औसत वर्ग त्रुटि (एमएसई) के स्थिति में इष्टतम नहीं है, जिसे एक अलग पैमाने के कारक का उपयोग करके कम किया जा सकता है, जिसके परिणामस्वरूप अनभिनत अनुमानक की तुलना में कम एमएसई वाला अभिनत अनुमानक होता है। मूर्त रूप से, सामान्य अनुमानक औसत वर्ग विचलन का योग करते हैं और n से विभाजित होते हैं, जो अभिनत है। इसके अतिरिक्त n − 1 से विभाजित करने पर अनभिनत अनुमानक प्राप्त होता है। इसके विपरीत, माध्य औसत वर्ग त्रुटि को एक अलग संख्या (विभाजन के आधार पर) से विभाजित करके कम किया जा सकता है, लेकिन इसका परिणाम अभिनत अनुमानक होता है। यह संख्या सदैव n − 1 से बड़ी होती है, इसलिए इसे अवमूल्यन अनुमानक के रूप में जाना जाता है, क्योंकि यह अनभिनत अनुमानक को शून्य की ओर अधिसंकुचन है; सामान्य विभाजन के लिए इष्टतम मान n + 1 है।

मान लीजिए कि X₁, ..., X_n स्वतंत्र हैं और समान रूप से वितरित (i.i.d.) यादृच्छिक चर हैं जिनकी अपेक्षा μ और प्रसरण σ2 है। यदि प्रतिदर्श माध्य और असंशोधित प्रतिदर्श प्रसरण को इस प्रकार परिभाषित किया गया है

{\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}\,{\big )}^{2}\qquad

तब S² σ² का अभिनत अनुमानक है, क्योंकि

\begin{aligned} E [S^{2}] & = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}] = E [\frac{1}{n} \sum_{i = 1}^{n} {((X_{i} - μ) - (\bar{X} - μ))}^{2}] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} ({(X_{i} - μ)}^{2} - 2 (\bar{X} - μ) (X_{i} - μ) + {(\bar{X} - μ)}^{2})] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - \frac{2}{n} (\bar{X} - μ) \sum_{i = 1}^{n} (X_{i} - μ) + \frac{1}{n} {(\bar{X} - μ)}^{2} \sum_{i = 1}^{n} 1] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - \frac{2}{n} (\bar{X} - μ) \sum_{i = 1}^{n} ( \end{aligned}

जारी रखने के लिए, हम ध्यान दें कि

\mu

घटाकर के दोनों ओर से

{\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}

, हम पाते हैं

{\begin{aligned}{\overline {X}}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-{\frac {1}{n}}\sum _{i=1}^{n}\mu \ ={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ).\\[8pt]\end{aligned}}

अर्थ, (तिर्यक-गुणन द्वारा) $n\cdot ({\overline {X}}-\mu )=\sum _{i=1}^{n}(X_{i}-\mu )$ . फिर, पहला बन जाता है:

\begin{aligned} E [S^{2}] & = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - \frac{2}{n} (\bar{X} - μ) \sum_{i = 1}^{n} (X_{i} - μ) + {(\bar{X} - μ)}^{2}] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - \frac{2}{n} (\bar{X} - μ) \cdot n \cdot (\bar{X} - μ) + {(\bar{X} - μ)}^{2}] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - 2 {(\bar{X} - μ)}^{2} + {(\bar{X} - μ)}^{2}] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - {(\bar{X} - μ)}^{2}] \\ = E [\frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - μ)}^{2}] - E [(\bar{X} - \end{aligned}

यह निम्न सूत्र को ध्यान में रखते हुए देखा जा सकता है, जो ऊपर दिए गए असंशोधित प्रतिदर्श प्रसरण की अपेक्षा के लिए असमानता में पद के लिए, बायनेमे सूत्र से अनुसरण करता है:

\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}

.

दूसरे शब्दों में, असंशोधित प्रतिदर्श प्रसरण का अपेक्षित मान समष्टि प्रसरण σ² के बराबर नहीं होता है, जब तक कि सामान्यीकरण कारक से गुणा न किया जाए। दूसरी ओर, प्रतिदर्श माध्य अनभिनत है^[3] समष्‍टि माध्य μ का अनुमानक है।^[2]

ध्यान दें कि प्रतिदर्श भिन्नता की सामान्य परिभाषा $S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}$ है, और यह समष्‍टि प्रसरण का अनभिनत अनुमानक है।

बीजगणितीय रूप से, $\operatorname {E} [S^{2}]$ अनभिनत है क्योंकि:

{\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n-1}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]={\frac {n}{n-1}}\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]\\[8pt]&={\frac {n}{n-1}}\left(1-{\frac {1}{n}}\right)\sigma ^{2}=\sigma ^{2},\\[8pt]\end{aligned}}

जहां दूसरी पंक्ति में संक्रमण अभिनत अनुमानक के लिए उपरोक्त व्युत्पन्न परिणाम का उपयोग करता है। इस प्रकार $\operatorname {E} [S^{2}]=\sigma ^{2}$ , और इसलिए $S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}$ समष्‍टि प्रसरण का σ² अनभिनत अनुमानक है। प्रसरण के अभिनत (असंशोधित) और अनभिनत अनुमानों के बीच के अनुपात को बेसेल के सुधार के रूप में जाना जाता है।

कारण यह है कि एक असंशोधित प्रतिदर्श प्रसरण, S², इस तथ्य से अभिनत है कि प्रतिदर्श माध्य μ के लिए एक सामान्य न्यूनतम वर्ग (ओएलएस) अनुमानक है: ${\overline {X}}$ वह संख्या है जो $\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}$ जितना संभव हो उतना छोटा योग बनाती है। अर्थात, जब इस योग में किसी अन्य संख्या को जोड़ा जाता है, तो योग सिर्फ बढ़ सकता है। विशेष रूप से, $\mu \neq {\overline {X}}$ का विकल्प देता है,

{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},

और तब

{\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}

उपरोक्त चर्चा को ज्यामितीय शब्दों में समझा जा सकता है: वेक्टर ${\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )$ की दिशा में प्रक्षेपित करके माध्य भाग और प्रसरण भाग ${\vec {u}}=(1,\ldots ,1)$ और उस दिशा के लंबकोणीयपूरक अधिसमतल में विघटित किया जा सकता है। किसी को ${\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )$ भाग के लिए ${\vec {u}}$ और ${\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})$ पूरक भाग के लिए प्राप्त होता है। चूंकि यह एक लंबकोणीय अपघटन है, पाइथागोरस प्रमेय कहता है $|{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}$ , और अपेक्षाओं को लेकर हम $n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]$ प्राप्त करते हैं, जैसा ऊपर (लेकिन $n$ गुना) दिया गया है। यदि ${\vec {C}}$ का विभाजन घूर्णी रूप से सममित है, जैसे कि जब $X_{i}$ गॉसियन से प्रतिदर्श लिए जाते हैं, फिर औसतन ${\vec {u}}$ , साथ में आयाम $|{\vec {C}}|^{2}$ करने के लिए योगदान देते है समान रूप से $n-1$ दिशाओं के लिए लंबवत ${\vec {u}}$ , ताकि $\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}$ और $\operatorname {E} [S^{2}]={\frac {(n-1)\sigma ^{2}}{n}}$ यह वास्तव में सामान्य रूप से सत्य है, जैसा कि ऊपर बताया गया है।

प्वासों प्रायिकता का अनुमान लगाना

किसी भी अनभिनत अनुमानक की तुलना में अभिनत अनुमानक के अधिकतम होने का एक और अधिक महत्वपूर्ण स्थिति पोइसन विभाजन से उत्पन्न होती है।^[4]^[5] मान लीजिए कि x के पास अपेक्षा λ के साथ पॉइसन विभाजन है। मान लीजिए कि यह अनुमान लगाना चाहता है

\operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad

आकार 1 के एक प्रतिदर्श के साथ। (उदाहरण के लिए, जब एक टेलीफोन स्विचबोर्ड पर आने वाली कॉल को पॉइसन प्रक्रिया के रूप में मॉडल किया जाता है, और λ प्रति मिनट कॉल की औसत संख्या e^−2λ है, तो संभावना है कि अगले दो मिनट में कोई कॉल नहीं आएगी।)

चूंकि अनभिनत अनुमानक की अपेक्षा δ(X) अनुमान के बराबर है, अर्थात

\operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },

अनभिनत अनुमानक बनाने वाले डेटा का एकमात्र फलन है

\delta (x)=(-1)^{x}.\,

इसे देखने के लिए, ध्यान दें कि अपेक्षा के लिए उपरोक्त अभिव्यक्ति से e^−λ को विघटित करते समय, शेष राशि e^−λ का टेलर श्रृंखला विस्तार भी है, जिससे e^−λe^−λ = e^−2λ प्राप्त होता है (घातीय फलन के विवरण देखें)।

यदि x का प्रेक्षित मान 100 है, तो अनुमान 1 है, हालांकि अनुमानित मात्रा का सही मान 0 के समीप होने की संभावना है, जो विपरीत अधिकतम है। और, यदि X को 101 माना जाता है, तो अनुमान और भी असंगत है: यह -1 है, हालांकि अनुमानित मात्रा धनात्मक होनी चाहिए।

(अभिनत) अधिकतम संभावना

e^{-2{X}}\quad

इस अनभिनत अनुमानक से कहीं अधिकतम है। न सिर्फ इसका मान सदैव धनात्मक होता है बल्कि यह इस अर्थ में भी अधिक परिशुद्ध होता है कि इसका माध्य औसत वर्ग त्रुटि है

e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,

छोटा है; इसके अनभिनत अनुमानक के माध्य औसत वर्ग त्रुटि की तुलना करें

1-e^{-4\lambda }.\,

माध्य औसत वर्ग त्रुटि वास्तविक मान λ के फलन हैं। अधिकतम-संभावना अनुमानक का अभिनत है:

e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}.\,

असतत समान विभाजन का अधिकतम

अधिकतम-संभावना अनुमानकों का अभिनत पर्याप्त हो सकता है। एक ऐसे स्थिति पर विचार करें जहां 1 से n तक के n टिकटों को एक बॉक्स में रखा गया है और एक को यादृच्छिक रूप से चयन किया गया है, एक मान X दे रहा है। यदि n अज्ञात है, तो n का अधिकतम-संभावना अनुमानक X है, तथापि अपेक्षा X दिया हुआ n सिर्फ (n + 1)/2 है; हम सिर्फ निश्चित हो सकते हैं कि n कम से कम X है और संभव्यता अधिक है। इस स्थिति में, प्राकृतिक अनभिनत अनुमानक 2X − 1 है।

माध्य-अनभिनत अनुमानक

1947 में जॉर्ज डब्ल्यू ब्राउन द्वारा माध्य-अनभिनत आकलनकर्ताओं के सिद्धांत को पुनर्जीवित किया गया था:^[6]

एक-आयामी पैरामीटर θ का एक अनुमान औसत-निष्पक्ष कहा जाएगा, यदि, निश्चित θ के लिए, अनुमान के वितरण का औसत मान θ पर है; अर्थात, अनुमान उतनी ही बार कम करके निर्धारित किया जाता है जितनी बार यह अधिक अनुमान लगाता है। यह आवश्यकता अधिकांश उद्देश्यों के लिए औसत-निष्पक्ष आवश्यकता को पूरा करने के लिए प्रतीत होती है और इसकी अतिरिक्त गुण है कि यह एक-से-एक परिवर्तन के अंर्तगत अपरिवर्तनीय है।

मध्य-अनभिनत आकलनकर्ताओं के और गुणों को लेहमन, बिरनबाउम, वैन डेर वार्ट और फनज़ागल द्वारा नोट किया गया है।^{[citation needed]} विशेष रूप से, औसत-अनभिनत अनुमानक ऐसे स्थितियों में सम्मिलित होते हैं जहां माध्य-अनभिनत और अधिकतम-संभावना अनुमानक सम्मिलित नहीं होते हैं। वे अंतःक्षेपी फलन एक-से-एक परिवर्तन के अंतर्गत अपरिवर्तनीय हैं।

प्रायिकता विभाजन के लिए मध्य-अनभिनत अनुमानक के निर्माण के तरीके हैं जिनमें मोनोटोन संभावना अनुपात है।) जैसे कि एक-पैरामीटर घातीय वर्ग, यह सुनिश्चित करने के लिए कि वे इष्टतम हैं (माध्य-निष्पक्ष अनुमानक के लिए मानी जाने वाली न्यूनतम-विचरण गुण के अनुरूप)।^[7]^[8] ऐसी ही एक प्रक्रिया माध्य-अनभिनत आकलनकर्ताओं के लिए राव-ब्लैकवेल प्रक्रिया का एक एनालॉग है: माध्य-अनभिनत अनुमान के लिए राव-ब्लैकवेल प्रक्रिया की तुलना में प्रक्रिया प्रायिकता विभाजन के एक छोटे वर्ग के लिए है, लेकिन हानि-फलनों के एक बड़े वर्ग के लिए है।^[8]

अन्य हानि फलनों के संबंध में अभिनत

कोई न्यूनतम-प्रसरण माध्य-अनभिनत अनुमानक औसत वर्ग-त्रुटि हानि फलन (माध्य-अनभिनत अनुमानकों के बीच) के संबंध में जोखिम (सांख्यिकी) (अपेक्षित हानि) को कम करता है, जैसा कि गॉस द्वारा देखा गया है।^[9] एक न्यूनतम-औसत निरपेक्ष विचलन मध्य-अनभिनत आकलनकर्ता पूर्ण मान हानि फलन (मध्य-अनभिनत अनुमानकों के बीच) के संबंध में जोखिम को कम करता है, जैसा कि लाप्लास द्वारा देखा गया है।^[9]^[10] अन्य त्रुटि फलनों का उपयोग, विशेष रूप से प्रबल सांख्यिकी में किया जाता है।^[9]^[11]

रूपांतरों का प्रभाव

अविभाजित मापदंडों के लिए, मध्य-अनभिनत अनुमानक डेटा परिवर्तन (सांख्यिकी) के अंतर्गत मध्य-अनभिनत रहते हैं जो क्रम (या प्रतिवर्त क्रम) को संरक्षित करते हैं। ध्यान दें कि, जब एक माध्य-अनभिनत अनुमानक पर रूपांतरण प्रयुक्त किया जाता है, तो परिणाम को इसके संगत समष्‍टि सांख्यिकी का माध्य-अनभिनत अनुमानक नहीं होना चाहिए। जेन्सेन की असमानता से, परिवर्तन के रूप में एक उत्तल फलन धनात्मक अभिनत प्रस्तुत करेगा, जबकि एक अवतल फलन ऋणात्मक अभिनत प्रस्तुत करेगा, और मिश्रित उत्तलता का फलन विशिष्ट फलन और विभाजन के आधार पर किसी भी दिशा में अभिनत प्रस्तुत कर सकता है। यह, एक गैर-रैखिक फलन F और पैरामीटर P के एक औसत-अनभिनत अनुमानक U के लिए, समग्र अनुमानक f(U) को F(P) का एक औसत-अनभिनत अनुमानक नहीं होना चाहिए। उदाहरण के लिए, समष्‍टि प्रसरण के अनभिनत अनुमानक का वर्गमूल है not समष्‍टि मानक विचलन का माध्य-अनभिनत अनुमानक: अनभिनत प्रतिदर्श प्रसरण का वर्गमूल, सही प्रतिदर्श मानक विचलन, अभिनत है। अभिनत अनुमानक के प्रतिदर्श विभाजन और परिवर्तन पर निर्भर करता है, और गणना करने के लिए अपेक्षाकृत अधिक सम्मिलित हो सकता है - इस स्थिति में चर्चा के लिए मानक विचलन का अनभिनत अनुमान देखें।

अभिनत, प्रसरण और माध्य औसत वर्ग त्रुटि

पैरामीटर β₀ के लिए दो वैकल्पिक अनुमानकों का प्रतिदर्शकरण विभाजन है। हालांकि β₁ निष्पक्ष है, यह अभिनत β₂ से स्पष्ट रूप से कम है।रिज प्रतिगमन एक तकनीक का एक उदाहरण है जहां अल्प अभिनत की स्वीकृति देने से विचरण में अधिकतम कमी आ सकती है, और समग्र रूप से अधिक विश्वसनीय अनुमान लग सकते हैं।

जबकि अभिनत अनुमानक और अंतर्निहित पैरामीटर के बीच अपेक्षित औसत अंतर को मापता है, प्रतिदर्श में यादृच्छिकता के कारण परिमित प्रतिदर्श के आधार पर अनुमानक अतिरिक्त रूप से पैरामीटर से अलग होने की उपेक्षा कर सकता है।

अनुमानक जो अभिनत को कम करता है, आवश्यक रूप से औसत वर्ग त्रुटि को कम नहीं करेगा। एक माप जिसका उपयोग दोनों प्रकार के अंतरों को दर्शाने के लिए किया जाता है, वह माध्य वर्ग त्रुटि है,^[1]

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.$

यह अभिनत के वर्ग के बराबर, साथ ही प्रसरण दिखाया जा सकता है:^[1]

${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}$

जब पैरामीटर एक वेक्टर होता है, तो एक समान अपघटन प्रयुक्त होता है:^[12]

\operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}

जहाँ $\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))$ अनुमानक के सहप्रसरण आव्यूह का चिन्ह (विकर्ण योग) है और $\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}$ वर्ग वेक्टर मानदंड है।

उदाहरण: समष्‍टि प्रसरण का अनुमान

उदाहरण के लिए,^[13] मान लीजिए प्ररूप का अनुमानक

T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}

उपरोक्त के अनुसार समष्‍टि प्रसरण के लिए मांगा गया है, लेकिन इस बार एमएसई को कम करने के लिए:

{\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}

यदि चर X₁ ... X_n एक सामान्य विभाजन का अनुसरण करें, फिर nS²/σ² का n − 1 घात की अबद्धता के साथ काई वर्ग विभाजन है, जो देता है:

\operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.

इसलिए

\operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}

आंशिक बीजगणित के साथ यह पुष्टि की जा सकती है कि यह c = 1/(n + 1) है जो इस संयुक्त त्रुटि फलन को कम करता है, अतिरिक्त c = 1/(n − 1) जो अभिनत के वर्ग को कम करता है।

सामान्य रूप से यह सिर्फ प्रतिबंधित वर्गों की समस्याओं में होता है कि एक अनुमानक होगा जो पैरामीटर मानों से स्वतंत्र रूप से एमएसई को कम करता है।

हालांकि यह बहुत सामान्य है कि अभिनत-प्रसरण समझौता समन्वय को माना जा सकता है, जैसे कि अभिनत में एक छोटी सी वृद्धि भिन्नता में बड़ी कमी के लिए कारोबार की जा सकती है, जिसके परिणामस्वरूप समग्र रूप से अधिक वांछनीय अनुमानक होता है।

बायेसियन दृश्य

अधिकांश बेयसियन अपने अनुमानों के निष्पक्षता (कम से कम औपचारिक प्रतिदर्शकरण-सिद्धांत के अर्थ में) के बारे में असंबद्ध हैं। उदाहरण के लिए, गेलमैन और कोउथर्स (1995) लिखते हैं: बायेसियन दृष्टिकोण से, निष्पक्षता का सिद्धांत बड़े प्रतिदर्शों की सीमा में उपयुक्त है, लेकिन अन्यथा यह संभावित रूप से भ्रामक है।^[14]

मौलिक रूप से, बायेसियन सांख्यिकी और उपरोक्त प्रतिदर्शकरण-सिद्धांत दृष्टिकोण के बीच का अंतर यह है कि प्रतिदर्शकरण-सिद्धांत दृष्टिकोण में पैरामीटर को निश्चित रूप में लिया जाता है, और फिर डेटा के पूर्वानुमानित प्रतिदर्श विभाजन के आधार पर एक आंकड़े के प्रायिकता विभाजन पर विचार किया जाता है। बायेसियन के लिए, हालांकि, यह वह डेटा है जो ज्ञात और निश्चित है, और यह अज्ञात पैरामीटर है जिसके लिए बेयस प्रमेय का उपयोग करके प्रायिकता विभाजन का निर्माण करने का प्रयास किया जाता है:

p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)

यहां दूसरा शब्द, अज्ञात पैरामीटर मान θ दिए गए डेटा की संभावना फलन, सिर्फ प्राप्त डेटा और डेटा उत्पादन प्रक्रिया के मॉडलिंग पर निर्भर करता है। हालाँकि, बायेसियन गणना में पहला शब्द भी सम्मिलित है, θ के लिए पूर्व संभावना, जो डेटा के आने से पहले विश्लेषक को θ के बारे में जानने या संदेह करने वाली हर वस्तु की गणना करता है। यह जानकारी प्रतिदर्शकरण-सिद्धांत दृष्टिकोण में कोई भूमिका नहीं निभाती है; वास्तव में इसे सम्मिलित करने के किसी भी प्रयास को डेटा द्वारा विशुद्ध रूप से बताए गए अभिनत से दूर माना जाएगा। इस हद तक कि बायेसियन गणनाओं में पूर्व सूचना सम्मिलित है, इसलिए यह अनिवार्य रूप से अपरिहार्य है कि उनके परिणाम प्रतिदर्शकरण सिद्धांत के संदर्भ में अनभिनत नहीं होंगे।

लेकिन एक बायेसियन दृष्टिकोण के परिणाम प्रतिदर्शकरण सिद्धांत के दृष्टिकोण से भिन्न हो सकते हैं, तथापि बायेसियन पूर्व में एक गैर-सूचनात्मक स्वीकार करने का प्रयास करता हो।

उदाहरण के लिए, पुनः अज्ञात माध्य के साथ सामान्य विभाजन का अज्ञात समष्‍टि प्रसरण σ ² के अनुमान पर विचार करें, जहां अपेक्षित हानि फलन में c को अनुकूलित करना वांछित है

\operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]

इस समस्या के लिए बिना जानकारी के पूर्व का एक मानक विकल्प जेफ़रीज़ प्रायर, $\scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}$ है, जो ln(σ²) से पहले एक पुनः मापन-अपरिवर्तनीय समतल भाग को स्वीकृत करने के बराबर है।

इसे पहले स्वीकृत करने का एक परिणाम यह है कि S²/σ² एक महत्वपूर्ण परिणाम है, अर्थात S²/σ² का प्रायिकता विभाजन केवल S²/σ² पर निर्भर करता है जो S² या σ² के मान से स्वतंत्र है:

p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)

हालांकि, जबकि

\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]

इसके विपरीत

\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]

— जब उपेक्षा को σ² के प्रायिकता विभाजन पर ले लिया जाता है दिया हुआ S², जैसा कि S² के अतिरिक्त बायेसियन स्थिति में है दिए गए p², अब कोई σ⁴ नहीं ले सकता एक स्थिरांक के रूप में और इसका गुणनखंडन करें। इसका परिणाम यह है कि, प्रतिदर्शकरण-सिद्धांत गणना की तुलना में, बायेसियन गणना σ² के बड़े मानों पर अधिक भार डालती है।, सही से ध्यान में रखते हुए (चूंकि प्रतिदर्शकरण-सिद्धांत गणना नहीं कर सकता) कि इस औसत वर्ग-हानि फलन के अंतर्गत σ² के बड़े मानों को कम न्यून आकलन के संदर्भ मे σ² के छोटे मूल्यों को अधिक आकलन की तुलना में अधिक बहुमूल्य है।

लिखी गई बायेसियन गणना σ^{2 के पश्च प्रायिकता विभाजन के लिए अबद्धता की n − 1 घात के साथ एक मापन्ड व्युत्क्रम काई वर्ग विभाजन देता है। प्रत्याशित हानि को न्यूनतम किया जाता है जब cnS^{2 = <σ^{2>; यह तब होता है जब c = 1/(n − 3) है।}}}

यहां तक कि एक अनौपचारिक पूर्व के साथ, इसलिए, बायेसियन गणना समान प्रतिदर्श-सिद्धांत गणना के समान अपेक्षित-त्रुटि न्यूनतम परिणाम नहीं दे सकती है।

यह भी देखें

↑ ^1.0 ^1.1 ^1.2 Kozdron, Michael (March 2016). "Evaluating the Goodness of an Estimator: Bias, Mean-Square Error, Relative Efficiency (Chapter 3)" (PDF). stat.math.uregina.ca. Retrieved 2020-09-11.
↑ ^2.0 ^2.1 Taylor, Courtney (January 13, 2019). "निष्पक्ष और पक्षपाती अनुमानक". ThoughtCo (in English). Retrieved 2020-09-12.
↑ Richard Arnold Johnson; Dean W. Wichern (2007). अनुप्रयुक्त बहुभिन्नरूपी सांख्यिकीय विश्लेषण. Pearson Prentice Hall. ISBN 978-0-13-187715-3. Retrieved 10 August 2012.
↑ J. P. Romano and A. F. Siegel (1986) Counterexamples in Probability and Statistics, Wadsworth & Brooks / Cole, Monterey, California, USA, p. 168
↑ Hardy, M. (1 March 2003). "एक प्रबुद्ध प्रति उदाहरण". American Mathematical Monthly. 110 (3): 234–238. arXiv:math/0206006. doi:10.2307/3647938. ISSN 0002-9890. JSTOR 3647938.
↑ Brown (1947), page 583
↑ Pfanzagl, Johann (1979). "उपद्रव मापदंडों की उपस्थिति में इष्टतम औसत निष्पक्ष अनुमानकों पर". The Annals of Statistics. 7 (1): 187–193. doi:10.1214/aos/1176344563.
↑ ^8.0 ^8.1 Brown, L. D.; Cohen, Arthur; Strawderman, W. E. (1976). "अनुप्रयोगों के साथ सख्त मोनोटोन संभावना अनुपात के लिए एक पूर्ण वर्ग प्रमेय". Ann. Statist. 4 (4): 712–722. doi:10.1214/aos/1176343543.
↑ ^9.0 ^9.1 ^9.2 Dodge, Yadolah, ed. (1987). Statistical Data Analysis Based on the L₁-Norm and Related Methods. Papers from the First International Conference held at Neuchâtel, August 31–September 4, 1987. Amsterdam: North-Holland. ISBN 0-444-70273-3.
↑ Jaynes, E. T. (2007). Probability Theory : The Logic of Science. Cambridge: Cambridge Univ. Press. p. 172. ISBN 978-0-521-59271-0.
↑ Klebanov, Lev B.; Rachev, Svetlozar T.; Fabozzi, Frank J. (2009). "Loss Functions and the Theory of Unbiased Estimation". सांख्यिकी में मजबूत और गैर-मजबूत मॉडल. New York: Nova Scientific. ISBN 978-1-60741-768-2.
↑ Taboga, Marco (2010). "संभाव्यता सिद्धांत और गणितीय सांख्यिकी पर व्याख्यान".
↑ DeGroot, Morris H. (1986). प्रायिकता अौर सांख्यिकी (2nd ed.). Addison-Wesley. pp. 414–5. ISBN 0-201-11366-X. But compare it with, for example, the discussion in Casella; Berger (2001). Statistical Inference (2nd ed.). Duxbury. p. 332. ISBN 0-534-24312-6.
↑ Gelman, A.; et al. (1995). बायेसियन डेटा विश्लेषण. Chapman and Hall. p. 108. ISBN 0-412-03991-5.

संदर्भ

Brown, George W. "On Small-Sample Estimation." The Annals of Mathematical Statistics, vol. 18, no. 4 (Dec., 1947), pp. 582–585. JSTOR 2236236.
Lehmann, E. L. "A General Concept of Unbiasedness" The Annals of Mathematical Statistics, vol. 22, no. 4 (Dec., 1951), pp. 587–592. JSTOR 2236928.
Allan Birnbaum, 1961. "A Unified Theory of Estimation, I", The Annals of Mathematical Statistics, vol. 32, no. 1 (Mar., 1961), pp. 112–135.
Van der Vaart, H. R., 1961. "Some Extensions of the Idea of Bias" The Annals of Mathematical Statistics, vol. 32, no. 2 (June 1961), pp. 436–447.
Pfanzagl, Johann. 1994. Parametric Statistical Theory. Walter de Gruyter.
Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (2010). Classical Inference and the Linear Model. Kendall's Advanced Theory of Statistics. Vol. 2A. Wiley. ISBN 978-0-4706-8924-0..
Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1993). Unbiased estimators and their applications. Vol. 1: Univariate case. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-2382-3.
Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1996). Unbiased estimators and their applications. Vol. 2: Multivariate case. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-3939-8.
Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.] (2009). Robust and Non-Robust Models in Statistics. New York: Nova Scientific Publishers. ISBN 978-1-60741-768-2.

बाहरी संबंध

"निष्पक्ष आकलनकर्ता", Encyclopedia of Mathematics, EMS Press, 2001 [1994]^{[clarification needed]}

[:0-1] 1.0 ^1.1 ^1.2 Kozdron, Michael (March 2016). "Evaluating the Goodness of an Estimator: Bias, Mean-Square Error, Relative Efficiency (Chapter 3)" (PDF). stat.math.uregina.ca. Retrieved 2020-09-11.

[:1-2] 2.0 ^2.1 Taylor, Courtney (January 13, 2019). "निष्पक्ष और पक्षपाती अनुमानक". ThoughtCo (in English). Retrieved 2020-09-12.

[JohnsonWichern2007-3] Richard Arnold Johnson; Dean W. Wichern (2007). अनुप्रयुक्त बहुभिन्नरूपी सांख्यिकीय विश्लेषण. Pearson Prentice Hall. ISBN 978-0-13-187715-3. Retrieved 10 August 2012.

[4] J. P. Romano and A. F. Siegel (1986) Counterexamples in Probability and Statistics, Wadsworth & Brooks / Cole, Monterey, California, USA, p. 168

[5] Hardy, M. (1 March 2003). "एक प्रबुद्ध प्रति उदाहरण". American Mathematical Monthly. 110 (3): 234–238. arXiv:math/0206006. doi:10.2307/3647938. ISSN 0002-9890. JSTOR 3647938.

[6] Brown (1947), page 583

[7] Pfanzagl, Johann (1979). "उपद्रव मापदंडों की उपस्थिति में इष्टतम औसत निष्पक्ष अनुमानकों पर". The Annals of Statistics. 7 (1): 187–193. doi:10.1214/aos/1176344563.

[BrownEtAl-8] 8.0 ^8.1 Brown, L. D.; Cohen, Arthur; Strawderman, W. E. (1976). "अनुप्रयोगों के साथ सख्त मोनोटोन संभावना अनुपात के लिए एक पूर्ण वर्ग प्रमेय". Ann. Statist. 4 (4): 712–722. doi:10.1214/aos/1176343543.

[Dodge-9] 9.0 ^9.1 ^9.2 Dodge, Yadolah, ed. (1987). Statistical Data Analysis Based on the L₁-Norm and Related Methods. Papers from the First International Conference held at Neuchâtel, August 31–September 4, 1987. Amsterdam: North-Holland. ISBN 0-444-70273-3.

[10] Jaynes, E. T. (2007). Probability Theory : The Logic of Science. Cambridge: Cambridge Univ. Press. p. 172. ISBN 978-0-521-59271-0.

[11] Klebanov, Lev B.; Rachev, Svetlozar T.; Fabozzi, Frank J. (2009). "Loss Functions and the Theory of Unbiased Estimation". सांख्यिकी में मजबूत और गैर-मजबूत मॉडल. New York: Nova Scientific. ISBN 978-1-60741-768-2.

[taboga-12] Taboga, Marco (2010). "संभाव्यता सिद्धांत और गणितीय सांख्यिकी पर व्याख्यान".

[13] DeGroot, Morris H. (1986). प्रायिकता अौर सांख्यिकी (2nd ed.). Addison-Wesley. pp. 414–5. ISBN 0-201-11366-X. But compare it with, for example, the discussion in Casella; Berger (2001). Statistical Inference (2nd ed.). Duxbury. p. 332. ISBN 0-534-24312-6.

[14] Gelman, A.; et al. (1995). बायेसियन डेटा विश्लेषण. Chapman and Hall. p. 108. ISBN 0-412-03991-5.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

Anonymous

Search

अनुमानक का पूर्वाग्रह

Namespaces

More

Page actions

Contents

परिभाषा

उदाहरण

प्रतिदर्श प्रसरण

प्वासों प्रायिकता का अनुमान लगाना

असतत समान विभाजन का अधिकतम

माध्य-अनभिनत अनुमानक

अन्य हानि फलनों के संबंध में अभिनत

रूपांतरों का प्रभाव

अभिनत, प्रसरण और माध्य औसत वर्ग त्रुटि

उदाहरण: समष्‍टि प्रसरण का अनुमान

बायेसियन दृश्य

यह भी देखें

टिप्पणियाँ

संदर्भ

बाहरी संबंध

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

अनुमानक का पूर्वाग्रह

परिभाषा

उदाहरण

प्रतिदर्श प्रसरण

प्वासों प्रायिकता का अनुमान लगाना

असतत समान विभाजन का अधिकतम

माध्य-अनभिनत अनुमानक

अन्य हानि फलनों के संबंध में अभिनत

रूपांतरों का प्रभाव

अभिनत, प्रसरण और माध्य औसत वर्ग त्रुटि

उदाहरण: समष्‍टि प्रसरण का अनुमान

बायेसियन दृश्य

यह भी देखें

टिप्पणियाँ

संदर्भ

बाहरी संबंध

Navigation

Wiki tools

Page tools

Other projects

Categories