न्यूनतम माध्य वर्ग त्रुटि

सांख्यिकी और संकेत आगे बढ़ाना में, न्यूनतम माध्य वर्ग त्रुटि (एमएमएसई) अनुमानक एक अनुमान पद्धति है जो माध्य वर्ग त्रुटि (एमएसई) को कम करती है, जो एक आश्रित चर के फिट मूल्यों के अनुमानक गुणवत्ता का एक सामान्य माप है। बायेसियन अनुमानक सेटिंग में, एमएमएसई शब्द विशेष रूप से द्विघात हानि फ़ंक्शन के साथ अनुमान को संदर्भित करता है। ऐसे मामले में, एमएमएसई अनुमानक अनुमान लगाए जाने वाले पैरामीटर के पिछले माध्य द्वारा दिया जाता है। चूँकि पश्च माध्य की गणना करना बोझिल है, एमएमएसई अनुमानक का रूप आमतौर पर कार्यों के एक निश्चित वर्ग के भीतर होने के लिए बाध्य है। रैखिक एमएमएसई अनुमानक एक लोकप्रिय विकल्प हैं क्योंकि वे उपयोग में आसान, गणना करने में आसान और बहुत बहुमुखी हैं। इसने कई लोकप्रिय अनुमानकों को जन्म दिया है जैसे कि वीनर फ़िल्टर|वीनर-कोलमोगोरोव फ़िल्टर और कलमन फ़िल्टर

प्रेरणा

एमएमएसई शब्द विशेष रूप से द्विघात लागत फ़ंक्शन के साथ बायेसियन अनुमानक सेटिंग में अनुमान को संदर्भित करता है। अनुमान के लिए बायेसियन दृष्टिकोण के पीछे मूल विचार व्यावहारिक स्थितियों से उत्पन्न होता है जहां हमें अक्सर अनुमान लगाए जाने वाले पैरामीटर के बारे में कुछ पूर्व जानकारी होती है। उदाहरण के लिए, हमें उस सीमा के बारे में पूर्व जानकारी हो सकती है जिसे पैरामीटर मान सकता है; या हमारे पास उस पैरामीटर का पुराना अनुमान हो सकता है जिसे हम नया अवलोकन उपलब्ध होने पर संशोधित करना चाहते हैं; या भाषण जैसे वास्तविक यादृच्छिक संकेत के आँकड़े। यह न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई) जैसे गैर-बायेसियन दृष्टिकोण के विपरीत है, जहां पैरामीटर के बारे में पहले से कुछ भी ज्ञात नहीं माना जाता है और जो ऐसी स्थितियों के लिए जिम्मेदार नहीं है। बायेसियन दृष्टिकोण में, ऐसी पूर्व जानकारी मापदंडों के पूर्व संभाव्यता घनत्व फ़ंक्शन द्वारा कैप्चर की जाती है; और सीधे बेयस प्रमेय पर आधारित, यह हमें अधिक अवलोकन उपलब्ध होने पर बेहतर पश्च अनुमान लगाने की अनुमति देता है। इस प्रकार गैर-बायेसियन दृष्टिकोण के विपरीत जहां रुचि के मापदंडों को नियतात्मक, लेकिन अज्ञात स्थिरांक माना जाता है, बायेसियन अनुमानक एक पैरामीटर का अनुमान लगाना चाहता है जो स्वयं एक यादृच्छिक चर है। इसके अलावा, बायेसियन अनुमान उन स्थितियों से भी निपट सकता है जहां अवलोकनों का क्रम आवश्यक रूप से स्वतंत्र नहीं है। इस प्रकार बायेसियन अनुमान एमवीयूई के लिए एक और विकल्प प्रदान करता है। यह तब उपयोगी होता है जब एमवीयूई मौजूद नहीं है या पाया नहीं जा सकता है।

परिभाषा

होने देना $x$ एक हो $n\times 1$ छिपा हुआ यादृच्छिक वेक्टर चर, और चलो $y$ एक हो $m\times 1$ ज्ञात यादृच्छिक वेक्टर चर (माप या अवलोकन), जरूरी नहीं कि दोनों एक ही आयाम के हों। एक अनुमानक ${\hat {x}}(y)$ का $x$ माप का कोई कार्य है $y$. अनुमान त्रुटि वेक्टर द्वारा दिया गया है $e={\hat {x}}-x$ और इसकी माध्य वर्ग त्रुटि (MSE) त्रुटि सहप्रसरण मैट्रिक्स के ट्रेस (रैखिक बीजगणित) द्वारा दी गई है

$\operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},$

जहां अपेक्षित मूल्य है $\operatorname {E}$ पर कब्ज़ा कर लिया गया है $x$ पर वातानुकूलित $y$. कब $x$ एक अदिश चर है, एमएसई अभिव्यक्ति इसे सरल बनाती है $\operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}$. ध्यान दें कि एमएसई को समकक्ष रूप से अन्य तरीकों से परिभाषित किया जा सकता है

$\operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.$

एमएमएसई अनुमानक को न्यूनतम एमएसई प्राप्त करने वाले अनुमानक के रूप में परिभाषित किया गया है:

${\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .$

गुण

• जब साधन और भिन्नताएं सीमित होती हैं, तो एमएमएसई अनुमानक को विशिष्ट रूप से परिभाषित किया जाता है और इसके द्वारा दिया गया है:

${\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.$

दूसरे शब्दों में, एमएमएसई अनुमानक सशर्त अपेक्षा है $x$ माप का ज्ञात प्रेक्षित मान दिया गया है। इसके अलावा, तब से ${\hat {x}}_{\mathrm {MMSE} }$ पश्च माध्य, त्रुटि सहप्रसरण मैट्रिक्स है $C_{e}$पश्च सहप्रसरण के बराबर है $C_{X|Y}$ आव्यूह,

$C_{e}=C_{X|Y}$.

• एमएमएसई अनुमानक निष्पक्ष है (ऊपर उल्लिखित नियमितता मान्यताओं के तहत):

$\operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.$

• एमएमएसई अनुमानक असममित रूप से निष्पक्ष है और यह सामान्य वितरण में वितरण में परिवर्तित होता है:

${\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),$

कहाँ $I(x)$ की फिशर जानकारी है $x$. इस प्रकार, एमएमएसई अनुमानक दक्षता (सांख्यिकी) है।

• रूढ़िवादिता सिद्धांत: कब $x$ एक अदिश राशि है, एक अनुमानक जो निश्चित आकार का होने के लिए बाध्य है ${\hat {x}}=g(y)$ एक इष्टतम अनुमानक है, यानी ${\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),$ अगर और केवल अगर

$\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0$ :सभी के लिए $g(y)$ बंद, रैखिक उपस्थान में ${\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}$ माप का. यादृच्छिक वेक्टर के लिए, चूंकि एक यादृच्छिक वेक्टर के आकलन के लिए एमएसई निर्देशांक के एमएसई का योग है, एक यादृच्छिक वेक्टर के एमएमएसई अनुमानक को खोजने से एक्स के निर्देशांक के एमएमएसई अनुमानक को अलग से ढूंढने में विघटित हो जाता है:

$\operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,$ :सभी i और j के लिए। अधिक संक्षेप में कहें तो, न्यूनतम अनुमान त्रुटि के बीच अंतर-सहसंबंध ${\hat {x}}_{\operatorname {MMSE} }-x$ और अनुमानक ${\hat {x}}$ शून्य होना चाहिए,

$\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.$

• अगर $x$ और $y$ संयुक्त रूप से गाऊसी हैं, तो एमएमएसई अनुमानक रैखिक है, यानी, इसका रूप है $Wy+b$ मैट्रिक्स के लिए $W$ और स्थिर $b$. इसे बेयस प्रमेय का उपयोग करके सीधे दिखाया जा सकता है। परिणामस्वरूप, एमएमएसई अनुमानक को खोजने के लिए, रैखिक एमएमएसई अनुमानक को ढूंढना पर्याप्त है।

रैखिक एमएमएसई अनुमानक

कई मामलों में, एमएमएसई अनुमानक की विश्लेषणात्मक अभिव्यक्ति निर्धारित करना संभव नहीं है। एमएमएसई अनुमान प्राप्त करने के लिए दो बुनियादी संख्यात्मक दृष्टिकोण या तो सशर्त अपेक्षा को खोजने पर निर्भर करते हैं $\operatorname {E} \{x\mid y\}$ या एमएसई का मिनिमा ढूँढना। सशर्त अपेक्षा का प्रत्यक्ष संख्यात्मक मूल्यांकन कम्प्यूटेशनल रूप से महंगा है क्योंकि इसके लिए अक्सर बहुआयामी एकीकरण की आवश्यकता होती है जो आमतौर पर मोंटे कार्लो विधियों के माध्यम से किया जाता है। एक अन्य कम्प्यूटेशनल दृष्टिकोण स्टोकेस्टिक ग्रेडिएंट डिसेंट जैसी तकनीकों का उपयोग करके सीधे एमएसई की न्यूनतमता की तलाश करना है; लेकिन इस पद्धति को अभी भी अपेक्षा के मूल्यांकन की आवश्यकता है। हालाँकि ये संख्यात्मक विधियाँ उपयोगी रही हैं, फिर भी अगर हम कुछ समझौते करने के इच्छुक हैं तो एमएमएसई अनुमानक के लिए एक बंद फॉर्म अभिव्यक्ति संभव है।

एक संभावना यह है कि पूर्ण इष्टतमता आवश्यकताओं को त्याग दिया जाए और अनुमानकों के एक विशेष वर्ग, जैसे कि रैखिक अनुमानकों के वर्ग, के भीतर एमएसई को न्यूनतम करने वाली तकनीक की तलाश की जाए। इस प्रकार, हम मानते हैं कि सशर्त अपेक्षा $x$ दिया गया $y$ का एक सरल रैखिक कार्य है $y$, $\operatorname {E} \{x\mid y\}=Wy+b$, जहां माप $y$ एक यादृच्छिक वेक्टर है, $W$ एक मैट्रिक्स है और $b$ एक वेक्टर है. इसे टेलर के प्रथम क्रम सन्निकटन के रूप में देखा जा सकता है $\operatorname {E} \{x\mid y\}$. रैखिक एमएमएसई अनुमानक ऐसे फॉर्म के सभी अनुमानकों के बीच न्यूनतम एमएसई प्राप्त करने वाला अनुमानक है। अर्थात्, यह निम्नलिखित अनुकूलन समस्या का समाधान करता है:

$\min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.$

ऐसे रैखिक एमएमएसई अनुमानक का एक फायदा यह है कि पश्च संभाव्यता घनत्व फ़ंक्शन की स्पष्ट रूप से गणना करना आवश्यक नहीं है $x$. ऐसा रैखिक अनुमानक केवल पहले दो क्षणों पर निर्भर करता है $x$ और $y$. हालाँकि यह मान लेना सुविधाजनक हो सकता है $x$ और $y$ संयुक्त रूप से गॉसियन हैं, यह धारणा बनाना आवश्यक नहीं है, जब तक कि अनुमानित वितरण ने पहले और दूसरे क्षणों को अच्छी तरह से परिभाषित नहीं किया है। रैखिक अनुमानक का रूप अनुमानित अंतर्निहित वितरण के प्रकार पर निर्भर नहीं करता है।

इष्टतम के लिए अभिव्यक्ति $b$ और $W$ द्वारा दिया गया है:

$b={\bar {x}}-W{\bar {y}},$ :$W=C_{XY}C_{Y}^{-1}.$

कहाँ ${\bar {x}}=\operatorname {E} \{x\}$, ${\bar {y}}=\operatorname {E} \{y\},$ $C_{XY}$ के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है $x$ और $y$, द $C_{Y}$ का ऑटो-कोवेरिएंस मैट्रिक्स है $y$.

इस प्रकार, रैखिक एमएमएसई अनुमानक, इसके माध्य और इसके ऑटो-सहप्रसरण के लिए अभिव्यक्ति दी गई है

${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},$

$\operatorname {E} \{{\hat {x}}\}={\bar {x}},$

$C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},$

जहां $C_{YX}$ के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है $y$ और $x$.

अंत में, ऐसे अनुमानक द्वारा प्राप्त होने वाली त्रुटि सहप्रसरण और न्यूनतम माध्य वर्ग त्रुटि है

$C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},$

$\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.$

Derivation using orthogonality principle

आइए हमारे पास इष्टतम रैखिक एमएमएसई अनुमानक दिया गया है ${\hat {x}}=Wy+b$, जहां हमें इसके लिए अभिव्यक्ति ढूंढने की आवश्यकता होती है $W$ और $b$. यह आवश्यक है कि एमएमएसई अनुमानक निष्पक्ष हो। इसका मतलब यह है,

$\operatorname {E} \{{\hat {x}}\}=\operatorname {E} \{x\}.$

के लिए अभिव्यक्ति को प्लग करना ${\hat {x}}$ उपरोक्त में, हम पाते हैं

$b={\bar {x}}-W{\bar {y}},$

कहाँ ${\bar {x}}=\operatorname {E} \{x\}$ और ${\bar {y}}=\operatorname {E} \{y\}$. इस प्रकार हम अनुमानक को इस प्रकार पुनः लिख सकते हैं

${\hat {x}}=W(y-{\bar {y}})+{\bar {x}}$

और अनुमान त्रुटि की अभिव्यक्ति बन जाती है

${\hat {x}}-x=W(y-{\bar {y}})-(x-{\bar {x}}).$

रूढ़िवादिता सिद्धांत से, हम प्राप्त कर सकते हैं $\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}=0$, हम कहाँ लेते हैं $g(y)=y-{\bar {y}}$. यहाँ बायीं ओर का पद है

${\begin{aligned}\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}&=\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(y-{\bar {y}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}-\operatorname {E} \{(x-{\bar {x}})(y-{\bar {y}})^{T}\}\\&=WC_{Y}-C_{XY}.\end{aligned}}$

जब शून्य के बराबर किया जाता है, तो हमें वांछित अभिव्यक्ति प्राप्त होती है $W$ जैसा

$W=C_{XY}C_{Y}^{-1}.$

$C_{XY}$ h> X और Y के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है, और $C_{Y}$ Y का ऑटो-कोवरियन्स मैट्रिक्स है। चूँकि $C_{XY}=C_{YX}^{T}$, अभिव्यक्ति को के संदर्भ में भी दोबारा लिखा जा सकता है $C_{YX}$ जैसा

$W^{T}=C_{Y}^{-1}C_{YX}.$

इस प्रकार रैखिक एमएमएसई अनुमानक के लिए पूर्ण अभिव्यक्ति है

${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$

अनुमान के बाद से ${\hat {x}}$ स्वयं एक यादृच्छिक चर है $\operatorname {E} \{{\hat {x}}\}={\bar {x}}$, हम इसका स्वतः सहप्रसरण भी प्राप्त कर सकते हैं

${\begin{aligned}C_{\hat {X}}&=\operatorname {E} \{({\hat {x}}-{\bar {x}})({\hat {x}}-{\bar {x}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}W^{T}\\&=WC_{Y}W^{T}.\\\end{aligned}}$

के लिए अभिव्यक्ति रख रहा हूँ $W$ और $W^{T}$, हम पाते हैं

$C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX}.$

अंत में, रैखिक एमएमएसई अनुमान त्रुटि का सहप्रसरण तब दिया जाएगा

${\begin{aligned}C_{e}&=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\\&=\operatorname {E} \{({\hat {x}}-x)(W(y-{\bar {y}})-(x-{\bar {x}}))^{T}\}\\&=\underbrace {\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}} _{0}W^{T}-\operatorname {E} \{({\hat {x}}-x)(x-{\bar {x}})^{T}\}\\&=-\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(x-{\bar {x}})^{T}\}\\&=\operatorname {E} \{(x-{\bar {x}})(x-{\bar {x}})^{T}\}-W\operatorname {E} \{(y-{\bar {y}})(x-{\bar {x}})^{T}\}\\&=C_{X}-WC_{YX}.\end{aligned}}$

ऑर्थोगोनैलिटी सिद्धांत के कारण तीसरी पंक्ति में पहला पद शून्य है। तब से $W=C_{XY}C_{Y}^{-1}$, हम पुनः लिख सकते हैं $C_{e}$ सहप्रसरण मैट्रिक्स के संदर्भ में

$C_{e}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX}.$

इसे हम वैसा ही मान सकते हैं $C_{e}=C_{X}-C_{\hat {X}}.$ इस प्रकार ऐसे रैखिक अनुमानक द्वारा प्राप्त की जाने वाली न्यूनतम माध्य वर्ग त्रुटि है

$\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}$.

अविभाज्य मामला

विशेष मामले के लिए जब दोनों $x$ और $y$ अदिश हैं, उपरोक्त संबंध को सरल बनाते हैं

${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},$ :$\sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},$

कहाँ $\rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}$ के बीच पियर्सन का सहसंबंध गुणांक है $x$ और $y$.

उपरोक्त दो समीकरण हमें सहसंबंध गुणांक की व्याख्या रैखिक प्रतिगमन के सामान्यीकृत ढलान के रूप में करने की अनुमति देते हैं

$\left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)$

या दो प्रसरणों के अनुपात के वर्गमूल के रूप में

$\rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}$.

कब $\rho =0$, अपने पास ${\hat {x}}={\bar {x}}$ और $\sigma _{e}^{2}=\sigma _{X}^{2}$. इस मामले में, माप से कोई नई जानकारी नहीं मिलती है जो अनिश्चितता को कम कर सके $x$. दूसरी ओर, जब $\rho =\pm 1$, अपने पास ${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}$ और $\sigma _{e}^{2}=0$. यहाँ $x$ द्वारा पूर्णतः निर्धारित होता है $y$, जैसा कि सीधी रेखा के समीकरण द्वारा दिया गया है।

गणना

मैट्रिक्स समीकरण को हल करने के लिए गॉस उन्मूलन जैसी मानक विधि का उपयोग किया जा सकता है $W$. क्यूआर अपघटन विधि द्वारा एक अधिक संख्यात्मक रूप से स्थिर विधि प्रदान की जाती है। मैट्रिक्स के बाद से $C_{Y}$ एक सममित सकारात्मक निश्चित मैट्रिक्स है, $W$ चोल्स्की अपघटन के साथ दोगुनी तेजी से हल किया जा सकता है, जबकि बड़ी विरल प्रणालियों के लिए संयुग्म ग्रेडिएंट विधि अधिक प्रभावी है। लेविंसन रिकर्सन एक तेज़ विधि है जब $C_{Y}$ एक Toeplitz मैट्रिक्स भी है। ऐसा तब हो सकता है जब $y$ एक व्यापक अर्थ स्थिर प्रक्रिया है. ऐसे स्थिर मामलों में, इन अनुमानकों को वीनर फ़िल्टर|वीनर-कोलमोगोरोव फ़िल्टर भी कहा जाता है।

रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक

आइए हम अवलोकन की अंतर्निहित प्रक्रिया को एक रैखिक प्रक्रिया के रूप में आगे मॉडल करें: $y=Ax+z$, कहाँ $A$ एक ज्ञात मैट्रिक्स है और $z$ माध्य के साथ यादृच्छिक शोर वेक्टर है $\operatorname {E} \{z\}=0$ और क्रॉस-सहप्रसरण $C_{XZ}=0$. यहां आवश्यक माध्य और सहप्रसरण आव्यूह होंगे

$\operatorname {E} \{y\}=A{\bar {x}},$

$C_{Y}=AC_{X}A^{T}+C_{Z},$ :$C_{XY}=C_{X}A^{T}.$

इस प्रकार रैखिक एमएमएसई अनुमानक मैट्रिक्स के लिए अभिव्यक्ति $W$ आगे संशोधित करता है

$W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.$

के लिए अभिव्यक्ति में सब कुछ डालना ${\hat {x}}$, हम पाते हैं

${\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.$

अंत में, त्रुटि सहप्रसरण है

$C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.$

ऊपर दी गई अनुमान समस्या और न्यूनतम वर्गों और गॉस-मार्कोव प्रमेय | गॉस-मार्कोव अनुमान के बीच महत्वपूर्ण अंतर यह है कि अवलोकनों की संख्या एम, (यानी का आयाम) $y$) कम से कम अज्ञातों की संख्या जितनी बड़ी नहीं होनी चाहिए, n, (अर्थात् का आयाम)। $x$). रैखिक अवलोकन प्रक्रिया का अनुमान एम-बाय-एम मैट्रिक्स तक मौजूद रहता है $(AC_{X}A^{T}+C_{Z})^{-1}$ मौजूद; यह किसी भी एम के लिए मामला है, उदाहरण के लिए, $C_{Z}$ सकारात्मक निश्चित है. भौतिक रूप से इस संपत्ति का कारण यह है कि तब से $x$ अब एक यादृच्छिक चर है, बिना किसी माप के भी एक सार्थक अनुमान (अर्थात् इसका माध्य) बनाना संभव है। प्रत्येक नया माप बस अतिरिक्त जानकारी प्रदान करता है जो हमारे मूल अनुमान को संशोधित कर सकता है। इस अनुमान की एक अन्य विशेषता यह है कि m < n के लिए, कोई माप त्रुटि आवश्यक नहीं है। इस प्रकार, हमारे पास हो सकता है $C_{Z}=0$, क्योंकि जब तक $AC_{X}A^{T}$ सकारात्मक निश्चित है, अनुमान अभी भी मौजूद है। अंत में, यह तकनीक उन मामलों को संभाल सकती है जहां शोर सहसंबद्ध है।

वैकल्पिक रूप

मैट्रिक्स पहचान का उपयोग करके अभिव्यक्ति का एक वैकल्पिक रूप प्राप्त किया जा सकता है

$C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

जिसे बाद में गुणा करके स्थापित किया जा सकता है $(AC_{X}A^{T}+C_{Z})$ और पूर्व-गुणा करके $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ प्राप्त करने के लिए

$W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$ और

$C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.$

तब से $W$ अब के संदर्भ में लिखा जा सकता है $C_{e}$ जैसा $W=C_{e}A^{T}C_{Z}^{-1}$, हमें इसके लिए एक सरलीकृत अभिव्यक्ति मिलती है ${\hat {x}}$ जैसा

${\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.$

इस रूप में उपरोक्त अभिव्यक्ति की तुलना न्यूनतम वर्ग#भारित न्यूनतम वर्ग और गॉस-मार्कोव प्रमेय|गॉस-मार्कोव अनुमान से आसानी से की जा सकती है। विशेषकर, जब $C_{X}^{-1}=0$, संबंधित पूर्ववर्ती जानकारी के अनंत भिन्नता के अनुरूप $x$, परिणाम $W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}$ भारित रैखिक न्यूनतम वर्ग अनुमान के समान है $C_{Z}^{-1}$ वजन मैट्रिक्स के रूप में. इसके अलावा, यदि के घटक $z$ असंबंधित हैं और इनमें समान भिन्नता है $C_{Z}=\sigma ^{2}I,$ कहाँ $I$ तो, एक पहचान मैट्रिक्स है $W=(A^{T}A)^{-1}A^{T}$ सामान्य न्यूनतम वर्ग अनुमान के समान है।

अनुक्रमिक रैखिक एमएमएसई अनुमान

कई वास्तविक समय अनुप्रयोगों में, अवलोकन संबंधी डेटा एक ही बैच में उपलब्ध नहीं होता है। इसके बजाय अवलोकन एक क्रम में किए जाते हैं। एक संभावित दृष्टिकोण पुराने अनुमान को अद्यतन करने के लिए अनुक्रमिक अवलोकनों का उपयोग करना है क्योंकि अतिरिक्त डेटा उपलब्ध हो जाता है, जिससे बेहतर अनुमान प्राप्त होते हैं। बैच अनुमान और अनुक्रमिक अनुमान के बीच एक महत्वपूर्ण अंतर यह है कि अनुक्रमिक अनुमान के लिए अतिरिक्त मार्कोव धारणा की आवश्यकता होती है।

बायेसियन ढांचे में, बायेस नियम का उपयोग करके ऐसे पुनरावर्ती अनुमान को आसानी से सुविधाजनक बनाया जा सकता है। दिया गया $k$ अवलोकन, $y_{1},\ldots ,y_{k}$, बेयस का नियम हमें पश्च घनत्व देता है $x_{k}$ जैसा

${\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}$

$p(x_{k}|y_{1},\ldots ,y_{k})$ h> को पश्च घनत्व कहा जाता है, $p(y_{k}|x_{k})$ संभाव्यता फलन कहलाता है, और $p(x_{k}|y_{1},\ldots ,y_{k-1})$ k-वें समय चरण का पूर्व घनत्व है। यहां हमने सशर्त स्वतंत्रता की कल्पना की है $y_{k}$ पिछले अवलोकनों से $y_{1},\ldots ,y_{k-1}$ दिया गया $x$ जैसा

$p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).$ यह मार्कोव धारणा है.

एमएमएसई अनुमान ${\hat {x}}_{k}$ यदि k-वें अवलोकन दिया गया है तो यह पश्च घनत्व का माध्य है $p(x_{k}|y_{1},\ldots ,y_{k})$. राज्य कैसे है, इस पर गतिशील जानकारी की कमी के साथ $x$ समय के साथ परिवर्तन, हम पूर्व के बारे में एक और स्थिरता की धारणा बनाएंगे:

$p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).$

इस प्रकार, k-वें समय चरण के लिए पूर्व घनत्व (k-1)-वें समय चरण का पश्च घनत्व है। यह संरचना हमें अनुमान के लिए एक पुनरावर्ती दृष्टिकोण तैयार करने की अनुमति देती है।

रैखिक एमएमएसई अनुमानक के संदर्भ में, अनुमान के सूत्र का रूप पहले जैसा ही होगा: ${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$ हालाँकि, माध्य और सहप्रसरण मैट्रिक्स $X$ और $Y$ पूर्व घनत्व वाले लोगों द्वारा प्रतिस्थापित करने की आवश्यकता होगी $p(x_{k}|y_{1},\ldots ,y_{k-1})$ और संभावना $p(y_{k}|x_{k})$, क्रमश।

पूर्व घनत्व के लिए $p(x_{k}|y_{1},\ldots ,y_{k-1})$, इसका माध्य पिछले एमएमएसई अनुमान द्वारा दिया गया है,

${\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}$,

और इसका सहप्रसरण मैट्रिक्स पिछली त्रुटि सहप्रसरण मैट्रिक्स द्वारा दिया गया है,

$C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},$ एमएमएसई अनुमानकों के गुणों और स्थिरता धारणा के अनुसार।

इसी प्रकार, रैखिक अवलोकन प्रक्रिया के लिए, संभावना का माध्य $p(y_{k}|x_{k})$ द्वारा दिया गया है ${\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}$ और सहप्रसरण मैट्रिक्स पहले जैसा है

${\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}$.

के अनुमानित मूल्य के बीच का अंतर $Y_{k}$, जैसा कि दिया गया है ${\bar {y}}_{k}=A{\hat {x}}_{k-1}$, और इसका अवलोकित मूल्य $y_{k}$ भविष्यवाणी त्रुटि देता है ${\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}$, जिसे नवप्रवर्तन या अवशिष्ट भी कहा जाता है। भविष्यवाणी त्रुटि के संदर्भ में रैखिक एमएमएसई का प्रतिनिधित्व करना अधिक सुविधाजनक है, जिसका माध्य और सहप्रसरण हैं $\mathrm {E} [{\tilde {y}}_{k}]=0$ और $C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}$.

इसलिए, अनुमान अद्यतन सूत्र में, हमें प्रतिस्थापित करना चाहिए ${\bar {x}}$ और $C_{X}$ द्वारा ${\hat {x}}_{k-1}$ और $C_{e_{k-1}}$, क्रमश। इसके अलावा, हमें प्रतिस्थापित करना चाहिए ${\bar {y}}$ और $C_{Y}$ द्वारा ${\bar {y}}_{k-1}$ और $C_{{\tilde {Y}}_{k}}$. अंत में, हम प्रतिस्थापित करते हैं $C_{XY}$ द्वारा

${\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}$

इस प्रकार, हमारे पास नया अनुमान नए अवलोकन के रूप में है $y_{k}$ के रूप में आता है

${\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}$

और नई त्रुटि सहप्रसरण के रूप में

$C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.$

रैखिक बीजगणित के दृष्टिकोण से, अनुक्रमिक अनुमान के लिए, यदि हमारे पास कोई अनुमान है ${\hat {x}}_{1}$ माप के आधार पर स्थान उत्पन्न करना $Y_{1}$, फिर माप का एक और सेट प्राप्त करने के बाद, हमें इन मापों से वह हिस्सा घटा देना चाहिए जिसका पहले माप के परिणाम से अनुमान लगाया जा सकता है। दूसरे शब्दों में, अद्यतनीकरण नए डेटा के उस हिस्से पर आधारित होना चाहिए जो पुराने डेटा के लिए ऑर्थोगोनल है।

अधिक अवलोकन उपलब्ध होने पर उपरोक्त दो समीकरणों का बार-बार उपयोग पुनरावर्ती अनुमान तकनीकों को जन्म देता है। भावों को अधिक संक्षिप्त रूप में लिखा जा सकता है

$W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},$

${\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),$

$C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.$

गणित का सवाल $W_{k}$ इसे अक्सर कलमन लाभ कारक के रूप में जाना जाता है। उपरोक्त एल्गोरिदम का वैकल्पिक सूत्रीकरण देगा

$C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,$

$W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},$

${\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),$

अधिक डेटा उपलब्ध होने पर इन तीन चरणों की पुनरावृत्ति एक पुनरावृत्त अनुमान एल्गोरिदम की ओर ले जाती है। गैर-स्थिर मामलों में इस विचार का सामान्यीकरण कलमन फ़िल्टर को जन्म देता है। ऊपर उल्लिखित तीन अद्यतन चरण वास्तव में कलमन फ़िल्टर का अद्यतन चरण बनाते हैं।

विशेष मामला: अदिश प्रेक्षण

एक महत्वपूर्ण विशेष मामले के रूप में, उपयोग में आसान पुनरावर्ती अभिव्यक्ति तब प्राप्त की जा सकती है जब प्रत्येक k-वें समय पर अंतर्निहित रैखिक अवलोकन प्रक्रिया एक स्केलर उत्पन्न करती है जैसे कि $y_{k}=a_{k}^{T}x_{k}+z_{k}$, कहाँ $a_{k}$ n-by-1 ज्ञात कॉलम वेक्टर है जिसका मान समय के साथ बदल सकता है, $x_{k}$ अनुमान लगाने के लिए एन-बाय-1 यादृच्छिक कॉलम वेक्टर है, और $z_{k}$ विचरण के साथ अदिश शोर शब्द है $\sigma _{k}^{2}$. (k+1)-वें अवलोकन के बाद, उपरोक्त पुनरावर्ती समीकरणों का प्रत्यक्ष उपयोग अनुमान के लिए अभिव्यक्ति देता है ${\hat {x}}_{k+1}$ जैसा:

${\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})$

कहाँ $y_{k+1}$ नया अदिश अवलोकन और लाभ कारक है $w_{k+1}$ n-by-1 कॉलम वेक्टर द्वारा दिया गया है

$w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.$

$C_{e_{k+1}}$ h> द्वारा दिया गया n-by-n त्रुटि सहप्रसरण मैट्रिक्स है

$C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.$

यहां, किसी मैट्रिक्स व्युत्क्रम की आवश्यकता नहीं है। इसके अलावा, लाभ कारक, $w_{k+1}$, नए डेटा नमूने में हमारे विश्वास पर निर्भर करता है, जैसा कि पिछले डेटा की तुलना में शोर भिन्नता द्वारा मापा जाता है। के प्रारंभिक मान ${\hat {x}}$ और $C_{e}$ पूर्व संभाव्यता घनत्व फ़ंक्शन का माध्य और सहप्रसरण माना जाता है $x$.

वैकल्पिक दृष्टिकोण: इस महत्वपूर्ण विशेष मामले ने कई अन्य पुनरावृत्त तरीकों (या अनुकूली फ़िल्टर) को भी जन्म दिया है, जैसे कि न्यूनतम माध्य वर्ग फ़िल्टर और पुनरावर्ती न्यूनतम वर्ग फ़िल्टर, जो स्टोकेस्टिक ग्रेडिएंट डीसेंट का उपयोग करके मूल एमएसई अनुकूलन समस्या को सीधे हल करता है। हालाँकि, अनुमान त्रुटि के बाद से $e$ सीधे तौर पर नहीं देखा जा सकता, ये विधियाँ माध्य वर्ग पूर्वानुमान त्रुटि को कम करने का प्रयास करती हैं $\mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}$. उदाहरण के लिए, अदिश प्रेक्षणों के मामले में, हमारे पास ग्रेडिएंट है $\nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.$ इस प्रकार, न्यूनतम माध्य वर्ग फ़िल्टर के लिए अद्यतन समीकरण इस प्रकार दिया गया है

${\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},$

कहाँ $\eta _{k}$ अदिश चरण का आकार है और अपेक्षा का अनुमान तात्कालिक मान से लगाया जाता है $\mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}$. जैसा कि हम देख सकते हैं, ये विधियाँ सहप्रसरण मैट्रिक्स की आवश्यकता को दरकिनार कर देती हैं।

विशेष मामला: असंबंधित शोर के साथ वेक्टर अवलोकन

कई व्यावहारिक अनुप्रयोगों में, अवलोकन शोर असंबंधित है। वह है, $C_{Z}$ एक विकर्ण मैट्रिक्स है. ऐसे मामलों में, इसके घटकों पर विचार करना लाभप्रद है $y$ वेक्टर माप के बजाय स्वतंत्र अदिश माप के रूप में। यह हमें प्रसंस्करण करके गणना समय को कम करने की अनुमति देता है $m\times 1$ माप वेक्टर के रूप में $m$ अदिश माप. स्केलर अपडेट फॉर्मूला का उपयोग सहप्रसरण अद्यतन समीकरणों के कार्यान्वयन में मैट्रिक्स व्युत्क्रम से बचाता है, इस प्रकार राउंडऑफ त्रुटियों के खिलाफ संख्यात्मक मजबूती में सुधार करता है। अद्यतन को पुनरावर्ती रूप से इस प्रकार कार्यान्वित किया जा सकता है:

$w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}$ :$C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}$

${\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})$

कहाँ $\ell =1,2,\ldots ,m$, प्रारंभिक मानों का उपयोग करते हुए $C_{e_{k+1}}^{(0)}=C_{e_{k}}$ और ${\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}$. मध्यवर्ती चर $C_{Z_{k+1}}^{(\ell )}$ है $\ell$-के विकर्ण तत्व $m\times m$ विकर्ण मैट्रिक्स $C_{Z_{k+1}}$; जबकि $A_{k+1}^{(\ell )}$ है $\ell$-वीं पंक्ति $m\times n$ आव्यूह $A_{k+1}$. अंतिम मान हैं $C_{e_{k+1}}^{(m)}=C_{e_{k+1}}$ और ${\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}$.

उदाहरण

उदाहरण 1

हम एक उदाहरण के रूप में एक रैखिक भविष्यवाणी समस्या लेंगे। मान लीजिए प्रेक्षित अदिश यादृच्छिक चरों का एक रैखिक संयोजन $z_{1},z_{2}$ और $z_{3}$ किसी अन्य भविष्य के अदिश यादृच्छिक चर का अनुमान लगाने के लिए उपयोग किया जाएगा $z_{4}$ ऐसा है कि ${\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}$. यदि यादृच्छिक चर $z=[z_{1},z_{2},z_{3},z_{4}]^{T}$ शून्य माध्य और इसके सहप्रसरण मैट्रिक्स के साथ वास्तविक गाऊसी यादृच्छिक चर हैं

$\operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],$

तो हमारा कार्य गुणांक ज्ञात करना है $w_{i}$ ऐसा कि यह एक इष्टतम रैखिक अनुमान प्राप्त करेगा ${\hat {z}}_{4}$.

पिछले अनुभागों में विकसित शब्दावली के संदर्भ में, इस समस्या के लिए हमारे पास अवलोकन वेक्टर है $y=[z_{1},z_{2},z_{3}]^{T}$, अनुमानक मैट्रिक्स $W=[w_{1},w_{2},w_{3}]$ एक पंक्ति वेक्टर और अनुमानित चर के रूप में $x=z_{4}$ एक अदिश राशि के रूप में. स्वत:सहसंबंध मैट्रिक्स $C_{Y}$ परिभाषित किया जाता है

$C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].$

क्रॉस सहसंबंध मैट्रिक्स $C_{YX}$ परिभाषित किया जाता है

$C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].$

अब हम समीकरण हल करते हैं $C_{Y}W^{T}=C_{YX}$ उलट कर $C_{Y}$ और प्राप्त करने के लिए पूर्व-गुणा करना

$C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.$

तो हमारे पास $w_{1}=2.57,$ $w_{2}=-0.142,$ और $w_{3}=.5714$ के लिए इष्टतम गुणांक के रूप में ${\hat {z}}_{4}$. न्यूनतम की गणना तो माध्य वर्ग त्रुटि देता है $\left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857$. ध्यान दें कि इसके विपरीत एक स्पष्ट मैट्रिक्स प्राप्त करना आवश्यक नहीं है $C_{Y}$ के मूल्य की गणना करने के लिए $W$. मैट्रिक्स समीकरण को गॉस उन्मूलन विधि जैसी प्रसिद्ध विधियों द्वारा हल किया जा सकता है। ऑर्थोगोनैलिटी सिद्धांत में एक छोटा, गैर-संख्यात्मक उदाहरण पाया जा सकता है।

उदाहरण 2

एक वेक्टर पर विचार करें $y$ लेकर गठित किया गया $N$ एक निश्चित लेकिन अज्ञात अदिश पैरामीटर का अवलोकन $x$ सफ़ेद गॉसियन शोर से परेशान। हम इस प्रक्रिया का वर्णन एक रैखिक समीकरण द्वारा कर सकते हैं $y=1x+z$, कहाँ $1=[1,1,\ldots ,1]^{T}$. संदर्भ के आधार पर यह स्पष्ट होगा कि क्या $1$ एक अदिश (गणित) या एक सदिश का प्रतिनिधित्व करता है। मान लीजिए कि हम जानते हैं $[-x_{0},x_{0}]$ वह सीमा होना जिसके भीतर का मान है $x$ में गिरने वाला है। हम अपनी अनिश्चितता का मॉडल बना सकते हैं $x$ एक अंतराल पर पूर्व समान वितरण (निरंतर) द्वारा $[-x_{0},x_{0}]$, और इस तरह $x$ का भिन्नता होगी $\sigma _{X}^{2}=x_{0}^{2}/3.$. चलो शोर वेक्टर $z$ सामान्य रूप से वितरित किया जाए $N(0,\sigma _{Z}^{2}I)$ कहाँ $I$ एक पहचान मैट्रिक्स है. भी $x$ और $z$ स्वतंत्र हैं और $C_{XZ}=0$. यह देखना आसान है

${\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}$

इस प्रकार, रैखिक एमएमएसई अनुमानक द्वारा दिया जाता है

${\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}$

हम इसके वैकल्पिक रूप का उपयोग करके अभिव्यक्ति को सरल बना सकते हैं $W$ जैसा

${\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}$

कहाँ के लिए $y=[y_{1},y_{2},\ldots ,y_{N}]^{T}$ अपने पास ${\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.$ इसी प्रकार, अनुमानक का विचरण है

$\sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.$

इस प्रकार इस रैखिक अनुमानक का एमएमएसई है

$\operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.$

बहुत बड़े के लिए $N$, हम देखते हैं कि समान पूर्व वितरण वाले एक अदिश के एमएमएसई अनुमानक को सभी देखे गए डेटा के अंकगणितीय औसत द्वारा अनुमानित किया जा सकता है

${\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},$ जबकि विचरण डेटा से अप्रभावित रहेगा $\sigma _{\hat {X}}^{2}=\sigma _{X}^{2},$ और अनुमान का एलएमएमएसई शून्य हो जाएगा।

हालाँकि, अनुमानक उप-इष्टतम है क्योंकि यह रैखिक होने के लिए बाध्य है। यादृच्छिक चर था $x$ गॉसियन भी होता, तो अनुमानक इष्टतम होता। ध्यान दें, कि पूर्वानुमेय वितरण की परवाह किए बिना, अनुमानक का रूप अपरिवर्तित रहेगा $x$, जब तक कि इन वितरणों का माध्य और विचरण समान है।

उदाहरण 3

उपरोक्त उदाहरण की विविधता पर विचार करें: दो उम्मीदवार एक चुनाव के लिए खड़े हैं। बता दें कि चुनाव के दिन एक उम्मीदवार को वोटों का अंश प्राप्त होगा $x\in [0,1].$ इस प्रकार दूसरे उम्मीदवार को वोटों का अंश प्राप्त होगा $1-x.$ हम लेंगे $x$ एक समान पूर्व वितरण के साथ एक यादृच्छिक चर के रूप में $[0,1]$ ताकि इसका माध्य हो ${\bar {x}}=1/2$ और विचरण है $\sigma _{X}^{2}=1/12.$ चुनाव से कुछ हफ़्ते पहले, दो अलग-अलग सर्वेक्षणकर्ताओं द्वारा दो स्वतंत्र जनमत सर्वेक्षण आयोजित किए गए थे। पहले सर्वेक्षण से पता चला कि उम्मीदवार को मिलने की संभावना है $y_{1}$ वोटों का अंश. चूंकि सीमित नमूने और अपनाई गई विशेष मतदान पद्धति के कारण कुछ त्रुटि हमेशा मौजूद रहती है, इसलिए पहला सर्वेक्षणकर्ता अपने अनुमान में त्रुटि होने की घोषणा करता है। $z_{1}$ शून्य माध्य और विचरण के साथ $\sigma _{Z_{1}}^{2}.$ इसी प्रकार, दूसरा सर्वेक्षणकर्ता अपना अनुमान घोषित करता है $y_{2}$ एक त्रुटि के साथ $z_{2}$ शून्य माध्य और विचरण के साथ $\sigma _{Z_{2}}^{2}.$ ध्यान दें कि त्रुटि के माध्य और विचरण को छोड़कर, त्रुटि वितरण अनिर्दिष्ट है। किसी दिए गए उम्मीदवार के लिए मतदान की भविष्यवाणी प्राप्त करने के लिए दोनों सर्वेक्षणों को कैसे जोड़ा जाना चाहिए?

पिछले उदाहरण की तरह, हमारे पास है

${\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}$

यहाँ, दोनों $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2$. इस प्रकार, हम एलएमएमएसई अनुमान को रैखिक संयोजन के रूप में प्राप्त कर सकते हैं $y_{1}$ और $y_{2}$ जैसा

${\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},$

जहां वजन दिया जाता है

${\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}$

यहां, चूंकि हर पद स्थिर है, इसलिए चुनाव परिणाम की भविष्यवाणी करने के लिए कम त्रुटि वाले मतदान को अधिक महत्व दिया जाता है। अंत में, का विचरण ${\hat {x}}$ द्वारा दिया गया है

$\sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},$

किसने बनाया $\sigma _{\hat {X}}^{2}$ तुलना में छोटा $\sigma _{X}^{2}.$ इस प्रकार, एलएमएमएसई द्वारा दिया गया है

$\mathrm {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\frac {1}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.$

सामान्य तौर पर, अगर हमारे पास है $N$ फिर, प्रदूषक ${\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},$ जहां आई-वें पोलस्टर के लिए वजन दिया गया है $w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}$ और एलएमएमएसई द्वारा दिया गया है $\mathrm {LMMSE} ={\frac {1}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

उदाहरण 4

मान लीजिए कि एक संगीतकार एक वाद्ययंत्र बजा रहा है और ध्वनि दो माइक्रोफोनों द्वारा प्राप्त की जाती है, जिनमें से प्रत्येक दो अलग-अलग स्थानों पर स्थित हैं। प्रत्येक माइक्रोफ़ोन पर दूरी के कारण ध्वनि का क्षीणन होने दें $a_{1}$ और $a_{2}$, जिन्हें ज्ञात स्थिरांक माना जाता है। इसी प्रकार, प्रत्येक माइक्रोफ़ोन पर शोर होने दें $z_{1}$ और $z_{2}$, प्रत्येक शून्य माध्य और भिन्नता के साथ $\sigma _{Z_{1}}^{2}$ और $\sigma _{Z_{2}}^{2}$ क्रमश। होने देना $x$ संगीतकार द्वारा उत्पादित ध्वनि को निरूपित करें, जो शून्य माध्य और विचरण के साथ एक यादृच्छिक चर है $\sigma _{X}^{2}.$ इन दोनों माइक्रोफोनों से रिकॉर्ड किए गए संगीत को एक-दूसरे के साथ समन्वयित करने के बाद कैसे संयोजित किया जाना चाहिए?

हम प्रत्येक माइक्रोफोन द्वारा प्राप्त ध्वनि को इस प्रकार मॉडल कर सकते हैं

${\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}$

यहाँ दोनों $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0$. इस प्रकार, हम दोनों ध्वनियों को इस प्रकार जोड़ सकते हैं

$y=w_{1}y_{1}+w_{2}y_{2}$

जहां i-वें भार इस प्रकार दिया गया है

$w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{j}a_{j}^{2}/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

यह भी देखें

• बायेसियन अनुमानक
• मतलब चुकता त्रुटि
• कम से कम वर्गों
• न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई)
• रूढ़िवादिता सिद्धांत
• विनीज़ फ़िल्टर
• कलमन फ़िल्टर
• रैखिक भविष्यवाणी
• शून्य-बल तुल्यकारक

अग्रिम पठन

• Johnson, D. "Minimum Mean Squared Error Estimators". Connexions. Archived from Minimum Mean Squared Error Estimators the original on 25 July 2008. Retrieved 8 January 2013. {{cite web}}: Check |url= value (help)
• Jaynes, E.T. (2003). Probability Theory: The Logic of Science. Cambridge University Press. ISBN 978-0521592710.
• Bibby, J.; Toutenburg, H. (1977). Prediction and Improved Estimation in Linear Models. Wiley. ISBN 9780471016564.
• Lehmann, E. L.; Casella, G. (1998). "Chapter 4". Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
• Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. pp. 344–350. ISBN 0-13-042268-1.
• Luenberger, D.G. (1969). "Chapter 4, Least-squares estimation". Optimization by Vector Space Methods (1st ed.). Wiley. ISBN 978-0471181170.
• Moon, T.K.; Stirling, W.C. (2000). Mathematical Methods and Algorithms for Signal Processing (1st ed.). Prentice Hall. ISBN 978-0201361865.
• Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I. New York: Wiley. ISBN 0-471-09517-6.
• Haykin, S.O. (2013). Adaptive Filter Theory (5th ed.). Prentice Hall. ISBN 978-0132671453.