न्यूनतम माध्य वर्ग त्रुटि

सांख्यिकी विज्ञान और संकेत प्रसंस्करण में, न्यूनतम माध्य वर्ग त्रुटि (एमएमएसई) अनुमानकर्ता एक अनुमानन पद्धति है जो एक निर्धारित चरण वाले प्रत्याप्त चर के लिए फिट किए गए मानों के औसत वर्ग त्रुटि (एमएसई) को कम करती है। एमएसई एक अनुमानकर्ता गुणवत्ता का एक सामान्य माप है।

बायेसियन अनुमानक सेटिंग में, शब्द "एमएमएसई" विशेष रूप से वर्गीकरण त्रुटि फलन के साथ अनुमानन को दर्शाता है। ऐसे स्थिति में, एमएमएसई अनुमानकर्ता को अनुमानित पैरामीटर के उपांशीक्षांत मान द्वारा दिया जाता है। चूँकि उपांशीक्षांत मान को निर्धारित करना बहुत कठिन हो सकता है, इसलिए एमएमएसई अनुमानकर्ता का रूप सामान्यतः कुछ विशेष कक्षा के फलन में होता है। रेखीय एमएमएसई अनुमानकर्ता एक लोकप्रिय चयन हैं क्योंकि उन्हें उपयोग करना सरल होता है, उन्हें गणना करना आसान होता है, और बहुत से उदाहरणों में उपयोगी होते हैं। इसने वेनर-कोलमोगोरोव फ़िल्टर और कालमन फ़िल्टर जैसे कई प्रसिद्ध अनुमानकर्ताओं को उत्पन्न किया है।

प्रेरणा

एमएमएसई शब्द विशेष रूप से बेजियन सेटिंग में वर्गीकरण लागत फलन के साथ अनुमानन को दर्शाता है। अनुमानन के लिए बेजियन दृष्टिकोण के पीछे मूलभूत विचार का आधारीकरण व्यापक समस्याओं से होता है जहां हमें प्रायः अनुमानित पैरामीटर के बारे में कुछ पूर्व जानकारी होती है। उदाहरण के लिए, हमें अनुमानित पैरामीटर के रेंज के बारे में पूर्व जानकारी हो सकती है; या हमें अनुमानित पैरामीटर का पुराना अनुमान हो सकता है जिसे हम एक नई अवलोकन उपलब्ध करने पर संशोधित करना चाहते हैं; या बोलचाल जैसे एक वास्तविक यादृच्छिक संकेत के सांख्यिकीय हिस्से के बारे में जानकारी हो सकती है। यह न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई) जैसे गैर-बायेसियन दृष्टिकोण के विपरीत है, जहां पैरामीटर के बारे में पहले से कुछ भी ज्ञात नहीं माना जाता है और जो ऐसी स्थितियों के लिए उत्तरदायी नहीं है। बायेसियन दृष्टिकोण में, ऐसी पूर्व जानकारी मापदंडों के पूर्व संभाव्यता घनत्व फलन द्वारा अधिकृत की जाती है; और सीधे बेयस प्रमेय पर आधारित, यह हमें अधिक अवलोकन उपलब्ध होने पर पश्च अनुमान लगाने की अनुमति देता है। इस प्रकार गैर-बायेसियन दृष्टिकोण के विपरीत जहां रुचि के मापदंडों को नियतात्मक, परंतु अज्ञात स्थिरांक माना जाता है, बायेसियन अनुमानक एक पैरामीटर का अनुमान लगाना चाहता है जो स्वयं एक यादृच्छिक चर है। इसके अतिरिक्त, बायेसियन अनुमान उन स्थितियों से भी निपट सकता है जहां अवलोकनों का क्रम आवश्यक रूप से स्वतंत्र नहीं है। इस प्रकार बायेसियन अनुमान एमवीयूई के लिए एक और विकल्प प्रदान करता है। यह तब उपयोगी होता है जब एमवीयूई उपस्थित नहीं है या पाया नहीं जा सकता है।

परिभाषा

यहां, $x$ एक $n\times 1$ छिपा हुआ यादृच्छिक सदिश चर और $y$ एक $m\times 1$ ज्ञात यादृच्छिक सदिश चर है, जिनमें से दोनों सदिशो के आयाम आवश्यक रूप से एक समान नहीं हैं। एक अनुमानकर्ता ${\hat {x}}(y)$ एक ऐसा फलन है जो मापन $y$ का कोई भी फलन होता है। अनुमानन त्रुटि सदिश द्वारा दिया जाता है $e={\hat {x}}-x$ और इसका "औसत वर्गमूल त्रुटि" (एमएसई) त्रुटि सहप्रसरण आव्यूह के समापन से दिया जाता है।

$\operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},$

यहां, $x$ के उपर लिया गया अपेक्षा $\operatorname {E}$ $y$ के शर्तबद्ध होता है। अर्थात, हम $x$ के लिए अपेक्षित मान की गणना $y$ पर शर्तबद्ध करके करते हैं। जब $x$ एक स्केलर चर होता है, तो एमएसई अभिव्यक्ति यह सरल हो जाती है: $\operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}$ इसमें ${\hat {x}}$ अनुमानक चर है और $x$ मूल चर है। यह अनुमानित चर और मूल चर के बीच विचलन का वर्ग होता है ध्यान दें कि एमएसई को अन्य विधियों से भी परिभाषित किया जा सकता है, क्योंकि

$\operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.$

एमएमएसई अनुमानक उस अनुमानक को कहते हैं जो न्यूनतम एमएसई को प्राप्त करता है:

${\hat {x}}{\operatorname {MMSE} }(y)=\operatorname {argmin} {\hat {x}}\operatorname {MSE} .$

गुण

• जब साधन और भिन्नताएं सीमित होती हैं, तो एमएमएसई अनुमानक को विशिष्ट रूप से परिभाषित किया जाता है और इसके द्वारा दिया गया है:

${\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.$

दूसरे शब्दों में, एमएमएसई अनुमानक सशर्त अपेक्षा है $x$ माप का ज्ञात प्रेक्षित मान दिया गया है। इसके अलावा, तब से ${\hat {x}}_{\mathrm {MMSE} }$ पश्च माध्य, त्रुटि सहप्रसरण मैट्रिक्स है $C_{e}$पश्च सहप्रसरण के बराबर है $C_{X|Y}$ आव्यूह,

$C_{e}=C_{X|Y}$.

• एमएमएसई अनुमानक निष्पक्ष है (ऊपर उल्लिखित नियमितता मान्यताओं के तहत):

$\operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.$

• एमएमएसई अनुमानक असममित रूप से निष्पक्ष है और यह सामान्य वितरण में वितरण में परिवर्तित होता है:

${\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),$

कहाँ $I(x)$ की फिशर जानकारी है $x$. इस प्रकार, एमएमएसई अनुमानक दक्षता (सांख्यिकी) है।

• रूढ़िवादिता सिद्धांत: कब $x$ एक अदिश राशि है, एक अनुमानक जो निश्चित आकार का होने के लिए बाध्य है ${\hat {x}}=g(y)$ एक इष्टतम अनुमानक है, यानी ${\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),$ अगर और केवल अगर

$\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0$ :सभी के लिए $g(y)$ बंद, रैखिक उपस्थान में ${\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}$ माप का. यादृच्छिक सदिश के लिए, चूंकि एक यादृच्छिक सदिश के आकलन के लिए एमएसई निर्देशांक के एमएसई का योग है, एक यादृच्छिक सदिश के एमएमएसई अनुमानक को खोजने से एक्स के निर्देशांक के एमएमएसई अनुमानक को अलग से ढूंढने में विघटित हो जाता है:

$\operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,$ :सभी i और j के लिए। अधिक संक्षेप में कहें तो, न्यूनतम अनुमान त्रुटि के बीच अंतर-सहसंबंध ${\hat {x}}_{\operatorname {MMSE} }-x$ और अनुमानक ${\hat {x}}$ शून्य होना चाहिए,

$\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.$

• अगर $x$ और $y$ संयुक्त रूप से गाऊसी हैं, तो एमएमएसई अनुमानक रैखिक है, यानी, इसका रूप है $Wy+b$ मैट्रिक्स के लिए $W$ और स्थिर $b$. इसे बेयस प्रमेय का उपयोग करके सीधे दिखाया जा सकता है। परिणामस्वरूप, एमएमएसई अनुमानक को खोजने के लिए, रैखिक एमएमएसई अनुमानक को ढूंढना पर्याप्त है।

रैखिक एमएमएसई अनुमानक

कई मामलों में, एमएमएसई अनुमानक की विश्लेषणात्मक अभिव्यक्ति निर्धारित करना संभव नहीं है। एमएमएसई अनुमान प्राप्त करने के लिए दो बुनियादी संख्यात्मक दृष्टिकोण या तो सशर्त अपेक्षा को खोजने पर निर्भर करते हैं $\operatorname {E} \{x\mid y\}$ या एमएसई का मिनिमा ढूँढना। सशर्त अपेक्षा का प्रत्यक्ष संख्यात्मक मूल्यांकन कम्प्यूटेशनल रूप से महंगा है क्योंकि इसके लिए अक्सर बहुआयामी एकीकरण की आवश्यकता होती है जो आमतौर पर मोंटे कार्लो विधियों के माध्यम से किया जाता है। एक अन्य कम्प्यूटेशनल दृष्टिकोण स्टोकेस्टिक ग्रेडिएंट डिसेंट जैसी तकनीकों का उपयोग करके सीधे एमएसई की न्यूनतमता की तलाश करना है; लेकिन इस पद्धति को अभी भी अपेक्षा के मूल्यांकन की आवश्यकता है। हालाँकि ये संख्यात्मक विधियाँ उपयोगी रही हैं, फिर भी अगर हम कुछ समझौते करने के इच्छुक हैं तो एमएमएसई अनुमानक के लिए एक बंद फॉर्म अभिव्यक्ति संभव है।

एक संभावना यह है कि पूर्ण इष्टतमता आवश्यकताओं को त्याग दिया जाए और अनुमानकों के एक विशेष वर्ग, जैसे कि रैखिक अनुमानकों के वर्ग, के भीतर एमएसई को न्यूनतम करने वाली तकनीक की तलाश की जाए। इस प्रकार, हम मानते हैं कि सशर्त अपेक्षा $x$ दिया गया $y$ का एक सरल रैखिक कार्य है $y$, $\operatorname {E} \{x\mid y\}=Wy+b$, जहां माप $y$ एक यादृच्छिक सदिश है, $W$ एक मैट्रिक्स है और $b$ एक सदिश है. इसे टेलर के प्रथम क्रम सन्निकटन के रूप में देखा जा सकता है $\operatorname {E} \{x\mid y\}$. रैखिक एमएमएसई अनुमानक ऐसे फॉर्म के सभी अनुमानकों के बीच न्यूनतम एमएसई प्राप्त करने वाला अनुमानक है। अर्थात्, यह निम्नलिखित अनुकूलन समस्या का समाधान करता है:

$\min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.$

ऐसे रैखिक एमएमएसई अनुमानक का एक फायदा यह है कि पश्च संभाव्यता घनत्व फलन की स्पष्ट रूप से गणना करना आवश्यक नहीं है $x$. ऐसा रैखिक अनुमानक केवल पहले दो क्षणों पर निर्भर करता है $x$ और $y$. हालाँकि यह मान लेना सुविधाजनक हो सकता है $x$ और $y$ संयुक्त रूप से गॉसियन हैं, यह धारणा बनाना आवश्यक नहीं है, जब तक कि अनुमानित वितरण ने पहले और दूसरे क्षणों को अच्छी तरह से परिभाषित नहीं किया है। रैखिक अनुमानक का रूप अनुमानित अंतर्निहित वितरण के प्रकार पर निर्भर नहीं करता है।

इष्टतम के लिए अभिव्यक्ति $b$ और $W$ द्वारा दिया गया है:

$b={\bar {x}}-W{\bar {y}},$ :$W=C_{XY}C_{Y}^{-1}.$

कहाँ ${\bar {x}}=\operatorname {E} \{x\}$, ${\bar {y}}=\operatorname {E} \{y\},$ $C_{XY}$ के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है $x$ और $y$, द $C_{Y}$ का ऑटो-कोवेरिएंस मैट्रिक्स है $y$.

इस प्रकार, रैखिक एमएमएसई अनुमानक, इसके माध्य और इसके ऑटो-सहप्रसरण के लिए अभिव्यक्ति दी गई है

${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},$

$\operatorname {E} \{{\hat {x}}\}={\bar {x}},$

$C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},$

जहां $C_{YX}$ के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है $y$ और $x$.

अंत में, ऐसे अनुमानक द्वारा प्राप्त होने वाली त्रुटि सहप्रसरण और न्यूनतम माध्य वर्ग त्रुटि है

$C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},$

$\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.$

Derivation using orthogonality principle

आइए हमारे पास इष्टतम रैखिक एमएमएसई अनुमानक दिया गया है ${\hat {x}}=Wy+b$, जहां हमें इसके लिए अभिव्यक्ति ढूंढने की आवश्यकता होती है $W$ और $b$. यह आवश्यक है कि एमएमएसई अनुमानक निष्पक्ष हो। इसका मतलब यह है,

$\operatorname {E} \{{\hat {x}}\}=\operatorname {E} \{x\}.$

के लिए अभिव्यक्ति को प्लग करना ${\hat {x}}$ उपरोक्त में, हम पाते हैं

$b={\bar {x}}-W{\bar {y}},$

कहाँ ${\bar {x}}=\operatorname {E} \{x\}$ और ${\bar {y}}=\operatorname {E} \{y\}$. इस प्रकार हम अनुमानक को इस प्रकार पुनः लिख सकते हैं

${\hat {x}}=W(y-{\bar {y}})+{\bar {x}}$

और अनुमान त्रुटि की अभिव्यक्ति बन जाती है

${\hat {x}}-x=W(y-{\bar {y}})-(x-{\bar {x}}).$

रूढ़िवादिता सिद्धांत से, हम प्राप्त कर सकते हैं $\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}=0$, हम कहाँ लेते हैं $g(y)=y-{\bar {y}}$. यहाँ बायीं ओर का पद है

${\begin{aligned}\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}&=\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(y-{\bar {y}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}-\operatorname {E} \{(x-{\bar {x}})(y-{\bar {y}})^{T}\}\\&=WC_{Y}-C_{XY}.\end{aligned}}$

जब शून्य के बराबर किया जाता है, तो हमें वांछित अभिव्यक्ति प्राप्त होती है $W$ जैसा

$W=C_{XY}C_{Y}^{-1}.$

$C_{XY}$ h> X और Y के बीच क्रॉस-कोवेरिएंस मैट्रिक्स है, और $C_{Y}$ Y का ऑटो-कोवरियन्स मैट्रिक्स है। चूँकि $C_{XY}=C_{YX}^{T}$, अभिव्यक्ति को के संदर्भ में भी दोबारा लिखा जा सकता है $C_{YX}$ जैसा

$W^{T}=C_{Y}^{-1}C_{YX}.$

इस प्रकार रैखिक एमएमएसई अनुमानक के लिए पूर्ण अभिव्यक्ति है

${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$

अनुमान के बाद से ${\hat {x}}$ स्वयं एक यादृच्छिक चर है $\operatorname {E} \{{\hat {x}}\}={\bar {x}}$, हम इसका स्वतः सहप्रसरण भी प्राप्त कर सकते हैं

${\begin{aligned}C_{\hat {X}}&=\operatorname {E} \{({\hat {x}}-{\bar {x}})({\hat {x}}-{\bar {x}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}W^{T}\\&=WC_{Y}W^{T}.\\\end{aligned}}$

के लिए अभिव्यक्ति रख रहा हूँ $W$ और $W^{T}$, हम पाते हैं

$C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX}.$

अंत में, रैखिक एमएमएसई अनुमान त्रुटि का सहप्रसरण तब दिया जाएगा

${\begin{aligned}C_{e}&=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\\&=\operatorname {E} \{({\hat {x}}-x)(W(y-{\bar {y}})-(x-{\bar {x}}))^{T}\}\\&=\underbrace {\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}} _{0}W^{T}-\operatorname {E} \{({\hat {x}}-x)(x-{\bar {x}})^{T}\}\\&=-\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(x-{\bar {x}})^{T}\}\\&=\operatorname {E} \{(x-{\bar {x}})(x-{\bar {x}})^{T}\}-W\operatorname {E} \{(y-{\bar {y}})(x-{\bar {x}})^{T}\}\\&=C_{X}-WC_{YX}.\end{aligned}}$

ऑर्थोगोनैलिटी सिद्धांत के कारण तीसरी पंक्ति में पहला पद शून्य है। तब से $W=C_{XY}C_{Y}^{-1}$, हम पुनः लिख सकते हैं $C_{e}$ सहप्रसरण मैट्रिक्स के संदर्भ में

$C_{e}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX}.$

इसे हम वैसा ही मान सकते हैं $C_{e}=C_{X}-C_{\hat {X}}.$ इस प्रकार ऐसे रैखिक अनुमानक द्वारा प्राप्त की जाने वाली न्यूनतम माध्य वर्ग त्रुटि है

$\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}$.

अविभाज्य मामला

विशेष स्थिति के लिए जब दोनों $x$ और $y$ अदिश हैं, उपरोक्त संबंध को सरल बनाते हैं

${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},$ :$\sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},$

कहाँ $\rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}$ के बीच पियर्सन का सहसंबंध गुणांक है $x$ और $y$.

उपरोक्त दो समीकरण हमें सहसंबंध गुणांक की व्याख्या रैखिक प्रतिगमन के सामान्यीकृत ढलान के रूप में करने की अनुमति देते हैं

$\left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)$

या दो प्रसरणों के अनुपात के वर्गमूल के रूप में

$\rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}$.

कब $\rho =0$, अपने पास ${\hat {x}}={\bar {x}}$ और $\sigma _{e}^{2}=\sigma _{X}^{2}$. इस स्थिति में, माप से कोई नई जानकारी नहीं मिलती है जो अनिश्चितता को कम कर सके $x$. दूसरी ओर, जब $\rho =\pm 1$, अपने पास ${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}$ और $\sigma _{e}^{2}=0$. यहाँ $x$ द्वारा पूर्णतः निर्धारित होता है $y$, जैसा कि सीधी रेखा के समीकरण द्वारा दिया गया है।

गणना

मैट्रिक्स समीकरण को हल करने के लिए गॉस उन्मूलन जैसी मानक विधि का उपयोग किया जा सकता है $W$. क्यूआर अपघटन विधि द्वारा एक अधिक संख्यात्मक रूप से स्थिर विधि प्रदान की जाती है। मैट्रिक्स के बाद से $C_{Y}$ एक सममित सकारात्मक निश्चित मैट्रिक्स है, $W$ चोल्स्की अपघटन के साथ दोगुनी तेजी से हल किया जा सकता है, जबकि बड़ी विरल प्रणालियों के लिए संयुग्म ग्रेडिएंट विधि अधिक प्रभावी है। लेविंसन रिकर्सन एक तेज़ विधि है जब $C_{Y}$ एक Toeplitz मैट्रिक्स भी है। ऐसा तब हो सकता है जब $y$ एक व्यापक अर्थ स्थिर प्रक्रिया है. ऐसे स्थिर मामलों में, इन अनुमानकों को वीनर फ़िल्टर|वीनर-कोलमोगोरोव फ़िल्टर भी कहा जाता है।

रैखिक अवलोकन प्रक्रिया के लिए रैखिक एमएमएसई अनुमानक

आइए हम अवलोकन की अंतर्निहित प्रक्रिया को एक रैखिक प्रक्रिया के रूप में आगे मॉडल करें: $y=Ax+z$, कहाँ $A$ एक ज्ञात मैट्रिक्स है और $z$ माध्य के साथ यादृच्छिक शोर सदिश है $\operatorname {E} \{z\}=0$ और क्रॉस-सहप्रसरण $C_{XZ}=0$. यहां आवश्यक माध्य और सहप्रसरण आव्यूह होंगे

$\operatorname {E} \{y\}=A{\bar {x}},$

$C_{Y}=AC_{X}A^{T}+C_{Z},$ :$C_{XY}=C_{X}A^{T}.$

इस प्रकार रैखिक एमएमएसई अनुमानक मैट्रिक्स के लिए अभिव्यक्ति $W$ आगे संशोधित करता है

$W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.$

के लिए अभिव्यक्ति में सब कुछ डालना ${\hat {x}}$, हम पाते हैं

${\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.$

अंत में, त्रुटि सहप्रसरण है

$C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.$

ऊपर दी गई अनुमान समस्या और न्यूनतम वर्गों और गॉस-मार्कोव प्रमेय | गॉस-मार्कोव अनुमान के बीच महत्वपूर्ण अंतर यह है कि अवलोकनों की संख्या एम, (यानी का आयाम) $y$) कम से कम अज्ञातों की संख्या जितनी बड़ी नहीं होनी चाहिए, n, (अर्थात् का आयाम)। $x$). रैखिक अवलोकन प्रक्रिया का अनुमान एम-बाय-एम मैट्रिक्स तक मौजूद रहता है $(AC_{X}A^{T}+C_{Z})^{-1}$ मौजूद; यह किसी भी एम के लिए मामला है, उदाहरण के लिए, $C_{Z}$ सकारात्मक निश्चित है. भौतिक रूप से इस संपत्ति का कारण यह है कि तब से $x$ अब एक यादृच्छिक चर है, बिना किसी माप के भी एक सार्थक अनुमान (अर्थात् इसका माध्य) बनाना संभव है। प्रत्येक नया माप बस अतिरिक्त जानकारी प्रदान करता है जो हमारे मूल अनुमान को संशोधित कर सकता है। इस अनुमान की एक अन्य विशेषता यह है कि m < n के लिए, कोई माप त्रुटि आवश्यक नहीं है। इस प्रकार, हमारे पास हो सकता है $C_{Z}=0$, क्योंकि जब तक $AC_{X}A^{T}$ सकारात्मक निश्चित है, अनुमान अभी भी मौजूद है। अंत में, यह तकनीक उन मामलों को संभाल सकती है जहां शोर सहसंबद्ध है।

वैकल्पिक रूप

मैट्रिक्स पहचान का उपयोग करके अभिव्यक्ति का एक वैकल्पिक रूप प्राप्त किया जा सकता है

$C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$

जिसे बाद में गुणा करके स्थापित किया जा सकता है $(AC_{X}A^{T}+C_{Z})$ और पूर्व-गुणा करके $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ प्राप्त करने के लिए

$W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},$ और

$C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.$

तब से $W$ अब के संदर्भ में लिखा जा सकता है $C_{e}$ जैसा $W=C_{e}A^{T}C_{Z}^{-1}$, हमें इसके लिए एक सरलीकृत अभिव्यक्ति मिलती है ${\hat {x}}$ जैसा

${\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.$

इस रूप में उपरोक्त अभिव्यक्ति की तुलना न्यूनतम वर्ग#भारित न्यूनतम वर्ग और गॉस-मार्कोव प्रमेय|गॉस-मार्कोव अनुमान से आसानी से की जा सकती है। विशेषकर, जब $C_{X}^{-1}=0$, संबंधित पूर्ववर्ती जानकारी के अनंत भिन्नता के अनुरूप $x$, परिणाम $W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}$ भारित रैखिक न्यूनतम वर्ग अनुमान के समान है $C_{Z}^{-1}$ वजन मैट्रिक्स के रूप में. इसके अलावा, यदि के घटक $z$ असंबंधित हैं और इनमें समान भिन्नता है $C_{Z}=\sigma ^{2}I,$ कहाँ $I$ तो, एक पहचान मैट्रिक्स है $W=(A^{T}A)^{-1}A^{T}$ सामान्य न्यूनतम वर्ग अनुमान के समान है।

अनुक्रमिक रैखिक एमएमएसई अनुमान

कई वास्तविक समय अनुप्रयोगों में, अवलोकन संबंधी डेटा एक ही बैच में उपलब्ध नहीं होता है। इसके बजाय अवलोकन एक क्रम में किए जाते हैं। एक संभावित दृष्टिकोण पुराने अनुमान को अद्यतन करने के लिए अनुक्रमिक अवलोकनों का उपयोग करना है क्योंकि अतिरिक्त डेटा उपलब्ध हो जाता है, जिससे बेहतर अनुमान प्राप्त होते हैं। बैच अनुमान और अनुक्रमिक अनुमान के बीच एक महत्वपूर्ण अंतर यह है कि अनुक्रमिक अनुमान के लिए अतिरिक्त मार्कोव धारणा की आवश्यकता होती है।

बायेसियन ढांचे में, बायेस नियम का उपयोग करके ऐसे पुनरावर्ती अनुमान को आसानी से सुविधाजनक बनाया जा सकता है। दिया गया $k$ अवलोकन, $y_{1},\ldots ,y_{k}$, बेयस का नियम हमें पश्च घनत्व देता है $x_{k}$ जैसा

${\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}$

$p(x_{k}|y_{1},\ldots ,y_{k})$ h> को पश्च घनत्व कहा जाता है, $p(y_{k}|x_{k})$ संभाव्यता फलन कहलाता है, और $p(x_{k}|y_{1},\ldots ,y_{k-1})$ k-वें समय चरण का पूर्व घनत्व है। यहां हमने सशर्त स्वतंत्रता की कल्पना की है $y_{k}$ पिछले अवलोकनों से $y_{1},\ldots ,y_{k-1}$ दिया गया $x$ जैसा

$p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).$ यह मार्कोव धारणा है.

एमएमएसई अनुमान ${\hat {x}}_{k}$ यदि k-वें अवलोकन दिया गया है तो यह पश्च घनत्व का माध्य है $p(x_{k}|y_{1},\ldots ,y_{k})$. राज्य कैसे है, इस पर गतिशील जानकारी की कमी के साथ $x$ समय के साथ परिवर्तन, हम पूर्व के बारे में एक और स्थिरता की धारणा बनाएंगे:

$p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).$

इस प्रकार, k-वें समय चरण के लिए पूर्व घनत्व (k-1)-वें समय चरण का पश्च घनत्व है। यह संरचना हमें अनुमान के लिए एक पुनरावर्ती दृष्टिकोण तैयार करने की अनुमति देती है।

रैखिक एमएमएसई अनुमानक के संदर्भ में, अनुमान के सूत्र का रूप पहले जैसा ही होगा: ${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$ हालाँकि, माध्य और सहप्रसरण मैट्रिक्स $X$ और $Y$ पूर्व घनत्व वाले लोगों द्वारा प्रतिस्थापित करने की आवश्यकता होगी $p(x_{k}|y_{1},\ldots ,y_{k-1})$ और संभावना $p(y_{k}|x_{k})$, क्रमश।

पूर्व घनत्व के लिए $p(x_{k}|y_{1},\ldots ,y_{k-1})$, इसका माध्य पिछले एमएमएसई अनुमान द्वारा दिया गया है,

${\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}$,

और इसका सहप्रसरण मैट्रिक्स पिछली त्रुटि सहप्रसरण मैट्रिक्स द्वारा दिया गया है,

$C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},$ एमएमएसई अनुमानकों के गुणों और स्थिरता धारणा के अनुसार।

इसी प्रकार, रैखिक अवलोकन प्रक्रिया के लिए, संभावना का माध्य $p(y_{k}|x_{k})$ द्वारा दिया गया है ${\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}$ और सहप्रसरण मैट्रिक्स पहले जैसा है

${\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}$.

के अनुमानित मूल्य के बीच का अंतर $Y_{k}$, जैसा कि दिया गया है ${\bar {y}}_{k}=A{\hat {x}}_{k-1}$, और इसका अवलोकित मूल्य $y_{k}$ भविष्यवाणी त्रुटि देता है ${\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}$, जिसे नवप्रवर्तन या अवशिष्ट भी कहा जाता है। भविष्यवाणी त्रुटि के संदर्भ में रैखिक एमएमएसई का प्रतिनिधित्व करना अधिक सुविधाजनक है, जिसका माध्य और सहप्रसरण हैं $\mathrm {E} [{\tilde {y}}_{k}]=0$ और $C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}$.

इसलिए, अनुमान अद्यतन सूत्र में, हमें प्रतिस्थापित करना चाहिए ${\bar {x}}$ और $C_{X}$ द्वारा ${\hat {x}}_{k-1}$ और $C_{e_{k-1}}$, क्रमश। इसके अलावा, हमें प्रतिस्थापित करना चाहिए ${\bar {y}}$ और $C_{Y}$ द्वारा ${\bar {y}}_{k-1}$ और $C_{{\tilde {Y}}_{k}}$. अंत में, हम प्रतिस्थापित करते हैं $C_{XY}$ द्वारा

${\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}$

इस प्रकार, हमारे पास नया अनुमान नए अवलोकन के रूप में है $y_{k}$ के रूप में आता है

${\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}$

और नई त्रुटि सहप्रसरण के रूप में

$C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.$

रैखिक बीजगणित के दृष्टिकोण से, अनुक्रमिक अनुमान के लिए, यदि हमारे पास कोई अनुमान है ${\hat {x}}_{1}$ माप के आधार पर स्थान उत्पन्न करना $Y_{1}$, फिर माप का एक और सेट प्राप्त करने के बाद, हमें इन मापों से वह हिस्सा घटा देना चाहिए जिसका पहले माप के परिणाम से अनुमान लगाया जा सकता है। दूसरे शब्दों में, अद्यतनीकरण नए डेटा के उस हिस्से पर आधारित होना चाहिए जो पुराने डेटा के लिए ऑर्थोगोनल है।

अधिक अवलोकन उपलब्ध होने पर उपरोक्त दो समीकरणों का बार-बार उपयोग पुनरावर्ती अनुमान तकनीकों को जन्म देता है। भावों को अधिक संक्षिप्त रूप में लिखा जा सकता है

$W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},$

${\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),$

$C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.$

गणित का सवाल $W_{k}$ इसे अक्सर कलमन लाभ कारक के रूप में जाना जाता है। उपरोक्त एल्गोरिदम का वैकल्पिक सूत्रीकरण देगा

$C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,$

$W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},$

${\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),$

अधिक डेटा उपलब्ध होने पर इन तीन चरणों की पुनरावृत्ति एक पुनरावृत्त अनुमान एल्गोरिदम की ओर ले जाती है। गैर-स्थिर मामलों में इस विचार का सामान्यीकरण कलमन फ़िल्टर को जन्म देता है। ऊपर उल्लिखित तीन अद्यतन चरण वास्तव में कलमन फ़िल्टर का अद्यतन चरण बनाते हैं।

विशेष मामला: अदिश प्रेक्षण

एक महत्वपूर्ण विशेष स्थिति के रूप में, उपयोग में आसान पुनरावर्ती अभिव्यक्ति तब प्राप्त की जा सकती है जब प्रत्येक k-वें समय पर अंतर्निहित रैखिक अवलोकन प्रक्रिया एक स्केलर उत्पन्न करती है जैसे कि $y_{k}=a_{k}^{T}x_{k}+z_{k}$, कहाँ $a_{k}$ n-by-1 ज्ञात कॉलम सदिश है जिसका मान समय के साथ बदल सकता है, $x_{k}$ अनुमान लगाने के लिए एन-बाय-1 यादृच्छिक कॉलम सदिश है, और $z_{k}$ विचरण के साथ अदिश शोर शब्द है $\sigma _{k}^{2}$. (k+1)-वें अवलोकन के बाद, उपरोक्त पुनरावर्ती समीकरणों का प्रत्यक्ष उपयोग अनुमान के लिए अभिव्यक्ति देता है ${\hat {x}}_{k+1}$ जैसा:

${\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})$

कहाँ $y_{k+1}$ नया अदिश अवलोकन और लाभ कारक है $w_{k+1}$ n-by-1 कॉलम सदिश द्वारा दिया गया है

$w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.$

$C_{e_{k+1}}$ h> द्वारा दिया गया n-by-n त्रुटि सहप्रसरण मैट्रिक्स है

$C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.$

यहां, किसी मैट्रिक्स व्युत्क्रम की आवश्यकता नहीं है। इसके अलावा, लाभ कारक, $w_{k+1}$, नए डेटा नमूने में हमारे विश्वास पर निर्भर करता है, जैसा कि पिछले डेटा की तुलना में शोर भिन्नता द्वारा मापा जाता है। के प्रारंभिक मान ${\hat {x}}$ और $C_{e}$ पूर्व संभाव्यता घनत्व फलन का माध्य और सहप्रसरण माना जाता है $x$.

वैकल्पिक दृष्टिकोण: इस महत्वपूर्ण विशेष स्थिति ने कई अन्य पुनरावृत्त तरीकों (या अनुकूली फ़िल्टर) को भी जन्म दिया है, जैसे कि न्यूनतम माध्य वर्ग फ़िल्टर और पुनरावर्ती न्यूनतम वर्ग फ़िल्टर, जो स्टोकेस्टिक ग्रेडिएंट डीसेंट का उपयोग करके मूल एमएसई अनुकूलन समस्या को सीधे हल करता है। हालाँकि, अनुमान त्रुटि के बाद से $e$ सीधे तौर पर नहीं देखा जा सकता, ये विधियाँ माध्य वर्ग पूर्वानुमान त्रुटि को कम करने का प्रयास करती हैं $\mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}$. उदाहरण के लिए, अदिश प्रेक्षणों के स्थिति में, हमारे पास ग्रेडिएंट है $\nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.$ इस प्रकार, न्यूनतम माध्य वर्ग फ़िल्टर के लिए अद्यतन समीकरण इस प्रकार दिया गया है

${\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},$

कहाँ $\eta _{k}$ अदिश चरण का आकार है और अपेक्षा का अनुमान तात्कालिक मान से लगाया जाता है $\mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}$. जैसा कि हम देख सकते हैं, ये विधियाँ सहप्रसरण मैट्रिक्स की आवश्यकता को दरकिनार कर देती हैं।

विशेष मामला: असंबंधित शोर के साथ सदिश अवलोकन

कई व्यावहारिक अनुप्रयोगों में, अवलोकन शोर असंबंधित है। वह है, $C_{Z}$ एक विकर्ण मैट्रिक्स है. ऐसे मामलों में, इसके घटकों पर विचार करना लाभप्रद है $y$ सदिश माप के बजाय स्वतंत्र अदिश माप के रूप में। यह हमें प्रसंस्करण करके गणना समय को कम करने की अनुमति देता है $m\times 1$ माप सदिश के रूप में $m$ अदिश माप. स्केलर अपडेट फॉर्मूला का उपयोग सहप्रसरण अद्यतन समीकरणों के कार्यान्वयन में मैट्रिक्स व्युत्क्रम से बचाता है, इस प्रकार राउंडऑफ त्रुटियों के खिलाफ संख्यात्मक मजबूती में सुधार करता है। अद्यतन को पुनरावर्ती रूप से इस प्रकार कार्यान्वित किया जा सकता है:

$w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}$ :$C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}$

${\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})$

कहाँ $\ell =1,2,\ldots ,m$, प्रारंभिक मानों का उपयोग करते हुए $C_{e_{k+1}}^{(0)}=C_{e_{k}}$ और ${\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}$. मध्यवर्ती चर $C_{Z_{k+1}}^{(\ell )}$ है $\ell$-के विकर्ण तत्व $m\times m$ विकर्ण मैट्रिक्स $C_{Z_{k+1}}$; जबकि $A_{k+1}^{(\ell )}$ है $\ell$-वीं पंक्ति $m\times n$ आव्यूह $A_{k+1}$. अंतिम मान हैं $C_{e_{k+1}}^{(m)}=C_{e_{k+1}}$ और ${\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}$.

उदाहरण

उदाहरण 1

हम एक उदाहरण के रूप में एक रैखिक भविष्यवाणी समस्या लेंगे। मान लीजिए प्रेक्षित अदिश यादृच्छिक चरों का एक रैखिक संयोजन $z_{1},z_{2}$ और $z_{3}$ किसी अन्य भविष्य के अदिश यादृच्छिक चर का अनुमान लगाने के लिए उपयोग किया जाएगा $z_{4}$ ऐसा है कि ${\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}$. यदि यादृच्छिक चर $z=[z_{1},z_{2},z_{3},z_{4}]^{T}$ शून्य माध्य और इसके सहप्रसरण मैट्रिक्स के साथ वास्तविक गाऊसी यादृच्छिक चर हैं

$\operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],$

तो हमारा कार्य गुणांक ज्ञात करना है $w_{i}$ ऐसा कि यह एक इष्टतम रैखिक अनुमान प्राप्त करेगा ${\hat {z}}_{4}$.

पिछले अनुभागों में विकसित शब्दावली के संदर्भ में, इस समस्या के लिए हमारे पास अवलोकन सदिश है $y=[z_{1},z_{2},z_{3}]^{T}$, अनुमानक मैट्रिक्स $W=[w_{1},w_{2},w_{3}]$ एक पंक्ति सदिश और अनुमानित चर के रूप में $x=z_{4}$ एक अदिश राशि के रूप में. स्वत:सहसंबंध मैट्रिक्स $C_{Y}$ परिभाषित किया जाता है

$C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].$

क्रॉस सहसंबंध मैट्रिक्स $C_{YX}$ परिभाषित किया जाता है

$C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].$

अब हम समीकरण हल करते हैं $C_{Y}W^{T}=C_{YX}$ उलट कर $C_{Y}$ और प्राप्त करने के लिए पूर्व-गुणा करना

$C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.$

तो हमारे पास $w_{1}=2.57,$ $w_{2}=-0.142,$ और $w_{3}=.5714$ के लिए इष्टतम गुणांक के रूप में ${\hat {z}}_{4}$. न्यूनतम की गणना तो माध्य वर्ग त्रुटि देता है $\left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857$. ध्यान दें कि इसके विपरीत एक स्पष्ट मैट्रिक्स प्राप्त करना आवश्यक नहीं है $C_{Y}$ के मूल्य की गणना करने के लिए $W$. मैट्रिक्स समीकरण को गॉस उन्मूलन विधि जैसी प्रसिद्ध विधियों द्वारा हल किया जा सकता है। ऑर्थोगोनैलिटी सिद्धांत में एक छोटा, गैर-संख्यात्मक उदाहरण पाया जा सकता है।

उदाहरण 2

एक सदिश पर विचार करें $y$ लेकर गठित किया गया $N$ एक निश्चित लेकिन अज्ञात अदिश पैरामीटर का अवलोकन $x$ सफ़ेद गॉसियन शोर से परेशान। हम इस प्रक्रिया का वर्णन एक रैखिक समीकरण द्वारा कर सकते हैं $y=1x+z$, कहाँ $1=[1,1,\ldots ,1]^{T}$. संदर्भ के आधार पर यह स्पष्ट होगा कि क्या $1$ एक अदिश (गणित) या एक सदिश का प्रतिनिधित्व करता है। मान लीजिए कि हम जानते हैं $[-x_{0},x_{0}]$ वह सीमा होना जिसके भीतर का मान है $x$ में गिरने वाला है। हम अपनी अनिश्चितता का मॉडल बना सकते हैं $x$ एक अंतराल पर पूर्व समान वितरण (निरंतर) द्वारा $[-x_{0},x_{0}]$, और इस तरह $x$ का भिन्नता होगी $\sigma _{X}^{2}=x_{0}^{2}/3.$. चलो शोर सदिश $z$ सामान्य रूप से वितरित किया जाए $N(0,\sigma _{Z}^{2}I)$ कहाँ $I$ एक पहचान मैट्रिक्स है. भी $x$ और $z$ स्वतंत्र हैं और $C_{XZ}=0$. यह देखना आसान है

${\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}$

इस प्रकार, रैखिक एमएमएसई अनुमानक द्वारा दिया जाता है

${\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}$

हम इसके वैकल्पिक रूप का उपयोग करके अभिव्यक्ति को सरल बना सकते हैं $W$ जैसा

${\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}$

कहाँ के लिए $y=[y_{1},y_{2},\ldots ,y_{N}]^{T}$ अपने पास ${\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.$ इसी प्रकार, अनुमानक का विचरण है

$\sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.$

इस प्रकार इस रैखिक अनुमानक का एमएमएसई है

$\operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.$

बहुत बड़े के लिए $N$, हम देखते हैं कि समान पूर्व वितरण वाले एक अदिश के एमएमएसई अनुमानक को सभी देखे गए डेटा के अंकगणितीय औसत द्वारा अनुमानित किया जा सकता है

${\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},$ जबकि विचरण डेटा से अप्रभावित रहेगा $\sigma _{\hat {X}}^{2}=\sigma _{X}^{2},$ और अनुमान का एलएमएमएसई शून्य हो जाएगा।

हालाँकि, अनुमानक उप-इष्टतम है क्योंकि यह रैखिक होने के लिए बाध्य है। यादृच्छिक चर था $x$ गॉसियन भी होता, तो अनुमानक इष्टतम होता। ध्यान दें, कि पूर्वानुमेय वितरण की परवाह किए बिना, अनुमानक का रूप अपरिवर्तित रहेगा $x$, जब तक कि इन वितरणों का माध्य और विचरण समान है।

उदाहरण 3

उपरोक्त उदाहरण की विविधता पर विचार करें: दो उम्मीदवार एक चुनाव के लिए खड़े हैं। बता दें कि चुनाव के दिन एक उम्मीदवार को वोटों का अंश प्राप्त होगा $x\in [0,1].$ इस प्रकार दूसरे उम्मीदवार को वोटों का अंश प्राप्त होगा $1-x.$ हम लेंगे $x$ एक समान पूर्व वितरण के साथ एक यादृच्छिक चर के रूप में $[0,1]$ ताकि इसका माध्य हो ${\bar {x}}=1/2$ और विचरण है $\sigma _{X}^{2}=1/12.$ चुनाव से कुछ हफ़्ते पहले, दो अलग-अलग सर्वेक्षणकर्ताओं द्वारा दो स्वतंत्र जनमत सर्वेक्षण आयोजित किए गए थे। पहले सर्वेक्षण से पता चला कि उम्मीदवार को मिलने की संभावना है $y_{1}$ वोटों का अंश. चूंकि सीमित नमूने और अपनाई गई विशेष मतदान पद्धति के कारण कुछ त्रुटि हमेशा मौजूद रहती है, इसलिए पहला सर्वेक्षणकर्ता अपने अनुमान में त्रुटि होने की घोषणा करता है। $z_{1}$ शून्य माध्य और विचरण के साथ $\sigma _{Z_{1}}^{2}.$ इसी प्रकार, दूसरा सर्वेक्षणकर्ता अपना अनुमान घोषित करता है $y_{2}$ एक त्रुटि के साथ $z_{2}$ शून्य माध्य और विचरण के साथ $\sigma _{Z_{2}}^{2}.$ ध्यान दें कि त्रुटि के माध्य और विचरण को छोड़कर, त्रुटि वितरण अनिर्दिष्ट है। किसी दिए गए उम्मीदवार के लिए मतदान की भविष्यवाणी प्राप्त करने के लिए दोनों सर्वेक्षणों को कैसे जोड़ा जाना चाहिए?

पिछले उदाहरण की तरह, हमारे पास है

${\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}$

यहाँ, दोनों $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2$. इस प्रकार, हम एलएमएमएसई अनुमान को रैखिक संयोजन के रूप में प्राप्त कर सकते हैं $y_{1}$ और $y_{2}$ जैसा

${\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},$

जहां वजन दिया जाता है

${\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}$

यहां, चूंकि हर पद स्थिर है, इसलिए चुनाव परिणाम की भविष्यवाणी करने के लिए कम त्रुटि वाले मतदान को अधिक महत्व दिया जाता है। अंत में, का विचरण ${\hat {x}}$ द्वारा दिया गया है

$\sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},$

किसने बनाया $\sigma _{\hat {X}}^{2}$ तुलना में छोटा $\sigma _{X}^{2}.$ इस प्रकार, एलएमएमएसई द्वारा दिया गया है

$\mathrm {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\frac {1}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.$

सामान्य तौर पर, अगर हमारे पास है $N$ फिर, प्रदूषक ${\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},$ जहां आई-वें पोलस्टर के लिए वजन दिया गया है $w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}$ और एलएमएमएसई द्वारा दिया गया है $\mathrm {LMMSE} ={\frac {1}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

उदाहरण 4

मान लीजिए कि एक संगीतकार एक वाद्ययंत्र बजा रहा है और ध्वनि दो माइक्रोफोनों द्वारा प्राप्त की जाती है, जिनमें से प्रत्येक दो अलग-अलग स्थानों पर स्थित हैं। प्रत्येक माइक्रोफ़ोन पर दूरी के कारण ध्वनि का क्षीणन होने दें $a_{1}$ और $a_{2}$, जिन्हें ज्ञात स्थिरांक माना जाता है। इसी प्रकार, प्रत्येक माइक्रोफ़ोन पर शोर होने दें $z_{1}$ और $z_{2}$, प्रत्येक शून्य माध्य और भिन्नता के साथ $\sigma _{Z_{1}}^{2}$ और $\sigma _{Z_{2}}^{2}$ क्रमश। होने देना $x$ संगीतकार द्वारा उत्पादित ध्वनि को निरूपित करें, जो शून्य माध्य और विचरण के साथ एक यादृच्छिक चर है $\sigma _{X}^{2}.$ इन दोनों माइक्रोफोनों से रिकॉर्ड किए गए संगीत को एक-दूसरे के साथ समन्वयित करने के बाद कैसे संयोजित किया जाना चाहिए?

हम प्रत्येक माइक्रोफोन द्वारा प्राप्त ध्वनि को इस प्रकार मॉडल कर सकते हैं

${\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}$

यहाँ दोनों $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0$. इस प्रकार, हम दोनों ध्वनियों को इस प्रकार जोड़ सकते हैं

$y=w_{1}y_{1}+w_{2}y_{2}$

जहां i-वें भार इस प्रकार दिया गया है

$w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{j}a_{j}^{2}/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

यह भी देखें

• बायेसियन अनुमानक
• मतलब चुकता त्रुटि
• कम से कम वर्गों
• न्यूनतम-विचरण निष्पक्ष अनुमानक (एमवीयूई)
• रूढ़िवादिता सिद्धांत
• विनीज़ फ़िल्टर
• कलमन फ़िल्टर
• रैखिक भविष्यवाणी
• शून्य-बल तुल्यकारक

अग्रिम पठन

• Johnson, D. "Minimum Mean Squared Error Estimators". Connexions. Archived from Minimum Mean Squared Error Estimators the original on 25 July 2008. Retrieved 8 January 2013. {{cite web}}: Check |url= value (help)
• Jaynes, E.T. (2003). Probability Theory: The Logic of Science. Cambridge University Press. ISBN 978-0521592710.
• Bibby, J.; Toutenburg, H. (1977). Prediction and Improved Estimation in Linear Models. Wiley. ISBN 9780471016564.
• Lehmann, E. L.; Casella, G. (1998). "Chapter 4". Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
• Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. pp. 344–350. ISBN 0-13-042268-1.
• Luenberger, D.G. (1969). "Chapter 4, Least-squares estimation". Optimization by Vector Space Methods (1st ed.). Wiley. ISBN 978-0471181170.
• Moon, T.K.; Stirling, W.C. (2000). Mathematical Methods and Algorithms for Signal Processing (1st ed.). Prentice Hall. ISBN 978-0201361865.
• Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I. New York: Wiley. ISBN 0-471-09517-6.
• Haykin, S.O. (2013). Adaptive Filter Theory (5th ed.). Prentice Hall. ISBN 978-0132671453.