वर्गों का अवशिष्ट योग

आंकड़ों में, वर्गों का अवशिष्ट योग (आरएसएस), जिसे वर्ग अवशेषों का योग (एसएसआर) या त्रुटियों के वर्ग अनुमान का योग (एसएसई) भी कहा जाता है, आंकड़ों में त्रुटियों और अवशेषों के वर्ग (अंकगणित) का योग है (डेटा के वास्तविक अनुभवजन्य मूल्यों से अनुमानित विचलन)। यह डेटा और एक अनुमान मॉडल, जैसे कि रैखिक प्रतिगमन, के बीच विसंगति का एक माप है। एक छोटा आरएसएस डेटा के लिए मॉडल के चुस्त-दुरुस्त होने का संकेत देता है। इसका उपयोग पैरामीटर चयन और मॉडल चयन में इष्टतमता मानदंड के रूप में किया जाता है।

सामान्यतः, वर्गों का कुल योग = वर्गों का स्पष्ट योग + वर्गों का अवशिष्ट योग। बहुभिन्नरूपी साधारण न्यूनतम वर्ग (ओएलएस) मामले में इसके प्रमाण के लिए, सामान्य साधारण न्यूनतम वर्ग मॉडल में वर्गों का स्पष्ट योग#विभाजन देखें।

एक व्याख्यात्मक चर

एकल व्याख्यात्मक चर वाले मॉडल में, RSS इस प्रकार दिया गया है:

$\operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}$

जहां y_i पूर्वानुमानित किए जाने वाले चर का i^th मान है, x_i व्याख्यात्मक चर का i^th मान है, और $f(x_{i})$ y का अनुमानित मान है (जिसे कहा जाता है ${\hat {y_{i}}}$)। एक मानक रैखिक सरल प्रतिगमन मॉडल में, $y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,$, जहां α और β गुणांक हैं, y और x क्रमशः प्रतिगामी और प्रतिगामी हैं, और ε त्रुटि पद है। अवशिष्टों के वर्गों का योग ${\widehat {\varepsilon \,}}_{i}$ के वर्गों का योग है। वह है

$\operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}$

कहाँ ${\widehat {\alpha \,}}$ स्थिर पद का अनुमानित मूल्य है $\alpha$ और ${\widehat {\beta \,}}$ ढलान गुणांक का अनुमानित मान है $\beta$.

ओएलएस वर्गों के अवशिष्ट योग के लिए मैट्रिक्स अभिव्यक्ति

सामान्य प्रतिगमन मॉडल के साथ n अवलोकन और k व्याख्याकार, जिनमें से पहला एक स्थिर इकाई वेक्टर है जिसका गुणांक प्रतिगमन अवरोधन है

$y=X\beta +e$

कहाँ y निर्भर चर अवलोकनों का एक n × 1 वेक्टर है, जो n × k मैट्रिक्स का प्रत्येक स्तंभ है X k व्याख्याकारों में से एक पर अवलोकनों का एक वेक्टर है, $\beta$ वास्तविक गुणांकों का एक k × 1 सदिश है, और e वास्तविक अंतर्निहित त्रुटियों का एक n× 1 वेक्टर है। के लिए सामान्य न्यूनतम वर्ग अनुमानक $\beta$ है

$X{\hat {\beta }}=y\iff$

$X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff$

${\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.$

अवशिष्ट सदिश ${\hat {e}}=y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y$; तो वर्गों का शेष योग है:

$\operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}$,

(अवशेषों के सदिश मानदंड के वर्ग के बराबर)। पूरे में:

$\operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y$,

कहाँ H टोपी मैट्रिक्स, या रैखिक प्रतिगमन में प्रक्षेपण मैट्रिक्स है।

पियर्सन के उत्पाद-क्षण सहसंबंध के साथ संबंध

न्यूनतम वर्ग|न्यूनतम-वर्ग प्रतिगमन रेखा द्वारा दी गई है

$y=ax+b$,

कहाँ $b={\bar {y}}-a{\bar {x}}$ और $a={\frac {S_{xy}}{S_{xx}}}$, कहाँ $S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})$ और $S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.$ इसलिए,

${\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}$

कहाँ $S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.$ पियर्सन सहसंबंध गुणांक|पियर्सन उत्पाद-क्षण सहसंबंध द्वारा दिया गया है $r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};$ इसलिए, $\operatorname {RSS} =S_{yy}(1-r^{2}).$

यह भी देखें

• अकैके सूचना मानदंड#न्यूनतम वर्गों के साथ तुलना
• ची-वर्ग वितरण#अनुप्रयोग
• स्वतंत्रता की डिग्री (सांख्यिकी)#वर्गों का योग और स्वतंत्रता की डिग्री
• आंकड़ों में त्रुटियाँ और अवशेष
• वर्गों के योग का अभाव
• मतलब चुकता त्रुटि
• कम ची-स्क्वेर्ड आँकड़ा, स्वतंत्रता की डिग्री के अनुसार आरएसएस
• वर्ग विचलन
• वर्गों का योग (सांख्यिकी)

संदर्भ

• Draper, N.R.; Smith, H. (1998). Applied Regression Analysis (3rd ed.). John Wiley. ISBN 0-471-17082-8.