रिज प्रतिगमन

रिज प्रतिगमन उन परिदृश्यों में बहु-प्रतिगमन मॉडल के गुणांकों का आकलन करने की एक विधि है जहां स्वतंत्र चर अत्यधिक सहसंबद्ध होते हैं। इसका उपयोग अर्थमिति, रसायन विज्ञान और इंजीनियरिंग सहित कई क्षेत्रों में किया गया है।इसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है, जिसका नाम एंड्री निकोलाइविच तिखोनोव के नाम पर रखा गया है, यह निष्क्रिय समस्याओं के नियमितीकरण (गणित) की एक विधि है। यह रैखिक प्रतिगमन में बहुसंरेखता की समस्या को कम करने के लिए विशेष रूप से उपयोगी है, जो सामान्यतः बड़ी संख्या में मापदंडों वाले मॉडल में होता है। सामान्यतः, विधि एक अनुमानक के पूर्वाग्रह की सहनीय राशि के बदले में मापदंड आकलन समस्याओं में बेहतर कुशल अनुमानक प्रदान करती है (पूर्वाग्रह-भिन्नता व्यापार देखें)।

इस सिद्धांत को पहली बार होर्ल और केनार्ड ने 1970 में अपने टेक्नोमेट्रिक्स पेपर "रिज प्रतिगमन: बायस्ड एस्टीमेशन ऑफ नॉनऑर्थोगोनल प्रॉब्लम्स" और "रिज प्रतिगमन: एप्लिकेशन्स इन नॉनऑर्थोगोनल प्रॉब्लम्स" में पेश किया था।यह रिज विश्लेषण के क्षेत्र में दस वर्षों के शोध का परिणाम था।

रिज प्रतिगमन को कम से कम वर्ग अनुमानकों की अशुद्धि के संभावित समाधान के रूप में विकसित किया गया था जब रैखिक प्रतिगमन मॉडल में कुछ बहुसंरेखीय (अत्यधिक सहसंबद्ध) स्वतंत्र चर होते हैं - एक रिज प्रतिगमन अनुमानक (आरआर) बनाकर यह एक अधिक यथार्थ रिज मापदंड अनुमान प्रदान करता है, क्योंकि इसके विचरण और माध्य वर्ग अनुमानक प्रायः पहले से प्राप्त कम से कम वर्ग अनुमानक से छोटे होते हैं।

अवलोकन

सबसे सरल मामले में, एक विलक्षण मैट्रिसेस की समस्या | निकट-एकवचन क्षण मैट्रिक्स $(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )$ मुख्य विकर्ण में सकारात्मक तत्वों को जोड़कर कम किया जाता है, जिससे इसकी स्थिति संख्या कम हो जाती है। सामान्य न्यूनतम वर्ग अनुमानक के अनुरूप, सरल रिज अनुमानक तब द्वारा दिया जाता है

${\hat {\beta }}_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

कहाँ $\mathbf {y}$ प्रतिगामी है, $\mathbf {X}$ डिजाइन मैट्रिक्स है, $\mathbf {I}$ पहचान मैट्रिक्स और रिज मापदंड है $\lambda \geq 0$ क्षण मैट्रिक्स के विकर्णों को निरंतर स्थानांतरित करने के रूप में कार्य करता है। यह दिखाया जा सकता है कि यह अनुमानक बाधा (गणित) के अधीन कम से कम वर्गों की समस्या का समाधान है $\beta ^{\mathsf {T}}\beta =c$, जिसे Lagrangian के रूप में व्यक्त किया जा सकता है:

$\min _{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)$

जो दर्शाता है $\lambda$ बाधा के लैग्रेंज गुणक के अलावा और कुछ नहीं है। सामान्यतः, $\lambda$ एक अनुमानी कसौटी के अनुसार चुना जाता है, ताकि बाधा पूरी तरह से संतुष्ट न हो। विशेष रूप से के मामले में $\lambda =0$, जिसमें गैर-बाध्यकारी बाधा | बाधा गैर-बाध्यकारी है, रिज अनुमानक कम से कम साधारण वर्ग तक कम हो जाता है। तिखोनोव नियमितीकरण के लिए एक अधिक सामान्य दृष्टिकोण की चर्चा नीचे की गई है।

इतिहास

कई अलग-अलग संदर्भों में स्वतंत्र रूप से तिखोनोव नियमितीकरण का आविष्कार किया गया है। के कार्य से अभिन्न समीकरणों के लिए इसके अनुप्रयोग से व्यापक रूप से जाना जाने लगा एंड्री निकोलायेविच तिखोनोव और डेविड एल फिलिप्स। कुछ लेखक तिखोनोव-फिलिप्स नियमितीकरण शब्द का उपयोग करते हैं। आर्थर ई. होर्ल ने परिमित-आयामी मामले की व्याख्या की, जिन्होंने एक सांख्यिकीय दृष्टिकोण अपनाया, और मानुस फोस्टर द्वारा, जिन्होंने इस विधि की व्याख्या क्रिगिंग | वीनर-कोल्मोगोरोव (क्रिगिंग) फिल्टर के रूप में की। होर्ल के बाद, यह सांख्यिकीय साहित्य में रिज प्रतिगमन के रूप में जाना जाता है, पहचान मैट्रिक्स के विकर्ण के साथ आकृति के नाम पर।

तिखोनोव नियमितीकरण

मान लीजिए कि एक ज्ञात मैट्रिक्स के लिए $A$ और वेक्टर $\mathbf {b}$, हम एक वेक्टर खोजना चाहते हैं $\mathbf {x}$ ऐसा है कि

$A\mathbf {x} =\mathbf {b} .$

मानक दृष्टिकोण साधारण न्यूनतम वर्ग रैखिक प्रतिगमन है। हालांकि, अगर नहीं $\mathbf {x}$ समीकरण या एक से अधिक को संतुष्ट करता है $\mathbf {x}$ करता है—अर्थात, समाधान अद्वितीय नहीं है—समस्या को अच्छी तरह से प्रस्तुत समस्या कहा जाता है। ऐसे मामलों में, सामान्य न्यूनतम वर्ग अनुमान एक अतिनिर्धारित प्रणाली की ओर जाता है, या अधिक बार समीकरणों की एक अनिर्धारित प्रणाली प्रणाली। अधिकांश वास्तविक दुनिया की घटनाओं में लो-पास फिल्टर का प्रभाव होता है आगे की दिशा में जहां $A$ एमएपीएस $\mathbf {x}$ को $\mathbf {b}$. इसलिए, व्युत्क्रम-समस्या को हल करने में, व्युत्क्रम मानचित्रण एक उच्च पास फिल्टर के रूप में कार्य करता है जिसमें शोर को बढ़ाने की अवांछनीय प्रवृत्ति होती है (eigenvalues / एकवचन मान रिवर्स मैपिंग में सबसे बड़े होते हैं जहां वे आगे की मैपिंग में सबसे छोटे थे)। इसके अलावा, सामान्य कम से कम वर्ग के पुनर्निर्मित संस्करण के प्रत्येक तत्व को स्पष्ट रूप से रद्द कर देता है $\mathbf {x}$ वह शून्य-स्थान में है $A$, किसी मॉडल को पूर्व के रूप में उपयोग करने की अनुमति देने के बजाय $\mathbf {x}$. साधारण न्यूनतम वर्ग वर्ग अवशिष्ट (संख्यात्मक विश्लेषण) के योग को कम करने का प्रयास करता है, जिसे संक्षिप्त रूप से लिखा जा सकता है

$\|A\mathbf {x} -\mathbf {b} \|_{2}^{2},$

कहाँ $\|\cdot \|_{2}$ नॉर्म (गणित) #यूक्लिडियन मानदंड है।

वांछित गुणों वाले किसी विशेष समाधान को वरीयता देने के लिए, इस न्यूनीकरण में एक नियमितीकरण शब्द शामिल किया जा सकता है:

$\|A\mathbf {x} -\mathbf {b} \|_{2}^{2}+\|\Gamma \mathbf {x} \|_{2}^{2}$

कुछ उपयुक्त रूप से चुने गए तिखोनोव मैट्रिक्स के लिए $\Gamma$. कई मामलों में, इस मैट्रिक्स को आइडेंटिटी मैट्रिक्स के स्केलर मल्टीपल के रूप में चुना जाता है ($\Gamma =\alpha I$), छोटे नॉर्म (गणित) के साथ समाधानों को वरीयता देना; इसे इस रूप में जाना जाता हैL₂ नियमितीकरण। अन्य मामलों में, उच्च-पास ऑपरेटर (उदाहरण के लिए, एक अंतर ऑपरेटर या भारित असतत फूरियर रूपांतरण) का उपयोग चिकनाई को लागू करने के लिए किया जा सकता है यदि अंतर्निहित वेक्टर अधिकतर निरंतर माना जाता है। यह नियमितीकरण समस्या की कंडीशनिंग में सुधार करता है, इस प्रकार प्रत्यक्ष संख्यात्मक समाधान को सक्षम करता है। एक स्पष्ट समाधान, द्वारा निरूपित ${\hat {x}}$, द्वारा दिया गया है

${\hat {x}}=(A^{\top }A+\Gamma ^{\top }\Gamma )^{-1}A^{\top }\mathbf {b} .$

मैट्रिक्स के पैमाने से नियमितीकरण का प्रभाव भिन्न हो सकता है $\Gamma$. के लिए $\Gamma =0$ यह अनियमित न्यूनतम-वर्ग समाधान को कम करता है, बशर्ते कि (ए^टीए)⁻¹ मौजूद है।

L₂ रैखिक प्रतिगमन से अलग कई संदर्भों में नियमितीकरण का उपयोग किया जाता है, जैसे कि संभार तन्त्र परावर्तन या समर्थन वेक्टर यंत्र के साथ सांख्यिकीय वर्गीकरण, और मैट्रिक्स गुणनखंडन।

सामान्यीकृत तिखोनोव नियमितीकरण

सामान्य बहुभिन्नरूपी सामान्य वितरण के लिए $x$ और डेटा त्रुटि, उपरोक्त मामले को कम करने के लिए चर के परिवर्तन को लागू कर सकते हैं। समान रूप से, कोई खोज सकता है $x$ कम से कम करने के लिए

$\|Ax-b\|_{P}^{2}+\|x-x_{0}\|_{Q}^{2},$

जहां हमने प्रयोग किया है $\|x\|_{Q}^{2}$ भारित मानक चुकता के लिए खड़े होने के लिए $x^{\top }Qx$ (महालनोबिस दूरी के साथ तुलना करें)। बायेसियन व्याख्या में $P$ का व्युत्क्रम सहप्रसरण मैट्रिक्स है $b$, $x_{0}$ का अपेक्षित मूल्य है $x$, और $Q$ का व्युत्क्रम सहप्रसरण मैट्रिक्स है $x$. Tikhonov मैट्रिक्स को तब मैट्रिक्स के गुणनखंड के रूप में दिया जाता है $Q=\Gamma ^{\top }\Gamma$ (उदाहरण के लिए Cholesky गुणनखंडन) और एक सफेद परिवर्तन माना जाता है।

इस सामान्यीकृत समस्या का एक इष्टतम समाधान है $x^{*}$ जिसे सूत्र द्वारा स्पष्ट रूप से लिखा जा सकता है

$x^{*}=(A^{\top }PA+Q)^{-1}(A^{\top }Pb+Qx_{0}),$

या समकक्ष

$x^{*}=x_{0}+(A^{\top }PA+Q)^{-1}(A^{\top }P(b-Ax_{0})).$

लावेरेंटयेव नियमितीकरण

कुछ स्थितियों में, ट्रांसपोज़ का उपयोग करने से बचा जा सकता है $A^{\top }$, जैसा कि प्रस्तावित किया गया था मिखाइल लावेरेंटिव होगा। उदाहरण के लिए, यदि $A$ सममित सकारात्मक निश्चित है, अर्थात $A=A^{\top }>0$, तो इसका उलटा है $A^{-1}$, जिसका उपयोग इस प्रकार भारित मानदंड चुकता करने के लिए किया जा सकता है $\|x\|_{P}^{2}=x^{\top }A^{-1}x$ सामान्यीकृत तिखोनोव नियमितीकरण में, कम से कम करने के लिए अग्रणी

$\|Ax-b\|_{A^{-1}}^{2}+\|x-x_{0}\|_{Q}^{2}$

या, समान रूप से एक स्थिर अवधि तक,

$x^{\top }(A+Q)x-2x^{\top }(b+Qx_{0})$.

इस न्यूनीकरण समस्या का एक इष्टतम समाधान है $x^{*}$ जिसे सूत्र द्वारा स्पष्ट रूप से लिखा जा सकता है

$x^{*}=(A+Q)^{-1}(b+Qx_{0})$,

जो और कुछ नहीं बल्कि सामान्यीकृत तिखोनोव समस्या का समाधान है $A=A^{\top }=P^{-1}.$ Lavrentyev नियमितीकरण, यदि लागू हो, मूल Tikhonov नियमितीकरण के लिए फायदेमंद है, क्योंकि Lavrentyev मैट्रिक्स $A+Q$ तिखोनोव मैट्रिक्स की तुलना में बेहतर स्थिति में हो सकता है, यानी, एक छोटी स्थिति संख्या हो सकती है $A^{\top }A+\Gamma ^{\top }\Gamma .$

हिल्बर्ट अंतरिक्ष में नियमितीकरण

विशिष्ट रूप से असतत रेखीय निष्क्रिय-समस्याएं अभिन्न समीकरणों के विवेक से उत्पन्न होती हैं, और मूल अनंत-आयामी संदर्भ में तिखोनोव नियमितीकरण तैयार कर सकते हैं। उपरोक्त में हम व्याख्या कर सकते हैं $A$ हिल्बर्ट रिक्त स्थान पर एक कॉम्पैक्ट ऑपरेटर के रूप में, और $x$ और $b$ डोमेन और रेंज में तत्वों के रूप में $A$. परिचालक $A^{*}A+\Gamma ^{\top }\Gamma$ तब एक हर्मिटियन संलग्न | स्व-संलग्न परिबद्ध व्युत्क्रमणीय संकारक है।

एकवचन-मूल्य अपघटन और वीनर फ़िल्टर से संबंध

साथ $\Gamma =\alpha I$, इस न्यूनतम-वर्ग समाधान का एकवचन-मूल्य अपघटन का उपयोग करके एक विशेष तरीके से विश्लेषण किया जा सकता है। एकवचन मूल्य अपघटन को देखते हुए

$A=U\Sigma V^{\top }$

विलक्षण मूल्यों के साथ $\sigma _{i}$तिखोनोव नियमित समाधान के रूप में व्यक्त किया जा सकता है

${\hat {x}}=VDU^{\top }b,$

कहाँ $D$ विकर्ण मान हैं

$D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}$

और कहीं शून्य है। यह नियमित समस्या की स्थिति संख्या पर तिखोनोव मापदंड के प्रभाव को प्रदर्शित करता है। सामान्यीकृत मामले के लिए, सामान्यीकृत एकवचन-मूल्य अपघटन का उपयोग करके एक समान प्रतिनिधित्व प्राप्त किया जा सकता है।

अंत में, यह विनीज़ फ़िल्टर से संबंधित है:

${\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\top }b}{\sigma _{i}}}v_{i},$

जहां वीनर भार हैं $f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}$ और $q$ का कोटि (रैखिक बीजगणित) है $A$.

तिखोनोव कारक का निर्धारण

इष्टतम नियमितीकरण मापदंड $\alpha$ सामान्यतः अज्ञात होता है और प्रायः व्यावहारिक समस्याओं में एक तदर्थ विधि द्वारा निर्धारित किया जाता है। एक संभावित दृष्टिकोण नीचे वर्णित बायेसियन व्याख्या पर निर्भर करता है। अन्य दृष्टिकोणों में विसंगति सिद्धांत, क्रॉस-सत्यापन (सांख्यिकी) | क्रॉस-सत्यापन, एल-वक्र विधि, शामिल हैं। प्रतिबंधित अधिकतम संभावना और निष्पक्ष भविष्य कहनेवाला जोखिम अनुमानक। ग्रेस वाहबा ने साबित किया कि इष्टतम मापदंड, क्रॉस-वैलिडेशन (सांख्यिकी) के अर्थ में#लीव-वन-आउट क्रॉस-वैलिडेशन|लीव-वन-आउट क्रॉस-वैलिडेशन न्यूनतम करता है

$G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\|X{\hat {\beta }}-y\|^{2}}{[\operatorname {Tr} (I-X(X^{T}X+\alpha ^{2}I)^{-1}X^{T})]^{2}}},$

कहाँ $\operatorname {RSS}$ वर्गों का अवशिष्ट योग है, और $\tau$ स्वतंत्रता की डिग्री की प्रभावी संख्या है।

पिछले SVD अपघटन का उपयोग करके, हम उपरोक्त अभिव्यक्ति को सरल बना सकते हैं:

$\operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$

$\operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$

और

$\tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.$

संभाव्य सूत्रीकरण से संबंध

एक व्युत्क्रम समस्या का संभाव्य सूत्रीकरण एक सहप्रसरण मैट्रिक्स का परिचय देता है (जब सभी अनिश्चितताएं गॉसियन हैं) $C_{M}$ मॉडल मापदंडों पर एक प्राथमिक अनिश्चितता और एक सहप्रसरण मैट्रिक्स का प्रतिनिधित्व करना $C_{D}$ देखे गए मापदंडों पर अनिश्चितताओं का प्रतिनिधित्व करना। विशेष मामले में जब ये दो आव्यूह विकर्ण और समदैशिक होते हैं, $C_{M}=\sigma _{M}^{2}I$ और $C_{D}=\sigma _{D}^{2}I$, और, इस मामले में, व्युत्क्रम सिद्धांत के समीकरण ऊपर के समीकरणों को कम करते हैं, साथ $\alpha ={\sigma _{D}}/{\sigma _{M}}$.

बायेसियन व्याख्या

Main article: Bayesian interpretation of regularization

Further information: Minimum mean square error § Linear MMSE estimator for linear observation process

हालाँकि पहली बार में इस नियमित समस्या के समाधान का विकल्प कृत्रिम और वास्तव में मैट्रिक्स लग सकता है $\Gamma$ बल्कि मनमाना लगता है, इस प्रक्रिया को बायेसियन प्रायिकता से उचित ठहराया जा सकता है। ध्यान दें कि एक निष्क्रिय समस्या के लिए एक अद्वितीय समाधान प्राप्त करने के लिए कुछ अतिरिक्त मान्यताओं को अनिवार्य रूप से पेश करना चाहिए। सांख्यिकीय रूप से, का पूर्व संभाव्यता वितरण $x$ कभी-कभी बहुभिन्नरूपी सामान्य वितरण के रूप में लिया जाता है। यहाँ सरलता के लिए, निम्नलिखित धारणाएँ बनाई गई हैं: साधन शून्य हैं; उनके घटक स्वतंत्र हैं; घटकों में समान मानक विचलन होता है $\sigma _{x}$. डेटा भी त्रुटियों के अधीन हैं, और त्रुटियों में $b$ को शून्य माध्य और मानक विचलन के साथ सांख्यिकीय स्वतंत्रता भी माना जाता है $\sigma _{b}$. इन धारणाओं के तहत तिखोनोव-नियमित समाधान डेटा और प्राथमिकता वितरण को देखते हुए अधिकतम पश्च समाधान है $x$, बेयस प्रमेय के अनुसार। यदि सामान्य वितरण की धारणा को आँकड़ों में त्रुटियों और अवशिष्टों की समरूपता और असंबद्धता की धारणाओं द्वारा प्रतिस्थापित किया जाता है, और यदि कोई अभी भी शून्य माध्य मानता है, तो गॉस-मार्कोव प्रमेय का अर्थ है कि समाधान एक अनुमानक का न्यूनतम पूर्वाग्रह है।

यह भी देखें

• Lasso (सांख्यिकी) आँकड़ों में एक और नियमितीकरण विधि है।
• लोचदार शुद्ध नियमितीकरण
• मैट्रिक्स नियमितीकरण

अग्रिम पठन

• Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. Boca Raton: CRC Press. ISBN 0-8247-0156-9.
• Kress, Rainer (1998). "Tikhonov Regularization". Numerical Analysis. New York: Springer. pp. 86–90. ISBN 0-387-98408-9.
• Press, W. H.; Teukolsky, S. A.; Vetterling, W. T.; Flannery, B. P. (2007). "Section 19.5. Linear Regularization Methods". Numerical Recipes: The Art of Scientific Computing (3rd ed.). New York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Saleh, A. K. Md. Ehsanes; Arashi, Mohammad; Kibria, B. M. Golam (2019). Theory of Ridge Regression Estimation with Applications. New York: John Wiley & Sons. ISBN 978-1-118-64461-4.
• Taddy, Matt (2019). "Regularization". Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions. New York: McGraw-Hill. pp. 69–104. ISBN 978-1-260-45277-8.