सीमित न्यूनतम वर्ग

विवश कम से कम वर्गों में समाधान पर अतिरिक्त बाधा के साथ रैखिक कम से कम वर्ग (गणित) समस्या को हल करता है। इसका मतलब है, अप्रतिबंधित समीकरण $\mathbf {X} {\boldsymbol {\beta }}=\mathbf {y}$ यह सुनिश्चित करते हुए कि कुछ अन्य संपत्ति सुनिश्चित करते हुए (कम से कम वर्गों के अर्थ में) यथासंभव फिट होना चाहिए ${\boldsymbol {\beta }}$ कायम रखा है।

ऐसी समस्याओं को कुशलतापूर्वक हल करने के लिए अक्सर विशेष-उद्देश्य वाले एल्गोरिदम होते हैं। व्यवरोधों के कुछ उदाहरण नीचे दिए गए हैं:

• विवश सामान्यीकृत व्युत्क्रम न्यूनतम वर्ग: के तत्व ${\boldsymbol {\beta }}$ बिल्कुल संतुष्ट होना चाहिए $\mathbf {L} {\boldsymbol {\beta }}=\mathbf {d}$ (साधारण न्यूनतम वर्ग#बाधित अनुमान देखें)।
• स्टोचैस्टिक (रैखिक रूप से) विवश न्यूनतम वर्ग: के तत्व ${\boldsymbol {\beta }}$ संतुष्ट करना चाहिए $\mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} +\mathbf {\nu }$, कहाँ $\mathbf {\nu }$ यादृच्छिक चर का सदिश है जैसे कि $\operatorname {E} (\mathbf {\nu } )=\mathbf {0}$ और $\operatorname {E} (\mathbf {\nu } \mathbf {\nu } ^{\rm {T}})=\tau ^{2}\mathbf {I}$. यह प्रभावी रूप से पूर्व वितरण को लागू करता है ${\boldsymbol {\beta }}$ और इसलिए बायेसियन रैखिक प्रतिगमन के बराबर है।
• तिखोनोव नियमितीकरण कम से कम वर्ग: के तत्व ${\boldsymbol {\beta }}$ संतुष्ट करना चाहिए $\|\mathbf {L} {\boldsymbol {\beta }}-\mathbf {y} \|\leq \alpha$ (चुनना $\alpha$ वाई के शोर मानक विचलन के अनुपात में ओवरफिटिंग को रोकता है)।
• गैर-नकारात्मक न्यूनतम वर्ग (एनएनएलएस): वेक्टर ${\boldsymbol {\beta }}$ आदेशित वेक्टर स्थान को संतुष्ट करना चाहिए ${\boldsymbol {\beta }}\geq {\boldsymbol {0}}$ परिभाषित घटक-अर्थात, प्रत्येक घटक या तो सकारात्मक या शून्य होना चाहिए।
• बॉक्स-विवश न्यूनतम वर्ग: वेक्टर ${\boldsymbol {\beta }}$ आदेशित वेक्टर स्थान को संतुष्ट करना चाहिए ${\boldsymbol {b}}_{\ell }\leq {\boldsymbol {\beta }}\leq {\boldsymbol {b}}_{u}$, जिनमें से प्रत्येक को घटकवार परिभाषित किया गया है।
• पूर्णांक-विवश न्यूनतम वर्ग: के सभी तत्व ${\boldsymbol {\beta }}$ पूर्णांक होना चाहिए (वास्तविक संख्या के बजाय)।
• चरण-विवश न्यूनतम वर्ग: के सभी तत्व ${\boldsymbol {\beta }}$ वास्तविक संख्याएँ होनी चाहिए, या इकाई मापांक की समान जटिल संख्या से गुणा की जानी चाहिए।

यदि बाधा केवल कुछ चरों पर लागू होती है, तो मिश्रित समस्या को वियोज्य न्यूनतम वर्गों का उपयोग करके हल किया जा सकता है $\mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]$ और $\mathbf {\beta } ^{\rm {T}}=[\mathbf {\beta _{1}} ^{\rm {T}}\mathbf {\beta _{2}} ^{\rm {T}}]$ अप्रतिबंधित (1) और विवश (2) घटकों का प्रतिनिधित्व करते हैं। फिर के लिए कम से कम वर्ग समाधान को प्रतिस्थापित करना $\mathbf {\beta _{1}}$, अर्थात।

${\hat {\boldsymbol {\beta }}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{\boldsymbol {\beta }}_{2})$

(कहाँ ⁺ मूर-पेनरोज़ स्यूडोइनवर्स को इंगित करता है) मूल अभिव्यक्ति में वापस (कुछ पुनर्व्यवस्था के बाद) समीकरण देता है जिसे विशुद्ध रूप से विवश समस्या के रूप में हल किया जा सकता है $\mathbf {\beta } _{2}$.

$\mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta }}_{2}=\mathbf {P} \mathbf {y} ,$

कहाँ $\mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}$ प्रक्षेपण मैट्रिक्स है। के विवश अनुमान के बाद ${\hat {\boldsymbol {\beta }}}_{2}$ वेक्टर ${\hat {\boldsymbol {\beta }}}_{1}$ उपरोक्त पद से प्राप्त होता है।

यह भी देखें

• बायेसियन रैखिक प्रतिगमन
• विवश अनुकूलन
• पूर्णांक प्रोग्रामिंग