सीमित न्यूनतम वर्ग

विवश कम से कम वर्गों में समाधान पर अतिरिक्त बाधा के साथ रैखिक कम से कम वर्ग (गणित) समस्या को हल करता है। इसका अर्थ है, अप्रतिबंधित समीकरण $\mathbf {X} {\boldsymbol {\beta }}=\mathbf {y}$ यह सुनिश्चित करते हुए कि कुछ अन्य संपत्ति सुनिश्चित करते हुए (कम से कम वर्गों के अर्थ में) यथासंभव स्थित होना चाहिए ${\boldsymbol {\beta }}$ कायम रखा है।

ऐसी समस्याओं को कुशलतापूर्वक हल करने के लिए अधिकांशतः विशेष-उद्देश्य वाले एल्गोरिदम होते हैं। व्यवरोधों के कुछ उदाहरण नीचे दिए गए हैं:

• समानता विवश न्यूनतम वर्ग: ${\boldsymbol {\beta }}$ के तत्वों को निश्चित रूप से $\mathbf {L} {\boldsymbol {\beta }}=\mathbf {d}$ को संतुष्ट करना चाहिए (साधारण न्यूनतम वर्ग देखें)।
• स्टोकेस्टिक (रैखिक रूप से) कम से कम सीमित वर्ग: ${\boldsymbol {\beta }}$ के तत्वों को संतुष्ट होना चाहिए$\mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} +\mathbf {\nu }$ जहां $\mathbf {\nu }$ यादृच्छिक चर का एक वेक्टर है जैसे कि $\operatorname {E} (\mathbf {\nu } )=\mathbf {0}$ और $\operatorname {E} (\mathbf {\nu } \mathbf {\nu } ^{\rm {T}})=\tau ^{2}\mathbf {I}$ यह प्रभावी रूप से ${\boldsymbol {\beta }}$ के लिए एक पूर्व वितरण प्रयुक्त करता है और इसलिए बायेसियन रैखिक प्रतिगमन के समान है।
• तिखोनोव नियमितीकरण कम से कम वर्ग: के तत्व ${\boldsymbol {\beta }}$ संतुष्ट करना चाहिए $\|\mathbf {L} {\boldsymbol {\beta }}-\mathbf {y} \|\leq \alpha$ (चुनना $\alpha$ वाई के ध्वनि मानक विचलन के अनुपात में अधिक उपयुक्त को रोकता है)।
• गैर-ऋणात्मक न्यूनतम वर्ग (एनएनएलएस): वेक्टर ${\boldsymbol {\beta }}$ को सदिश असमानता ${\boldsymbol {\beta }}\geq {\boldsymbol {0}}$ को घटकवार परिभाषित करना चाहिए—अर्थात्, प्रत्येक घटक को अवश्य ही सकारात्मक या शून्य हो।
• बॉक्स-विवश न्यूनतम वर्ग: वेक्टर ${\boldsymbol {\beta }}$ आदेशित वेक्टर स्थान को संतुष्ट करना चाहिए ${\boldsymbol {b}}_{\ell }\leq {\boldsymbol {\beta }}\leq {\boldsymbol {b}}_{u}$, जिनमें से प्रत्येक को घटकवार परिभाषित किया गया है।
• पूर्णांक-विवश न्यूनतम वर्ग: के सभी तत्व ${\boldsymbol {\beta }}$ पूर्णांक होना चाहिए (वास्तविक संख्या के अतिरिक्त )।
• चरण-विवश न्यूनतम वर्ग: के सभी तत्व ${\boldsymbol {\beta }}$ वास्तविक संख्याएँ होनी चाहिए, या इकाई मापांक की समान जटिल संख्या से गुणा की जानी चाहिए।

यदि बाधा केवल कुछ चरों पर प्रयुक्त होती है, तो मिश्रित समस्या को वियोज्य न्यूनतम वर्गों का उपयोग करके हल किया जा सकता है

$\mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]$ और $\mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]$ अप्रतिबंधित (1) और विवश (2) घटकों का प्रतिनिधित्व करते हैं। फिर ${\hat {\boldsymbol {\beta }}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{\boldsymbol {\beta }}_{2})$ के लिए कम से कम वर्ग समाधान को प्रतिस्थापित करना है। (जहाँ + मूर-पेनरोज़ स्यूडोइनवर्स को इंगित करता है) मूल अभिव्यक्ति में वापस (कुछ पुनर्व्यवस्था के बाद) एक समीकरण देता है जिसे $\mathbf {\beta } _{2}$ में विशुद्ध रूप से विवश समस्या के रूप में हल किया जा सकता है।

$\mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta }}_{2}=\mathbf {P} \mathbf {y} ,$

जहाँ $\mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}$ प्रक्षेपण मैट्रिक्स है। के विवश अनुमान के बाद ${\hat {\boldsymbol {\beta }}}_{2}$ वेक्टर ${\hat {\boldsymbol {\beta }}}_{1}$ उपरोक्त पद से प्राप्त होता है।

मूल अभिव्यक्ति में वापस (कुछ पुनर्व्यवस्था के बाद) एक समीकरण देता है जिसे $\mathbf {\beta } _{2}$ में विशुद्ध रूप से विवश समस्या के रूप में हल किया जा सकता है।

यह भी देखें

• बायेसियन रैखिक प्रतिगमन
• विवश अनुकूलन
• पूर्णांक प्रोग्रामिंग