हेस्सियन आव्यूह

गणित में, हेसियन आव्यूह या हेसियन एक अदिश-मान फ़ंक्शन, या अदिश क्षेत्र के दूसरे क्रम के आंशिक डेरिवेटिव का एक वर्ग आव्यूह है। यह कई चरों के एक समारोह के स्थानीय वक्रता का वर्णन करता है। हेसियन आव्यूह को 19वीं दशक में जर्मन गणितज्ञ ओटो हेस्से द्वारा विकसित किया गया था और बाद में उनके नाम पर इसका नाम रखा गया। हेसे ने मूल रूप से कार्यात्मक निर्धारक शब्द का प्रयोग किया था।

परिभाषाएँ और गुण

मान लीजिए $f:\mathbb {R} ^{n}\to \mathbb {R}$ इनपुट के रूप में एक वेक्टर लेने वाला एक फलन है $\mathbf {x} \in \mathbb {R} ^{n}$ और एक अदिश आउटपुट करना $f(\mathbf {x} )\in \mathbb {R} .$ यदि सभी दूसरे क्रम के आंशिक डेरिवेटिव $f$ सम्मिलित है, तो हेस्सियन मैट्रिक्स $\mathbf {H}$ का $f$ एक वर्ग है $n\times n$ आव्यूह, सामान्यतः निम्नानुसार परिभाषित और व्यवस्थित किया जाता है:

$$\mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}},$$

या, सूचकांकों i और j का उपयोग करके गुणांकों के लिए एक समीकरण बताकर,

$$(\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.$$

यदि इसके अतिरिक्त दूसरे आंशिक डेरिवेटिव सभी निरंतर हैं, हेस्सियन आव्यूह दूसरे डेरिवेटिव की समरूपता द्वारा एक सममित आव्यूह है।

हेसियन आव्यूह के निर्धारक को कहा जाता है हेसियन निर्धारक . किसी फलन का हेसियन आव्यूह $f$ फलन के ढाल का जैकबियन आव्यूह है $f$; वह है: $\mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} )).$

अनुप्रयोग

मोड़ बिंदु

यदि $f$ तीन चर, समीकरण में एक सजातीय बहुपद है $f=0$ समतल प्रक्षेपी वक्र का निहित समीकरण है। वक्र के विभक्ति बिंदु बिल्कुल गैर-एकवचन बिंदु हैं जहां हेस्सियन निर्धारक शून्य है। यह बेज़ाउट के प्रमेय द्वारा अनुसरण करता है कि एक घन समतल वक्र में अधिकतम होता है $9$ विभक्ति बिंदु, चूंकि हेसियन निर्धारक डिग्री का बहुपद है $3.$

द्वितीय-व्युत्पन्न परीक्षण

Main article: दूसरा आंशिक व्युत्पन्न परीक्षण

उत्तल फलन का हेस्सियन आव्यूह सकारात्मक अर्ध-निश्चित आव्यूह है। इस संपत्ति को परिष्कृत करने से हमें यह परीक्षण करने की अनुमति मिलती है कि क्या एक महत्वपूर्ण बिंदु $x$ एक स्थानीय अधिकतम, स्थानीय न्यूनतम, या एक काठी बिंदु निम्नानुसार है:

यदि हेस्सियन सकारात्मक-निश्चित आव्यूह है| $x,$ फिर $f$ पर एक पृथक स्थानीय न्यूनतम प्राप्त करता है $x.$ यदि हेसियन सकारात्मक-निश्चित आव्यूह नकारात्मक-निश्चित, अर्ध-निश्चित और अनिश्चित आव्यूह है। नकारात्मक-निश्चित $x,$ फिर $f$ पर एक पृथक स्थानीय अधिकतम प्राप्त करता है $x.$ यदि हेस्सियन के पास सकारात्मक और नकारात्मक दोनों आइगेनवेल्यू ​​​​हैं, तो $x$ के लिए एक काठी बिंदु है $f.$ अन्यथा परीक्षण अनिर्णायक है। इसका तात्पर्य है कि स्थानीय न्यूनतम पर हेस्सियन धनात्मक-अर्ध-परिमित है, और स्थानीय अधिकतम पर हेस्सियन ऋणात्मक-अर्द्ध-परिमित है।

सकारात्मक-अर्ध-निश्चित और नकारात्मक-अर्ध हेसियन के लिए परीक्षण अनिर्णायक है (एक महत्वपूर्ण बिंदु जहां हेसियन अर्ध-निश्चित है लेकिन निश्चित नहीं है, स्थानीय चरम या काठी बिंदु हो सकता है)।चूंकि, मोर्स सिद्धांत के दृष्टिकोण से अधिक कहा जा सकता है।

सामान्य स्तिथि की तुलना में एक और दो चर के कार्यों के लिए दूसरा-व्युत्पन्न परीक्षण सरल है। एक चर में, हेसियन में ठीक एक सेकंड का व्युत्पन्न होता है; अगर यह सकारात्मक है, तो $x$ एक स्थानीय न्यूनतम है, और यदि यह ऋणात्मक है, तो $x$ एक स्थानीय अधिकतम है; यदि यह शून्य है, तो परीक्षण अनिर्णायक है। दो चरों में, निर्धारक का उपयोग किया जा सकता है, क्योंकि निर्धारक आइगेनमान ​​​​का उत्पाद है। यदि यह धनात्मक है, तो आइगेनमान दोनों धनात्मक या दोनों ऋणात्मक होते हैं। यदि यह ऋणात्मक है, तो दो आइगेनमान ​​​​के भिन्न -भिन्न संकेत हैं। यदि यह शून्य है, तो दूसरा-व्युत्पन्न परीक्षण अनिर्णायक है।

समतुल्य रूप से, दूसरे क्रम की शर्तें जो स्थानीय न्यूनतम या अधिकतम के लिए पर्याप्त हैं, हेसियन के प्रमुख (ऊपरी-बाएं)(रैखिक बीजगणित) (उप-आव्यूहों के निर्धारक) के अनुक्रम के संदर्भ में व्यक्त की जा सकती हैं; ये स्थितियाँ उन स्थितियों की एक विशेष स्तिथि हैं जो अगले खंड में विवश अनुकूलन के लिए सीमाबद्ध हेसियन के लिए दी गई हैं -ऐसी स्तिथि जिनमें बाधाओं की संख्या शून्य है। विशेष रूप से, न्यूनतम के लिए पर्याप्त शर्त यह है कि ये सभी प्रमुख नाबालिग सकारात्मक हों, जबकि अधिकतम के लिए पर्याप्त अनुबंध यह है कि वैकल्पिक रूप से साइन इन करें $1\times 1$ नकारात्मक है।

महत्वपूर्ण बिंदु

यदि किसी फलन का ढाल (आंशिक व्युत्पन्न का वेक्टर)। $f$ किसी बिंदु पर शून्य है $\mathbf {x} ,$ फिर $f$ एक क्रिटिकल पॉइंट (या स्थिर बिंदु ) पर $\mathbf {x} .$ हेस्सियन के निर्धारक पर $\mathbf {x}$ कुछ संदर्भों में, एक विवेकशील कहा जाता है। यदि यह निर्धारक शून्य है तो $\mathbf {x}$ ए कहा जाता है पतित महत्वपूर्ण बिंदु का $f,$ या ए गैर-मोर्स महत्वपूर्ण बिंदु का $f.$ अन्यथा यह गैर-पतित है, और कहा जाता है मोर्स क्रिटिकल पॉइंट का $f.$ हेस्सियन मैट्रिक्स मोर्स सिद्धांत और तबाही सिद्धांत में एक महत्वपूर्ण भूमिका निभाता है, क्योंकि इसके आव्यूह और आइगेनवैल्यू के कर्नेल महत्वपूर्ण बिंदुओं के वर्गीकरण की अनुमति देते हैं। हेसियन मैट्रिक्स का निर्धारक, जब किसी फलन के महत्वपूर्ण बिंदु पर मूल्यांकन किया जाता है, तो फलन के गॉसियन वक्रता के बराबर होता है जिसे कई गुना माना जाता है। उस बिंदु पर हेसियन के आइगेनवैल्यू फलन के प्रमुख वक्रता हैं, और आइगेनवेक्टर वक्रता की प्रमुख दिशाएँ हैं। (देखना गॉसियन वक्रता § प्रमुख वक्रता से संबंध.)

अनुकूलन में उपयोग

हेसियन आव्यूहों का उपयोग अनुकूलन-प्रकार के तरीकों में न्यूटन की पद्धति के भीतर बड़े पैमाने पर गणितीय अनुकूलन समस्याओं में किया जाता है क्योंकि वे किसी फलन के स्थानीय टेलर विस्तार के द्विघात पद के गुणांक हैं। वह है,

$$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathrm {T} }\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathrm {T} }\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x}$$

जहां $\nabla f$ ढाल है $\left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).$ कम्प्यूटिंग और पूर्ण हेस्सियन आव्यूह को संग्रहीत करने में बड़ा थीटा लगता है$\Theta \left(n^{2}\right)$स्मृति, जो उच्च-आयामी कार्यों जैसे कृत्रिम तंत्रिका नेटवर्क के नुकसान कार्यों, सशर्त यादृच्छिक क्षेत्रों और बड़ी संख्या में मापदंडों के साथ अन्य सांख्यिकीय मॉडल के लिए अक्षम्य है। ऐसी स्थितियों के लिए कटा हुआ न्यूटन विधि ट्रंकेटेड-न्यूटन और क्वैसी-न्यूटन विधि| क्वैसी-न्यूटन एल्गोरिदम विकसित किए गए हैं। एल्गोरिदम का बाद वाला परिवार हेसियन के सन्निकटन का उपयोग करता है; सबसे लोकप्रिय अर्ध-न्यूटन एल्गोरिदम में से एक है ब्रॉयडेन-फ्लेचर-गोल्डफार्ब-शन्नो एल्गोरिथम। इस तरह के सन्निकटन इस तथ्य का उपयोग कर सकते हैं कि एक अनुकूलन एल्गोरिथ्म हेस्सियन का उपयोग केवल एक रैखिक ऑपरेटर के रूप में करता है $\mathbf {H} (\mathbf {v} ),$ और पहले ध्यान देकर आगे बढ़ें कि हेस्सियन ढाल के स्थानीय विस्तार में भी प्रकट होता है:

$$\nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})$$

$\Delta \mathbf {x} =r\mathbf {v}$ कुछ अदिश के लिए $r,$ यह देता है

$$\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),$$

वह है,

$$\mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)$$

इसलिए यदि ढाल की गणना पहले ही की जा चुकी है, तो अनुमानित हेसियन की गणना एक रैखिक (ढाल के आकार में) अदिश परिचालनों की संख्या द्वारा की जा सकती है। (प्रोग्राम के लिए सरल होने पर, यह सन्निकटन योजना संख्यात्मक रूप से स्थिर नहीं है $r$ की वजह से त्रुटि को रोकने के लिए छोटा किया जाना है ${\mathcal {O}}(r)$ अवधि, लेकिन इसे कम करने से पहले कार्यकाल में सटीकता खो जाती है।)

विशेष रूप से रैंडमाइज्ड सर्च ह्यूरिस्टिक्स के संबंध में, विकास रणनीति का सहप्रसरण आव्यूह एक अदिश कारक और छोटे यादृच्छिक उतार-चढ़ाव तक हेस्सियन आव्यूह के व्युत्क्रम के लिए अनुकूल होता है।

यह परिणाम औपचारिक रूप से एकल-अभिभावक रणनीति और एक स्थिर मॉडल के लिए सिद्ध किया गया है, क्योंकि जनसंख्या का आकार बढ़ता है, द्विघात सन्निकटन पर निर्भर करता है।

अन्य अनुप्रयोग

हेस्सियन आव्यूह का उपयोग सामान्यतः मूर्ति प्रोद्योगिकी ऑपरेटरों को इमेज प्रोसेसिंग और कंप्यूटर दृष्टी में व्यक्त करने के लिए किया जाता है (गॉसियन (एलओजी) ब्लॉब डिटेक्टर के लाप्लासियन देखें, ब्लॉब डिटेक्शन हेस्सियन के निर्धारक | हेस्सियन (डीओएच) ब्लॉब डिटेक्टर और स्केल स्पेस के निर्धारक ). अवरक्त स्पेक्ट्रोस्कोपी में विभिन्न आणविक आवृत्तियों की गणना करने के लिए हेसियन आव्यूह का उपयोग सामान्य मोड विश्लेषण में भी किया जा सकता है।

सामान्यीकरण

सीमायुक्त हेसियन

सीमावर्ती हेसियन कुछ विवश अनुकूलन समस्याओं में दूसरे-व्युत्पन्न परीक्षण के लिए उपयोग किया जाता है। फंक्शन $f$ पहले माना जाता था, लेकिन एक बाधा कार्य जोड़ना $g$ ऐसा है कि $g(\mathbf {x} )=c,$ सीमावर्ती हेस्सियन लैग्रेंज गुणक का हेसियन है $\Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]:$

अगर हैं, तो कहें, $m$ बाधाओं तो ऊपरी-बाएँ कोने में शून्य एक है $m\times m$ शून्य का ब्लॉक, और वहाँ हैं $m$ शीर्ष पर सीमा पंक्तियाँ और $m$ बाईं ओर सीमा स्तंभ।

उपरोक्त नियम बताते हैं कि एक्स्ट्रेमा को एक सकारात्मक-निश्चित या नकारात्मक-निश्चित हेसियन द्वारा वर्णित किया गया है (एक गैर-एकवचन हेसियन के साथ महत्वपूर्ण बिंदुओं के बीच) यहां लागू नहीं हो सकता है क्योंकि एक सीमावर्ती हेसियन न तो नकारात्मक-निश्चित और न ही सकारात्मक-निश्चित हो सकता है, जैसा कि $\mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0$ यदि $\mathbf {z}$ कोई सदिश है जिसकी एकमात्र गैर-शून्य प्रविष्टि इसकी पहली है।

दूसरे व्युत्पन्न परीक्षण में एक निश्चित सेट के निर्धारकों के संकेत प्रतिबंध सम्मलित हैं $n-m$ सीमावर्ती हेसियन की उपमात्रियाँ। सरल रूप से, $m$ बाधाओं को समस्या को कम करने के रूप में सोचा जा सकता है $n-m$ मुक्त चर। (उदाहरण के लिए, अधिकतमकरण $f\left(x_{1},x_{2},x_{3}\right)$ प्रतिबंध के अधीन $x_{1}+x_{2}+x_{3}=1$ अधिकतम करने के लिए कम किया जा सकता है $f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)$ बिना किसी बाधा के।)

विशेष रूप से, सीमावर्ती हेस्सियन के प्रमुख (ऊपरी-बाएं-न्यायसंगत उप-मैट्रिसेस के निर्धारक) अनुक्रम पर संकेत लगाए जाते हैं, जिसके लिए पहले $2m$ प्रमुख की उपेक्षा की जाती है,सबसे छोटा अवयस्क को पहले काट दिया जाता है $2m+1$ पंक्तियाँ और स्तंभ, अगले में पहले काट दिया गया है $2m+2$ पंक्तियों और स्तंभों, और इसी प्रकार , अंतिम सीमा वाले हेस्सियन के साथ; यदि $2m+1$ से बड़ा है $n+m,$ तो सबसे छोटा अग्रणी प्रमुख हेस्सियन ही है। इस प्रकार हैं $n-m$ अवयस्क पर विचार करने के लिए, प्रत्येक का मूल्यांकन विशिष्ट बिंदु पर एक उम्मीदवार समाधान गणना के रूप में माना जाता है। एक स्थानीय के लिए एक पर्याप्त अनुबंध अधिक से अधिक यह है कि ये अवयस्क सबसे छोटे चिन्ह वाले हस्ताक्षर के साथ वैकल्पिक रूप से हस्ताक्षर करते हैं $(-1)^{m+1}.$ एक स्थानीय के लिए एक पर्याप्त अनुबंध अधिक से अधिक यह है कि इन सभीअवयस्क के हस्ताक्षर हैं $(-1)^{m}.$ (अप्रतिबंधित विषय में $m=0$ ये स्थितियाँ गैर-सीमारहित हेस्सियन के क्रमशः नकारात्मक निश्चित या सकारात्मक निश्चित होने की अनुबंध के साथ मेल खाती हैं)।

वेक्टर-मूल्यवान कार्य

यदि $f$ इसके अतिरिक्त एक सदिश क्षेत्र है $\mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},$ वह है,

$$\mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),$$

तो दूसरे आंशिक व्युत्पन्न का संग्रह नहीं है $n\times n$ आव्यूह, बल्कि एक तीसरे क्रम का टेन्सर। इसे एक सरणी के रूप में माना जा सकता है $m$ हेसियन आव्यूहों, के प्रत्येक घटक के लिए एक $\mathbf {f}$:

$$\mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).$$

यह टेन्सर सामान्य हेस्सियन आव्यूह में पतित हो जाता है जब $m=1.$

जटिल स्तिथि का सामान्यीकरण

कई जटिल चरों के संदर्भ में, हेस्सियन को सामान्यीकृत किया जा सकता है। मान लीजिए $f:\mathbb {C} ^{n}\to \mathbb {C} ,$ और लिखा $f\left(z_{1},\ldots ,z_{n}\right).$ फिर सामान्यीकृत हेस्सियन है ${\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.$ यदि $f$ n-आकार कॉची-रीमैन समीकरण | कॉची-रीमैन अनुबंध को संतुष्ट करता है, तो जटिल हेस्सियन आव्यूह समान रूप से शून्य है।

रीमानियन मैनिफोल्ड्स के लिए सामान्यीकरण

होने देना $(M,g)$ एक रीमैन कई गुना हो और $\nabla$ इसका लेवी-सिविटा कनेक्शन होने देना $f:M\to \mathbb {R}$ एक सुचारू कार्य हो। हेस्सियन टेन्सर को परिभाषित कीजिए

$$\operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,$$

जहां यह इस तथ्य का लाभ उठाता है कि किसी फलन का पहला सहपरिवर्ती अवकलज उसके साधारण अवकलज के समान होता है। स्थानीय निर्देशांक चुनना $\left\{x^{i}\right\}$ हेस्सियन के रूप में एक स्थानीय अभिव्यक्ति देता है

$$\operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}$$

जहां $\Gamma _{ij}^{k}$ कनेक्शन के क्रिस्टोफेल प्रतीक हैं। हेस्सियन के लिए अन्य समकक्ष रूप दिए गए हैं

$$\operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).$$

यह भी देखें

• हेस्सियन आव्यूह का निर्धारक एक सहसंयोजक है; बाइनरी फॉर्म का इनवेरिएंट देखें
• ध्रुवीकरण पहचान, हेस्सियन को शामिल करते हुए तेजी से गणना के लिए उपयोगी।
• Jacobian matrix
• Hessian equation

टिप्पणियाँ

अग्रिम पठन

• Lewis, David W. (1991). Matrix Theory. Singapore: World Scientific. ISBN 978-981-02-0689-5.
• Magnus, Jan R.; Neudecker, Heinz (1999). "The Second Differential". Matrix Differential Calculus : With Applications in Statistics and Econometrics (Revised ed.). New York: Wiley. pp. 99–115. ISBN 0-471-98633-X.

बाहरी संबंध

• "Hessian of a function", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Weisstein, Eric W. "Hessian". MathWorld.