हेस्सियन आव्यूह

गणित में, हेसियन मैट्रिक्स या हेसियन एक स्केलर-वैल्यूड फ़ंक्शन (गणित), या अदिश क्षेत्र के दूसरे क्रम के आंशिक डेरिवेटिव का एक स्क्वायर मैट्रिक्स है। यह कई चरों के एक समारोह के स्थानीय वक्रता का वर्णन करता है। हेसियन मैट्रिक्स को 19वीं शताब्दी में जर्मन गणितज्ञ ओटो हेस्से द्वारा विकसित किया गया था और बाद में उनके नाम पर इसका नाम रखा गया। हेसे ने मूल रूप से कार्यात्मक निर्धारक शब्द का इस्तेमाल किया था।

परिभाषाएँ और गुण

मान लीजिए $f:\mathbb {R} ^{n}\to \mathbb {R}$ इनपुट के रूप में एक वेक्टर लेने वाला एक फ़ंक्शन है $\mathbf {x} \in \mathbb {R} ^{n}$ और एक स्केलर आउटपुट करना $f(\mathbf {x} )\in \mathbb {R} .$ यदि सभी दूसरे क्रम के आंशिक डेरिवेटिव $f$ मौजूद है, तो हेस्सियन मैट्रिक्स $\mathbf {H}$ का $f$ एक वर्ग है $n\times n$ मैट्रिक्स, आमतौर पर निम्नानुसार परिभाषित और व्यवस्थित किया जाता है:

$$\mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}},$$

या, सूचकांकों i और j का उपयोग करके गुणांकों के लिए एक समीकरण बताकर,

$$(\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.$$

यदि इसके अलावा दूसरे आंशिक डेरिवेटिव सभी निरंतर हैं, हेस्सियन मैट्रिक्स दूसरे डेरिवेटिव की समरूपता द्वारा एक सममित मैट्रिक्स है।

हेसियन मैट्रिक्स के निर्धारक को कहा जाता है Hessian determinant. किसी फ़ंक्शन का हेसियन मैट्रिक्स $f$ फ़ंक्शन के ढाल का जैकबियन मैट्रिक्स है $f$; वह है: $\mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} )).$

अनुप्रयोग

मोड़ बिंदु

यदि $f$ तीन चर, समीकरण में एक सजातीय बहुपद है $f=0$ समतल प्रक्षेपी वक्र का निहित समीकरण है। वक्र के विभक्ति बिंदु बिल्कुल गैर-एकवचन बिंदु हैं जहां हेस्सियन निर्धारक शून्य है। यह बेज़ाउट के प्रमेय द्वारा अनुसरण करता है कि एक क्यूबिक समतल वक्र में अधिकतम होता है $9$ विभक्ति बिंदु, चूंकि हेसियन निर्धारक डिग्री का बहुपद है $3.$

द्वितीय-व्युत्पन्न परीक्षण

Main article: Second partial derivative test

उत्तल फ़ंक्शन का हेस्सियन मैट्रिक्स सकारात्मक अर्ध-निश्चित मैट्रिक्स | सकारात्मक अर्ध-निश्चित है। इस संपत्ति को परिष्कृत करने से हमें यह परीक्षण करने की अनुमति मिलती है कि क्या एक महत्वपूर्ण बिंदु (गणित) $x$ एक स्थानीय अधिकतम, स्थानीय न्यूनतम, या एक काठी बिंदु निम्नानुसार है:

यदि हेस्सियन सकारात्मक-निश्चित मैट्रिक्स | सकारात्मक-निश्चित है $x,$ फिर $f$ पर एक पृथक स्थानीय न्यूनतम प्राप्त करता है $x.$ यदि हेसियन सकारात्मक-निश्चित मैट्रिक्स # नकारात्मक-निश्चित, अर्ध-निश्चित और अनिश्चित मैट्रिक्स है। नकारात्मक-निश्चित $x,$ फिर $f$ पर एक पृथक स्थानीय अधिकतम प्राप्त करता है $x.$ यदि हेस्सियन के पास सकारात्मक और नकारात्मक दोनों eigenvalues ​​​​हैं, तो $x$ के लिए एक काठी बिंदु है $f.$ अन्यथा परीक्षण अनिर्णायक है। इसका तात्पर्य है कि स्थानीय न्यूनतम पर हेस्सियन धनात्मक-अर्ध-परिमित है, और स्थानीय अधिकतम पर हेस्सियन ऋणात्मक-अर्द्ध-परिमित है।

सकारात्मक-अर्ध-निश्चित और नकारात्मक-अर्ध-अर्ध-अर्ध हेसियन के लिए परीक्षण अनिर्णायक है (एक महत्वपूर्ण बिंदु जहां हेसियन अर्ध-निश्चित है लेकिन निश्चित नहीं है, स्थानीय चरम या काठी बिंदु हो सकता है)। हालाँकि, मोर्स सिद्धांत के दृष्टिकोण से अधिक कहा जा सकता है।

सामान्य मामले की तुलना में एक और दो चर के कार्यों के लिए दूसरा-व्युत्पन्न परीक्षण सरल है। एक चर में, हेसियन में ठीक एक सेकंड का व्युत्पन्न होता है; अगर यह सकारात्मक है, तो $x$ एक स्थानीय न्यूनतम है, और यदि यह ऋणात्मक है, तो $x$ एक स्थानीय अधिकतम है; यदि यह शून्य है, तो परीक्षण अनिर्णायक है। दो चरों में, निर्धारक का उपयोग किया जा सकता है, क्योंकि निर्धारक eigenvalues ​​​​का उत्पाद है। यदि यह धनात्मक है, तो आइगेनमान दोनों धनात्मक या दोनों ऋणात्मक होते हैं। यदि यह ऋणात्मक है, तो दो eigenvalues ​​​​के अलग-अलग संकेत हैं। यदि यह शून्य है, तो दूसरा-व्युत्पन्न परीक्षण अनिर्णायक है।

समतुल्य रूप से, दूसरे क्रम की शर्तें जो स्थानीय न्यूनतम या अधिकतम के लिए पर्याप्त हैं, हेसियन के प्रिंसिपल (ऊपरी-बाएं) माइनर (रैखिक बीजगणित) (उप-मैट्रिसेस के निर्धारक) के अनुक्रम के संदर्भ में व्यक्त की जा सकती हैं; ये स्थितियाँ उन स्थितियों का एक विशेष मामला हैं जो अगले खंड में विवश अनुकूलन के लिए सीमाबद्ध हेसियन के लिए दी गई हैं - ऐसे मामले जिनमें बाधाओं की संख्या शून्य है। विशेष रूप से, न्यूनतम के लिए पर्याप्त शर्त यह है कि ये सभी प्रमुख नाबालिग सकारात्मक हों, जबकि अधिकतम के लिए पर्याप्त शर्त यह है कि नाबालिग वैकल्पिक रूप से साइन इन करें $1\times 1$ माइनर नेगेटिव है।

महत्वपूर्ण बिंदु

यदि किसी फ़ंक्शन का ग्रेडिएंट (आंशिक डेरिवेटिव का वेक्टर)। $f$ किसी बिंदु पर शून्य है $\mathbf {x} ,$ फिर $f$ एक critical point (या stationary point) पर $\mathbf {x} .$ हेस्सियन के निर्धारक पर $\mathbf {x}$ कुछ संदर्भों में, एक विवेकशील कहा जाता है। यदि यह निर्धारक शून्य है तो $\mathbf {x}$ ए कहा जाता है degenerate critical point का $f,$ या ए non-Morse critical point का $f.$ अन्यथा यह गैर-पतित है, और कहा जाता है Morse critical point का $f.$ हेस्सियन मैट्रिक्स मोर्स सिद्धांत और तबाही सिद्धांत में एक महत्वपूर्ण भूमिका निभाता है, क्योंकि इसके मैट्रिक्स और आइगेनवैल्यू के कर्नेल महत्वपूर्ण बिंदुओं के वर्गीकरण की अनुमति देते हैं। हेसियन मैट्रिक्स का निर्धारक, जब किसी फ़ंक्शन के महत्वपूर्ण बिंदु पर मूल्यांकन किया जाता है, तो फ़ंक्शन के गॉसियन वक्रता के बराबर होता है जिसे कई गुना माना जाता है। उस बिंदु पर हेसियन के eigenvalues ​​​​फ़ंक्शन के प्रमुख वक्रता हैं, और eigenvectors वक्रता की प्रमुख दिशाएँ हैं। (देखना Gaussian curvature § Relation to principal curvatures.)

अनुकूलन में उपयोग

हेसियन मेट्रिसेस का उपयोग अनुकूलन-प्रकार के तरीकों में न्यूटन की पद्धति के भीतर बड़े पैमाने पर गणितीय अनुकूलन समस्याओं में किया जाता है क्योंकि वे किसी फ़ंक्शन के स्थानीय टेलर विस्तार के द्विघात पद के गुणांक हैं। वह है,

$$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathrm {T} }\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathrm {T} }\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x}$$

कहाँ पे $\nabla f$ ढाल है $\left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).$ कम्प्यूटिंग और पूर्ण हेस्सियन मैट्रिक्स को संग्रहीत करने में बिग थीटा लगता है$\Theta \left(n^{2}\right)$स्मृति, जो उच्च-आयामी कार्यों जैसे कृत्रिम तंत्रिका नेटवर्क के नुकसान कार्यों, सशर्त यादृच्छिक क्षेत्रों और बड़ी संख्या में मापदंडों के साथ अन्य सांख्यिकीय मॉडल के लिए अक्षम्य है। ऐसी स्थितियों के लिएकटा हुआ न्यूटन विधि विधि|ट्रंकेटेड-न्यूटन और क्वैसी-न्यूटन विधि|क्वैसी-न्यूटन एल्गोरिदम विकसित किए गए हैं। एल्गोरिदम का बाद वाला परिवार हेसियन के सन्निकटन का उपयोग करता है; सबसे लोकप्रिय अर्ध-न्यूटन एल्गोरिदम में से एक है ब्रॉयडेन-फ्लेचर-गोल्डफार्ब-शन्नो एल्गोरिथम। इस तरह के सन्निकटन इस तथ्य का उपयोग कर सकते हैं कि एक अनुकूलन एल्गोरिथ्म हेस्सियन का उपयोग केवल एक रैखिक ऑपरेटर के रूप में करता है $\mathbf {H} (\mathbf {v} ),$ और पहले ध्यान देकर आगे बढ़ें कि हेस्सियन ढाल के स्थानीय विस्तार में भी प्रकट होता है:

$$\nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})$$

दे $\Delta \mathbf {x} =r\mathbf {v}$ कुछ अदिश के लिए $r,$ यह देता है

$$\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),$$

वह है,

$$\mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)$$

इसलिए यदि ग्रेडिएंट की गणना पहले ही की जा चुकी है, तो अनुमानित हेसियन की गणना एक रैखिक (ग्रेडिएंट के आकार में) स्केलर परिचालनों की संख्या द्वारा की जा सकती है। (प्रोग्राम के लिए सरल होने पर, यह सन्निकटन योजना संख्यात्मक रूप से स्थिर नहीं है $r$ की वजह से त्रुटि को रोकने के लिए छोटा किया जाना है ${\mathcal {O}}(r)$ अवधि, लेकिन इसे कम करने से पहले कार्यकाल में सटीकता खो जाती है।)

विशेष रूप से रैंडमाइज्ड सर्च ह्यूरिस्टिक्स के संबंध में, विकास रणनीति का सहप्रसरण मैट्रिक्स एक स्केलर कारक और छोटे यादृच्छिक उतार-चढ़ाव तक हेस्सियन मैट्रिक्स के व्युत्क्रम के लिए अनुकूल होता है। यह परिणाम औपचारिक रूप से एकल-अभिभावक रणनीति और एक स्थिर मॉडल के लिए सिद्ध किया गया है, क्योंकि जनसंख्या का आकार बढ़ता है, द्विघात सन्निकटन पर निर्भर करता है।

अन्य अनुप्रयोग

हेस्सियन मैट्रिक्स का उपयोग आमतौर पर मूर्ति प्रोद्योगिकी ऑपरेटरों को इमेज प्रोसेसिंग और कंप्यूटर दृष्टी में व्यक्त करने के लिए किया जाता है (गॉसियन (LoG) ब्लॉब डिटेक्टर के लाप्लासियन देखें, ब्लॉब डिटेक्शन # हेस्सियन के निर्धारक | हेस्सियन (DoH) ब्लॉब डिटेक्टर और स्केल स्पेस के निर्धारक ). अवरक्त स्पेक्ट्रोस्कोपी में विभिन्न आणविक आवृत्तियों की गणना करने के लिए हेसियन मैट्रिक्स का उपयोग सामान्य मोड विश्लेषण में भी किया जा सकता है।

सामान्यीकरण

सीमायुक्त हेसियन

एbordered Hessianकुछ विवश अनुकूलन समस्याओं में दूसरे-व्युत्पन्न परीक्षण के लिए उपयोग किया जाता है। समारोह दिया $f$ पहले माना जाता था, लेकिन एक बाधा कार्य जोड़ना $g$ ऐसा है कि $g(\mathbf {x} )=c,$ सीमावर्ती हेस्सियन लैग्रेंज गुणक का हेसियन है $\Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]:$

अगर हैं, तो कहें, $m$ बाधाओं तो ऊपरी-बाएँ कोने में शून्य एक है $m\times m$ शून्य का ब्लॉक, और वहाँ हैं $m$ शीर्ष पर सीमा पंक्तियाँ और $m$ बाईं ओर सीमा स्तंभ।

उपरोक्त नियम बताते हैं कि एक्स्ट्रेमा को एक सकारात्मक-निश्चित या नकारात्मक-निश्चित हेसियन द्वारा वर्णित किया गया है (एक गैर-एकवचन हेसियन के साथ महत्वपूर्ण बिंदुओं के बीच) यहां लागू नहीं हो सकता है क्योंकि एक सीमावर्ती हेसियन न तो नकारात्मक-निश्चित और न ही सकारात्मक-निश्चित हो सकता है, जैसा कि $\mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0$ यदि $\mathbf {z}$ कोई सदिश है जिसकी एकमात्र गैर-शून्य प्रविष्टि इसकी पहली है।

दूसरे व्युत्पन्न परीक्षण में एक निश्चित सेट के निर्धारकों के संकेत प्रतिबंध शामिल हैं $n-m$ सीमावर्ती हेसियन की उपमात्रियाँ। सहज रूप से, $m$ बाधाओं को समस्या को कम करने के रूप में सोचा जा सकता है $n-m$ मुक्त चर। (उदाहरण के लिए, का अधिकतमकरण $f\left(x_{1},x_{2},x_{3}\right)$ प्रतिबंध के अधीन $x_{1}+x_{2}+x_{3}=1$ अधिकतम करने के लिए कम किया जा सकता है $f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)$ बिना किसी बाधा के।)

विशेष रूप से, सीमावर्ती हेस्सियन के प्रमुख प्रमुख नाबालिगों (ऊपरी-बाएं-न्यायसंगत उप-मैट्रिसेस के निर्धारक) के अनुक्रम पर संकेत शर्तें लगाई जाती हैं, जिसके लिए पहले $2m$ प्रमुख प्रमुख नाबालिगों की उपेक्षा की जाती है, सबसे छोटे नाबालिगों में पहले काट दिया जाता है $2m+1$ पंक्तियाँ और स्तंभ, अगले में पहले काट दिया गया है $2m+2$ पंक्तियों और स्तंभों, और इसी तरह, अंतिम सीमा वाले हेस्सियन के साथ; यदि $2m+1$ से बड़ा है $n+m,$ तो सबसे छोटा अग्रणी प्रमुख नाबालिग हेस्सियन ही है। इस प्रकार हैं $n-m$ नाबालिगों पर विचार करने के लिए, प्रत्येक का मूल्यांकन विशिष्ट बिंदु पर एक उम्मीदवार समाधान # कैलकुलस के रूप में माना जाता है। एक स्थानीय के लिए एक पर्याप्त शर्त maximum यह है कि ये अवयस्क सबसे छोटे चिन्ह वाले हस्ताक्षर के साथ वैकल्पिक रूप से हस्ताक्षर करते हैं $(-1)^{m+1}.$ एक स्थानीय के लिए एक पर्याप्त शर्त minimum यह है कि इन सभी नाबालिगों के हस्ताक्षर हैं $(-1)^{m}.$ (अप्रतिबंधित मामले में $m=0$ ये स्थितियाँ गैर-सीमारहित हेस्सियन के क्रमशः नकारात्मक निश्चित या सकारात्मक निश्चित होने की शर्तों के साथ मेल खाती हैं)।

वेक्टर-मूल्यवान कार्य

यदि $f$ इसके बजाय एक सदिश क्षेत्र है $\mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},$ वह है,

$$\mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),$$

तो दूसरे आंशिक डेरिवेटिव का संग्रह नहीं है $n\times n$ मैट्रिक्स, बल्कि एक तीसरे क्रम का टेन्सर। इसे एक सरणी के रूप में माना जा सकता है $m$ हेसियन मेट्रिसेस, के प्रत्येक घटक के लिए एक $\mathbf {f}$:

$$\mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).$$

यह टेन्सर सामान्य हेस्सियन मैट्रिक्स में पतित हो जाता है जब $m=1.$

जटिल मामले का सामान्यीकरण

कई जटिल चरों के संदर्भ में, हेस्सियन को सामान्यीकृत किया जा सकता है। मान लीजिए $f:\mathbb {C} ^{n}\to \mathbb {C} ,$ और लिखा $f\left(z_{1},\ldots ,z_{n}\right).$ फिर सामान्यीकृत हेस्सियन है ${\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.$ यदि $f$ एन-डायमेंशनल कॉची-रीमैन समीकरण | कॉची-रीमैन शर्तों को संतुष्ट करता है, तो जटिल हेस्सियन मैट्रिक्स समान रूप से शून्य है।

रीमानियन मैनिफोल्ड्स के लिए सामान्यीकरण

होने देना $(M,g)$ एक Riemannian कई गुना हो और $\nabla$ इसका लेवी-Civita कनेक्शन होने देना $f:M\to \mathbb {R}$ एक सुचारू कार्य हो। हेस्सियन टेन्सर को परिभाषित कीजिए

$$\operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,$$

जहां यह इस तथ्य का लाभ उठाता है कि किसी फलन का पहला सहपरिवर्ती अवकलज उसके साधारण अवकलज के समान होता है। स्थानीय निर्देशांक चुनना $\left\{x^{i}\right\}$ हेस्सियन के रूप में एक स्थानीय अभिव्यक्ति देता है

$$\operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}$$

कहाँ पे $\Gamma _{ij}^{k}$ कनेक्शन के क्रिस्टोफेल प्रतीक हैं। हेस्सियन के लिए अन्य समकक्ष रूप दिए गए हैं

$$\operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).$$

यह भी देखें

• हेस्सियन मैट्रिक्स का निर्धारक एक सहसंयोजक है; बाइनरी फॉर्म का इनवेरिएंट देखें
• ध्रुवीकरण पहचान, हेस्सियन को शामिल करते हुए तेजी से गणना के लिए उपयोगी।
• Jacobian matrix
• Hessian equation

टिप्पणियाँ

अग्रिम पठन

• Lewis, David W. (1991). Matrix Theory. Singapore: World Scientific. ISBN 978-981-02-0689-5.
• Magnus, Jan R.; Neudecker, Heinz (1999). "The Second Differential". Matrix Differential Calculus : With Applications in Statistics and Econometrics (Revised ed.). New York: Wiley. pp. 99–115. ISBN 0-471-98633-X.

बाहरी संबंध

• "Hessian of a function", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Weisstein, Eric W. "Hessian". MathWorld.