हिंज लॉस: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 1: Line 1:
{{Short description|Loss function in machine learning}}
{{Short description|Loss function in machine learning}}
[[File:Hinge loss vs zero one loss.svg|thumb|ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है {{math|''t'' {{=}} 1}}, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है {{mvar|y}}. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है {{math|''y'' < 1}}, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।]][[ यंत्र अधिगम | मशीन लर्निंग]] में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग [[सांख्यिकीय वर्गीकरण|सांख्यिकीय क्लासिफायर]] के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के रूप में किया जाता है, विशेष रूप से [[ समर्थन वेक्टर यंत्र | सपोर्ट वेक्टर मशीन]]  (एसवीएम) के ।<ref>{{Cite journal | last1 = Rosasco | first1 = L. | last2 = De Vito | first2 = E. D. | last3 = Caponnetto | first3 = A. | last4 = Piana | first4 = M. | last5 = Verri | first5 = A. | url = http://web.mit.edu/lrosasco/www/publications/loss.pdf| title = Are Loss Functions All the Same? | doi = 10.1162/089976604773135104 | journal = Neural Computation | volume = 16 | issue = 5 | pages = 1063–1076 | year = 2004 | pmid =  15070510| citeseerx = 10.1.1.109.6786 }}</ref> रूप में किया जाता है.  
[[File:Hinge loss vs zero one loss.svg|thumb|ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है {{math|''t'' {{=}} 1}}, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है {{mvar|y}}. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है {{math|''y'' < 1}}, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।]][[ यंत्र अधिगम | मशीन लर्निंग]] में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग [[सांख्यिकीय वर्गीकरण|सांख्यिकीय क्लासिफायर]] के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के रूप में किया जाता है, विशेष रूप से [[ समर्थन वेक्टर यंत्र | सपोर्ट वेक्टर मशीन]]  (एसवीएम) के ।<ref>{{Cite journal | last1 = Rosasco | first1 = L. | last2 = De Vito | first2 = E. D. | last3 = Caponnetto | first3 = A. | last4 = Piana | first4 = M. | last5 = Verri | first5 = A. | url = http://web.mit.edu/lrosasco/www/publications/loss.pdf| title = Are Loss Functions All the Same? | doi = 10.1162/089976604773135104 | journal = Neural Computation | volume = 16 | issue = 5 | pages = 1063–1076 | year = 2004 | pmid =  15070510| citeseerx = 10.1.1.109.6786 }}</ref> रूप में किया जाता है.  
किसी इच्छित आउटपुट के लिए {{math|''t'' {{=}} ±1}} और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.
किसी वांछित आउटपुट के लिए {{math|''t'' {{=}} ±1}} और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.


:<math>\ell(y) = \max(0, 1-t \cdot y)</math>
:<math>\ell(y) = \max(0, 1-t \cdot y)</math>

Revision as of 16:14, 8 August 2023

ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है t = 1, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है y. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है y < 1, एक सपोर्ट सदिश मशीन में मार्जिन की धारणा के अनुरूप।

मशीन लर्निंग में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग सांख्यिकीय क्लासिफायर के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के रूप में किया जाता है, विशेष रूप से सपोर्ट वेक्टर मशीन (एसवीएम) के ।[1] रूप में किया जाता है.

किसी वांछित आउटपुट के लिए t = ±1 और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.

ध्यान दें कि क्लासिफायर के निर्णय फलन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, , जहाँ हाइपरप्लेन के पैरामीटर के रूप में हैं और इनपुट वेरिएबल है।

जब t और y के चिन्ह का (अर्थ) एक ही है, y सही वर्ग की भविष्यवाणी करता है और , काज हानि . जब उनके विपरीत लक्षण हों, के साथ रैखिक रूप से बढ़ता है y, और इसी प्रकार यदि , यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं होता है)।

एक्सटेंशन

जबकि बाइनरी एसवीएम को सामान्यतः एक बनाम सभी या एक बनाम एक फैशन में मल्टीक्लास वर्गीकरण के रूप में विस्तारित किया जाता है,[2]

इस तरह के अंत के लिए हिंज लॉस का विस्तार करना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं।[3] उदाहरण के लिए, क्रैमर और सिंगर[4]

इसे एक रैखिक क्लासिफायर के रूप में परिभाषित किया गया है[5]

जहाँ लक्ष्य लेबल है, और मॉडल पैरामीटर के रूप हैं.

वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की लेकिन अधिकतम अतिरिक्त योग के साथ किया जाता है:[6][3]

संरचित भविष्यवाणी में, काज हानि को आगे संरचित आउटपुट समष्टि के रूप में बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित सपोर्ट वेक्टर मशीन निम्नलिखित वेरिएंट का उपयोग करते है, जहां w एसवीएम के मापदंडों को दर्शाता है, y एसवीएम की भविष्यवाणियां, φ संयुक्त सुविधा फलन और Δ हैमिंग हानि:के रूप में होते है.

अनुकूलन

हिंज हानि एक उत्तल कार्य है, इसलिए मशीन लर्निंग के रूप में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह अवकल कार्य के रूप में नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबग्रेडिएंट के रूप में है, w स्कोर फलन के साथ एक रैखिक एसवीएम का जो कि दिया गया है.

एक फलन के रूप में काज हानि के तीन प्रकारों का आलेख z = ty: सामान्य संस्करण (नीला), इसका वर्गाकार (हरा), और रेनी और स्रेब्रो द्वारा टुकड़ा-वार चिकना संस्करण (लाल)। y-अक्ष है l(y) काज हानि, और x-अक्ष पैरामीटर है t

चूंकि, काज हानि के व्युत्पन्न के पश्चात से अपरिभाषित है, अनुकूलन के लिए स्मूथ संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो[7]

या चतुर्भुज रूप से स्मूथ किया गया है,

झांग द्वारा सुझाया गया।[8] वर्गीकरण के लिए ह्यूबर हानि वेरिएंट इस हानि फलन का एक विशेष स्थिति है , विशेष रूप से है.

यह भी देखें

संदर्भ

  1. Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). "Are Loss Functions All the Same?" (PDF). Neural Computation. 16 (5): 1063–1076. CiteSeerX 10.1.1.109.6786. doi:10.1162/089976604773135104. PMID 15070510.
  2. Duan, K. B.; Keerthi, S. S. (2005). "Which Is the Best Multiclass SVM Method? An Empirical Study" (PDF). मल्टीपल क्लासिफायर सिस्टम. LNCS. Vol. 3541. pp. 278–285. CiteSeerX 10.1.1.110.6789. doi:10.1007/11494683_28. ISBN 978-3-540-26306-7.
  3. 3.0 3.1 Doğan, Ürün; Glasmachers, Tobias; Igel, Christian (2016). "मल्टी-क्लास सपोर्ट वेक्टर वर्गीकरण पर एक एकीकृत दृश्य" (PDF). Journal of Machine Learning Research. 17: 1–32.
  4. Crammer, Koby; Singer, Yoram (2001). "मल्टीक्लास कर्नेल-आधारित वेक्टर मशीनों के एल्गोरिथम कार्यान्वयन पर" (PDF). Journal of Machine Learning Research. 2: 265–292.
  5. Moore, Robert C.; DeNero, John (2011). "L1 and L2 regularization for multiclass hinge loss models" (PDF). Proc. Symp. on Machine Learning in Speech and Language Processing.
  6. Weston, Jason; Watkins, Chris (1999). "मल्टी-क्लास पैटर्न पहचान के लिए वेक्टर मशीनों का समर्थन करें" (PDF). European Symposium on Artificial Neural Networks.
  7. Rennie, Jason D. M.; Srebro, Nathan (2005). Loss Functions for Preference Levels: Regression with Discrete Ordered Labels (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling.
  8. Zhang, Tong (2004). स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग करके बड़े पैमाने पर रैखिक भविष्यवाणी समस्याओं को हल करना (PDF). ICML.