हिंज लॉस

From Vigyanwiki
Revision as of 03:29, 26 July 2023 by alpha>Indicwiki (Created page with "{{Short description|Loss function in machine learning}} File:Hinge loss vs zero one loss.svg|thumb|ऊर्ध्वाधर अक्ष निश्चित के ल...")
(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)
ऊर्ध्वाधर अक्ष निश्चित के लिए हिंज हानि (नीले रंग में) और शून्य-एक हानि (हरे रंग में) के मूल्य का प्रतिनिधित्व करता है t = 1, जबकि क्षैतिज अक्ष भविष्यवाणी के मूल्य का प्रतिनिधित्व करता है y. कथानक से पता चलता है कि हिंज हानि भविष्यवाणियों को दंडित करती है y < 1, एक सपोर्ट वेक्टर मशीन में मार्जिन की धारणा के अनुरूप।

यंत्र अधिगम में, हिंज लॉस एक हानि फ़ंक्शन है जिसका उपयोग सांख्यिकीय वर्गीकरण के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से समर्थन वेक्टर यंत्र ों (एसवीएम) के लिए।[1]

किसी इच्छित आउटपुट के लिए t = ±1 और एक क्लासिफायर स्कोर y, भविष्यवाणी का टिका नुकसान y परिभाषित किया जाता है

ध्यान दें कि क्लासिफायरियर के निर्णय फ़ंक्शन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, , कहाँ हाइपरप्लेन के पैरामीटर हैं और इनपुट वेरिएबल है।

कब t और y का चिन्ह (अर्थ) एक ही है y सही वर्ग की भविष्यवाणी करता है) और , काज हानि . जब उनके विपरीत लक्षण हों, के साथ रैखिक रूप से बढ़ता है y, और इसी प्रकार यदि , भले ही उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं)।

एक्सटेंशन

जबकि बाइनरी एसवीएम को आमतौर पर एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है,[2] इस तरह के अंत के लिए काज हानि को स्वयं बढ़ाना भी संभव है। मल्टीक्लास हिंज लॉस के कई अलग-अलग रूप प्रस्तावित किए गए हैं।[3] उदाहरण के लिए, क्रैमर और सिंगर[4] इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है[5]

कहाँ लक्ष्य लेबल है, और मॉडल पैरामीटर हैं.

वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की, लेकिन अधिकतम के बजाय योग के साथ:[6][3]

संरचित भविष्यवाणी में, काज हानि को आगे संरचित आउटपुट स्थानों तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित समर्थन वेक्टर मशीन निम्नलिखित संस्करण का उपयोग करती है, जहां w एसवीएम के मापदंडों को दर्शाता है, y एसवीएम की भविष्यवाणियां, φ संयुक्त सुविधा फ़ंक्शन, और Δ हैमिंग हानि:


अनुकूलन

हिंज हानि एक उत्तल कार्य है, इसलिए मशीन लर्निंग में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह विभेदक कार्य नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबडेरिवेटिव # सबग्रेडिएंट है wस्कोर फ़ंक्शन के साथ एक रैखिक एसवीएम का जो कि दिया गया है

एक फ़ंक्शन के रूप में काज हानि के तीन प्रकारों का प्लॉट z = ty: सामान्य संस्करण (नीला), इसका वर्गाकार (हरा), और रेनी और स्रेब्रो द्वारा टुकड़ा-वार चिकना संस्करण (लाल)। y-अक्ष है l(y) काज हानि, और x-अक्ष पैरामीटर है t

हालाँकि, काज हानि के व्युत्पन्न के बाद से अपरिभाषित है, अनुकूलन के लिए चिकनाई संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो[7]

या चतुर्भुज रूप से चिकना किया गया

झांग द्वारा सुझाया गया।[8] वर्गीकरण के लिए ह्यूबर लॉस#वेरिएंट इस हानि फ़ंक्शन का एक विशेष मामला है , विशेष रूप से .

यह भी देखें

संदर्भ

  1. Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). "Are Loss Functions All the Same?" (PDF). Neural Computation. 16 (5): 1063–1076. CiteSeerX 10.1.1.109.6786. doi:10.1162/089976604773135104. PMID 15070510.
  2. Duan, K. B.; Keerthi, S. S. (2005). "Which Is the Best Multiclass SVM Method? An Empirical Study" (PDF). मल्टीपल क्लासिफायर सिस्टम. LNCS. Vol. 3541. pp. 278–285. CiteSeerX 10.1.1.110.6789. doi:10.1007/11494683_28. ISBN 978-3-540-26306-7.
  3. 3.0 3.1 Doğan, Ürün; Glasmachers, Tobias; Igel, Christian (2016). "मल्टी-क्लास सपोर्ट वेक्टर वर्गीकरण पर एक एकीकृत दृश्य" (PDF). Journal of Machine Learning Research. 17: 1–32.
  4. Crammer, Koby; Singer, Yoram (2001). "मल्टीक्लास कर्नेल-आधारित वेक्टर मशीनों के एल्गोरिथम कार्यान्वयन पर" (PDF). Journal of Machine Learning Research. 2: 265–292.
  5. Moore, Robert C.; DeNero, John (2011). "L1 and L2 regularization for multiclass hinge loss models" (PDF). Proc. Symp. on Machine Learning in Speech and Language Processing.
  6. Weston, Jason; Watkins, Chris (1999). "मल्टी-क्लास पैटर्न पहचान के लिए वेक्टर मशीनों का समर्थन करें" (PDF). European Symposium on Artificial Neural Networks.
  7. Rennie, Jason D. M.; Srebro, Nathan (2005). Loss Functions for Preference Levels: Regression with Discrete Ordered Labels (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling.
  8. Zhang, Tong (2004). स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग करके बड़े पैमाने पर रैखिक भविष्यवाणी समस्याओं को हल करना (PDF). ICML.