हिंज लॉस
![](https://upload.wikimedia.org/wikipedia/commons/thumb/b/b5/Hinge_loss_vs_zero_one_loss.svg/langen-gb-300px-Hinge_loss_vs_zero_one_loss.svg.png)
मशीन लर्निंग में, हिंज लॉस एक हानि फलन के रूप में है। जिसका उपयोग सांख्यिकीय क्लासिफायर के प्रशिक्षण के लिए किया जाता है। हिंज लॉस का उपयोग अधिकतम-मार्जिन वर्गीकरण के लिए किया जाता है, विशेष रूप से सपोर्ट वेक्टर मशीन (एसवीएम) के ।[1] रूप में किया जाता है
किसी इच्छित आउटपुट के लिए t = ±1 और एक क्लासिफायर स्कोर y के लिए, भविष्यवाणी y के हिंज लॉस को इस प्रकार परिभाषित किया गया है.
ध्यान दें कि क्लासिफायरियर के निर्णय फलन का कच्चा आउटपुट होना चाहिए, न कि अनुमानित क्लास लेबल। उदाहरण के लिए, रैखिक एसवीएम में, , जहाँ हाइपरप्लेन के पैरामीटर के रूप में हैं और इनपुट वेरिएबल है।
जब t और y के चिन्ह का (अर्थ) एक ही है, y सही वर्ग की भविष्यवाणी करता है और , काज हानि . जब उनके विपरीत लक्षण हों, के साथ रैखिक रूप से बढ़ता है y, और इसी प्रकार यदि , यदि उसका चिह्न समान हो (भविष्यवाणी सही है, लेकिन पर्याप्त अंतर से नहीं होता है)।
एक्सटेंशन
जबकि बाइनरी एसवीएम को सामान्यतः एक-बनाम-सभी या एक-बनाम-एक फैशन में मल्टीक्लास वर्गीकरण तक विस्तारित किया जाता है,[2] इस प्रकार के अंत के लिए काज हानि को स्वयं बढ़ाना भी संभव है। मल्टीक्लास हिंज लॉस के कई भिन्न-भिन्न रूप प्रस्तावित किए गए हैं।[3] उदाहरण के लिए, क्रैमर और सिंगर[4] इसे एक रैखिक वर्गीकारक के रूप में परिभाषित किया गया है[5]
कहाँ लक्ष्य लेबल है, और मॉडल पैरामीटर हैं.
वेस्टन और वॉटकिंस ने एक समान परिभाषा प्रदान की, लेकिन अधिकतम के अतिरिक्त योग के साथ:[6][3]
संरचित भविष्यवाणी में, काज हानि को आगे संरचित आउटपुट समष्टि तक बढ़ाया जा सकता है। मार्जिन रीस्केलिंग के साथ संरचित समर्थन सदिश मशीन निम्नलिखित संस्करण का उपयोग करती है, जहां w एसवीएम के मापदंडों को दर्शाता है, y एसवीएम की भविष्यवाणियां, φ संयुक्त सुविधा फलन, और Δ हैमिंग हानि:
अनुकूलन
हिंज हानि एक उत्तल कार्य है, इसलिए मशीन लर्निंग में उपयोग किए जाने वाले कई सामान्य उत्तल ऑप्टिमाइज़र इसके साथ काम कर सकते हैं। यह अवकल कार्य नहीं है, लेकिन इसमें मॉडल पैरामीटर के संबंध में एक सबडेरिवेटिव # सबग्रेडिएंट है wस्कोर फलन के साथ एक रैखिक एसवीएम का जो कि दिया गया है
चूंकि, काज हानि के व्युत्पन्न के पश्चात से अपरिभाषित है, अनुकूलन के लिए चिकनाई संस्करणों को प्राथमिकता दी जा सकती है, जैसे रेनी और स्रेब्रो[7]
या चतुर्भुज रूप से चिकना किया गया
झांग द्वारा सुझाया गया।[8] वर्गीकरण के लिए ह्यूबर लॉस#वेरिएंट इस हानि फलन का एक विशेष स्थिति है , विशेष रूप से .
यह भी देखें
संदर्भ
- ↑ Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). "Are Loss Functions All the Same?" (PDF). Neural Computation. 16 (5): 1063–1076. CiteSeerX 10.1.1.109.6786. doi:10.1162/089976604773135104. PMID 15070510.
- ↑ Duan, K. B.; Keerthi, S. S. (2005). "Which Is the Best Multiclass SVM Method? An Empirical Study" (PDF). मल्टीपल क्लासिफायर सिस्टम. LNCS. Vol. 3541. pp. 278–285. CiteSeerX 10.1.1.110.6789. doi:10.1007/11494683_28. ISBN 978-3-540-26306-7.
- ↑ 3.0 3.1 Doğan, Ürün; Glasmachers, Tobias; Igel, Christian (2016). "मल्टी-क्लास सपोर्ट वेक्टर वर्गीकरण पर एक एकीकृत दृश्य" (PDF). Journal of Machine Learning Research. 17: 1–32.
- ↑ Crammer, Koby; Singer, Yoram (2001). "मल्टीक्लास कर्नेल-आधारित वेक्टर मशीनों के एल्गोरिथम कार्यान्वयन पर" (PDF). Journal of Machine Learning Research. 2: 265–292.
- ↑ Moore, Robert C.; DeNero, John (2011). "L1 and L2 regularization for multiclass hinge loss models" (PDF). Proc. Symp. on Machine Learning in Speech and Language Processing.
- ↑ Weston, Jason; Watkins, Chris (1999). "मल्टी-क्लास पैटर्न पहचान के लिए वेक्टर मशीनों का समर्थन करें" (PDF). European Symposium on Artificial Neural Networks.
- ↑ Rennie, Jason D. M.; Srebro, Nathan (2005). Loss Functions for Preference Levels: Regression with Discrete Ordered Labels (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling.
- ↑ Zhang, Tong (2004). स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग करके बड़े पैमाने पर रैखिक भविष्यवाणी समस्याओं को हल करना (PDF). ICML.