हाइपरपैरामीटर (मशीन लर्निंग)

From Vigyanwiki
Not to be confused with हाइपरपैरामीटर (बायेसियन).

मशीन लर्निंग में, हाइपरपैरामीटर एक पैरामीटर है जिसका मान सीखने की प्रक्रिया को नियंत्रित करने के लिए उपयोग किया जाता है। इसके विपरीत, अन्य मापदंडों (सामान्यतः नोड वेट) के मान प्रशिक्षण के माध्यम से प्राप्त किए जाते हैं।

इस प्रकार से हाइपरपैरामीटर को मॉडल हाइपरपैरामीटर के रूप में वर्गीकृत किया जा सकता है, जिसका अनुमान मॉडल फिटिंग के समय नहीं लगाया जा सकता क्योंकि वे मॉडल सिलेक्शन कार्य, या एल्गोरिदम हाइपरपैरामीटर को संदर्भित करते हैं, जो की सिद्धांत रूप में मॉडल के प्रदर्शन पर कोई प्रभाव नहीं डालते हैं किन्तु सीखने की प्रक्रिया की गति और गुणवत्ता को प्रभावित करते हैं। अतः मॉडल हाइपरपैरामीटर का उदाहरण न्यूरल नेटवर्क और टोपोलॉजी आकार है। इस प्रकार से एल्गोरिदम हाइपरपैरामीटर के उदाहरण लर्निंग रेट और बैच आकार के साथ-साथ मिनी-बैच आकार हैं। अतः बैच आकार पूर्ण डेटा नमूने को संदर्भित कर सकता है जहां मिनी-बैच आकार छोटा नमूना सेट है।

किन्तु विभिन्न मॉडल प्रशिक्षण एल्गोरिदम को भिन्न-भिन्न हाइपरपैरामीटर की आवश्यकता होती है, और कुछ सरल एल्गोरिदम (जैसे सामान्य न्यूनतम वर्ग प्रतिगमन) को किसी की आवश्यकता नहीं होती है। इन हाइपरपैरामीटरों को देखते हुए, प्रशिक्षण एल्गोरिदम डेटा से पैरामीटर सीखता है। अतः उदाहरण के लिए, लैस्सो एल्गोरिथ्म है जो की साधारण न्यूनतम वर्ग प्रतिगमन में रेगुलरिज़तिओन (गणित) हाइपरपैरामीटर जोड़ता है, जिसे प्रशिक्षण एल्गोरिदम के माध्यम से मापदंडों का अनुमान लगाने से पहले सेट करना होता है।[1]

विचार

इस प्रकार से किसी मॉडल को प्रशिक्षित करने और परीक्षण करने में लगने वाला समय उसके हाइपरपैरामीटर की विकल्प पर निर्भर हो सकता है।[2] किन्तु हाइपरपैरामीटर सामान्यतः निरंतर या पूर्णांक प्रकार का होता है, जिससे मिश्रित-प्रकार की अनुकूलन समस्याएं उत्पन्न होती हैं।[2] कुछ हाइपरपैरामीटर का अस्तित्व दूसरों के मान पर निर्भर करती है, उदाहरण के लिए न्यूरल नेटवर्क में प्रत्येक छिपी हुई परत का आकार परतों की संख्या पर निर्भर हो सकता है।[2]

शिक्षित पैरामीटर में विपत्ति

सामान्यतः , किन्तु सदैव नहीं, हाइपरपैरामीटर को प्रसिद्ध ग्रेडिएंट आधारित विधियो (जैसे ग्रेडिएंट डिसेंट, एलबीएफजीएस) का उपयोग करके नहीं सीखा जा सकता है - जो सामान्यतः पैरामीटर सीखने के लिए नियोजित होते हैं। ये हाइपरपैरामीटर मॉडल प्रतिनिधित्व का वर्णन करने वाले वे पैरामीटर हैं जिन्हें सामान्य अनुकूलन विधियों द्वारा नहीं सीखा जा सकता है किन्तु फिर भी लॉस फ़ंक्शन को प्रभावित करते हैं। अतः उदाहरण समर्थन वेक्टर मशीनों में त्रुटियों के लिए सहिष्णुता हाइपरपैरामीटर है।

अप्रशिक्षित पैरामीटर

इस प्रकार से कभी-कभी, हाइपरपैरामीटर को प्रशिक्षण डेटा से नहीं सीखा जा सकता है क्योंकि वे आक्रामक रूप से मॉडल की क्षमता को बढ़ाते हैं और डेटा स्ट्रुकचर की समृद्धि को उचित रूप से मैप करने के विपरीत, लॉस फ़ंक्शन को अवांछित न्यूनतम (ओवरफ़िटिंग करना, और डेटा में नॉइज़ उठाना) तक प्रेरित करना हैं। अतः उदाहरण के लिए, यदि हम प्रतिगमन मॉडल में फिट होने वाले बहुपद समीकरण की डिग्री को ट्रेनेबल पैरामीटर के रूप में मानते हैं, तो डिग्री तब तक बढ़ जाएगी जब तक कि मॉडल पूर्ण रूप से डेटा में फिट न हो जाए, और कम प्रशिक्षण त्रुटि उत्पन्न होगी, किन्तु पुअर गेनेरालिज़तिओन प्रदर्शन करता है।

ट्यूनेबिलिटी

इस प्रकार से अधिकांश प्रदर्शन भिन्नता को केवल कुछ हाइपरपैरामीटर के कारण उत्तरदायी ठहराया जा सकता है।[3][2][4] अर्थात किसी एल्गोरिदम, हाइपरपैरामीटर, या इंटरैक्टिंग हाइपरपैरामीटर की ट्यूनेबिलिटी इस तथ्य का माप है कि इसे ट्यून करके कितना प्रदर्शन प्राप्त किया जा सकता है।[5] अतः दीर्घ अवधि की मेमोरी के लिए, जबकि नेटवर्क आकार के पश्चात सीखने की दर इसके अधिक महत्वपूर्ण हाइपरपैरामीटर हैं,[6] किन्तु बैचिंग और गति का इसके प्रदर्शन पर कोई महत्वपूर्ण प्रभाव नहीं पड़ता है।[7]

चूंकि कुछ रिसर्च ने हजारों की संख्या में मिनी-बैच आकारों के उपयोग की वकालत की है, अन्य कार्यों में 2 और 32 के मध्य मिनी-बैच आकारों के साथ अधिक उचित प्रदर्शन पाया गया है।[8]

रोबुस्टनेस

सीखने में अंतर्निहित स्टोचैस्टिसिटी का सीधा तात्पर्य यह है कि अनुभवजन्य हाइपरपैरामीटर प्रदर्शन आवश्यक रूप से इसका वास्तविक प्रदर्शन नहीं है।[2] वे विधियां जो हाइपरपैरामीटर, रैंडम सीड्स, या यहां तक ​​कि ही एल्गोरिदम के विभिन्न कार्यान्वयनों में सरल परिवर्तनों के लिए रोबुस्टनेस (कंप्यूटर साइंस) नहीं हैं, उन्हें महत्वपूर्ण सरलीकरण और सुदृढ़ीकरण के बिना मिशन क्रिटिकल कंट्रोल सिस्टम में एकीकृत नहीं किया जा सकता है।[9]

रिइंफोर्समेंट लर्निंग के एल्गोरिदम को, विशेष रूप से, उच्च संख्या में रैंडम सीड्स पर उनके प्रदर्शन को मापने की आवश्यकता होती है, और हाइपरपैरामीटर के विकल्पों के प्रति उनकी संवेदनशीलता को मापने की भी आवश्यकता होती है।[9] कम संख्या में रैंडम सीड्स के साथ उनका आकलन उच्च भिन्नता के कारण प्रदर्शन को पर्याप्त रूप से कैप्चर नहीं कर पाता है।[9] कुछ रिइंफोर्समेंट लर्निंग की विधियाँ, उदा. डीडीपीजी (डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट), दूसरों की तुलना में हाइपरपैरामीटर विकल्पों के प्रति अधिक संवेदनशील हैं।[9]

अनुकूलन

Main article: हाइपरपैरामीटर अनुकूलन

इस प्रकार से हाइपरपैरामीटर ऑप्टिमाइज़ेशन हाइपरपैरामीटर का टुपल खोजता है जो की इष्टतम मॉडल उत्पन्न करता है जो दिए गए परीक्षण डेटा पर पूर्वनिर्धारित लॉस फ़ंक्शन को कम करता है।[2] और ऑब्जेक्टिव फ़ंक्शन हाइपरपैरामीटर का टुपल लेता है और संबंधित लॉस रिटर्न करता है।[2]

पुनरूत्पादकता

हाइपरपैरामीटर को ट्यून करने के अतिरिक्त, मशीन लर्निंग में पैरामीटर और परिणामों को संग्रहीत और व्यवस्थित करना और यह सुनिश्चित करना सम्मिलित है कि वे प्रतिलिपि प्रस्तुत करने योग्य हैं।[10] इस उद्देश्य के लिए रोबस्ट इंफ्रास्ट्रक्चर की अनुपस्थिति में, रिसर्च कोड प्रायः तीव्रता से विकसित होता है और बुककीपिंग पद्धति और प्रतिलिपि प्रस्तुत करने योग्यता जैसे आवश्यक भाग से समझौता करता है।[11] मशीन लर्निंग के लिए ऑनलाइन सहयोग प्लेटफ़ॉर्म वैज्ञानिकों को प्रयोगों, डेटा और एल्गोरिदम को स्वचालित रूप से साझा करते है, अतः व्यवस्थित और विचार करने की अनुमति देकर आगे बढ़ते हैं।[12] गहन लर्निंग मॉडल के लिए पुनरुत्पादन विशेष रूप से कठिन हो सकता है।[13]

यह भी देखें

संदर्भ

  1. ↑ Yang, Li; Shami, Abdallah (2020-11-20). "On hyperparameter optimization of machine learning algorithms: Theory and practice". Neurocomputing (in English). 415: 295–316. arXiv:2007.15745. doi:10.1016/j.neucom.2020.07.061. ISSN 0925-2312. S2CID 220919678.
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 "Claesen, Marc, and Bart De Moor. "Hyperparameter Search in Machine Learning." arXiv preprint arXiv:1502.02127 (2015)". arXiv:1502.02127. Bibcode:2015arXiv150202127C.
  3. ↑ Leyton-Brown, Kevin; Hoos, Holger; Hutter, Frank (January 27, 2014). "हाइपरपैरामीटर महत्व का आकलन करने के लिए एक कुशल दृष्टिकोण": 754–762 – via proceedings.mlr.press. {{cite journal}}: Cite journal requires |journal= (help)
  4. ↑ "van Rijn, Jan N., and Frank Hutter. "Hyperparameter Importance Across Datasets." arXiv preprint arXiv:1710.04725 (2017)". arXiv:1710.04725. Bibcode:2017arXiv171004725V.
  5. ↑ "Probst, Philipp, Bernd Bischl, and Anne-Laure Boulesteix. "Tunability: Importance of Hyperparameters of Machine Learning Algorithms." arXiv preprint arXiv:1802.09596 (2018)". arXiv:1802.09596. Bibcode:2018arXiv180209596P.
  6. ↑ Greff, K.; Srivastava, R. K.; Koutník, J.; Steunebrink, B. R.; Schmidhuber, J. (October 23, 2017). "LSTM: A Search Space Odyssey". IEEE Transactions on Neural Networks and Learning Systems. 28 (10): 2222–2232. arXiv:1503.04069. doi:10.1109/TNNLS.2016.2582924. PMID 27411231. S2CID 3356463.
  7. ↑ "Breuel, Thomas M. "Benchmarking of LSTM networks." arXiv preprint arXiv:1508.02774 (2015)". arXiv:1508.02774. Bibcode:2015arXiv150802774B.
  8. ↑ "Revisiting Small Batch Training for Deep Neural Networks (2018)". arXiv:1804.07612. Bibcode:2018arXiv180407612M.
  9. ↑ 9.0 9.1 9.2 9.3 "Mania, Horia, Aurelia Guy, and Benjamin Recht. "Simple random search provides a competitive approach to reinforcement learning." arXiv preprint arXiv:1803.07055 (2018)". arXiv:1803.07055. Bibcode:2018arXiv180307055M.
  10. ↑ "Greff, Klaus, and Jürgen Schmidhuber. "Introducing Sacred: A Tool to Facilitate Reproducible Research."" (PDF). 2015.
  11. ↑ "ग्रीफ़, क्लॉस, और अन्य। "कम्प्यूटेशनल अनुसंधान के लिए पवित्र बुनियादी ढाँचा।"" (PDF). 2017.
  12. ↑ "Vanschoren, Joaquin, et al. "OpenML: networked science in machine learning." arXiv preprint arXiv:1407.7722 (2014)". arXiv:1407.7722. Bibcode:2014arXiv1407.7722V.
  13. ↑ Villa, Jennifer; Zimmerman, Yoav (25 May 2018). "Reproducibility in ML: why it matters and how to achieve it". Determined AI Blog. Retrieved 31 August 2020.
Retrieved from ‘https://www.vigyanwiki.in/index.php?title=हाइपरपैरामीटर_(मशीन_लर्निंग)&oldid=250960’