हाइपरपैरामीटर (मशीन लर्निंग)
यंत्र अधिगम में, हाइपरपैरामीटर एक पैरामीटर है जिसका मूल्य सीखने की प्रक्रिया को नियंत्रित करने के लिए उपयोग किया जाता है। इसके विपरीत, अन्य मापदंडों (आमतौर पर नोड भार) के मान प्रशिक्षण के माध्यम से प्राप्त किए जाते हैं।
हाइपरपैरामीटर को मॉडल हाइपरपैरामीटर के रूप में वर्गीकृत किया जा सकता है, जिसका अनुमान मॉडल फिटिंग के दौरान नहीं लगाया जा सकता क्योंकि वे मॉडल चयन कार्य, या एल्गोरिदम हाइपरपैरामीटर को संदर्भित करते हैं, जो सिद्धांत रूप में मॉडल के प्रदर्शन पर कोई प्रभाव नहीं डालते हैं लेकिन सीखने की प्रक्रिया की गति और गुणवत्ता को प्रभावित करते हैं। मॉडल हाइपरपैरामीटर का एक उदाहरण तंत्रिका नेटवर्क की टोपोलॉजी और आकार है। एल्गोरिदम हाइपरपैरामीटर के उदाहरण सीखने की दर और बैच आकार के साथ-साथ मिनी-बैच आकार हैं। बैच आकार पूर्ण डेटा नमूने को संदर्भित कर सकता है जहां मिनी-बैच आकार एक छोटा नमूना सेट होगा।
विभिन्न मॉडल प्रशिक्षण एल्गोरिदम को अलग-अलग हाइपरपैरामीटर की आवश्यकता होती है, कुछ सरल एल्गोरिदम (जैसे सामान्य न्यूनतम वर्ग प्रतिगमन) को किसी की आवश्यकता नहीं होती है। इन हाइपरपैरामीटरों को देखते हुए, प्रशिक्षण एल्गोरिदम डेटा से पैरामीटर सीखता है। उदाहरण के लिए, LASSO एक एल्गोरिथ्म है जो साधारण न्यूनतम वर्ग प्रतिगमन में एक नियमितीकरण (गणित) हाइपरपैरामीटर जोड़ता है, जिसे प्रशिक्षण एल्गोरिदम के माध्यम से मापदंडों का अनुमान लगाने से पहले सेट करना होता है।[1]
विचार
किसी मॉडल को प्रशिक्षित करने और परीक्षण करने में लगने वाला समय उसके हाइपरपैरामीटर की पसंद पर निर्भर हो सकता है।[2] हाइपरपैरामीटर आमतौर पर निरंतर या पूर्णांक प्रकार का होता है, जिससे मिश्रित-प्रकार की अनुकूलन समस्याएं पैदा होती हैं।[2]कुछ हाइपरपैरामीटर का अस्तित्व दूसरों के मूल्य पर निर्भर है, उदाहरण के लिए। तंत्रिका नेटवर्क में प्रत्येक छिपी हुई परत का आकार परतों की संख्या पर निर्भर हो सकता है।[2]
सीखने योग्य पैरामीटर में कठिनाई
आमतौर पर, लेकिन हमेशा नहीं, हाइपरपैरामीटर को प्रसिद्ध ग्रेडिएंट आधारित तरीकों (जैसे ग्रेडिएंट डिसेंट, एलबीएफजीएस) का उपयोग करके नहीं सीखा जा सकता है - जो आमतौर पर पैरामीटर सीखने के लिए नियोजित होते हैं। ये हाइपरपैरामीटर एक मॉडल प्रतिनिधित्व का वर्णन करने वाले वे पैरामीटर हैं जिन्हें सामान्य अनुकूलन विधियों द्वारा नहीं सीखा जा सकता है लेकिन फिर भी हानि फ़ंक्शन को प्रभावित करते हैं। एक उदाहरण समर्थन वेक्टर मशीनों में त्रुटियों के लिए सहिष्णुता हाइपरपैरामीटर होगा।
अप्रशिक्षित पैरामीटर
कभी-कभी, हाइपरपैरामीटर को प्रशिक्षण डेटा से नहीं सीखा जा सकता है क्योंकि वे आक्रामक रूप से एक मॉडल की क्षमता को बढ़ाते हैं और डेटा में संरचना की समृद्धि को सही ढंग से मैप करने के विपरीत, हानि फ़ंक्शन को अवांछित न्यूनतम (डेटा में ओवरफिटिंग और शोर उठाना) तक धकेल सकते हैं। उदाहरण के लिए, यदि हम एक प्रतिगमन मॉडल में फिट होने वाले बहुपद समीकरण की डिग्री को एक प्रशिक्षण योग्य पैरामीटर के रूप में मानते हैं, तो डिग्री तब तक बढ़ जाएगी जब तक कि मॉडल पूरी तरह से डेटा में फिट न हो जाए, कम प्रशिक्षण त्रुटि उत्पन्न होगी, लेकिन खराब सामान्यीकरण प्रदर्शन होगा।
ट्यूनेबिलिटी
अधिकांश प्रदर्शन भिन्नता को केवल कुछ हाइपरपैरामीटर के कारण जिम्मेदार ठहराया जा सकता है।[3][2][4] किसी एल्गोरिदम, हाइपरपैरामीटर, या इंटरैक्टिंग हाइपरपैरामीटर की ट्यूनेबिलिटी इस बात का माप है कि इसे ट्यून करके कितना प्रदर्शन प्राप्त किया जा सकता है।[5] लंबी अवधि की मेमोरी के लिए, जबकि नेटवर्क आकार के बाद सीखने की दर इसके सबसे महत्वपूर्ण हाइपरपैरामीटर हैं,[6] बैचिंग और गति का इसके प्रदर्शन पर कोई महत्वपूर्ण प्रभाव नहीं पड़ता है।[7] हालाँकि कुछ शोधों ने हजारों की संख्या में मिनी-बैच आकारों के उपयोग की वकालत की है, अन्य कार्यों में 2 और 32 के बीच मिनी-बैच आकारों के साथ सबसे अच्छा प्रदर्शन पाया गया है।[8]
मजबूती
सीखने में अंतर्निहित स्टोचैस्टिसिटी का सीधा तात्पर्य यह है कि अनुभवजन्य हाइपरपैरामीटर प्रदर्शन आवश्यक रूप से इसका वास्तविक प्रदर्शन नहीं है।[2]वे विधियां जो हाइपरपैरामीटर, यादृच्छिक बीज, या यहां तक कि एक ही एल्गोरिदम के विभिन्न कार्यान्वयनों में सरल परिवर्तनों के लिए मजबूती (कंप्यूटर विज्ञान) नहीं हैं, उन्हें महत्वपूर्ण सरलीकरण और सुदृढ़ीकरण के बिना मिशन महत्वपूर्ण नियंत्रण प्रणालियों में एकीकृत नहीं किया जा सकता है।[9] सुदृढीकरण सीखने के एल्गोरिदम को, विशेष रूप से, बड़ी संख्या में यादृच्छिक बीजों पर उनके प्रदर्शन को मापने की आवश्यकता होती है, और हाइपरपैरामीटर के विकल्पों के प्रति उनकी संवेदनशीलता को मापने की भी आवश्यकता होती है।[9]कम संख्या में यादृच्छिक बीजों के साथ उनका मूल्यांकन उच्च भिन्नता के कारण प्रदर्शन को पर्याप्त रूप से कैप्चर नहीं कर पाता है।[9]कुछ सुदृढीकरण सीखने की विधियाँ, उदा. डीडीपीजी (डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट), दूसरों की तुलना में हाइपरपैरामीटर विकल्पों के प्रति अधिक संवेदनशील हैं।[9]
अनुकूलन
हाइपरपैरामीटर ऑप्टिमाइज़ेशन हाइपरपैरामीटर का एक टुपल ढूंढता है जो एक इष्टतम मॉडल उत्पन्न करता है जो दिए गए परीक्षण डेटा पर पूर्वनिर्धारित हानि फ़ंक्शन को कम करता है।[2] ऑब्जेक्टिव फ़ंक्शन हाइपरपैरामीटर का एक टुपल लेता है और संबंधित हानि लौटाता है।[2]
प्रतिलिपि प्रस्तुत करने योग्यता
हाइपरपैरामीटर को ट्यून करने के अलावा, मशीन लर्निंग में पैरामीटर और परिणामों को संग्रहीत और व्यवस्थित करना और यह सुनिश्चित करना शामिल है कि वे प्रतिलिपि प्रस्तुत करने योग्य हैं।[10] इस उद्देश्य के लिए एक मजबूत बुनियादी ढांचे की अनुपस्थिति में, अनुसंधान कोड अक्सर तेजी से विकसित होता है और बहीखाता पद्धति और प्रतिलिपि प्रस्तुत करने योग्यता जैसे आवश्यक पहलुओं से समझौता करता है।[11] मशीन लर्निंग के लिए ऑनलाइन सहयोग प्लेटफ़ॉर्म वैज्ञानिकों को प्रयोगों, डेटा और एल्गोरिदम को स्वचालित रूप से साझा करने, व्यवस्थित करने और चर्चा करने की अनुमति देकर आगे बढ़ते हैं।[12] गहन शिक्षण मॉडल के लिए पुनरुत्पादन विशेष रूप से कठिन हो सकता है।[13]
यह भी देखें
संदर्भ
- ↑ Yang, Li; Shami, Abdallah (2020-11-20). "On hyperparameter optimization of machine learning algorithms: Theory and practice". Neurocomputing (in English). 415: 295–316. arXiv:2007.15745. doi:10.1016/j.neucom.2020.07.061. ISSN 0925-2312. S2CID 220919678.
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 "Claesen, Marc, and Bart De Moor. "Hyperparameter Search in Machine Learning." arXiv preprint arXiv:1502.02127 (2015)". arXiv:1502.02127. Bibcode:2015arXiv150202127C.
- ↑ Leyton-Brown, Kevin; Hoos, Holger; Hutter, Frank (January 27, 2014). "हाइपरपैरामीटर महत्व का आकलन करने के लिए एक कुशल दृष्टिकोण": 754–762 – via proceedings.mlr.press.
{{cite journal}}: Cite journal requires|journal=(help) - ↑ "van Rijn, Jan N., and Frank Hutter. "Hyperparameter Importance Across Datasets." arXiv preprint arXiv:1710.04725 (2017)". arXiv:1710.04725. Bibcode:2017arXiv171004725V.
- ↑ "Probst, Philipp, Bernd Bischl, and Anne-Laure Boulesteix. "Tunability: Importance of Hyperparameters of Machine Learning Algorithms." arXiv preprint arXiv:1802.09596 (2018)". arXiv:1802.09596. Bibcode:2018arXiv180209596P.
- ↑ Greff, K.; Srivastava, R. K.; Koutník, J.; Steunebrink, B. R.; Schmidhuber, J. (October 23, 2017). "LSTM: A Search Space Odyssey". IEEE Transactions on Neural Networks and Learning Systems. 28 (10): 2222–2232. arXiv:1503.04069. doi:10.1109/TNNLS.2016.2582924. PMID 27411231. S2CID 3356463.
- ↑ "Breuel, Thomas M. "Benchmarking of LSTM networks." arXiv preprint arXiv:1508.02774 (2015)". arXiv:1508.02774. Bibcode:2015arXiv150802774B.
- ↑ "Revisiting Small Batch Training for Deep Neural Networks (2018)". arXiv:1804.07612. Bibcode:2018arXiv180407612M.
- ↑ 9.0 9.1 9.2 9.3 "Mania, Horia, Aurelia Guy, and Benjamin Recht. "Simple random search provides a competitive approach to reinforcement learning." arXiv preprint arXiv:1803.07055 (2018)". arXiv:1803.07055. Bibcode:2018arXiv180307055M.
- ↑ "Greff, Klaus, and Jürgen Schmidhuber. "Introducing Sacred: A Tool to Facilitate Reproducible Research."" (PDF). 2015.
- ↑ "ग्रीफ़, क्लॉस, और अन्य। "कम्प्यूटेशनल अनुसंधान के लिए पवित्र बुनियादी ढाँचा।"" (PDF). 2017.
- ↑ "Vanschoren, Joaquin, et al. "OpenML: networked science in machine learning." arXiv preprint arXiv:1407.7722 (2014)". arXiv:1407.7722. Bibcode:2014arXiv1407.7722V.
- ↑ Villa, Jennifer; Zimmerman, Yoav (25 May 2018). "Reproducibility in ML: why it matters and how to achieve it". Determined AI Blog. Retrieved 31 August 2020.
Differentiable computing | |||||||
|---|---|---|---|---|---|---|---|
| General | |||||||
| Concepts | |||||||
| Programming languages | |||||||
| Application | |||||||
| Hardware | |||||||
| Software library | |||||||
| Implementation |
| ||||||
| People | |||||||
| Organizations | |||||||
| Architectures | |||||||
| |||||||
Category
