हाइपरपैरामीटर अनुकूलन: Difference between revisions
From Vigyanwiki
(Created page with "{{Short description|Machine learning problem}} यंत्र अधिगम में, हाइपरपैरामीटर ऑप्टिमाइज़ेशन...") |
No edit summary |
||
| Line 1: | Line 1: | ||
{{Short description|Machine learning problem}} | {{Short description|Machine learning problem}} | ||
[[ यंत्र अधिगम ]] में, हाइपरपैरामीटर ऑप्टिमाइज़ेशन<ref>Matthias Feurer and Frank Hutter. [https://link.springer.com/content/pdf/10.1007%2F978-3-030-05318-5_1.pdf Hyperparameter optimization]. In: ''AutoML: Methods, Systems, Challenges'', pages 3–38.</ref> या ट्यूनिंग | [[ यंत्र अधिगम | यंत्र अधिगम]] में, हाइपरपैरामीटर ऑप्टिमाइज़ेशन<ref>Matthias Feurer and Frank Hutter. [https://link.springer.com/content/pdf/10.1007%2F978-3-030-05318-5_1.pdf Hyperparameter optimization]. In: ''AutoML: Methods, Systems, Challenges'', pages 3–38.</ref> या ट्यूनिंग लर्निंग एल्गोरिथम के लिए इष्टतम हाइपर[[पैरामीटर]] (मशीन लर्निंग) का सेट चुनने की समस्या है। हाइपरपैरामीटर पैरामीटर है जिसका मान सीखने की प्रक्रिया को नियंत्रित करने के लिए उपयोग किया जाता है। इसके विपरीत, अन्य मापदंडों (आमतौर पर नोड भार) के मान सीखे जाते हैं। | ||
एक ही तरह के मशीन लर्निंग मॉडल को अलग-अलग डेटा पैटर्न को सामान्य बनाने के लिए अलग-अलग बाधाओं, भार या सीखने की दरों की आवश्यकता हो सकती है। इन उपायों को हाइपरपरमेटर्स कहा जाता है, और इन्हें ट्यून करना पड़ता है ताकि मॉडल मशीन सीखने की समस्या को बेहतर ढंग से हल कर सके। हाइपरपैरामीटर ऑप्टिमाइज़ेशन हाइपरपरमेटर्स का टपल ढूंढता है जो इष्टतम मॉडल उत्पन्न करता है जो दिए गए स्वतंत्र डेटा पर पूर्वनिर्धारित हानि फ़ंक्शन को कम करता है।<ref name=abs1502.02127>{{cite arXiv |eprint=1502.02127|last1=Claesen|first1=Marc|title=मशीन लर्निंग में हाइपरपैरामीटर खोज|author2=Bart De Moor|class=cs.LG|year=2015}}</ref> ऑब्जेक्टिव फ़ंक्शन हाइपरपरमेटर्स का टपल लेता है और संबंधित नुकसान लौटाता है।<ref name=abs1502.02127/>क्रॉस-वैलिडेशन (सांख्यिकी) | क्रॉस-वैलिडेशन का उपयोग अक्सर इस सामान्यीकरण प्रदर्शन का अनुमान लगाने के लिए किया जाता है।<ref name="bergstra">{{cite journal|last1=Bergstra|first1=James|last2=Bengio|first2=Yoshua|year=2012|title=हाइपर-पैरामीटर अनुकूलन के लिए यादृच्छिक खोज|url=http://jmlr.csail.mit.edu/papers/volume13/bergstra12a/bergstra12a.pdf|journal=Journal of Machine Learning Research|volume=13|pages=281–305}}</ref> | |||
== दृष्टिकोण == | == दृष्टिकोण == | ||
| Line 10: | Line 8: | ||
=== ग्रिड खोज === | === ग्रिड खोज === | ||
हाइपरपरमीटर ऑप्टिमाइज़ेशन करने का पारंपरिक तरीका ग्रिड सर्च या पैरामीटर स्वीप रहा है, जो सीखने के एल्गोरिदम के हाइपरपेरामीटर स्पेस के मैन्युअल रूप से निर्दिष्ट सबसेट के माध्यम से केवल | हाइपरपरमीटर ऑप्टिमाइज़ेशन करने का पारंपरिक तरीका ग्रिड सर्च या पैरामीटर स्वीप रहा है, जो सीखने के एल्गोरिदम के हाइपरपेरामीटर स्पेस के मैन्युअल रूप से निर्दिष्ट सबसेट के माध्यम से केवल [[क्रूर-बल खोज]] है। ग्रिड खोज एल्गोरिथ्म को कुछ प्रदर्शन मीट्रिक द्वारा निर्देशित किया जाना चाहिए, जिसे आमतौर पर क्रॉस-सत्यापन (सांख्यिकी) द्वारा मापा जाता है। प्रशिक्षण सेट पर क्रॉस-सत्यापन<ref>Chin-Wei Hsu, Chih-Chung Chang and Chih-Jen Lin (2010). [http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf A practical guide to support vector classification]. Technical Report, [[National Taiwan University]].</ref> | ||
या होल्ड-आउट सत्यापन सेट पर मूल्यांकन।<ref>{{cite journal | या होल्ड-आउट सत्यापन सेट पर मूल्यांकन।<ref>{{cite journal | ||
| vauthors = Chicco D | | vauthors = Chicco D | ||
| Line 24: | Line 22: | ||
चूंकि मशीन सीखने वाले के पैरामीटर स्थान में कुछ मापदंडों के लिए वास्तविक-मूल्यवान या असीमित मान स्थान शामिल हो सकते हैं, ग्रिड खोज को लागू करने से पहले मैन्युअल रूप से निर्धारित सीमा और विवेक आवश्यक हो सकता है। | चूंकि मशीन सीखने वाले के पैरामीटर स्थान में कुछ मापदंडों के लिए वास्तविक-मूल्यवान या असीमित मान स्थान शामिल हो सकते हैं, ग्रिड खोज को लागू करने से पहले मैन्युअल रूप से निर्धारित सीमा और विवेक आवश्यक हो सकता है। | ||
उदाहरण के लिए, [[रेडियल आधार फ़ंक्शन कर्नेल]] से लैस | उदाहरण के लिए, [[रेडियल आधार फ़ंक्शन कर्नेल]] से लैस विशिष्ट सॉफ्ट-मार्जिन [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] [[सांख्यिकीय वर्गीकरण]] में कम से कम दो हाइपरपैरामीटर होते हैं जिन्हें अनदेखे डेटा पर अच्छे प्रदर्शन के लिए ट्यून करने की आवश्यकता होती है: नियमितीकरण स्थिरांक C और कर्नेल हाइपरपैरामीटर γ। दोनों पैरामीटर निरंतर हैं, इसलिए ग्रिड खोज करने के लिए, प्रत्येक के लिए उचित मूल्यों का सीमित सेट चुनता है, कहते हैं | ||
:<math>C \in \{10, 100, 1000\}</math> | :<math>C \in \{10, 100, 1000\}</math> | ||
:<math>\gamma \in \{0.1, 0.2, 0.5, 1.0\}</math> | :<math>\gamma \in \{0.1, 0.2, 0.5, 1.0\}</math> | ||
ग्रिड खोज तब इन दो सेटों के कार्टेशियन उत्पाद में प्रत्येक जोड़ी (सी, γ) के साथ | ग्रिड खोज तब इन दो सेटों के कार्टेशियन उत्पाद में प्रत्येक जोड़ी (सी, γ) के साथ एसवीएम को प्रशिक्षित करती है और आयोजित-आउट सत्यापन सेट पर उनके प्रदर्शन का मूल्यांकन करती है (या प्रशिक्षण सेट पर आंतरिक क्रॉस-सत्यापन द्वारा, जिस स्थिति में कई एसवीएम प्रति जोड़ी प्रशिक्षित हैं)। अंत में, ग्रिड खोज एल्गोरिदम उन सेटिंग्स को आउटपुट करता है जो सत्यापन प्रक्रिया में उच्चतम स्कोर प्राप्त करते हैं। | ||
ग्रिड खोज आयामीता के अभिशाप से ग्रस्त है, लेकिन अक्सर शर्मनाक रूप से समानांतर होती है क्योंकि इसके द्वारा मूल्यांकन की जाने वाली हाइपरपरमीटर सेटिंग्स आमतौर पर | ग्रिड खोज आयामीता के अभिशाप से ग्रस्त है, लेकिन अक्सर शर्मनाक रूप से समानांतर होती है क्योंकि इसके द्वारा मूल्यांकन की जाने वाली हाइपरपरमीटर सेटिंग्स आमतौर पर दूसरे से स्वतंत्र होती हैं।<ref name="bergstra"/> | ||
[[File:Hyperparameter Optimization using Random Search.svg|thumb|दो हाइपरपैरामीटर के मानों के विभिन्न संयोजनों में यादृच्छिक खोज। इस उदाहरण में, 100 विभिन्न यादृच्छिक विकल्पों का मूल्यांकन किया जाता है। हरी पट्टियां दर्शाती हैं कि ग्रिड खोज की तुलना में प्रत्येक हाइपरपैरामीटर के लिए अधिक अलग-अलग मानों पर विचार किया जाता है।]] | [[File:Hyperparameter Optimization using Random Search.svg|thumb|दो हाइपरपैरामीटर के मानों के विभिन्न संयोजनों में यादृच्छिक खोज। इस उदाहरण में, 100 विभिन्न यादृच्छिक विकल्पों का मूल्यांकन किया जाता है। हरी पट्टियां दर्शाती हैं कि ग्रिड खोज की तुलना में प्रत्येक हाइपरपैरामीटर के लिए अधिक अलग-अलग मानों पर विचार किया जाता है।]] | ||
=== यादृच्छिक खोज === | === यादृच्छिक खोज === | ||
यादृच्छिक खोज सभी संयोजनों की संपूर्ण गणना को यादृच्छिक रूप से चुनकर प्रतिस्थापित करती है। यह केवल ऊपर वर्णित असतत सेटिंग पर लागू किया जा सकता है, लेकिन निरंतर और मिश्रित रिक्त स्थान के लिए भी सामान्यीकृत किया जा सकता है। यह ग्रिड खोज से बेहतर प्रदर्शन कर सकता है, खासकर तब जब बहुत कम संख्या में हाइपरपैरामीटर मशीन लर्निंग एल्गोरिदम के अंतिम प्रदर्शन को प्रभावित करते हैं।<ref name="bergstra" />इस मामले में, अनुकूलन समस्या को कम आंतरिक आयाम कहा जाता है।<ref>{{Cite journal|last1=Ziyu|first1=Wang|last2=Frank|first2=Hutter|last3=Masrour|first3=Zoghi|last4=David|first4=Matheson|last5=Nando|first5=de Feitas|date=2016|title=रैंडम एम्बेडिंग के माध्यम से एक अरब आयामों में बायेसियन अनुकूलन|journal=Journal of Artificial Intelligence Research|language=en|volume=55|pages=361–387|doi=10.1613/jair.4806|arxiv=1301.1942|s2cid=279236}}</ref> यादृच्छिक खोज भी शर्मनाक रूप से समानांतर है, और इसके अतिरिक्त वितरण को निर्दिष्ट करके पूर्व ज्ञान को शामिल करने की अनुमति देता है जिससे नमूना लिया जा सके। इसकी सरलता के बावजूद, यादृच्छिक खोज महत्वपूर्ण आधार-रेखाओं में से | यादृच्छिक खोज सभी संयोजनों की संपूर्ण गणना को यादृच्छिक रूप से चुनकर प्रतिस्थापित करती है। यह केवल ऊपर वर्णित असतत सेटिंग पर लागू किया जा सकता है, लेकिन निरंतर और मिश्रित रिक्त स्थान के लिए भी सामान्यीकृत किया जा सकता है। यह ग्रिड खोज से बेहतर प्रदर्शन कर सकता है, खासकर तब जब बहुत कम संख्या में हाइपरपैरामीटर मशीन लर्निंग एल्गोरिदम के अंतिम प्रदर्शन को प्रभावित करते हैं।<ref name="bergstra" />इस मामले में, अनुकूलन समस्या को कम आंतरिक आयाम कहा जाता है।<ref>{{Cite journal|last1=Ziyu|first1=Wang|last2=Frank|first2=Hutter|last3=Masrour|first3=Zoghi|last4=David|first4=Matheson|last5=Nando|first5=de Feitas|date=2016|title=रैंडम एम्बेडिंग के माध्यम से एक अरब आयामों में बायेसियन अनुकूलन|journal=Journal of Artificial Intelligence Research|language=en|volume=55|pages=361–387|doi=10.1613/jair.4806|arxiv=1301.1942|s2cid=279236}}</ref> यादृच्छिक खोज भी शर्मनाक रूप से समानांतर है, और इसके अतिरिक्त वितरण को निर्दिष्ट करके पूर्व ज्ञान को शामिल करने की अनुमति देता है जिससे नमूना लिया जा सके। इसकी सरलता के बावजूद, यादृच्छिक खोज महत्वपूर्ण आधार-रेखाओं में से बनी हुई है जिसके विरुद्ध नए हाइपरपैरामीटर अनुकूलन विधियों के प्रदर्शन की तुलना की जा सकती है। | ||
[[File:Hyperparameter Optimization using Tree-Structured Parzen Estimators.svg|thumb|बायेसियन ऑप्टिमाइज़ेशन जैसे तरीके पिछली टिप्पणियों के आधार पर अगले संयोजन का पता लगाने के लिए कौन सा संयोजन तय करके हाइपरपरमेटर्स के संभावित विकल्पों के स्थान का चालाकी से पता लगाते हैं।]] | [[File:Hyperparameter Optimization using Tree-Structured Parzen Estimators.svg|thumb|बायेसियन ऑप्टिमाइज़ेशन जैसे तरीके पिछली टिप्पणियों के आधार पर अगले संयोजन का पता लगाने के लिए कौन सा संयोजन तय करके हाइपरपरमेटर्स के संभावित विकल्पों के स्थान का चालाकी से पता लगाते हैं।]] | ||
| Line 42: | Line 40: | ||
{{main|Bayesian optimization}} | {{main|Bayesian optimization}} | ||
बायेसियन ऑप्टिमाइज़ेशन नॉइज़ ब्लैक-बॉक्स फ़ंक्शंस के लिए | बायेसियन ऑप्टिमाइज़ेशन नॉइज़ ब्लैक-बॉक्स फ़ंक्शंस के लिए वैश्विक ऑप्टिमाइज़ेशन विधि है। हाइपरपैरामीटर ऑप्टिमाइज़ेशन के लिए लागू, बायेसियन ऑप्टिमाइज़ेशन फ़ंक्शन मैपिंग का संभाव्य मॉडल बनाता है जो हाइपरपैरामीटर मानों से सत्यापन सेट पर मूल्यांकन किए गए उद्देश्य के लिए होता है। वर्तमान मॉडल के आधार पर होनहार हाइपरपैरामीटर कॉन्फ़िगरेशन का पुनरावृत्त रूप से मूल्यांकन करके, और फिर इसे अपडेट करके, बायेसियन अनुकूलन का उद्देश्य इस फ़ंक्शन के बारे में और विशेष रूप से, इष्टतम के स्थान के बारे में अधिक से अधिक जानकारी प्रकट करने वाली टिप्पणियों को इकट्ठा करना है। यह अन्वेषण (हाइपरपैरामीटर जिसके लिए परिणाम सबसे अनिश्चित है) और शोषण (हाइपरपैरामीटर इष्टतम के करीब होने की उम्मीद) को संतुलित करने की कोशिश करता है। व्यवहार में, बायेसियन अनुकूलन दिखाया गया है<ref name="hutter">{{Citation | ||
| last1 = Hutter | | last1 = Hutter | ||
| first1 = Frank | | first1 = Frank | ||
| Line 105: | Line 103: | ||
=== ग्रेडिएंट-आधारित अनुकूलन === | === ग्रेडिएंट-आधारित अनुकूलन === | ||
विशिष्ट शिक्षण एल्गोरिदम के लिए, हाइपरपैरामीटर के संबंध में ग्रेडिएंट की गणना करना संभव है और फिर [[ ढतला हुआ वंश ]] का उपयोग करके हाइपरपैरामीटर का अनुकूलन करना। इन तकनीकों का पहला उपयोग तंत्रिका नेटवर्क पर केंद्रित था।<ref>{{cite journal |last1=Larsen|first1=Jan|last2= Hansen |first2=Lars Kai|last3=Svarer|first3=Claus|last4=Ohlsson|first4=M|title=Design and regularization of neural networks: the optimal use of a validation set|journal=Proceedings of the 1996 IEEE Signal Processing Society Workshop|date=1996|pages=62–71|doi=10.1109/NNSP.1996.548336|isbn=0-7803-3550-3|citeseerx=10.1.1.415.3266|s2cid=238874|url=http://orbit.dtu.dk/files/4545571/Svarer.pdf}}</ref> तब से, इन विधियों को अन्य मॉडलों जैसे सपोर्ट वेक्टर मशीनों तक बढ़ा दिया गया है<ref>{{cite journal |author1=Olivier Chapelle |author2=Vladimir Vapnik |author3=Olivier Bousquet |author4=Sayan Mukherjee |title=वेक्टर मशीनों का समर्थन करने के लिए कई पैरामीटर चुनना|journal=Machine Learning |year=2002 |volume=46 |pages=131–159 |url=http://www.chapelle.cc/olivier/pub/mlj02.pdf | doi = 10.1023/a:1012450327387 |doi-access=free }}</ref> या लॉजिस्टिक रिग्रेशन।<ref>{{cite journal |author1 =Chuong B|author2= Chuan-Sheng Foo|author3=Andrew Y Ng|journal = Advances in Neural Information Processing Systems |volume=20|title = लॉग-लीनियर मॉडल के लिए कुशल मल्टीपल हाइपरपैरामीटर लर्निंग|year =2008|url=http://papers.nips.cc/paper/3286-efficient-multiple-hyperparameter-learning-for-log-linear-models.pdf}}</ref> | विशिष्ट शिक्षण एल्गोरिदम के लिए, हाइपरपैरामीटर के संबंध में ग्रेडिएंट की गणना करना संभव है और फिर [[ ढतला हुआ वंश |ढतला हुआ वंश]] का उपयोग करके हाइपरपैरामीटर का अनुकूलन करना। इन तकनीकों का पहला उपयोग तंत्रिका नेटवर्क पर केंद्रित था।<ref>{{cite journal |last1=Larsen|first1=Jan|last2= Hansen |first2=Lars Kai|last3=Svarer|first3=Claus|last4=Ohlsson|first4=M|title=Design and regularization of neural networks: the optimal use of a validation set|journal=Proceedings of the 1996 IEEE Signal Processing Society Workshop|date=1996|pages=62–71|doi=10.1109/NNSP.1996.548336|isbn=0-7803-3550-3|citeseerx=10.1.1.415.3266|s2cid=238874|url=http://orbit.dtu.dk/files/4545571/Svarer.pdf}}</ref> तब से, इन विधियों को अन्य मॉडलों जैसे सपोर्ट वेक्टर मशीनों तक बढ़ा दिया गया है<ref>{{cite journal |author1=Olivier Chapelle |author2=Vladimir Vapnik |author3=Olivier Bousquet |author4=Sayan Mukherjee |title=वेक्टर मशीनों का समर्थन करने के लिए कई पैरामीटर चुनना|journal=Machine Learning |year=2002 |volume=46 |pages=131–159 |url=http://www.chapelle.cc/olivier/pub/mlj02.pdf | doi = 10.1023/a:1012450327387 |doi-access=free }}</ref> या लॉजिस्टिक रिग्रेशन।<ref>{{cite journal |author1 =Chuong B|author2= Chuan-Sheng Foo|author3=Andrew Y Ng|journal = Advances in Neural Information Processing Systems |volume=20|title = लॉग-लीनियर मॉडल के लिए कुशल मल्टीपल हाइपरपैरामीटर लर्निंग|year =2008|url=http://papers.nips.cc/paper/3286-efficient-multiple-hyperparameter-learning-for-log-linear-models.pdf}}</ref> | ||
हाइपरपैरामीटर के संबंध में ढाल प्राप्त करने के लिए | हाइपरपैरामीटर के संबंध में ढाल प्राप्त करने के लिए अलग दृष्टिकोण [[स्वचालित भेदभाव]] का उपयोग करके पुनरावृत्त अनुकूलन एल्गोरिदम के चरणों को अलग करने में होता है।<ref>{{cite journal|last1=Domke|first1=Justin|title=अनुकूलन-आधारित मॉडलिंग के लिए सामान्य तरीके|journal=Aistats|date=2012|volume=22|url=http://www.jmlr.org/proceedings/papers/v22/domke12/domke12.pdf|access-date=2017-12-09|archive-date=2014-01-24|archive-url=https://web.archive.org/web/20140124182520/http://jmlr.org/proceedings/papers/v22/domke12/domke12.pdf|url-status=dead}}</ref><ref name=abs1502.03492>{{cite arXiv |last1=Maclaurin|first1=Douglas|last2=Duvenaud|first2=David|last3=Adams|first3=Ryan P.|eprint=1502.03492|title=प्रतिवर्ती शिक्षण के माध्यम से ग्रेडिएंट-आधारित हाइपरपैरामीटर अनुकूलन|class=stat.ML|date=2015}}</ref><ref>{{cite journal |last1=Franceschi |first1=Luca |last2=Donini |first2=Michele |last3=Frasconi |first3=Paolo |last4=Pontil |first4=Massimiliano |title=फॉरवर्ड और रिवर्स ग्रेडिएंट-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन|journal=Proceedings of the 34th International Conference on Machine Learning |date=2017 |arxiv=1703.01785 |bibcode=2017arXiv170301785F |url=http://proceedings.mlr.press/v70/franceschi17a/franceschi17a-supp.pdf}}</ref><ref>Shaban, A., Cheng, C. A., Hatch, N., & Boots, B. (2019, April). [https://arxiv.org/pdf/1810.10667.pdf Truncated back-propagation for bilevel optimization]. In ''The 22nd International Conference on Artificial Intelligence and Statistics'' (pp. 1723-1732). PMLR.</ref> इस दिशा में और हालिया कार्य हाइपरग्रेडिएंट्स की गणना करने के लिए अंतर्निहित फ़ंक्शन प्रमेय का उपयोग करता है और उलटा हेस्सियन के स्थिर सन्निकटन का प्रस्ताव करता है। यह विधि लाखों हाइपरपैरामीटरों को मापती है और इसके लिए निरंतर मेमोरी की आवश्यकता होती है। | ||
एक अलग दृष्टिकोण में,<ref>Lorraine, J., & Duvenaud, D. (2018). [[arxiv:1802.09419|Stochastic hyperparameter optimization through hypernetworks]]. ''arXiv preprint arXiv:1802.09419''.</ref> | एक अलग दृष्टिकोण में,<ref>Lorraine, J., & Duvenaud, D. (2018). [[arxiv:1802.09419|Stochastic hyperparameter optimization through hypernetworks]]. ''arXiv preprint arXiv:1802.09419''.</ref> हाइपरनेटवर्क को सर्वश्रेष्ठ प्रतिक्रिया फ़ंक्शन का अनुमान लगाने के लिए प्रशिक्षित किया जाता है। इस पद्धति के फायदों में से यह है कि यह असतत हाइपरपरमेटर्स को भी संभाल सकता है। स्व-ट्यूनिंग नेटवर्क<ref>MacKay, M., Vicol, P., Lorraine, J., Duvenaud, D., & Grosse, R. (2019). [[arxiv:1903.03088|Self-tuning networks: Bilevel optimization of hyperparameters using structured best-response functions]]. ''arXiv preprint arXiv:1903.03088''.</ref> हाइपरनेटवर्क के लिए कॉम्पैक्ट प्रतिनिधित्व चुनकर इस दृष्टिकोण का स्मृति कुशल संस्करण प्रदान करें। अभी हाल ही में, Δ-STN<ref>Bae, J., & Grosse, R. B. (2020). [[arxiv:2010.13514|Delta-stn: Efficient bilevel optimization for neural networks using structured response jacobians]]. ''Advances in Neural Information Processing Systems'', ''33'', 21725-21737.</ref> हाइपरनेटवर्क के थोड़े पुनर्मूल्यांकन द्वारा इस पद्धति में और सुधार किया है जो प्रशिक्षण को गति देता है। Δ-STN भी वज़न में नेटवर्क को रेखीयकृत करके सर्वोत्तम-प्रतिक्रिया वाले जेकोबियन का बेहतर सन्निकटन प्राप्त करता है, इसलिए वज़न में बड़े परिवर्तनों के अनावश्यक अरैखिक प्रभावों को दूर करता है। | ||
हाइपरनेटवर्क दृष्टिकोण के अलावा, ग्रेडिएंट-आधारित विधियों का उपयोग असतत हाइपरपैरामीटर को भी मापदंडों की निरंतर छूट को अपनाकर अनुकूलित करने के लिए किया जा सकता है।<ref>Liu, H., Simonyan, K., & Yang, Y. (2018). [[arxiv:1806.09055|Darts: Differentiable architecture search]]. ''arXiv preprint arXiv:1806.09055''.</ref> इस तरह के तरीकों का व्यापक रूप से [[तंत्रिका वास्तुकला खोज]] में आर्किटेक्चर हाइपरपैरामीटर के अनुकूलन के लिए उपयोग किया गया है। | हाइपरनेटवर्क दृष्टिकोण के अलावा, ग्रेडिएंट-आधारित विधियों का उपयोग असतत हाइपरपैरामीटर को भी मापदंडों की निरंतर छूट को अपनाकर अनुकूलित करने के लिए किया जा सकता है।<ref>Liu, H., Simonyan, K., & Yang, Y. (2018). [[arxiv:1806.09055|Darts: Differentiable architecture search]]. ''arXiv preprint arXiv:1806.09055''.</ref> इस तरह के तरीकों का व्यापक रूप से [[तंत्रिका वास्तुकला खोज]] में आर्किटेक्चर हाइपरपैरामीटर के अनुकूलन के लिए उपयोग किया गया है। | ||
| Line 115: | Line 113: | ||
{{main|Evolutionary algorithm}} | {{main|Evolutionary algorithm}} | ||
विकासवादी अनुकूलन शोर वाले ब्लैक-बॉक्स कार्यों के वैश्विक अनुकूलन के लिए | विकासवादी अनुकूलन शोर वाले ब्लैक-बॉक्स कार्यों के वैश्विक अनुकूलन के लिए पद्धति है। हाइपरपैरामीटर ऑप्टिमाइज़ेशन में, विकासवादी ऑप्टिमाइज़ेशन किसी दिए गए एल्गोरिथम के लिए हाइपरपैरामीटर के स्थान की खोज करने के लिए [[विकासवादी एल्गोरिदम]] का उपयोग करता है।<ref name="bergstra11" />इवोल्यूशनरी हाइपरपैरामीटर ऑप्टिमाइज़ेशन एवोल्यूशनरी एल्गोरिथम का अनुसरण करता है#[[विकास]] की जैविक अवधारणा से प्रेरित कार्यान्वयन: | ||
# यादृच्छिक समाधानों की | # यादृच्छिक समाधानों की प्रारंभिक आबादी बनाएं (यानी, बेतरतीब ढंग से हाइपरपरमेटर्स के टुपल्स उत्पन्न करें, आमतौर पर 100+) | ||
# हाइपरपैरामीटर टुपल्स का मूल्यांकन करें और उनके [[फिटनेस कार्य]] को प्राप्त करें (उदाहरण के लिए, 10-गुना क्रॉस-सत्यापन (सांख्यिकी) | उन हाइपरपैरामीटर के साथ मशीन लर्निंग एल्गोरिदम की क्रॉस-सत्यापन सटीकता) | # हाइपरपैरामीटर टुपल्स का मूल्यांकन करें और उनके [[फिटनेस कार्य]] को प्राप्त करें (उदाहरण के लिए, 10-गुना क्रॉस-सत्यापन (सांख्यिकी) | उन हाइपरपैरामीटर के साथ मशीन लर्निंग एल्गोरिदम की क्रॉस-सत्यापन सटीकता) | ||
# हाइपरपैरामीटर टुपल्स को उनकी सापेक्ष फिटनेस के आधार पर रैंक करें | # हाइपरपैरामीटर टुपल्स को उनकी सापेक्ष फिटनेस के आधार पर रैंक करें | ||
| Line 124: | Line 122: | ||
सांख्यिकीय मशीन लर्निंग एल्गोरिदम के लिए हाइपरपरमीटर ऑप्टिमाइज़ेशन में इवोल्यूशनरी ऑप्टिमाइज़ेशन का उपयोग किया गया है,<ref name="bergstra11" />[[स्वचालित मशीन लर्निंग]], विशिष्ट तंत्रिका नेटवर्क <ref name="kousiouris1">{{cite journal |vauthors=Kousiouris G, Cuccinotta T, Varvarigou T | year = 2011 | title= वर्चुअल मशीन के प्रदर्शन पर शेड्यूलिंग, कार्यभार प्रकार और समेकन परिदृश्यों के प्रभाव और अनुकूलित कृत्रिम तंत्रिका नेटवर्क के माध्यम से उनकी भविष्यवाणी| url= https://www.sciencedirect.com/science/article/abs/pii/S0164121211000951 | journal = Journal of Systems and Software | volume = 84 | issue = 8 | pages = 1270–1291| doi = 10.1016/j.jss.2011.04.013 | hdl = 11382/361472 | hdl-access = free }}</ref> और डीप लर्निंग#डीप न्यूरल नेटवर्क आर्किटेक्चर सर्च,<ref name="miikkulainen1">{{cite arXiv | vauthors = Miikkulainen R, Liang J, Meyerson E, Rawal A, Fink D, Francon O, Raju B, Shahrzad H, Navruzyan A, Duffy N, Hodjat B | year = 2017 | title = डीप न्यूरल नेटवर्क का विकास|eprint=1703.00548| class = cs.NE }}</ref><ref name="jaderberg1">{{cite arXiv | vauthors = Jaderberg M, Dalibard V, Osindero S, Czarnecki WM, Donahue J, Razavi A, Vinyals O, Green T, Dunning I, Simonyan K, Fernando C, Kavukcuoglu K | year = 2017 | title = तंत्रिका नेटवर्क का जनसंख्या आधारित प्रशिक्षण|eprint=1711.09846| class = cs.LG }}</ref> साथ ही गहरे तंत्रिका नेटवर्क में भार का प्रशिक्षण।<ref name="such1">{{cite arXiv | vauthors = Such FP, Madhavan V, Conti E, Lehman J, Stanley KO, Clune J | year = 2017 | title = Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning |eprint=1712.06567| class = cs.NE }}</ref> | सांख्यिकीय मशीन लर्निंग एल्गोरिदम के लिए हाइपरपरमीटर ऑप्टिमाइज़ेशन में इवोल्यूशनरी ऑप्टिमाइज़ेशन का उपयोग किया गया है,<ref name="bergstra11" />[[स्वचालित मशीन लर्निंग]], विशिष्ट तंत्रिका नेटवर्क <ref name="kousiouris1">{{cite journal |vauthors=Kousiouris G, Cuccinotta T, Varvarigou T | year = 2011 | title= वर्चुअल मशीन के प्रदर्शन पर शेड्यूलिंग, कार्यभार प्रकार और समेकन परिदृश्यों के प्रभाव और अनुकूलित कृत्रिम तंत्रिका नेटवर्क के माध्यम से उनकी भविष्यवाणी| url= https://www.sciencedirect.com/science/article/abs/pii/S0164121211000951 | journal = Journal of Systems and Software | volume = 84 | issue = 8 | pages = 1270–1291| doi = 10.1016/j.jss.2011.04.013 | hdl = 11382/361472 | hdl-access = free }}</ref> और डीप लर्निंग#डीप न्यूरल नेटवर्क आर्किटेक्चर सर्च,<ref name="miikkulainen1">{{cite arXiv | vauthors = Miikkulainen R, Liang J, Meyerson E, Rawal A, Fink D, Francon O, Raju B, Shahrzad H, Navruzyan A, Duffy N, Hodjat B | year = 2017 | title = डीप न्यूरल नेटवर्क का विकास|eprint=1703.00548| class = cs.NE }}</ref><ref name="jaderberg1">{{cite arXiv | vauthors = Jaderberg M, Dalibard V, Osindero S, Czarnecki WM, Donahue J, Razavi A, Vinyals O, Green T, Dunning I, Simonyan K, Fernando C, Kavukcuoglu K | year = 2017 | title = तंत्रिका नेटवर्क का जनसंख्या आधारित प्रशिक्षण|eprint=1711.09846| class = cs.LG }}</ref> साथ ही गहरे तंत्रिका नेटवर्क में भार का प्रशिक्षण।<ref name="such1">{{cite arXiv | vauthors = Such FP, Madhavan V, Conti E, Lehman J, Stanley KO, Clune J | year = 2017 | title = Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning |eprint=1712.06567| class = cs.NE }}</ref> | ||
=== जनसंख्या आधारित === | === जनसंख्या आधारित === | ||
जनसंख्या आधारित प्रशिक्षण (PBT) हाइपरपैरामीटर मान और नेटवर्क भार दोनों सीखता है। अलग-अलग हाइपरपरमेटर्स का उपयोग करते हुए, कई सीखने की प्रक्रियाएँ स्वतंत्र रूप से संचालित होती हैं। विकासवादी विधियों की तरह, खराब प्रदर्शन करने वाले मॉडल को पुनरावृत्त रूप से उन मॉडलों से बदल दिया जाता है जो बेहतर प्रदर्शन करने वालों के आधार पर संशोधित हाइपरपैरामीटर मान और भार अपनाते हैं। यह प्रतिस्थापन मॉडल वार्म स्टार्टिंग पीबीटी और अन्य विकासवादी तरीकों के बीच प्राथमिक अंतर है। पीबीटी इस प्रकार हाइपरपरमेटर्स को विकसित करने की अनुमति देता है और मैन्युअल हाइपरट्यूनिंग की आवश्यकता को समाप्त करता है। प्रक्रिया मॉडल आर्किटेक्चर, हानि कार्यों या प्रशिक्षण प्रक्रियाओं के बारे में कोई धारणा नहीं बनाती है। | जनसंख्या आधारित प्रशिक्षण (PBT) हाइपरपैरामीटर मान और नेटवर्क भार दोनों सीखता है। अलग-अलग हाइपरपरमेटर्स का उपयोग करते हुए, कई सीखने की प्रक्रियाएँ स्वतंत्र रूप से संचालित होती हैं। विकासवादी विधियों की तरह, खराब प्रदर्शन करने वाले मॉडल को पुनरावृत्त रूप से उन मॉडलों से बदल दिया जाता है जो बेहतर प्रदर्शन करने वालों के आधार पर संशोधित हाइपरपैरामीटर मान और भार अपनाते हैं। यह प्रतिस्थापन मॉडल वार्म स्टार्टिंग पीबीटी और अन्य विकासवादी तरीकों के बीच प्राथमिक अंतर है। पीबीटी इस प्रकार हाइपरपरमेटर्स को विकसित करने की अनुमति देता है और मैन्युअल हाइपरट्यूनिंग की आवश्यकता को समाप्त करता है। प्रक्रिया मॉडल आर्किटेक्चर, हानि कार्यों या प्रशिक्षण प्रक्रियाओं के बारे में कोई धारणा नहीं बनाती है। | ||
पीबीटी और इसके वेरिएंट अनुकूली तरीके हैं: वे मॉडल के प्रशिक्षण के दौरान हाइपरपरमेटर्स को अपडेट करते हैं। इसके विपरीत, गैर-अनुकूली विधियों में पूरे प्रशिक्षण के लिए हाइपरपरमेटर्स के निरंतर सेट को असाइन करने के लिए उप-इष्टतम रणनीति होती है।<ref>{{cite arXiv|last1=Li|first1=Ang|last2=Spyra|first2=Ola|last3=Perel|first3=Sagi|last4=Dalibard|first4=Valentin|last5=Jaderberg|first5=Max|last6=Gu|first6=Chenjie|last7=Budden|first7=David|last8=Harley|first8=Tim|last9=Gupta|first9=Pramod|date=2019-02-05|title=जनसंख्या आधारित प्रशिक्षण के लिए एक सामान्यीकृत ढांचा|eprint=1902.01894|class=cs.AI}}</ref> | पीबीटी और इसके वेरिएंट अनुकूली तरीके हैं: वे मॉडल के प्रशिक्षण के दौरान हाइपरपरमेटर्स को अपडेट करते हैं। इसके विपरीत, गैर-अनुकूली विधियों में पूरे प्रशिक्षण के लिए हाइपरपरमेटर्स के निरंतर सेट को असाइन करने के लिए उप-इष्टतम रणनीति होती है।<ref>{{cite arXiv|last1=Li|first1=Ang|last2=Spyra|first2=Ola|last3=Perel|first3=Sagi|last4=Dalibard|first4=Valentin|last5=Jaderberg|first5=Max|last6=Gu|first6=Chenjie|last7=Budden|first7=David|last8=Harley|first8=Tim|last9=Gupta|first9=Pramod|date=2019-02-05|title=जनसंख्या आधारित प्रशिक्षण के लिए एक सामान्यीकृत ढांचा|eprint=1902.01894|class=cs.AI}}</ref> | ||
=== प्रारंभिक रोक-आधारित === | === प्रारंभिक रोक-आधारित === | ||
शुरुआती रोक-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिदम का | शुरुआती रोक-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिदम का वर्ग निरंतर और असतत हाइपरपैरामीटर के बड़े खोज स्थानों के लिए बनाया गया है, खासकर जब हाइपरपैरामीटर के सेट के प्रदर्शन का मूल्यांकन करने के लिए कम्प्यूटेशनल लागत अधिक है। इरेस पुनरावृत्त रेसिंग एल्गोरिथ्म को लागू करता है, जो खराब प्रदर्शन करने वालों को छोड़ने के लिए सांख्यिकीय परीक्षणों का उपयोग करते हुए, सबसे आशाजनक कॉन्फ़िगरेशन के आसपास खोज को केंद्रित करता है।<ref name="irace">{{cite journal |last1=López-Ibáñez |first1=Manuel |last2=Dubois-Lacoste |first2=Jérémie |last3=Pérez Cáceres |first3=Leslie |last4=Stützle |first4=Thomas |last5=Birattari |first5=Mauro |date=2016 |title=The irace package: Iterated Racing for Automatic Algorithm Configuration |journal=Operations Research Perspective |volume=3 |issue=3 |pages=43–58 |doi=10.1016/j.orp.2016.09.002|doi-access=free }}</ref><ref name="race">{{cite journal |last1=Birattari |first1=Mauro |last2=Stützle |first2=Thomas |last3=Paquete |first3=Luis |last4=Varrentrapp |first4=Klaus |date=2002 |title=मेटाह्यूरिस्टिक्स को कॉन्फ़िगर करने के लिए एक रेसिंग एल्गोरिथम|journal=Gecco 2002 |pages=11–18}}</ref> | ||
एक और प्रारंभिक रोक हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिथम क्रमिक पड़ाव (SHA) है,<ref>{{cite arXiv|last1=Jamieson|first1=Kevin|last2=Talwalkar|first2=Ameet|date=2015-02-27|title=नॉन-स्टोकेस्टिक बेस्ट आर्म आइडेंटिफिकेशन और हाइपरपैरामीटर ऑप्टिमाइजेशन|eprint=1502.07943|class=cs.LG}}</ref> जो | एक और प्रारंभिक रोक हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिथम क्रमिक पड़ाव (SHA) है,<ref>{{cite arXiv|last1=Jamieson|first1=Kevin|last2=Talwalkar|first2=Ameet|date=2015-02-27|title=नॉन-स्टोकेस्टिक बेस्ट आर्म आइडेंटिफिकेशन और हाइपरपैरामीटर ऑप्टिमाइजेशन|eprint=1502.07943|class=cs.LG}}</ref> जो यादृच्छिक खोज के रूप में शुरू होता है लेकिन समय-समय पर कम प्रदर्शन वाले मॉडल को कम करता है, जिससे अधिक आशाजनक मॉडल पर कम्प्यूटेशनल संसाधनों पर ध्यान केंद्रित किया जाता है। अतुल्यकालिक क्रमिक आधान (आशा)<ref>{{cite arXiv|last1=Li|first1=Liam|last2=Jamieson|first2=Kevin|last3=Rostamizadeh|first3=Afshin|last4=Gonina|first4=Ekaterina|last5=Hardt|first5=Moritz|last6=Recht|first6=Benjamin|last7=Talwalkar|first7=Ameet|date=2020-03-16|title=बड़े पैमाने पर समानांतर हाइपरपैरामीटर ट्यूनिंग के लिए एक प्रणाली|class=cs.LG|eprint=1810.05934v5}}</ref> कम प्रदर्शन करने वाले मॉडलों का समकालिक रूप से मूल्यांकन और छँटाई करने की आवश्यकता को हटाकर SHA के संसाधन उपयोग प्रोफ़ाइल में और सुधार करता है। हाइपरबैंड<ref>{{cite journal|last1=Li|first1=Lisha|last2=Jamieson|first2=Kevin|last3=DeSalvo|first3=Giulia|last4=Rostamizadeh|first4=Afshin|last5=Talwalkar|first5=Ameet|date=2020-03-16|title=Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization|journal=Journal of Machine Learning Research|volume=18|pages=1–52|arxiv=1603.06560}}</ref> उच्च स्तरीय अर्ली स्टॉपिंग-आधारित एल्गोरिथम है जो अधिक व्यापक रूप से लागू होने और कम आवश्यक इनपुट के साथ छंटाई आक्रामकता के विभिन्न स्तरों के साथ कई बार SHA या आशा को आमंत्रित करता है। | ||
=== अन्य === | === अन्य === | ||
| Line 149: | Line 143: | ||
== संदर्भ == | == संदर्भ == | ||
{{Reflist|30em}} | {{Reflist|30em}} | ||
[[Category: यंत्र अधिगम]] [[Category: गणितीय अनुकूलन]] [[Category: मॉडल चयन]] | [[Category: यंत्र अधिगम]] [[Category: गणितीय अनुकूलन]] [[Category: मॉडल चयन]] | ||
Revision as of 22:09, 29 March 2023
यंत्र अधिगम में, हाइपरपैरामीटर ऑप्टिमाइज़ेशन[1] या ट्यूनिंग लर्निंग एल्गोरिथम के लिए इष्टतम हाइपरपैरामीटर (मशीन लर्निंग) का सेट चुनने की समस्या है। हाइपरपैरामीटर पैरामीटर है जिसका मान सीखने की प्रक्रिया को नियंत्रित करने के लिए उपयोग किया जाता है। इसके विपरीत, अन्य मापदंडों (आमतौर पर नोड भार) के मान सीखे जाते हैं।
एक ही तरह के मशीन लर्निंग मॉडल को अलग-अलग डेटा पैटर्न को सामान्य बनाने के लिए अलग-अलग बाधाओं, भार या सीखने की दरों की आवश्यकता हो सकती है। इन उपायों को हाइपरपरमेटर्स कहा जाता है, और इन्हें ट्यून करना पड़ता है ताकि मॉडल मशीन सीखने की समस्या को बेहतर ढंग से हल कर सके। हाइपरपैरामीटर ऑप्टिमाइज़ेशन हाइपरपरमेटर्स का टपल ढूंढता है जो इष्टतम मॉडल उत्पन्न करता है जो दिए गए स्वतंत्र डेटा पर पूर्वनिर्धारित हानि फ़ंक्शन को कम करता है।[2] ऑब्जेक्टिव फ़ंक्शन हाइपरपरमेटर्स का टपल लेता है और संबंधित नुकसान लौटाता है।[2]क्रॉस-वैलिडेशन (सांख्यिकी) | क्रॉस-वैलिडेशन का उपयोग अक्सर इस सामान्यीकरण प्रदर्शन का अनुमान लगाने के लिए किया जाता है।[3]
दृष्टिकोण
ग्रिड खोज
हाइपरपरमीटर ऑप्टिमाइज़ेशन करने का पारंपरिक तरीका ग्रिड सर्च या पैरामीटर स्वीप रहा है, जो सीखने के एल्गोरिदम के हाइपरपेरामीटर स्पेस के मैन्युअल रूप से निर्दिष्ट सबसेट के माध्यम से केवल क्रूर-बल खोज है। ग्रिड खोज एल्गोरिथ्म को कुछ प्रदर्शन मीट्रिक द्वारा निर्देशित किया जाना चाहिए, जिसे आमतौर पर क्रॉस-सत्यापन (सांख्यिकी) द्वारा मापा जाता है। प्रशिक्षण सेट पर क्रॉस-सत्यापन[4] या होल्ड-आउट सत्यापन सेट पर मूल्यांकन।[5] चूंकि मशीन सीखने वाले के पैरामीटर स्थान में कुछ मापदंडों के लिए वास्तविक-मूल्यवान या असीमित मान स्थान शामिल हो सकते हैं, ग्रिड खोज को लागू करने से पहले मैन्युअल रूप से निर्धारित सीमा और विवेक आवश्यक हो सकता है।
उदाहरण के लिए, रेडियल आधार फ़ंक्शन कर्नेल से लैस विशिष्ट सॉफ्ट-मार्जिन समर्थन वेक्टर यंत्र सांख्यिकीय वर्गीकरण में कम से कम दो हाइपरपैरामीटर होते हैं जिन्हें अनदेखे डेटा पर अच्छे प्रदर्शन के लिए ट्यून करने की आवश्यकता होती है: नियमितीकरण स्थिरांक C और कर्नेल हाइपरपैरामीटर γ। दोनों पैरामीटर निरंतर हैं, इसलिए ग्रिड खोज करने के लिए, प्रत्येक के लिए उचित मूल्यों का सीमित सेट चुनता है, कहते हैं
ग्रिड खोज तब इन दो सेटों के कार्टेशियन उत्पाद में प्रत्येक जोड़ी (सी, γ) के साथ एसवीएम को प्रशिक्षित करती है और आयोजित-आउट सत्यापन सेट पर उनके प्रदर्शन का मूल्यांकन करती है (या प्रशिक्षण सेट पर आंतरिक क्रॉस-सत्यापन द्वारा, जिस स्थिति में कई एसवीएम प्रति जोड़ी प्रशिक्षित हैं)। अंत में, ग्रिड खोज एल्गोरिदम उन सेटिंग्स को आउटपुट करता है जो सत्यापन प्रक्रिया में उच्चतम स्कोर प्राप्त करते हैं।
ग्रिड खोज आयामीता के अभिशाप से ग्रस्त है, लेकिन अक्सर शर्मनाक रूप से समानांतर होती है क्योंकि इसके द्वारा मूल्यांकन की जाने वाली हाइपरपरमीटर सेटिंग्स आमतौर पर दूसरे से स्वतंत्र होती हैं।[3]
यादृच्छिक खोज
यादृच्छिक खोज सभी संयोजनों की संपूर्ण गणना को यादृच्छिक रूप से चुनकर प्रतिस्थापित करती है। यह केवल ऊपर वर्णित असतत सेटिंग पर लागू किया जा सकता है, लेकिन निरंतर और मिश्रित रिक्त स्थान के लिए भी सामान्यीकृत किया जा सकता है। यह ग्रिड खोज से बेहतर प्रदर्शन कर सकता है, खासकर तब जब बहुत कम संख्या में हाइपरपैरामीटर मशीन लर्निंग एल्गोरिदम के अंतिम प्रदर्शन को प्रभावित करते हैं।[3]इस मामले में, अनुकूलन समस्या को कम आंतरिक आयाम कहा जाता है।[6] यादृच्छिक खोज भी शर्मनाक रूप से समानांतर है, और इसके अतिरिक्त वितरण को निर्दिष्ट करके पूर्व ज्ञान को शामिल करने की अनुमति देता है जिससे नमूना लिया जा सके। इसकी सरलता के बावजूद, यादृच्छिक खोज महत्वपूर्ण आधार-रेखाओं में से बनी हुई है जिसके विरुद्ध नए हाइपरपैरामीटर अनुकूलन विधियों के प्रदर्शन की तुलना की जा सकती है।
बायेसियन अनुकूलन
बायेसियन ऑप्टिमाइज़ेशन नॉइज़ ब्लैक-बॉक्स फ़ंक्शंस के लिए वैश्विक ऑप्टिमाइज़ेशन विधि है। हाइपरपैरामीटर ऑप्टिमाइज़ेशन के लिए लागू, बायेसियन ऑप्टिमाइज़ेशन फ़ंक्शन मैपिंग का संभाव्य मॉडल बनाता है जो हाइपरपैरामीटर मानों से सत्यापन सेट पर मूल्यांकन किए गए उद्देश्य के लिए होता है। वर्तमान मॉडल के आधार पर होनहार हाइपरपैरामीटर कॉन्फ़िगरेशन का पुनरावृत्त रूप से मूल्यांकन करके, और फिर इसे अपडेट करके, बायेसियन अनुकूलन का उद्देश्य इस फ़ंक्शन के बारे में और विशेष रूप से, इष्टतम के स्थान के बारे में अधिक से अधिक जानकारी प्रकट करने वाली टिप्पणियों को इकट्ठा करना है। यह अन्वेषण (हाइपरपैरामीटर जिसके लिए परिणाम सबसे अनिश्चित है) और शोषण (हाइपरपैरामीटर इष्टतम के करीब होने की उम्मीद) को संतुलित करने की कोशिश करता है। व्यवहार में, बायेसियन अनुकूलन दिखाया गया है[7][8][9][10] ग्रिड खोज और यादृच्छिक खोज की तुलना में कम मूल्यांकन में बेहतर परिणाम प्राप्त करने के लिए, प्रयोगों को चलाने से पहले उनकी गुणवत्ता के बारे में तर्क करने की क्षमता के कारण।
ग्रेडिएंट-आधारित अनुकूलन
विशिष्ट शिक्षण एल्गोरिदम के लिए, हाइपरपैरामीटर के संबंध में ग्रेडिएंट की गणना करना संभव है और फिर ढतला हुआ वंश का उपयोग करके हाइपरपैरामीटर का अनुकूलन करना। इन तकनीकों का पहला उपयोग तंत्रिका नेटवर्क पर केंद्रित था।[11] तब से, इन विधियों को अन्य मॉडलों जैसे सपोर्ट वेक्टर मशीनों तक बढ़ा दिया गया है[12] या लॉजिस्टिक रिग्रेशन।[13] हाइपरपैरामीटर के संबंध में ढाल प्राप्त करने के लिए अलग दृष्टिकोण स्वचालित भेदभाव का उपयोग करके पुनरावृत्त अनुकूलन एल्गोरिदम के चरणों को अलग करने में होता है।[14][15][16][17] इस दिशा में और हालिया कार्य हाइपरग्रेडिएंट्स की गणना करने के लिए अंतर्निहित फ़ंक्शन प्रमेय का उपयोग करता है और उलटा हेस्सियन के स्थिर सन्निकटन का प्रस्ताव करता है। यह विधि लाखों हाइपरपैरामीटरों को मापती है और इसके लिए निरंतर मेमोरी की आवश्यकता होती है।
एक अलग दृष्टिकोण में,[18] हाइपरनेटवर्क को सर्वश्रेष्ठ प्रतिक्रिया फ़ंक्शन का अनुमान लगाने के लिए प्रशिक्षित किया जाता है। इस पद्धति के फायदों में से यह है कि यह असतत हाइपरपरमेटर्स को भी संभाल सकता है। स्व-ट्यूनिंग नेटवर्क[19] हाइपरनेटवर्क के लिए कॉम्पैक्ट प्रतिनिधित्व चुनकर इस दृष्टिकोण का स्मृति कुशल संस्करण प्रदान करें। अभी हाल ही में, Δ-STN[20] हाइपरनेटवर्क के थोड़े पुनर्मूल्यांकन द्वारा इस पद्धति में और सुधार किया है जो प्रशिक्षण को गति देता है। Δ-STN भी वज़न में नेटवर्क को रेखीयकृत करके सर्वोत्तम-प्रतिक्रिया वाले जेकोबियन का बेहतर सन्निकटन प्राप्त करता है, इसलिए वज़न में बड़े परिवर्तनों के अनावश्यक अरैखिक प्रभावों को दूर करता है।
हाइपरनेटवर्क दृष्टिकोण के अलावा, ग्रेडिएंट-आधारित विधियों का उपयोग असतत हाइपरपैरामीटर को भी मापदंडों की निरंतर छूट को अपनाकर अनुकूलित करने के लिए किया जा सकता है।[21] इस तरह के तरीकों का व्यापक रूप से तंत्रिका वास्तुकला खोज में आर्किटेक्चर हाइपरपैरामीटर के अनुकूलन के लिए उपयोग किया गया है।
विकासवादी अनुकूलन
विकासवादी अनुकूलन शोर वाले ब्लैक-बॉक्स कार्यों के वैश्विक अनुकूलन के लिए पद्धति है। हाइपरपैरामीटर ऑप्टिमाइज़ेशन में, विकासवादी ऑप्टिमाइज़ेशन किसी दिए गए एल्गोरिथम के लिए हाइपरपैरामीटर के स्थान की खोज करने के लिए विकासवादी एल्गोरिदम का उपयोग करता है।[8]इवोल्यूशनरी हाइपरपैरामीटर ऑप्टिमाइज़ेशन एवोल्यूशनरी एल्गोरिथम का अनुसरण करता है#विकास की जैविक अवधारणा से प्रेरित कार्यान्वयन:
- यादृच्छिक समाधानों की प्रारंभिक आबादी बनाएं (यानी, बेतरतीब ढंग से हाइपरपरमेटर्स के टुपल्स उत्पन्न करें, आमतौर पर 100+)
- हाइपरपैरामीटर टुपल्स का मूल्यांकन करें और उनके फिटनेस कार्य को प्राप्त करें (उदाहरण के लिए, 10-गुना क्रॉस-सत्यापन (सांख्यिकी) | उन हाइपरपैरामीटर के साथ मशीन लर्निंग एल्गोरिदम की क्रॉस-सत्यापन सटीकता)
- हाइपरपैरामीटर टुपल्स को उनकी सापेक्ष फिटनेस के आधार पर रैंक करें
- क्रॉसओवर (जेनेटिक एल्गोरिथम) और म्यूटेशन (जेनेटिक एल्गोरिथम) के माध्यम से उत्पन्न होने वाले नए हाइपरपरमीटर ट्यूपल्स के साथ सबसे खराब प्रदर्शन करने वाले हाइपरपैरामीटर ट्यूपल्स को बदलें।
- चरण 2-4 को तब तक दोहराएं जब तक कि एल्गोरिदम प्रदर्शन संतोषजनक न हो जाए या एल्गोरिदम प्रदर्शन में सुधार न हो
सांख्यिकीय मशीन लर्निंग एल्गोरिदम के लिए हाइपरपरमीटर ऑप्टिमाइज़ेशन में इवोल्यूशनरी ऑप्टिमाइज़ेशन का उपयोग किया गया है,[8]स्वचालित मशीन लर्निंग, विशिष्ट तंत्रिका नेटवर्क [22] और डीप लर्निंग#डीप न्यूरल नेटवर्क आर्किटेक्चर सर्च,[23][24] साथ ही गहरे तंत्रिका नेटवर्क में भार का प्रशिक्षण।[25]
जनसंख्या आधारित
जनसंख्या आधारित प्रशिक्षण (PBT) हाइपरपैरामीटर मान और नेटवर्क भार दोनों सीखता है। अलग-अलग हाइपरपरमेटर्स का उपयोग करते हुए, कई सीखने की प्रक्रियाएँ स्वतंत्र रूप से संचालित होती हैं। विकासवादी विधियों की तरह, खराब प्रदर्शन करने वाले मॉडल को पुनरावृत्त रूप से उन मॉडलों से बदल दिया जाता है जो बेहतर प्रदर्शन करने वालों के आधार पर संशोधित हाइपरपैरामीटर मान और भार अपनाते हैं। यह प्रतिस्थापन मॉडल वार्म स्टार्टिंग पीबीटी और अन्य विकासवादी तरीकों के बीच प्राथमिक अंतर है। पीबीटी इस प्रकार हाइपरपरमेटर्स को विकसित करने की अनुमति देता है और मैन्युअल हाइपरट्यूनिंग की आवश्यकता को समाप्त करता है। प्रक्रिया मॉडल आर्किटेक्चर, हानि कार्यों या प्रशिक्षण प्रक्रियाओं के बारे में कोई धारणा नहीं बनाती है।
पीबीटी और इसके वेरिएंट अनुकूली तरीके हैं: वे मॉडल के प्रशिक्षण के दौरान हाइपरपरमेटर्स को अपडेट करते हैं। इसके विपरीत, गैर-अनुकूली विधियों में पूरे प्रशिक्षण के लिए हाइपरपरमेटर्स के निरंतर सेट को असाइन करने के लिए उप-इष्टतम रणनीति होती है।[26]
प्रारंभिक रोक-आधारित
शुरुआती रोक-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिदम का वर्ग निरंतर और असतत हाइपरपैरामीटर के बड़े खोज स्थानों के लिए बनाया गया है, खासकर जब हाइपरपैरामीटर के सेट के प्रदर्शन का मूल्यांकन करने के लिए कम्प्यूटेशनल लागत अधिक है। इरेस पुनरावृत्त रेसिंग एल्गोरिथ्म को लागू करता है, जो खराब प्रदर्शन करने वालों को छोड़ने के लिए सांख्यिकीय परीक्षणों का उपयोग करते हुए, सबसे आशाजनक कॉन्फ़िगरेशन के आसपास खोज को केंद्रित करता है।[27][28] एक और प्रारंभिक रोक हाइपरपैरामीटर ऑप्टिमाइज़ेशन एल्गोरिथम क्रमिक पड़ाव (SHA) है,[29] जो यादृच्छिक खोज के रूप में शुरू होता है लेकिन समय-समय पर कम प्रदर्शन वाले मॉडल को कम करता है, जिससे अधिक आशाजनक मॉडल पर कम्प्यूटेशनल संसाधनों पर ध्यान केंद्रित किया जाता है। अतुल्यकालिक क्रमिक आधान (आशा)[30] कम प्रदर्शन करने वाले मॉडलों का समकालिक रूप से मूल्यांकन और छँटाई करने की आवश्यकता को हटाकर SHA के संसाधन उपयोग प्रोफ़ाइल में और सुधार करता है। हाइपरबैंड[31] उच्च स्तरीय अर्ली स्टॉपिंग-आधारित एल्गोरिथम है जो अधिक व्यापक रूप से लागू होने और कम आवश्यक इनपुट के साथ छंटाई आक्रामकता के विभिन्न स्तरों के साथ कई बार SHA या आशा को आमंत्रित करता है।
अन्य
चमकीले आधार की क्रिया[32] और वर्णक्रमीय विधि[33] दृष्टिकोण भी विकसित किए हैं।
यह भी देखें
- स्वचालित मशीन लर्निंग
- तंत्रिका वास्तुकला खोज
- मेटा-ऑप्टिमाइज़ेशन
- मॉडल चयन
- स्व ट्यूनिंग
- एक्सजीबूस्ट
संदर्भ
- ↑ Matthias Feurer and Frank Hutter. Hyperparameter optimization. In: AutoML: Methods, Systems, Challenges, pages 3–38.
- ↑ 2.0 2.1 Claesen, Marc; Bart De Moor (2015). "मशीन लर्निंग में हाइपरपैरामीटर खोज". arXiv:1502.02127 [cs.LG].
- ↑ 3.0 3.1 3.2 Bergstra, James; Bengio, Yoshua (2012). "हाइपर-पैरामीटर अनुकूलन के लिए यादृच्छिक खोज" (PDF). Journal of Machine Learning Research. 13: 281–305.
- ↑ Chin-Wei Hsu, Chih-Chung Chang and Chih-Jen Lin (2010). A practical guide to support vector classification. Technical Report, National Taiwan University.
- ↑ Chicco D (December 2017). "Ten quick tips for machine learning in computational biology". BioData Mining. 10 (35): 35. doi:10.1186/s13040-017-0155-3. PMC 5721660. PMID 29234465.
- ↑ Ziyu, Wang; Frank, Hutter; Masrour, Zoghi; David, Matheson; Nando, de Feitas (2016). "रैंडम एम्बेडिंग के माध्यम से एक अरब आयामों में बायेसियन अनुकूलन". Journal of Artificial Intelligence Research (in English). 55: 361–387. arXiv:1301.1942. doi:10.1613/jair.4806. S2CID 279236.
- ↑ Hutter, Frank; Hoos, Holger; Leyton-Brown, Kevin (2011), "Sequential model-based optimization for general algorithm configuration" (PDF), Learning and Intelligent Optimization, Lecture Notes in Computer Science, 6683: 507–523, CiteSeerX 10.1.1.307.8813, doi:10.1007/978-3-642-25566-3_40, ISBN 978-3-642-25565-6
- ↑ 8.0 8.1 8.2 Bergstra, James; Bardenet, Remi; Bengio, Yoshua; Kegl, Balazs (2011), "Algorithms for hyper-parameter optimization" (PDF), Advances in Neural Information Processing Systems
- ↑ Snoek, Jasper; Larochelle, Hugo; Adams, Ryan (2012). "Practical Bayesian Optimization of Machine Learning Algorithms" (PDF). Advances in Neural Information Processing Systems. arXiv:1206.2944. Bibcode:2012arXiv1206.2944S.
- ↑ Thornton, Chris; Hutter, Frank; Hoos, Holger; Leyton-Brown, Kevin (2013). "Auto-WEKA: Combined selection and hyperparameter optimization of classification algorithms" (PDF). Knowledge Discovery and Data Mining. arXiv:1208.3719. Bibcode:2012arXiv1208.3719T.
- ↑ Larsen, Jan; Hansen, Lars Kai; Svarer, Claus; Ohlsson, M (1996). "Design and regularization of neural networks: the optimal use of a validation set" (PDF). Proceedings of the 1996 IEEE Signal Processing Society Workshop: 62–71. CiteSeerX 10.1.1.415.3266. doi:10.1109/NNSP.1996.548336. ISBN 0-7803-3550-3. S2CID 238874.
- ↑ Olivier Chapelle; Vladimir Vapnik; Olivier Bousquet; Sayan Mukherjee (2002). "वेक्टर मशीनों का समर्थन करने के लिए कई पैरामीटर चुनना" (PDF). Machine Learning. 46: 131–159. doi:10.1023/a:1012450327387.
- ↑ Chuong B; Chuan-Sheng Foo; Andrew Y Ng (2008). "लॉग-लीनियर मॉडल के लिए कुशल मल्टीपल हाइपरपैरामीटर लर्निंग" (PDF). Advances in Neural Information Processing Systems. 20.
- ↑ Domke, Justin (2012). "अनुकूलन-आधारित मॉडलिंग के लिए सामान्य तरीके" (PDF). Aistats. 22. Archived from the original (PDF) on 2014-01-24. Retrieved 2017-12-09.
- ↑ Maclaurin, Douglas; Duvenaud, David; Adams, Ryan P. (2015). "प्रतिवर्ती शिक्षण के माध्यम से ग्रेडिएंट-आधारित हाइपरपैरामीटर अनुकूलन". arXiv:1502.03492 [stat.ML].
- ↑ Franceschi, Luca; Donini, Michele; Frasconi, Paolo; Pontil, Massimiliano (2017). "फॉरवर्ड और रिवर्स ग्रेडिएंट-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन" (PDF). Proceedings of the 34th International Conference on Machine Learning. arXiv:1703.01785. Bibcode:2017arXiv170301785F.
- ↑ Shaban, A., Cheng, C. A., Hatch, N., & Boots, B. (2019, April). Truncated back-propagation for bilevel optimization. In The 22nd International Conference on Artificial Intelligence and Statistics (pp. 1723-1732). PMLR.
- ↑ Lorraine, J., & Duvenaud, D. (2018). Stochastic hyperparameter optimization through hypernetworks. arXiv preprint arXiv:1802.09419.
- ↑ MacKay, M., Vicol, P., Lorraine, J., Duvenaud, D., & Grosse, R. (2019). Self-tuning networks: Bilevel optimization of hyperparameters using structured best-response functions. arXiv preprint arXiv:1903.03088.
- ↑ Bae, J., & Grosse, R. B. (2020). Delta-stn: Efficient bilevel optimization for neural networks using structured response jacobians. Advances in Neural Information Processing Systems, 33, 21725-21737.
- ↑ Liu, H., Simonyan, K., & Yang, Y. (2018). Darts: Differentiable architecture search. arXiv preprint arXiv:1806.09055.
- ↑ Kousiouris G, Cuccinotta T, Varvarigou T (2011). "वर्चुअल मशीन के प्रदर्शन पर शेड्यूलिंग, कार्यभार प्रकार और समेकन परिदृश्यों के प्रभाव और अनुकूलित कृत्रिम तंत्रिका नेटवर्क के माध्यम से उनकी भविष्यवाणी". Journal of Systems and Software. 84 (8): 1270–1291. doi:10.1016/j.jss.2011.04.013. hdl:11382/361472.
- ↑ Miikkulainen R, Liang J, Meyerson E, Rawal A, Fink D, Francon O, Raju B, Shahrzad H, Navruzyan A, Duffy N, Hodjat B (2017). "डीप न्यूरल नेटवर्क का विकास". arXiv:1703.00548 [cs.NE].
- ↑ Jaderberg M, Dalibard V, Osindero S, Czarnecki WM, Donahue J, Razavi A, Vinyals O, Green T, Dunning I, Simonyan K, Fernando C, Kavukcuoglu K (2017). "तंत्रिका नेटवर्क का जनसंख्या आधारित प्रशिक्षण". arXiv:1711.09846 [cs.LG].
- ↑ Such FP, Madhavan V, Conti E, Lehman J, Stanley KO, Clune J (2017). "Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning". arXiv:1712.06567 [cs.NE].
- ↑ Li, Ang; Spyra, Ola; Perel, Sagi; Dalibard, Valentin; Jaderberg, Max; Gu, Chenjie; Budden, David; Harley, Tim; Gupta, Pramod (2019-02-05). "जनसंख्या आधारित प्रशिक्षण के लिए एक सामान्यीकृत ढांचा". arXiv:1902.01894 [cs.AI].
- ↑ López-Ibáñez, Manuel; Dubois-Lacoste, Jérémie; Pérez Cáceres, Leslie; Stützle, Thomas; Birattari, Mauro (2016). "The irace package: Iterated Racing for Automatic Algorithm Configuration". Operations Research Perspective. 3 (3): 43–58. doi:10.1016/j.orp.2016.09.002.
- ↑ Birattari, Mauro; Stützle, Thomas; Paquete, Luis; Varrentrapp, Klaus (2002). "मेटाह्यूरिस्टिक्स को कॉन्फ़िगर करने के लिए एक रेसिंग एल्गोरिथम". Gecco 2002: 11–18.
- ↑ Jamieson, Kevin; Talwalkar, Ameet (2015-02-27). "नॉन-स्टोकेस्टिक बेस्ट आर्म आइडेंटिफिकेशन और हाइपरपैरामीटर ऑप्टिमाइजेशन". arXiv:1502.07943 [cs.LG].
- ↑ Li, Liam; Jamieson, Kevin; Rostamizadeh, Afshin; Gonina, Ekaterina; Hardt, Moritz; Recht, Benjamin; Talwalkar, Ameet (2020-03-16). "बड़े पैमाने पर समानांतर हाइपरपैरामीटर ट्यूनिंग के लिए एक प्रणाली". arXiv:1810.05934v5 [cs.LG].
- ↑ Li, Lisha; Jamieson, Kevin; DeSalvo, Giulia; Rostamizadeh, Afshin; Talwalkar, Ameet (2020-03-16). "Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization". Journal of Machine Learning Research. 18: 1–52. arXiv:1603.06560.
- ↑ Diaz, Gonzalo; Fokoue, Achille; Nannicini, Giacomo; Samulowitz, Horst (2017). "तंत्रिका नेटवर्क के हाइपरपरमीटर अनुकूलन के लिए एक प्रभावी एल्गोरिदम". arXiv:1705.08520 [cs.AI].
- ↑ Hazan, Elad; Klivans, Adam; Yuan, Yang (2017). "Hyperparameter Optimization: A Spectral Approach". arXiv:1706.00764 [cs.LG].
