मेटा-लर्निंग (कंप्यूटर विज्ञान): Difference between revisions
From Vigyanwiki
(Created page with "{{short description|Subfield of machine learning}} {{About|meta learning in machine learning|meta learning in social psychology|Meta learning|metalearning in neuroscience|Meta...") |
No edit summary |
||
| Line 3: | Line 3: | ||
{{More citations needed|date=August 2010}} | {{More citations needed|date=August 2010}} | ||
{{machine learning}} | {{machine learning}} | ||
मेटा | मेटा अधिगम<ref name="sch1987">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1987| title = Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook | url= http://people.idsia.ch/~juergen/diploma1987ocr.pdf | journal = Diploma Thesis, Tech. Univ. Munich}}</ref><ref name="scholarpedia">{{cite journal | last1 = Schaul | first1 = Tom | last2 = Schmidhuber | first2 = Jürgen | year = 2010| title = धातु अर्जित करना| journal = Scholarpedia | volume = 5 | issue = 6| page = 4650 | doi=10.4249/scholarpedia.4650| bibcode = 2010SchpJ...5.4650S | doi-access = free }}</ref>[[ यंत्र अधिगम |मशीन अधिगम]] का उपक्षेत्र है जहां स्वचालित अधिगम एल्गोरिदम को मशीन अधिगम प्रयोगों के बारे में [[मेटा डेटा]] पर लागू किया जाता है। 2017 तक, इस शब्द को मानक व्याख्या नहीं मिली थी, तथापि मुख्य लक्ष्य ऐसे मेटाडेटा का उपयोग करना है ताकि यह समझा जा सके कि सीखने की समस्याओं को हल करने में स्वचालित अधिगम कैसे लचीला हो सकता है, इसलिए मौजूदा अधिगम एल्गोरिदम के प्रदर्शन में सुधार करना या [[सीखने के एल्गोरिदम]] को स्वयं सीखना (प्रेरित करना), वैकल्पिक शब्द है।<ref name="sch1987" /> | ||
[[ यंत्र अधिगम ]] का | |||
सुनम्यता महत्वपूर्ण है क्योंकि प्रत्येक अधिगम एल्गोरिदम डेटा, उसके [[आगमनात्मक पूर्वाग्रह|आगमनात्मक]] अभिनति के बारे में धारणाओं के सेट पर आधारित होता है।<ref name="utgoff1986">{{Cite journal | |||
| author = P. E. Utgoff | | author = P. E. Utgoff | ||
| title = Shift of bias for inductive concept learning | | title = Shift of bias for inductive concept learning | ||
| Line 12: | Line 11: | ||
| pages = 163–190 | | pages = 163–190 | ||
| year = 1986 | | year = 1986 | ||
}}</ref> इसका मतलब यह है कि यह केवल तभी अच्छी तरह सीखेगा जब | }}</ref> इसका मतलब यह है कि यह केवल तभी अच्छी तरह सीखेगा जब अभिनति सीखने की समस्या से मेल खाता हो। अधिगम एल्गोरिदम अनुक्षेत्र में बहुत अच्छा प्रदर्शन कर सकता है, लेकिन अगले में नहीं। यह मशीन अधिगम या [[डेटा खनन]] तकनीकों के उपयोग पर प्रतिबंध लगाता है, क्योंकि सीखने की समस्या (प्रायः किसी प्रकार का [[डेटाबेस]]) और विभिन्न अधिगम एल्गोरिदम की प्रभावशीलता के बीच संबंध अभी तक समझ में नहीं आया है। | ||
विभिन्न प्रकार के मेटाडेटा का उपयोग करके, जैसे सीखने की समस्या के गुण, एल्गोरिदम गुण (जैसे | विभिन्न प्रकार के मेटाडेटा का उपयोग करके, जैसे सीखने की समस्या के गुण, एल्गोरिदम गुण (जैसे निष्पादन उपाय), या डेटा से पहले प्राप्त प्रतिरूप, किसी दी गई सीखने की समस्या को प्रभावी ढंग से हल करने के लिए विभिन्न अधिगम एल्गोरिदम को सीखना, चयन करना, बदलना या संयोजित करना संभव है। मेटा अधिगम दृष्टिकोण की आलोचना [[मेटाह्यूरिस्टिक]] की आलोचना से काफी मिलती जुलती है, जो संभवतः एक संबंधित समस्या है। मेटा-अधिगम का अच्छा सादृश्य, और जुर्गन श्मिधुबर के शुरुआती काम के लिए प्रेरणा (1987)<ref name="sch1987" />और [[जोशुआ बेंगियो]] एट अल का काम (1991),<ref>{{cite conference|last1=Bengio|first1=Yoshua|last2=Bengio|first2=Samy|last3=Cloutier|first3=Jocelyn|conference=IJCNN'91|url=http://bengio.abracadoudou.com/publications/pdf/bengio_1991_ijcnn.pdf|date=1991|title=Learning to learn a synaptic rule}}</ref> मानता है कि आनुवंशिक विकास जीन में एन्कोडेड और प्रत्येक व्यक्ति के मस्तिष्क में क्रियान्वित सीखने की प्रक्रिया को सीखता है। ओपन-एंडेड पदानुक्रमित मेटा अधिगम प्रणाली में<ref name="sch1987" />[[आनुवंशिक प्रोग्रामिंग]] का उपयोग करके, मेटा इवोल्यूशन द्वारा बेहतर विकासवादी तरीकों को सीखा जा सकता है, जिसे मेटा विकासक्रम आदि द्वारा बेहतर बनाया जा सकता है।<ref name="sch1987" /> | ||
एनसेम्बल अधिगम भी देखें। | |||
== परिभाषा == | == परिभाषा == | ||
एक प्रस्तावित परिभाषा<ref>{{Cite journal|last1=Lemke|first1=Christiane|last2=Budka|first2=Marcin|last3=Gabrys|first3=Bogdan|date=2013-07-20|title=Metalearning: a survey of trends and technologies|journal=Artificial Intelligence Review|language=en|volume=44|issue=1|pages=117–130|doi=10.1007/s10462-013-9406-y|issn=0269-2821|pmc=4459543|pmid=26069389}}</ref> मेटा | एक प्रस्तावित परिभाषा<ref>{{Cite journal|last1=Lemke|first1=Christiane|last2=Budka|first2=Marcin|last3=Gabrys|first3=Bogdan|date=2013-07-20|title=Metalearning: a survey of trends and technologies|journal=Artificial Intelligence Review|language=en|volume=44|issue=1|pages=117–130|doi=10.1007/s10462-013-9406-y|issn=0269-2821|pmc=4459543|pmid=26069389}}</ref> में मेटा अधिगम प्रणाली के लिए तीन आवश्यकताएं सम्मिलित हैं: | ||
* | * प्रणाली में एक अधिगम उपतंत्र सम्मिलित होना चाहिए। | ||
* निकाले गए मेटा | * निकाले गए मेटा समुपयोजन का दोहन करके अनुभव प्राप्त किया जाता है | ||
* एकल डेटासेट पर पिछले अधिगम प्रकरण में, या | |||
* विभिन्न अनुक्षेत्र से। | |||
* सीखने के अभिनति को गतिशील रूप से चुना जाना चाहिए। | |||
''अभिनति'' उन धारणाओं को संदर्भित करता है जो व्याख्यात्मक परिकल्पनाओं के चुनाव को प्रभावित करती हैं न कि अभिनति -विचरण दुविधा में दर्शाए गए अभिनति की धारणा को। मेटा अधिगम का संबंध सीखने के अभिनति के दो पहलुओं से है। | |||
* घोषणात्मक अभिनति परिकल्पनाओं के स्थान का प्रतिनिधित्व निर्दिष्ट करता है, और खोज स्थान के आकार को प्रभावित करता है (उदाहरण के लिए, केवल रैखिक कार्यों का उपयोग करके परिकल्पनाओं का प्रतिनिधित्व करता है)। | |||
* प्रक्रियात्मक अभिनति आगमनात्मक परिकल्पनाओं के क्रम पर प्रतिबंध लगाता है (उदाहरण के लिए, छोटी परिकल्पनाओं को प्राथमिकता देना)।<ref>{{cite journal |last1=Gordon |first1=Diana |last2=Desjardins |first2=Marie |title=मशीन लर्निंग में पूर्वाग्रहों का मूल्यांकन और चयन|journal=Machine Learning |date=1995 |volume=20 |pages=5–22 |doi=10.1023/A:1022630017346 |url=https://link.springer.com/content/pdf/10.1023/A:1022630017346.pdf |access-date=27 March 2020|doi-access=free }}</ref> | |||
==सामान्य दृष्टिकोण== | ==सामान्य दृष्टिकोण== | ||
तीन सामान्य दृष्टिकोण हैं:<ref name="paper1">[https://lilianweng.github.io/lil-log/2018/11/30/meta-learning.html] Lilian Weng(2018). Meta-Learning: Learning to Learn Fast. OpenAI Blog . November 2018 . Retrieved 27 October 2019</ref> | तीन सामान्य दृष्टिकोण हैं:<ref name="paper1">[https://lilianweng.github.io/lil-log/2018/11/30/meta-learning.html] Lilian Weng(2018). Meta-Learning: Learning to Learn Fast. OpenAI Blog . November 2018 . Retrieved 27 October 2019</ref> | ||
| Line 37: | Line 37: | ||
===मॉडल-आधारित=== | ===मॉडल-आधारित=== | ||
मॉडल-आधारित मेटा- | मॉडल-आधारित मेटा-अधिगम मॉडल कुछ प्र अधिगम चरणों के साथ अपने मापदंडों को तेजी से अपडेट करता है, जिसे इसके आंतरिक आर्किटेक्चर द्वारा प्राप्त किया जा सकता है या किसी अन्य मेटा-लर्नर मॉडल द्वारा नियंत्रित किया जा सकता है।<ref name="paper1"/> | ||
====मेमोरी-संवर्धित [[तंत्रिका नेटवर्क]]==== | ====मेमोरी-संवर्धित [[तंत्रिका नेटवर्क]]==== | ||
मेमोरी-ऑगमेंटेड न्यूरल नेटवर्क, या संक्षेप में MANN, के बारे में दावा किया जाता है कि यह नई जानकारी को शीघ्रता से एनकोड करने में सक्षम है और इस प्रकार केवल कुछ उदाहरणों के बाद नए कार्यों के लिए अनुकूल हो जाता है।<ref name="paper2">[http://proceedings.mlr.press/v48/santoro16.pdf] Adam Santoro, Sergey Bartunov, Daan Wierstra, Timothy Lillicrap. Meta-Learning with Memory-Augmented Neural Networks. Google DeepMind. Retrieved 29 October 2019</ref> | मेमोरी-ऑगमेंटेड न्यूरल नेटवर्क, या संक्षेप में MANN, के बारे में दावा किया जाता है कि यह नई जानकारी को शीघ्रता से एनकोड करने में सक्षम है और इस प्रकार केवल कुछ उदाहरणों के बाद नए कार्यों के लिए अनुकूल हो जाता है।<ref name="paper2">[http://proceedings.mlr.press/v48/santoro16.pdf] Adam Santoro, Sergey Bartunov, Daan Wierstra, Timothy Lillicrap. Meta-Learning with Memory-Augmented Neural Networks. Google DeepMind. Retrieved 29 October 2019</ref> | ||
====मेटा नेटवर्क==== | ====मेटा नेटवर्क==== | ||
मेटा नेटवर्क (मेटानेट) सभी कार्यों में मेटा-स्तरीय ज्ञान सीखता है और तेजी से सामान्यीकरण के लिए तेजी से मानकीकरण के माध्यम से अपने आगमनात्मक | मेटा नेटवर्क (मेटानेट) सभी कार्यों में मेटा-स्तरीय ज्ञान सीखता है और तेजी से सामान्यीकरण के लिए तेजी से मानकीकरण के माध्यम से अपने आगमनात्मक अभिनति ों को बदलता है।<ref name="paper3">[https://arxiv.org/abs/1703.00837] Tsendsuren Munkhdalai, Hong Yu (2017). Meta Networks.arXiv:1703.00837 [cs.LG]</ref> | ||
===मीट्रिक-आधारित=== | ===मीट्रिक-आधारित=== | ||
मीट्रिक-आधारित मेटा- | मीट्रिक-आधारित मेटा-अधिगम में मुख्य विचार K-निकटतम पड़ोसी एल्गोरिदम एल्गोरिदम के समान है, जिसका वजन कर्नेल फ़ंक्शन द्वारा उत्पन्न होता है। इसका उद्देश्य वस्तुओं पर एक मीट्रिक या दूरी फ़ंक्शन सीखना है। एक अच्छे मीट्रिक की धारणा समस्या पर निर्भर है। इसे कार्य स्थान में इनपुट के बीच संबंध का प्रतिनिधित्व करना चाहिए और समस्या समाधान की सुविधा प्रदान करनी चाहिए।<ref name="paper1" /> | ||
====संवादात्मक स्याम देश [[तंत्रिका नेटवर्क]]==== | ====संवादात्मक स्याम देश [[तंत्रिका नेटवर्क]]==== | ||
[[स्याम देश का तंत्रिका नेटवर्क]] दो जुड़वां नेटवर्कों से बना है जिनके आउटपुट को संयुक्त रूप से प्रशिक्षित किया जाता है। इनपुट डेटा नमूना जोड़े के बीच संबंध जानने के लिए ऊपर एक फ़ंक्शन है। दोनों नेटवर्क समान हैं, समान वजन और नेटवर्क पैरामीटर साझा करते हैं।<ref name="paper4">[http://www.cs.toronto.edu/~rsalakhu/papers/oneshot1.pdf] Gregory Koch, Richard Zemel, Ruslan Salakhutdinov (2015). Siamese Neural Networks for One-shot Image Recognition. Department of Computer Science, University of Toronto. Toronto, Ontario, Canada.</ref> | [[स्याम देश का तंत्रिका नेटवर्क]] दो जुड़वां नेटवर्कों से बना है जिनके आउटपुट को संयुक्त रूप से प्रशिक्षित किया जाता है। इनपुट डेटा नमूना जोड़े के बीच संबंध जानने के लिए ऊपर एक फ़ंक्शन है। दोनों नेटवर्क समान हैं, समान वजन और नेटवर्क पैरामीटर साझा करते हैं।<ref name="paper4">[http://www.cs.toronto.edu/~rsalakhu/papers/oneshot1.pdf] Gregory Koch, Richard Zemel, Ruslan Salakhutdinov (2015). Siamese Neural Networks for One-shot Image Recognition. Department of Computer Science, University of Toronto. Toronto, Ontario, Canada.</ref> | ||
====मिलान नेटवर्क==== | ====मिलान नेटवर्क==== | ||
मैचिंग नेटवर्क एक ऐसे नेटवर्क को सीखते हैं जो एक छोटे लेबल वाले समर्थन सेट और उसके लेबल पर एक बिना लेबल वाले उदाहरण को मैप करता है, जिससे नए वर्ग प्रकारों के अनुकूल होने के लिए फाइन-ट्यूनिंग की आवश्यकता समाप्त हो जाती है।<ref name="paper5">[http://papers.nips.cc/paper/6385-matching-networks-for-one-shot-learning.pdf] Vinyals, O., Blundell, C., Lillicrap, T., Kavukcuoglu, K., & Wierstra, D. (2016). Matching networks for one shot learning. Google DeepMind. Retrieved 3 November 2019</ref> | मैचिंग नेटवर्क एक ऐसे नेटवर्क को सीखते हैं जो एक छोटे लेबल वाले समर्थन सेट और उसके लेबल पर एक बिना लेबल वाले उदाहरण को मैप करता है, जिससे नए वर्ग प्रकारों के अनुकूल होने के लिए फाइन-ट्यूनिंग की आवश्यकता समाप्त हो जाती है।<ref name="paper5">[http://papers.nips.cc/paper/6385-matching-networks-for-one-shot-learning.pdf] Vinyals, O., Blundell, C., Lillicrap, T., Kavukcuoglu, K., & Wierstra, D. (2016). Matching networks for one shot learning. Google DeepMind. Retrieved 3 November 2019</ref> | ||
====रिलेशन नेटवर्क==== | ====रिलेशन नेटवर्क==== | ||
रिलेशन नेटवर्क (आरएन) को आरंभ से अंत तक प्रशिक्षित किया जाता है। मेटा- | रिलेशन नेटवर्क (आरएन) को आरंभ से अंत तक प्रशिक्षित किया जाता है। मेटा-अधिगम के दौरान, यह एपिसोड के भीतर छोटी संख्या में छवियों की तुलना करने के लिए एक गहरी दूरी की मीट्रिक सीखना सीखता है, जिनमें से प्रत्येक को कुछ-शॉट सेटिंग का अनुकरण करने के लिए डिज़ाइन किया गया है।<ref name="paper6">[http://openaccess.thecvf.com/content_cvpr_2018/papers_backup/Sung_Learning_to_Compare_CVPR_2018_paper.pdf] Sung, F., Yang, Y., Zhang, L., Xiang, T., Torr, P. H. S., & Hospedales, T. M. (2018). Learning to compare: relation network for few-shot learning</ref> | ||
====प्रोटोटाइपिकल नेटवर्क==== | ====प्रोटोटाइपिकल नेटवर्क==== | ||
प्रोटोटाइपिकल नेटवर्क एक [[मीट्रिक स्थान]] सीखते हैं जिसमें प्रत्येक वर्ग के प्रोटोटाइप प्रतिनिधित्व की दूरी की गणना करके वर्गीकरण किया जा सकता है। कुछ-शॉट सीखने के लिए हाल के दृष्टिकोणों की तुलना में, वे एक सरल आगमनात्मक | प्रोटोटाइपिकल नेटवर्क एक [[मीट्रिक स्थान]] सीखते हैं जिसमें प्रत्येक वर्ग के प्रोटोटाइप प्रतिनिधित्व की दूरी की गणना करके वर्गीकरण किया जा सकता है। कुछ-शॉट सीखने के लिए हाल के दृष्टिकोणों की तुलना में, वे एक सरल आगमनात्मक अभिनति को दर्शाते हैं जो इस सीमित-डेटा शासन में फायदेमंद है, और संतुष्ट परिणाम प्राप्त करते हैं।<ref name="paper7">[http://papers.nips.cc/paper/6996-prototypical-networks-for-few-shot-learning.pdf] Snell, J., Swersky, K., & Zemel, R. S. (2017). Prototypical networks for few-shot learning.</ref> | ||
===अनुकूलन-आधारित=== | ===अनुकूलन-आधारित=== | ||
अनुकूलन-आधारित मेटा- | अनुकूलन-आधारित मेटा-अधिगम एल्गोरिदम का उद्देश्य अनुकूलन एल्गोरिदम को समायोजित करना है ताकि मॉडल कुछ उदाहरणों के साथ सीखने में अच्छा हो सके।<ref name="paper1"/> | ||
====LSTM मेटा-लर्नर==== | ====LSTM मेटा-लर्नर==== | ||
LSTM-आधारित मेटा-लर्नर को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका नेटवर्क [[वर्गीकरण नियम]] को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस [[परिदृश्य]] के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) नेटवर्क का एक सामान्य आरंभीकरण भी सीखता है जो | LSTM-आधारित मेटा-लर्नर को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका नेटवर्क [[वर्गीकरण नियम]] को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस [[परिदृश्य]] के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) नेटवर्क का एक सामान्य आरंभीकरण भी सीखता है जो प्र अधिगम के त्वरित अभिसरण की अनुमति देता है।<ref name="paper8">[https://openreview.net/pdf?id=rJY0-Kcll] Sachin Ravi and Hugo Larochelle (2017).” Optimization as a model for few-shot learning”. ICLR 2017. Retrieved 3 November 2019</ref> | ||
====अस्थायी विसंगति==== | ====अस्थायी विसंगति==== | ||
एमएएमएल, मॉडल-एग्नोस्टिक मेटा- | एमएएमएल, मॉडल-एग्नोस्टिक मेटा-अधिगम के लिए संक्षिप्त रूप से, एक काफी सामान्य अनुकूलन एल्गोरिथ्म है, जो किसी भी मॉडल के साथ संगत है जो ग्रेडिएंट डिसेंट के माध्यम से सीखता है।<ref name="paper9">[https://arxiv.org/abs/1703.03400] Chelsea Finn, Pieter Abbeel, Sergey Levine (2017). “Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks” arXiv:1703.03400 [cs.LG]</ref> | ||
====सरीसृप==== | ====सरीसृप==== | ||
रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा- | रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा-अधिगम ऑप्टिमाइज़ेशन एल्गोरिदम है, यह देखते हुए कि इसके दोनों घटक ग्रेडिएंट डिसेंट के माध्यम से [[मेटा-अनुकूलन]] पर निर्भर करते हैं और दोनों मॉडल-अज्ञेयवादी हैं।<ref name="paper10">[https://arxiv.org/abs/1803.02999] Alex Nichol, Joshua Achiam, and John Schulman (2018).” On First-Order Meta-Learning Algorithms”. arXiv:1803.02999 [cs.LG]</ref> | ||
==उदाहरण== | ==उदाहरण== | ||
कुछ दृष्टिकोण जिन्हें मेटा | कुछ दृष्टिकोण जिन्हें मेटा अधिगम के उदाहरण के रूप में देखा गया है: | ||
* [[आवर्ती तंत्रिका नेटवर्क]] (आरएनएन) सार्वभौमिक कंप्यूटर हैं। 1993 में, जुरगेन श्मिडहुबर ने दिखाया कि कैसे स्व-संदर्भित आरएनएन सैद्धांतिक रूप से अपने स्वयं के वजन परिवर्तन एल्गोरिदम को चलाने के लिए बैकप्रॉपैगेशन द्वारा सीख सकते हैं, जो [[ पश्चप्रचार ]] से काफी अलग हो सकता है।<ref name="sch1993">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1993| title = एक स्व-संदर्भित वजन मैट्रिक्स| journal = Proceedings of ICANN'93, Amsterdam | pages = 446–451}}</ref> 2001 में, [[सेप होक्रेइटर]] और ए.एस. यंगर और पी.आर. कॉनवेल ने दीर्घकालिक अल्पकालिक मेमोरी आरएनएन के आधार पर एक सफल पर्यवेक्षित मेटा लर्नर बनाया। इसने बैकप्रोपेगेशन के माध्यम से द्विघात कार्यों के लिए एक | * [[आवर्ती तंत्रिका नेटवर्क]] (आरएनएन) सार्वभौमिक कंप्यूटर हैं। 1993 में, जुरगेन श्मिडहुबर ने दिखाया कि कैसे स्व-संदर्भित आरएनएन सैद्धांतिक रूप से अपने स्वयं के वजन परिवर्तन एल्गोरिदम को चलाने के लिए बैकप्रॉपैगेशन द्वारा सीख सकते हैं, जो [[ पश्चप्रचार ]] से काफी अलग हो सकता है।<ref name="sch1993">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1993| title = एक स्व-संदर्भित वजन मैट्रिक्स| journal = Proceedings of ICANN'93, Amsterdam | pages = 446–451}}</ref> 2001 में, [[सेप होक्रेइटर]] और ए.एस. यंगर और पी.आर. कॉनवेल ने दीर्घकालिक अल्पकालिक मेमोरी आरएनएन के आधार पर एक सफल पर्यवेक्षित मेटा लर्नर बनाया। इसने बैकप्रोपेगेशन के माध्यम से द्विघात कार्यों के लिए एक अधिगम एल्गोरिदम सीखा जो बैकप्रोपेगेशन की तुलना में बहुत तेज़ है।<ref name="hoch2001">{{cite journal | last1 = Hochreiter | first1 = Sepp | last2 = Younger | first2 = A. S. | last3 = Conwell | first3 = P. R. | year = 2001| title = ग्रेडिएंट डिसेंट का उपयोग करके सीखना| journal = Proceedings of ICANN'01| pages = 87–94}}</ref><ref name="scholarpedia" />[[ गहरा दिमाग ]] (मार्सिन एंड्रीचोविक्ज़ एट अल.) के शोधकर्ताओं ने 2017 में अनुकूलन के लिए इस दृष्टिकोण को बढ़ाया।<ref name="marcin2017">{{cite journal | last1 = Andrychowicz | first1 = Marcin | last2 = Denil | first2 = Misha | last3 = Gomez | first3 = Sergio | last4 = Hoffmann | first4 = Matthew | last5 = Pfau | first5 = David | last6 = Schaul | first6 = Tom | last7 = Shillingford | first7 = Brendan | last8 = de Freitas | first8 = Nando | year = 2017| title = ग्रेडिएंट डीसेंट द्वारा ग्रेडिएंट डीसेंट द्वारा सीखना सीखना| journal = Proceedings of ICML'17, Sydney, Australia}}</ref> | ||
* 1990 के दशक में, मेटा [[सुदृढीकरण सीखना]] या मेटा आरएल को एक सार्वभौमिक प्रोग्रामिंग भाषा में लिखी गई स्व-संशोधित नीतियों के माध्यम से श्मिधुबर के अनुसंधान समूह में हासिल किया गया था, जिसमें नीति को बदलने के लिए विशेष निर्देश | * 1990 के दशक में, मेटा [[सुदृढीकरण सीखना]] या मेटा आरएल को एक सार्वभौमिक प्रोग्रामिंग भाषा में लिखी गई स्व-संशोधित नीतियों के माध्यम से श्मिधुबर के अनुसंधान समूह में हासिल किया गया था, जिसमें नीति को बदलने के लिए विशेष निर्देश सम्मिलित थे। एक ही आजीवन परीक्षण है. आरएल एजेंट का लक्ष्य इनाम को अधिकतम करना है। यह अपने स्वयं के सीखने के एल्गोरिदम में लगातार सुधार करके पुरस्कार सेवन में तेजी लाना सीखता है जो स्व-संदर्भित नीति का हिस्सा है।<ref name="sch1994">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1994| title = सीखने की रणनीतियों को सीखने का तरीका सीखने पर| journal = Technical Report FKI-198-94, Tech. Univ. Munich}}</ref><ref name="sch1997">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | last2 = Zhao | first2 = J. | last3 = Wiering | first3 = M. | year = 1997| title = सफलता-कहानी एल्गोरिथ्म, अनुकूली लेविन खोज और वृद्धिशील आत्म-सुधार के साथ आगमनात्मक पूर्वाग्रह को बदलना| journal = Machine Learning | volume = 28 | pages = 105–130 | doi=10.1023/a:1007383707642| doi-access = free }}</ref> * मेटा [[सुदृढीकरण सीखना]] का एक चरम प्रकार गोडेल मशीन द्वारा सन्निहित है, एक सैद्धांतिक निर्माण जो अपने स्वयं के सॉफ़्टवेयर के किसी भी हिस्से का निरीक्षण और संशोधन कर सकता है जिसमें एक सामान्य स्वचालित प्रमेय साबित करना भी सम्मिलित है। यह सिद्ध रूप से इष्टतम तरीके से [[पुनरावर्ती आत्म-सुधार]] प्राप्त कर सकता है।<ref name="goedelmachine">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 2006| title = Gödel machines: Fully Self-Referential Optimal Universal Self-Improvers | url=https://archive.org/details/arxiv-cs0309048| journal = In B. Goertzel & C. Pennachin, Eds.: Artificial General Intelligence | pages = 199–226}}</ref><ref name="scholarpedia" />* मॉडल-एग्नोस्टिक मेटा-अधिगम (एमएएमएल) 2017 में [[चेल्सी फिन]] एट अल द्वारा पेश किया गया था।<ref name="maml" />कार्यों के अनुक्रम को देखते हुए, किसी दिए गए मॉडल के मापदंडों को इस तरह प्रशिक्षित किया जाता है कि किसी नए कार्य से कुछ प्र अधिगम डेटा के साथ ग्रेडिएंट डिसेंट के कुछ पुनरावृत्तियों से उस कार्य पर अच्छा सामान्यीकरण प्रदर्शन हो सके। एमएएमएल मॉडल को आसानी से फाइन-ट्यून करने के लिए प्रशिक्षित करता है।<ref name="maml" />एमएएमएल को कुछ-शॉट छवि वर्गीकरण बेंचमार्क और नीति-ग्रेडिएंट-आधारित सुदृढीकरण सीखने के लिए सफलतापूर्वक लागू किया गया था।<ref name="maml">{{cite arXiv | last1 = Finn | first1 = Chelsea | last2 = Abbeel | first2 = Pieter | last3 = Levine | first3 = Sergey |year = 2017| title = डीप नेटवर्क के तेजी से अनुकूलन के लिए मॉडल-अज्ञेयवादी मेटा-लर्निंग| eprint=1703.03400|class=cs.LG }}</ref> | ||
* [[मेटा-ज्ञान]] की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य | * [[मेटा-ज्ञान]] की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य अधिगम एल्गोरिदम तब सीखता है कि डेटा विशेषताएँ एल्गोरिदम विशेषताओं से कैसे संबंधित हैं। एक नई सीखने की समस्या को देखते हुए, डेटा विशेषताओं को मापा जाता है, और विभिन्न अधिगम एल्गोरिदम के प्रदर्शन की भविष्यवाणी की जाती है। इसलिए, कोई नई समस्या के लिए सबसे उपयुक्त एल्गोरिदम का अनुमान लगा सकता है। | ||
* स्टैक्ड सामान्यीकरण कई (अलग-अलग) | * स्टैक्ड सामान्यीकरण कई (अलग-अलग) अधिगम एल्गोरिदम को मिलाकर काम करता है। मेटाडेटा उन विभिन्न एल्गोरिदम की भविष्यवाणियों से बनता है। एक अन्य अधिगम एल्गोरिदम इस मेटाडेटा से यह अनुमान लगाना सीखता है कि एल्गोरिदम का कौन सा संयोजन सामान्यतः अच्छे परिणाम देता है। एक नई सीखने की समस्या को देखते हुए, अंतिम भविष्यवाणी प्रदान करने के लिए एल्गोरिदम के चयनित सेट की भविष्यवाणियों को जोड़ा जाता है (उदाहरण के लिए (भारित) वोटिंग द्वारा)। चूंकि प्रत्येक एल्गोरिदम को समस्याओं के सबसेट पर काम करने के लिए माना जाता है, इसलिए एक संयोजन के अधिक लचीले होने और अच्छी भविष्यवाणियां करने में सक्षम होने की उम्मीद की जाती है। | ||
* [[बूस्टिंग (मेटा-एल्गोरिदम)]] स्टैक्ड सामान्यीकरण से संबंधित है, लेकिन एक ही एल्गोरिदम का कई बार उपयोग करता है, जहां | * [[बूस्टिंग (मेटा-एल्गोरिदम)]] स्टैक्ड सामान्यीकरण से संबंधित है, लेकिन एक ही एल्गोरिदम का कई बार उपयोग करता है, जहां प्र अधिगम डेटा में उदाहरणों को प्रत्येक रन पर अलग-अलग वजन मिलता है। इससे अलग-अलग भविष्यवाणियाँ प्राप्त होती हैं, प्रत्येक डेटा के सबसेट की सही भविष्यवाणी करने पर केंद्रित होता है, और उन भविष्यवाणियों के संयोजन से बेहतर (लेकिन अधिक महंगे) परिणाम मिलते हैं। | ||
* गतिशील | * गतिशील अभिनति चयन दी गई समस्या से मेल खाने के लिए सीखने के एल्गोरिदम के आगमनात्मक अभिनति को बदलकर काम करता है। यह सीखने के एल्गोरिदम के प्रमुख पहलुओं को बदलकर किया जाता है, जैसे कि परिकल्पना प्रतिनिधित्व, अनुमानी सूत्र, या पैरामीटर। कई अलग-अलग दृष्टिकोण मौजूद हैं। | ||
* [[आगमनात्मक स्थानांतरण]] अध्ययन करता है कि समय के साथ सीखने की प्रक्रिया को कैसे बेहतर बनाया जा सकता है। मेटाडेटा में पिछले सीखने के एपिसोड के बारे में ज्ञान | * [[आगमनात्मक स्थानांतरण]] अध्ययन करता है कि समय के साथ सीखने की प्रक्रिया को कैसे बेहतर बनाया जा सकता है। मेटाडेटा में पिछले सीखने के एपिसोड के बारे में ज्ञान सम्मिलित होता है और इसका उपयोग किसी नए कार्य के लिए प्रभावी परिकल्पना को कुशलतापूर्वक विकसित करने के लिए किया जाता है। संबंधित दृष्टिकोण को सीखना सीखना कहा जाता है, जिसमें लक्ष्य एक अनुक्षेत्र से अर्जित ज्ञान का उपयोग दूसरे अनुक्षेत्र में सीखने में मदद करने के लिए करना है। | ||
* स्वचालित | * स्वचालित अधिगम को बेहतर बनाने के लिए मेटाडेटा का उपयोग करने वाले अन्य दृष्टिकोण सीखने [[सीखने का वर्गीकरण प्रणाली]], केस-आधारित तर्क और [[बाधा संतुष्टि]] हैं। | ||
* मानव शिक्षार्थियों के प्रदर्शन के बारे में एजेंट-मध्यस्थता मेटा- | * मानव शिक्षार्थियों के प्रदर्शन के बारे में एजेंट-मध्यस्थता मेटा-अधिगम के लिए एक आधार के रूप में एप्लाइड व्यवहार विश्लेषण का उपयोग करने और एक कृत्रिम एजेंट के निर्देशात्मक पाठ्यक्रम को समायोजित करने के लिए कुछ प्रारंभिक, सैद्धांतिक कार्य शुरू किया गया है।<ref name="Begoli, PRS-ABA, ABA Ontology">{{cite journal|last1=Begoli|first1=Edmon|title=अनुप्रयुक्त व्यवहार विश्लेषण-आधारित निर्देशों के लिए प्रक्रियात्मक-तर्क संरचना|journal=Doctoral Dissertations|date=May 2014|publisher=University of Tennessee, Knoxville|location=Knoxville, Tennessee, USA|pages=44–79|url=http://trace.tennessee.edu/utk_graddiss/2749|access-date=14 October 2017}}</ref> | ||
* [[ऑटोएमएल]] जैसे कि गूगल ब्रेन का एआई बिल्डिंग एआई प्रोजेक्ट, जो गूगल के अनुसार 2017 में मौजूदा [[ छवि जाल ]] बेंचमार्क से कुछ हद तक आगे निकल गया।<ref>{{cite news|title=टेक रिपोर्टर का कहना है, रोबोट अब 'नए रोबोट बना रहे हैं।'|url=https://www.npr.org/2018/03/15/593863645/robots-are-now-creating-new-robots-tech-reporter-says|access-date=29 March 2018|work=NPR.org|date=2018|language=en}}</ref><ref>{{cite news|title=बड़े पैमाने पर छवि वर्गीकरण और ऑब्जेक्ट डिटेक्शन के लिए ऑटोएमएल|url=https://research.googleblog.com/2017/11/automl-for-large-scale-image.html|access-date=29 March 2018|work=Google Research Blog|date=November 2017}}</ref> | * [[ऑटोएमएल]] जैसे कि गूगल ब्रेन का एआई बिल्डिंग एआई प्रोजेक्ट, जो गूगल के अनुसार 2017 में मौजूदा [[ छवि जाल ]] बेंचमार्क से कुछ हद तक आगे निकल गया।<ref>{{cite news|title=टेक रिपोर्टर का कहना है, रोबोट अब 'नए रोबोट बना रहे हैं।'|url=https://www.npr.org/2018/03/15/593863645/robots-are-now-creating-new-robots-tech-reporter-says|access-date=29 March 2018|work=NPR.org|date=2018|language=en}}</ref><ref>{{cite news|title=बड़े पैमाने पर छवि वर्गीकरण और ऑब्जेक्ट डिटेक्शन के लिए ऑटोएमएल|url=https://research.googleblog.com/2017/11/automl-for-large-scale-image.html|access-date=29 March 2018|work=Google Research Blog|date=November 2017}}</ref> | ||
Revision as of 20:22, 3 August 2023
 | This article needs additional citations for verification. (August 2010) (Learn how and when to remove this template message) |
| Part of a series on |
| Machine learning and data mining |
|---|
 |
मेटा अधिगम[1][2]मशीन अधिगम का उपक्षेत्र है जहां स्वचालित अधिगम एल्गोरिदम को मशीन अधिगम प्रयोगों के बारे में मेटा डेटा पर लागू किया जाता है। 2017 तक, इस शब्द को मानक व्याख्या नहीं मिली थी, तथापि मुख्य लक्ष्य ऐसे मेटाडेटा का उपयोग करना है ताकि यह समझा जा सके कि सीखने की समस्याओं को हल करने में स्वचालित अधिगम कैसे लचीला हो सकता है, इसलिए मौजूदा अधिगम एल्गोरिदम के प्रदर्शन में सुधार करना या सीखने के एल्गोरिदम को स्वयं सीखना (प्रेरित करना), वैकल्पिक शब्द है।[1]
सुनम्यता महत्वपूर्ण है क्योंकि प्रत्येक अधिगम एल्गोरिदम डेटा, उसके आगमनात्मक अभिनति के बारे में धारणाओं के सेट पर आधारित होता है।[3] इसका मतलब यह है कि यह केवल तभी अच्छी तरह सीखेगा जब अभिनति सीखने की समस्या से मेल खाता हो। अधिगम एल्गोरिदम अनुक्षेत्र में बहुत अच्छा प्रदर्शन कर सकता है, लेकिन अगले में नहीं। यह मशीन अधिगम या डेटा खनन तकनीकों के उपयोग पर प्रतिबंध लगाता है, क्योंकि सीखने की समस्या (प्रायः किसी प्रकार का डेटाबेस) और विभिन्न अधिगम एल्गोरिदम की प्रभावशीलता के बीच संबंध अभी तक समझ में नहीं आया है।
विभिन्न प्रकार के मेटाडेटा का उपयोग करके, जैसे सीखने की समस्या के गुण, एल्गोरिदम गुण (जैसे निष्पादन उपाय), या डेटा से पहले प्राप्त प्रतिरूप, किसी दी गई सीखने की समस्या को प्रभावी ढंग से हल करने के लिए विभिन्न अधिगम एल्गोरिदम को सीखना, चयन करना, बदलना या संयोजित करना संभव है। मेटा अधिगम दृष्टिकोण की आलोचना मेटाह्यूरिस्टिक की आलोचना से काफी मिलती जुलती है, जो संभवतः एक संबंधित समस्या है। मेटा-अधिगम का अच्छा सादृश्य, और जुर्गन श्मिधुबर के शुरुआती काम के लिए प्रेरणा (1987)[1]और जोशुआ बेंगियो एट अल का काम (1991),[4] मानता है कि आनुवंशिक विकास जीन में एन्कोडेड और प्रत्येक व्यक्ति के मस्तिष्क में क्रियान्वित सीखने की प्रक्रिया को सीखता है। ओपन-एंडेड पदानुक्रमित मेटा अधिगम प्रणाली में[1]आनुवंशिक प्रोग्रामिंग का उपयोग करके, मेटा इवोल्यूशन द्वारा बेहतर विकासवादी तरीकों को सीखा जा सकता है, जिसे मेटा विकासक्रम आदि द्वारा बेहतर बनाया जा सकता है।[1]
एनसेम्बल अधिगम भी देखें।
परिभाषा
एक प्रस्तावित परिभाषा[5] में मेटा अधिगम प्रणाली के लिए तीन आवश्यकताएं सम्मिलित हैं:
- प्रणाली में एक अधिगम उपतंत्र सम्मिलित होना चाहिए।
- निकाले गए मेटा समुपयोजन का दोहन करके अनुभव प्राप्त किया जाता है
- एकल डेटासेट पर पिछले अधिगम प्रकरण में, या
- विभिन्न अनुक्षेत्र से।
- सीखने के अभिनति को गतिशील रूप से चुना जाना चाहिए।
अभिनति उन धारणाओं को संदर्भित करता है जो व्याख्यात्मक परिकल्पनाओं के चुनाव को प्रभावित करती हैं न कि अभिनति -विचरण दुविधा में दर्शाए गए अभिनति की धारणा को। मेटा अधिगम का संबंध सीखने के अभिनति के दो पहलुओं से है।
- घोषणात्मक अभिनति परिकल्पनाओं के स्थान का प्रतिनिधित्व निर्दिष्ट करता है, और खोज स्थान के आकार को प्रभावित करता है (उदाहरण के लिए, केवल रैखिक कार्यों का उपयोग करके परिकल्पनाओं का प्रतिनिधित्व करता है)।
- प्रक्रियात्मक अभिनति आगमनात्मक परिकल्पनाओं के क्रम पर प्रतिबंध लगाता है (उदाहरण के लिए, छोटी परिकल्पनाओं को प्राथमिकता देना)।[6]
सामान्य दृष्टिकोण
तीन सामान्य दृष्टिकोण हैं:[7]
- 1) बाहरी या आंतरिक मेमोरी (मॉडल-आधारित) के साथ (चक्रीय) नेटवर्क का उपयोग करना
- 2) प्रभावी दूरी मेट्रिक्स सीखना (मेट्रिक्स-आधारित)
- 3) तेजी से सीखने (अनुकूलन-आधारित) के लिए मॉडल मापदंडों को स्पष्ट रूप से अनुकूलित करना।
मॉडल-आधारित
मॉडल-आधारित मेटा-अधिगम मॉडल कुछ प्र अधिगम चरणों के साथ अपने मापदंडों को तेजी से अपडेट करता है, जिसे इसके आंतरिक आर्किटेक्चर द्वारा प्राप्त किया जा सकता है या किसी अन्य मेटा-लर्नर मॉडल द्वारा नियंत्रित किया जा सकता है।[7]
मेमोरी-संवर्धित तंत्रिका नेटवर्क
मेमोरी-ऑगमेंटेड न्यूरल नेटवर्क, या संक्षेप में MANN, के बारे में दावा किया जाता है कि यह नई जानकारी को शीघ्रता से एनकोड करने में सक्षम है और इस प्रकार केवल कुछ उदाहरणों के बाद नए कार्यों के लिए अनुकूल हो जाता है।[8]
मेटा नेटवर्क
मेटा नेटवर्क (मेटानेट) सभी कार्यों में मेटा-स्तरीय ज्ञान सीखता है और तेजी से सामान्यीकरण के लिए तेजी से मानकीकरण के माध्यम से अपने आगमनात्मक अभिनति ों को बदलता है।[9]
मीट्रिक-आधारित
मीट्रिक-आधारित मेटा-अधिगम में मुख्य विचार K-निकटतम पड़ोसी एल्गोरिदम एल्गोरिदम के समान है, जिसका वजन कर्नेल फ़ंक्शन द्वारा उत्पन्न होता है। इसका उद्देश्य वस्तुओं पर एक मीट्रिक या दूरी फ़ंक्शन सीखना है। एक अच्छे मीट्रिक की धारणा समस्या पर निर्भर है। इसे कार्य स्थान में इनपुट के बीच संबंध का प्रतिनिधित्व करना चाहिए और समस्या समाधान की सुविधा प्रदान करनी चाहिए।[7]
संवादात्मक स्याम देश तंत्रिका नेटवर्क
स्याम देश का तंत्रिका नेटवर्क दो जुड़वां नेटवर्कों से बना है जिनके आउटपुट को संयुक्त रूप से प्रशिक्षित किया जाता है। इनपुट डेटा नमूना जोड़े के बीच संबंध जानने के लिए ऊपर एक फ़ंक्शन है। दोनों नेटवर्क समान हैं, समान वजन और नेटवर्क पैरामीटर साझा करते हैं।[10]
मिलान नेटवर्क
मैचिंग नेटवर्क एक ऐसे नेटवर्क को सीखते हैं जो एक छोटे लेबल वाले समर्थन सेट और उसके लेबल पर एक बिना लेबल वाले उदाहरण को मैप करता है, जिससे नए वर्ग प्रकारों के अनुकूल होने के लिए फाइन-ट्यूनिंग की आवश्यकता समाप्त हो जाती है।[11]
रिलेशन नेटवर्क
रिलेशन नेटवर्क (आरएन) को आरंभ से अंत तक प्रशिक्षित किया जाता है। मेटा-अधिगम के दौरान, यह एपिसोड के भीतर छोटी संख्या में छवियों की तुलना करने के लिए एक गहरी दूरी की मीट्रिक सीखना सीखता है, जिनमें से प्रत्येक को कुछ-शॉट सेटिंग का अनुकरण करने के लिए डिज़ाइन किया गया है।[12]
प्रोटोटाइपिकल नेटवर्क
प्रोटोटाइपिकल नेटवर्क एक मीट्रिक स्थान सीखते हैं जिसमें प्रत्येक वर्ग के प्रोटोटाइप प्रतिनिधित्व की दूरी की गणना करके वर्गीकरण किया जा सकता है। कुछ-शॉट सीखने के लिए हाल के दृष्टिकोणों की तुलना में, वे एक सरल आगमनात्मक अभिनति को दर्शाते हैं जो इस सीमित-डेटा शासन में फायदेमंद है, और संतुष्ट परिणाम प्राप्त करते हैं।[13]
अनुकूलन-आधारित
अनुकूलन-आधारित मेटा-अधिगम एल्गोरिदम का उद्देश्य अनुकूलन एल्गोरिदम को समायोजित करना है ताकि मॉडल कुछ उदाहरणों के साथ सीखने में अच्छा हो सके।[7]
LSTM मेटा-लर्नर
LSTM-आधारित मेटा-लर्नर को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका नेटवर्क वर्गीकरण नियम को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस परिदृश्य के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) नेटवर्क का एक सामान्य आरंभीकरण भी सीखता है जो प्र अधिगम के त्वरित अभिसरण की अनुमति देता है।[14]
अस्थायी विसंगति
एमएएमएल, मॉडल-एग्नोस्टिक मेटा-अधिगम के लिए संक्षिप्त रूप से, एक काफी सामान्य अनुकूलन एल्गोरिथ्म है, जो किसी भी मॉडल के साथ संगत है जो ग्रेडिएंट डिसेंट के माध्यम से सीखता है।[15]
सरीसृप
रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा-अधिगम ऑप्टिमाइज़ेशन एल्गोरिदम है, यह देखते हुए कि इसके दोनों घटक ग्रेडिएंट डिसेंट के माध्यम से मेटा-अनुकूलन पर निर्भर करते हैं और दोनों मॉडल-अज्ञेयवादी हैं।[16]
उदाहरण
कुछ दृष्टिकोण जिन्हें मेटा अधिगम के उदाहरण के रूप में देखा गया है:
- आवर्ती तंत्रिका नेटवर्क (आरएनएन) सार्वभौमिक कंप्यूटर हैं। 1993 में, जुरगेन श्मिडहुबर ने दिखाया कि कैसे स्व-संदर्भित आरएनएन सैद्धांतिक रूप से अपने स्वयं के वजन परिवर्तन एल्गोरिदम को चलाने के लिए बैकप्रॉपैगेशन द्वारा सीख सकते हैं, जो पश्चप्रचार से काफी अलग हो सकता है।[17] 2001 में, सेप होक्रेइटर और ए.एस. यंगर और पी.आर. कॉनवेल ने दीर्घकालिक अल्पकालिक मेमोरी आरएनएन के आधार पर एक सफल पर्यवेक्षित मेटा लर्नर बनाया। इसने बैकप्रोपेगेशन के माध्यम से द्विघात कार्यों के लिए एक अधिगम एल्गोरिदम सीखा जो बैकप्रोपेगेशन की तुलना में बहुत तेज़ है।[18][2]गहरा दिमाग (मार्सिन एंड्रीचोविक्ज़ एट अल.) के शोधकर्ताओं ने 2017 में अनुकूलन के लिए इस दृष्टिकोण को बढ़ाया।[19]
- 1990 के दशक में, मेटा सुदृढीकरण सीखना या मेटा आरएल को एक सार्वभौमिक प्रोग्रामिंग भाषा में लिखी गई स्व-संशोधित नीतियों के माध्यम से श्मिधुबर के अनुसंधान समूह में हासिल किया गया था, जिसमें नीति को बदलने के लिए विशेष निर्देश सम्मिलित थे। एक ही आजीवन परीक्षण है. आरएल एजेंट का लक्ष्य इनाम को अधिकतम करना है। यह अपने स्वयं के सीखने के एल्गोरिदम में लगातार सुधार करके पुरस्कार सेवन में तेजी लाना सीखता है जो स्व-संदर्भित नीति का हिस्सा है।[20][21] * मेटा सुदृढीकरण सीखना का एक चरम प्रकार गोडेल मशीन द्वारा सन्निहित है, एक सैद्धांतिक निर्माण जो अपने स्वयं के सॉफ़्टवेयर के किसी भी हिस्से का निरीक्षण और संशोधन कर सकता है जिसमें एक सामान्य स्वचालित प्रमेय साबित करना भी सम्मिलित है। यह सिद्ध रूप से इष्टतम तरीके से पुनरावर्ती आत्म-सुधार प्राप्त कर सकता है।[22][2]* मॉडल-एग्नोस्टिक मेटा-अधिगम (एमएएमएल) 2017 में चेल्सी फिन एट अल द्वारा पेश किया गया था।[23]कार्यों के अनुक्रम को देखते हुए, किसी दिए गए मॉडल के मापदंडों को इस तरह प्रशिक्षित किया जाता है कि किसी नए कार्य से कुछ प्र अधिगम डेटा के साथ ग्रेडिएंट डिसेंट के कुछ पुनरावृत्तियों से उस कार्य पर अच्छा सामान्यीकरण प्रदर्शन हो सके। एमएएमएल मॉडल को आसानी से फाइन-ट्यून करने के लिए प्रशिक्षित करता है।[23]एमएएमएल को कुछ-शॉट छवि वर्गीकरण बेंचमार्क और नीति-ग्रेडिएंट-आधारित सुदृढीकरण सीखने के लिए सफलतापूर्वक लागू किया गया था।[23]
- मेटा-ज्ञान की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य अधिगम एल्गोरिदम तब सीखता है कि डेटा विशेषताएँ एल्गोरिदम विशेषताओं से कैसे संबंधित हैं। एक नई सीखने की समस्या को देखते हुए, डेटा विशेषताओं को मापा जाता है, और विभिन्न अधिगम एल्गोरिदम के प्रदर्शन की भविष्यवाणी की जाती है। इसलिए, कोई नई समस्या के लिए सबसे उपयुक्त एल्गोरिदम का अनुमान लगा सकता है।
- स्टैक्ड सामान्यीकरण कई (अलग-अलग) अधिगम एल्गोरिदम को मिलाकर काम करता है। मेटाडेटा उन विभिन्न एल्गोरिदम की भविष्यवाणियों से बनता है। एक अन्य अधिगम एल्गोरिदम इस मेटाडेटा से यह अनुमान लगाना सीखता है कि एल्गोरिदम का कौन सा संयोजन सामान्यतः अच्छे परिणाम देता है। एक नई सीखने की समस्या को देखते हुए, अंतिम भविष्यवाणी प्रदान करने के लिए एल्गोरिदम के चयनित सेट की भविष्यवाणियों को जोड़ा जाता है (उदाहरण के लिए (भारित) वोटिंग द्वारा)। चूंकि प्रत्येक एल्गोरिदम को समस्याओं के सबसेट पर काम करने के लिए माना जाता है, इसलिए एक संयोजन के अधिक लचीले होने और अच्छी भविष्यवाणियां करने में सक्षम होने की उम्मीद की जाती है।
- बूस्टिंग (मेटा-एल्गोरिदम) स्टैक्ड सामान्यीकरण से संबंधित है, लेकिन एक ही एल्गोरिदम का कई बार उपयोग करता है, जहां प्र अधिगम डेटा में उदाहरणों को प्रत्येक रन पर अलग-अलग वजन मिलता है। इससे अलग-अलग भविष्यवाणियाँ प्राप्त होती हैं, प्रत्येक डेटा के सबसेट की सही भविष्यवाणी करने पर केंद्रित होता है, और उन भविष्यवाणियों के संयोजन से बेहतर (लेकिन अधिक महंगे) परिणाम मिलते हैं।
- गतिशील अभिनति चयन दी गई समस्या से मेल खाने के लिए सीखने के एल्गोरिदम के आगमनात्मक अभिनति को बदलकर काम करता है। यह सीखने के एल्गोरिदम के प्रमुख पहलुओं को बदलकर किया जाता है, जैसे कि परिकल्पना प्रतिनिधित्व, अनुमानी सूत्र, या पैरामीटर। कई अलग-अलग दृष्टिकोण मौजूद हैं।
- आगमनात्मक स्थानांतरण अध्ययन करता है कि समय के साथ सीखने की प्रक्रिया को कैसे बेहतर बनाया जा सकता है। मेटाडेटा में पिछले सीखने के एपिसोड के बारे में ज्ञान सम्मिलित होता है और इसका उपयोग किसी नए कार्य के लिए प्रभावी परिकल्पना को कुशलतापूर्वक विकसित करने के लिए किया जाता है। संबंधित दृष्टिकोण को सीखना सीखना कहा जाता है, जिसमें लक्ष्य एक अनुक्षेत्र से अर्जित ज्ञान का उपयोग दूसरे अनुक्षेत्र में सीखने में मदद करने के लिए करना है।
- स्वचालित अधिगम को बेहतर बनाने के लिए मेटाडेटा का उपयोग करने वाले अन्य दृष्टिकोण सीखने सीखने का वर्गीकरण प्रणाली, केस-आधारित तर्क और बाधा संतुष्टि हैं।
- मानव शिक्षार्थियों के प्रदर्शन के बारे में एजेंट-मध्यस्थता मेटा-अधिगम के लिए एक आधार के रूप में एप्लाइड व्यवहार विश्लेषण का उपयोग करने और एक कृत्रिम एजेंट के निर्देशात्मक पाठ्यक्रम को समायोजित करने के लिए कुछ प्रारंभिक, सैद्धांतिक कार्य शुरू किया गया है।[24]
- ऑटोएमएल जैसे कि गूगल ब्रेन का एआई बिल्डिंग एआई प्रोजेक्ट, जो गूगल के अनुसार 2017 में मौजूदा छवि जाल बेंचमार्क से कुछ हद तक आगे निकल गया।[25][26]
संदर्भ
- ↑ 1.0 1.1 1.2 1.3 1.4 Schmidhuber, Jürgen (1987). "Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook" (PDF). Diploma Thesis, Tech. Univ. Munich.
- ↑ 2.0 2.1 2.2 Schaul, Tom; Schmidhuber, Jürgen (2010). "धातु अर्जित करना". Scholarpedia. 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650.
- ↑ P. E. Utgoff (1986). "Shift of bias for inductive concept learning". In R. Michalski, J. Carbonell, & T. Mitchell: Machine Learning: 163–190.
- ↑ Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91.
- ↑ Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metalearning: a survey of trends and technologies". Artificial Intelligence Review (in English). 44 (1): 117–130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543. PMID 26069389.
- ↑ Gordon, Diana; Desjardins, Marie (1995). "मशीन लर्निंग में पूर्वाग्रहों का मूल्यांकन और चयन" (PDF). Machine Learning. 20: 5–22. doi:10.1023/A:1022630017346. Retrieved 27 March 2020.
- ↑ 7.0 7.1 7.2 7.3 [1] Lilian Weng(2018). Meta-Learning: Learning to Learn Fast. OpenAI Blog . November 2018 . Retrieved 27 October 2019
- ↑ [2] Adam Santoro, Sergey Bartunov, Daan Wierstra, Timothy Lillicrap. Meta-Learning with Memory-Augmented Neural Networks. Google DeepMind. Retrieved 29 October 2019
- ↑ [3] Tsendsuren Munkhdalai, Hong Yu (2017). Meta Networks.arXiv:1703.00837 [cs.LG]
- ↑ [4] Gregory Koch, Richard Zemel, Ruslan Salakhutdinov (2015). Siamese Neural Networks for One-shot Image Recognition. Department of Computer Science, University of Toronto. Toronto, Ontario, Canada.
- ↑ [5] Vinyals, O., Blundell, C., Lillicrap, T., Kavukcuoglu, K., & Wierstra, D. (2016). Matching networks for one shot learning. Google DeepMind. Retrieved 3 November 2019
- ↑ [6] Sung, F., Yang, Y., Zhang, L., Xiang, T., Torr, P. H. S., & Hospedales, T. M. (2018). Learning to compare: relation network for few-shot learning
- ↑ [7] Snell, J., Swersky, K., & Zemel, R. S. (2017). Prototypical networks for few-shot learning.
- ↑ [8] Sachin Ravi and Hugo Larochelle (2017).” Optimization as a model for few-shot learning”. ICLR 2017. Retrieved 3 November 2019
- ↑ [9] Chelsea Finn, Pieter Abbeel, Sergey Levine (2017). “Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks” arXiv:1703.03400 [cs.LG]
- ↑ [10] Alex Nichol, Joshua Achiam, and John Schulman (2018).” On First-Order Meta-Learning Algorithms”. arXiv:1803.02999 [cs.LG]
- ↑ Schmidhuber, Jürgen (1993). "एक स्व-संदर्भित वजन मैट्रिक्स". Proceedings of ICANN'93, Amsterdam: 446–451.
- ↑ Hochreiter, Sepp; Younger, A. S.; Conwell, P. R. (2001). "ग्रेडिएंट डिसेंट का उपयोग करके सीखना". Proceedings of ICANN'01: 87–94.
- ↑ Andrychowicz, Marcin; Denil, Misha; Gomez, Sergio; Hoffmann, Matthew; Pfau, David; Schaul, Tom; Shillingford, Brendan; de Freitas, Nando (2017). "ग्रेडिएंट डीसेंट द्वारा ग्रेडिएंट डीसेंट द्वारा सीखना सीखना". Proceedings of ICML'17, Sydney, Australia.
- ↑ Schmidhuber, Jürgen (1994). "सीखने की रणनीतियों को सीखने का तरीका सीखने पर". Technical Report FKI-198-94, Tech. Univ. Munich.
- ↑ Schmidhuber, Jürgen; Zhao, J.; Wiering, M. (1997). "सफलता-कहानी एल्गोरिथ्म, अनुकूली लेविन खोज और वृद्धिशील आत्म-सुधार के साथ आगमनात्मक पूर्वाग्रह को बदलना". Machine Learning. 28: 105–130. doi:10.1023/a:1007383707642.
- ↑ Schmidhuber, Jürgen (2006). "Gödel machines: Fully Self-Referential Optimal Universal Self-Improvers". In B. Goertzel & C. Pennachin, Eds.: Artificial General Intelligence: 199–226.
- ↑ 23.0 23.1 23.2 Finn, Chelsea; Abbeel, Pieter; Levine, Sergey (2017). "डीप नेटवर्क के तेजी से अनुकूलन के लिए मॉडल-अज्ञेयवादी मेटा-लर्निंग". arXiv:1703.03400 [cs.LG].
- ↑ Begoli, Edmon (May 2014). "अनुप्रयुक्त व्यवहार विश्लेषण-आधारित निर्देशों के लिए प्रक्रियात्मक-तर्क संरचना". Doctoral Dissertations. Knoxville, Tennessee, USA: University of Tennessee, Knoxville: 44–79. Retrieved 14 October 2017.
- ↑ "टेक रिपोर्टर का कहना है, रोबोट अब 'नए रोबोट बना रहे हैं।'". NPR.org (in English). 2018. Retrieved 29 March 2018.
- ↑ "बड़े पैमाने पर छवि वर्गीकरण और ऑब्जेक्ट डिटेक्शन के लिए ऑटोएमएल". Google Research Blog. November 2017. Retrieved 29 March 2018.
बाहरी संबंध
- Metalearning article in Scholarpedia
- Vilalta R. and Drissi Y. (2002). A perspective view and survey of meta-learning, Artificial Intelligence Review, 18(2), 77–95.
- Giraud-Carrier, C., & Keller, J. (2002). Dealing with the data flood, J. Meij (ed), chapter Meta-Learning. STT/Beweton, The Hague.
- Brazdil P., Giraud-Carrier C., Soares C., Vilalta R. (2009) Metalearning: applications to data mining, chapter Metalearning: Concepts and Systems, Springer
- Video courses about Meta-Learning with step-by-step explanation of MAML, Prototypical Networks, and Relation Networks.
