मेटा-लर्निंग (कंप्यूटर विज्ञान): Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| (3 intermediate revisions by 3 users not shown) | |||
| Line 57: | Line 57: | ||
LSTM-आधारित मेटा-अधिगम को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका तंत्र [[वर्गीकरण नियम]] को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस [[परिदृश्य]] के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) तंत्र का एक सामान्य आरंभीकरण भी सीखता है जो प्र अधिगम के त्वरित अभिसरण की अनुमति देता है।<ref name="paper8">[https://openreview.net/pdf?id=rJY0-Kcll] Sachin Ravi and Hugo Larochelle (2017).” Optimization as a model for few-shot learning”. ICLR 2017. Retrieved 3 November 2019</ref> | LSTM-आधारित मेटा-अधिगम को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका तंत्र [[वर्गीकरण नियम]] को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस [[परिदृश्य]] के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) तंत्र का एक सामान्य आरंभीकरण भी सीखता है जो प्र अधिगम के त्वरित अभिसरण की अनुमति देता है।<ref name="paper8">[https://openreview.net/pdf?id=rJY0-Kcll] Sachin Ravi and Hugo Larochelle (2017).” Optimization as a model for few-shot learning”. ICLR 2017. Retrieved 3 November 2019</ref> | ||
====अस्थायी विसंगति==== | ====अस्थायी विसंगति==== | ||
MAML, मॉडल-एग्नोस्टिक मेटा-अधिगम के लिए संक्षिप्त रूप से, एक काफी सामान्य अनुकूलन एल्गोरिथ्म है, जो किसी भी मॉडल के साथ संगत है जो ग्रेडिएंट डिसेंट के माध्यम से सीखता है।<ref name="paper9">[https://arxiv.org/abs/1703.03400] Chelsea Finn, Pieter Abbeel, Sergey Levine (2017). “Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks” arXiv:1703.03400 [cs.LG]</ref> | |||
====सरीसृप==== | ====सरीसृप==== | ||
रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा-अधिगम ऑप्टिमाइज़ेशन एल्गोरिदम है, यह देखते हुए कि इसके दोनों घटक ग्रेडिएंट डिसेंट के माध्यम से [[मेटा-अनुकूलन]] पर निर्भर करते हैं और दोनों मॉडल-अज्ञेयवादी हैं।<ref name="paper10">[https://arxiv.org/abs/1803.02999] Alex Nichol, Joshua Achiam, and John Schulman (2018).” On First-Order Meta-Learning Algorithms”. arXiv:1803.02999 [cs.LG]</ref> | रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा-अधिगम ऑप्टिमाइज़ेशन एल्गोरिदम है, यह देखते हुए कि इसके दोनों घटक ग्रेडिएंट डिसेंट के माध्यम से [[मेटा-अनुकूलन]] पर निर्भर करते हैं और दोनों मॉडल-अज्ञेयवादी हैं।<ref name="paper10">[https://arxiv.org/abs/1803.02999] Alex Nichol, Joshua Achiam, and John Schulman (2018).” On First-Order Meta-Learning Algorithms”. arXiv:1803.02999 [cs.LG]</ref> | ||
| Line 64: | Line 64: | ||
कुछ दृष्टिकोण जिन्हें मेटा अधिगम के उदाहरण के रूप में देखा गया है: | कुछ दृष्टिकोण जिन्हें मेटा अधिगम के उदाहरण के रूप में देखा गया है: | ||
* [[आवर्ती तंत्रिका नेटवर्क|आवर्ती तंत्रिका | * [[आवर्ती तंत्रिका नेटवर्क|आवर्ती तंत्रिका तंत्र]] (RNN) सार्वभौमिक कंप्यूटर हैं। 1993 में, जुरगेन श्मिडहुबर ने दिखाया कि कैसे स्व-संदर्भित RNN सैद्धांतिक रूप से अपने स्वयं के वजन परिवर्तन एल्गोरिदम को चलाने के लिए बैकप्रॉपैगेशन द्वारा सीख सकते हैं, जो [[ पश्चप्रचार ]] से काफी अलग हो सकता है।<ref name="sch1993">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1993| title = एक स्व-संदर्भित वजन मैट्रिक्स| journal = Proceedings of ICANN'93, Amsterdam | pages = 446–451}}</ref> 2001 में, [[सेप होक्रेइटर]] और ए.एस. यंगर और पी.आर. कॉनवेल ने दीर्घकालिक अल्पकालिक मेमोरी RNN के आधार पर एक सफल पर्यवेक्षित मेटा अधिगम बनाया। इसने बैकप्रोपेगेशन के माध्यम से द्विघात कार्यों के लिए एक अधिगम एल्गोरिदम सीखा जो बैकप्रोपेगेशन की तुलना में बहुत तेज़ है।<ref name="hoch2001">{{cite journal | last1 = Hochreiter | first1 = Sepp | last2 = Younger | first2 = A. S. | last3 = Conwell | first3 = P. R. | year = 2001| title = ग्रेडिएंट डिसेंट का उपयोग करके सीखना| journal = Proceedings of ICANN'01| pages = 87–94}}</ref><ref name="scholarpedia" />[[ गहरा दिमाग ]] (मार्सिन एंड्रीचोविक्ज़ एट अल.) के शोधकर्ताओं ने 2017 में अनुकूलन के लिए इस दृष्टिकोण को बढ़ाया।<ref name="marcin2017">{{cite journal | last1 = Andrychowicz | first1 = Marcin | last2 = Denil | first2 = Misha | last3 = Gomez | first3 = Sergio | last4 = Hoffmann | first4 = Matthew | last5 = Pfau | first5 = David | last6 = Schaul | first6 = Tom | last7 = Shillingford | first7 = Brendan | last8 = de Freitas | first8 = Nando | year = 2017| title = ग्रेडिएंट डीसेंट द्वारा ग्रेडिएंट डीसेंट द्वारा सीखना सीखना| journal = Proceedings of ICML'17, Sydney, Australia}}</ref> | ||
* 1990 के दशक में, मेटा [[सुदृढीकरण सीखना]] या मेटा | * 1990 के दशक में, मेटा [[सुदृढीकरण सीखना]] या मेटा RL को एक सार्वभौमिक प्रोग्रामिंग भाषा में लिखी गई स्व-संशोधित नीतियों के माध्यम से श्मिधुबर के अनुसंधान समूह में हासिल किया गया था, जिसमें नीति को बदलने के लिए विशेष निर्देश सम्मिलित थे। एक ही आजीवन परीक्षण है. RL एजेंट का लक्ष्य इनाम को अधिकतम करना है। यह अपने स्वयं के सीखने के एल्गोरिदम में लगातार सुधार करके पुरस्कार सेवन में तेजी लाना सीखता है जो स्व-संदर्भित नीति का हिस्सा है।<ref name="sch1994">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1994| title = सीखने की रणनीतियों को सीखने का तरीका सीखने पर| journal = Technical Report FKI-198-94, Tech. Univ. Munich}}</ref><ref name="sch1997">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | last2 = Zhao | first2 = J. | last3 = Wiering | first3 = M. | year = 1997| title = सफलता-कहानी एल्गोरिथ्म, अनुकूली लेविन खोज और वृद्धिशील आत्म-सुधार के साथ आगमनात्मक पूर्वाग्रह को बदलना| journal = Machine Learning | volume = 28 | pages = 105–130 | doi=10.1023/a:1007383707642| doi-access = free }}</ref> * मेटा [[सुदृढीकरण सीखना]] का एक चरम प्रकार गोडेल मशीन द्वारा सन्निहित है, एक सैद्धांतिक निर्माण जो अपने स्वयं के सॉफ़्टवेयर के किसी भी हिस्से का निरीक्षण और संशोधन कर सकता है जिसमें एक सामान्य स्वचालित प्रमेय साबित करना भी सम्मिलित है। यह सिद्ध रूप से इष्टतम तरीके से [[पुनरावर्ती आत्म-सुधार]] प्राप्त कर सकता है।<ref name="goedelmachine">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 2006| title = Gödel machines: Fully Self-Referential Optimal Universal Self-Improvers | url=https://archive.org/details/arxiv-cs0309048| journal = In B. Goertzel & C. Pennachin, Eds.: Artificial General Intelligence | pages = 199–226}}</ref><ref name="scholarpedia" />* मॉडल-एग्नोस्टिक मेटा-अधिगम (एमएएमएल) 2017 में [[चेल्सी फिन]] एट अल द्वारा पेश किया गया था।<ref name="maml" />कार्यों के अनुक्रम को देखते हुए, किसी दिए गए मॉडल के मापदंडों को इस तरह प्रशिक्षित किया जाता है कि किसी नए कार्य से कुछ प्र अधिगम डेटा के साथ ग्रेडिएंट डिसेंट के कुछ पुनरावृत्तियों से उस कार्य पर अच्छा सामान्यीकरण प्रदर्शन हो सके। एमएएमएल मॉडल को आसानी से फाइन-ट्यून करने के लिए प्रशिक्षित करता है।<ref name="maml" />एमएएमएल को कुछ-शॉट छवि वर्गीकरण बेंचमार्क और नीति-ग्रेडिएंट-आधारित सुदृढीकरण सीखने के लिए सफलतापूर्वक लागू किया गया था।<ref name="maml">{{cite arXiv | last1 = Finn | first1 = Chelsea | last2 = Abbeel | first2 = Pieter | last3 = Levine | first3 = Sergey |year = 2017| title = डीप नेटवर्क के तेजी से अनुकूलन के लिए मॉडल-अज्ञेयवादी मेटा-लर्निंग| eprint=1703.03400|class=cs.LG }}</ref> | ||
* [[मेटा-ज्ञान]] की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य अधिगम एल्गोरिदम तब सीखता है कि डेटा विशेषताएँ एल्गोरिदम विशेषताओं से कैसे संबंधित हैं। एक नई सीखने की समस्या को देखते हुए, डेटा विशेषताओं को मापा जाता है, और विभिन्न अधिगम एल्गोरिदम के प्रदर्शन की भविष्यवाणी की जाती है। इसलिए, कोई नई समस्या के लिए सबसे उपयुक्त एल्गोरिदम का अनुमान लगा सकता है। | * [[मेटा-ज्ञान]] की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य अधिगम एल्गोरिदम तब सीखता है कि डेटा विशेषताएँ एल्गोरिदम विशेषताओं से कैसे संबंधित हैं। एक नई सीखने की समस्या को देखते हुए, डेटा विशेषताओं को मापा जाता है, और विभिन्न अधिगम एल्गोरिदम के प्रदर्शन की भविष्यवाणी की जाती है। इसलिए, कोई नई समस्या के लिए सबसे उपयुक्त एल्गोरिदम का अनुमान लगा सकता है। | ||
* स्टैक्ड सामान्यीकरण कई (अलग-अलग) अधिगम एल्गोरिदम को मिलाकर काम करता है। मेटाडेटा उन विभिन्न एल्गोरिदम की भविष्यवाणियों से बनता है। एक अन्य अधिगम एल्गोरिदम इस मेटाडेटा से यह अनुमान लगाना सीखता है कि एल्गोरिदम का कौन सा संयोजन सामान्यतः अच्छे परिणाम देता है। एक नई सीखने की समस्या को देखते हुए, अंतिम भविष्यवाणी प्रदान करने के लिए एल्गोरिदम के चयनित सेट की भविष्यवाणियों को जोड़ा जाता है (उदाहरण के लिए (भारित) वोटिंग द्वारा)। चूंकि प्रत्येक एल्गोरिदम को समस्याओं के सबसेट पर काम करने के लिए माना जाता है, इसलिए एक संयोजन के अधिक लचीले होने और अच्छी भविष्यवाणियां करने में सक्षम होने की उम्मीद की जाती है। | * स्टैक्ड सामान्यीकरण कई (अलग-अलग) अधिगम एल्गोरिदम को मिलाकर काम करता है। मेटाडेटा उन विभिन्न एल्गोरिदम की भविष्यवाणियों से बनता है। एक अन्य अधिगम एल्गोरिदम इस मेटाडेटा से यह अनुमान लगाना सीखता है कि एल्गोरिदम का कौन सा संयोजन सामान्यतः अच्छे परिणाम देता है। एक नई सीखने की समस्या को देखते हुए, अंतिम भविष्यवाणी प्रदान करने के लिए एल्गोरिदम के चयनित सेट की भविष्यवाणियों को जोड़ा जाता है (उदाहरण के लिए (भारित) वोटिंग द्वारा)। चूंकि प्रत्येक एल्गोरिदम को समस्याओं के सबसेट पर काम करने के लिए माना जाता है, इसलिए एक संयोजन के अधिक लचीले होने और अच्छी भविष्यवाणियां करने में सक्षम होने की उम्मीद की जाती है। | ||
| Line 81: | Line 81: | ||
== बाहरी संबंध == | == बाहरी संबंध == | ||
* [http://www.scholarpedia.org/article/Metalearning | * [http://www.scholarpedia.org/article/Metalearning मेटलअर्निंग लेख] में [[Scholarpedia|स्कॉलरपीडिया]] | ||
* | * विलाल्टा आर. और ड्रिसी वाई. (2002)। ''मेटा-लर्निंग का एक परिप्रेक्ष्य दृश्य और सर्वेक्षण'', आर्टिफिशियल इंटेलिजेंस रिव्यू, 18(2), 77-95। | ||
* जिराउड-कैरियर, सी., और केलर, जे. (2002)। डेटा बाढ़ से निपटते हुए, जे. मीज (एड), अध्याय मेटा-लर्निंग। एसटीटी/बेवेटन, हेग। | |||
* ब्रेज़डिल पी., जिराउड-कैरियर सी., सोरेस सी., विलाल्टा आर. (2009) मेटलअर्निंग: एप्लीकेशन टू डेटा माइनिंग, चैप्टर मेटलअर्निंग: कॉन्सेप्ट्स एंड सिस्टम्स, स्प्रिंगर | |||
* एमएएमएल , प्रोटोटाइपिकल नेटवर्क और रिलेशन नेटवर्क के चरण-दर-चरण स्पष्टीकरण के साथ मेटा-लर्निंग के बारे में वीडियो पाठ्यक्रम | |||
{{DEFAULTSORT:Meta Learning (Computer Science)}} | |||
[[Category: | [[Category:Articles with hatnote templates targeting a nonexistent page|Meta Learning (Computer Science)]] | ||
[[Category:Created On 26/07/2023]] | [[Category:CS1 English-language sources (en)]] | ||
[[Category:Created On 26/07/2023|Meta Learning (Computer Science)]] | |||
[[Category:Lua-based templates|Meta Learning (Computer Science)]] | |||
[[Category:Machine Translated Page|Meta Learning (Computer Science)]] | |||
[[Category:Pages with script errors|Meta Learning (Computer Science)]] | |||
[[Category:Short description with empty Wikidata description|Meta Learning (Computer Science)]] | |||
[[Category:Templates Translated in Hindi|Meta Learning (Computer Science)]] | |||
[[Category:Templates Vigyan Ready|Meta Learning (Computer Science)]] | |||
[[Category:Templates that add a tracking category|Meta Learning (Computer Science)]] | |||
[[Category:Templates that generate short descriptions|Meta Learning (Computer Science)]] | |||
[[Category:Templates using TemplateData|Meta Learning (Computer Science)]] | |||
[[Category:यंत्र अधिगम|Meta Learning (Computer Science)]] | |||
Latest revision as of 17:59, 10 August 2023
 | This article needs additional citations for verification. (August 2010) (Learn how and when to remove this template message) |
| Part of a series on |
| Machine learning and data mining |
|---|
 |
मेटा अधिगम[1][2]मशीन अधिगम का उपक्षेत्र है जहां स्वचालित अधिगम एल्गोरिदम को मशीन अधिगम प्रयोगों के बारे में मेटा डेटा पर लागू किया जाता है। 2017 तक, इस शब्द को मानक व्याख्या नहीं मिली थी, तथापि मुख्य लक्ष्य ऐसे मेटाडेटा का उपयोग करना है ताकि यह समझा जा सके कि सीखने की समस्याओं को हल करने में स्वचालित अधिगम कैसे लचीला हो सकता है, इसलिए मौजूदा अधिगम एल्गोरिदम के प्रदर्शन में सुधार करना या सीखने के एल्गोरिदम को स्वयं सीखना (प्रेरित करना), वैकल्पिक शब्द है।[1]
सुनम्यता महत्वपूर्ण है क्योंकि प्रत्येक अधिगम एल्गोरिदम डेटा, उसके आगमनात्मक अभिनति के बारे में धारणाओं के सेट पर आधारित होता है।[3] इसका मतलब यह है कि यह केवल तभी अच्छी तरह सीखेगा जब अभिनति सीखने की समस्या से मेल खाता हो। अधिगम एल्गोरिदम अनुक्षेत्र में बहुत अच्छा प्रदर्शन कर सकता है, लेकिन अगले में नहीं। यह मशीन अधिगम या डेटा खनन तकनीकों के उपयोग पर प्रतिबंध लगाता है, क्योंकि सीखने की समस्या (प्रायः किसी प्रकार का डेटाबेस) और विभिन्न अधिगम एल्गोरिदम की प्रभावशीलता के बीच संबंध अभी तक समझ में नहीं आया है।
विभिन्न प्रकार के मेटाडेटा का उपयोग करके, जैसे सीखने की समस्या के गुण, एल्गोरिदम गुण (जैसे निष्पादन उपाय), या डेटा से पहले प्राप्त प्रतिरूप, किसी दी गई सीखने की समस्या को प्रभावी ढंग से हल करने के लिए विभिन्न अधिगम एल्गोरिदम को सीखना, चयन करना, बदलना या संयोजित करना संभव है। मेटा अधिगम दृष्टिकोण की आलोचना मेटाह्यूरिस्टिक की आलोचना से काफी मिलती जुलती है, जो संभवतः एक संबंधित समस्या है। मेटा-अधिगम का अच्छा सादृश्य, और जुर्गन श्मिधुबर के शुरुआती काम के लिए प्रेरणा (1987)[1]और जोशुआ बेंगियो एट अल का काम (1991),[4] मानता है कि आनुवंशिक विकास जीन में एन्कोडेड और प्रत्येक व्यक्ति के मस्तिष्क में क्रियान्वित सीखने की प्रक्रिया को सीखता है। ओपन-एंडेड पदानुक्रमित मेटा अधिगम प्रणाली में[1]आनुवंशिक प्रोग्रामिंग का उपयोग करके, मेटा इवोल्यूशन द्वारा बेहतर विकासवादी तरीकों को सीखा जा सकता है, जिसे मेटा विकासक्रम आदि द्वारा बेहतर बनाया जा सकता है।[1]
एनसेम्बल अधिगम भी देखें।
परिभाषा
एक प्रस्तावित परिभाषा[5] में मेटा अधिगम प्रणाली के लिए तीन आवश्यकताएं सम्मिलित हैं:
- प्रणाली में एक अधिगम उपतंत्र सम्मिलित होना चाहिए।
- निकाले गए मेटा समुपयोजन का दोहन करके अनुभव प्राप्त किया जाता है
- एकल डेटासेट पर पिछले अधिगम प्रकरण में, या
- विभिन्न अनुक्षेत्र से।
- सीखने के अभिनति को गतिशील रूप से चुना जाना चाहिए।
अभिनति उन धारणाओं को संदर्भित करता है जो व्याख्यात्मक परिकल्पनाओं के चुनाव को प्रभावित करती हैं न कि अभिनति -विचरण दुविधा में दर्शाए गए अभिनति की धारणा को। मेटा अधिगम का संबंध सीखने के अभिनति के दो पहलुओं से है।
- घोषणात्मक अभिनति परिकल्पनाओं के स्थान का प्रतिनिधित्व निर्दिष्ट करता है, और खोज स्थान के आकार को प्रभावित करता है (उदाहरण के लिए, केवल रैखिक कार्यों का उपयोग करके परिकल्पनाओं का प्रतिनिधित्व करता है)।
- प्रक्रियात्मक अभिनति आगमनात्मक परिकल्पनाओं के क्रम पर प्रतिबंध लगाता है (उदाहरण के लिए, छोटी परिकल्पनाओं को प्राथमिकता देना)।[6]
सामान्य दृष्टिकोण
तीन सामान्य दृष्टिकोण हैं:[7]
- 1) बाहरी या आंतरिक मेमोरी (मॉडल-आधारित) के साथ (चक्रीय) तंत्र का उपयोग करना
- 2) प्रभावी दूरी मेट्रिक्स सीखना (मेट्रिक्स-आधारित)
- 3) तेजी से सीखने (अनुकूलन-आधारित) के लिए मॉडल मापदंडों को स्पष्ट रूप से अनुकूलित करना।
मॉडल-आधारित
मॉडल-आधारित मेटा-अधिगम मॉडल कुछ प्रअधिगम चरणों के साथ अपने मापदंडों को तेजी से अद्यतन करता है, जिसे इसके आंतरिक संरचना द्वारा प्राप्त किया जा सकता है या किसी अन्य मेटा-अधिगम मॉडल द्वारा नियंत्रित किया जा सकता है।[7]
मेमोरी-संवर्धित तंत्रिका तंत्र
मेमोरी-ऑगमेंटेड न्यूरल तंत्र, या संक्षेप में MANN, के बारे में दावा किया जाता है कि यह नई जानकारी को शीघ्रता से एनकोड करने में सक्षम है और इस प्रकार केवल कुछ नमूना के बाद नए कार्यों के लिए अनुकूल हो जाता है।[8]
मेटा तंत्र
मेटा तंत्र (मेटानेट) सभी कार्यों में मेटा-स्तरीय ज्ञान सीखता है और तेजी से सामान्यीकरण के लिए तेजी से मानकीकरण के माध्यम से अपने आगमनात्मक अभिनति ों को बदलता है।[9]
मीट्रिक-आधारित
मीट्रिक-आधारित मेटा-अधिगम में मुख्य विचार K-निकटतम पड़ोसी एल्गोरिदम के समान है, जिसका वजन कर्नेल फ़ंक्शन द्वारा उत्पन्न होता है। इसका उद्देश्य वस्तुओं पर एक मीट्रिक या दूरी फ़ंक्शन सीखना है। एक अच्छे मीट्रिक की धारणा समस्या पर निर्भर है। इसे कार्य स्थान में इनपुट के बीच संबंध का प्रतिनिधित्व करना चाहिए और समस्या समाधान की सुविधा प्रदान करनी चाहिए।[7]
संवादात्मक स्याम देश तंत्रिका तंत्र
स्याम देश का तंत्रिका तंत्र दो जुड़वां तंत्रों से बना है जिनके आउटपुट को संयुक्त रूप से प्रशिक्षित किया जाता है। इनपुट डेटा नमूना जोड़े के बीच संबंध जानने के लिए ऊपर एक फ़ंक्शन है। दोनों तंत्र समान हैं, समान वजन और तंत्र पैरामीटर साझा करते हैं।[10]
प्रतितुलन तंत्र
प्रतितुलन तंत्र ऐसे तंत्र को सीखते हैं जो एक छोटे लेबल वाले समर्थन सेट और उसके लेबल पर एक बिना लेबल वाले उदाहरण को मैप करता है, जिससे नए वर्ग प्रकारों के अनुकूल होने के लिए फाइन-ट्यूनिंग की आवश्यकता समाप्त हो जाती है।[11]
रिलेशन तंत्र
रिलेशन तंत्र (आरएन) को आरंभ से अंत तक प्रशिक्षित किया जाता है। मेटा-अधिगम के दौरान, यह एपिसोड के भीतर छोटी संख्या में छवियों की तुलना करने के लिए एक गहरी दूरी की मीट्रिक सीखना सीखता है, जिनमें से प्रत्येक को कुछ-शॉट सेटिंग का अनुकरण करने के लिए डिज़ाइन किया गया है।[12]
प्रोटोटाइपिकल तंत्र
प्रोटोटाइपिकल तंत्र एक मीट्रिक स्थान सीखते हैं जिसमें प्रत्येक वर्ग के प्रोटोटाइप प्रतिनिधित्व की दूरी की गणना करके वर्गीकरण किया जा सकता है। कुछ-शॉट सीखने के लिए हाल के दृष्टिकोणों की तुलना में, वे एक सरल आगमनात्मक अभिनति को दर्शाते हैं जो इस सीमित-डेटा शासन में फायदेमंद है, और संतुष्ट परिणाम प्राप्त करते हैं।[13]
अनुकूलन-आधारित
अनुकूलन-आधारित मेटा-अधिगम एल्गोरिदम का उद्देश्य अनुकूलन एल्गोरिदम को समायोजित करना है ताकि मॉडल कुछ उदाहरणों के साथ सीखने में अच्छा हो सके।[7]
LSTM मेटा-अधिगम
LSTM-आधारित मेटा-अधिगम को कुछ-शॉट शासन में किसी अन्य शिक्षार्थी तंत्रिका तंत्र वर्गीकरण नियम को प्रशिक्षित करने के लिए उपयोग किए जाने वाले सटीक अनुकूलन एल्गोरिदम को सीखना है। पैरामीट्रिज़ेशन इसे विशेष रूप से उस परिदृश्य के लिए उपयुक्त पैरामीटर अपडेट सीखने की अनुमति देता है जहां एक निर्धारित मात्रा में अपडेट किए जाएंगे, जबकि शिक्षार्थी (क्लासिफायरियर) तंत्र का एक सामान्य आरंभीकरण भी सीखता है जो प्र अधिगम के त्वरित अभिसरण की अनुमति देता है।[14]
अस्थायी विसंगति
MAML, मॉडल-एग्नोस्टिक मेटा-अधिगम के लिए संक्षिप्त रूप से, एक काफी सामान्य अनुकूलन एल्गोरिथ्म है, जो किसी भी मॉडल के साथ संगत है जो ग्रेडिएंट डिसेंट के माध्यम से सीखता है।[15]
सरीसृप
रेप्टाइल एक उल्लेखनीय रूप से सरल मेटा-अधिगम ऑप्टिमाइज़ेशन एल्गोरिदम है, यह देखते हुए कि इसके दोनों घटक ग्रेडिएंट डिसेंट के माध्यम से मेटा-अनुकूलन पर निर्भर करते हैं और दोनों मॉडल-अज्ञेयवादी हैं।[16]
उदाहरण
कुछ दृष्टिकोण जिन्हें मेटा अधिगम के उदाहरण के रूप में देखा गया है:
- आवर्ती तंत्रिका तंत्र (RNN) सार्वभौमिक कंप्यूटर हैं। 1993 में, जुरगेन श्मिडहुबर ने दिखाया कि कैसे स्व-संदर्भित RNN सैद्धांतिक रूप से अपने स्वयं के वजन परिवर्तन एल्गोरिदम को चलाने के लिए बैकप्रॉपैगेशन द्वारा सीख सकते हैं, जो पश्चप्रचार से काफी अलग हो सकता है।[17] 2001 में, सेप होक्रेइटर और ए.एस. यंगर और पी.आर. कॉनवेल ने दीर्घकालिक अल्पकालिक मेमोरी RNN के आधार पर एक सफल पर्यवेक्षित मेटा अधिगम बनाया। इसने बैकप्रोपेगेशन के माध्यम से द्विघात कार्यों के लिए एक अधिगम एल्गोरिदम सीखा जो बैकप्रोपेगेशन की तुलना में बहुत तेज़ है।[18][2]गहरा दिमाग (मार्सिन एंड्रीचोविक्ज़ एट अल.) के शोधकर्ताओं ने 2017 में अनुकूलन के लिए इस दृष्टिकोण को बढ़ाया।[19]
- 1990 के दशक में, मेटा सुदृढीकरण सीखना या मेटा RL को एक सार्वभौमिक प्रोग्रामिंग भाषा में लिखी गई स्व-संशोधित नीतियों के माध्यम से श्मिधुबर के अनुसंधान समूह में हासिल किया गया था, जिसमें नीति को बदलने के लिए विशेष निर्देश सम्मिलित थे। एक ही आजीवन परीक्षण है. RL एजेंट का लक्ष्य इनाम को अधिकतम करना है। यह अपने स्वयं के सीखने के एल्गोरिदम में लगातार सुधार करके पुरस्कार सेवन में तेजी लाना सीखता है जो स्व-संदर्भित नीति का हिस्सा है।[20][21] * मेटा सुदृढीकरण सीखना का एक चरम प्रकार गोडेल मशीन द्वारा सन्निहित है, एक सैद्धांतिक निर्माण जो अपने स्वयं के सॉफ़्टवेयर के किसी भी हिस्से का निरीक्षण और संशोधन कर सकता है जिसमें एक सामान्य स्वचालित प्रमेय साबित करना भी सम्मिलित है। यह सिद्ध रूप से इष्टतम तरीके से पुनरावर्ती आत्म-सुधार प्राप्त कर सकता है।[22][2]* मॉडल-एग्नोस्टिक मेटा-अधिगम (एमएएमएल) 2017 में चेल्सी फिन एट अल द्वारा पेश किया गया था।[23]कार्यों के अनुक्रम को देखते हुए, किसी दिए गए मॉडल के मापदंडों को इस तरह प्रशिक्षित किया जाता है कि किसी नए कार्य से कुछ प्र अधिगम डेटा के साथ ग्रेडिएंट डिसेंट के कुछ पुनरावृत्तियों से उस कार्य पर अच्छा सामान्यीकरण प्रदर्शन हो सके। एमएएमएल मॉडल को आसानी से फाइन-ट्यून करने के लिए प्रशिक्षित करता है।[23]एमएएमएल को कुछ-शॉट छवि वर्गीकरण बेंचमार्क और नीति-ग्रेडिएंट-आधारित सुदृढीकरण सीखने के लिए सफलतापूर्वक लागू किया गया था।[23]
- मेटा-ज्ञान की खोज ज्ञान को प्रेरित करके काम करती है (उदाहरण के लिए नियम) जो यह व्यक्त करता है कि प्रत्येक सीखने की विधि विभिन्न सीखने की समस्याओं पर कैसा प्रदर्शन करेगी। मेटाडेटा सीखने की समस्या में डेटा की विशेषताओं (सामान्य, सांख्यिकीय, सूचना-सैद्धांतिक,...) और सीखने के एल्गोरिदम की विशेषताओं (प्रकार, पैरामीटर सेटिंग्स, प्रदर्शन उपाय,...) द्वारा बनाई जाती है। एक अन्य अधिगम एल्गोरिदम तब सीखता है कि डेटा विशेषताएँ एल्गोरिदम विशेषताओं से कैसे संबंधित हैं। एक नई सीखने की समस्या को देखते हुए, डेटा विशेषताओं को मापा जाता है, और विभिन्न अधिगम एल्गोरिदम के प्रदर्शन की भविष्यवाणी की जाती है। इसलिए, कोई नई समस्या के लिए सबसे उपयुक्त एल्गोरिदम का अनुमान लगा सकता है।
- स्टैक्ड सामान्यीकरण कई (अलग-अलग) अधिगम एल्गोरिदम को मिलाकर काम करता है। मेटाडेटा उन विभिन्न एल्गोरिदम की भविष्यवाणियों से बनता है। एक अन्य अधिगम एल्गोरिदम इस मेटाडेटा से यह अनुमान लगाना सीखता है कि एल्गोरिदम का कौन सा संयोजन सामान्यतः अच्छे परिणाम देता है। एक नई सीखने की समस्या को देखते हुए, अंतिम भविष्यवाणी प्रदान करने के लिए एल्गोरिदम के चयनित सेट की भविष्यवाणियों को जोड़ा जाता है (उदाहरण के लिए (भारित) वोटिंग द्वारा)। चूंकि प्रत्येक एल्गोरिदम को समस्याओं के सबसेट पर काम करने के लिए माना जाता है, इसलिए एक संयोजन के अधिक लचीले होने और अच्छी भविष्यवाणियां करने में सक्षम होने की उम्मीद की जाती है।
- बूस्टिंग (मेटा-एल्गोरिदम) स्टैक्ड सामान्यीकरण से संबंधित है, लेकिन एक ही एल्गोरिदम का कई बार उपयोग करता है, जहां प्र अधिगम डेटा में उदाहरणों को प्रत्येक रन पर अलग-अलग वजन मिलता है। इससे अलग-अलग भविष्यवाणियाँ प्राप्त होती हैं, प्रत्येक डेटा के सबसेट की सही भविष्यवाणी करने पर केंद्रित होता है, और उन भविष्यवाणियों के संयोजन से बेहतर (लेकिन अधिक महंगे) परिणाम मिलते हैं।
- गतिशील अभिनति चयन दी गई समस्या से मेल खाने के लिए सीखने के एल्गोरिदम के आगमनात्मक अभिनति को बदलकर काम करता है। यह सीखने के एल्गोरिदम के प्रमुख पहलुओं को बदलकर किया जाता है, जैसे कि परिकल्पना प्रतिनिधित्व, अनुमानी सूत्र, या पैरामीटर। कई अलग-अलग दृष्टिकोण मौजूद हैं।
- आगमनात्मक स्थानांतरण अध्ययन करता है कि समय के साथ सीखने की प्रक्रिया को कैसे बेहतर बनाया जा सकता है। मेटाडेटा में पिछले सीखने के एपिसोड के बारे में ज्ञान सम्मिलित होता है और इसका उपयोग किसी नए कार्य के लिए प्रभावी परिकल्पना को कुशलतापूर्वक विकसित करने के लिए किया जाता है। संबंधित दृष्टिकोण को सीखना सीखना कहा जाता है, जिसमें लक्ष्य एक अनुक्षेत्र से अर्जित ज्ञान का उपयोग दूसरे अनुक्षेत्र में सीखने में मदद करने के लिए करना है।
- स्वचालित अधिगम को बेहतर बनाने के लिए मेटाडेटा का उपयोग करने वाले अन्य दृष्टिकोण सीखने सीखने का वर्गीकरण प्रणाली, केस-आधारित तर्क और बाधा संतुष्टि हैं।
- मानव शिक्षार्थियों के प्रदर्शन के बारे में एजेंट-मध्यस्थता मेटा-अधिगम के लिए एक आधार के रूप में एप्लाइड व्यवहार विश्लेषण का उपयोग करने और एक कृत्रिम एजेंट के निर्देशात्मक पाठ्यक्रम को समायोजित करने के लिए कुछ प्रारंभिक, सैद्धांतिक कार्य शुरू किया गया है।[24]
- ऑटोएमएल जैसे कि गूगल ब्रेन का एआई बिल्डिंग एआई प्रोजेक्ट, जो गूगल के अनुसार 2017 में मौजूदा छवि जाल बेंचमार्क से कुछ हद तक आगे निकल गया।[25][26]
संदर्भ
- ↑ 1.0 1.1 1.2 1.3 1.4 Schmidhuber, Jürgen (1987). "Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook" (PDF). Diploma Thesis, Tech. Univ. Munich.
- ↑ 2.0 2.1 2.2 Schaul, Tom; Schmidhuber, Jürgen (2010). "धातु अर्जित करना". Scholarpedia. 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650.
- ↑ P. E. Utgoff (1986). "Shift of bias for inductive concept learning". In R. Michalski, J. Carbonell, & T. Mitchell: Machine Learning: 163–190.
- ↑ Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91.
- ↑ Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metalearning: a survey of trends and technologies". Artificial Intelligence Review (in English). 44 (1): 117–130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543. PMID 26069389.
- ↑ Gordon, Diana; Desjardins, Marie (1995). "मशीन लर्निंग में पूर्वाग्रहों का मूल्यांकन और चयन" (PDF). Machine Learning. 20: 5–22. doi:10.1023/A:1022630017346. Retrieved 27 March 2020.
- ↑ 7.0 7.1 7.2 7.3 [1] Lilian Weng(2018). Meta-Learning: Learning to Learn Fast. OpenAI Blog . November 2018 . Retrieved 27 October 2019
- ↑ [2] Adam Santoro, Sergey Bartunov, Daan Wierstra, Timothy Lillicrap. Meta-Learning with Memory-Augmented Neural Networks. Google DeepMind. Retrieved 29 October 2019
- ↑ [3] Tsendsuren Munkhdalai, Hong Yu (2017). Meta Networks.arXiv:1703.00837 [cs.LG]
- ↑ [4] Gregory Koch, Richard Zemel, Ruslan Salakhutdinov (2015). Siamese Neural Networks for One-shot Image Recognition. Department of Computer Science, University of Toronto. Toronto, Ontario, Canada.
- ↑ [5] Vinyals, O., Blundell, C., Lillicrap, T., Kavukcuoglu, K., & Wierstra, D. (2016). Matching networks for one shot learning. Google DeepMind. Retrieved 3 November 2019
- ↑ [6] Sung, F., Yang, Y., Zhang, L., Xiang, T., Torr, P. H. S., & Hospedales, T. M. (2018). Learning to compare: relation network for few-shot learning
- ↑ [7] Snell, J., Swersky, K., & Zemel, R. S. (2017). Prototypical networks for few-shot learning.
- ↑ [8] Sachin Ravi and Hugo Larochelle (2017).” Optimization as a model for few-shot learning”. ICLR 2017. Retrieved 3 November 2019
- ↑ [9] Chelsea Finn, Pieter Abbeel, Sergey Levine (2017). “Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks” arXiv:1703.03400 [cs.LG]
- ↑ [10] Alex Nichol, Joshua Achiam, and John Schulman (2018).” On First-Order Meta-Learning Algorithms”. arXiv:1803.02999 [cs.LG]
- ↑ Schmidhuber, Jürgen (1993). "एक स्व-संदर्भित वजन मैट्रिक्स". Proceedings of ICANN'93, Amsterdam: 446–451.
- ↑ Hochreiter, Sepp; Younger, A. S.; Conwell, P. R. (2001). "ग्रेडिएंट डिसेंट का उपयोग करके सीखना". Proceedings of ICANN'01: 87–94.
- ↑ Andrychowicz, Marcin; Denil, Misha; Gomez, Sergio; Hoffmann, Matthew; Pfau, David; Schaul, Tom; Shillingford, Brendan; de Freitas, Nando (2017). "ग्रेडिएंट डीसेंट द्वारा ग्रेडिएंट डीसेंट द्वारा सीखना सीखना". Proceedings of ICML'17, Sydney, Australia.
- ↑ Schmidhuber, Jürgen (1994). "सीखने की रणनीतियों को सीखने का तरीका सीखने पर". Technical Report FKI-198-94, Tech. Univ. Munich.
- ↑ Schmidhuber, Jürgen; Zhao, J.; Wiering, M. (1997). "सफलता-कहानी एल्गोरिथ्म, अनुकूली लेविन खोज और वृद्धिशील आत्म-सुधार के साथ आगमनात्मक पूर्वाग्रह को बदलना". Machine Learning. 28: 105–130. doi:10.1023/a:1007383707642.
- ↑ Schmidhuber, Jürgen (2006). "Gödel machines: Fully Self-Referential Optimal Universal Self-Improvers". In B. Goertzel & C. Pennachin, Eds.: Artificial General Intelligence: 199–226.
- ↑ 23.0 23.1 23.2 Finn, Chelsea; Abbeel, Pieter; Levine, Sergey (2017). "डीप नेटवर्क के तेजी से अनुकूलन के लिए मॉडल-अज्ञेयवादी मेटा-लर्निंग". arXiv:1703.03400 [cs.LG].
- ↑ Begoli, Edmon (May 2014). "अनुप्रयुक्त व्यवहार विश्लेषण-आधारित निर्देशों के लिए प्रक्रियात्मक-तर्क संरचना". Doctoral Dissertations. Knoxville, Tennessee, USA: University of Tennessee, Knoxville: 44–79. Retrieved 14 October 2017.
- ↑ "टेक रिपोर्टर का कहना है, रोबोट अब 'नए रोबोट बना रहे हैं।'". NPR.org (in English). 2018. Retrieved 29 March 2018.
- ↑ "बड़े पैमाने पर छवि वर्गीकरण और ऑब्जेक्ट डिटेक्शन के लिए ऑटोएमएल". Google Research Blog. November 2017. Retrieved 29 March 2018.
बाहरी संबंध
- मेटलअर्निंग लेख में स्कॉलरपीडिया
- विलाल्टा आर. और ड्रिसी वाई. (2002)। मेटा-लर्निंग का एक परिप्रेक्ष्य दृश्य और सर्वेक्षण, आर्टिफिशियल इंटेलिजेंस रिव्यू, 18(2), 77-95।
- जिराउड-कैरियर, सी., और केलर, जे. (2002)। डेटा बाढ़ से निपटते हुए, जे. मीज (एड), अध्याय मेटा-लर्निंग। एसटीटी/बेवेटन, हेग।
- ब्रेज़डिल पी., जिराउड-कैरियर सी., सोरेस सी., विलाल्टा आर. (2009) मेटलअर्निंग: एप्लीकेशन टू डेटा माइनिंग, चैप्टर मेटलअर्निंग: कॉन्सेप्ट्स एंड सिस्टम्स, स्प्रिंगर
- एमएएमएल , प्रोटोटाइपिकल नेटवर्क और रिलेशन नेटवर्क के चरण-दर-चरण स्पष्टीकरण के साथ मेटा-लर्निंग के बारे में वीडियो पाठ्यक्रम
