ऊर्जा-आधारित प्रारूप: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| Line 1: | Line 1: | ||
'''ऊर्जा-आधारित प्रारूप''' (ईबीएम) मुख्य रूप से ऐसा [[जनरेटिव मॉडल|ऊत्पादक प्रारूप]] (जीएम) रूप है जो सीधे [[सांख्यिकीय भौतिकी]] से उपयोग किये जाने के लिए आयात किया जाता है। इस प्रकार जीएम प्रमाण डेटासेट का विश्लेषण करके अंतर्निहित डेटा वितरण का उपयोग करते हैं। इस प्रकार प्रशिक्षित होने के बाद, जीएम अन्य डेटासेट तैयार कर सकता है जो डेटा वितरण से भी मेल खाता है।<ref name=":1">{{Cite web|url=https://openai.com/blog/energy-based-models/|title=ऊर्जा-आधारित मॉडलों के लिए अंतर्निहित सृजन और सामान्यीकरण के तरीके|date=2019-03-21|website=OpenAI|language=en|access-date=2019-12-27}}</ref> ईबीएम के इस प्रकार उपयोग किये जाने के लिए कई संभावित और असंभावित दृष्टिकोणों के लिए एकीकृत प्रारूप प्रदान किये गये हैं, इसके आधार पर विशेष रूप से [[ग्राफिकल मॉडल|ग्राफिकल प्रारूप]] और अन्य संरचित प्रारूप के प्रशिक्षण के लिए इसका उपयोग किया जाता हैं।<ref name=":0">{{Cite web |last=Rodriguez |first=Jesus |date=2019-04-01 |title=वास्तव में स्केल करने वाले ऊर्जा आधारित मॉडल का उपयोग करके प्रशिक्षण डेटासेट तैयार करना|url=https://towardsdatascience.com/generating-training-datasets-using-energy-based-models-that-actually-scale-4e1f83bb9e00 |archive-url=https://web.archive.org/web/20190401202635/https://towardsdatascience.com/generating-training-datasets-using-energy-based-models-that-actually-scale-4e1f83bb9e00?gi=348c8df4cdb2 |archive-date=2019-04-01 |access-date=2019-12-27 |website=Medium |language=en}}</ref> | |||
एक ईबीएम लक्षित डेटासेट की विशेषताओं को सीखता है और इसके आधार पर समान प्रकार के किंतु बड़े डेटासेट उत्पन्न करता है। ईबीएम डेटासेट के [[अव्यक्त चर]] का पता लगाते हैं और समान वितरण के साथ नए डेटासेट उत्पन्न करते हैं।<ref name=":0" /> | |||
लक्षित अनुप्रयोगों में [[प्राकृतिक भाषा प्रसंस्करण]], [[रोबोटिक|रोबोटिक्स]] और [[कंप्यूटर दृष्टि]] उपस्थित हैं।<ref name=":0" /> | |||
== इतिहास == | == इतिहास == | ||
ऊर्जा-आधारित | ऊर्जा-आधारित प्रारूप शब्द सबसे पहले जेएमएलआर पेपर में प्रारूपित किया गया था<ref>{{Cite journal|url=https://www.jmlr.org/papers/v4/teh03a.html|title=विरल अतिपूर्ण अभ्यावेदन के लिए ऊर्जा-आधारित मॉडल|last1=Teh|first1=Yee Whye|last2=Welling|first2=Max|last3=Osindero|first3=Simon|last4=Hinton|first4=Geoffrey E.|journal=JMLR|date=December 2003}}</ref> जहाँ लेखकों ने ईबीएम का उपयोग करके पूर्ण सेटिंग के लिए स्वतंत्र घटक विश्लेषण के सामान्यीकरण को परिभाषित किया था। | ||
ईबीएम पर अन्य | |||
ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।<ref>{{Cite web|url=https://cs.nyu.edu/~yann/research/ebm/|title=सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू|last=LeCun|first=Yann|date=September 2003|website=cs.nyu.edu|access-date=2019-12-27}}</ref> | |||
== दृष्टिकोण == | == दृष्टिकोण == | ||
ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर कब्जा कर लेते हैं। अनुमान में अव्यक्त चरों का (मानों का) पता लगाना | ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर कब्जा कर लेते हैं। अनुमान में अव्यक्त चरों का (मानों का) पता लगाना उपस्थित है, जो प्रेक्षित चरों के (मानों के) सेट को देखते हुए ऊर्जा को न्यूनतम करता है। इसी तरह, प्रारूप फ़ंक्शन सीखता है जो कम ऊर्जा को अव्यक्त चर के सही मानों से जोड़ता है, और उच्च ऊर्जा को गलत मानों से जोड़ता है।<ref name=":0" /> | ||
पारंपरिक ईबीएम [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]] | स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर भरोसा करते हैं जिन्हें आमतौर पर उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, [[OpenAI]] ने वैरिएंट का प्रचार किया जिसमें इसके बजाय [[लैंग्विन गतिकी]] (LD) का उपयोग किया गया था। एलडी पुनरावृत्त अनुकूलन एल्गोरिदम है जो हानि फ़ंक्शन सीखने के हिस्से के रूप में अनुमानक को शोर पेश करता है। इसका उपयोग पश्च वितरण से नमूने तैयार करके [[बायेसियन अनुमान]] परिदृश्यों के लिए किया जा सकता है।<ref name=":0" /> | पारंपरिक ईबीएम [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]] | स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर भरोसा करते हैं जिन्हें आमतौर पर उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, [[OpenAI]] ने वैरिएंट का प्रचार किया जिसमें इसके बजाय [[लैंग्विन गतिकी]] (LD) का उपयोग किया गया था। एलडी पुनरावृत्त अनुकूलन एल्गोरिदम है जो हानि फ़ंक्शन सीखने के हिस्से के रूप में अनुमानक को शोर पेश करता है। इसका उपयोग पश्च वितरण से नमूने तैयार करके [[बायेसियन अनुमान]] परिदृश्यों के लिए किया जा सकता है।<ref name=":0" /> | ||
ईबीएम को यह आवश्यक नहीं है कि ऊर्जाओं को संभावनाओं के रूप में सामान्यीकृत किया जाए। दूसरे शब्दों में, ऊर्जाओं को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य | ईबीएम को यह आवश्यक नहीं है कि ऊर्जाओं को संभावनाओं के रूप में सामान्यीकृत किया जाए। दूसरे शब्दों में, ऊर्जाओं को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप की तरह [[सामान्यीकरण (सांख्यिकी)]] स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और लचीले हैं।<ref name=":0" /> | ||
नमूने [[मार्कोव श्रृंखला मोंटे कार्लो]] दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।<ref name=":2">{{cite arXiv|last1=Du|first1=Yilun|last2=Mordatch|first2=Igor|date=2019-03-20|title=ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण|eprint=1903.08689|class=cs.LG}}</ref> अनुकूलन मॉड्यूल को आरंभ करने के लिए एलडी के साथ पिछली छवियों का रीप्ले बफर का उपयोग किया जाता है।<ref name=":0" /> | नमूने [[मार्कोव श्रृंखला मोंटे कार्लो]] दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।<ref name=":2">{{cite arXiv|last1=Du|first1=Yilun|last2=Mordatch|first2=Igor|date=2019-03-20|title=ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण|eprint=1903.08689|class=cs.LG}}</ref> अनुकूलन मॉड्यूल को आरंभ करने के लिए एलडी के साथ पिछली छवियों का रीप्ले बफर का उपयोग किया जाता है।<ref name=":0" /> | ||
| Line 18: | Line 20: | ||
* सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है। | * सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है। | ||
* अनुकूली गणना समय- ईबीएम तेज, विविध नमूने या (अधिक तेज़ी से) मोटे, कम विविध नमूने उत्पन्न कर सकता है। अनंत समय को देखते हुए, यह प्रक्रिया सच्चे नमूने तैयार करती है।<ref name=":1" />* लचीलापन - [[ऑटोएनकोडर]] (वीएई) और प्रवाह-आधारित | * अनुकूली गणना समय- ईबीएम तेज, विविध नमूने या (अधिक तेज़ी से) मोटे, कम विविध नमूने उत्पन्न कर सकता है। अनंत समय को देखते हुए, यह प्रक्रिया सच्चे नमूने तैयार करती है।<ref name=":1" />* लचीलापन - [[ऑटोएनकोडर]] (वीएई) और प्रवाह-आधारित प्रारूप में, जनरेटर निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं। | ||
* अनुकूली पीढ़ी-ईबीएम जनरेटर को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है | * अनुकूली पीढ़ी-ईबीएम जनरेटर को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ जनरेटर प्रशिक्षण अव्यावहारिक है, साथ ही मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। वितरण के नमूने।<ref name=":2" />* संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं। | ||
== प्रायोगिक परिणाम == | == प्रायोगिक परिणाम == | ||
[[CIFAR-10]] और [[ImageNet]] 32x32 जैसे छवि डेटासेट पर, EBM | [[CIFAR-10]] और [[ImageNet]] 32x32 जैसे छवि डेटासेट पर, EBM प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली छवियां उत्पन्न करता है। यह अन्य प्रकार की छवियां बनाने के लिए प्रकार की छवि से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, प्रवाह-आधारित और [[ऑटोरेग्रेसिव मॉडल|ऑटोरेग्रेसिव प्रारूप]] से बेहतर प्रदर्शन कर रहा था। ईबीएम अपेक्षाकृत प्रतिकूल गड़बड़ी के प्रति प्रतिरोधी था, वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके खिलाफ प्रशिक्षित प्रारूप की तुलना में बेहतर व्यवहार करता था।<ref name=":0" /> | ||
== विकल्प == | == विकल्प == | ||
ईबीएम [[वैरिएबल ऑटोएनकोडर]] (वीएई) या [[जनरेटिव प्रतिकूल नेटवर्क]] (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।<ref name=":0" /> | ईबीएम [[वैरिएबल ऑटोएनकोडर]] (वीएई) या [[जनरेटिव प्रतिकूल नेटवर्क|ऊत्पादक प्रतिकूल नेटवर्क]] (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।<ref name=":0" /> | ||
== संदर्भ == | == संदर्भ == | ||
{{Reflist}} | {{Reflist}} | ||
Revision as of 21:43, 3 December 2023
ऊर्जा-आधारित प्रारूप (ईबीएम) मुख्य रूप से ऐसा ऊत्पादक प्रारूप (जीएम) रूप है जो सीधे सांख्यिकीय भौतिकी से उपयोग किये जाने के लिए आयात किया जाता है। इस प्रकार जीएम प्रमाण डेटासेट का विश्लेषण करके अंतर्निहित डेटा वितरण का उपयोग करते हैं। इस प्रकार प्रशिक्षित होने के बाद, जीएम अन्य डेटासेट तैयार कर सकता है जो डेटा वितरण से भी मेल खाता है।[1] ईबीएम के इस प्रकार उपयोग किये जाने के लिए कई संभावित और असंभावित दृष्टिकोणों के लिए एकीकृत प्रारूप प्रदान किये गये हैं, इसके आधार पर विशेष रूप से ग्राफिकल प्रारूप और अन्य संरचित प्रारूप के प्रशिक्षण के लिए इसका उपयोग किया जाता हैं।[2]
एक ईबीएम लक्षित डेटासेट की विशेषताओं को सीखता है और इसके आधार पर समान प्रकार के किंतु बड़े डेटासेट उत्पन्न करता है। ईबीएम डेटासेट के अव्यक्त चर का पता लगाते हैं और समान वितरण के साथ नए डेटासेट उत्पन्न करते हैं।[2]
लक्षित अनुप्रयोगों में प्राकृतिक भाषा प्रसंस्करण, रोबोटिक्स और कंप्यूटर दृष्टि उपस्थित हैं।[2]
इतिहास
ऊर्जा-आधारित प्रारूप शब्द सबसे पहले जेएमएलआर पेपर में प्रारूपित किया गया था[3] जहाँ लेखकों ने ईबीएम का उपयोग करके पूर्ण सेटिंग के लिए स्वतंत्र घटक विश्लेषण के सामान्यीकरण को परिभाषित किया था।
ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।[4]
दृष्टिकोण
ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर कब्जा कर लेते हैं। अनुमान में अव्यक्त चरों का (मानों का) पता लगाना उपस्थित है, जो प्रेक्षित चरों के (मानों के) सेट को देखते हुए ऊर्जा को न्यूनतम करता है। इसी तरह, प्रारूप फ़ंक्शन सीखता है जो कम ऊर्जा को अव्यक्त चर के सही मानों से जोड़ता है, और उच्च ऊर्जा को गलत मानों से जोड़ता है।[2]
पारंपरिक ईबीएम स्टोकेस्टिक ग्रेडिएंट डिसेंट | स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर भरोसा करते हैं जिन्हें आमतौर पर उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, OpenAI ने वैरिएंट का प्रचार किया जिसमें इसके बजाय लैंग्विन गतिकी (LD) का उपयोग किया गया था। एलडी पुनरावृत्त अनुकूलन एल्गोरिदम है जो हानि फ़ंक्शन सीखने के हिस्से के रूप में अनुमानक को शोर पेश करता है। इसका उपयोग पश्च वितरण से नमूने तैयार करके बायेसियन अनुमान परिदृश्यों के लिए किया जा सकता है।[2]
ईबीएम को यह आवश्यक नहीं है कि ऊर्जाओं को संभावनाओं के रूप में सामान्यीकृत किया जाए। दूसरे शब्दों में, ऊर्जाओं को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप की तरह सामान्यीकरण (सांख्यिकी) स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और लचीले हैं।[2]
नमूने मार्कोव श्रृंखला मोंटे कार्लो दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।[5] अनुकूलन मॉड्यूल को आरंभ करने के लिए एलडी के साथ पिछली छवियों का रीप्ले बफर का उपयोग किया जाता है।[2]
विशेषताएँ
ईबीएम उपयोगी गुण प्रदर्शित करते हैं:[2]
- सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है।
- अनुकूली गणना समय- ईबीएम तेज, विविध नमूने या (अधिक तेज़ी से) मोटे, कम विविध नमूने उत्पन्न कर सकता है। अनंत समय को देखते हुए, यह प्रक्रिया सच्चे नमूने तैयार करती है।[1]* लचीलापन - ऑटोएनकोडर (वीएई) और प्रवाह-आधारित प्रारूप में, जनरेटर निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं।
- अनुकूली पीढ़ी-ईबीएम जनरेटर को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ जनरेटर प्रशिक्षण अव्यावहारिक है, साथ ही मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। वितरण के नमूने।[5]* संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं।
प्रायोगिक परिणाम
CIFAR-10 और ImageNet 32x32 जैसे छवि डेटासेट पर, EBM प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली छवियां उत्पन्न करता है। यह अन्य प्रकार की छवियां बनाने के लिए प्रकार की छवि से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, प्रवाह-आधारित और ऑटोरेग्रेसिव प्रारूप से बेहतर प्रदर्शन कर रहा था। ईबीएम अपेक्षाकृत प्रतिकूल गड़बड़ी के प्रति प्रतिरोधी था, वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके खिलाफ प्रशिक्षित प्रारूप की तुलना में बेहतर व्यवहार करता था।[2]
विकल्प
ईबीएम वैरिएबल ऑटोएनकोडर (वीएई) या ऊत्पादक प्रतिकूल नेटवर्क (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।[2]
संदर्भ
- ↑ 1.0 1.1 "ऊर्जा-आधारित मॉडलों के लिए अंतर्निहित सृजन और सामान्यीकरण के तरीके". OpenAI (in English). 2019-03-21. Retrieved 2019-12-27.
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 Rodriguez, Jesus (2019-04-01). "वास्तव में स्केल करने वाले ऊर्जा आधारित मॉडल का उपयोग करके प्रशिक्षण डेटासेट तैयार करना". Medium (in English). Archived from the original on 2019-04-01. Retrieved 2019-12-27.
- ↑ Teh, Yee Whye; Welling, Max; Osindero, Simon; Hinton, Geoffrey E. (December 2003). "विरल अतिपूर्ण अभ्यावेदन के लिए ऊर्जा-आधारित मॉडल". JMLR.
- ↑ LeCun, Yann (September 2003). "सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू". cs.nyu.edu. Retrieved 2019-12-27.
- ↑ 5.0 5.1 Du, Yilun; Mordatch, Igor (2019-03-20). "ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण". arXiv:1903.08689 [cs.LG].
बाहरी संबंध
- "CIAR NCAP Summer School". www.cs.toronto.edu. Retrieved 2019-12-27.
- Dayan, Peter; Hinton, Geoffrey; Neal, Radford; Zemel, Richard S. (1999), "Helmholtz Machine", Unsupervised Learning, The MIT Press, doi:10.7551/mitpress/7011.003.0017, ISBN 978-0-262-28803-3
- Hinton, Geoffrey E. (August 2002). "Training Products of Experts by Minimizing Contrastive Divergence". Neural Computation. 14 (8): 1771–1800. doi:10.1162/089976602760128018. ISSN 0899-7667. PMID 12180402. S2CID 207596505.
- Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-04-15). "Deep Boltzmann Machines". Artificial Intelligence and Statistics (in English): 448–455.
