ऊर्जा-आधारित प्रारूप: Difference between revisions

From Vigyanwiki
No edit summary
 
(4 intermediate revisions by 3 users not shown)
Line 1: Line 1:
'''ऊर्जा-आधारित प्रारूप''' (ईबीएम) मुख्य रूप से ऐसा [[जनरेटिव मॉडल|ऊत्पादक प्रारूप]] (जीएम) रूप है जो सीधे [[सांख्यिकीय भौतिकी]] से उपयोग किये जाने के लिए आयात किया जाता है। इस प्रकार जीएम प्रमाण डेटासेट का विश्लेषण करके अंतर्निहित डेटा वितरण का उपयोग करते हैं। इस प्रकार प्रशिक्षित होने के बाद, जीएम अन्य डेटासेट तैयार कर सकता है जो डेटा वितरण से भी मेल खाता है।<ref name=":1">{{Cite web|url=https://openai.com/blog/energy-based-models/|title=ऊर्जा-आधारित मॉडलों के लिए अंतर्निहित सृजन और सामान्यीकरण के तरीके|date=2019-03-21|website=OpenAI|language=en|access-date=2019-12-27}}</ref> ईबीएम के इस प्रकार उपयोग किये जाने के लिए कई संभावित और असंभावित दृष्टिकोणों के लिए एकीकृत प्रारूप प्रदान किये गये हैं, इसके आधार पर विशेष रूप से [[ग्राफिकल मॉडल|ग्राफिकल प्रारूप]] और अन्य संरचित प्रारूप के प्रशिक्षण के लिए इसका उपयोग किया जाता हैं।<ref name=":0">{{Cite web |last=Rodriguez |first=Jesus |date=2019-04-01 |title=वास्तव में स्केल करने वाले ऊर्जा आधारित मॉडल का उपयोग करके प्रशिक्षण डेटासेट तैयार करना|url=https://towardsdatascience.com/generating-training-datasets-using-energy-based-models-that-actually-scale-4e1f83bb9e00 |archive-url=https://web.archive.org/web/20190401202635/https://towardsdatascience.com/generating-training-datasets-using-energy-based-models-that-actually-scale-4e1f83bb9e00?gi=348c8df4cdb2 |archive-date=2019-04-01 |access-date=2019-12-27 |website=Medium |language=en}}</ref>
'''ऊर्जा-आधारित प्रारूप''' (ईबीएम) मुख्य रूप से ऐसा [[जनरेटिव मॉडल|ऊत्पादक प्रारूप]] (जीएम) रूप है जो सीधे [[सांख्यिकीय भौतिकी]] से उपयोग किये जाने के लिए आयात किया जाता है। इस प्रकार जीएम प्रमाण डेटासेट का विश्लेषण करके अंतर्निहित डेटा वितरण का उपयोग करते हैं। इस प्रकार प्रशिक्षित होने के बाद, जीएम अन्य डेटासेट तैयार कर सकता है जो डेटा वितरण से भी मेल खाता है।<ref name=":1">{{Cite web|url=https://openai.com/blog/energy-based-models/|title=ऊर्जा-आधारित मॉडलों के लिए अंतर्निहित सृजन और सामान्यीकरण के तरीके|date=2019-03-21|website=OpenAI|language=en|access-date=2019-12-27}}</ref> ईबीएम के इस प्रकार उपयोग किये जाने के लिए कई संभावित और असंभावित दृष्टिकोणों के लिए एकीकृत प्रारूप प्रदान किये गये हैं, इसके आधार पर विशेष रूप से [[ग्राफिकल मॉडल|ग्राफिकल प्रारूप]] और अन्य संरचित प्रारूप के प्रशिक्षण के लिए इसका उपयोग किया जाता हैं।<ref name=":0">{{Cite web |last=Rodriguez |first=Jesus |date=2019-04-01 |title=वास्तव में स्केल करने वाले ऊर्जा आधारित मॉडल का उपयोग करके प्रशिक्षण डेटासेट तैयार करना|url=https://towardsdatascience.com/generating-training-datasets-using-energy-based-models-that-actually-scale-4e1f83bb9e00 |archive-url=https://web.archive.org/web/20190401202635/https://towardsdatascience.com/generating-training-datasets-using-energy-based-models-that-actually-scale-4e1f83bb9e00?gi=348c8df4cdb2 |archive-date=2019-04-01 |access-date=2019-12-27 |website=Medium |language=en}}</ref>


एक ईबीएम लक्षित डेटासेट की विशेषताओं को सीखता है और इसके आधार पर समान प्रकार के किंतु बड़े डेटासेट उत्पन्न करता है। ईबीएम डेटासेट के [[अव्यक्त चर]] का पता लगाते हैं और समान वितरण के साथ नए डेटासेट उत्पन्न करते हैं।<ref name=":0" />
एक ईबीएम लक्षित डेटासेट की विशेषताओं को सीखता है और इसके आधार पर समान प्रकार के किंतु बड़े डेटासेट उत्पन्न करता है। इस प्रकार ईबीएम डेटासेट के [[अव्यक्त चर]] का पता लगाते हैं और समान वितरण के साथ नए डेटासेट उत्पन्न करते हैं।<ref name=":0" />


लक्षित अनुप्रयोगों में [[प्राकृतिक भाषा प्रसंस्करण]], [[रोबोटिक|रोबोटिक्स]] और [[कंप्यूटर दृष्टि]] उपस्थित हैं।<ref name=":0" />
लक्षित अनुप्रयोगों में [[प्राकृतिक भाषा प्रसंस्करण]], [[रोबोटिक|रोबोटिक्स]] और [[कंप्यूटर दृष्टि]] उपस्थित हैं।<ref name=":0" />
Line 9: Line 9:
ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।<ref>{{Cite web|url=https://cs.nyu.edu/~yann/research/ebm/|title=सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू|last=LeCun|first=Yann|date=September 2003|website=cs.nyu.edu|access-date=2019-12-27}}</ref>
ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।<ref>{{Cite web|url=https://cs.nyu.edu/~yann/research/ebm/|title=सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू|last=LeCun|first=Yann|date=September 2003|website=cs.nyu.edu|access-date=2019-12-27}}</ref>
== दृष्टिकोण ==
== दृष्टिकोण ==
ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर कब्जा कर लेते हैं। अनुमान में अव्यक्त चरों का (मानों का) पता लगाना उपस्थित है, जो प्रेक्षित चरों के (मानों के) सेट को देखते हुए ऊर्जा को न्यूनतम करता है। इसी तरह, प्रारूप फ़ंक्शन सीखता है जो कम ऊर्जा को अव्यक्त चर के सही मानों से जोड़ता है, और उच्च ऊर्जा को गलत मानों से जोड़ता है।<ref name=":0" />
ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर अधिकार प्राप्त कर लेते हैं। इस प्रकार अनुमानतः अव्यक्त चरों का पता लगाना इसके लिए आवश्यक हो जाता है, जिसके लिए प्रेक्षित चरों के समूह को देखते हुए ऊर्जा को न्यूनतम करता है। इसी प्रकार प्रारूप फलन यह सीखता है कि कम ऊर्जा को अव्यक्त चर के सही मानों से कैसे जोड़ा जा सकता है, और उच्च ऊर्जा को गलत मानों से कैसे जोड़ा जा सकता है।<ref name=":0" />


पारंपरिक ईबीएम [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]] | स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर भरोसा करते हैं जिन्हें आमतौर पर उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, [[OpenAI]] ने वैरिएंट का प्रचार किया जिसमें इसके बजाय [[लैंग्विन गतिकी]] (LD) का उपयोग किया गया था। एलडी पुनरावृत्त अनुकूलन एल्गोरिदम है जो हानि फ़ंक्शन सीखने के हिस्से के रूप में अनुमानक को शोर पेश करता है। इसका उपयोग पश्च वितरण से नमूने तैयार करके [[बायेसियन अनुमान]] परिदृश्यों के लिए किया जा सकता है।<ref name=":0" />
पारंपरिक ईबीएम [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]] या स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर विश्वास करते हैं, जिन्हें सामान्यतः उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, [[OpenAI|ओपेन एआई]] ने इस संस्करण का प्रचार किया जिसमें इसके अतिरिक्त [[लैंग्विन गतिकी]] (एलडी) का उपयोग किया गया था। इस प्रकार एलडी पुनरावृत्त अनुकूलन की ऐसी कलन विधि है जो हानि होने के कारण इस फलन को सीखने के उपयुक्त भाग में अनुमानक को ध्वनि द्वारा प्रदर्शित करता है। इसका उपयोग पश्च वितरण से प्रमाणों को तैयार करके [[बायेसियन अनुमान]] परिदृश्यों के लिए किया जा सकता है।<ref name=":0" />


ईबीएम को यह आवश्यक नहीं है कि ऊर्जाओं को संभावनाओं के रूप में सामान्यीकृत किया जाए। दूसरे शब्दों में, ऊर्जाओं को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप की तरह [[सामान्यीकरण (सांख्यिकी)]] स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और लचीले हैं।<ref name=":0" />
ईबीएम को यह आवश्यक नहीं है कि ऊर्जा को संभावनाओं के रूप में सामान्यीकृत किया जाता हैं। इस प्रकार दूसरे शब्दों में, ऊर्जा को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप के समान [[सामान्यीकरण (सांख्यिकी)]] स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, इसके आधार पर ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और तन्यतायुक्त होते हैं।<ref name=":0" />


नमूने [[मार्कोव श्रृंखला मोंटे कार्लो]] दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।<ref name=":2">{{cite arXiv|last1=Du|first1=Yilun|last2=Mordatch|first2=Igor|date=2019-03-20|title=ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण|eprint=1903.08689|class=cs.LG}}</ref> अनुकूलन मॉड्यूल को आरंभ करने के लिए एलडी के साथ पिछली छवियों का रीप्ले बफर का उपयोग किया जाता है।<ref name=":0" />
प्रमाणों को [[मार्कोव श्रृंखला मोंटे कार्लो]] दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।<ref name=":2">{{cite arXiv|last1=Du|first1=Yilun|last2=Mordatch|first2=Igor|date=2019-03-20|title=ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण|eprint=1903.08689|class=cs.LG}}</ref> इस प्रकार अनुकूलन प्रारूपण को आरंभ करने के लिए एलडी के साथ पिछली इमेज का रीप्ले बफर का उपयोग किया जाता है।<ref name=":0" />
== विशेषताएँ ==
== विशेषताएँ ==
ईबीएम उपयोगी गुण प्रदर्शित करते हैं:<ref name=":0" />
ईबीएम उपयोगी गुण प्रदर्शित करते हैं:<ref name=":0" />


* सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है।
* सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। इसके आधार परसंतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है।
* अनुकूली गणना समय- ईबीएम तेज, विविध नमूने या (अधिक तेज़ी से) मोटे, कम विविध नमूने उत्पन्न कर सकता है। अनंत समय को देखते हुए, यह प्रक्रिया सच्चे नमूने तैयार करती है।<ref name=":1" />* लचीलापन - [[ऑटोएनकोडर]] (वीएई) और प्रवाह-आधारित प्रारूप में, जनरेटर निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं।
* अनुकूली गणना समय- ईबीएम तेज, विविध प्रमाणों को या (अधिक तेज़ी से) मोटे, कम विविध प्रमाणों को उत्पन्न कर सकता है। इस प्रकार अनंत समय को देखते हुए, यह प्रक्रिया सच्चे प्रमाणों को तैयार करती है।<ref name=":1" />
* अनुकूली पीढ़ी-ईबीएम जनरेटर को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ जनरेटर प्रशिक्षण अव्यावहारिक है, साथ ही मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। वितरण के नमूने।<ref name=":2" />* संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं।
*तन्यता- [[ऑटोएनकोडर]] (वीएई) और प्रवाह-आधारित प्रारूप में, उत्पादक निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। इस प्रकार ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं।
* अनुकूली पीढ़ी-ईबीएम उत्पादक को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और इस प्रकार स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ उत्पादक प्रशिक्षण अव्यावहारिक है, इसके साथ ही वितरण के प्रमाणों के लिए मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। <ref name=":2" />
*संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो इस प्रकार प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं।


== प्रायोगिक परिणाम ==
== प्रायोगिक परिणाम ==
[[CIFAR-10]] और [[ImageNet]] 32x32 जैसे छवि डेटासेट पर, EBM प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली छवियां उत्पन्न करता है। यह अन्य प्रकार की छवियां बनाने के लिए प्रकार की छवि से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, प्रवाह-आधारित और [[ऑटोरेग्रेसिव मॉडल|ऑटोरेग्रेसिव प्रारूप]] से बेहतर प्रदर्शन कर रहा था। ईबीएम अपेक्षाकृत प्रतिकूल गड़बड़ी के प्रति प्रतिरोधी था, वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके खिलाफ प्रशिक्षित प्रारूप की तुलना में बेहतर व्यवहार करता था।<ref name=":0" />
[[CIFAR-10|सीआईएफएआर-10]] और [[ImageNet|इमेजनेट]] 32x32 जैसे इमेज डेटासेट पर, ईबीएम प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली इमेज उत्पन्न करता है। यह अन्य प्रकार की इमेज बनाने के लिए प्रकार की इमेज से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, इस प्रकार प्रवाह-आधारित और [[ऑटोरेग्रेसिव मॉडल|ऑटोरेग्रेसिव प्रारूप]] से उत्तम प्रदर्शन कर रहा था। इस प्रकार ईबीएम अपेक्षाकृत प्रतिकूल त्रुटि के प्रति प्रतिरोधी था, इसके वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके विरुद्ध प्रशिक्षित प्रारूप की तुलना में उत्तम व्यवहार करता था।<ref name=":0" />
== विकल्प ==
== विकल्प ==
ईबीएम [[वैरिएबल ऑटोएनकोडर]] (वीएई) या [[जनरेटिव प्रतिकूल नेटवर्क|ऊत्पादक प्रतिकूल नेटवर्क]] (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।<ref name=":0" />
ईबीएम [[वैरिएबल ऑटोएनकोडर]] (वीएई) या [[जनरेटिव प्रतिकूल नेटवर्क|ऊत्पादक प्रतिकूल नेटवर्क]] (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।<ref name=":0" />
Line 41: Line 43:
[[Category: Machine Translated Page]]
[[Category: Machine Translated Page]]
[[Category:Created On 28/11/2023]]
[[Category:Created On 28/11/2023]]
[[Category:Vigyan Ready]]

Latest revision as of 10:43, 11 December 2023

ऊर्जा-आधारित प्रारूप (ईबीएम) मुख्य रूप से ऐसा ऊत्पादक प्रारूप (जीएम) रूप है जो सीधे सांख्यिकीय भौतिकी से उपयोग किये जाने के लिए आयात किया जाता है। इस प्रकार जीएम प्रमाण डेटासेट का विश्लेषण करके अंतर्निहित डेटा वितरण का उपयोग करते हैं। इस प्रकार प्रशिक्षित होने के बाद, जीएम अन्य डेटासेट तैयार कर सकता है जो डेटा वितरण से भी मेल खाता है।[1] ईबीएम के इस प्रकार उपयोग किये जाने के लिए कई संभावित और असंभावित दृष्टिकोणों के लिए एकीकृत प्रारूप प्रदान किये गये हैं, इसके आधार पर विशेष रूप से ग्राफिकल प्रारूप और अन्य संरचित प्रारूप के प्रशिक्षण के लिए इसका उपयोग किया जाता हैं।[2]

एक ईबीएम लक्षित डेटासेट की विशेषताओं को सीखता है और इसके आधार पर समान प्रकार के किंतु बड़े डेटासेट उत्पन्न करता है। इस प्रकार ईबीएम डेटासेट के अव्यक्त चर का पता लगाते हैं और समान वितरण के साथ नए डेटासेट उत्पन्न करते हैं।[2]

लक्षित अनुप्रयोगों में प्राकृतिक भाषा प्रसंस्करण, रोबोटिक्स और कंप्यूटर दृष्टि उपस्थित हैं।[2]

इतिहास

ऊर्जा-आधारित प्रारूप शब्द सबसे पहले जेएमएलआर पेपर में प्रारूपित किया गया था[3] जहाँ लेखकों ने ईबीएम का उपयोग करके पूर्ण सेटिंग के लिए स्वतंत्र घटक विश्लेषण के सामान्यीकरण को परिभाषित किया था।

ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।[4]

दृष्टिकोण

ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर अधिकार प्राप्त कर लेते हैं। इस प्रकार अनुमानतः अव्यक्त चरों का पता लगाना इसके लिए आवश्यक हो जाता है, जिसके लिए प्रेक्षित चरों के समूह को देखते हुए ऊर्जा को न्यूनतम करता है। इसी प्रकार प्रारूप फलन यह सीखता है कि कम ऊर्जा को अव्यक्त चर के सही मानों से कैसे जोड़ा जा सकता है, और उच्च ऊर्जा को गलत मानों से कैसे जोड़ा जा सकता है।[2]

पारंपरिक ईबीएम स्टोकेस्टिक ग्रेडिएंट डिसेंट या स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर विश्वास करते हैं, जिन्हें सामान्यतः उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, ओपेन एआई ने इस संस्करण का प्रचार किया जिसमें इसके अतिरिक्त लैंग्विन गतिकी (एलडी) का उपयोग किया गया था। इस प्रकार एलडी पुनरावृत्त अनुकूलन की ऐसी कलन विधि है जो हानि होने के कारण इस फलन को सीखने के उपयुक्त भाग में अनुमानक को ध्वनि द्वारा प्रदर्शित करता है। इसका उपयोग पश्च वितरण से प्रमाणों को तैयार करके बायेसियन अनुमान परिदृश्यों के लिए किया जा सकता है।[2]

ईबीएम को यह आवश्यक नहीं है कि ऊर्जा को संभावनाओं के रूप में सामान्यीकृत किया जाता हैं। इस प्रकार दूसरे शब्दों में, ऊर्जा को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप के समान सामान्यीकरण (सांख्यिकी) स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, इसके आधार पर ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और तन्यतायुक्त होते हैं।[2]

प्रमाणों को मार्कोव श्रृंखला मोंटे कार्लो दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।[5] इस प्रकार अनुकूलन प्रारूपण को आरंभ करने के लिए एलडी के साथ पिछली इमेज का रीप्ले बफर का उपयोग किया जाता है।[2]

विशेषताएँ

ईबीएम उपयोगी गुण प्रदर्शित करते हैं:[2]

  • सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। इसके आधार परसंतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है।
  • अनुकूली गणना समय- ईबीएम तेज, विविध प्रमाणों को या (अधिक तेज़ी से) मोटे, कम विविध प्रमाणों को उत्पन्न कर सकता है। इस प्रकार अनंत समय को देखते हुए, यह प्रक्रिया सच्चे प्रमाणों को तैयार करती है।[1]
  • तन्यता- ऑटोएनकोडर (वीएई) और प्रवाह-आधारित प्रारूप में, उत्पादक निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। इस प्रकार ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं।
  • अनुकूली पीढ़ी-ईबीएम उत्पादक को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और इस प्रकार स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ उत्पादक प्रशिक्षण अव्यावहारिक है, इसके साथ ही वितरण के प्रमाणों के लिए मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। ।[5]
  • संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो इस प्रकार प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं।

प्रायोगिक परिणाम

सीआईएफएआर-10 और इमेजनेट 32x32 जैसे इमेज डेटासेट पर, ईबीएम प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली इमेज उत्पन्न करता है। यह अन्य प्रकार की इमेज बनाने के लिए प्रकार की इमेज से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, इस प्रकार प्रवाह-आधारित और ऑटोरेग्रेसिव प्रारूप से उत्तम प्रदर्शन कर रहा था। इस प्रकार ईबीएम अपेक्षाकृत प्रतिकूल त्रुटि के प्रति प्रतिरोधी था, इसके वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके विरुद्ध प्रशिक्षित प्रारूप की तुलना में उत्तम व्यवहार करता था।[2]

विकल्प

ईबीएम वैरिएबल ऑटोएनकोडर (वीएई) या ऊत्पादक प्रतिकूल नेटवर्क (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।[2]

संदर्भ

  1. 1.0 1.1 "ऊर्जा-आधारित मॉडलों के लिए अंतर्निहित सृजन और सामान्यीकरण के तरीके". OpenAI (in English). 2019-03-21. Retrieved 2019-12-27.
  2. 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 Rodriguez, Jesus (2019-04-01). "वास्तव में स्केल करने वाले ऊर्जा आधारित मॉडल का उपयोग करके प्रशिक्षण डेटासेट तैयार करना". Medium (in English). Archived from the original on 2019-04-01. Retrieved 2019-12-27.
  3. Teh, Yee Whye; Welling, Max; Osindero, Simon; Hinton, Geoffrey E. (December 2003). "विरल अतिपूर्ण अभ्यावेदन के लिए ऊर्जा-आधारित मॉडल". JMLR.
  4. LeCun, Yann (September 2003). "सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू". cs.nyu.edu. Retrieved 2019-12-27.
  5. 5.0 5.1 Du, Yilun; Mordatch, Igor (2019-03-20). "ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण". arXiv:1903.08689 [cs.LG].

बाहरी संबंध