ऊर्जा-आधारित प्रारूप: Difference between revisions
No edit summary |
No edit summary |
||
| Line 9: | Line 9: | ||
ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।<ref>{{Cite web|url=https://cs.nyu.edu/~yann/research/ebm/|title=सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू|last=LeCun|first=Yann|date=September 2003|website=cs.nyu.edu|access-date=2019-12-27}}</ref> | ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।<ref>{{Cite web|url=https://cs.nyu.edu/~yann/research/ebm/|title=सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू|last=LeCun|first=Yann|date=September 2003|website=cs.nyu.edu|access-date=2019-12-27}}</ref> | ||
== दृष्टिकोण == | == दृष्टिकोण == | ||
ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर | ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर अधिकार प्राप्त कर लेते हैं। अनुमानतः अव्यक्त चरों का पता लगाना इसके लिए आवश्यक हो जाता है, जिसके लिए प्रेक्षित चरों के समूह को देखते हुए ऊर्जा को न्यूनतम करता है। इसी प्रकार प्रारूप फलन यह सीखता है कि कम ऊर्जा को अव्यक्त चर के सही मानों से कैसे जोड़ा जा सकता है, और उच्च ऊर्जा को गलत मानों से कैसे जोड़ा जा सकता है।<ref name=":0" /> | ||
पारंपरिक ईबीएम [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]] | पारंपरिक ईबीएम [[स्टोकेस्टिक ग्रेडिएंट डिसेंट]] या स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर विश्वास करते हैं, जिन्हें सामान्यतः उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, [[OpenAI|ओपेन एआई]] ने इस संस्करण का प्रचार किया जिसमें इसके अतिरिक्त [[लैंग्विन गतिकी]] (एलडी) का उपयोग किया गया था। एलडी पुनरावृत्त अनुकूलन की ऐसी कलन विधि है जो हानि होने के कारण इस फलन को सीखने के उपयुक्त भाग में अनुमानक को ध्वनि द्वारा प्रदर्शित करता है। इसका उपयोग पश्च वितरण से प्रमाणों को तैयार करके [[बायेसियन अनुमान]] परिदृश्यों के लिए किया जा सकता है।<ref name=":0" /> | ||
ईबीएम को यह आवश्यक नहीं है कि | ईबीएम को यह आवश्यक नहीं है कि ऊर्जा को संभावनाओं के रूप में सामान्यीकृत किया जाता हैं। दूसरे शब्दों में, ऊर्जा को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप के समान [[सामान्यीकरण (सांख्यिकी)]] स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, इसके आधार पर ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और तन्यतायुक्त होते हैं।<ref name=":0" /> | ||
प्रमाणों को [[मार्कोव श्रृंखला मोंटे कार्लो]] दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।<ref name=":2">{{cite arXiv|last1=Du|first1=Yilun|last2=Mordatch|first2=Igor|date=2019-03-20|title=ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण|eprint=1903.08689|class=cs.LG}}</ref> अनुकूलन प्रारूपण को आरंभ करने के लिए एलडी के साथ पिछली इमेज का रीप्ले बफर का उपयोग किया जाता है।<ref name=":0" /> | |||
== विशेषताएँ == | == विशेषताएँ == | ||
ईबीएम उपयोगी गुण प्रदर्शित करते हैं:<ref name=":0" /> | ईबीएम उपयोगी गुण प्रदर्शित करते हैं:<ref name=":0" /> | ||
* सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है। | * सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है। | ||
* अनुकूली गणना समय- ईबीएम तेज, विविध | * अनुकूली गणना समय- ईबीएम तेज, विविध प्रमाणों को या (अधिक तेज़ी से) मोटे, कम विविध प्रमाणों को उत्पन्न कर सकता है। अनंत समय को देखते हुए, यह प्रक्रिया सच्चे प्रमाणों को तैयार करती है।<ref name=":1" /> | ||
* अनुकूली पीढ़ी-ईबीएम | *तन्यता- [[ऑटोएनकोडर]] (वीएई) और प्रवाह-आधारित प्रारूप में, उत्पादक निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं। | ||
* अनुकूली पीढ़ी-ईबीएम उत्पादक को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ उत्पादक प्रशिक्षण अव्यावहारिक है, इसके साथ ही वितरण के प्रमाणों के लिए मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। ।<ref name=":2" /> | |||
*संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं। | |||
== प्रायोगिक परिणाम == | == प्रायोगिक परिणाम == | ||
[[CIFAR-10]] और [[ImageNet]] 32x32 जैसे | [[CIFAR-10|सीआईएफएआर-10]] और [[ImageNet|इमेजनेट]] 32x32 जैसे इमेज डेटासेट पर, ईबीएम प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली इमेज उत्पन्न करता है। यह अन्य प्रकार की इमेज बनाने के लिए प्रकार की इमेज से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, इस प्रकार प्रवाह-आधारित और [[ऑटोरेग्रेसिव मॉडल|ऑटोरेग्रेसिव प्रारूप]] से उत्तम प्रदर्शन कर रहा था। ईबीएम अपेक्षाकृत प्रतिकूल त्रुटि के प्रति प्रतिरोधी था, इसके वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके विरुद्ध प्रशिक्षित प्रारूप की तुलना में उत्तम व्यवहार करता था।<ref name=":0" /> | ||
== विकल्प == | == विकल्प == | ||
ईबीएम [[वैरिएबल ऑटोएनकोडर]] (वीएई) या [[जनरेटिव प्रतिकूल नेटवर्क|ऊत्पादक प्रतिकूल नेटवर्क]] (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।<ref name=":0" /> | ईबीएम [[वैरिएबल ऑटोएनकोडर]] (वीएई) या [[जनरेटिव प्रतिकूल नेटवर्क|ऊत्पादक प्रतिकूल नेटवर्क]] (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।<ref name=":0" /> | ||
Revision as of 21:57, 3 December 2023
ऊर्जा-आधारित प्रारूप (ईबीएम) मुख्य रूप से ऐसा ऊत्पादक प्रारूप (जीएम) रूप है जो सीधे सांख्यिकीय भौतिकी से उपयोग किये जाने के लिए आयात किया जाता है। इस प्रकार जीएम प्रमाण डेटासेट का विश्लेषण करके अंतर्निहित डेटा वितरण का उपयोग करते हैं। इस प्रकार प्रशिक्षित होने के बाद, जीएम अन्य डेटासेट तैयार कर सकता है जो डेटा वितरण से भी मेल खाता है।[1] ईबीएम के इस प्रकार उपयोग किये जाने के लिए कई संभावित और असंभावित दृष्टिकोणों के लिए एकीकृत प्रारूप प्रदान किये गये हैं, इसके आधार पर विशेष रूप से ग्राफिकल प्रारूप और अन्य संरचित प्रारूप के प्रशिक्षण के लिए इसका उपयोग किया जाता हैं।[2]
एक ईबीएम लक्षित डेटासेट की विशेषताओं को सीखता है और इसके आधार पर समान प्रकार के किंतु बड़े डेटासेट उत्पन्न करता है। ईबीएम डेटासेट के अव्यक्त चर का पता लगाते हैं और समान वितरण के साथ नए डेटासेट उत्पन्न करते हैं।[2]
लक्षित अनुप्रयोगों में प्राकृतिक भाषा प्रसंस्करण, रोबोटिक्स और कंप्यूटर दृष्टि उपस्थित हैं।[2]
इतिहास
ऊर्जा-आधारित प्रारूप शब्द सबसे पहले जेएमएलआर पेपर में प्रारूपित किया गया था[3] जहाँ लेखकों ने ईबीएम का उपयोग करके पूर्ण सेटिंग के लिए स्वतंत्र घटक विश्लेषण के सामान्यीकरण को परिभाषित किया था।
ईबीएम पर अन्य प्रारंभिक कार्यों में ऐसे प्रारूप प्रस्तावित किए गए जो ऊर्जा को अव्यक्त और अवलोकन योग्य चर की संरचना के रूप में दर्शाते थे। इस प्रकार ईबीएम 2003 में इसे सामने लाया गया था।[4]
दृष्टिकोण
ईबीएम प्रेक्षित और अव्यक्त चर के संयोजन के प्रत्येक विन्यास में असामान्य संभाव्यता स्केलर (ऊर्जा) को जोड़कर निर्भरता पर अधिकार प्राप्त कर लेते हैं। अनुमानतः अव्यक्त चरों का पता लगाना इसके लिए आवश्यक हो जाता है, जिसके लिए प्रेक्षित चरों के समूह को देखते हुए ऊर्जा को न्यूनतम करता है। इसी प्रकार प्रारूप फलन यह सीखता है कि कम ऊर्जा को अव्यक्त चर के सही मानों से कैसे जोड़ा जा सकता है, और उच्च ऊर्जा को गलत मानों से कैसे जोड़ा जा सकता है।[2]
पारंपरिक ईबीएम स्टोकेस्टिक ग्रेडिएंट डिसेंट या स्टोकेस्टिक ग्रेडिएंट-डिसेंट (एसजीडी) अनुकूलन विधियों पर विश्वास करते हैं, जिन्हें सामान्यतः उच्च-आयाम डेटासेट पर लागू करना कठिन होता है। 2019 में, ओपेन एआई ने इस संस्करण का प्रचार किया जिसमें इसके अतिरिक्त लैंग्विन गतिकी (एलडी) का उपयोग किया गया था। एलडी पुनरावृत्त अनुकूलन की ऐसी कलन विधि है जो हानि होने के कारण इस फलन को सीखने के उपयुक्त भाग में अनुमानक को ध्वनि द्वारा प्रदर्शित करता है। इसका उपयोग पश्च वितरण से प्रमाणों को तैयार करके बायेसियन अनुमान परिदृश्यों के लिए किया जा सकता है।[2]
ईबीएम को यह आवश्यक नहीं है कि ऊर्जा को संभावनाओं के रूप में सामान्यीकृत किया जाता हैं। दूसरे शब्दों में, ऊर्जा को 1 के योग की आवश्यकता नहीं है। चूंकि संभाव्य प्रारूप के समान सामान्यीकरण (सांख्यिकी) स्थिरांक का अनुमान लगाने की कोई आवश्यकता नहीं है, इसके आधार पर ईबीएम के साथ अनुमान और सीखने के कुछ रूप अधिक सुव्यवस्थित और तन्यतायुक्त होते हैं।[2]
प्रमाणों को मार्कोव श्रृंखला मोंटे कार्लो दृष्टिकोण के माध्यम से अंतर्निहित रूप से उत्पन्न होते हैं।[5] अनुकूलन प्रारूपण को आरंभ करने के लिए एलडी के साथ पिछली इमेज का रीप्ले बफर का उपयोग किया जाता है।[2]
विशेषताएँ
ईबीएम उपयोगी गुण प्रदर्शित करते हैं:[2]
- सरलता और स्थिरता-ईबीएम एकमात्र ऐसी वस्तु है जिसे डिजाइन और प्रशिक्षित करने की आवश्यकता है। संतुलन सुनिश्चित करने के लिए अलग-अलग नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है।
- अनुकूली गणना समय- ईबीएम तेज, विविध प्रमाणों को या (अधिक तेज़ी से) मोटे, कम विविध प्रमाणों को उत्पन्न कर सकता है। अनंत समय को देखते हुए, यह प्रक्रिया सच्चे प्रमाणों को तैयार करती है।[1]
- तन्यता- ऑटोएनकोडर (वीएई) और प्रवाह-आधारित प्रारूप में, उत्पादक निरंतर स्थान से (संभवतः) अलग-अलग डेटा मोड वाले असंतत स्थान तक नक्शा सीखता है। ईबीएम असंयुक्त क्षेत्रों (एकाधिक मोड) को कम ऊर्जा आवंटित करना सीख सकते हैं।
- अनुकूली पीढ़ी-ईबीएम उत्पादक को संभाव्यता वितरण द्वारा स्पष्ट रूप से परिभाषित किया जाता है, और स्वचालित रूप से वितरण परिवर्तन (प्रशिक्षण के बिना) के रूप में अनुकूलित होता है, जिससे ईबीएम को उन डोमेन को संबोधित करने की अनुमति मिलती है जहाँ उत्पादक प्रशिक्षण अव्यावहारिक है, इसके साथ ही वितरण के प्रमाणों के लिए मोड पतन को कम करता है और बाहर से नकली मोड से बचता है। ।[5]
- संरचना-व्यक्तिगत प्रारूप असामान्य संभाव्यता वितरण हैं, जो प्रारूप को विशेषज्ञों या अन्य पदानुक्रमित तकनीकों के उत्पाद के माध्यम से संयोजित करने की अनुमति देते हैं।
प्रायोगिक परिणाम
सीआईएफएआर-10 और इमेजनेट 32x32 जैसे इमेज डेटासेट पर, ईबीएम प्रारूप अपेक्षाकृत तेज़ी से उच्च गुणवत्ता वाली इमेज उत्पन्न करता है। यह अन्य प्रकार की इमेज बनाने के लिए प्रकार की इमेज से सीखी गई सुविधाओं के संयोजन का समर्थन करता है। यह आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट का उपयोग करके सामान्यीकरण करने में सक्षम था, इस प्रकार प्रवाह-आधारित और ऑटोरेग्रेसिव प्रारूप से उत्तम प्रदर्शन कर रहा था। ईबीएम अपेक्षाकृत प्रतिकूल त्रुटि के प्रति प्रतिरोधी था, इसके वर्गीकरण के लिए प्रशिक्षण के साथ स्पष्ट रूप से उनके विरुद्ध प्रशिक्षित प्रारूप की तुलना में उत्तम व्यवहार करता था।[2]
विकल्प
ईबीएम वैरिएबल ऑटोएनकोडर (वीएई) या ऊत्पादक प्रतिकूल नेटवर्क (जीएएन) जैसी तकनीकों के साथ प्रतिस्पर्धा करते हैं।[2]
संदर्भ
- ↑ 1.0 1.1 "ऊर्जा-आधारित मॉडलों के लिए अंतर्निहित सृजन और सामान्यीकरण के तरीके". OpenAI (in English). 2019-03-21. Retrieved 2019-12-27.
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 Rodriguez, Jesus (2019-04-01). "वास्तव में स्केल करने वाले ऊर्जा आधारित मॉडल का उपयोग करके प्रशिक्षण डेटासेट तैयार करना". Medium (in English). Archived from the original on 2019-04-01. Retrieved 2019-12-27.
- ↑ Teh, Yee Whye; Welling, Max; Osindero, Simon; Hinton, Geoffrey E. (December 2003). "विरल अतिपूर्ण अभ्यावेदन के लिए ऊर्जा-आधारित मॉडल". JMLR.
- ↑ LeCun, Yann (September 2003). "सीबीएलएल, रिसर्च प्रोजेक्ट्स, कम्प्यूटेशनल और बायोलॉजिकल लर्निंग लैब, कूरेंट इंस्टीट्यूट, एनवाईयू". cs.nyu.edu. Retrieved 2019-12-27.
- ↑ 5.0 5.1 Du, Yilun; Mordatch, Igor (2019-03-20). "ऊर्जा-आधारित मॉडलों में अंतर्निहित सृजन और सामान्यीकरण". arXiv:1903.08689 [cs.LG].
बाहरी संबंध
- "CIAR NCAP Summer School". www.cs.toronto.edu. Retrieved 2019-12-27.
- Dayan, Peter; Hinton, Geoffrey; Neal, Radford; Zemel, Richard S. (1999), "Helmholtz Machine", Unsupervised Learning, The MIT Press, doi:10.7551/mitpress/7011.003.0017, ISBN 978-0-262-28803-3
- Hinton, Geoffrey E. (August 2002). "Training Products of Experts by Minimizing Contrastive Divergence". Neural Computation. 14 (8): 1771–1800. doi:10.1162/089976602760128018. ISSN 0899-7667. PMID 12180402. S2CID 207596505.
- Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-04-15). "Deep Boltzmann Machines". Artificial Intelligence and Statistics (in English): 448–455.
