प्रतिबंधित बोल्ट्जमैन मशीन: Difference between revisions

Revision as of 11:58, 27 May 2023

तीन दृश्यमान इकाइयों और चार छिपी हुई इकाइयों (कोई पूर्वाग्रह इकाई) के साथ प्रतिबंधित बोल्ट्जमैन मशीन का आरेख।

एक प्रतिबंधित बोल्ट्ज़मैन मशीन (आरबीएम) एक जनरेटिव मॉडल स्टोकेस्टिक तंत्रिका नेटवर्क कृत्रिम तंत्रिका नेटवर्क है जो अपने इनपुट के सेट पर संभाव्यता वितरण सीख सकता है।

आरबीएम का प्रारंभ में 1986 में पॉल स्मोलेंस्की द्वारा हारमोनियम नाम के तहत आविष्कार किया गया था^[1]^[2] और जेफ्री हिंटन और सहयोगियों द्वारा 2000 के मध्य में उनके लिए तेजी से सीखने वाले एल्गोरिदम का आविष्कार करने के बाद प्रमुखता में वृद्धि हुई।^[3]^[4] आरबीएम ने आयाम में कमी वर्गीकरण सहयोगी फ़िल्टरिंग फीचर लर्निंग विषय मॉडलिंग और यहां तक कि कई शरीर क्वांटम यांत्रिकी में आवेदन पाया है।^[5]^[6] कार्य के आधार पर उन्हें पर्यवेक्षित या अप्रशिक्षित तरीकों से प्रशिक्षित किया जा सकता है।^[7]^[8]

जैसा कि उनके नाम से पता चलता है आरबीएम बोल्ट्जमैन मशीनों का एक प्रकार है इस प्रतिबंध के साथ कि उनके न्यूरॉन्स को एक द्विदलीय ग्राफ बनाना चाहिए: इकाइयों के दो समूहों में से प्रत्येक से नोड्स की एक जोड़ी (सामान्यतः "दृश्यमान" और "छिपी हुई" के रूप में संदर्भित) इकाइयाँ क्रमशः) उनके बीच एक सममित संबंध हो सकता है और समूह के अंदर नोड्स के बीच कोई संबंध नहीं है। इसके विपरीत "अप्रतिबंधित" बोल्ट्जमैन मशीनों में छिपी हुई इकाइयों के बीच संबंध हो सकते हैं। यह प्रतिबंध बोल्ट्जमैन मशीनों के सामान्य वर्ग विशेष रूप से ग्रेडिएंट-आधारित विरोधाभासी विचलन एल्गोरिथम की तुलना में अधिक कुशल प्रशिक्षण एल्गोरिदम की अनुमति देता है।^[9]

प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग गहन शिक्षण नेटवर्क में भी किया जा सकता है। विशेष रूप से, गहन विश्वास नेटवर्क आरबीएम को संग्रह करके और वैकल्पिक रूप से परिणामी गहरे नेटवर्क को प्रवणता डिसेंट और बैकप्रोपैगेशन के साथ ठीक-ठीक करके बनाया जा सकता है।^[10]

संरचना

आरबीएम के मानक प्रकार में बाइनरी-वैल्यू (बूलियन बीजगणित) छिपी हुई और दृश्यमान इकाइयाँ होती हैं और इसमें आकार $m\times n$ के भार $W$ का एक आव्यूह होता है। आव्यूह का प्रत्येक वजन तत्व $(w_{i,j})$ दृश्य (इनपुट) इकाई $v_{i}$ और छिपी हुई इकाई $h_{j}$ के बीच संबंध से जुड़ा है। इसके अतिरिक्त $v_{i}$ के लिए पूर्वाग्रह भार (ऑफ़सेट) $a_{i}$ और $h_{j}$ के लिए $b_{j}$ हैं। भार और पक्षपात को देखते हुए विन्यास की ऊर्जा (बूलियन वैक्टर की जोड़ी) $(v, h)$ को इस रूप में परिभाषित किया गया है

E(v,h)=-\sum _{i}a_{i}v_{i}-\sum _{j}b_{j}h_{j}-\sum _{i}\sum _{j}v_{i}w_{i,j}h_{j}

या आव्यूह संकेतन में

E(v,h)=-a^{\mathrm {T} }v-b^{\mathrm {T} }h-v^{\mathrm {T} }Wh.

यह ऊर्जा कार्य हॉपफील्ड नेटवर्क के अनुरूप है। सामान्य बोल्ट्जमैन मशीनों की तरह दृश्यमान और छिपे हुए वैक्टर के लिए संयुक्त संभाव्यता वितरण को ऊर्जा कार्य के संदर्भ में निम्नानुसार परिभाषित किया गया है,^[11]

P(v,h)={\frac {1}{Z}}e^{-E(v,h)}

जहां $Z$ एक विभाजन कार्य है जिसे सभी संभावित विन्यास पर $e^{-E(v,h)}$ के योग के रूप में परिभाषित किया गया है जिसे यह सुनिश्चित करने के लिए सामान्यीकरण स्थिरांक के रूप में व्याख्या किया जा सकता है कि संभावनाएं 1 के समान हैं। दृश्यमान की सीमांत संभावना सदिश $P(v,h)$ सभी संभावित छिपे हुए परत विन्यासों का योग है^[11]

P(v)={\frac {1}{Z}}\sum _{\{h\}}e^{-E(v,h)}

,

और इसके विपरीत। चूंकि आरबीएम की अंतर्निहित ग्राफ संरचना द्विदलीय है (जिसका अर्थ है कि कोई इंट्रा-लेयर कनेक्शन नहीं है) छिपी हुई इकाई सक्रियता पारस्परिक रूप से स्वतंत्र होती है जिसे दृश्य इकाई सक्रियता दी जाती है। इसके विपरीत छिपी हुई इकाई सक्रियता को देखते हुए दृश्य इकाई सक्रियता पारस्परिक रूप से स्वतंत्र हैं।^[9] यही है m दृश्यमान इकाइयों और n छिपी इकाइयों के लिए, दृश्य इकाइयों $v$ की विन्यास की सशर्त संभावना, छिपी हुई इकाइयों $h$ की विन्यास दी गई है, है

P(v|h)=\prod _{i=1}^{m}P(v_{i}|h)

.

इसके विपरीत $h$ दिए गए $v$ की सशर्त संभावना है

P(h|v)=\prod _{j=1}^{n}P(h_{j}|v)

.

व्यक्तिगत सक्रियण संभावनाएँ द्वारा दी गई हैं

P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i=1}^{m}w_{i,j}v_{i}\right)

और

\,P(v_{i}=1|h)=\sigma \left(a_{i}+\sum _{j=1}^{n}w_{i,j}h_{j}\right)

जहाँ $\sigma$ लॉजिस्टिक सिग्मॉइड को दर्शाता है।

प्रतिबंधित बोल्ट्जमैन मशीन की दृश्य इकाइयाँ बहुराष्ट्रीय हो सकती हैं, हालाँकि छिपी हुई इकाइयाँ बर्नौली हैं। इस मामले में दृश्य इकाइयों के लिए लॉजिस्टिक कार्य को सॉफ्टमैक्स कार्य द्वारा प्रतिस्थापित किया जाता है

P(v_{i}^{k}=1|h)={\frac {\exp(a_{i}^{k}+\Sigma _{j}W_{ij}^{k}h_{j})}{\Sigma _{k'=1}^{K}\exp(a_{i}^{k'}+\Sigma _{j}W_{ij}^{k'}h_{j})}}

जहाँ K दृश्यमान मानों के असतत मानों की संख्या है।^[6] वे विषय मॉडलिंग और अनुशंसा प्रणाली में प्रयुक्त होते हैं।^[4]

अन्य मॉडलों से संबंध

प्रतिबंधित बोल्ट्जमैन मशीनें बोल्ट्जमैन मशीनों और मार्कोव यादृच्छिक क्षेत्र का एक विशेष स्थिति है। उनका ग्राफिकल मॉडल कारक विश्लेषण के अनुरूप है।^[12]

प्रशिक्षण एल्गोरिथ्म

प्रतिबंधित बोल्ट्जमैन मशीनों को कुछ प्रशिक्षण सेट $V$ (एक आव्यूह जिसकी प्रत्येक पंक्ति को एक दृश्य सदिश $v$ के रूप में माना जाता है) को सौंपी गई संभावनाओं के उत्पाद को अधिकतम करने के लिए प्रशिक्षित किया जाता है।

\arg \max _{W}\prod _{v\in V}P(v)

या समतुल्य रूप से, $V$ से यादृच्छिक रूप से चुने गए प्रशिक्षण नमूने $v$ की अपेक्षित लॉग संभावना को अधिकतम करने के लिए है ।^[13]^[14]

.

\arg \max _{W}\mathbb {E} \left[\log P(v)\right]

एल्गोरिथम का उपयोग अधिकांशतः आरबीएम को प्रशिक्षित करने के लिए किया जाता है अर्थात वज़न आव्यूह को अनुकूलित करने के लिए $W$ , जेफ्री हिंटन के कारण कंट्रास्टिव डायवर्जेंस (सीडी) एल्गोरिदम है जिसे मूल रूप से पीओई (विशेषज्ञों के उत्पाद) मॉडल को प्रशिक्षित करने के लिए विकसित किया गया था।^[15]^[16]

एल्गोरिदम गिब्स नमूनाकरण करता है और वजन अद्यतन की गणना करने के लिए ग्रेडियेंट वंश प्रक्रिया के अंदर प्रयोग किया जाता है (जिस तरह बैकप्रोपैगेशन का उपयोग ऐसी प्रक्रिया के अंदर किया जाता है जब फीडफॉरवर्ड न्यूरल नेट को प्रशिक्षित किया जाता है)।

एकल नमूने के लिए मूल एकल-चरण विपरीत विचलन (CD-1) प्रक्रिया को निम्नानुसार संक्षेपित किया जा सकता है:

एक प्रशिक्षण नमूना लें $v$ , छिपी हुई इकाइयों की संभावनाओं की गणना करें और इस संभाव्यता वितरण से एक छिपे हुए सक्रियण सदिश $h$ का नमूना लें ।
$v$ और $h$ के बाहरी उत्पाद की गणना करें और इसे सकारात्मक प्रवणता कहते हैं।।
$h$ से, दृश्य इकाइयों के एक पुनर्निर्माण $v'$ का नमूना लें फिर इससे छिपी हुई सक्रियता $h'$ का नमूना लें। (गिब्स नमूनाकरण कदम)
$v'$ और $h'$ के बाहरी गुणनफल की गणना करें और इसे ऋणात्मक प्रवणता कहते हैं।
वेट आव्यूह $W$ को अपडेट होने दें सकारात्मक प्रवणता घटा ऋणात्मक प्रवणता टाइम्स कुछ लर्निंग रेट: $\Delta W=\epsilon (vh^{\mathsf {T}}-v'h'^{\mathsf {T}})$
पूर्वाग्रहों को अपडेट करें $a$ और $b$ समान रूप से: $\Delta a=\epsilon (v-v')$ , $\Delta b=\epsilon (h-h')$ .

हिंटन द्वारा लिखित प्रशिक्षण आरबीएम के लिए एक व्यावहारिक मार्गदर्शिका उनके होमपेज पर पाई जा सकती है।^[11]

स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीन

स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीनों और आरबीएम के बीच का अंतर यह है कि आरबीएम के पास एक परत के अंदर पार्श्व कनेक्शन हैं जो विश्लेषण को ट्रैक्टेबल बनाने के लिए निषिद्ध हैं। दूसरी ओर स्टैक्ड बोल्ट्ज़मैन में तीन वर्गों को पहचानने के लिए सममित भार और एक पर्यवेक्षित ठीक-ट्यून वाली शीर्ष परत के साथ एक असुरक्षित तीन-परत नेटवर्क का संयोजन होता है।
स्टैक्ड बोल्ट्जमैन का उपयोग प्राकृतिक भाषाओं को समझने दस्तावेजों को पुनः प्राप्त करने छवि निर्माण और वर्गीकरण के लिए है। इन कार्यों को अप्रशिक्षित पूर्व-प्रशिक्षण और/या पर्यवेक्षित फ़ाइन-ट्यूनिंग के साथ प्रशिक्षित किया जाता है। आरबीएम के कनेक्शन के लिए दो-तरफ़ा असममित परत के साथ अप्रत्यक्ष सममित शीर्ष परत के विपरीत प्रतिबंधित बोल्ट्जमैन का कनेक्शन असममित भार के साथ तीन-परत है और दो नेटवर्क एक में संयुक्त होते हैं।
स्टैक्ड बोल्ट्जमैन आरबीएम के साथ समानताएं साझा करता है स्टैक्ड बोल्ट्जमैन के लिए न्यूरॉन एक स्टोचैस्टिक बाइनरी हॉपफील्ड न्यूरॉन है जो प्रतिबंधित बोल्ट्जमैन मशीन के समान है। प्रतिबंधित बोल्ट्जमैन और आरबीएम दोनों से ऊर्जा गिब के संभाव्यता माप द्वारा दी गई है: $E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}}{s_{i}}$ . प्रतिबंधित बोल्ट्जमान की प्रशिक्षण प्रक्रिया आरबीएम के समान है। प्रतिबंधित बोल्ट्जमैन ट्रेन एक समय में एक परत और 3-सेगमेंट पास के साथ अनुमानित संतुलन स्थिति, वापस प्रचार नहीं कर रहा है। प्रतिबंधित बोल्ट्जमैन वर्गीकरण और मान्यता के लिए पूर्व-प्रशिक्षण के लिए अलग-अलग आरबीएम पर पर्यवेक्षित और गैर-पर्यवेक्षित दोनों का उपयोग करता है। प्रशिक्षण गिब्स नमूने के साथ विपरीत विचलन Δw_ij = e*(p_ij - p'_ij) का उपयोग करता है
प्रतिबंधित बोल्ट्जमैन की ताकत यह है कि यह एक गैर-रैखिक परिवर्तन करता है इसलिए इसका विस्तार करना आसान है और यह सुविधाओं की एक श्रेणीबद्ध परत दे सकता है। कमी यह है कि इसमें पूर्णांक और वास्तविक-मूल्यवान न्यूरॉन्स की जटिल गणना होती है। यह किसी भी कार्य के प्रवणता का अनुसरण नहीं करता है इसलिए विपरीत विचलन को अधिकतम संभावना के सन्निकटन में सुधार किया गया है। ^[11]

साहित्य

Fischer, Asja; Igel, Christian (2012), "An Introduction to Restricted Boltzmann Machines", Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications, Lecture Notes in Computer Science, Berlin, Heidelberg: Springer Berlin Heidelberg, vol. 7441, pp. 14–36, doi:10.1007/978-3-642-33275-3_2, ISBN 978-3-642-33274-6, retrieved 2021-09-19

यह भी देखें

संदर्भ

↑ Smolensky, Paul (1986). "Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory" (PDF). In Rumelhart, David E.; McLelland, James L. (eds.). Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations. MIT Press. pp. 194–281. ISBN 0-262-68053-X.
↑ Hinton, G. E.; Salakhutdinov, R. R. (2006). "न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना" (PDF). Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773.
↑ Larochelle, H.; Bengio, Y. (2008). भेदभावपूर्ण प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग करते हुए वर्गीकरण (PDF). Proceedings of the 25th international conference on Machine learning - ICML '08. p. 536. doi:10.1145/1390156.1390224. ISBN 9781605582054.
↑ ^4.0 ^4.1 Salakhutdinov, R.; Mnih, A.; Hinton, G. (2007). सहयोगी फ़िल्टरिंग के लिए प्रतिबंधित Boltzmann मशीनें. Proceedings of the 24th international conference on Machine learning - ICML '07. p. 791. doi:10.1145/1273496.1273596. ISBN 9781595937933.
↑ Coates, Adam; Lee, Honglak; Ng, Andrew Y. (2011). An analysis of single-layer networks in unsupervised feature learning (PDF). International Conference on Artificial Intelligence and Statistics (AISTATS).
↑ ^6.0 ^6.1 Ruslan Salakhutdinov and Geoffrey Hinton (2010). Replicated softmax: an undirected topic model. Neural Information Processing Systems 23.
↑ Carleo, Giuseppe; Troyer, Matthias (2017-02-10). "कृत्रिम तंत्रिका नेटवर्क के साथ क्वांटम बहु-निकाय समस्या का समाधान". Science (in English). 355 (6325): 602–606. arXiv:1606.02318. Bibcode:2017Sci...355..602C. doi:10.1126/science.aag2302. ISSN 0036-8075. PMID 28183973. S2CID 206651104.
↑ Melko, Roger G.; Carleo, Giuseppe; Carrasquilla, Juan; Cirac, J. Ignacio (September 2019). "क्वांटम भौतिकी में प्रतिबंधित बोल्ट्जमैन मशीनें". Nature Physics (in English). 15 (9): 887–892. Bibcode:2019NatPh..15..887M. doi:10.1038/s41567-019-0545-1. ISSN 1745-2481.
↑ ^9.0 ^9.1 Miguel Á. Carreira-Perpiñán and Geoffrey Hinton (2005). On contrastive divergence learning. Artificial Intelligence and Statistics.
↑ Hinton, G. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
↑ ^11.0 ^11.1 ^11.2 ^11.3 Geoffrey Hinton (2010). A Practical Guide to Training Restricted Boltzmann Machines. UTML TR 2010–003, University of Toronto.
↑ María Angélica Cueto; Jason Morton; Bernd Sturmfels (2010). "प्रतिबंधित बोल्ट्जमैन मशीन की ज्यामिति". Algebraic Methods in Statistics and Probability. American Mathematical Society. 516. arXiv:0908.4425. Bibcode:2009arXiv0908.4425A.
↑ Sutskever, Ilya; Tieleman, Tijmen (2010). "विपरीत विचलन के अभिसरण गुणों पर" (PDF). Proc. 13th Int'l Conf. On AI and Statistics (AISTATS). Archived from the original (PDF) on 2015-06-10.
↑ Asja Fischer and Christian Igel. Training Restricted Boltzmann Machines: An Introduction Archived 2015-06-10 at the Wayback Machine. Pattern Recognition 47, pp. 25-39, 2014
↑ Geoffrey Hinton (1999). Products of Experts. ICANN 1999.
↑ Hinton, G. E. (2002). "कंट्रास्टिव डायवर्जेंस को कम करके विशेषज्ञों के प्रशिक्षण उत्पाद" (PDF). Neural Computation. 14 (8): 1771–1800. doi:10.1162/089976602760128018. PMID 12180402. S2CID 207596505.

बाहरी संबंध

Introduction to Restricted Boltzmann Machines. Edwin Chen's blog, July 18, 2011.
"A Beginner's Guide to Restricted Boltzmann Machines". Archived from the original on February 11, 2017. Retrieved November 15, 2018.{{cite web}}: CS1 maint: bot: original URL status unknown (link). Deeplearning4j Documentation
"Understanding RBMs". Archived from the original on September 20, 2016. Retrieved December 29, 2014.. Deeplearning4j Documentation
Python implementation of Bernoulli RBM and tutorial
SimpleRBM is a very small RBM code (24kB) useful for you to learn about how RBMs learn and work.
Julia implementation of Restricted Boltzmann machines: https://github.com/cossio/RestrictedBoltzmannMachines.jl

[1] Smolensky, Paul (1986). "Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory" (PDF). In Rumelhart, David E.; McLelland, James L. (eds.). Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations. MIT Press. pp. 194–281. ISBN 0-262-68053-X.

[2] Hinton, G. E.; Salakhutdinov, R. R. (2006). "न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना" (PDF). Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773.

[3] Larochelle, H.; Bengio, Y. (2008). भेदभावपूर्ण प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग करते हुए वर्गीकरण (PDF). Proceedings of the 25th international conference on Machine learning - ICML '08. p. 536. doi:10.1145/1390156.1390224. ISBN 9781605582054.

[softCF-4] 4.0 ^4.1 Salakhutdinov, R.; Mnih, A.; Hinton, G. (2007). सहयोगी फ़िल्टरिंग के लिए प्रतिबंधित Boltzmann मशीनें. Proceedings of the 24th international conference on Machine learning - ICML '07. p. 791. doi:10.1145/1273496.1273596. ISBN 9781595937933.

[coates2011-5] Coates, Adam; Lee, Honglak; Ng, Andrew Y. (2011). An analysis of single-layer networks in unsupervised feature learning (PDF). International Conference on Artificial Intelligence and Statistics (AISTATS).

[softTM-6] 6.0 ^6.1 Ruslan Salakhutdinov and Geoffrey Hinton (2010). Replicated softmax: an undirected topic model. Neural Information Processing Systems 23.

[7] Carleo, Giuseppe; Troyer, Matthias (2017-02-10). "कृत्रिम तंत्रिका नेटवर्क के साथ क्वांटम बहु-निकाय समस्या का समाधान". Science (in English). 355 (6325): 602–606. arXiv:1606.02318. Bibcode:2017Sci...355..602C. doi:10.1126/science.aag2302. ISSN 0036-8075. PMID 28183973. S2CID 206651104.

[8] Melko, Roger G.; Carleo, Giuseppe; Carrasquilla, Juan; Cirac, J. Ignacio (September 2019). "क्वांटम भौतिकी में प्रतिबंधित बोल्ट्जमैन मशीनें". Nature Physics (in English). 15 (9): 887–892. Bibcode:2019NatPh..15..887M. doi:10.1038/s41567-019-0545-1. ISSN 1745-2481.

[oncd-9] 9.0 ^9.1 Miguel Á. Carreira-Perpiñán and Geoffrey Hinton (2005). On contrastive divergence learning. Artificial Intelligence and Statistics.

[10] Hinton, G. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.

[guide-11] 11.0 ^11.1 ^11.2 ^11.3 Geoffrey Hinton (2010). A Practical Guide to Training Restricted Boltzmann Machines. UTML TR 2010–003, University of Toronto.

[12] María Angélica Cueto; Jason Morton; Bernd Sturmfels (2010). "प्रतिबंधित बोल्ट्जमैन मशीन की ज्यामिति". Algebraic Methods in Statistics and Probability. American Mathematical Society. 516. arXiv:0908.4425. Bibcode:2009arXiv0908.4425A.

[cdconvergence-13] Sutskever, Ilya; Tieleman, Tijmen (2010). "विपरीत विचलन के अभिसरण गुणों पर" (PDF). Proc. 13th Int'l Conf. On AI and Statistics (AISTATS). Archived from the original (PDF) on 2015-06-10.

[RBMTutorial-14] Asja Fischer and Christian Igel. Training Restricted Boltzmann Machines: An Introduction Archived 2015-06-10 at the Wayback Machine. Pattern Recognition 47, pp. 25-39, 2014

[15] Geoffrey Hinton (1999). Products of Experts. ICANN 1999.

[16] Hinton, G. E. (2002). "कंट्रास्टिव डायवर्जेंस को कम करके विशेषज्ञों के प्रशिक्षण उत्पाद" (PDF). Neural Computation. 14 (8): 1771–1800. doi:10.1162/089976602760128018. PMID 12180402. S2CID 207596505.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

@@ Line 3: / Line 3: @@
 [[File:Restricted Boltzmann machine.svg|thumb|तीन दृश्यमान इकाइयों और चार छिपी हुई इकाइयों (कोई पूर्वाग्रह इकाई) के साथ प्रतिबंधित बोल्ट्जमैन मशीन का आरेख।]]एक प्रतिबंधित बोल्ट्ज़मैन मशीन (आरबीएम) एक [[जनरेटिव मॉडल]] [[ स्टोकेस्टिक तंत्रिका नेटवर्क ]] [[कृत्रिम तंत्रिका नेटवर्क]] है जो अपने इनपुट के सेट पर संभाव्यता वितरण सीख सकता है।
-आरबीएम का आविष्कार सबसे पहले 1986 में [[पॉल स्मोलेंस्की]] द्वारा हारमोनियम नाम से किया गया था।<ref>{{cite book
+आरबीएम का प्रारंभ में 1986 में [[पॉल स्मोलेंस्की]] द्वारा हारमोनियम नाम के तहत आविष्कार किया गया था<ref>{{cite book
 |last=Smolensky
 |first=Paul
@@ Line 18: / Line 18: @@
 |isbn=0-262-68053-X
 |title-link=Connectionism
-}}</ref>
+}}</ref><ref>{{Cite journal | last1 = Hinton | first1 = G. E. | last2 = Salakhutdinov | first2 = R. R. | title = न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना| doi = 10.1126/science.1127647 | journal = Science | volume = 313 | issue = 5786 | pages = 504–507 | year = 2006 | pmid =  16873662| url  = http://www.cs.toronto.edu/~hinton/science.pdf| bibcode = 2006Sci...313..504H | s2cid = 1658773 }}</ref> और [[जेफ्री हिंटन]] और सहयोगियों द्वारा 2000 के मध्य में उनके लिए तेजी से सीखने वाले एल्गोरिदम का आविष्कार करने के बाद प्रमुखता में वृद्धि हुई।<ref>{{Cite conference | last1 = Larochelle | first1 = H. | last2 = Bengio | first2 = Y. | doi = 10.1145/1390156.1390224 | title = भेदभावपूर्ण प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग करते हुए वर्गीकरण| conference = Proceedings of the 25th international conference on Machine learning - ICML '08 | pages = 536 | year = 2008 | isbn = 9781605582054 | url = http://machinelearning.org/archive/icml2008/papers/601.pdf}}</ref><ref name="softCF">{{Cite conference | doi = 10.1145/1273496.1273596| title = सहयोगी फ़िल्टरिंग के लिए प्रतिबंधित Boltzmann मशीनें| conference = Proceedings of the 24th international conference on Machine learning - ICML '07| pages = 791| year = 2007| last1 = Salakhutdinov | first1 = R. | last2 = Mnih | first2 = A. | last3 = Hinton | first3 = G. | isbn = 9781595937933}}</ref> आरबीएम ने आयाम में कमी वर्गीकरण सहयोगी फ़िल्टरिंग फीचर लर्निंग विषय मॉडलिंग और यहां तक कि कई शरीर क्वांटम यांत्रिकी में आवेदन पाया है।<ref name="coates2011">{{cite conference
-और [[जेफ्री हिंटन]] और सहयोगियों द्वारा 2000 के मध्य में उनके लिए तेजी से सीखने वाले एल्गोरिदम का आविष्कार करने के बाद प्रमुखता में वृद्धि हुई। आरबीएम ने आयाम में कमी में आवेदन पाया है,<ref>{{Cite journal | last1 = Hinton | first1 = G. E. | last2 = Salakhutdinov | first2 = R. R. | title = न्यूरल नेटवर्क्स के साथ डेटा की डायमेंशनलिटी को कम करना| doi = 10.1126/science.1127647 | journal = Science | volume = 313 | issue = 5786 | pages = 504–507 | year = 2006 | pmid =  16873662| url  = http://www.cs.toronto.edu/~hinton/science.pdf| bibcode = 2006Sci...313..504H | s2cid = 1658773 }}</ref>
-[[सांख्यिकीय वर्गीकरण]],<ref>{{Cite conference | last1 = Larochelle | first1 = H. | last2 = Bengio | first2 = Y. | doi = 10.1145/1390156.1390224 | title = भेदभावपूर्ण प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग करते हुए वर्गीकरण| conference = Proceedings of the 25th international conference on Machine learning - ICML '08 | pages = 536 | year = 2008 | isbn = 9781605582054 | url = http://machinelearning.org/archive/icml2008/papers/601.pdf}}</ref>
-[[सहयोगी को छानने]],<ref name="softCF">{{Cite conference | doi = 10.1145/1273496.1273596| title = सहयोगी फ़िल्टरिंग के लिए प्रतिबंधित Boltzmann मशीनें| conference = Proceedings of the 24th international conference on Machine learning - ICML '07| pages = 791| year = 2007| last1 = Salakhutdinov | first1 = R. | last2 = Mnih | first2 = A. | last3 = Hinton | first3 = G. | isbn = 9781595937933}}</ref> [[फीचर लर्निंग]],<ref name="coates2011">{{cite conference
 |last1 = Coates
 |first1 = Adam
@@ Line 32: / Line 29: @@
 |year = 2011
 |url = http://cs.stanford.edu/~acoates/papers/coatesleeng_aistats_2011.pdf
-}}</ref>
+}}</ref><ref name="softTM">Ruslan Salakhutdinov and Geoffrey Hinton (2010). [http://books.nips.cc/papers/files/nips22/NIPS2009_0817.pdf Replicated softmax: an undirected topic model]. ''[[Neural Information Processing Systems]]'' '''23'''.</ref> कार्य के आधार पर उन्हें पर्यवेक्षित या अप्रशिक्षित तरीकों से प्रशिक्षित किया जा सकता है।<ref>{{Cite journal|last1=Carleo|first1=Giuseppe|last2=Troyer|first2=Matthias|date=2017-02-10|title=कृत्रिम तंत्रिका नेटवर्क के साथ क्वांटम बहु-निकाय समस्या का समाधान|journal=Science|language=en|volume=355|issue=6325|pages=602–606|doi=10.1126/science.aag2302|pmid=28183973|issn=0036-8075|arxiv=1606.02318|bibcode=2017Sci...355..602C|s2cid=206651104}}</ref><ref>{{Cite journal|last1=Melko|first1=Roger G.|last2=Carleo|first2=Giuseppe|last3=Carrasquilla|first3=Juan|last4=Cirac|first4=J. Ignacio|date=September 2019|title=क्वांटम भौतिकी में प्रतिबंधित बोल्ट्जमैन मशीनें|journal=Nature Physics|language=en|volume=15|issue=9|pages=887–892|doi=10.1038/s41567-019-0545-1|bibcode=2019NatPh..15..887M|issn=1745-2481|doi-access=free}}</ref>
-[[विषय मॉडल]]िंग<ref name="softTM">Ruslan Salakhutdinov and Geoffrey Hinton (2010). [http://books.nips.cc/papers/files/nips22/NIPS2009_0817.pdf Replicated softmax: an undirected topic model]. ''[[Neural Information Processing Systems]]'' '''23'''.</ref>
-और यहां तक कि [[कई-शरीर की समस्या]] भी।<ref>{{Cite journal|last1=Carleo|first1=Giuseppe|last2=Troyer|first2=Matthias|date=2017-02-10|title=कृत्रिम तंत्रिका नेटवर्क के साथ क्वांटम बहु-निकाय समस्या का समाधान|journal=Science|language=en|volume=355|issue=6325|pages=602–606|doi=10.1126/science.aag2302|pmid=28183973|issn=0036-8075|arxiv=1606.02318|bibcode=2017Sci...355..602C|s2cid=206651104}}</ref><ref>{{Cite journal|last1=Melko|first1=Roger G.|last2=Carleo|first2=Giuseppe|last3=Carrasquilla|first3=Juan|last4=Cirac|first4=J. Ignacio|date=September 2019|title=क्वांटम भौतिकी में प्रतिबंधित बोल्ट्जमैन मशीनें|journal=Nature Physics|language=en|volume=15|issue=9|pages=887–892|doi=10.1038/s41567-019-0545-1|bibcode=2019NatPh..15..887M|issn=1745-2481|doi-access=free}}</ref> कार्य के आधार पर उन्हें पर्यवेक्षित शिक्षण या अप्रशिक्षित शिक्षण तरीकों में प्रशिक्षित किया जा सकता है।
+जैसा कि उनके नाम से पता चलता है आरबीएम बोल्ट्जमैन मशीनों का एक प्रकार है इस प्रतिबंध के साथ कि उनके न्यूरॉन्स को एक द्विदलीय ग्राफ बनाना चाहिए: इकाइयों के दो समूहों में से प्रत्येक से नोड्स की एक जोड़ी (सामान्यतः "दृश्यमान" और "छिपी हुई" के रूप में संदर्भित) इकाइयाँ क्रमशः) उनके बीच एक सममित संबंध हो सकता है और समूह के अंदर नोड्स के बीच कोई संबंध नहीं है। इसके विपरीत "अप्रतिबंधित" बोल्ट्जमैन मशीनों में छिपी हुई इकाइयों के बीच संबंध हो सकते हैं। यह प्रतिबंध बोल्ट्जमैन मशीनों के सामान्य वर्ग विशेष रूप से ग्रेडिएंट-आधारित विरोधाभासी विचलन एल्गोरिथम की तुलना में अधिक कुशल प्रशिक्षण [[एल्गोरिदम]] की अनुमति देता है।<ref name="oncd">Miguel Á. Carreira-Perpiñán and Geoffrey Hinton (2005). [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.221.8829&rep=rep1&type=pdf#page=42 On contrastive divergence learning]. ''Artificial Intelligence and Statistics''.</ref>
-जैसा कि उनके नाम से पता चलता है, आरबीएम बोल्ट्ज़मैन मशीनों का एक प्रकार है, इस प्रतिबंध के साथ कि उनके कृत्रिम तंत्रिका नेटवर्क # न्यूरॉन को एक द्विदलीय ग्राफ बनाना चाहिए:
+प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग गहन शिक्षण नेटवर्क में भी किया जा सकता है। विशेष रूप से, गहन विश्वास नेटवर्क आरबीएम को संग्रह करके और वैकल्पिक रूप से परिणामी गहरे नेटवर्क को प्रवणता डिसेंट और [[backpropagation|बैकप्रोपैगेशन]] के साथ ठीक-ठीक करके बनाया जा सकता है।<ref>{{Cite journal
-इकाइयों के दो समूहों में से प्रत्येक से नोड्स की एक जोड़ी (आमतौर पर क्रमशः दृश्यमान और छिपी हुई इकाइयों के रूप में संदर्भित) उनके बीच एक सममित संबंध हो सकता है; और समूह के भीतर नोड्स के बीच कोई संबंध नहीं है। इसके विपरीत, अप्रतिबंधित Boltzmann मशीनों में कृत्रिम तंत्रिका नेटवर्क#छिपी हुई इकाइयों के बीच संबंध हो सकते हैं। यह प्रतिबंध [[बोल्ट्जमैन मशीन]]ों के सामान्य वर्ग के लिए उपलब्ध की तुलना में अधिक कुशल प्रशिक्षण [[एल्गोरिदम]] की अनुमति देता है, विशेष रूप से [[ ढतला हुआ वंश ]] | ग्रेडिएंट-आधारित कंट्रास्टिव डाइवर्जेंस एल्गोरिदम।<ref name="oncd">Miguel Á. Carreira-Perpiñán and Geoffrey Hinton (2005). [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.221.8829&rep=rep1&type=pdf#page=42 On contrastive divergence learning]. ''Artificial Intelligence and Statistics''.</ref>
-प्रतिबंधित बोल्ट्जमैन मशीनों का उपयोग गहन शिक्षण नेटवर्क में भी किया जा सकता है। विशेष रूप से, गहन विश्वास नेटवर्क आरबीएम को ढेर करके और वैकल्पिक रूप से परिणामी गहरे नेटवर्क को ग्रेडिएंट डिसेंट और [[backpropagation]] के साथ ठीक-ठीक करके बनाया जा सकता है।<ref>{{Cite journal
 | last1 = Hinton | first1 = G.
 | title = Deep belief networks
@@ Line 49: / Line 44: @@
 | bibcode = 2009SchpJ...4.5947H| doi-access = free
 }}</ref>
 == संरचना ==
-आरबीएम के मानक प्रकार में बाइनरी-वैल्यू ([[बूलियन बीजगणित]]) छिपी हुई और दृश्यमान इकाइयाँ होती हैं, और इसमें वज़न का एक [[मैट्रिक्स (गणित)]] होता है <math>W</math> आकार का <math>m\times n</math>. प्रत्येक वजन तत्व <math>(w_{i,j})</math> मैट्रिक्स का दृश्य (इनपुट) इकाई के बीच संबंध के साथ जुड़ा हुआ है <math>v_i</math> और छिपी हुई इकाई <math>h_j</math>. इसके अलावा, पूर्वाग्रह भार (ऑफ़सेट) हैं <math>a_i</math> के लिए <math>v_i</math> और <math>b_j</math> के लिए <math>h_j</math>. वज़न और पक्षपात को देखते हुए, कॉन्फ़िगरेशन की ऊर्जा (बूलियन वैक्टर की जोड़ी) {{math|(''v'',''h'')}} परिभाषित किया जाता है
+आरबीएम के मानक प्रकार में बाइनरी-वैल्यू ([[बूलियन बीजगणित]]) छिपी हुई और दृश्यमान इकाइयाँ होती हैं और इसमें आकार <math>m\times n</math> के भार <math>W</math> का एक [[मैट्रिक्स (गणित)|आव्यूह]] होता है। आव्यूह का प्रत्येक वजन तत्व <math>(w_{i,j})</math> दृश्य (इनपुट) इकाई <math>v_i</math> और छिपी हुई इकाई <math>h_j</math> के बीच संबंध से जुड़ा है। इसके अतिरिक्त <math>v_i</math> के लिए पूर्वाग्रह भार (ऑफ़सेट) <math>a_i</math> और <math>h_j</math> के लिए <math>b_j</math> हैं। भार और पक्षपात को देखते हुए विन्यास की ऊर्जा (बूलियन वैक्टर की जोड़ी) {{math|(''v'',''h'')}} को इस रूप में परिभाषित किया गया है
 :<math>E(v,h) = -\sum_i a_i v_i - \sum_j b_j h_j -\sum_i \sum_j v_i w_{i,j} h_j</math>
-या, मैट्रिक्स संकेतन में,
+या आव्यूह संकेतन में
 :<math>E(v,h) = -a^{\mathrm{T}} v - b^{\mathrm{T}} h -v^{\mathrm{T}} W h.</math>
-यह ऊर्जा कार्य [[हॉपफील्ड नेटवर्क]] के अनुरूप है। सामान्य बोल्ट्जमैन मशीनों की तरह, दृश्यमान और छिपे हुए वैक्टर के लिए [[संयुक्त संभाव्यता वितरण]] को ऊर्जा कार्य के संदर्भ में निम्नानुसार परिभाषित किया गया है,<ref name="guide">Geoffrey Hinton (2010). ''[http://www.cs.toronto.edu/~hinton/absps/guideTR.pdf A Practical Guide to Training Restricted Boltzmann Machines]''. UTML TR 2010–003, University of Toronto.</ref>
+यह ऊर्जा कार्य [[हॉपफील्ड नेटवर्क]] के अनुरूप है। सामान्य बोल्ट्जमैन मशीनों की तरह दृश्यमान और छिपे हुए वैक्टर के लिए [[संयुक्त संभाव्यता वितरण]] को ऊर्जा कार्य के संदर्भ में निम्नानुसार परिभाषित किया गया है,<ref name="guide">Geoffrey Hinton (2010). ''[http://www.cs.toronto.edu/~hinton/absps/guideTR.pdf A Practical Guide to Training Restricted Boltzmann Machines]''. UTML TR 2010–003, University of Toronto.</ref>
 :<math>P(v,h) = \frac{1}{Z} e^{-E(v,h)}</math>
-कहाँ <math>Z</math> एक विभाजन कार्य (गणित) है जिसे योग के रूप में परिभाषित किया गया है <math>e^{-E(v,h)}</math> सभी संभावित विन्यासों पर, जिसे [[सामान्यीकरण स्थिरांक]] के रूप में व्याख्या की जा सकती है ताकि यह सुनिश्चित किया जा सके कि संभावनाओं का योग 1 है। एक दृश्य सदिश का [[सीमांत वितरण]] का योग है <math>P(v,h)</math> सभी संभावित छिपे हुए परत विन्यासों पर,<ref name="guide"/>
+जहां <math>Z</math> एक विभाजन कार्य है जिसे सभी संभावित विन्यास पर <math>e^{-E(v,h)}</math> के योग के रूप में परिभाषित किया गया है जिसे यह सुनिश्चित करने के लिए [[सामान्यीकरण स्थिरांक]] के रूप में व्याख्या किया जा सकता है कि संभावनाएं 1 के समान हैं। दृश्यमान की सीमांत संभावना सदिश <math>P(v,h)</math> सभी संभावित छिपे हुए परत विन्यासों का योग है<ref name="guide"/>
 :<math>P(v) = \frac{1}{Z} \sum_{\{h\}} e^{-E(v,h)}</math>,
-और इसके विपरीत। चूंकि RBM की अंतर्निहित ग्राफ़ संरचना द्विदलीय ग्राफ़ है (जिसका अर्थ है कि कोई इंट्रा-लेयर कनेक्शन नहीं है), छिपी हुई इकाई सक्रियता [[सशर्त स्वतंत्रता]] है जिसे दृश्य इकाई सक्रियता दी गई है। इसके विपरीत, छिपी हुई इकाई सक्रियता को देखते हुए दृश्यमान इकाई सक्रियता पारस्परिक रूप से स्वतंत्र होती है।<ref name="oncd"/>यही है, एम दृश्यमान इकाइयों और एन छिपी इकाइयों के लिए, दृश्यमान इकाइयों की कॉन्फ़िगरेशन की सशर्त संभावना {{mvar|v}}, छिपी हुई इकाइयों का विन्यास दिया गया है {{mvar|h}}, है
+और इसके विपरीत। चूंकि आरबीएम की अंतर्निहित ग्राफ संरचना द्विदलीय है (जिसका अर्थ है कि कोई इंट्रा-लेयर कनेक्शन नहीं है) छिपी हुई इकाई सक्रियता पारस्परिक रूप से स्वतंत्र होती है जिसे दृश्य इकाई सक्रियता दी जाती है। इसके विपरीत छिपी हुई इकाई सक्रियता को देखते हुए दृश्य इकाई सक्रियता पारस्परिक रूप से स्वतंत्र हैं।<ref name="oncd"/> यही है ''m'' दृश्यमान इकाइयों और ''n''  छिपी इकाइयों के लिए, दृश्य इकाइयों {{mvar|v}} की विन्यास की सशर्त संभावना, छिपी हुई इकाइयों {{mvar|h}} की विन्यास दी गई है, है
 :<math>P(v|h) = \prod_{i=1}^m P(v_i|h)</math>.
-इसके विपरीत, की सशर्त संभावना {{mvar|h}} दिया गया {{mvar|v}} है
+इसके विपरीत {{mvar|h}} दिए गए {{mvar|v}} की सशर्त संभावना है
 :<math>P(h|v) = \prod_{j=1}^n P(h_j|v)</math>.
@@ Line 75: / Line 71: @@
 :<math>P(h_j=1|v) = \sigma \left(b_j + \sum_{i=1}^m w_{i,j} v_i \right)</math> और <math>\,P(v_i=1|h) = \sigma \left(a_i + \sum_{j=1}^n w_{i,j} h_j \right)</math>
-कहाँ <math>\sigma</math> [[लॉजिस्टिक फंक्शन]] को दर्शाता है।
+जहाँ <math>\sigma</math> [[लॉजिस्टिक फंक्शन|लॉजिस्टिक]] सिग्मॉइड को दर्शाता है।
-प्रतिबंधित बोल्ट्ज़मैन मशीन की दृश्य इकाइयाँ बहुराष्ट्रीय वितरण हो सकती हैं, हालाँकि छिपी हुई इकाइयाँ बर्नौली वितरण हैं।{{clarify|date=April 2021|reason=What is meant by Bernoulli in this context?}} इस स्थिति में, दृश्यमान इकाइयों के लिए लॉजिस्टिक फ़ंक्शन को [[सॉफ्टमैक्स फ़ंक्शन]] द्वारा प्रतिस्थापित किया जाता है
+प्रतिबंधित बोल्ट्जमैन मशीन की दृश्य इकाइयाँ बहुराष्ट्रीय हो सकती हैं, हालाँकि छिपी हुई इकाइयाँ बर्नौली हैं। इस मामले में दृश्य इकाइयों के लिए लॉजिस्टिक कार्य को [[सॉफ्टमैक्स फ़ंक्शन|सॉफ्टमैक्स]]  कार्य द्वारा प्रतिस्थापित किया जाता है
 :<math>P(v_i^k = 1|h) = \frac{\exp(a_i^k + \Sigma_j W_{ij}^k h_j)} {\Sigma_{k'=1}^K \exp(a_i^{k'} + \Sigma_j W_{ij}^{k'} h_j)}</math>
-जहाँ K दृश्यमान मानों के असतत मानों की संख्या है। वे विषय मॉडलिंग में लागू होते हैं,<ref name="softTM"/>और [[सिफारिश प्रणाली]]।<ref name="softCF"/>
+जहाँ K दृश्यमान मानों के असतत मानों की संख्या है।<ref name="softTM"/> वे विषय मॉडलिंग और अनुशंसा प्रणाली में प्रयुक्त  होते हैं।<ref name="softCF"/>
 === अन्य मॉडलों से संबंध ===
-प्रतिबंधित बोल्ट्जमैन मशीनें बोल्ट्जमैन मशीनों और [[मार्कोव यादृच्छिक क्षेत्र]]ों का एक विशेष मामला है।<ref name="cdconvergence">{{cite journal | first1 = Ilya | last1 = Sutskever | first2 = Tijmen | last2 = Tieleman | year = 2010 | title = विपरीत विचलन के अभिसरण गुणों पर| journal = Proc. 13th Int'l Conf. On AI and Statistics (AISTATS) | url = http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SutskeverT10.pdf | url-status = dead | archive-url = https://web.archive.org/web/20150610230811/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SutskeverT10.pdf | archive-date = 2015-06-10 }}</ref><ref name="RBMTutorial">Asja Fischer and Christian Igel. [http://image.diku.dk/igel/paper/TRBMAI.pdf  Training Restricted Boltzmann Machines: An Introduction] {{Webarchive|url=https://web.archive.org/web/20150610230447/http://image.diku.dk/igel/paper/TRBMAI.pdf# |date=2015-06-10 }}. Pattern Recognition 47, pp. 25-39, 2014</ref>
-उनका [[ग्राफिकल मॉडल]] [[कारक विश्लेषण]] के अनुरूप है।<ref>{{cite journal |author1=María Angélica Cueto |author2=Jason Morton |author3=Bernd Sturmfels |year=2010 |title=प्रतिबंधित बोल्ट्जमैन मशीन की ज्यामिति|journal=Algebraic Methods in Statistics and Probability |volume=516 |publisher=American Mathematical Society |arxiv=0908.4425 |bibcode=2009arXiv0908.4425A }}</ref>
+प्रतिबंधित बोल्ट्जमैन मशीनें बोल्ट्जमैन मशीनों और [[मार्कोव यादृच्छिक क्षेत्र]] का एक विशेष स्थिति है। उनका [[ग्राफिकल मॉडल]] [[कारक विश्लेषण]] के अनुरूप है।<ref>{{cite journal |author1=María Angélica Cueto |author2=Jason Morton |author3=Bernd Sturmfels |year=2010 |title=प्रतिबंधित बोल्ट्जमैन मशीन की ज्यामिति|journal=Algebraic Methods in Statistics and Probability |volume=516 |publisher=American Mathematical Society |arxiv=0908.4425 |bibcode=2009arXiv0908.4425A }}</ref>
 == प्रशिक्षण एल्गोरिथ्म ==
-प्रतिबंधित बोल्ट्जमैन मशीनों को कुछ प्रशिक्षण सेट को सौंपी गई संभावनाओं के उत्पाद को अधिकतम करने के लिए प्रशिक्षित किया जाता है <math>V</math> (एक मैट्रिक्स, जिसकी प्रत्येक पंक्ति को एक दृश्य वेक्टर के रूप में माना जाता है <math>v</math>),
+प्रतिबंधित बोल्ट्जमैन मशीनों को कुछ प्रशिक्षण सेट <math>V</math> (एक आव्यूह जिसकी प्रत्येक पंक्ति को एक दृश्य सदिश <math>v</math> के रूप में माना जाता है) को सौंपी गई संभावनाओं के उत्पाद को अधिकतम करने के लिए प्रशिक्षित किया जाता है।
 :<math>\arg\max_W \prod_{v \in V} P(v)</math>
-या समकक्ष, एक प्रशिक्षण नमूने की [[अपेक्षित मूल्य]] [[लॉग संभावना]] को अधिकतम करने के लिए <math>v</math> से यादृच्छिक रूप से चुना गया <math>V</math>:<ref name="cdconvergence"/><ref name="RBMTutorial"/>
+या समतुल्य रूप से, <math>V</math> से यादृच्छिक रूप से चुने गए प्रशिक्षण नमूने <math>v</math> की अपेक्षित लॉग संभावना को अधिकतम करने के लिए है ।<ref name="cdconvergence">{{cite journal | first1 = Ilya | last1 = Sutskever | first2 = Tijmen | last2 = Tieleman | year = 2010 | title = विपरीत विचलन के अभिसरण गुणों पर| journal = Proc. 13th Int'l Conf. On AI and Statistics (AISTATS) | url = http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SutskeverT10.pdf | url-status = dead | archive-url = https://web.archive.org/web/20150610230811/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SutskeverT10.pdf | archive-date = 2015-06-10 }}</ref><ref name="RBMTutorial">Asja Fischer and Christian Igel. [http://image.diku.dk/igel/paper/TRBMAI.pdf Training Restricted Boltzmann Machines: An Introduction] {{Webarchive|url=https://web.archive.org/web/20150610230447/http://image.diku.dk/igel/paper/TRBMAI.pdf# |date=2015-06-10 }}. Pattern Recognition 47, pp. 25-39, 2014</ref>
+.
 :<math>\arg\max_W \mathbb{E} \left[ \log P(v)\right]</math>
-एल्गोरिथम का उपयोग अक्सर RBMs को प्रशिक्षित करने के लिए किया जाता है, अर्थात वज़न मैट्रिक्स को अनुकूलित करने के लिए <math>W</math>, जेफ्री हिंटन के कारण कंट्रास्टिव डायवर्जेंस (सीडी) एल्गोरिदम है, जिसे मूल रूप से पीओई (विशेषज्ञों के उत्पाद) मॉडल को प्रशिक्षित करने के लिए विकसित किया गया था।<ref>Geoffrey Hinton (1999). [http://www.gatsby.ucl.ac.uk/publications/papers/06-1999.pdf Products of Experts]. ''ICANN 1999''.</ref><ref>{{Cite journal | last1 = Hinton | first1 = G. E. | title = कंट्रास्टिव डायवर्जेंस को कम करके विशेषज्ञों के प्रशिक्षण उत्पाद| doi = 10.1162/089976602760128018 | journal = Neural Computation | volume = 14 | issue = 8 | pages = 1771–1800 | year = 2002 | pmid =  12180402| s2cid = 207596505 | url = http://www.cs.toronto.edu/~hinton/absps/tr00-004.pdf}}</ref>
+एल्गोरिथम का उपयोग अधिकांशतः आरबीएम को प्रशिक्षित करने के लिए किया जाता है अर्थात वज़न आव्यूह को अनुकूलित करने के लिए <math>W</math>, जेफ्री हिंटन के कारण कंट्रास्टिव डायवर्जेंस (सीडी) एल्गोरिदम है जिसे मूल रूप से पीओई (विशेषज्ञों के उत्पाद) मॉडल को प्रशिक्षित करने के लिए विकसित किया गया था।<ref>Geoffrey Hinton (1999). [http://www.gatsby.ucl.ac.uk/publications/papers/06-1999.pdf Products of Experts]. ''ICANN 1999''.</ref><ref>{{Cite journal | last1 = Hinton | first1 = G. E. | title = कंट्रास्टिव डायवर्जेंस को कम करके विशेषज्ञों के प्रशिक्षण उत्पाद| doi = 10.1162/089976602760128018 | journal = Neural Computation | volume = 14 | issue = 8 | pages = 1771–1800 | year = 2002 | pmid =  12180402| s2cid = 207596505 | url = http://www.cs.toronto.edu/~hinton/absps/tr00-004.pdf}}</ref>
 एल्गोरिदम [[गिब्स नमूनाकरण]] करता है और वजन अद्यतन की गणना करने के लिए ग्रेडियेंट वंश प्रक्रिया के अंदर प्रयोग किया जाता है (जिस तरह बैकप्रोपैगेशन का उपयोग ऐसी प्रक्रिया के अंदर किया जाता है जब फीडफॉरवर्ड न्यूरल नेट को प्रशिक्षित किया जाता है)।
-एकल नमूने के लिए मूल, एकल-चरण विपरीत विचलन (CD-1) प्रक्रिया को निम्नानुसार संक्षेपित किया जा सकता है:
+एकल नमूने के लिए मूल एकल-चरण विपरीत विचलन (CD-1) प्रक्रिया को निम्नानुसार संक्षेपित किया जा सकता है:
-# एक प्रशिक्षण नमूना लें {{mvar|v}}, छिपी हुई इकाइयों की संभावनाओं की गणना करें और एक छिपे हुए सक्रियण वेक्टर का नमूना लें {{mvar|h}} इस संभाव्यता वितरण से।
+# एक प्रशिक्षण नमूना लें {{mvar|v}}, छिपी हुई इकाइयों की संभावनाओं की गणना करें और इस संभाव्यता वितरण से एक छिपे हुए सक्रियण सदिश {{mvar|h}} का नमूना लें  ।
-# के [[बाहरी उत्पाद]] की गणना करें {{mvar|v}} और {{mvar|h}} और इसे धनात्मक प्रवणता कहते हैं।
+#{{mvar|v}} और {{mvar|h}} के बाहरी उत्पाद की गणना करें और इसे सकारात्मक प्रवणता कहते हैं।।
-# से {{mvar|h}}, एक पुनर्निर्माण का नमूना लें {{mvar|v'}} दृश्यमान इकाइयों का, फिर छिपी हुई सक्रियता का पुन: नमूना लें {{mvar|h'}} इस से। (गिब्स नमूनाकरण कदम)
+#{{mvar|h}} से, दृश्य इकाइयों के एक पुनर्निर्माण {{mvar|v'}} का नमूना लें फिर इससे छिपी हुई सक्रियता {{mvar|h'}} का नमूना लें। (गिब्स नमूनाकरण कदम)
-# के बाहरी उत्पाद की गणना करें {{mvar|v'}} और {{mvar|h'}} और इसे नेगेटिव ग्रेडिएंट कहते हैं।
+#{{mvar|v'}} और {{mvar|h'}} के बाहरी गुणनफल की गणना करें और इसे ऋणात्मक प्रवणता कहते हैं।
-# वेट मैट्रिक्स को अपडेट करने दें <math>W</math> धनात्मक प्रवणता घटा ऋणात्मक प्रवणता, कुछ सीखने की दर का समय: <math>\Delta W = \epsilon (vh^\mathsf{T} - v'h'^\mathsf{T})</math>.
+#वेट आव्यूह  <math>W</math> को अपडेट होने दें सकारात्मक प्रवणता घटा ऋणात्मक प्रवणता टाइम्स कुछ लर्निंग रेट: <math>\Delta W = \epsilon (vh^\mathsf{T} - v'h'^\mathsf{T})</math>
 # पूर्वाग्रहों को अपडेट करें {{mvar|a}} और {{mvar|b}} समान रूप से: <math>\Delta a = \epsilon (v - v')</math>, <math>\Delta b = \epsilon (h - h')</math>.
@@ Line 113: / Line 108: @@
 == स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीन ==
-*स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीनों और आरबीएम के बीच का अंतर यह है कि आरबीएम के पास एक परत के भीतर पार्श्व कनेक्शन हैं जो विश्लेषण को ट्रैक्टेबल बनाने के लिए निषिद्ध हैं। दूसरी ओर, स्टैक्ड बोल्ट्ज़मैन में तीन वर्गों को पहचानने के लिए सममित भार और एक पर्यवेक्षित ठीक-ट्यून वाली शीर्ष परत के साथ एक असुरक्षित तीन-परत नेटवर्क का संयोजन होता है।
+*स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीनों और आरबीएम के बीच का अंतर यह है कि आरबीएम के पास एक परत के अंदर पार्श्व कनेक्शन हैं जो विश्लेषण को ट्रैक्टेबल बनाने के लिए निषिद्ध हैं। दूसरी ओर स्टैक्ड बोल्ट्ज़मैन में तीन वर्गों को पहचानने के लिए सममित भार और एक पर्यवेक्षित ठीक-ट्यून वाली शीर्ष परत के साथ एक असुरक्षित तीन-परत नेटवर्क का संयोजन होता है।
-*स्टैक्ड बोल्ट्जमैन का उपयोग प्राकृतिक भाषाओं को समझने, दस्तावेजों को पुनः प्राप्त करने, छवि निर्माण और वर्गीकरण के लिए है। इन कार्यों को अप्रशिक्षित पूर्व-प्रशिक्षण और/या पर्यवेक्षित फ़ाइन-ट्यूनिंग के साथ प्रशिक्षित किया जाता है। आरबीएम के कनेक्शन के लिए दो-तरफ़ा असममित परत के साथ अप्रत्यक्ष सममित शीर्ष परत के विपरीत। प्रतिबंधित बोल्ट्जमैन का कनेक्शन असममित भार के साथ तीन-परत है, और दो नेटवर्क एक में संयुक्त होते हैं।
+*स्टैक्ड बोल्ट्जमैन का उपयोग प्राकृतिक भाषाओं को समझने दस्तावेजों को पुनः प्राप्त करने छवि निर्माण और वर्गीकरण के लिए है। इन कार्यों को अप्रशिक्षित पूर्व-प्रशिक्षण और/या पर्यवेक्षित फ़ाइन-ट्यूनिंग के साथ प्रशिक्षित किया जाता है। आरबीएम के कनेक्शन के लिए दो-तरफ़ा असममित परत के साथ अप्रत्यक्ष सममित शीर्ष परत के विपरीत प्रतिबंधित बोल्ट्जमैन का कनेक्शन असममित भार के साथ तीन-परत है और दो नेटवर्क एक में संयुक्त होते हैं।
-*स्टैक्ड बोल्ट्जमैन आरबीएम के साथ समानताएं साझा करता है, स्टैक्ड बोल्ट्जमैन के लिए न्यूरॉन एक स्टोचैस्टिक बाइनरी हॉपफील्ड न्यूरॉन है, जो प्रतिबंधित बोल्ट्जमैन मशीन के समान है। प्रतिबंधित बोल्ट्जमैन और आरबीएम दोनों से ऊर्जा गिब के संभाव्यता माप द्वारा दी गई है: <math>E = -\frac12\sum_{i,j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i}{s_i}</math>. प्रतिबंधित बोल्ट्जमान की प्रशिक्षण प्रक्रिया आरबीएम के समान है। प्रतिबंधित बोल्ट्जमैन ट्रेन एक समय में एक परत और 3-सेगमेंट पास के साथ अनुमानित संतुलन स्थिति, वापस प्रचार नहीं कर रहा है। प्रतिबंधित बोल्ट्जमैन वर्गीकरण और मान्यता के लिए पूर्व-प्रशिक्षण के लिए अलग-अलग आरबीएम पर पर्यवेक्षित और गैर-पर्यवेक्षित दोनों का उपयोग करता है। प्रशिक्षण गिब्स नमूने के साथ विपरीत विचलन का उपयोग करता है: Δw<sub>ij</sub> = ई * (पी<sub>ij</sub> - पी'<sub>ij</sub>)
+*स्टैक्ड बोल्ट्जमैन आरबीएम के साथ समानताएं साझा करता है स्टैक्ड बोल्ट्जमैन के लिए न्यूरॉन एक स्टोचैस्टिक बाइनरी हॉपफील्ड न्यूरॉन है जो प्रतिबंधित बोल्ट्जमैन मशीन के समान है। प्रतिबंधित बोल्ट्जमैन और आरबीएम दोनों से ऊर्जा गिब के संभाव्यता माप द्वारा दी गई है: <math>E = -\frac12\sum_{i,j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i}{s_i}</math>. प्रतिबंधित बोल्ट्जमान की प्रशिक्षण प्रक्रिया आरबीएम के समान है। प्रतिबंधित बोल्ट्जमैन ट्रेन एक समय में एक परत और 3-सेगमेंट पास के साथ अनुमानित संतुलन स्थिति, वापस प्रचार नहीं कर रहा है। प्रतिबंधित बोल्ट्जमैन वर्गीकरण और मान्यता के लिए पूर्व-प्रशिक्षण के लिए अलग-अलग आरबीएम पर पर्यवेक्षित और गैर-पर्यवेक्षित दोनों का उपयोग करता है। प्रशिक्षण गिब्स नमूने के साथ विपरीत विचलन Δw<sub>ij</sub> = e*(p<sub>ij</sub> - p'<sub>ij</sub>) का उपयोग करता है
-*प्रतिबंधित बोल्ट्जमैन की ताकत यह है कि यह एक गैर-रैखिक परिवर्तन करता है, इसलिए इसका विस्तार करना आसान है, और यह सुविधाओं की एक श्रेणीबद्ध परत दे सकता है। कमजोरी यह है कि इसमें पूर्णांक और वास्तविक-मूल्यवान न्यूरॉन्स की जटिल गणना होती है। यह किसी भी फ़ंक्शन के ग्रेडिएंट का अनुसरण नहीं करता है, इसलिए कॉन्ट्रास्टिव डाइवर्जेंस को अधिकतम संभावना के सन्निकटन में सुधार किया गया है। <ref name="guide"/>
+*प्रतिबंधित बोल्ट्जमैन की ताकत यह है कि यह एक गैर-रैखिक परिवर्तन करता है इसलिए इसका विस्तार करना आसान है और यह सुविधाओं की एक श्रेणीबद्ध परत दे सकता है। कमी यह है कि इसमें पूर्णांक और वास्तविक-मूल्यवान न्यूरॉन्स की जटिल गणना होती है। यह किसी भी कार्य के प्रवणता का अनुसरण नहीं करता है इसलिए विपरीत विचलन को अधिकतम संभावना के सन्निकटन में सुधार किया गया है। <ref name="guide"/>

Anonymous

Search

प्रतिबंधित बोल्ट्जमैन मशीन: Difference between revisions

Namespaces

More

Page actions

Revision as of 11:58, 27 May 2023

Contents

संरचना

अन्य मॉडलों से संबंध

प्रशिक्षण एल्गोरिथ्म

स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीन

साहित्य

यह भी देखें

संदर्भ

बाहरी संबंध

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

प्रतिबंधित बोल्ट्जमैन मशीन: Difference between revisions

Revision as of 11:58, 27 May 2023

संरचना

अन्य मॉडलों से संबंध

प्रशिक्षण एल्गोरिथ्म

स्टैक्ड प्रतिबंधित बोल्ट्जमैन मशीन

साहित्य

यह भी देखें

संदर्भ

बाहरी संबंध

Navigation

Wiki tools

Page tools

Other projects

Categories