दिष्टकारी (तंत्रिका नेटवर्क): Difference between revisions

Revision as of 23:16, 17 July 2023

ReLU रेक्टिफायर (नीला) और GELU (हरा) का प्लॉट पास में कार्य करता है x = 0

कृत्रिम तंत्रिका नेटवर्क के संदर्भ में, रेक्टिफायर या ReLU (रेक्टिफाइड लीनियर यूनिट) सक्रियण फ़ंक्शन^[1]^[2] सक्रियण फ़ंक्शन है जिसे इसके तर्क के सकारात्मक भाग के रूप में परिभाषित किया गया है:

$f(x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{if }}x>0,\\0&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\0&{\text{if }}x<0.\end{cases}}$

जहां x न्यूरॉन का इनपुट है। इसे रैंप समारोह के रूप में भी जाना जाता है और यह विद्युत अभियन्त्रण में आधे-तरंग सुधार के अनुरूप है। यह सक्रियण फ़ंक्शन 1969 में कुनिहिको फुकुशिमा द्वारा पदानुक्रमित तंत्रिका नेटवर्क में दृश्य सुविधा निष्कर्षण के संदर्भ में पेश किया गया था।^[3]^[4]^[5] बाद में यह तर्क दिया गया कि इसमें मजबूत जैविक प्रेरणाएँ और गणितीय औचित्य हैं।^[6]^[7] 2011 में यह पाया गया कि यह गहरे नेटवर्क के बेहतर प्रशिक्षण को सक्षम बनाता है,^[8] 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में, उदाहरण के लिए, लॉजिस्टिक फ़ंक्शन (जो संभाव्यता सिद्धांत से प्रेरित है; संभार तन्त्र परावर्तन देखें) और यह अधिक व्यावहारिक है^[9] समकक्ष, अतिशयोक्तिपूर्ण स्पर्शरेखा। दिष्टकारी है, as of 2017^[update], गहन शिक्षण के लिए सबसे लोकप्रिय सक्रियण फ़ंक्शन।^[10] रेक्टिफाइड रैखिक इकाइयां कंप्यूटर दृष्टि में अनुप्रयोग ढूंढती हैं^[8]और वाक् पहचान^[11]^[12] गहन शिक्षण और कम्प्यूटेशनल तंत्रिका विज्ञान का उपयोग करना।^[13]^[14]^[15]

लाभ

विरल सक्रियण: उदाहरण के लिए, यादृच्छिक रूप से आरंभ किए गए नेटवर्क में, केवल लगभग 50% छिपी हुई इकाइयाँ सक्रिय होती हैं (एक गैर-शून्य आउटपुट होता है)।
बेहतर ग्रेडिएंट प्रसार: दोनों दिशाओं में संतृप्त सिग्मोइडल सक्रियण कार्यों की तुलना में कम गायब होने वाली ग्रेडिएंट समस्या।^[8]* कुशल गणना: केवल तुलना, जोड़ और गुणा।
स्केल-अपरिवर्तनीय: $\max(0,ax)=a\max(0,x){\text{ for }}a\geq 0$ .

तंत्रिका अमूर्त पिरामिड में विशिष्ट उत्तेजना और अनिर्दिष्ट अवरोध को अलग करने के लिए सुधारात्मक सक्रियण कार्यों का उपयोग किया गया था, जिसे कई कंप्यूटर दृष्टि कार्यों को सीखने के लिए पर्यवेक्षित तरीके से प्रशिक्षित किया गया था।^[16] 2011 में,^[8]गैर-रैखिकता के रूप में रेक्टिफायर का उपयोग बिना पर्यवेक्षण के सीखना प्री-ट्रेनिंग की आवश्यकता के बिना गहन पर्यवेक्षित अध्ययन न्यूरल नेटवर्क को प्रशिक्षित करने में सक्षम बनाता है। सिग्मॉइड फ़ंक्शन या समान सक्रियण फ़ंक्शंस की तुलना में रेक्टिफाइड रैखिक इकाइयाँ, बड़े और जटिल डेटासेट पर गहरे तंत्रिका आर्किटेक्चर के तेज़ और प्रभावी प्रशिक्षण की अनुमति देती हैं।

संभावित समस्याएँ

शून्य पर अभेद्य; हालाँकि, यह कहीं और भिन्न है, और शून्य पर व्युत्पन्न का मान मनमाने ढंग से 0 या 1 चुना जा सकता है।
शून्य केन्द्रित नहीं.
असीमित.
मरती हुई ReLU समस्या: ReLU (सुधारित रैखिक इकाई) न्यूरॉन्स को कभी-कभी ऐसी स्थिति में धकेल दिया जा सकता है जहां वे अनिवार्य रूप से सभी इनपुट के लिए निष्क्रिय हो जाते हैं। इस अवस्था में, कोई भी ग्रेडिएंट न्यूरॉन के माध्यम से पीछे की ओर प्रवाहित नहीं होता है, और इसलिए न्यूरॉन हमेशा के लिए निष्क्रिय अवस्था में फंस जाता है और मर जाता है। यह लुप्त हो रही ग्रेडिएंट समस्या का रूप है। कुछ मामलों में, नेटवर्क में बड़ी संख्या में न्यूरॉन्स मृत अवस्था में फंस सकते हैं, जिससे प्रभावी रूप से मॉडल क्षमता कम हो सकती है। यह समस्या आम तौर पर तब उत्पन्न होती है जब सीखने की दर बहुत अधिक निर्धारित की जाती है। इसके बजाय लीकी ReLUs का उपयोग करके इसे कम किया जा सकता है, जो x <0 के लिए छोटा सा सकारात्मक ढलान निर्दिष्ट करता है; हालाँकि, प्रदर्शन कम हो गया है।

वेरिएंट

टुकड़े-टुकड़े-रैखिक वेरिएंट

लीक ReLU

जब इकाई सक्रिय नहीं होती है तो लीकी ReLUs छोटे, सकारात्मक ग्रेडिएंट की अनुमति देते हैं,^[12]लुप्त हो रही ग्रेडिएंट समस्या को कम करने में मदद करना।

$f(x)={\begin{cases}x&{\text{if }}x>0,\\0.01x&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\0.01&{\text{otherwise}}.\end{cases}}$

पैरामीट्रिक ReLU

पैरामीट्रिक ReLUs (PReLUs) रिसाव के गुणांक को पैरामीटर में बनाकर इस विचार को आगे ले जाते हैं जिसे अन्य तंत्रिका-नेटवर्क मापदंडों के साथ सीखा जाता है।^[17]

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\cdot x&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\a&{\text{otherwise}}.\end{cases}}$

ध्यान दें कि ≤ 1 के लिए, यह इसके बराबर है

f(x)=\max(x,ax)

और इस प्रकार इसका मैक्सआउट नेटवर्क से संबंध है।^[17]

अन्य गैर-रैखिक वेरिएंट

गाऊसी-त्रुटि रैखिक इकाई (GELU)

GELU रेक्टिफायर का सहज सन्निकटन है:

$f(x)=x\cdot \Phi (x)$

$f'(x)=x\cdot \Phi '(x)+\Phi (x)$

जहां Φ(x) मानक सामान्य वितरण का संचयी वितरण फ़ंक्शन है। $\Phi (x)=P(X\leqslant x)$ यह सक्रियण फ़ंक्शन इस आलेख के प्रारंभ में दिए गए चित्र में दिखाया गया है। जब x < 0 होता है तो इसमें गैर-मोनोटोनिक "बम्प" होता है और यह BERT_(भाषा_मॉडल) जैसे मॉडलों के लिए डिफ़ॉल्ट सक्रियण के रूप में कार्य करता है।^[18]

सिलु

SiLU (सिग्मॉइड लीनियर यूनिट) या स्विश फ़ंक्शन^[19]यह और सहज सन्निकटन है, जिसे सबसे पहले GELU पेपर में गढ़ा गया था:^[18]

$f(x)=x\cdot \operatorname {sigmoid} (x)$

$f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x)$

कहाँ $\operatorname {sigmoid} (x)$ सिग्मॉइड फ़ंक्शन है.

सॉफ्टप्लस

रेक्टिफायर का सहज सन्निकटन विश्लेषणात्मक कार्य है

$f(x)=\ln(1+e^{x})$

$f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}$

जिसे सॉफ्टप्लस कहा जाता है^[20]^[8]या स्मूथरेलू फ़ंक्शन।^[21] बड़े नकारात्मक के लिए $x$ यह मोटे तौर पर है $\ln 1$ , तो 0 से ठीक ऊपर, जबकि बड़े सकारात्मक के लिए $x$ यह मोटे तौर पर है $\ln(e^{x})$ , तो बस ऊपर $x$ .

एक तीक्ष्णता पैरामीटर $k$ शामिल किया जा सकता है:

$f(x)={\frac {\ln \left(1+e^{kx}\right)}{k}}$

$f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}$

सॉफ्टप्लस का व्युत्पन्न लॉजिस्टिक फ़ंक्शन है।

लॉजिस्टिक सिग्मॉइड फ़ंक्शन रेक्टिफायर के व्युत्पन्न, हेविसाइड स्टेप फ़ंक्शन का सहज अनुमान है।

सिंगल-वेरिएबल सॉफ्टप्लस का बहुपरिवर्तनीय सामान्यीकरण LogSumExp है जिसमें पहला तर्क शून्य पर सेट है:

\operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln \left(1+e^{x_{1}}+\cdots +e^{x_{n}}\right).

LogSumExp फ़ंक्शन है

\operatorname {LSE} (x_{1},\dots ,x_{n})=\ln \left(e^{x_{1}}+\cdots +e^{x_{n}}\right),

और इसका ग्रेडिएंट सॉफ्टमैक्स फ़ंक्शन है; शून्य पर सेट किए गए पहले तर्क के साथ सॉफ्टमैक्स लॉजिस्टिक फ़ंक्शन का बहुपरिवर्तनीय सामान्यीकरण है। मशीन लर्निंग में LogSumExp और Softmax दोनों का उपयोग किया जाता है।

ईएलयू

घातीय रैखिक इकाइयाँ माध्य सक्रियणों को शून्य के करीब बनाने का प्रयास करती हैं, जिससे सीखने की गति बढ़ती है। यह दिखाया गया है कि ELUs ReLUs की तुलना में उच्च वर्गीकरण सटीकता प्राप्त कर सकते हैं।^[22]

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\left(e^{x}-1\right)&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\a\cdot e^{x}&{\text{otherwise}}.\end{cases}}$

इन सूत्रों में, $a$ हाइपरपैरामीटर (मशीन लर्निंग) है | हाइपर-पैरामीटर जिसे बाधा के साथ ट्यून किया जाना है $a\geq 0$ .

ELU को स्थानांतरित ReLU (SReLU) के सुचारू संस्करण के रूप में देखा जा सकता है, जिसका स्वरूप है $f(x)=\max(-a,x)$ , की वही व्याख्या दी गई है $a$ .

मिश

मिश फ़ंक्शन का उपयोग रेक्टिफायर के सुचारू सन्निकटन के रूप में भी किया जा सकता है।^[19] इसे इस प्रकार परिभाषित किया गया है

f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},

कहाँ $\tanh(x)$ अतिशयोक्तिपूर्ण स्पर्शज्या है, और $\operatorname {softplus} (x)$ सॉफ्टप्लस फ़ंक्शन है।

मिश गैर- एकरस और स्व-गेटेड है।^[23] यह स्विश (फ़ंक्शन) से प्रेरित था, जो स्वयं ReLU का प्रकार था।^[23]

स्क्वायरप्लस

स्क्वायरप्लस^[24] कार्य है

\operatorname {squareplus} _{b}(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}

कहाँ $b\geq 0$ हाइपरपैरामीटर है जो पास के घुमावदार क्षेत्र का आकार निर्धारित करता है $x=0$ . (उदाहरण के लिए, देना $b=0$ ReLU उत्पन्न करता है, और देता है $b=4$ धात्विक माध्य फलन प्राप्त होता है।) स्क्वायरप्लस सॉफ्टप्लस के साथ कई गुण साझा करता है: यह मोनोटोनिक फ़ंक्शन है, सख्ती से सकारात्मक (गणित), 0 के रूप में पहुंचता है $x\to -\infty$ , पहचान के रूप में दृष्टिकोण करता है $x\to +\infty$ , और है $C^{\infty }$ सुचारू कार्य. हालाँकि, स्क्वायरप्लस की गणना केवल बीजगणितीय कार्यों का उपयोग करके की जा सकती है, जिससे यह उन सेटिंग्स के लिए उपयुक्त है जहां कम्प्यूटेशनल संसाधन या निर्देश सेट सीमित हैं। इसके अतिरिक्त, स्क्वेयरप्लस को संख्यात्मक स्थिरता सुनिश्चित करने के लिए किसी विशेष विचार की आवश्यकता नहीं होती है $x$ बड़ी है।

यह भी देखें

सॉफ्टमैक्स फ़ंक्शन
सिग्मॉइड फ़ंक्शन
टोबिट मॉडल
परत (गहन शिक्षा)

संदर्भ

↑ Brownlee, Jason (8 January 2019). "रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय". Machine Learning Mastery. Retrieved 8 April 2021.
↑ Liu, Danqing (30 November 2017). "ReLU के लिए एक व्यावहारिक मार्गदर्शिका". Medium (in English). Retrieved 8 April 2021.
↑ Fukushima, K. (1969). "एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण". IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322–333. doi:10.1109/TSSC.1969.300225.
↑ Fukushima, K.; Miyake, S. (1982). "Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition". In Competition and Cooperation in Neural Nets. Lecture Notes in Biomathematics. Springer. 45: 267–285. doi:10.1007/978-3-642-46466-9_18. ISBN 978-3-540-11574-8.
↑ Schmidhuber, Juergen (2022). "आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास". arXiv:2212.11279 [cs.NE].
↑ Hahnloser, R.; Sarpeshkar, R.; Mahowald, M. A.; Douglas, R. J.; Seung, H. S. (2000). "डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं". Nature. 405 (6789): 947–951. Bibcode:2000Natur.405..947H. doi:10.1038/35016072. PMID 10879535. S2CID 4399014.
↑ Hahnloser, R.; Seung, H. S. (2001). सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट. NIPS 2001.
↑ ^8.0 ^8.1 ^8.2 ^8.3 ^8.4 Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). गहरे विरल दिष्टकारी तंत्रिका नेटवर्क (PDF). AISTATS. Rectifier and softplus activation functions. The second one is a smooth version of the first.
↑ Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). "कुशल बैकप्रॉप" (PDF). In G. Orr; K. Müller (eds.). Neural Networks: Tricks of the Trade. Springer.{{cite encyclopedia}}: CS1 maint: uses authors parameter (link)
↑ Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (October 16, 2017). "सक्रियण फ़ंक्शंस की खोज". arXiv:1710.05941 [cs.NE].
↑ László Tóth (2013). डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान (PDF). ICASSP.{{cite conference}}: CS1 maint: uses authors parameter (link)
↑ ^12.0 ^12.1 Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models.
↑ Hansel, D.; van Vreeswijk, C. (2002). "कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है". J. Neurosci. 22 (12): 5118–5128. doi:10.1523/JNEUROSCI.22-12-05118.2002. PMC 6757721. PMID 12077207.
↑ Kadmon, Jonathan; Sompolinsky, Haim (2015-11-19). "रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण". Physical Review X. 5 (4): 041030. arXiv:1508.06486. Bibcode:2015PhRvX...5d1030K. doi:10.1103/PhysRevX.5.041030. S2CID 7813832.
↑ Engelken, Rainer; Wolf, Fred; Abbott, L. F. (2020-06-03). "अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा". arXiv:2006.02427 [nlin.CD].
↑ Behnke, Sven (2003). छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क. Lecture Notes in Computer Science. Vol. 2766. Springer. doi:10.1007/b11963. ISBN 978-3-540-40722-5. S2CID 1304548.
↑ ^17.0 ^17.1 He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image Net Classification". arXiv:1502.01852 [cs.CV].
↑ ^18.0 ^18.1 Hendrycks, Dan; Gimpel, Kevin (2016). "गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)". arXiv:1606.08415 [cs.LG].
↑ ^19.0 ^19.1 Diganta Misra (23 Aug 2019), Mish: A Self Regularized Non-Monotonic Activation Function (PDF), arXiv:1908.08681v1, retrieved 26 March 2022.
↑ Dugas, Charles; Bengio, Yoshua; Bélisle, François; Nadeau, Claude; Garcia, René (2000-01-01). "Incorporating second-order functional knowledge for better option pricing" (PDF). Proceedings of the 13th International Conference on Neural Information Processing Systems (NIPS'00). MIT Press: 451–457. Since the sigmoid h has a positive first derivative, its primitive, which we call softplus, is convex.
↑ "Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer". Developer Guide for Intel Data Analytics Acceleration Library (in English). 2017. Retrieved 2018-12-04.
↑ Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015). "एक्सपोनेंशियल लीनियर यूनिट्स (ईएलयू) द्वारा तेज़ और सटीक डीप नेटवर्क लर्निंग". arXiv:1511.07289 [cs.LG].
↑ ^23.0 ^23.1 Shaw, Sweta (2020-05-10). "प्रयोगों की तुलना में सक्रियण कार्य". W&B (in English). Retrieved 2022-07-11.
↑ Barron, Jonathan T. (22 December 2021). "Squareplus: A Softplus-Like Algebraic Rectifier". arXiv:2112.11687 [cs.NE].

[brownlee-1] Brownlee, Jason (8 January 2019). "रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय". Machine Learning Mastery. Retrieved 8 April 2021.

[medium-relu-2] Liu, Danqing (30 November 2017). "ReLU के लिए एक व्यावहारिक मार्गदर्शिका". Medium (in English). Retrieved 8 April 2021.

[Fukushima1969-3] Fukushima, K. (1969). "एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण". IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322–333. doi:10.1109/TSSC.1969.300225.

[Fukushima1982-4] Fukushima, K.; Miyake, S. (1982). "Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition". In Competition and Cooperation in Neural Nets. Lecture Notes in Biomathematics. Springer. 45: 267–285. doi:10.1007/978-3-642-46466-9_18. ISBN 978-3-540-11574-8.

[DLhistory-5] Schmidhuber, Juergen (2022). "आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास". arXiv:2212.11279 [cs.NE].

[Hahnloser2000-6] Hahnloser, R.; Sarpeshkar, R.; Mahowald, M. A.; Douglas, R. J.; Seung, H. S. (2000). "डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं". Nature. 405 (6789): 947–951. Bibcode:2000Natur.405..947H. doi:10.1038/35016072. PMID 10879535. S2CID 4399014.

[Hahnloser2001-7] Hahnloser, R.; Seung, H. S. (2001). सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट. NIPS 2001.

[glorot2011-8] 8.0 ^8.1 ^8.2 ^8.3 ^8.4 Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). गहरे विरल दिष्टकारी तंत्रिका नेटवर्क (PDF). AISTATS. Rectifier and softplus activation functions. The second one is a smooth version of the first.

[9] Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). "कुशल बैकप्रॉप" (PDF). In G. Orr; K. Müller (eds.). Neural Networks: Tricks of the Trade. Springer.{{cite encyclopedia}}: CS1 maint: uses authors parameter (link)

[10] Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (October 16, 2017). "सक्रियण फ़ंक्शंस की खोज". arXiv:1710.05941 [cs.NE].

[tothl2013-11] László Tóth (2013). डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान (PDF). ICASSP.{{cite conference}}: CS1 maint: uses authors parameter (link)

[maas2014-12] 12.0 ^12.1 Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models.

[hansel2002-13] Hansel, D.; van Vreeswijk, C. (2002). "कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है". J. Neurosci. 22 (12): 5118–5128. doi:10.1523/JNEUROSCI.22-12-05118.2002. PMC 6757721. PMID 12077207.

[14] Kadmon, Jonathan; Sompolinsky, Haim (2015-11-19). "रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण". Physical Review X. 5 (4): 041030. arXiv:1508.06486. Bibcode:2015PhRvX...5d1030K. doi:10.1103/PhysRevX.5.041030. S2CID 7813832.

[15] Engelken, Rainer; Wolf, Fred; Abbott, L. F. (2020-06-03). "अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा". arXiv:2006.02427 [nlin.CD].

[NeuralAbstractionPyramid-16] Behnke, Sven (2003). छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क. Lecture Notes in Computer Science. Vol. 2766. Springer. doi:10.1007/b11963. ISBN 978-3-540-40722-5. S2CID 1304548.

[prelu-17] 17.0 ^17.1 He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image Net Classification". arXiv:1502.01852 [cs.CV].

[ReferenceA-18] 18.0 ^18.1 Hendrycks, Dan; Gimpel, Kevin (2016). "गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)". arXiv:1606.08415 [cs.LG].

[Misra-19] 19.0 ^19.1 Diganta Misra (23 Aug 2019), Mish: A Self Regularized Non-Monotonic Activation Function (PDF), arXiv:1908.08681v1, retrieved 26 March 2022.

[20] Dugas, Charles; Bengio, Yoshua; Bélisle, François; Nadeau, Claude; Garcia, René (2000-01-01). "Incorporating second-order functional knowledge for better option pricing" (PDF). Proceedings of the 13th International Conference on Neural Information Processing Systems (NIPS'00). MIT Press: 451–457. Since the sigmoid h has a positive first derivative, its primitive, which we call softplus, is convex.

[21] "Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer". Developer Guide for Intel Data Analytics Acceleration Library (in English). 2017. Retrieved 2018-12-04.

[22] Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015). "एक्सपोनेंशियल लीनियर यूनिट्स (ईएलयू) द्वारा तेज़ और सटीक डीप नेटवर्क लर्निंग". arXiv:1511.07289 [cs.LG].

[shaw-23] 23.0 ^23.1 Shaw, Sweta (2020-05-10). "प्रयोगों की तुलना में सक्रियण कार्य". W&B (in English). Retrieved 2022-07-11.

[24] Barron, Jonathan T. (22 December 2021). "Squareplus: A Softplus-Like Algebraic Rectifier". arXiv:2112.11687 [cs.NE].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

@@ Line 1: / Line 1: @@
 {{Short description|Activation function}}
 {{Machine learning}}
-[[Image:ReLU_and_GELU.svg|thumb|ReLU रेक्टिफायर (नीला) और GELU (हरा) का प्लॉट पास में कार्य करता है {{nobr|''x'' {{=}} 0}}]][[कृत्रिम तंत्रिका नेटवर्क]] के संदर्भ में, रेक्टिफायर या ReLU (रेक्टिफाइड लीनियर यूनिट) सक्रियण फ़ंक्शन<ref name='brownlee'>{{cite web |last1=Brownlee |first1=Jason |title=रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय|url=https://machinelearningmastery.com/rectified-linear-activation-function-for-deep-learning-neural-networks/ |website=Machine Learning Mastery |access-date=8 April 2021 |date=8 January 2019}}</ref><ref name="medium-relu">{{cite web |last1=Liu |first1=Danqing |title=ReLU के लिए एक व्यावहारिक मार्गदर्शिका|url=https://medium.com/@danqing/a-practical-guide-to-relu-b83ca804f1f7 |website=Medium |access-date=8 April 2021 |language=en |date=30 November 2017}}</ref> एक सक्रियण फ़ंक्शन है जिसे इसके तर्क के सकारात्मक भाग के रूप में परिभाषित किया गया है:
+[[Image:ReLU_and_GELU.svg|thumb|ReLU रेक्टिफायर (नीला) और GELU (हरा) का प्लॉट पास में कार्य करता है {{nobr|''x'' {{=}} 0}}]][[कृत्रिम तंत्रिका नेटवर्क]] के संदर्भ में, रेक्टिफायर या ReLU (रेक्टिफाइड लीनियर यूनिट) सक्रियण फ़ंक्शन<ref name='brownlee'>{{cite web |last1=Brownlee |first1=Jason |title=रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय|url=https://machinelearningmastery.com/rectified-linear-activation-function-for-deep-learning-neural-networks/ |website=Machine Learning Mastery |access-date=8 April 2021 |date=8 January 2019}}</ref><ref name="medium-relu">{{cite web |last1=Liu |first1=Danqing |title=ReLU के लिए एक व्यावहारिक मार्गदर्शिका|url=https://medium.com/@danqing/a-practical-guide-to-relu-b83ca804f1f7 |website=Medium |access-date=8 April 2021 |language=en |date=30 November 2017}}</ref> सक्रियण फ़ंक्शन है जिसे इसके तर्क के सकारात्मक भाग के रूप में परिभाषित किया गया है:
 {|
@@ Line 17: / Line 17: @@
 |}
-जहां x न्यूरॉन का इनपुट है। इसे [[रैंप समारोह]] के रूप में भी जाना जाता है और यह [[ विद्युत अभियन्त्रण ]] में आधे-तरंग सुधार के अनुरूप है। यह सक्रियण फ़ंक्शन 1969 में [[कुनिहिको फुकुशिमा]] द्वारा पदानुक्रमित तंत्रिका नेटवर्क में दृश्य सुविधा निष्कर्षण के संदर्भ में पेश किया गया था।<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण|journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225}}</ref><ref name="Fukushima1982">{{cite journal |first1=K. |last1=Fukushima |first2=S. |last2=Miyake |title= Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition |journal=In Competition and Cooperation in Neural Nets |series=Lecture Notes in Biomathematics |date=1982 |volume=45 |publisher=Springer |pages=267–285 |doi=10.1007/978-3-642-46466-9_18 |isbn=978-3-540-11574-8}}</ref><ref name=DLhistory>{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Juergen Schmidhuber|date=2022|title=आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास|class=cs.NE|eprint=2212.11279}}</ref> बाद में यह तर्क दिया गया कि इसमें मजबूत [[जैविक]] प्रेरणाएँ और गणितीय औचित्य हैं।<ref name="Hahnloser2000">{{cite journal |first1=R. |last1=Hahnloser |first2=R. |last2=Sarpeshkar |first3=M. A. |last3=Mahowald |first4=R. J. |last4=Douglas |first5=H. S. |last5=Seung |title=डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं|journal=[[Nature (journal)|Nature]] |volume=405 |issue= 6789|year=2000 |pages=947–951 |doi=10.1038/35016072 |pmid=10879535 |bibcode=2000Natur.405..947H |s2cid=4399014 }}</ref><ref name="Hahnloser2001">{{cite conference |first1=R. |last1=Hahnloser |first2=H. S. |last2=Seung |year=2001 |title=सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट|conference=NIPS 2001}}</ref> 2011 में यह पाया गया कि यह गहरे नेटवर्क के बेहतर प्रशिक्षण को सक्षम बनाता है,<ref name="glorot2011">{{cite conference |author1=Xavier Glorot |author2=Antoine Bordes |author3=[[Yoshua Bengio]] |year=2011 |title=गहरे विरल दिष्टकारी तंत्रिका नेटवर्क|url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf |conference=AISTATS |quote=Rectifier and softplus activation functions. The second one is a smooth version of the first. }}</ref> 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में, उदाहरण के लिए, [[लॉजिस्टिक फ़ंक्शन]] (जो संभाव्यता सिद्धांत से प्रेरित है; [[ संभार तन्त्र परावर्तन ]] देखें) और यह अधिक व्यावहारिक है<ref>{{cite encyclopedia |authors=[[Yann LeCun]], [[Leon Bottou]], Genevieve B. Orr and [[Klaus-Robert Müller]] |year=1998 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf |title=कुशल बैकप्रॉप|editor1=G. Orr |editor2=K. Müller |encyclopedia=Neural Networks: Tricks of the Trade |publisher=Springer}}</ref> समकक्ष, [[अतिशयोक्तिपूर्ण स्पर्शरेखा]]। दिष्टकारी है, {{as of|2017|lc=y}}, गहन शिक्षण के लिए सबसे लोकप्रिय सक्रियण फ़ंक्शन।<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=October 16, 2017 |title=सक्रियण फ़ंक्शंस की खोज|eprint=1710.05941 |class=cs.NE}}</ref>
+जहां x न्यूरॉन का इनपुट है। इसे [[रैंप समारोह]] के रूप में भी जाना जाता है और यह [[ विद्युत अभियन्त्रण |विद्युत अभियन्त्रण]] में आधे-तरंग सुधार के अनुरूप है। यह सक्रियण फ़ंक्शन 1969 में [[कुनिहिको फुकुशिमा]] द्वारा पदानुक्रमित तंत्रिका नेटवर्क में दृश्य सुविधा निष्कर्षण के संदर्भ में पेश किया गया था।<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण|journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225}}</ref><ref name="Fukushima1982">{{cite journal |first1=K. |last1=Fukushima |first2=S. |last2=Miyake |title= Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition |journal=In Competition and Cooperation in Neural Nets |series=Lecture Notes in Biomathematics |date=1982 |volume=45 |publisher=Springer |pages=267–285 |doi=10.1007/978-3-642-46466-9_18 |isbn=978-3-540-11574-8}}</ref><ref name=DLhistory>{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Juergen Schmidhuber|date=2022|title=आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास|class=cs.NE|eprint=2212.11279}}</ref> बाद में यह तर्क दिया गया कि इसमें मजबूत [[जैविक]] प्रेरणाएँ और गणितीय औचित्य हैं।<ref name="Hahnloser2000">{{cite journal |first1=R. |last1=Hahnloser |first2=R. |last2=Sarpeshkar |first3=M. A. |last3=Mahowald |first4=R. J. |last4=Douglas |first5=H. S. |last5=Seung |title=डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं|journal=[[Nature (journal)|Nature]] |volume=405 |issue= 6789|year=2000 |pages=947–951 |doi=10.1038/35016072 |pmid=10879535 |bibcode=2000Natur.405..947H |s2cid=4399014 }}</ref><ref name="Hahnloser2001">{{cite conference |first1=R. |last1=Hahnloser |first2=H. S. |last2=Seung |year=2001 |title=सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट|conference=NIPS 2001}}</ref> 2011 में यह पाया गया कि यह गहरे नेटवर्क के बेहतर प्रशिक्षण को सक्षम बनाता है,<ref name="glorot2011">{{cite conference |author1=Xavier Glorot |author2=Antoine Bordes |author3=[[Yoshua Bengio]] |year=2011 |title=गहरे विरल दिष्टकारी तंत्रिका नेटवर्क|url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf |conference=AISTATS |quote=Rectifier and softplus activation functions. The second one is a smooth version of the first. }}</ref> 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में, उदाहरण के लिए, [[लॉजिस्टिक फ़ंक्शन]] (जो संभाव्यता सिद्धांत से प्रेरित है; [[ संभार तन्त्र परावर्तन |संभार तन्त्र परावर्तन]] देखें) और यह अधिक व्यावहारिक है<ref>{{cite encyclopedia |authors=[[Yann LeCun]], [[Leon Bottou]], Genevieve B. Orr and [[Klaus-Robert Müller]] |year=1998 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf |title=कुशल बैकप्रॉप|editor1=G. Orr |editor2=K. Müller |encyclopedia=Neural Networks: Tricks of the Trade |publisher=Springer}}</ref> समकक्ष, [[अतिशयोक्तिपूर्ण स्पर्शरेखा]]। दिष्टकारी है, {{as of|2017|lc=y}}, गहन शिक्षण के लिए सबसे लोकप्रिय सक्रियण फ़ंक्शन।<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=October 16, 2017 |title=सक्रियण फ़ंक्शंस की खोज|eprint=1710.05941 |class=cs.NE}}</ref>
 रेक्टिफाइड रैखिक इकाइयां [[कंप्यूटर दृष्टि]] में अनुप्रयोग ढूंढती हैं<ref name="glorot2011"/>और [[वाक् पहचान]]<ref name="tothl2013">{{cite conference |authors=László Tóth |year=2013 |title=डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान|conference=[[International Conference on Acoustics, Speech and Signal Processing|ICASSP]] |url=http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf}}</ref><ref name="maas2014">Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). [https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf Rectifier Nonlinearities Improve Neural Network Acoustic Models].</ref> गहन शिक्षण और [[कम्प्यूटेशनल तंत्रिका विज्ञान]] का उपयोग करना।<ref name="hansel2002">{{cite journal |first1=D. |last1=Hansel |first2=C. |last2=van Vreeswijk |title=कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है|journal=[[J. Neurosci.]] |volume=22 |issue= 12|year=2002 |pages=5118–5128 |doi=10.1523/JNEUROSCI.22-12-05118.2002 |pmid= 12077207 |pmc=6757721 }}</ref><ref>{{Cite journal |doi = 10.1103/PhysRevX.5.041030 |volume = 5 |issue = 4 |pages = 041030 |last1 = Kadmon |first1 = Jonathan |last2 = Sompolinsky |first2 = Haim |title = रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण|journal = Physical Review X |date = 2015-11-19 |arxiv = 1508.06486 |bibcode = 2015PhRvX...5d1030K |s2cid = 7813832}}</ref><ref>{{Cite arXiv |last1 = Engelken |first1 = Rainer |last2 = Wolf |first2 = Fred |last3 = Abbott |first3 = L. F. |title = अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा|date = 2020-06-03 |class = nlin.CD |eprint=2006.02427}}</ref>
@@ Line 28: / Line 28: @@
 * स्केल-अपरिवर्तनीय: <math>\max(0, ax) = a \max(0, x) \text{ for } a \geq 0</math>.
-तंत्रिका अमूर्त पिरामिड में विशिष्ट उत्तेजना और अनिर्दिष्ट अवरोध को अलग करने के लिए सुधारात्मक सक्रियण कार्यों का उपयोग किया गया था, जिसे कई कंप्यूटर दृष्टि कार्यों को सीखने के लिए पर्यवेक्षित तरीके से प्रशिक्षित किया गया था।<ref name=NeuralAbstractionPyramid>{{cite book |last=Behnke |first=Sven |year=2003 |title=छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क|url= https://www.researchgate.net/publication/220688219 |series=Lecture Notes in Computer Science |volume=2766 |publisher=Springer |doi= 10.1007/b11963|isbn=978-3-540-40722-5 |s2cid=1304548 }}</ref> 2011 में,<ref name="glorot2011"/>गैर-रैखिकता के रूप में रेक्टिफायर का उपयोग [[ बिना पर्यवेक्षण के सीखना ]] प्री-ट्रेनिंग की आवश्यकता के बिना गहन [[ पर्यवेक्षित अध्ययन ]] न्यूरल नेटवर्क को प्रशिक्षित करने में सक्षम बनाता है। [[सिग्मॉइड फ़ंक्शन]] या समान सक्रियण फ़ंक्शंस की तुलना में रेक्टिफाइड रैखिक इकाइयाँ, बड़े और जटिल डेटासेट पर गहरे तंत्रिका आर्किटेक्चर के तेज़ और प्रभावी प्रशिक्षण की अनुमति देती हैं।
+तंत्रिका अमूर्त पिरामिड में विशिष्ट उत्तेजना और अनिर्दिष्ट अवरोध को अलग करने के लिए सुधारात्मक सक्रियण कार्यों का उपयोग किया गया था, जिसे कई कंप्यूटर दृष्टि कार्यों को सीखने के लिए पर्यवेक्षित तरीके से प्रशिक्षित किया गया था।<ref name=NeuralAbstractionPyramid>{{cite book |last=Behnke |first=Sven |year=2003 |title=छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क|url= https://www.researchgate.net/publication/220688219 |series=Lecture Notes in Computer Science |volume=2766 |publisher=Springer |doi= 10.1007/b11963|isbn=978-3-540-40722-5 |s2cid=1304548 }}</ref> 2011 में,<ref name="glorot2011"/>गैर-रैखिकता के रूप में रेक्टिफायर का उपयोग [[ बिना पर्यवेक्षण के सीखना |बिना पर्यवेक्षण के सीखना]] प्री-ट्रेनिंग की आवश्यकता के बिना गहन [[ पर्यवेक्षित अध्ययन |पर्यवेक्षित अध्ययन]] न्यूरल नेटवर्क को प्रशिक्षित करने में सक्षम बनाता है। [[सिग्मॉइड फ़ंक्शन]] या समान सक्रियण फ़ंक्शंस की तुलना में रेक्टिफाइड रैखिक इकाइयाँ, बड़े और जटिल डेटासेट पर गहरे तंत्रिका आर्किटेक्चर के तेज़ और प्रभावी प्रशिक्षण की अनुमति देती हैं।
 == संभावित समस्याएँ ==
@@ Line 34: / Line 34: @@
 *शून्य केन्द्रित नहीं.
 * असीमित.
-* मरती हुई ReLU समस्या: ReLU (सुधारित रैखिक इकाई) न्यूरॉन्स को कभी-कभी ऐसी स्थिति में धकेल दिया जा सकता है जहां वे अनिवार्य रूप से सभी इनपुट के लिए निष्क्रिय हो जाते हैं। इस अवस्था में, कोई भी ग्रेडिएंट न्यूरॉन के माध्यम से पीछे की ओर प्रवाहित नहीं होता है, और इसलिए न्यूरॉन हमेशा के लिए निष्क्रिय अवस्था में फंस जाता है और मर जाता है। यह लुप्त हो रही ग्रेडिएंट समस्या का एक रूप है। कुछ मामलों में, नेटवर्क में बड़ी संख्या में न्यूरॉन्स मृत अवस्था में फंस सकते हैं, जिससे प्रभावी रूप से मॉडल क्षमता कम हो सकती है। यह समस्या आम तौर पर तब उत्पन्न होती है जब सीखने की दर बहुत अधिक निर्धारित की जाती है। इसके बजाय लीकी ReLUs का उपयोग करके इसे कम किया जा सकता है, जो x <0 के लिए एक छोटा सा सकारात्मक ढलान निर्दिष्ट करता है; हालाँकि, प्रदर्शन कम हो गया है।
+* मरती हुई ReLU समस्या: ReLU (सुधारित रैखिक इकाई) न्यूरॉन्स को कभी-कभी ऐसी स्थिति में धकेल दिया जा सकता है जहां वे अनिवार्य रूप से सभी इनपुट के लिए निष्क्रिय हो जाते हैं। इस अवस्था में, कोई भी ग्रेडिएंट न्यूरॉन के माध्यम से पीछे की ओर प्रवाहित नहीं होता है, और इसलिए न्यूरॉन हमेशा के लिए निष्क्रिय अवस्था में फंस जाता है और मर जाता है। यह लुप्त हो रही ग्रेडिएंट समस्या का रूप है। कुछ मामलों में, नेटवर्क में बड़ी संख्या में न्यूरॉन्स मृत अवस्था में फंस सकते हैं, जिससे प्रभावी रूप से मॉडल क्षमता कम हो सकती है। यह समस्या आम तौर पर तब उत्पन्न होती है जब सीखने की दर बहुत अधिक निर्धारित की जाती है। इसके बजाय लीकी ReLUs का उपयोग करके इसे कम किया जा सकता है, जो x <0 के लिए छोटा सा सकारात्मक ढलान निर्दिष्ट करता है; हालाँकि, प्रदर्शन कम हो गया है।
 == वेरिएंट ==
@@ Line 41: / Line 41: @@
 ==== लीक ReLU ====
-जब इकाई सक्रिय नहीं होती है तो लीकी ReLUs एक छोटे, सकारात्मक ग्रेडिएंट की अनुमति देते हैं,<ref name="maas2014"/>लुप्त हो रही ग्रेडिएंट समस्या को कम करने में मदद करना।
+जब इकाई सक्रिय नहीं होती है तो लीकी ReLUs छोटे, सकारात्मक ग्रेडिएंट की अनुमति देते हैं,<ref name="maas2014"/>लुप्त हो रही ग्रेडिएंट समस्या को कम करने में मदद करना।
 {|
@@ Line 59: / Line 59: @@
 ==== पैरामीट्रिक ReLU ====
-पैरामीट्रिक ReLUs (PReLUs) रिसाव के गुणांक को एक पैरामीटर में बनाकर इस विचार को आगे ले जाते हैं जिसे अन्य तंत्रिका-नेटवर्क मापदंडों के साथ सीखा जाता है।<ref name="prelu">{{cite arXiv  |eprint=1502.01852 |last1=He |first1=Kaiming |title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification |last2=Zhang |first2=Xiangyu |last3=Ren |first3=Shaoqing |last4=Sun |first4=Jian |class=cs.CV |year=2015}}</ref>
+पैरामीट्रिक ReLUs (PReLUs) रिसाव के गुणांक को पैरामीटर में बनाकर इस विचार को आगे ले जाते हैं जिसे अन्य तंत्रिका-नेटवर्क मापदंडों के साथ सीखा जाता है।<ref name="prelu">{{cite arXiv  |eprint=1502.01852 |last1=He |first1=Kaiming |title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification |last2=Zhang |first2=Xiangyu |last3=Ren |first3=Shaoqing |last4=Sun |first4=Jian |class=cs.CV |year=2015}}</ref>
 {|
@@ Line 82: / Line 82: @@
 ==== गाऊसी-त्रुटि रैखिक इकाई (GELU) ====
-GELU रेक्टिफायर का एक सहज सन्निकटन है:
+GELU रेक्टिफायर का सहज सन्निकटन है:
 {|
@@ Line 92: / Line 92: @@
 |}
 जहां Φ(x) मानक [[सामान्य वितरण]] का संचयी वितरण फ़ंक्शन है। <math>\Phi(x) = P(X \leqslant x)</math>
-यह सक्रियण फ़ंक्शन इस आलेख के प्रारंभ में दिए गए चित्र में दिखाया गया है। जब x < 0 होता है तो इसमें एक गैर-मोनोटोनिक "बम्प" होता है और यह BERT_(भाषा_मॉडल) जैसे मॉडलों के लिए डिफ़ॉल्ट सक्रियण के रूप में कार्य करता है।<ref name="ReferenceA">{{Cite arXiv |eprint = 1606.08415 |title = गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)|last1 = Hendrycks |first1 = Dan |last2 = Gimpel |first2 = Kevin |year = 2016 |class = cs.LG}}</ref>
+यह सक्रियण फ़ंक्शन इस आलेख के प्रारंभ में दिए गए चित्र में दिखाया गया है। जब x < 0 होता है तो इसमें गैर-मोनोटोनिक "बम्प" होता है और यह BERT_(भाषा_मॉडल) जैसे मॉडलों के लिए डिफ़ॉल्ट सक्रियण के रूप में कार्य करता है।<ref name="ReferenceA">{{Cite arXiv |eprint = 1606.08415 |title = गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)|last1 = Hendrycks |first1 = Dan |last2 = Gimpel |first2 = Kevin |year = 2016 |class = cs.LG}}</ref>
 ==== सिलु ====
 {{main|Swish function}}
-SiLU (सिग्मॉइड लीनियर यूनिट) या [[स्विश फ़ंक्शन]]<ref name="Misra"/>यह एक और सहज सन्निकटन है, जिसे सबसे पहले GELU पेपर में गढ़ा गया था:<ref name="ReferenceA"/>
+SiLU (सिग्मॉइड लीनियर यूनिट) या [[स्विश फ़ंक्शन]]<ref name="Misra"/>यह और सहज सन्निकटन है, जिसे सबसे पहले GELU पेपर में गढ़ा गया था:<ref name="ReferenceA"/>
 {|
@@ Line 149: / Line 149: @@
 सॉफ्टप्लस का व्युत्पन्न लॉजिस्टिक फ़ंक्शन है।
-लॉजिस्टिक सिग्मॉइड फ़ंक्शन रेक्टिफायर के व्युत्पन्न, [[हेविसाइड स्टेप फ़ंक्शन]] का एक सहज अनुमान है।
+लॉजिस्टिक सिग्मॉइड फ़ंक्शन रेक्टिफायर के व्युत्पन्न, [[हेविसाइड स्टेप फ़ंक्शन]] का सहज अनुमान है।
 सिंगल-वेरिएबल सॉफ्टप्लस का बहुपरिवर्तनीय सामान्यीकरण [[LogSumExp]] है जिसमें पहला तर्क शून्य पर सेट है:
@@ Line 173: / Line 173: @@
 \end{cases}</math>
 |}
-इन सूत्रों में, <math>a</math> एक [[हाइपरपैरामीटर (मशीन लर्निंग)]] है | हाइपर-पैरामीटर जिसे बाधा के साथ ट्यून किया जाना है <math>a \geq 0</math>.
+इन सूत्रों में, <math>a</math> [[हाइपरपैरामीटर (मशीन लर्निंग)]] है | हाइपर-पैरामीटर जिसे बाधा के साथ ट्यून किया जाना है <math>a \geq 0</math>.
-ELU को स्थानांतरित ReLU (SReLU) के एक सुचारू संस्करण के रूप में देखा जा सकता है, जिसका स्वरूप है <math>f(x) = \max(-a, x)</math>, की वही व्याख्या दी गई है <math>a</math>.
+ELU को स्थानांतरित ReLU (SReLU) के सुचारू संस्करण के रूप में देखा जा सकता है, जिसका स्वरूप है <math>f(x) = \max(-a, x)</math>, की वही व्याख्या दी गई है <math>a</math>.
 ==== मिश ====
@@ Line 183: / Line 183: @@
 कहाँ <math>\tanh(x)</math> अतिशयोक्तिपूर्ण स्पर्शज्या है, और <math>\operatorname{softplus}(x)</math> [[सॉफ्टप्लस]] फ़ंक्शन है।
-मिश गैर-[[ एकरस ]] और [[स्व-गेटेड]] है।<ref name=shaw>{{Cite web |last=Shaw |first=Sweta |date=2020-05-10 |title=प्रयोगों की तुलना में सक्रियण कार्य|url=https://wandb.ai/shweta/Activation%20Functions/reports/Activation-Functions-Compared-with-Experiments--VmlldzoxMDQwOTQ |access-date=2022-07-11 |website=W&B |language=en}}</ref> यह [[स्विश (फ़ंक्शन)]] से प्रेरित था, जो स्वयं [[ReLU]] का एक प्रकार था।<ref name=shaw/>
+मिश गैर-[[ एकरस | एकरस]] और [[स्व-गेटेड]] है।<ref name=shaw>{{Cite web |last=Shaw |first=Sweta |date=2020-05-10 |title=प्रयोगों की तुलना में सक्रियण कार्य|url=https://wandb.ai/shweta/Activation%20Functions/reports/Activation-Functions-Compared-with-Experiments--VmlldzoxMDQwOTQ |access-date=2022-07-11 |website=W&B |language=en}}</ref> यह [[स्विश (फ़ंक्शन)]] से प्रेरित था, जो स्वयं [[ReLU]] का प्रकार था।<ref name=shaw/>
@@ Line 190: / Line 190: @@
 स्क्वायरप्लस<ref>{{cite arXiv |last=Barron |first=Jonathan T. |eprint=2112.11687 |title=Squareplus: A Softplus-Like Algebraic Rectifier |class=cs.NE |date=22 December 2021}}</ref> कार्य है
 :<math>\operatorname{squareplus}_b(x) = \frac{x + \sqrt{x^2 + b}}{2}</math>
-कहाँ <math>b \geq 0</math> एक हाइपरपैरामीटर है जो पास के घुमावदार क्षेत्र का आकार निर्धारित करता है <math>x = 0</math>. (उदाहरण के लिए, देना <math>b = 0</math> ReLU उत्पन्न करता है, और देता है <math>b = 4</math> [[धात्विक माध्य]] फलन प्राप्त होता है।)
+कहाँ <math>b \geq 0</math> हाइपरपैरामीटर है जो पास के घुमावदार क्षेत्र का आकार निर्धारित करता है <math>x = 0</math>. (उदाहरण के लिए, देना <math>b = 0</math> ReLU उत्पन्न करता है, और देता है <math>b = 4</math> [[धात्विक माध्य]] फलन प्राप्त होता है।)
 स्क्वायरप्लस सॉफ्टप्लस के साथ कई गुण साझा करता है: यह [[मोनोटोनिक फ़ंक्शन]] है, सख्ती से [[सकारात्मक (गणित)]], 0 के रूप में पहुंचता है <math>x \to -\infty</math>, पहचान के रूप में दृष्टिकोण करता है <math>x \to +\infty</math>, और है <math>C^\infty</math> [[सुचारू कार्य]]. हालाँकि, स्क्वायरप्लस की गणना केवल [[बीजगणितीय कार्य]]ों का उपयोग करके की जा सकती है, जिससे यह उन सेटिंग्स के लिए उपयुक्त है जहां कम्प्यूटेशनल संसाधन या निर्देश सेट सीमित हैं। इसके अतिरिक्त, स्क्वेयरप्लस को संख्यात्मक स्थिरता सुनिश्चित करने के लिए किसी विशेष विचार की आवश्यकता नहीं होती है <math>x</math> बड़ी है।
@@ Line 201: / Line 201: @@
 ==संदर्भ==
 {{Reflist|30em}}
-{{Differentiable computing}}
 [[Category:Articles with hatnote templates targeting a nonexistent page]]

Anonymous

Search

दिष्टकारी (तंत्रिका नेटवर्क): Difference between revisions

Namespaces

More

Page actions

Revision as of 23:16, 17 July 2023

Contents

लाभ

संभावित समस्याएँ