दिष्टकारी (तंत्रिका नेटवर्क): Difference between revisions

Revision as of 23:30, 17 July 2023

ReLU रेक्टिफायर (नीला) और GELU (हरा) का प्लॉट पास में कार्य करता है x = 0

कृत्रिम तंत्रिका नेटवर्क के संदर्भ में, रेक्टिफायर या ReLU (रेक्टिफाइड लीनियर यूनिट) सक्रियण फलन^[1]^[2] है जिसे इसके तर्क के अनुसार धनात्मक भाग के रूप में परिभाषित किया गया है:

$f(x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{if }}x>0,\\0&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\0&{\text{if }}x<0.\end{cases}}$

जहां x न्यूरॉन का इनपुट है। इसे रैंप समारोह के रूप में भी जाना जाता है, और इस कारण यह विद्युत अभियन्त्रण में आधे-तरंग सुधार के अनुरूप है। यह सक्रियण फलन 1969 में कुनिहिको फुकुशिमा द्वारा पदानुक्रमित तंत्रिका नेटवर्क में दृश्य सुविधा निष्कर्षण के संदर्भ में प्रस्तुत किया गया था।^[3]^[4]^[5] इसके पश्चात यह तर्क दिया गया कि इसमें शक्तिशाली जैविक प्रेरणाएँ और गणितीय औचित्य भी सम्मिलित हैं।^[6]^[7] इसके आधार पर 2011 में यह पाया गया कि यह गहरे नेटवर्क के उच्चतम प्रशिक्षण को सक्षम बनाता है,^[8] इस प्रकार 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में उदाहरण के लिए लॉजिस्टिक फलन जो संभाव्यता सिद्धांत से प्रेरित है, जिसके लिए संभार तन्त्र परावर्तन के देखा जा सकता हैं और यह अधिक व्यावहारिक भी है,^[9] इसके समकक्ष, अतिशयोक्तिपूर्ण स्पर्शरेखा या दिष्टकारी है, इसकी गहन शिक्षण के लिए सबसे लोकप्रिय सक्रियण फलन उपलब्ध हैं।^[10]

रेक्टिफाइड रैखिक इकाइयां कंप्यूटर दृष्टि में अनुप्रयोग को ढूंढती हैं^[8]और इसके कारण वाक् पहचान^[11]^[12] मुख्य रूप से गहन शिक्षण और कम्प्यूटेशनल तंत्रिका विज्ञान का उपयोग करता हैं।^[13]^[14]^[15]

लाभ

विरल सक्रियण: उदाहरण के लिए, यादृच्छिक रूप से आरंभ किए गए नेटवर्क में, केवल लगभग 50% छिपी हुई इकाइयाँ सक्रिय होती हैं, इस प्रकार यह गैर-शून्य आउटपुट होता है।
इसके उच्चतम ग्रेडिएंट प्रसार के लिए यह दोनों दिशाओं में संतृप्त सिग्मोइडल सक्रियण कार्यों की तुलना में कम विलुप्त होने वाली ग्रेडिएंट समस्या का हल हैं।^[8]
कुशल गणना: केवल तुलना, जोड़ और गुणा करने में सहायक हैं।
स्केल-अपरिवर्तनीय: $\max(0,ax)=a\max(0,x){\text{ for }}a\geq 0$ हैं।

तंत्रिका अमूर्त पिरामिड में विशिष्ट उत्तेजना और अनिर्दिष्ट अवरोध को अलग करने के लिए सुधारात्मक सक्रियण कार्यों का उपयोग किया गया था, जिसे कई कंप्यूटर दृष्टि कार्यों को सीखने के लिए पर्यवेक्षित तरीके से प्रशिक्षित किया गया था।^[16] इस कारण 2011 में,^[8]गैर-रैखिकता के रूप में रेक्टिफायर का उपयोग बिना पर्यवेक्षण के सीखना प्री-ट्रेनिंग की आवश्यकता के बिना गहन पर्यवेक्षित अध्ययन न्यूरल नेटवर्क को प्रशिक्षित करने में सक्षम बनाता है। सिग्मॉइड फलन या समान सक्रियण फलन की तुलना में रेक्टिफाइड रैखिक इकाइयाँ, बड़े और जटिल डेटासेट पर गहरे तंत्रिका आर्किटेक्चर के तेज़ और प्रभावी प्रशिक्षण की अनुमति देती हैं।

संभावित समस्याएँ

शून्य पर अभेद्य, चूंकि, यह कहीं और भिन्न है, और शून्य पर व्युत्पन्न का मान मनमाने ढंग से 0 या 1 चुना जा सकता है।
शून्य केन्द्रित नहीं.
असीमित.
खत्म होने वाली ReLU समस्याएं: ReLU (सुधारित रैखिक इकाई) मुख्यतः न्यूरॉन्स को कभी-कभी ऐसी स्थिति में धकेल दिया जाता है जहां वे अनिवार्य रूप से सभी इनपुट के लिए निष्क्रिय हो जाते हैं। इस अवस्था में, कोई भी ग्रेडिएंट न्यूरॉन के माध्यम से पीछे की ओर प्रवाहित नहीं होता है, और इसलिए न्यूरॉन सदैव के लिए निष्क्रिय अवस्था में फंस जाता है और खत्म हो जाता है। यह लुप्त हो रही ग्रेडिएंट समस्या का रूप है। कुछ स्थितियों में, नेटवर्क में बड़ी संख्या में न्यूरॉन्स मृत अवस्था में फंस सकते हैं, जिससे प्रभावी रूप से प्रारूप क्षमता कम हो सकती है। यह समस्या सामान्यतः तब उत्पन्न होती है, जब सीखने की दर बहुत अधिक निर्धारित की जाती है। इसके अतिरिक्त लीकी ReLUs का उपयोग करके इसे कम किया जा सकता है, जो x <0 के लिए छोटा सा धनात्मक प्रवणता निर्दिष्ट करता है, चूंकि इसका प्रदर्शन कम हो गया है।

वेरिएंट

टुकड़े-टुकड़े-रैखिक वेरिएंट

लीक ReLU

जब इकाई सक्रिय नहीं होती है तो लीकी ReLUs छोटे, धनात्मक ग्रेडिएंट की अनुमति देते हैं,^[12] जो लुप्त होने वाली ग्रेडिएंट समस्या को कम करने में सहायता करता हैं।

$f(x)={\begin{cases}x&{\text{if }}x>0,\\0.01x&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\0.01&{\text{otherwise}}.\end{cases}}$

पैरामीट्रिक ReLU

पैरामीट्रिक ReLUs (PReLUs) रिसाव के गुणांक को पैरामीटर में बनाकर इस विचार को आगे ले जाते हैं जिसे अन्य तंत्रिका-नेटवर्क मापदंडों के साथ सीखा जाता है।^[17]

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\cdot x&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\a&{\text{otherwise}}.\end{cases}}$

ध्यान दें कि ≤ 1 के लिए, यह इसके बराबर है

f(x)=\max(x,ax)

और इस प्रकार इसका मैक्सआउट नेटवर्क से संबंध है।^[17]

अन्य गैर-रैखिक वेरिएंट

गाऊसी-त्रुटि रैखिक इकाई (GELU)

GELU रेक्टिफायर का सहज फलन है:

$f(x)=x\cdot \Phi (x)$

$f'(x)=x\cdot \Phi '(x)+\Phi (x)$

जहां Φ(x) मानक सामान्य वितरण का संचयी वितरण फलन है। इस प्रकार $\Phi (x)=P(X\leqslant x)$ समीकरण प्राप्त होता हैं।

यह सक्रियण फलन इस आलेख के प्रारंभ में दिए गए चित्र में दिखाया गया है। जब x < 0 होता है, तो इसमें गैर-मोनोटोनिक "बम्प" होता है और यह BERT_(भाषा_प्रारूप) जैसे प्रारूपों के लिए डिफ़ॉल्ट सक्रियण के रूप में कार्य करता है।^[18]

सिलु

SiLU (सिग्मॉइड लीनियर यूनिट) या स्विश फलन^[19] मुख्यतः सहज फलन है, जिसे सबसे पहले GELU पेपर में गढ़ा गया था:^[18]

$f(x)=x\cdot \operatorname {sigmoid} (x)$

$f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x)$

कहाँ $\operatorname {sigmoid} (x)$ सिग्मॉइड फलन है.

सॉफ्टप्लस

रेक्टिफायर का सहज फलन विश्लेषणात्मक कार्य है

$f(x)=\ln(1+e^{x})$

$f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}$

जिसे सॉफ्टप्लस या स्मूथरेलू फलन कहा जाता है^[20]^[8]^[21] इस प्रकार बड़े ऋणात्मक मान के लिए $x$ यह मुख्य रूप से $\ln 1$ मान के लिए उपयोग करते है, तो इस प्रकार यह 0 से ठीक ऊपर प्राप्त होता हैं, जबकि इस प्रकार के बड़े धनात्मक मानों के लिए $x$ को मुख्य रूप से $\ln(e^{x})$ के ऊपर रखते है, तो इस प्रकार $x$ का मान इस प्रकार प्राप्त होता हैं।

एक तीक्ष्णता पैरामीटर $k$ सम्मिलित किया जा सकता है:

$f(x)={\frac {\ln \left(1+e^{kx}\right)}{k}}$

$f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}$

सॉफ्टप्लस का व्युत्पन्न लॉजिस्टिक फलन है।

लॉजिस्टिक सिग्मॉइड फलन रेक्टिफायर के व्युत्पन्न, हेविसाइड स्टेप फलन का सहज अनुमान है।

सिंगल-वेरिएबल सॉफ्टप्लस का बहुपरिवर्तनीय सामान्यीकरण LogSumExp है, जिसमें पहला तर्क शून्य पर स्थिर रहता है:

\operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln \left(1+e^{x_{1}}+\cdots +e^{x_{n}}\right).

LogSumExp फलन है।

\operatorname {LSE} (x_{1},\dots ,x_{n})=\ln \left(e^{x_{1}}+\cdots +e^{x_{n}}\right),

और इसका ग्रेडिएंट सॉफ्टमैक्स फलन है, जो शून्य पर स्थिर किए गए पहले तर्क के साथ सॉफ्टमैक्स लॉजिस्टिक फलन का बहुपरिवर्तनीय सामान्यीकरण है। इसके आधार पर मशीन लर्निंग में LogSumExp और Softmax दोनों का उपयोग किया जाता है।

ईएलयू

घातीय रैखिक इकाइयाँ माध्य सक्रियणों को शून्य को समीप बनाने का प्रयास करती हैं, जिससे सीखने की गति बढ़ती है। यह दिखाया गया है कि ELUs ReLUs की तुलना में उच्च वर्गीकरण सटीकता प्राप्त कर सकते हैं।^[22]

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\left(e^{x}-1\right)&{\text{otherwise}}.\end{cases}}$

$f'(x)={\begin{cases}1&{\text{if }}x>0,\\a\cdot e^{x}&{\text{otherwise}}.\end{cases}}$

इन सूत्रों में, $a$ हाइपरपैरामीटर (मशीन लर्निंग) है | हाइपर-पैरामीटर जिसे बाधा के साथ $a\geq 0$ ट्यून किया जाना है।

ELU को स्थानांतरित ReLU (SReLU) के सुचारू संस्करण के रूप में देखा जा सकता है, जिसका स्वरूप $f(x)=\max(-a,x)$ है। इस प्रकार $a$ की वही व्याख्या दी गई है।

मिश

मिश फलन का उपयोग रेक्टिफायर के सुचारू फलन के रूप में भी किया जा सकता है।^[19] इसे इस प्रकार परिभाषित किया गया है

f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},

जहाँ $\tanh(x)$ अतिशयोक्तिपूर्ण स्पर्शज्या है, और $\operatorname {softplus} (x)$ सॉफ्टप्लस फलन है।

मिश गैर- एकरस और स्व-गेटेड है।^[23] यह स्विश (फलन) से प्रेरित था, जो स्वयं ReLU का प्रकार था।^[23]

स्क्वायरप्लस

स्क्वायरप्लस^[24] फलन है।

\operatorname {squareplus} _{b}(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}

जहाँ $b\geq 0$ हाइपरपैरामीटर है जो पास के घुमावदार क्षेत्र का आकार $x=0$ निर्धारित करता है। उदाहरण के लिए, देना $b=0$ ReLU उत्पन्न करता है, और यह $b=4$ मान देता है, जिसके द्वारा धात्विक माध्य फलन प्राप्त होता है।

स्क्वायरप्लस सॉफ्टप्लस के साथ कई गुण साझा करता है: यह मोनोटोनिक फलन है, इसका सख्ती से धनात्मक (गणित), 0 के रूप में $x\to -\infty$ तक पहुंचता है, इसकी पहचान के लिए $x\to +\infty$ दृष्टिकोण उपयोग किया जाता है, और इसका मान $C^{\infty }$ है। जो सुचारू कार्य करने में सफल हैं। चूंकि स्क्वायरप्लस की गणना केवल बीजगणितीय फलन का उपयोग करके की जा सकती है, जिससे यह उन सेटिंग्स के लिए उपयुक्त है, जहां कम्प्यूटेशनल संसाधन या निर्देश सेट सीमित हैं। इसके अतिरिक्त, स्क्वेयरप्लस को संख्यात्मक स्थिरता सुनिश्चित करने के लिए किसी विशेष विचार की आवश्यकता नहीं होती है, जो $x$ के मान से अधिक है।

यह भी देखें

सॉफ्टमैक्स फलन
सिग्मॉइड फलन
टोबिट प्रारूप
परत (गहन शिक्षा)

संदर्भ

↑ Brownlee, Jason (8 January 2019). "रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय". Machine Learning Mastery. Retrieved 8 April 2021.
↑ Liu, Danqing (30 November 2017). "ReLU के लिए एक व्यावहारिक मार्गदर्शिका". Medium (in English). Retrieved 8 April 2021.
↑ Fukushima, K. (1969). "एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण". IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322–333. doi:10.1109/TSSC.1969.300225.
↑ Fukushima, K.; Miyake, S. (1982). "Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition". In Competition and Cooperation in Neural Nets. Lecture Notes in Biomathematics. Springer. 45: 267–285. doi:10.1007/978-3-642-46466-9_18. ISBN 978-3-540-11574-8.
↑ Schmidhuber, Juergen (2022). "आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास". arXiv:2212.11279 [cs.NE].
↑ Hahnloser, R.; Sarpeshkar, R.; Mahowald, M. A.; Douglas, R. J.; Seung, H. S. (2000). "डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं". Nature. 405 (6789): 947–951. Bibcode:2000Natur.405..947H. doi:10.1038/35016072. PMID 10879535. S2CID 4399014.
↑ Hahnloser, R.; Seung, H. S. (2001). सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट. NIPS 2001.
↑ ^8.0 ^8.1 ^8.2 ^8.3 ^8.4 Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). गहरे विरल दिष्टकारी तंत्रिका नेटवर्क (PDF). AISTATS. Rectifier and softplus activation functions. The second one is a smooth version of the first.
↑ Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). "कुशल बैकप्रॉप" (PDF). In G. Orr; K. Müller (eds.). Neural Networks: Tricks of the Trade. Springer.{{cite encyclopedia}}: CS1 maint: uses authors parameter (link)
↑ Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (October 16, 2017). "सक्रियण फ़ंक्शंस की खोज". arXiv:1710.05941 [cs.NE].
↑ László Tóth (2013). डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान (PDF). ICASSP.{{cite conference}}: CS1 maint: uses authors parameter (link)
↑ ^12.0 ^12.1 Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models.
↑ Hansel, D.; van Vreeswijk, C. (2002). "कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है". J. Neurosci. 22 (12): 5118–5128. doi:10.1523/JNEUROSCI.22-12-05118.2002. PMC 6757721. PMID 12077207.
↑ Kadmon, Jonathan; Sompolinsky, Haim (2015-11-19). "रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण". Physical Review X. 5 (4): 041030. arXiv:1508.06486. Bibcode:2015PhRvX...5d1030K. doi:10.1103/PhysRevX.5.041030. S2CID 7813832.
↑ Engelken, Rainer; Wolf, Fred; Abbott, L. F. (2020-06-03). "अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा". arXiv:2006.02427 [nlin.CD].
↑ Behnke, Sven (2003). छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क. Lecture Notes in Computer Science. Vol. 2766. Springer. doi:10.1007/b11963. ISBN 978-3-540-40722-5. S2CID 1304548.
↑ ^17.0 ^17.1 He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image Net Classification". arXiv:1502.01852 [cs.CV].
↑ ^18.0 ^18.1 Hendrycks, Dan; Gimpel, Kevin (2016). "गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)". arXiv:1606.08415 [cs.LG].
↑ ^19.0 ^19.1 Diganta Misra (23 Aug 2019), Mish: A Self Regularized Non-Monotonic Activation Function (PDF), arXiv:1908.08681v1, retrieved 26 March 2022.
↑ Dugas, Charles; Bengio, Yoshua; Bélisle, François; Nadeau, Claude; Garcia, René (2000-01-01). "Incorporating second-order functional knowledge for better option pricing" (PDF). Proceedings of the 13th International Conference on Neural Information Processing Systems (NIPS'00). MIT Press: 451–457. Since the sigmoid h has a positive first derivative, its primitive, which we call softplus, is convex.
↑ "Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer". Developer Guide for Intel Data Analytics Acceleration Library (in English). 2017. Retrieved 2018-12-04.
↑ Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015). "एक्सपोनेंशियल लीनियर यूनिट्स (ईएलयू) द्वारा तेज़ और सटीक डीप नेटवर्क लर्निंग". arXiv:1511.07289 [cs.LG].
↑ ^23.0 ^23.1 Shaw, Sweta (2020-05-10). "प्रयोगों की तुलना में सक्रियण कार्य". W&B (in English). Retrieved 2022-07-11.
↑ Barron, Jonathan T. (22 December 2021). "Squareplus: A Softplus-Like Algebraic Rectifier". arXiv:2112.11687 [cs.NE].

[brownlee-1] Brownlee, Jason (8 January 2019). "रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय". Machine Learning Mastery. Retrieved 8 April 2021.

[medium-relu-2] Liu, Danqing (30 November 2017). "ReLU के लिए एक व्यावहारिक मार्गदर्शिका". Medium (in English). Retrieved 8 April 2021.

[Fukushima1969-3] Fukushima, K. (1969). "एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण". IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322–333. doi:10.1109/TSSC.1969.300225.

[Fukushima1982-4] Fukushima, K.; Miyake, S. (1982). "Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition". In Competition and Cooperation in Neural Nets. Lecture Notes in Biomathematics. Springer. 45: 267–285. doi:10.1007/978-3-642-46466-9_18. ISBN 978-3-540-11574-8.

[DLhistory-5] Schmidhuber, Juergen (2022). "आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास". arXiv:2212.11279 [cs.NE].

[Hahnloser2000-6] Hahnloser, R.; Sarpeshkar, R.; Mahowald, M. A.; Douglas, R. J.; Seung, H. S. (2000). "डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं". Nature. 405 (6789): 947–951. Bibcode:2000Natur.405..947H. doi:10.1038/35016072. PMID 10879535. S2CID 4399014.

[Hahnloser2001-7] Hahnloser, R.; Seung, H. S. (2001). सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट. NIPS 2001.

[glorot2011-8] 8.0 ^8.1 ^8.2 ^8.3 ^8.4 Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). गहरे विरल दिष्टकारी तंत्रिका नेटवर्क (PDF). AISTATS. Rectifier and softplus activation functions. The second one is a smooth version of the first.

[9] Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). "कुशल बैकप्रॉप" (PDF). In G. Orr; K. Müller (eds.). Neural Networks: Tricks of the Trade. Springer.{{cite encyclopedia}}: CS1 maint: uses authors parameter (link)

[10] Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (October 16, 2017). "सक्रियण फ़ंक्शंस की खोज". arXiv:1710.05941 [cs.NE].

[tothl2013-11] László Tóth (2013). डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान (PDF). ICASSP.{{cite conference}}: CS1 maint: uses authors parameter (link)

[maas2014-12] 12.0 ^12.1 Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models.

[hansel2002-13] Hansel, D.; van Vreeswijk, C. (2002). "कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है". J. Neurosci. 22 (12): 5118–5128. doi:10.1523/JNEUROSCI.22-12-05118.2002. PMC 6757721. PMID 12077207.

[14] Kadmon, Jonathan; Sompolinsky, Haim (2015-11-19). "रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण". Physical Review X. 5 (4): 041030. arXiv:1508.06486. Bibcode:2015PhRvX...5d1030K. doi:10.1103/PhysRevX.5.041030. S2CID 7813832.

[15] Engelken, Rainer; Wolf, Fred; Abbott, L. F. (2020-06-03). "अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा". arXiv:2006.02427 [nlin.CD].

[NeuralAbstractionPyramid-16] Behnke, Sven (2003). छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क. Lecture Notes in Computer Science. Vol. 2766. Springer. doi:10.1007/b11963. ISBN 978-3-540-40722-5. S2CID 1304548.

[prelu-17] 17.0 ^17.1 He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image Net Classification". arXiv:1502.01852 [cs.CV].

[ReferenceA-18] 18.0 ^18.1 Hendrycks, Dan; Gimpel, Kevin (2016). "गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)". arXiv:1606.08415 [cs.LG].

[Misra-19] 19.0 ^19.1 Diganta Misra (23 Aug 2019), Mish: A Self Regularized Non-Monotonic Activation Function (PDF), arXiv:1908.08681v1, retrieved 26 March 2022.

[20] Dugas, Charles; Bengio, Yoshua; Bélisle, François; Nadeau, Claude; Garcia, René (2000-01-01). "Incorporating second-order functional knowledge for better option pricing" (PDF). Proceedings of the 13th International Conference on Neural Information Processing Systems (NIPS'00). MIT Press: 451–457. Since the sigmoid h has a positive first derivative, its primitive, which we call softplus, is convex.

[21] "Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer". Developer Guide for Intel Data Analytics Acceleration Library (in English). 2017. Retrieved 2018-12-04.

[22] Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015). "एक्सपोनेंशियल लीनियर यूनिट्स (ईएलयू) द्वारा तेज़ और सटीक डीप नेटवर्क लर्निंग". arXiv:1511.07289 [cs.LG].

[shaw-23] 23.0 ^23.1 Shaw, Sweta (2020-05-10). "प्रयोगों की तुलना में सक्रियण कार्य". W&B (in English). Retrieved 2022-07-11.

[24] Barron, Jonathan T. (22 December 2021). "Squareplus: A Softplus-Like Algebraic Rectifier". arXiv:2112.11687 [cs.NE].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

@@ Line 1: / Line 1: @@
 {{Short description|Activation function}}
 {{Machine learning}}
-[[Image:ReLU_and_GELU.svg|thumb|ReLU रेक्टिफायर (नीला) और GELU (हरा) का प्लॉट पास में कार्य करता है {{nobr|''x'' {{=}} 0}}]][[कृत्रिम तंत्रिका नेटवर्क]] के संदर्भ में, रेक्टिफायर या ReLU (रेक्टिफाइड लीनियर यूनिट) सक्रियण फ़ंक्शन<ref name='brownlee'>{{cite web |last1=Brownlee |first1=Jason |title=रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय|url=https://machinelearningmastery.com/rectified-linear-activation-function-for-deep-learning-neural-networks/ |website=Machine Learning Mastery |access-date=8 April 2021 |date=8 January 2019}}</ref><ref name="medium-relu">{{cite web |last1=Liu |first1=Danqing |title=ReLU के लिए एक व्यावहारिक मार्गदर्शिका|url=https://medium.com/@danqing/a-practical-guide-to-relu-b83ca804f1f7 |website=Medium |access-date=8 April 2021 |language=en |date=30 November 2017}}</ref> सक्रियण फ़ंक्शन है जिसे इसके तर्क के सकारात्मक भाग के रूप में परिभाषित किया गया है:
+[[Image:ReLU_and_GELU.svg|thumb|ReLU रेक्टिफायर (नीला) और GELU (हरा) का प्लॉट पास में कार्य करता है {{nobr|''x'' {{=}} 0}}]][[कृत्रिम तंत्रिका नेटवर्क]] के संदर्भ में, रेक्टिफायर या ReLU (रेक्टिफाइड लीनियर यूनिट) सक्रियण फलन<ref name='brownlee'>{{cite web |last1=Brownlee |first1=Jason |title=रेक्टिफाइड लीनियर यूनिट (ReLU) का एक संक्षिप्त परिचय|url=https://machinelearningmastery.com/rectified-linear-activation-function-for-deep-learning-neural-networks/ |website=Machine Learning Mastery |access-date=8 April 2021 |date=8 January 2019}}</ref><ref name="medium-relu">{{cite web |last1=Liu |first1=Danqing |title=ReLU के लिए एक व्यावहारिक मार्गदर्शिका|url=https://medium.com/@danqing/a-practical-guide-to-relu-b83ca804f1f7 |website=Medium |access-date=8 April 2021 |language=en |date=30 November 2017}}</ref> है जिसे इसके तर्क के अनुसार धनात्मक भाग के रूप में परिभाषित किया गया है:
 {|
@@ Line 17: / Line 17: @@
 |}
-जहां x न्यूरॉन का इनपुट है। इसे [[रैंप समारोह]] के रूप में भी जाना जाता है और यह [[ विद्युत अभियन्त्रण |विद्युत अभियन्त्रण]] में आधे-तरंग सुधार के अनुरूप है। यह सक्रियण फ़ंक्शन 1969 में [[कुनिहिको फुकुशिमा]] द्वारा पदानुक्रमित तंत्रिका नेटवर्क में दृश्य सुविधा निष्कर्षण के संदर्भ में पेश किया गया था।<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण|journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225}}</ref><ref name="Fukushima1982">{{cite journal |first1=K. |last1=Fukushima |first2=S. |last2=Miyake |title= Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition |journal=In Competition and Cooperation in Neural Nets |series=Lecture Notes in Biomathematics |date=1982 |volume=45 |publisher=Springer |pages=267–285 |doi=10.1007/978-3-642-46466-9_18 |isbn=978-3-540-11574-8}}</ref><ref name=DLhistory>{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Juergen Schmidhuber|date=2022|title=आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास|class=cs.NE|eprint=2212.11279}}</ref> बाद में यह तर्क दिया गया कि इसमें मजबूत [[जैविक]] प्रेरणाएँ और गणितीय औचित्य हैं।<ref name="Hahnloser2000">{{cite journal |first1=R. |last1=Hahnloser |first2=R. |last2=Sarpeshkar |first3=M. A. |last3=Mahowald |first4=R. J. |last4=Douglas |first5=H. S. |last5=Seung |title=डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं|journal=[[Nature (journal)|Nature]] |volume=405 |issue= 6789|year=2000 |pages=947–951 |doi=10.1038/35016072 |pmid=10879535 |bibcode=2000Natur.405..947H |s2cid=4399014 }}</ref><ref name="Hahnloser2001">{{cite conference |first1=R. |last1=Hahnloser |first2=H. S. |last2=Seung |year=2001 |title=सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट|conference=NIPS 2001}}</ref> 2011 में यह पाया गया कि यह गहरे नेटवर्क के बेहतर प्रशिक्षण को सक्षम बनाता है,<ref name="glorot2011">{{cite conference |author1=Xavier Glorot |author2=Antoine Bordes |author3=[[Yoshua Bengio]] |year=2011 |title=गहरे विरल दिष्टकारी तंत्रिका नेटवर्क|url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf |conference=AISTATS |quote=Rectifier and softplus activation functions. The second one is a smooth version of the first. }}</ref> 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में, उदाहरण के लिए, [[लॉजिस्टिक फ़ंक्शन]] (जो संभाव्यता सिद्धांत से प्रेरित है; [[ संभार तन्त्र परावर्तन |संभार तन्त्र परावर्तन]] देखें) और यह अधिक व्यावहारिक है<ref>{{cite encyclopedia |authors=[[Yann LeCun]], [[Leon Bottou]], Genevieve B. Orr and [[Klaus-Robert Müller]] |year=1998 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf |title=कुशल बैकप्रॉप|editor1=G. Orr |editor2=K. Müller |encyclopedia=Neural Networks: Tricks of the Trade |publisher=Springer}}</ref> समकक्ष, [[अतिशयोक्तिपूर्ण स्पर्शरेखा]]। दिष्टकारी है, {{as of|2017|lc=y}}, गहन शिक्षण के लिए सबसे लोकप्रिय सक्रियण फ़ंक्शन।<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=October 16, 2017 |title=सक्रियण फ़ंक्शंस की खोज|eprint=1710.05941 |class=cs.NE}}</ref>
+जहां x न्यूरॉन का इनपुट है। इसे [[रैंप समारोह]] के रूप में भी जाना जाता है, और इस कारण यह [[ विद्युत अभियन्त्रण |विद्युत अभियन्त्रण]] में आधे-तरंग सुधार के अनुरूप है। यह सक्रियण फलन 1969 में [[कुनिहिको फुकुशिमा]] द्वारा पदानुक्रमित तंत्रिका नेटवर्क में दृश्य सुविधा निष्कर्षण के संदर्भ में प्रस्तुत किया गया था।<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=एनालॉग थ्रेशोल्ड तत्वों के बहुस्तरीय नेटवर्क द्वारा दृश्य सुविधा निष्कर्षण|journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225}}</ref><ref name="Fukushima1982">{{cite journal |first1=K. |last1=Fukushima |first2=S. |last2=Miyake |title= Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition |journal=In Competition and Cooperation in Neural Nets |series=Lecture Notes in Biomathematics |date=1982 |volume=45 |publisher=Springer |pages=267–285 |doi=10.1007/978-3-642-46466-9_18 |isbn=978-3-540-11574-8}}</ref><ref name=DLhistory>{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Juergen Schmidhuber|date=2022|title=आधुनिक एआई और डीप लर्निंग का एनोटेटेड इतिहास|class=cs.NE|eprint=2212.11279}}</ref> इसके पश्चात यह तर्क दिया गया कि इसमें शक्तिशाली [[जैविक]] प्रेरणाएँ और गणितीय औचित्य भी सम्मिलित हैं।<ref name="Hahnloser2000">{{cite journal |first1=R. |last1=Hahnloser |first2=R. |last2=Sarpeshkar |first3=M. A. |last3=Mahowald |first4=R. J. |last4=Douglas |first5=H. S. |last5=Seung |title=डिजिटल चयन और एनालॉग प्रवर्धन कॉर्टेक्स-प्रेरित सिलिकॉन सर्किट में सह-अस्तित्व में हैं|journal=[[Nature (journal)|Nature]] |volume=405 |issue= 6789|year=2000 |pages=947–951 |doi=10.1038/35016072 |pmid=10879535 |bibcode=2000Natur.405..947H |s2cid=4399014 }}</ref><ref name="Hahnloser2001">{{cite conference |first1=R. |last1=Hahnloser |first2=H. S. |last2=Seung |year=2001 |title=सममित थ्रेशोल्ड-रैखिक नेटवर्क में अनुमत और निषिद्ध सेट|conference=NIPS 2001}}</ref> इसके आधार पर 2011 में यह पाया गया कि यह गहरे नेटवर्क के उच्चतम प्रशिक्षण को सक्षम बनाता है,<ref name="glorot2011">{{cite conference |author1=Xavier Glorot |author2=Antoine Bordes |author3=[[Yoshua Bengio]] |year=2011 |title=गहरे विरल दिष्टकारी तंत्रिका नेटवर्क|url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf |conference=AISTATS |quote=Rectifier and softplus activation functions. The second one is a smooth version of the first. }}</ref> इस प्रकार 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में उदाहरण के लिए [[लॉजिस्टिक फ़ंक्शन|लॉजिस्टिक फलन]] जो संभाव्यता सिद्धांत से प्रेरित है, जिसके लिए [[ संभार तन्त्र परावर्तन |संभार तन्त्र परावर्तन]] के देखा जा सकता हैं और यह अधिक व्यावहारिक भी है,<ref>{{cite encyclopedia |authors=[[Yann LeCun]], [[Leon Bottou]], Genevieve B. Orr and [[Klaus-Robert Müller]] |year=1998 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf |title=कुशल बैकप्रॉप|editor1=G. Orr |editor2=K. Müller |encyclopedia=Neural Networks: Tricks of the Trade |publisher=Springer}}</ref> इसके समकक्ष, [[अतिशयोक्तिपूर्ण स्पर्शरेखा]] या दिष्टकारी है, इसकी गहन शिक्षण के लिए सबसे लोकप्रिय सक्रियण फलन उपलब्ध हैं।<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=October 16, 2017 |title=सक्रियण फ़ंक्शंस की खोज|eprint=1710.05941 |class=cs.NE}}</ref>
-रेक्टिफाइड रैखिक इकाइयां [[कंप्यूटर दृष्टि]] में अनुप्रयोग ढूंढती हैं<ref name="glorot2011"/>और [[वाक् पहचान]]<ref name="tothl2013">{{cite conference |authors=László Tóth |year=2013 |title=डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान|conference=[[International Conference on Acoustics, Speech and Signal Processing|ICASSP]] |url=http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf}}</ref><ref name="maas2014">Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). [https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf Rectifier Nonlinearities Improve Neural Network Acoustic Models].</ref> गहन शिक्षण और [[कम्प्यूटेशनल तंत्रिका विज्ञान]] का उपयोग करना।<ref name="hansel2002">{{cite journal |first1=D. |last1=Hansel |first2=C. |last2=van Vreeswijk |title=कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है|journal=[[J. Neurosci.]] |volume=22 |issue= 12|year=2002 |pages=5118–5128 |doi=10.1523/JNEUROSCI.22-12-05118.2002 |pmid= 12077207 |pmc=6757721 }}</ref><ref>{{Cite journal |doi = 10.1103/PhysRevX.5.041030 |volume = 5 |issue = 4 |pages = 041030 |last1 = Kadmon |first1 = Jonathan |last2 = Sompolinsky |first2 = Haim |title = रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण|journal = Physical Review X |date = 2015-11-19 |arxiv = 1508.06486 |bibcode = 2015PhRvX...5d1030K |s2cid = 7813832}}</ref><ref>{{Cite arXiv |last1 = Engelken |first1 = Rainer |last2 = Wolf |first2 = Fred |last3 = Abbott |first3 = L. F. |title = अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा|date = 2020-06-03 |class = nlin.CD |eprint=2006.02427}}</ref>
+रेक्टिफाइड रैखिक इकाइयां [[कंप्यूटर दृष्टि]] में अनुप्रयोग को ढूंढती हैं<ref name="glorot2011" />और इसके कारण [[वाक् पहचान]]<ref name="tothl2013">{{cite conference |authors=László Tóth |year=2013 |title=डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क के साथ फोन की पहचान|conference=[[International Conference on Acoustics, Speech and Signal Processing|ICASSP]] |url=http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf}}</ref><ref name="maas2014">Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). [https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf Rectifier Nonlinearities Improve Neural Network Acoustic Models].</ref> मुख्य रूप से गहन शिक्षण और [[कम्प्यूटेशनल तंत्रिका विज्ञान]] का उपयोग करता हैं।<ref name="hansel2002">{{cite journal |first1=D. |last1=Hansel |first2=C. |last2=van Vreeswijk |title=कैट विज़ुअल कॉर्टेक्स में ओरिएंटेशन ट्यूनिंग के विपरीत परिवर्तन में शोर कैसे योगदान देता है|journal=[[J. Neurosci.]] |volume=22 |issue= 12|year=2002 |pages=5118–5128 |doi=10.1523/JNEUROSCI.22-12-05118.2002 |pmid= 12077207 |pmc=6757721 }}</ref><ref>{{Cite journal |doi = 10.1103/PhysRevX.5.041030 |volume = 5 |issue = 4 |pages = 041030 |last1 = Kadmon |first1 = Jonathan |last2 = Sompolinsky |first2 = Haim |title = रैंडम न्यूरोनल नेटवर्क में अराजकता की ओर संक्रमण|journal = Physical Review X |date = 2015-11-19 |arxiv = 1508.06486 |bibcode = 2015PhRvX...5d1030K |s2cid = 7813832}}</ref><ref>{{Cite arXiv |last1 = Engelken |first1 = Rainer |last2 = Wolf |first2 = Fred |last3 = Abbott |first3 = L. F. |title = अराजक आवर्तक तंत्रिका नेटवर्क का ल्यपुनोव स्पेक्ट्रा|date = 2020-06-03 |class = nlin.CD |eprint=2006.02427}}</ref>
 {{TOC limit}}
@@ Line 24: / Line 25: @@
 == लाभ ==
-* विरल सक्रियण: उदाहरण के लिए, यादृच्छिक रूप से आरंभ किए गए नेटवर्क में, केवल लगभग 50% छिपी हुई इकाइयाँ सक्रिय होती हैं (एक गैर-शून्य आउटपुट होता है)।
+* विरल सक्रियण: उदाहरण के लिए, यादृच्छिक रूप से आरंभ किए गए नेटवर्क में, केवल लगभग 50% छिपी हुई इकाइयाँ सक्रिय होती हैं, इस प्रकार यह गैर-शून्य आउटपुट होता है।
-* बेहतर ग्रेडिएंट प्रसार: दोनों दिशाओं में संतृप्त सिग्मोइडल सक्रियण कार्यों की तुलना में कम गायब होने वाली ग्रेडिएंट समस्या।<ref name="glorot2011" />* कुशल गणना: केवल तुलना, जोड़ और गुणा।
+* इसके उच्चतम ग्रेडिएंट प्रसार के लिए यह दोनों दिशाओं में संतृप्त सिग्मोइडल सक्रियण कार्यों की तुलना में कम विलुप्त होने वाली ग्रेडिएंट समस्या का हल हैं।<ref name="glorot2011" />
-* स्केल-अपरिवर्तनीय: <math>\max(0, ax) = a \max(0, x) \text{ for } a \geq 0</math>.
+*कुशल गणना: केवल तुलना, जोड़ और गुणा करने में सहायक हैं।
+* स्केल-अपरिवर्तनीय: <math>\max(0, ax) = a \max(0, x) \text{ for } a \geq 0</math> हैं।
-तंत्रिका अमूर्त पिरामिड में विशिष्ट उत्तेजना और अनिर्दिष्ट अवरोध को अलग करने के लिए सुधारात्मक सक्रियण कार्यों का उपयोग किया गया था, जिसे कई कंप्यूटर दृष्टि कार्यों को सीखने के लिए पर्यवेक्षित तरीके से प्रशिक्षित किया गया था।<ref name=NeuralAbstractionPyramid>{{cite book |last=Behnke |first=Sven |year=2003 |title=छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क|url= https://www.researchgate.net/publication/220688219 |series=Lecture Notes in Computer Science |volume=2766 |publisher=Springer |doi= 10.1007/b11963|isbn=978-3-540-40722-5 |s2cid=1304548 }}</ref> 2011 में,<ref name="glorot2011"/>गैर-रैखिकता के रूप में रेक्टिफायर का उपयोग [[ बिना पर्यवेक्षण के सीखना |बिना पर्यवेक्षण के सीखना]] प्री-ट्रेनिंग की आवश्यकता के बिना गहन [[ पर्यवेक्षित अध्ययन |पर्यवेक्षित अध्ययन]] न्यूरल नेटवर्क को प्रशिक्षित करने में सक्षम बनाता है। [[सिग्मॉइड फ़ंक्शन]] या समान सक्रियण फ़ंक्शंस की तुलना में रेक्टिफाइड रैखिक इकाइयाँ, बड़े और जटिल डेटासेट पर गहरे तंत्रिका आर्किटेक्चर के तेज़ और प्रभावी प्रशिक्षण की अनुमति देती हैं।
+तंत्रिका अमूर्त पिरामिड में विशिष्ट उत्तेजना और अनिर्दिष्ट अवरोध को अलग करने के लिए सुधारात्मक सक्रियण कार्यों का उपयोग किया गया था, जिसे कई कंप्यूटर दृष्टि कार्यों को सीखने के लिए पर्यवेक्षित तरीके से प्रशिक्षित किया गया था।<ref name=NeuralAbstractionPyramid>{{cite book |last=Behnke |first=Sven |year=2003 |title=छवि व्याख्या के लिए पदानुक्रमित तंत्रिका नेटवर्क|url= https://www.researchgate.net/publication/220688219 |series=Lecture Notes in Computer Science |volume=2766 |publisher=Springer |doi= 10.1007/b11963|isbn=978-3-540-40722-5 |s2cid=1304548 }}</ref>  इस कारण 2011 में,<ref name="glorot2011"/>गैर-रैखिकता के रूप में रेक्टिफायर का उपयोग [[ बिना पर्यवेक्षण के सीखना |बिना पर्यवेक्षण के सीखना]] प्री-ट्रेनिंग की आवश्यकता के बिना गहन [[ पर्यवेक्षित अध्ययन |पर्यवेक्षित अध्ययन]] न्यूरल नेटवर्क को प्रशिक्षित करने में सक्षम बनाता है। [[सिग्मॉइड फ़ंक्शन|सिग्मॉइड फलन]] या समान सक्रियण फलन की तुलना में रेक्टिफाइड रैखिक इकाइयाँ, बड़े और जटिल डेटासेट पर गहरे तंत्रिका आर्किटेक्चर के तेज़ और प्रभावी प्रशिक्षण की अनुमति देती हैं।
 == संभावित समस्याएँ ==
-* शून्य पर अभेद्य; हालाँकि, यह कहीं और भिन्न है, और शून्य पर व्युत्पन्न का मान मनमाने ढंग से 0 या 1 चुना जा सकता है।
+* शून्य पर अभेद्य, चूंकि, यह कहीं और भिन्न है, और शून्य पर व्युत्पन्न का मान मनमाने ढंग से 0 या 1 चुना जा सकता है।
 *शून्य केन्द्रित नहीं.
 * असीमित.
-* मरती हुई ReLU समस्या: ReLU (सुधारित रैखिक इकाई) न्यूरॉन्स को कभी-कभी ऐसी स्थिति में धकेल दिया जा सकता है जहां वे अनिवार्य रूप से सभी इनपुट के लिए निष्क्रिय हो जाते हैं। इस अवस्था में, कोई भी ग्रेडिएंट न्यूरॉन के माध्यम से पीछे की ओर प्रवाहित नहीं होता है, और इसलिए न्यूरॉन हमेशा के लिए निष्क्रिय अवस्था में फंस जाता है और मर जाता है। यह लुप्त हो रही ग्रेडिएंट समस्या का रूप है। कुछ मामलों में, नेटवर्क में बड़ी संख्या में न्यूरॉन्स मृत अवस्था में फंस सकते हैं, जिससे प्रभावी रूप से मॉडल क्षमता कम हो सकती है। यह समस्या आम तौर पर तब उत्पन्न होती है जब सीखने की दर बहुत अधिक निर्धारित की जाती है। इसके बजाय लीकी ReLUs का उपयोग करके इसे कम किया जा सकता है, जो x <0 के लिए छोटा सा सकारात्मक ढलान निर्दिष्ट करता है; हालाँकि, प्रदर्शन कम हो गया है।
+* खत्म होने वाली ReLU समस्याएं: ReLU (सुधारित रैखिक इकाई) मुख्यतः न्यूरॉन्स को कभी-कभी ऐसी स्थिति में धकेल दिया जाता है जहां वे अनिवार्य रूप से सभी इनपुट के लिए निष्क्रिय हो जाते हैं। इस अवस्था में, कोई भी ग्रेडिएंट न्यूरॉन के माध्यम से पीछे की ओर प्रवाहित नहीं होता है, और इसलिए न्यूरॉन सदैव के लिए निष्क्रिय अवस्था में फंस जाता है और खत्म हो जाता है। यह लुप्त हो रही ग्रेडिएंट समस्या का रूप है। कुछ स्थितियों में, नेटवर्क में बड़ी संख्या में न्यूरॉन्स मृत अवस्था में फंस सकते हैं, जिससे प्रभावी रूप से प्रारूप क्षमता कम हो सकती है। यह समस्या सामान्यतः तब उत्पन्न होती है, जब सीखने की दर बहुत अधिक निर्धारित की जाती है। इसके अतिरिक्त लीकी ReLUs का उपयोग करके इसे कम किया जा सकता है, जो x <0 के लिए छोटा सा धनात्मक प्रवणता निर्दिष्ट करता है, चूंकि इसका प्रदर्शन कम हो गया है।
 == वेरिएंट ==
@@ Line 41: / Line 43: @@
 ==== लीक ReLU ====
-जब इकाई सक्रिय नहीं होती है तो लीकी ReLUs छोटे, सकारात्मक ग्रेडिएंट की अनुमति देते हैं,<ref name="maas2014"/>लुप्त हो रही ग्रेडिएंट समस्या को कम करने में मदद करना।
+जब इकाई सक्रिय नहीं होती है तो लीकी ReLUs छोटे, धनात्मक ग्रेडिएंट की अनुमति देते हैं,<ref name="maas2014"/> जो लुप्त होने वाली ग्रेडिएंट समस्या को कम करने में सहायता करता हैं।
 {|
@@ Line 56: / Line 58: @@
 \end{cases}</math>
 |}
 ==== पैरामीट्रिक ReLU ====
 पैरामीट्रिक ReLUs (PReLUs) रिसाव के गुणांक को पैरामीटर में बनाकर इस विचार को आगे ले जाते हैं जिसे अन्य तंत्रिका-नेटवर्क मापदंडों के साथ सीखा जाता है।<ref name="prelu">{{cite arXiv  |eprint=1502.01852 |last1=He |first1=Kaiming |title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification |last2=Zhang |first2=Xiangyu |last3=Ren |first3=Shaoqing |last4=Sun |first4=Jian |class=cs.CV |year=2015}}</ref>
@@ Line 77: / Line 77: @@
 : <math>f(x) = \max(x, ax)</math>
 और इस प्रकार इसका मैक्सआउट नेटवर्क से संबंध है।<ref name="prelu"/>
 === अन्य गैर-रैखिक वेरिएंट ===
 ==== गाऊसी-त्रुटि रैखिक इकाई (GELU) ====
-GELU रेक्टिफायर का सहज सन्निकटन है:
+GELU रेक्टिफायर का सहज फलन है:
 {|
@@ Line 91: / Line 89: @@
 <math>f'(x) = x \cdot \Phi'(x) + \Phi(x)</math>
 |}
-जहां Φ(x) मानक [[सामान्य वितरण]] का संचयी वितरण फ़ंक्शन है। <math>\Phi(x) = P(X \leqslant x)</math>
+जहां Φ(x) मानक [[सामान्य वितरण]] का संचयी वितरण फलन है। इस प्रकार <math>\Phi(x) = P(X \leqslant x)</math> समीकरण प्राप्त होता हैं।
-यह सक्रियण फ़ंक्शन इस आलेख के प्रारंभ में दिए गए चित्र में दिखाया गया है। जब x < 0 होता है तो इसमें गैर-मोनोटोनिक "बम्प" होता है और यह BERT_(भाषा_मॉडल) जैसे मॉडलों के लिए डिफ़ॉल्ट सक्रियण के रूप में कार्य करता है।<ref name="ReferenceA">{{Cite arXiv |eprint = 1606.08415 |title = गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)|last1 = Hendrycks |first1 = Dan |last2 = Gimpel |first2 = Kevin |year = 2016 |class = cs.LG}}</ref>
+यह सक्रियण फलन इस आलेख के प्रारंभ में दिए गए चित्र में दिखाया गया है। जब x < 0 होता है, तो इसमें गैर-मोनोटोनिक "बम्प" होता है और यह BERT_(भाषा_प्रारूप) जैसे प्रारूपों के लिए डिफ़ॉल्ट सक्रियण के रूप में कार्य करता है।<ref name="ReferenceA">{{Cite arXiv |eprint = 1606.08415 |title = गाऊसी त्रुटि रैखिक इकाइयाँ (GELUs)|last1 = Hendrycks |first1 = Dan |last2 = Gimpel |first2 = Kevin |year = 2016 |class = cs.LG}}</ref>
 ==== सिलु ====
-{{main|Swish function}}
+{{main|स्विश फलन}}
-SiLU (सिग्मॉइड लीनियर यूनिट) या [[स्विश फ़ंक्शन]]<ref name="Misra"/>यह और सहज सन्निकटन है, जिसे सबसे पहले GELU पेपर में गढ़ा गया था:<ref name="ReferenceA"/>
+SiLU (सिग्मॉइड लीनियर यूनिट) या [[स्विश फ़ंक्शन|स्विश फलन]]<ref name="Misra"/> मुख्यतः सहज फलन है, जिसे सबसे पहले GELU पेपर में गढ़ा गया था:<ref name="ReferenceA"/>
 {|
@@ Line 106: / Line 103: @@
 <math>f'(x) = x \cdot \operatorname{sigmoid}'(x) + \operatorname{sigmoid}(x)</math>
 |}
-कहाँ <math>\operatorname{sigmoid}(x)</math> सिग्मॉइड फ़ंक्शन है.
+कहाँ <math>\operatorname{sigmoid}(x)</math> सिग्मॉइड फलन है.
 ====सॉफ्टप्लस====
-रेक्टिफायर का सहज सन्निकटन [[विश्लेषणात्मक कार्य]] है
+रेक्टिफायर का सहज फलन [[विश्लेषणात्मक कार्य]] है
 {|
@@ Line 119: / Line 116: @@
 <math>f'(x) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}}</math>
 |}
-जिसे सॉफ्टप्लस कहा जाता है<ref>{{Cite journal |last1=Dugas |first1=Charles
+जिसे सॉफ्टप्लस या स्मूथरेलू फलन कहा जाता है<ref>{{Cite journal |last1=Dugas |first1=Charles
   |last2=Bengio |first2=Yoshua
   |last3=Bélisle |first3=François
@@ Line 130: / Line 127: @@
   |pages=451–457
   |quote=Since the sigmoid ''h'' has a positive first derivative, its primitive, which we call softplus, is convex.
-}}</ref><ref name="glorot2011" />या स्मूथरेलू फ़ंक्शन।<ref>{{Cite web |url=https://software.intel.com/sites/products/documentation/doclib/daal/daal-user-and-reference-guides/daal_prog_guide/GUID-FAC73B9B-A597-4F7D-A5C4-46707E4A92A0.htm
+}}</ref><ref name="glorot2011" /><ref>{{Cite web |url=https://software.intel.com/sites/products/documentation/doclib/daal/daal-user-and-reference-guides/daal_prog_guide/GUID-FAC73B9B-A597-4F7D-A5C4-46707E4A92A0.htm
   |title=Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer
   |date=2017
@@ Line 136: / Line 133: @@
   |language=en-US
   |access-date=2018-12-04
-}}</ref> बड़े नकारात्मक के लिए <math>x</math> यह मोटे तौर पर है <math>\ln 1</math>, तो 0 से ठीक ऊपर, जबकि बड़े सकारात्मक के लिए <math>x</math> यह मोटे तौर पर है <math>\ln(e^x)</math>, तो बस ऊपर <math>x</math>.
+}}</ref> इस प्रकार बड़े ऋणात्मक मान के लिए <math>x</math> यह मुख्य रूप से  <math>\ln 1</math> मान के लिए उपयोग करते है, तो इस प्रकार यह 0 से ठीक ऊपर प्राप्त होता हैं, जबकि इस प्रकार के बड़े धनात्मक मानों के लिए <math>x</math> को मुख्य रूप से <math>\ln(e^x)</math> के ऊपर रखते है, तो इस प्रकार <math>x</math> का मान इस प्रकार प्राप्त होता हैं।
-एक तीक्ष्णता पैरामीटर <math>k</math> शामिल किया जा सकता है:
+एक तीक्ष्णता पैरामीटर <math>k</math> सम्मिलित किया जा सकता है:
 {|
@@ Line 147: / Line 144: @@
 <math>f'(x) = \frac{e^{kx}}{1 + e^{kx}} = \frac{1}{1 + e^{-kx}}</math>
 |}
-सॉफ्टप्लस का व्युत्पन्न लॉजिस्टिक फ़ंक्शन है।
+सॉफ्टप्लस का व्युत्पन्न लॉजिस्टिक फलन है।
-लॉजिस्टिक सिग्मॉइड फ़ंक्शन रेक्टिफायर के व्युत्पन्न, [[हेविसाइड स्टेप फ़ंक्शन]] का सहज अनुमान है।
+लॉजिस्टिक सिग्मॉइड फलन रेक्टिफायर के व्युत्पन्न, [[हेविसाइड स्टेप फ़ंक्शन|हेविसाइड स्टेप फलन]] का सहज अनुमान है।
-सिंगल-वेरिएबल सॉफ्टप्लस का बहुपरिवर्तनीय सामान्यीकरण [[LogSumExp]] है जिसमें पहला तर्क शून्य पर सेट है:
+सिंगल-वेरिएबल सॉफ्टप्लस का बहुपरिवर्तनीय सामान्यीकरण [[LogSumExp]] है, जिसमें पहला तर्क शून्य पर स्थिर रहता है:
 : <math>\operatorname{LSE_0}^+(x_1, \dots, x_n) := \operatorname{LSE}(0, x_1, \dots, x_n) = \ln\left(1 + e^{x_1} + \cdots + e^{x_n} \right).</math>
-LogSumExp फ़ंक्शन है
+LogSumExp फलन है।
 : <math>\operatorname{LSE}(x_1, \dots, x_n) = \ln\left(e^{x_1} + \cdots + e^{x_n}\right),</math>
-और इसका ग्रेडिएंट [[सॉफ्टमैक्स फ़ंक्शन]] है; शून्य पर सेट किए गए पहले तर्क के साथ सॉफ्टमैक्स लॉजिस्टिक फ़ंक्शन का बहुपरिवर्तनीय सामान्यीकरण है। मशीन लर्निंग में LogSumExp और Softmax दोनों का उपयोग किया जाता है।
+और इसका ग्रेडिएंट [[सॉफ्टमैक्स फ़ंक्शन|सॉफ्टमैक्स फलन]] है, जो शून्य पर स्थिर किए गए पहले तर्क के साथ सॉफ्टमैक्स लॉजिस्टिक फलन का बहुपरिवर्तनीय सामान्यीकरण है। इसके आधार पर मशीन लर्निंग में LogSumExp और Softmax दोनों का उपयोग किया जाता है।
 ==== ईएलयू ====
-घातीय रैखिक इकाइयाँ माध्य सक्रियणों को शून्य के करीब बनाने का प्रयास करती हैं, जिससे सीखने की गति बढ़ती है। यह दिखाया गया है कि ELUs ReLUs की तुलना में उच्च वर्गीकरण सटीकता प्राप्त कर सकते हैं।<ref>{{Cite arXiv |eprint=1511.07289 |last1=Clevert |first1=Djork-Arné |title=एक्सपोनेंशियल लीनियर यूनिट्स (ईएलयू) द्वारा तेज़ और सटीक डीप नेटवर्क लर्निंग|last2=Unterthiner |first2=Thomas |last3=Hochreiter |first3=Sepp |class=cs.LG |year=2015}}</ref>
+घातीय रैखिक इकाइयाँ माध्य सक्रियणों को शून्य को समीप बनाने का प्रयास करती हैं, जिससे सीखने की गति बढ़ती है। यह दिखाया गया है कि ELUs ReLUs की तुलना में उच्च वर्गीकरण सटीकता प्राप्त कर सकते हैं।<ref>{{Cite arXiv |eprint=1511.07289 |last1=Clevert |first1=Djork-Arné |title=एक्सपोनेंशियल लीनियर यूनिट्स (ईएलयू) द्वारा तेज़ और सटीक डीप नेटवर्क लर्निंग|last2=Unterthiner |first2=Thomas |last3=Hochreiter |first3=Sepp |class=cs.LG |year=2015}}</ref>
 {|
@@ Line 173: / Line 170: @@
 \end{cases}</math>
 |}
-इन सूत्रों में, <math>a</math> [[हाइपरपैरामीटर (मशीन लर्निंग)]] है | हाइपर-पैरामीटर जिसे बाधा के साथ ट्यून किया जाना है <math>a \geq 0</math>.
+इन सूत्रों में, <math>a</math> [[हाइपरपैरामीटर (मशीन लर्निंग)]] है | हाइपर-पैरामीटर जिसे बाधा के साथ <math>a \geq 0</math> ट्यून किया जाना है।
-ELU को स्थानांतरित ReLU (SReLU) के सुचारू संस्करण के रूप में देखा जा सकता है, जिसका स्वरूप है <math>f(x) = \max(-a, x)</math>, की वही व्याख्या दी गई है <math>a</math>.
+ELU को स्थानांतरित ReLU (SReLU) के सुचारू संस्करण के रूप में देखा जा सकता है, जिसका स्वरूप <math>f(x) = \max(-a, x)</math> है। इस प्रकार  <math>a</math> की वही व्याख्या दी गई है।
 ==== मिश ====
-मिश फ़ंक्शन का उपयोग रेक्टिफायर के सुचारू सन्निकटन के रूप में भी किया जा सकता है।<ref name="Misra">{{citation |url=https://www.bmvc2020-conference.com/assets/papers/0928.pdf |title=Mish: A Self Regularized Non-Monotonic Activation Function |author1=Diganta Misra |arxiv=1908.08681v1 |date=23 Aug 2019 |access-date=26 March 2022}}.</ref> इसे इस प्रकार परिभाषित किया गया है
+मिश फलन का उपयोग रेक्टिफायर के सुचारू फलन के रूप में भी किया जा सकता है।<ref name="Misra">{{citation |url=https://www.bmvc2020-conference.com/assets/papers/0928.pdf |title=Mish: A Self Regularized Non-Monotonic Activation Function |author1=Diganta Misra |arxiv=1908.08681v1 |date=23 Aug 2019 |access-date=26 March 2022}}.</ref> इसे इस प्रकार परिभाषित किया गया है
 : <math>f(x) = x \tanh\big(\operatorname{softplus}(x)\big),</math>
-कहाँ <math>\tanh(x)</math> अतिशयोक्तिपूर्ण स्पर्शज्या है, और <math>\operatorname{softplus}(x)</math> [[सॉफ्टप्लस]] फ़ंक्शन है।
+जहाँ <math>\tanh(x)</math> अतिशयोक्तिपूर्ण स्पर्शज्या है, और <math>\operatorname{softplus}(x)</math> [[सॉफ्टप्लस]] फलन है।
-मिश गैर-[[ एकरस | एकरस]] और [[स्व-गेटेड]] है।<ref name=shaw>{{Cite web |last=Shaw |first=Sweta |date=2020-05-10 |title=प्रयोगों की तुलना में सक्रियण कार्य|url=https://wandb.ai/shweta/Activation%20Functions/reports/Activation-Functions-Compared-with-Experiments--VmlldzoxMDQwOTQ |access-date=2022-07-11 |website=W&B |language=en}}</ref> यह [[स्विश (फ़ंक्शन)]] से प्रेरित था, जो स्वयं [[ReLU]] का प्रकार था।<ref name=shaw/>
+मिश गैर-[[ एकरस | एकरस]] और [[स्व-गेटेड]] है।<ref name=shaw>{{Cite web |last=Shaw |first=Sweta |date=2020-05-10 |title=प्रयोगों की तुलना में सक्रियण कार्य|url=https://wandb.ai/shweta/Activation%20Functions/reports/Activation-Functions-Compared-with-Experiments--VmlldzoxMDQwOTQ |access-date=2022-07-11 |website=W&B |language=en}}</ref> यह [[स्विश (फ़ंक्शन)|स्विश (फलन)]] से प्रेरित था, जो स्वयं [[ReLU]] का प्रकार था।<ref name=shaw/>
 ==== स्क्वायरप्लस ====
-स्क्वायरप्लस<ref>{{cite arXiv |last=Barron |first=Jonathan T. |eprint=2112.11687 |title=Squareplus: A Softplus-Like Algebraic Rectifier |class=cs.NE |date=22 December 2021}}</ref> कार्य है
+स्क्वायरप्लस<ref>{{cite arXiv |last=Barron |first=Jonathan T. |eprint=2112.11687 |title=Squareplus: A Softplus-Like Algebraic Rectifier |class=cs.NE |date=22 December 2021}}</ref> फलन है।
 :<math>\operatorname{squareplus}_b(x) = \frac{x + \sqrt{x^2 + b}}{2}</math>
-कहाँ <math>b \geq 0</math> हाइपरपैरामीटर है जो पास के घुमावदार क्षेत्र का आकार निर्धारित करता है <math>x = 0</math>. (उदाहरण के लिए, देना <math>b = 0</math> ReLU उत्पन्न करता है, और देता है <math>b = 4</math> [[धात्विक माध्य]] फलन प्राप्त होता है।)
+जहाँ <math>b \geq 0</math> हाइपरपैरामीटर है जो पास के घुमावदार क्षेत्र का आकार <math>x = 0</math> निर्धारित करता है। उदाहरण के लिए, देना <math>b = 0</math> ReLU उत्पन्न करता है, और यह <math>b = 4</math> मान देता है, जिसके द्वारा [[धात्विक माध्य]] फलन प्राप्त होता है।
-स्क्वायरप्लस सॉफ्टप्लस के साथ कई गुण साझा करता है: यह [[मोनोटोनिक फ़ंक्शन]] है, सख्ती से [[सकारात्मक (गणित)]], 0 के रूप में पहुंचता है <math>x \to -\infty</math>, पहचान के रूप में दृष्टिकोण करता है <math>x \to +\infty</math>, और है <math>C^\infty</math> [[सुचारू कार्य]]. हालाँकि, स्क्वायरप्लस की गणना केवल [[बीजगणितीय कार्य]]ों का उपयोग करके की जा सकती है, जिससे यह उन सेटिंग्स के लिए उपयुक्त है जहां कम्प्यूटेशनल संसाधन या निर्देश सेट सीमित हैं। इसके अतिरिक्त, स्क्वेयरप्लस को संख्यात्मक स्थिरता सुनिश्चित करने के लिए किसी विशेष विचार की आवश्यकता नहीं होती है <math>x</math> बड़ी है।
+स्क्वायरप्लस सॉफ्टप्लस के साथ कई गुण साझा करता है: यह [[मोनोटोनिक फ़ंक्शन|मोनोटोनिक फलन]] है, इसका सख्ती से [[सकारात्मक (गणित)|धनात्मक (गणित)]], 0 के रूप में <math>x \to -\infty</math> तक पहुंचता है, इसकी पहचान के लिए <math>x \to +\infty</math> दृष्टिकोण उपयोग किया जाता है, और इसका मान <math>C^\infty</math> है। जो [[सुचारू कार्य]] करने में सफल हैं। चूंकि स्क्वायरप्लस की गणना केवल [[बीजगणितीय कार्य|बीजगणितीय]] फलन का उपयोग करके की जा सकती है, जिससे यह उन सेटिंग्स के लिए उपयुक्त है, जहां कम्प्यूटेशनल संसाधन या निर्देश सेट सीमित हैं। इसके अतिरिक्त, स्क्वेयरप्लस को संख्यात्मक स्थिरता सुनिश्चित करने के लिए किसी विशेष विचार की आवश्यकता नहीं होती है, जो <math>x</math> के मान से अधिक है।
 ==यह भी देखें==
-*सॉफ्टमैक्स फ़ंक्शन
+*सॉफ्टमैक्स फलन
-*सिग्मॉइड फ़ंक्शन
+*सिग्मॉइड फलन
-*[[टोबिट मॉडल]]
+*[[टोबिट मॉडल|टोबिट प्रारूप]]
 *[[परत (गहन शिक्षा)]]

Anonymous

Search

दिष्टकारी (तंत्रिका नेटवर्क): Difference between revisions

Namespaces

More

Page actions

Revision as of 23:30, 17 July 2023

Contents

लाभ

संभावित समस्याएँ