स्विश फलन
स्विश फ़ंक्शन एक फ़ंक्शन (गणित) है जिसे निम्नानुसार परिभाषित किया गया है:
जहां β या तो स्थिर है या मॉडल के आधार पर प्रशिक्षित करने योग्य पैरामीटर है। β= 1 के लिए, फ़ंक्शन सिग्मॉइड लीनियर यूनिट के बराबर हो जाता है[2]या SiLU, पहली बार 2016 में रेक्टिफायर (तंत्रिका नेटवर्क) के साथ प्रस्तावित किया गया था। SiLU को बाद में 2017 में सिग्मॉइड-वेटेड लीनियर यूनिट (SiL) फ़ंक्शन के रूप में सुदृढीकरण सीखने में उपयोग किया गया था।[3][1]SiLU / SiL को इसकी प्रारंभिक खोज के एक साल बाद फिर से स्विश के रूप में फिर से खोजा गया, मूल रूप से सीखने योग्य पैरामीटर β के बिना प्रस्तावित किया गया था, ताकि β निहित रूप से 1 के बराबर हो। फिर सीखने योग्य पैरामीटर β के साथ सक्रियता का प्रस्ताव देने के लिए स्विश पेपर को अपडेट किया गया, हालांकि शोधकर्ता आमतौर पर β= 1 देते हैं और सीखने योग्य पैरामीटर β का उपयोग नहीं करते हैं। β = 0 के लिए, फ़ंक्शन स्केल किए गए रैखिक फ़ंक्शन f(x) = x/2 में बदल जाता है।[1]β→ ∞ के साथ, सिग्मॉइड फ़ंक्शन घटक 0-1 फ़ंक्शन बिंदुवार पहुंचता है, इसलिए स्वाइप ReLU फ़ंक्शन बिंदुवार पहुंचता है। इस प्रकार, इसे एक स्मूथिंग फ़ंक्शन के रूप में देखा जा सकता है जो एक रेखीय फ़ंक्शन और ReLU फ़ंक्शन के बीच गैर-रैखिक रूप से प्रक्षेपित होता है।[1]यह फ़ंक्शन गैर-एकरसता का उपयोग करता है, और इस संपत्ति के साथ अन्य सक्रियण कार्यों के प्रस्ताव को प्रभावित कर सकता है जैसे कि मिश (फ़ंक्शन)।[4] सकारात्मक मूल्यों पर विचार करते समय, स्विश सिग्मॉइड सिकुड़न फ़ंक्शन का एक विशेष मामला है जिसे में परिभाषित किया गया है [5] (इस संदर्भ के समीकरण (3) द्वारा दिया गया दोगुना पैरामीटरयुक्त सिग्मॉइड संकोचन रूप देखें)।
अनुप्रयोग
2017 में, ImageNet डेटा पर विश्लेषण करने के बाद, Google के शोधकर्ताओं ने संकेत दिया कि ReLU और सिग्मॉइड फ़ंक्शंस की तुलना में कृत्रिम तंत्रिका नेटवर्क में सक्रियण फ़ंक्शन के रूप में इस फ़ंक्शन का उपयोग करने से प्रदर्शन में सुधार होता है।[1]यह माना जाता है कि सुधार का एक कारण यह है कि स्विश फ़ंक्शन backpropagation के दौरान लुप्त हो रही ढाल की समस्या को कम करने में मदद करता है।[6]
संदर्भ
- ↑ 1.0 1.1 1.2 1.3 1.4 Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (2017-10-27). "Searching for Activation Functions". arXiv:1710.05941v2 [cs.NE].
- ↑ Hendrycks, Dan; Gimpel, Kevin (2016). "Gaussian Error Linear Units (GELUs)". arXiv:1606.08415 [cs.LG].
- ↑ Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2017-11-02). "Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning". arXiv:1702.03118v3 [cs.LG].
- ↑ Misra, Diganta (2019). "Mish: A Self Regularized Non-Monotonic Neural Activation Function". arXiv:1908.08681 [cs.LG].
- ↑ Atto, Abdourrahmane M.; Pastor, Dominique; Mercier, Gregoire (March 2008). "गैर-पैरामीट्रिक अनुमान के लिए चिकना सिग्मॉइड तरंगिका संकोचन". 2008 IEEE International Conference on Acoustics, Speech and Signal Processing: 3265–3268. doi:10.1109/ICASSP.2008.4518347. ISBN 978-1-4244-1483-3. S2CID 9959057.
- ↑ Serengil, Sefik Ilkin (2018-08-21). "Swish as Neural Networks Activation Function". Machine Learning, Math. Archived from the original on 2020-06-18. Retrieved 2020-06-18.
