स्विश फलन: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| (4 intermediate revisions by 3 users not shown) | |||
| Line 1: | Line 1: | ||
{{Short description|Mathematical activation function in data analysis}} | {{Short description|Mathematical activation function in data analysis}} | ||
'''स्विश फलन''' एक फलन (गणित) है जिसे निम्नानुसार परिभाषित किया गया है: | '''स्विश फलन''' एक फलन (गणित) है जिसे निम्नानुसार परिभाषित किया गया है: | ||
: [[File:Swish.svg|thumb|स्विश समारोह]]<math>\operatorname{swish}(x) = x \operatorname{sigmoid}(\beta x) = \frac{x}{1+e^{-\beta x}}.</math><ref name="Ramachandran-Zoph-Le_2017_v2"/> | : [[File:Swish.svg|thumb|स्विश समारोह]]<math>\operatorname{swish}(x) = x \operatorname{sigmoid}(\beta x) = \frac{x}{1+e^{-\beta x}}.</math><ref name="Ramachandran-Zoph-Le_2017_v2"/> | ||
जहां β या तो स्थिर है या मॉडल के आधार पर प्रशिक्षित करने योग्य पैरामीटर है। β= 1 के लिए, फलन सिग्मॉइड लीनियर यूनिट के बराबर हो जाता है<ref name="Hendrycks-Gimpel_2016"/> या SiLU, पहली बार 2016 में दिष्टकारी (रेक्टिफायर) के साथ प्रस्तावित किया गया था। SiLU को बाद में 2017 में सिग्मॉइड-वेटेड लीनियर यूनिट (SiL) फलन के रूप में सुदृढीकरण सीखने में उपयोग किया गया था।<ref name="Elfwing-Uchibe-Doya_2017"/><ref name="Ramachandran-Zoph-Le_2017_v2"/> SiLU / SiL को इसकी प्रारंभिक खोज के एक साल बाद फिर से स्विश के रूप में फिर से खोजा गया, मूल रूप से सीखने योग्य पैरामीटर β के बिना प्रस्तावित किया गया था, ताकि β निहित रूप से 1 के बराबर हो। फिर सीखने योग्य पैरामीटर β के साथ सक्रियता का प्रस्ताव देने के लिए स्विश पेपर को अपडेट किया गया, हालांकि शोधकर्ता प्रायः β= 1 देते हैं और सीखने योग्य पैरामीटर β का उपयोग नहीं करते हैं। β = 0 के लिए, फलन स्केल किए गए रैखिक फलन f(x) = x/2 में बदल जाता है।<ref name="Ramachandran-Zoph-Le_2017_v2"/>β→ ∞ के साथ, [[सिग्मॉइड फ़ंक्शन|सिग्मॉइड फलन]] घटक 0-1 फलन बिंदुवार पहुंचता है, इसलिए स्वाइप ReLU फलन बिंदुवार पहुंचता है। इस प्रकार, इसे एक स्मूथिंग फलन के रूप में देखा जा सकता है जो एक रेखीय फलन और ReLU फलन के बीच गैर-रैखिक रूप से प्रक्षेपित होता है।<ref name="Ramachandran-Zoph-Le_2017_v2"/> यह फलन गैर-एकरसता का उपयोग करता है और हो सकता है कि इस संपत्ति के साथ मिश जैसे अन्य सक्रियण फलन के प्रस्ताव को प्रभावित किया हो।<ref>{{cite arXiv|last=Misra|first=Diganta|date=2019|title=Mish: A Self Regularized Non-Monotonic Neural Activation Function|class=cs.LG|eprint=1908.08681}}</ref> | जहां β या तो स्थिर है या मॉडल के आधार पर प्रशिक्षित करने योग्य पैरामीटर है। β= 1 के लिए, फलन '''सिग्मॉइड लीनियर यूनिट''' के बराबर हो जाता है<ref name="Hendrycks-Gimpel_2016"/> या SiLU, पहली बार 2016 में दिष्टकारी (रेक्टिफायर) के साथ प्रस्तावित किया गया था। SiLU को बाद में 2017 में '''सिग्मॉइड-वेटेड लीनियर यूनिट''' (SiL) फलन के रूप में सुदृढीकरण सीखने में उपयोग किया गया था।<ref name="Elfwing-Uchibe-Doya_2017"/><ref name="Ramachandran-Zoph-Le_2017_v2"/> SiLU / SiL को इसकी प्रारंभिक खोज के एक साल बाद फिर से स्विश के रूप में फिर से खोजा गया, मूल रूप से सीखने योग्य पैरामीटर β के बिना प्रस्तावित किया गया था, ताकि β निहित रूप से 1 के बराबर हो। फिर सीखने योग्य पैरामीटर β के साथ सक्रियता का प्रस्ताव देने के लिए स्विश पेपर को अपडेट किया गया, हालांकि शोधकर्ता प्रायः β= 1 देते हैं और सीखने योग्य पैरामीटर β का उपयोग नहीं करते हैं। β = 0 के लिए, फलन स्केल किए गए रैखिक फलन f(x) = x/2 में बदल जाता है।<ref name="Ramachandran-Zoph-Le_2017_v2"/>β→ ∞ के साथ, [[सिग्मॉइड फ़ंक्शन|सिग्मॉइड फलन]] घटक 0-1 फलन बिंदुवार पहुंचता है, इसलिए स्वाइप ReLU फलन बिंदुवार पहुंचता है। इस प्रकार, इसे एक स्मूथिंग फलन के रूप में देखा जा सकता है जो एक रेखीय फलन और ReLU फलन के बीच गैर-रैखिक रूप से प्रक्षेपित होता है।<ref name="Ramachandran-Zoph-Le_2017_v2"/> यह फलन गैर-एकरसता का उपयोग करता है और हो सकता है कि इस संपत्ति के साथ मिश जैसे अन्य सक्रियण फलन के प्रस्ताव को प्रभावित किया हो।<ref>{{cite arXiv|last=Misra|first=Diganta|date=2019|title=Mish: A Self Regularized Non-Monotonic Neural Activation Function|class=cs.LG|eprint=1908.08681}}</ref> | ||
घनात्मक मूल्यों पर विचार करते समय, स्विश<ref>{{Cite journal |last1=Atto |first1=Abdourrahmane M. |last2=Pastor |first2=Dominique |last3=Mercier |first3=Gregoire |date=March 2008 |title=गैर-पैरामीट्रिक अनुमान के लिए चिकना सिग्मॉइड तरंगिका संकोचन|url=https://ieeexplore.ieee.org/document/4518347 |journal=2008 IEEE International Conference on Acoustics, Speech and Signal Processing |pages=3265–3268 |doi=10.1109/ICASSP.2008.4518347|isbn=978-1-4244-1483-3 |s2cid=9959057 }}</ref> में परिभाषित सिग्मॉइड संकोचन फलन का एक विशेष मामला है (इस संदर्भ के समीकरण (3) द्वारा दिए गए दोहरे पैरामीटरयुक्त सिग्मॉइड संकोचन फॉर्म देखें)। | |||
== अनुप्रयोगसहायता == | == अनुप्रयोगसहायता == | ||
| Line 20: | Line 18: | ||
<ref name="Sefiks_2018">{{cite web |title=Swish as Neural Networks Activation Function |first=Sefik Ilkin |last=Serengil |series=Machine Learning, Math |date=2018-08-21 |url=https://sefiks.com/2018/08/21/swish-as-neural-networks-activation-function/ |access-date=2020-06-18 |url-status=live |archive-url=https://web.archive.org/web/20200618093348/https://sefiks.com/2018/08/21/swish-as-neural-networks-activation-function/ |archive-date=2020-06-18}}</ref> | <ref name="Sefiks_2018">{{cite web |title=Swish as Neural Networks Activation Function |first=Sefik Ilkin |last=Serengil |series=Machine Learning, Math |date=2018-08-21 |url=https://sefiks.com/2018/08/21/swish-as-neural-networks-activation-function/ |access-date=2020-06-18 |url-status=live |archive-url=https://web.archive.org/web/20200618093348/https://sefiks.com/2018/08/21/swish-as-neural-networks-activation-function/ |archive-date=2020-06-18}}</ref> | ||
}} | }} | ||
[[Category:Created On 15/06/2023]] | [[Category:Created On 15/06/2023]] | ||
[[Category:Lua-based templates]] | |||
[[Category:Machine Translated Page]] | |||
[[Category:Pages with script errors]] | |||
[[Category:Templates Vigyan Ready]] | |||
[[Category:Templates that add a tracking category]] | |||
[[Category:Templates that generate short descriptions]] | |||
[[Category:Templates using TemplateData]] | |||
[[Category:कार्य और मानचित्रण]] | |||
[[Category:कृत्रिम तंत्रिका प्रसार]] | |||
Latest revision as of 18:00, 16 July 2023
स्विश फलन एक फलन (गणित) है जिसे निम्नानुसार परिभाषित किया गया है:
जहां β या तो स्थिर है या मॉडल के आधार पर प्रशिक्षित करने योग्य पैरामीटर है। β= 1 के लिए, फलन सिग्मॉइड लीनियर यूनिट के बराबर हो जाता है[2] या SiLU, पहली बार 2016 में दिष्टकारी (रेक्टिफायर) के साथ प्रस्तावित किया गया था। SiLU को बाद में 2017 में सिग्मॉइड-वेटेड लीनियर यूनिट (SiL) फलन के रूप में सुदृढीकरण सीखने में उपयोग किया गया था।[3][1] SiLU / SiL को इसकी प्रारंभिक खोज के एक साल बाद फिर से स्विश के रूप में फिर से खोजा गया, मूल रूप से सीखने योग्य पैरामीटर β के बिना प्रस्तावित किया गया था, ताकि β निहित रूप से 1 के बराबर हो। फिर सीखने योग्य पैरामीटर β के साथ सक्रियता का प्रस्ताव देने के लिए स्विश पेपर को अपडेट किया गया, हालांकि शोधकर्ता प्रायः β= 1 देते हैं और सीखने योग्य पैरामीटर β का उपयोग नहीं करते हैं। β = 0 के लिए, फलन स्केल किए गए रैखिक फलन f(x) = x/2 में बदल जाता है।[1]β→ ∞ के साथ, सिग्मॉइड फलन घटक 0-1 फलन बिंदुवार पहुंचता है, इसलिए स्वाइप ReLU फलन बिंदुवार पहुंचता है। इस प्रकार, इसे एक स्मूथिंग फलन के रूप में देखा जा सकता है जो एक रेखीय फलन और ReLU फलन के बीच गैर-रैखिक रूप से प्रक्षेपित होता है।[1] यह फलन गैर-एकरसता का उपयोग करता है और हो सकता है कि इस संपत्ति के साथ मिश जैसे अन्य सक्रियण फलन के प्रस्ताव को प्रभावित किया हो।[4]
घनात्मक मूल्यों पर विचार करते समय, स्विश[5] में परिभाषित सिग्मॉइड संकोचन फलन का एक विशेष मामला है (इस संदर्भ के समीकरण (3) द्वारा दिए गए दोहरे पैरामीटरयुक्त सिग्मॉइड संकोचन फॉर्म देखें)।
अनुप्रयोगसहायता
2017 में, ImageNet (इमेज नेट) डेटा पर विश्लेषण करने के बाद, गूगल के शोधकर्ताओं ने संकेत दिया कि ReLU और सिग्मॉइड फ़ंक्शंस की तुलना में कृत्रिम तंत्रिका नेटवर्क (आर्टिफिशियल न्यूरल नेटवर्क) में सक्रियण फलन के रूप में इस फलन का उपयोग करने से प्रदर्शन में सुधार होता है।[1] ऐसा माना जाता है कि सुधार का एक कारण यह है कि स्विश फलन बैकप्रॉपैगेशन के समय लुप्त होने वाली ग्रेडिएंट समस्या को कम करने में करता है।[6]
संदर्भ
- ↑ 1.0 1.1 1.2 1.3 1.4 Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (2017-10-27). "Searching for Activation Functions". arXiv:1710.05941v2 [cs.NE].
- ↑ Hendrycks, Dan; Gimpel, Kevin (2016). "Gaussian Error Linear Units (GELUs)". arXiv:1606.08415 [cs.LG].
- ↑ Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2017-11-02). "Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning". arXiv:1702.03118v3 [cs.LG].
- ↑ Misra, Diganta (2019). "Mish: A Self Regularized Non-Monotonic Neural Activation Function". arXiv:1908.08681 [cs.LG].
- ↑ Atto, Abdourrahmane M.; Pastor, Dominique; Mercier, Gregoire (March 2008). "गैर-पैरामीट्रिक अनुमान के लिए चिकना सिग्मॉइड तरंगिका संकोचन". 2008 IEEE International Conference on Acoustics, Speech and Signal Processing: 3265–3268. doi:10.1109/ICASSP.2008.4518347. ISBN 978-1-4244-1483-3. S2CID 9959057.
- ↑ Serengil, Sefik Ilkin (2018-08-21). "Swish as Neural Networks Activation Function". Machine Learning, Math. Archived from the original on 2020-06-18. Retrieved 2020-06-18.
