बहुपरत परसेप्ट्रॉन

मल्टीलेयर परसेप्ट्रॉन (MLP) फीडफॉरवर्ड न्यूरल नेटवर्क कृत्रिम तंत्रिका नेटवर्क (ANN) का पूरी तरह से जुड़ा हुआ वर्ग है। एमएलपी शब्द का प्रयोग अस्पष्ट रूप से किया जाता है, कभी-कभी शिथिल रूप से किसी भी फीडफॉरवर्ड एएनएन का अर्थ होता है, कभी-कभी कड़ाई से परसेप्ट्रॉन की कई परतों से बने नेटवर्क को संदर्भित करने के लिए (थ्रेशोल्ड सक्रियण के साथ); देखना § Terminology. बहुपरत परसेप्ट्रॉन को कभी-कभी बोलचाल की भाषा में वेनिला न्यूरल नेटवर्क के रूप में संदर्भित किया जाता है, खासकर जब उनके पास एक ही छिपी हुई परत होती है। एक MLP में नोड्स की कम से कम तीन परत (डीप लर्निंग) होती हैं: एक इनपुट लेयर, एक हिडन लेयर और एक आउटपुट लेयर। इनपुट नोड्स को छोड़कर, प्रत्येक नोड एक न्यूरॉन है जो एक गैर-रैखिक सक्रियण फ़ंक्शन का उपयोग करता है। एमएलपी एक श्रृंखला नियम का उपयोग करता हैआधारित पर्यवेक्षित शिक्षण तकनीक जिसे प्रशिक्षण के लिए backpropagation या स्वचालित भेदभाव का रिवर्स मोड कहा जाता है। इसकी कई परतें और गैर-रैखिक सक्रियण MLP को एक रेखीय परसेप्ट्रॉन से अलग करते हैं। यह ऐसे डेटा को अलग कर सकता है जो रैखिक पृथक्करणीयता नहीं है।

सिद्धांत

सक्रियण समारोह

यदि एक बहुपरत परसेप्ट्रॉन में सभी न्यूरॉन्स में एक रेखीय सक्रियण कार्य होता है, अर्थात, एक रेखीय कार्य जो प्रत्येक न्यूरॉन के आउटपुट के लिए सिनैप्टिक वजन को मैप करता है, तो रैखिक बीजगणित से पता चलता है कि किसी भी संख्या में परतों को दो-परत इनपुट में घटाया जा सकता है- आउटपुट मॉडल। एमएलपी में कुछ न्यूरॉन एक गैर-रैखिक सक्रियण फ़ंक्शन का उपयोग करते हैं जिसे जैविक न्यूरॉन्स की कार्यवाही संभावना, या फायरिंग की आवृत्ति को मॉडल करने के लिए विकसित किया गया था।

दो ऐतिहासिक रूप से सामान्य सक्रियण कार्य दोनों सिग्मोइड्स हैं, और इनके द्वारा वर्णित हैं

$y(v_{i})=\tanh(v_{i})~~{\textrm {and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}$.

पहला एक अतिपरवलयिक स्पर्शरेखा है जो -1 से 1 तक है, जबकि दूसरा रसद कार्य है, जो आकार में समान है लेकिन 0 से 1 तक है। यहां $y_{i}$ का आउटपुट है $i$वें नोड (न्यूरॉन) और $v_{i}$ इनपुट कनेक्शन का भारित योग है। रेक्टीफायर (तंत्रिका नेटवर्क) कार्यों सहित वैकल्पिक सक्रियण कार्यों का प्रस्ताव किया गया है। अधिक विशिष्ट सक्रियण कार्यों में रेडियल आधार कार्य शामिल हैं (रेडियल आधार नेटवर्क में उपयोग किया जाता है, पर्यवेक्षित तंत्रिका नेटवर्क मॉडल का एक अन्य वर्ग)।

ध्यान लगा के पढ़ना या सीखना के हाल के विकास में शुद्ध करनेवाला (तंत्रिका नेटवर्क) | रेक्टिफाइड लीनियर यूनिट (ReLU) का उपयोग सिग्मोइड्स से संबंधित न्यूमेरिकल लुप्त हो रही ढाल समस्या को दूर करने के संभावित तरीकों में से एक के रूप में अधिक बार किया जाता है।

परतें

Main article: Layer (deep learning)

MLP में तीन या अधिक परतें (एक इनपुट और एक या अधिक छिपी हुई परतों के साथ एक आउटपुट परत) होती हैं, जो गैर-सक्रिय रूप से सक्रिय होती हैं। चूंकि एमएलपी पूरी तरह से जुड़े हुए हैं, एक परत में प्रत्येक नोड एक निश्चित वजन से जुड़ता है $w_{ij}$ अगली परत में हर नोड के लिए।

सीखना

अपेक्षित परिणाम की तुलना में आउटपुट में त्रुटि की मात्रा के आधार पर डेटा के प्रत्येक टुकड़े को संसाधित करने के बाद कनेक्शन वेट को बदलकर परसेप्ट्रॉन में सीखना होता है। यह पर्यवेक्षित सीखने का एक उदाहरण है, और इसे बैकप्रोपैजेशन के माध्यम से किया जाता है, रैखिक परसेप्ट्रॉन में कम से कम औसत वर्ग फ़िल्टर का एक सामान्यीकरण।

हम आउटपुट नोड में त्रुटि की डिग्री का प्रतिनिधित्व कर सकते हैं $j$ में $n$वें डेटा बिंदु (प्रशिक्षण उदाहरण) द्वारा $e_{j}(n)=d_{j}(n)-y_{j}(n)$, कहाँ $d_{j}(n)$ के लिए वांछित लक्ष्य मान है $n$नोड पर वें डेटा बिंदु $j$, और $y_{j}(n)$ नोड पर परसेप्ट्रॉन द्वारा उत्पादित मूल्य है $j$ जब $n$वें डेटा बिंदु को इनपुट के रूप में दिया जाता है।

नोड भार तब सुधार के आधार पर समायोजित किया जा सकता है जो पूरे आउटपुट में त्रुटि को कम करता है $n$वें डेटा बिंदु, द्वारा दिया गया

${\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{output node }}j}e_{j}^{2}(n)$.

ढाल वंश का उपयोग करना, प्रत्येक वजन में परिवर्तन $w_{ij}$ है

$\Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)$

कहाँ $y_{i}(n)$ पिछले न्यूरॉन का आउटपुट है $i$, और $\eta$ सीखने की दर है, जिसे यह सुनिश्चित करने के लिए चुना जाता है कि वज़न बिना किसी दोलन के प्रतिक्रिया में जल्दी से परिवर्तित हो जाए। पिछले अभिव्यक्ति में, ${\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}$ त्रुटि के आंशिक व्युत्पन्न को दर्शाता है ${\mathcal {E}}(n)$ भारित योग के अनुसार $v_{j}(n)$ न्यूरॉन के इनपुट कनेक्शन की $i$.

गणना की जाने वाली व्युत्पत्ति प्रेरित स्थानीय क्षेत्र पर निर्भर करती है $v_{j}$, जो स्वयं भिन्न होता है। यह साबित करना आसान है कि आउटपुट नोड के लिए इस व्युत्पन्न को सरल बनाया जा सकता है

$-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))$

कहाँ $\phi ^{\prime }$ ऊपर वर्णित सक्रियण फ़ंक्शन का व्युत्पन्न है, जो स्वयं भिन्न नहीं होता है। वजन में एक छिपे हुए नोड में परिवर्तन के लिए विश्लेषण अधिक कठिन है, लेकिन यह दिखाया जा सकता है कि प्रासंगिक व्युत्पन्न है

$-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)$.

यह वजन में बदलाव पर निर्भर करता है $k$वें नोड्स, जो आउटपुट परत का प्रतिनिधित्व करते हैं। इसलिए हिडन लेयर वेट को बदलने के लिए, एक्टिवेशन फंक्शन के डेरिवेटिव के अनुसार आउटपुट लेयर वेट में बदलाव होता है, और इसलिए यह एल्गोरिथम एक्टिवेशन फंक्शन के बैकप्रॉपैगेशन का प्रतिनिधित्व करता है।

शब्दावली

मल्टीलेयर परसेप्ट्रॉन शब्द एक ऐसे परसेप्ट्रॉन को संदर्भित नहीं करता है जिसमें कई परतें हों। बल्कि, इसमें कई परसेप्ट्रॉन होते हैं जो परतों में व्यवस्थित होते हैं। एक विकल्प मल्टीलेयर परसेप्ट्रॉन नेटवर्क है। इसके अलावा, एमएलपी परसेप्ट्रॉन सख्त संभव अर्थों में परसेप्ट्रॉन नहीं हैं। ट्रू परसेप्ट्रॉन औपचारिक रूप से कृत्रिम न्यूरॉन्स का एक विशेष मामला है जो थ्रेसहोल्ड एक्टिवेशन फ़ंक्शन जैसे हैवीसाइड स्टेप फंक्शन का उपयोग करता है। एमएलपी परसेप्ट्रॉन मनमाने ढंग से सक्रियण कार्यों को नियोजित कर सकते हैं। एक सच्चा परसेप्ट्रॉन बाइनरी वर्गीकरण करता है, एक एमएलपी न्यूरॉन अपने सक्रियण कार्य के आधार पर या तो वर्गीकरण या प्रतिगमन करने के लिए स्वतंत्र है।

बहुपरत परसेप्ट्रॉन शब्द को बाद में नोड्स / परतों की प्रकृति के संबंध में लागू किया गया था, जो मनमाने ढंग से परिभाषित कृत्रिम न्यूरॉन्स से बना हो सकता है, न कि विशेष रूप से परसेप्ट्रॉन से। यह व्याख्या सामान्य रूप से एक कृत्रिम न्यूरॉन के अर्थ के लिए परसेप्ट्रॉन की परिभाषा को ढीला करने से बचाती है।

इतिहास

फ्रैंक रोसेनब्लैट, जिन्होंने 1958 में परसेप्ट्रॉन प्रकाशित किया था, 3 परतों के साथ एक एमएलपी भी पेश किया: एक इनपुट परत, यादृच्छिक वजन वाली एक छिपी हुई परत जो नहीं सीखी, और एक आउटपुट परत। चूँकि केवल आउटपुट लेयर में लर्निंग कनेक्शन था, यह अभी तक डीप लर्निंग नहीं था। इसे बाद में अत्यधिक सीखने की मशीन कहा जाने लगा।

डेटा प्रबंधन की समूह विधि के रूप में 1965 में एलेक्सी ग्रिगोरविच इवाखेंको और वैलेन्टिन लैपा द्वारा पहली गहन शिक्षण एमएलपी प्रकाशित की गई थी।

स्टोकेस्टिक ग्रेडिएंट डिसेंट द्वारा प्रशिक्षित पहला डीप लर्निंग एमएलपी 1967 में शुनिची अमारी द्वारा प्रकाशित किया गया था।अमारी के छात्र सैटो द्वारा किए गए कंप्यूटर प्रयोगों में, गैर-रैखिक रूप से अलग-अलग पैटर्न कक्षाओं को वर्गीकृत करने के लिए आवश्यक दो परिवर्तनीय परतों के साथ एक पांच परत एमएलपी सीखा ज्ञान प्रतिनिधित्व।

1970 में, सेप्पो लिनैनमा ने नेस्टेड विभेदक कार्य फंक्शन के असतत कनेक्टेड नेटवर्क के स्वत: विभेदन के लिए सामान्य विधि प्रकाशित की। इसे बैकप्रोपैगेशन या स्वत: भेदभाव के रिवर्स मोड के रूप में जाना जाने लगा। यह 1673 में गॉटफ्रीड विल्हेम लीबनिज द्वारा प्राप्त श्रृंखला नियम का एक कुशल अनुप्रयोग है। अलग-अलग नोड्स के नेटवर्क के लिए। शब्दावली बैक-प्रोपेगेटिंग एरर वास्तव में 1962 में खुद रोसेनब्लैट द्वारा पेश की गई थी, लेकिन उसे नहीं पता था कि इसे कैसे लागू किया जाए,हालांकि हेनरी जे. केली के पास पश्चप्रचार का निरंतर अग्रदूत था पहले से ही 1960 में नियंत्रण सिद्धांत के संदर्भ में।1982 में, पॉल वर्बोस ने MLPs के लिए उस तरह से बैकप्रॉपैगैशन लागू किया जो मानक बन गया है।1985 में, डेविड ई. रुमेलहार्ट एट अल। तकनीक का एक प्रायोगिक विश्लेषण प्रकाशित किया।बाद के दशकों में कई सुधार लागू किए गए हैं।

2021 के अंत तक, स्किप कनेक्शन और लेयर नॉर्मलाइजेशन के साथ दो एमएलपी को मिलाकर एक बहुत ही सरल एनएन आर्किटेक्चर को डिजाइन किया गया और एमएलपी-मिक्सर कहा गया; 19 से 431 मिलियन मापदंडों की विशेषता वाली इसकी प्राप्तियों को इमेज नेट और समान छवि वर्गीकरण कार्यों के समान आकार के दृश्य ट्रांसफार्मर के बराबर दिखाया गया था।

अनुप्रयोग

एमएलपी समस्याओं को हल करने की उनकी क्षमता के लिए अनुसंधान में उपयोगी होते हैं, जो अक्सर फिटनेस सन्निकटन जैसी अत्यंत कम्प्यूटेशनल जटिलता सिद्धांत समस्याओं के लिए अनुमानित समाधान की अनुमति देता है।

MLPs यूनिवर्सल फंक्शन सन्निकटन हैं जैसा कि यूनिवर्सल सन्निकटन प्रमेय द्वारा दिखाया गया है। साइबेंको का प्रमेय,इसलिए उनका उपयोग प्रतिगमन विश्लेषण द्वारा गणितीय मॉडल बनाने के लिए किया जा सकता है। जैसा कि सांख्यिकीय वर्गीकरण प्रतिगमन विश्लेषण का एक विशेष मामला है जब प्रतिक्रिया चर श्रेणीबद्ध चर होता है, एमएलपी अच्छे क्लासिफायर एल्गोरिदम बनाते हैं।

MLPs 1980 के दशक में एक लोकप्रिय मशीन लर्निंग समाधान थे, जो वाक् पहचान, छवि पहचान और मशीन अनुवाद सॉफ़्टवेयर जैसे विविध क्षेत्रों में अनुप्रयोग खोजते थे। लेकिन उसके बाद बहुत सरल (और संबंधित) से कड़ी प्रतिस्पर्धा का सामना करना पड़ा) समर्थन वेक्टर यंत्र डीप लर्निंग की सफलताओं के कारण बैकप्रॉपैगेशन नेटवर्क में रुचि लौट आई।

बाहरी संबंध

• Weka: Open source data mining software with multilayer perceptron implementation.
• Neuroph Studio documentation, implements this algorithm and a few others.