कृत्रिम न्यूरॉन

कृत्रिम न्यूरॉन क्रिया है जिसे जैविक न्यूरॉन्स, तंत्रिका नेटवर्क के गणितीय मॉडल के रूप में माना जाता है। कृत्रिम तंत्रिका नेटवर्क में कृत्रिम न्यूरॉन्स प्राथमिक इकाइयां हैं। कृत्रिम न्यूरॉन एक या एक से अधिक इनपुट प्राप्त करता है (उत्तेजक पोस्टसिनेप्टिक क्षमता और न्यूरल डेन्ड्राइट में निरोधात्मक पोस्टसिनेप्टिक क्षमता का प्रतिनिधित्व करता है) और उन्हें आउटपुट (या सक्रियण, न्यूरॉन की क्रिया क्षमता का प्रतिनिधित्व करता है जो इसके अक्षतंतु के साथ संचरित होता है)। सामान्यतः प्रत्येक इनपुट अलग-अलग से भारित किया जाता है, और योग को गैर-रैखिक फलन के माध्यम से पारित किया जाता है जिसे सक्रियण फलन या स्थानांतरण प्रकार्य के रूप में जाना जाता है। स्थानांतरण कार्यों में सामान्यतः सिग्मॉइड फलन होता है, लेकिन वे अन्य गैर-रैखिक कार्यों, टुकड़े-टुकड़े रैखिक कार्यों या स्टेप फलन का रूप भी ले सकते हैं। वे अधिकांशतः मोनोटोनिक फलन, निरंतर कार्य, विभेदक कार्य और परिबद्ध फलन भी होते हैं। कई शून्यों के साथ गैर-मोनोटोनिक, अनबाउंड और ऑसिलेटिंग एक्टिवेशन फलन जो कई कार्यों पर सिग्मोइडल और रीएलयू जैसे एक्टिवेशन फलन से अच्छा प्रदर्शन करते हैं, उन्हें भी हाल ही में खोजा गया है। थ्रेशोल्डिंग फलन ने बिल्डिंग लॉजिक गेट को थ्रेशोल्ड तर्क के रूप में संदर्भित करने के लिए प्रेरित किया है; मस्तिष्क प्रसंस्करण जैसी दिखने वाली तर्क परिपथ बनाने के लिए प्रयुक्त उदाहरण के लिए, हाल के दिनों में इस तरह के तर्क को विकसित करने के लिए मेमोरी स्टोर जैसे नए उपकरणों का बड़े पैमाने पर उपयोग किया गया है।

कृत्रिम न्यूरॉन स्थानांतरण फलन को रैखिक प्रणाली स्थानांतरण फलन के साथ भ्रमित नहीं होना चाहिए।

कृत्रिम न्यूरॉन्स न्यूरोमॉर्फिक इंजीनियरिंग में कृत्रिम कोशिकाओं को भी संदर्भित कर सकते हैं, जो प्राकृतिक भौतिक न्यूरॉन्स के समान हैं (see नीचे देखें)।

मूल संरचना

किसी दिए गए कृत्रिम न्यूरॉन k के लिए, माना x₀ के माध्यम से x_m और w_k0 के माध्यम से w_km के संकेतों के साथ m + 1 इनपुट हैं। सामान्यतः, x₀ इनपुट को मान +1 असाइन किया गया है, जो इसे w_k0 = b_k के साथ पूर्वाग्रह इनपुट बनाता है यह न्यूरॉन के लिए केवल m वास्तविक इनपुट छोड़ता है: x₁ से x_m तक

Kवाँ न्यूरॉन का आउटपुट है:

$y_{k}=\varphi \left(\sum _{j=0}^{m}w_{kj}x_{j}\right)$

जहाँ $\varphi$ (phi) स्थानांतरण फलन (सामान्यतः थ्रेशोल्ड फलन) है।

आउटपुट जैविक न्यूरॉन के अक्षतंतु के अनुरूप होता है, और इसका मान अन्तर्ग्रथन के माध्यम से अगली परत के इनपुट तक फैलता है। यह संभवतः आउटपुट सदिश (गणित और भौतिकी) के हिस्से के रूप में प्रणाली से बाहर निकल सकता है।

इसकी कोई सीखने की प्रक्रिया नहीं है। इसके स्थानांतरण फलन वेट की गणना की जाती है और थ्रेशोल्ड वैल्यू पूर्व निर्धारित होती है।

प्रकार

Main article: एनवी नेटवर्क

उपयोग किए गए विशिष्ट मॉडल के आधार पर उन्हें सेमी-रेखीय इकाई, एनवी न्यूरॉन, बाइनरी न्यूरॉन, रेखीय थ्रेशोल्ड फलन या मैककुलोच-पिट्स (एमसीपी) न्यूरॉन कहा जा सकता है।

सरल कृत्रिम न्यूरॉन्स, जैसे मैककुलोच-पिट्स मॉडल, को कभी-कभी कैरिकेचर मॉडल के रूप में वर्णित किया जाता है, क्योंकि उनका उद्देश्य एक या अधिक न्यूरोफिज़ियोतर्कल अवलोकनों को प्रतिबिंबित करना है, लेकिन यथार्थवाद के संबंध में होता है।

जैविक मॉडल

Main article: जैविक न्यूरॉन मॉडल

न्यूरॉन और मायेलिनेटेड एक्सॉन, डेन्ड्राइट्स पर इनपुट से अक्षतंतु टर्मिनलों पर आउटपुट के संकेतिक प्रवाह के साथ

कृत्रिम न्यूरॉन्स को उनके जैविक समकक्षों के पहलुओं की नकल करने के लिए डिज़ाइन किया गया है। चूँकि जैविक और कृत्रिम तंत्रिका नेटवर्क के बीच महत्वपूर्ण प्रदर्शन अंतर उपस्थित है। मानव मस्तिष्क में विशेष रूप से एकल जैविक न्यूरॉन्स में एक्सओआर फलन सीखने में सक्षम ऑसिलेटिंग एक्टिवेशन फलन के साथ खोजा गया है। डेन्ड्राइट -जैविक न्यूरॉन में, डेन्ड्राइट इनपुट सदिश के रूप में कार्य करते हैं। ये डेन्ड्राइट कोशिका को पड़ोसी न्यूरॉन्स की बड़ी (>1000) संख्या से संकेत प्राप्त करने की अनुमति देते हैं। उपरोक्त गणितीय उपचार के अनुसार, प्रत्येक डेन्ड्राइट उस डेन्ड्राइट के वजन मान से गुणा करने में सक्षम होता है। सिनैप्टिक न्यूरोट्रांसमीटर के उत्तर में डेन्ड्राइट में प्रस्तुत किए गए संकेतिक रसायनों के लिए सिनैप्टिक न्यूरोट्रांसमीटर के अनुपात को बढ़ाकर या घटाकर गुणन पूरा किया जाता है। सिनैप्टिक न्यूरोट्रांसमीटर के स्वागत के उत्तर में डेंड्राइट के साथ संकेतिक इनहिबिटर (अर्थात् विपरीत आवेश आयन) को प्रेषित करके नकारात्मक गुणन प्रभाव प्राप्त किया जा सकता है।

• सोमा (जीव विज्ञान) - जैविक न्यूरॉन में, सोम उपरोक्त गणितीय विवरण में देखे गए योग फलन के रूप में कार्य करता है। चूंकि सकारात्मक और नकारात्मक संकेत (रोमांचक और अवरोधक, क्रमशः) डेन्ड्राइट्स से सोमा में आते हैं, सकारात्मक और नकारात्मक आयन प्रभावी रूप से योग में जोड़े जाते हैं, सेल के शरीर के अंदर समाधान में साथ मिश्रित होने के सरल गुण से।
• एक्सोन - अक्षतंतु अपना संकेत सोमा के अंदर होने वाले योग व्यवहार से प्राप्त करता है। अक्षतंतु का खुलना अनिवार्य रूप से सोमा के अंदर समाधान की विद्युत क्षमता का नमूना लेता है। एक बार सोमा निश्चित क्षमता तक पहुंच जाता है, अक्षतंतु अपनी लंबाई के नीचे ऑल-इन संकेतिक पल्स संचारित करेगा। इस संबंध में, अक्षतंतु हमारे कृत्रिम न्यूरॉन को अन्य कृत्रिम न्यूरॉन्स से जोड़ने की क्षमता के रूप में व्यवहार करता है।

चूँकि, अधिकांश कृत्रिम न्यूरॉन्स के विपरीत, जैविक न्यूरॉन्स असतत पल्सों में आग लगाते हैं। हर बार सोमा के अंदर विद्युत क्षमता निश्चित सीमा तक पहुँचती है, नाभिक अक्षतंतु के नीचे प्रेषित होती है। इस स्पंदन को निरंतर मूल्यों में अनुवादित किया जा सकता है। दर (प्रति सेकंड सक्रियता, आदि) जिस पर अक्षतंतु आग सीधे उस दर में परिवर्तित हो जाती है जिस पर पड़ोसी कोशिकाओं को संकेतिक आयन मिलते हैं। जितनी तीव्रता से जैविक न्यूरॉन प्रज्वलित होता है, उतनी ही तीव्रता से पास के न्यूरॉन्स विद्युत क्षमता एकत्र करते हैं (या विद्युत क्षमता खो देते हैं, डेन्ड्राइट के भार के आधार पर जो न्यूरॉन से जुड़ते हैं)। यह रूपांतरण है जो कंप्यूटर वैज्ञानिकों और गणितज्ञों को कृत्रिम न्यूरॉन्स का उपयोग करके जैविक तंत्रिका नेटवर्क का अनुकरण करने की अनुमति देता है जो अलग-अलग मान (अधिकांशतः -1 से 1 तक) का उत्पादन कर सकते हैं।

एन्कोडिंग

शोध से पता चला है कि बर्डसॉन्ग प्रोडक्शन के लिए उत्तरदायी न्यूरल परिपथ में यूनरी कोडिंग का प्रयोग किया जाता है। कोडिंग की अंतर्निहित सादगी के कारण जैविक नेटवर्क में यूनरी का उपयोग संभवतः है। अन्य योगदान कारक यह हो सकता है कि यूनरी कोडिंग त्रुटि सुधार की निश्चित डिग्री प्रदान करती है।

भौतिक कृत्रिम कोशिकाएं

भौतिक कृत्रिम न्यूरॉन्स - कार्बनिक और अकार्बनिक में अनुसंधान और विकास है।

उदाहरण के लिए, कुछ कृत्रिम न्यूरॉन्स प्राप्त कर सकते हैं और डोपामाइन (विद्युत संकेतों के अतिरिक्त स्नायुसंचारी ) को छोड़ता है और मस्तिष्क-कंप्यूटर इंटरफेस/वेटवेयर कंप्यूटर भविष्य के अनुप्रयोगों में उपयोग की संभावना के साथ प्राकृतिक चूहे नरम रोबोट और मस्तिष्क कोशिकाओं के साथ संचार करता है।

कम-शक्ति वाले बायोकम्पैटिबल मेमिस्टर कृत्रिम न्यूरॉन्स के निर्माण को सक्षम कर सकते हैं, जो जैविक क्रिया क्षमता के वोल्टेज पर कार्य करते हैं और न्यूरोमॉर्फिक कंप्यूटिंग और मस्तिष्क-कंप्यूटर इंटरफ़ेस के लिए बायोसेंसर को सीधे संसाधित करने के लिए उपयोग किया जा सकता है।

बहुलक से बने कार्बनिक न्यूरोमॉर्फिक परिपथ, आयन-समृद्ध जेल के साथ लेपित, पदार्थ को न्यूरॉन जैसे इलेक्ट्रिक आवेश को ले जाने में सक्षम बनाने के लिए, रोबोट में बनाया गया है, जो इसे वास्तविक विश्व के अन्दर सेंसरिमोटरली सीखने में सक्षम बनाता है, अतिरिक्त सिमुलेशन या आभासी रूप से इसके अतिरिक्त, नरम पदार्थ (पॉलिमर) से बने कृत्रिम स्पाइकिंग न्यूरॉन्स जैविक रूप से प्रासंगिक वातावरण में काम कर सकते हैं और कृत्रिम और जैविक डोमेन के बीच तालमेल संचार को सक्षम कर सकते हैं।

इतिहास

पहला कृत्रिम न्यूरॉन थ्रेसहोल्ड तर्क इकाई (टीएलयू) या रेखीय थ्रेशोल्ड इकाई था, पहली बार 1943 में वॉरेन मैककुलोच और वाल्टर पिट्स द्वारा प्रस्तावित किया गया था। मॉडल को विशेष रूप से मस्तिष्क में तंत्रिका जाल के कम्प्यूटेशनल मॉडल के रूप में लक्षित किया गया था। स्थानांतरण फलन के रूप में, यह हेविसाइड चरण फलन का उपयोग करने के बराबर थ्रेसहोल्ड नियोजित करता है। प्रारंभ में, केवल साधारण मॉडल पर विचार किया गया था, बाइनरी इनपुट और आउटपुट के साथ, संभावित भार पर कुछ प्रतिबंध और अधिक लचीला थ्रेशोल्ड मान। प्रारंभ के बाद से यह पहले से ही देखा गया था कि किसी भी बूलियन फलन को ऐसे उपकरणों के नेटवर्क द्वारा कार्यान्वित किया जा सकता है, जो इस तथ्य से सरलता से देखा जा सकता है कि कोई एएनडी और ओआर फलन को कार्यान्वित कर सकता है, और उन्हें अलग-अलग सामान्य रूप या संयोजक सामान्य रूप में उपयोग कर सकता है .

शोधकर्ताओं ने भी शीघ्र ही अनुभव किया कि चक्रीय नेटवर्क, न्यूरॉन्स के माध्यम से प्रतिक्रिया के साथ, गतिशील प्रणालियों को स्मृति के साथ परिभाषित कर सकते हैं, लेकिन अधिकांश शोध केंद्रित (और अभी भी) कठोरता से फीड-फॉरवर्ड नेटवर्क पर केंद्रित हैं क्योंकि वे छोटी कठिनाई प्रस्तुत करते हैं।

महत्वपूर्ण और अग्रणी कृत्रिम तंत्रिका नेटवर्क जो रैखिक थ्रेशोल्ड फलन का उपयोग करता था, वह परसेप्ट्रॉन था, जिसे फ्रैंक रोसेनब्लैट द्वारा विकसित किया गया था। यह मॉडल पहले से ही न्यूरॉन्स में अधिक लचीले वजन मूल्यों पर विचार करता था, और अनुकूली क्षमताओं वाली मशीनों में उपयोग किया जाता था। 1960 में बर्नार्ड विड्रो द्वारा पूर्वाग्रह शब्द के रूप में सीमा मूल्यों का प्रतिनिधित्व प्रस्तुत किया गया था - एडलाइन देखें।

1980 के दशक के उत्तरार्ध में, जब तंत्रिका नेटवर्क पर शोध फिर से कठोर हुआ, तो अधिक निरंतर आकार वाले न्यूरॉन्स पर विचार किया जाने लगा। सक्रियण फलन को अलग करने की संभावना वजन के समायोजन के लिए ढाल वंश और अन्य अनुकूलन कलनविधि के प्रत्यक्ष उपयोग की अनुमति देती है। तंत्रिका नेटवर्क भी सामान्य कार्य सन्निकटन मॉडल के रूप में उपयोग किए जाने लगे। सबसे प्रसिद्ध प्रशिक्षण कलनविधि जिसे बैकप्रोपैगेशन कहा जाता है, को कई बार फिर से खोजा गया है लेकिन इसका पहला विकास पॉल वर्बोस के काम पर वापस जाता है।

स्थानांतरण कार्यों के प्रकार

Main article: स्थानांतरण प्रकार्य

न्यूरॉन के स्थानांतरण फलन (सक्रियण फलन) को कई गुणों के लिए चुना जाता है जो न्यूरॉन युक्त नेटवर्क को बढ़ाते हैं या सरल करते हैं। महत्वपूर्ण रूप से, उदाहरण के लिए, किसी भी बहुपरत परसेप्ट्रॉन में रेखीय स्थानांतरण फलन का उपयोग करने के लिए समान एकल-परत नेटवर्क होता है; इसलिए बहु-परत नेटवर्क का लाभ प्राप्त करने के लिए गैर-रैखिक कार्य आवश्यक है।

नीचे, u सभी स्थितियों में न्यूरॉन के सभी इनपुट के भारित योग को संदर्भित करता है, अर्थात n इनपुट के लिए,

$u=\sum _{i=1}^{n}w_{i}x_{i}$

जहां w 'सिनैप्टिक वेट' का सदिश है और x इनपुट का सदिश है।

स्टेप फलन

इस स्थानांतरण फलन का आउटपुट वाई बाइनरी है, यह इस बात पर निर्भर करता है कि इनपुट निर्दिष्ट सीमा, θ से मिलता है या नहीं मिलता है। संकेतिक भेजा जाता है, अर्थात् यदि सक्रियण थ्रेशोल्ड को पूरा करता है, तो आउटपुट पर सेट होता है।

$y={\begin{cases}1&{\text{if }}u\geq \theta \\0&{\text{if }}u<\theta \end{cases}}$

यह फलन परसेप्ट्रॉन में उपयोग किया जाता है और अधिकांशतः कई अन्य मॉडलों में दिखाई देता है। यह हाइपरप्लेन द्वारा इनपुट के सदिश स्थल का विभाजन करता है। यह इनपुट के बाइनरी वर्गीकरण को करने के उद्देश्य से नेटवर्क की अंतिम परत में विशेष रूप से उपयोगी है। वज़न को बड़े मान निर्दिष्ट करके इसे अन्य सिग्मोइडल फलन से अनुमानित किया जा सकता है।

रैखिक संयोजन

इस स्थितियों में, आउटपुट इकाई केवल इसके इनपुट का भारित योग और पूर्वाग्रह शब्द है। ऐसे कई रैखिक न्यूरॉन्स इनपुट सदिश के रैखिक परिवर्तन का प्रदर्शन करते हैं। यह सामान्यतः नेटवर्क की पहली परतों में अधिक उपयोगी होता है। हार्मोनिक विश्लेषण जैसे रैखिक मॉडल के आधार पर कई विश्लेषण उपकरण उपस्थित हैं, और वे सभी इस रैखिक न्यूरॉन के साथ तंत्रिका नेटवर्क में उपयोग किए जा सकते हैं। पूर्वाग्रह शब्द हमें डेटा के सजातीय निर्देशांक बनाने की अनुमति देता है।

देखें: रेखीय ट्रांसफॉर्मेशन, हार्मोनिक एनालिसिस,रैखिक फ़िल्टर,छोटा लहर, प्रमुख कंपोनेंट विश्लेषण, स्वतंत्र घटक विश्लेषण, विखंडन

सिग्मॉइड

See also: सिग्मॉइड फलन

बहुत सरल गैर-रैखिक फलन, सिग्मॉइड फलन जैसे कि लॉजिस्टिक फलन में भी सरलता से परिकलित डेरिवेटिव होता है, जो नेटवर्क में वज़न अपडेट की गणना करते समय महत्वपूर्ण हो सकता है। इस प्रकार यह नेटवर्क को गणितीय रूप से अधिक सरलता से जोड़-तोड़ करने योग्य बनाता है, और प्रारंभिक कंप्यूटर वैज्ञानिकों के लिए आकर्षक था, जिन्हें अपने सिमुलेशन के कम्प्यूटेशनल लोड को कम करने की आवश्यकता थी। यह पहले सामान्यतः मल्टीपरत परसेप्ट्रॉन में देखा जाता था। चूँकि, हाल के काम ने सिग्मॉइड न्यूरॉन्स को रेक्टिफायर (तंत्रिका नेटवर्क) न्यूरॉन्स की तुलना में कम प्रभावी दिखाया है। कारण यह है कि पश्च प्रसार कलनविधि द्वारा गणना किए गए ग्रेडियेंट शून्य की ओर कम हो जाते हैं क्योंकि सक्रियण सिग्मोइडल न्यूरॉन्स की परतों के माध्यम से फैलता है, जिससे सिग्मोइडल न्यूरॉन्स की कई परतों का उपयोग करके तंत्रिका नेटवर्क को अनुकूलित करना कठिन हो जाता है।

शुद्ध करनेवाला

See also: शुद्ध करनेवाला (तंत्रिका नेटवर्क)

कृत्रिम तंत्रिका नेटवर्क के संदर्भ में, रेक्टिफायर या रीएलयू (रेक्टीफाइड रेखीय इकाई) सक्रियण फलन है जिसे इसके तर्क के सकारात्मक भाग के रूप में परिभाषित किया गया है:

$f(x)=x^{+}=\max(0,x),$

जहाँ x न्यूरॉन का इनपुट है। इसे रैंप फलन के रूप में भी जाना जाता है और इलेक्ट्रिकल इंजीनियरिंग में अर्ध-तरंग सुधार के समान है। इस एक्टिवेशन फलन को सबसे पहले हैनलोसर एट अल द्वारा डायनेमिक नेटवर्क में प्रस्तुत किया गया था। नेचर में 2000 के पेपर में कठोर जैविक प्रेरणा और गणितीय औचित्य के साथ गहरे नेटवर्क के अच्छा प्रशिक्षण को सक्षम करने के लिए 2011 में पहली बार इसका प्रदर्शन किया गया है, 2011 से पहले व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों की तुलना में, अर्थात् लॉजिस्टिक फलन (जो संभाव्यता सिद्धांत से प्रेरित है; संभार तन्त्र परावर्तन देखें) और इसका अधिक व्यावहारिक समकक्ष, अतिशयोक्तिपूर्ण स्पर्शरेखा है।

रीएलयू सक्रियण फलन का सामान्यतः उपयोग किया जाने वाला संस्करण लीकी रीएलयू है, जो इकाई के सक्रिय नहीं होने पर छोटे, सकारात्मक ढाल की अनुमति देता है:

$f(x)={\begin{cases}x&{\text{if }}x>0,\\ax&{\text{otherwise}}.\end{cases}}$

जहाँ x न्यूरॉन का इनपुट है और a छोटा सकारात्मक स्थिरांक है (मूल पेपर में मान 0.01 का उपयोग a के लिए किया गया था)।

स्यूडोकोड कलनविधि

निम्नलिखित एकल टीएलयू का सरल स्यूडोकोड कार्यान्वयन है, जो बूलियन डेटा प्रकार इनपुट (सही या गलत) लेता है, और सक्रिय होने पर एकल बूलियन आउटपुट देता है। वस्तु के उन्मुख ऑब्जेक्ट-ओरिएंटेड मॉडल का उपयोग किया जाता है। प्रशिक्षण का कोई विधि परिभाषित नहीं है, क्योंकि कई उपस्थित हैं। यदि विशुद्ध रूप से कार्यात्मक मॉडल का उपयोग किया गया था, तो नीचे दिए गए वर्ग टीएलयू को फलन टीएलयू के साथ परिवर्तित कर दिया जाएगा, जिसमें इनपुट पैरामीटर थ्रेशोल्ड, वज़न और इनपुट जो बूलियन मान लौटाते हैं।

class TLU defined as:
    data member threshold : number
    data member weights : list of numbers of size X

    function member fire(inputs : list of booleans of size X) : boolean defined as:
        variable T : number
        T ← 0
        for each i in 1 to X do
            if inputs(i) is true then
                T ← T + weights(i)
            end if
        end for each
        if T > threshold then
            return true
        else:
            return false
        end if
    end function
end class

यह भी देखें

• बाध्यकारी न्यूरॉन
• संबंधवाद

अग्रिम पठन

• McCulloch, Warren S.; Pitts, Walter (1943). "A logical calculus of the ideas immanent in nervous activity". Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/bf02478259.
• Samardak, A.; Nogaret, A.; Janson, N. B.; Balanov, A. G.; Farrer, I.; Ritchie, D. A. (2009-06-05). "Noise-Controlled Signal Transmission in a Multithread Semiconductor Neuron". Physical Review Letters. 102 (22): 226802. Bibcode:2009PhRvL.102v6802S. doi:10.1103/physrevlett.102.226802. PMID 19658886. S2CID 11211062.

बाहरी संबंध

• Artifical [sic] neuron mimicks function of human cells
• McCulloch-Pitts Neurons (Overview)