हॉपफील्ड नेटवर्क

हॉपफील्ड नेटवर्क (या अमारी-हॉपफील्ड नेटवर्क, न्यूरल नेटवर्क का आइसिंग मॉडल या आइसिंग-लेन्ज़-लिटिल मॉडल) आवर्ती कृत्रिम नेटवर्क का रूप है और 1982 में जॉन हॉपफ़ील्ड द्वारा लोकप्रिय स्पिन ग्लास प्रणाली का प्रकार है। जैसा कि वर्णित है 1972 में शुनिची अमारी द्वाराऔर 1974 में लिटिल द्वाराजो इसिंग मॉडल पर विलियम लेन्ज़ के साथ अर्न्स्ट इसिंग के कार्य पर आधारित था। हॉपफ़ील्ड नेटवर्क बाइनरी अंक प्रणाली थ्रेशोल्ड नोड्स या निरंतर चर के साथ सामग्री-ज्ञात योग्य ("साहचर्य") मेमोरी प्रणाली के रूप में कार्य करते हैं। हॉपफ़ील्ड नेटवर्क मानव मेमोरी को समझने के लिए मॉडल भी प्रदान करते हैं।

उत्पत्ति

लर्निंग मेमोरी मॉडल के रूप में आवर्ती न्यूरल नेटवर्क का आइसिंग मॉडल पहले 1972 में शुनिची अमारी द्वारा प्रस्तावित किया गया था।और फिर 1974 में विलियम ए. लिटिल द्वारा,जिसे होपफील्ड ने 1982 में स्वीकार किया था।कागज़ हॉपफील्ड द्वारा अपने 1984 के पेपर में निरंतर गतिशीलता वाले नेटवर्क विकसित किए गए थे।मेमोरी स्टोरेज क्षमता में बड़ी प्रगति 2016 में क्रोटोव और हॉपफील्ड द्वारा नेटवर्क डायनेमिक्स और ऊर्जा फलन में परिवर्तन के माध्यम से विकसित की गई थी।इस विचार को 2017 में डेमिरसिगिल और सहयोगियों द्वारा आगे बढ़ाया गया। बड़ी मेमोरी क्षमता वाले मॉडलों की निरंतर गतिशीलता को 2016 और 2020 के मध्य पत्रों की श्रृंखला में विकसित किया गया था।बड़ी मेमोरी भंडारण क्षमता वाले हॉपफील्ड नेटवर्क को अब डेंस एसोसिएटिव मेमोरीज़ या आधुनिक हॉपफ़ील्ड नेटवर्क कहा जाता है।

संरचना

चार इकाइयों वाला हॉपफ़ील्ड नेट

हॉपफ़ील्ड नेट में बाइनरी थ्रेशोल्ड इकाइयाँ हैं, अर्थात इकाइयाँ अपनी स्थितियों के लिए केवल दो भिन्न-भिन्न मान लेती हैं, और मान इस बात से निर्धारित होता है कि इकाई का इनपुट इसकी सीमा से अधिक है या नहीं $U_{i}$ असतत हॉपफील्ड नेट बाइनरी (फायरिंग या नॉन-फायरिंग) न्यूरॉन्स के मध्य संबंधों $1,2,\ldots ,i,j,\ldots ,N$ का वर्णन करते हैं निश्चित समय पर, न्यूरल की स्थिति का वर्णन वेक्टर $V$ द्वारा किया जाता है, जो रिकॉर्ड करता है कि कौन से न्यूरॉन्स $N$ बिट्स बाइनरी शब्द में सक्रिय हो रहे हैं।

अंतःक्रियाएँ $w_{ij}$ न्यूरॉन्स के मध्य ऐसी इकाइयाँ होती हैं जो सामान्यतः 1 या -1 का मान लेती हैं, और इस सम्मेलन का उपयोग इस पूर्ण लेख में किया जाएगा। चूँकि, अन्य साहित्य ऐसी इकाइयों का उपयोग कर सकते हैं जो 0 और 1 का मान लेते हैं। इन अंतःक्रियाओं को हेब्बियन सिद्धांत के माध्यम से सीखा जाता है। जैसे कि, निश्चित स्थिति के लिए $V^{s}$ और विशिष्ट नोड्स $i,j$ है।

$w_{ij}=V_{i}^{s}V_{j}^{s}$

किन्तु $w_{ii}=0$

(ध्यान दें कि हेब्बियन सीखने का नियम $w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)$ रूप लेता है जब इकाइयाँ मान $\{0,1\}$ ग्रहण करती हैं)

एक बार नेटवर्क $w_{ij}$ प्रशिक्षित हो जाए, तो विकसित नहीं होगा। यदि न्यूरॉन्स की नई स्थिति $V^{s'}$को न्यूरल नेटवर्क से परिचित कराया गया है, नेट न्यूरॉन्स पर इस प्रकार कार्य करता है:

• $V_{i}^{s'}\rightarrow 1$ यदि $\sum _{j}w_{ij}V_{j}^{s'}>U_{i}$
• $V_{i}^{s'}\rightarrow -1$ यदि $\sum _{j}w_{ij}V_{j}^{s'}<U_{i}$

जहाँ $U_{i}$'वें न्यूरॉन का थ्रेशोल्ड मान है (प्रायः 0 माना जाता है)। इस प्रकार, हॉपफील्ड नेटवर्क में इंटरेक्शन मैट्रिक्स में संग्रहीत स्थितियां रखने" की क्षमता होती है, क्योंकि यदि कोई नई स्तिथि $V^{s'}$है। इंटरेक्शन मैट्रिक्स के अधीन है, प्रत्येक न्यूरॉन तब तक परिवर्तित कर दिया जाएगा जब तक यह मूल स्थिति से युग्मित $V^{s}$अपडेट अनुभाग देखें)।

हॉपफ़ील्ड नेट में कनेक्शन पर सामान्यतः निम्नलिखित प्रतिबंध होते हैं:

• $w_{ii}=0,\forall i$ (किसी भी इकाई का स्वयं से कोई संबंध नहीं है)
• $w_{ij}=w_{ji},\forall i,j$ (कनेक्शन सममित हैं)

यह प्रतिबंध का भार सममित है, और यह आश्वासन देता है कि सक्रियण नियमों का पालन करते समय ऊर्जा कार्य नीरस रूप से घटता है।असममित भार वाला नेटवर्क कुछ आवधिक या अराजक व्यवहार प्रदर्शित कर सकता है; चूँकि, होपफील्ड ने पाया कि यह व्यवहार चरण स्थान के अपेक्षाकृत छोटे भागों तक ही सीमित है और सामग्री-ज्ञात योग्य सहयोगी मेमोरी प्रणाली के रूप में कार्य करने की नेटवर्क की क्षमता को व्यर्थ नहीं करता है।

हॉपफील्ड ने निरंतर मानों के लिए न्यूरल जाल भी तैयार किया, जिसमें प्रत्येक न्यूरॉन का विद्युत उत्पादन बाइनरी नहीं है अन्यथा 0 और 1 के मध्य कुछ मान है। उन्होंने पाया कि इस प्रकार का नेटवर्क याद किए गए स्थितियों को संग्रहीत और पुन: उत्पन्न करने में भी सक्षम था।

ध्यान दें कि हॉपफील्ड नेटवर्क में इकाइयां i और j की प्रत्येक जोड़ी में कनेक्शन होता है जिसे कनेक्टिविटी भार $w_{ij}$ द्वारा वर्णित किया जाता है। इस अर्थ में, हॉपफ़ील्ड नेटवर्क को औपचारिक रूप से पूर्ण अप्रत्यक्ष ग्राफ़ $G=\langle V,f\rangle$ के रूप में वर्णित किया जा सकता है, जहाँ $V$ मैकुलोच-पिट्स न्यूरॉन्स का सेट $f:V^{2}\rightarrow \mathbb {R}$ फलन है जो इकाइयों के जोड़े को वास्तविक मान, कनेक्टिविटी भार से जोड़ता है।

अद्यतन

हॉपफ़ील्ड नेटवर्क में इकाई (कृत्रिम न्यूरॉन का अनुकरण करने वाले ग्राफ़ में नोड) का अद्यतन करने के लिए निम्नलिखित नियम का उपयोग करके किया जाता है:

$s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{otherwise.}}\end{array}}\right.$

जहाँ:

• $w_{ij}$ इकाई j से इकाई i (कनेक्शन का भार) तक कनेक्शन भार की ताकत है।
• $s_{i}$ इकाई i की स्थिति है।
• $\theta _{i}$ इकाई i की सीमा है।

हॉपफील्ड नेटवर्क में अपडेट दो भिन्न-भिन्न विधियों से किया जा सकता है:

• असिंक्रोनोस: एक समय में केवल इकाई अद्यतन की जाती है। इस इकाई को यादृच्छिक रूप से चयन किया जा सकता है, या प्रारंभ से ही पूर्व-परिभाषित आदेश लगाया जा सकता है।
• सिंक्रोनस: सभी इकाइयाँ एक ही समय में अपडेट की जाती हैं। सिंक्रोनाइज़ेशन बनाए रखने के लिए प्रणाली में केंद्रीय घड़ी की आवश्यकता होती है। इस पद्धति को कुछ लोगों द्वारा कम यथार्थवादी माना जाता है, जो रुचि के अनुरूप जैविक या भौतिक प्रणालियों को प्रभावित करने वाली देखी गई वैश्विक घड़ी की अनुपस्थिति पर आधारित है।

न्यूरॉन्स का एक स्थान में दूसरे स्थान में आकर्षित या प्रतिकर्षित करना:

दो इकाइयों के मध्य का भार न्यूरॉन्स के मानों पर शक्तिशाली प्रभाव डालता है। कनेक्शन भार $w_{ij}$ पर विचार करें। दो न्यूरॉन्स i और J के मध्य यदि $w_{ij}>0$, अद्यतन नियम का तात्पर्य यह है कि:

• जब $s_{j}=1$, भारित योग में j का योगदान सकारात्मक है। इस प्रकार, $s_{i}$ को j द्वारा इस मान $s_{i}=1$ के निकट लाया जाता है।
• जब $s_{j}=-1$, भारित योग में j का योगदान ऋणात्मक है। इस प्रकार, $s_{i}$ को j द्वारा इस मान $s_{i}=-1$ के निकट लाया जाता है।

इस प्रकार, यदि उनके मध्य का भार सकारात्मक है तो न्यूरॉन्स i और j के मान परिवर्तित हो जाएंगे। इसी प्रकार, यदि भार नकारात्मक है तो वे भिन्न हो जाएंगे।

असतत और सतत हॉपफील्ड नेटवर्क के कार्य सिद्धांत

ब्रुक ने 1990 में अपने पेपर में अभिसरण सिद्ध करते समय असतत हॉपफील्ड नेटवर्क में न्यूरॉन के व्यवहार पर प्रकाश डाला। पश्चात के पेपरने असतत-समय और निरंतर-समय हॉपफील्ड नेटवर्क दोनों में किसी भी न्यूरॉन के व्यवहार का परिक्षण किया जाता है, जब अनुकूलन प्रक्रिया के समय संबंधित ऊर्जा फलन को कम किया जाता है। ब्रुक दिखाता है किवह न्यूरॉन j अपनी स्थिति परिवर्तित करता है यदि केवल तभी जब यह निम्नलिखित पक्षपाती छद्म कट को और कम कर देता है। असतत हॉपफ़ील्ड नेटवर्क, हॉपफ़ील्ड नेट के सिनैप्टिक भार मैट्रिक्स के लिए निम्नलिखित पक्षपाती छद्म-कटको न्यूनतम करता है।

$J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}$

जहाँ $C_{1}(k)$ और $C_{2}(k)$ न्यूरॉन्स के सेट का प्रतिनिधित्व करता है जो समय पर क्रमशः -1 और +1$k$ हैं। अधिक जानकारी के लिए रीसेंट पेपर देखें।

असतत-समय हॉपफील्ड नेटवर्क सदैव निम्नलिखित छद्म-कट को न्यूनतम करता है:

$U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)$

निरंतर-समय हॉपफ़ील्ड नेटवर्क सदैव निम्न भारित अल्पता के लिए ऊपरी सीमा को न्यूनतम करता है:

$V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))$

जहाँ $f(\cdot )$ शून्य-केंद्रित सिग्मॉइड फलन है।

दूसरी ओर, जटिल हॉपफ़ील्ड नेटवर्क सामान्यतः नेट के जटिल भार मैट्रिक्स के तथाकथित छाया-कट को कम करता है।

ऊर्जा

हॉपफील्ड नेटवर्क का ऊर्जा परिदृश्य, नेटवर्क की वर्तमान स्थिति (पहाड़ी के ऊपर), आकर्षक स्थिति जिस पर यह अंततः चित्रित होगा, न्यूनतम ऊर्जा स्तर और हरे रंग में छायांकित आकर्षण का बेसिन पर प्रकाश डालता है। ध्यान दें कि कैसे हॉपफील्ड नेटवर्क का अपडेट सदैव ऊर्जा में कम होता जा रहा है।

हॉपफ़ील्ड नेट में नेटवर्क की प्रत्येक स्थिति से जुड़ा अदिश मान होता है, जिसे नेटवर्क की ऊर्जा, E कहा जाता है, जहां:

$E=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}-\sum _{i}\theta _{i}s_{i}$

इस मात्रा को "ऊर्जा" कहा जाता है क्योंकि नेटवर्क इकाइयों के अद्यतन होने पर यह या तो कम हो जाती है या समान रहती है। इसके अतिरिक्त, बार-बार अपडेट करने पर नेटवर्क अंततः ऐसी स्थिति में परिवर्तित हो जाएगा जो ऊर्जा फलन में स्थानीय न्यूनतम है (जिसे ल्यपुनोव फलन माना जाता है)।इस प्रकार, यदि कोई अवस्था ऊर्जा फलन में स्थानीय न्यूनतम है तो यह नेटवर्क के लिए स्थिर स्थिति होती है। ध्यान दें कि यह ऊर्जा फलन भौतिकी में आइसिंग मॉडल के नाम से मॉडलों के सामान्य वर्ग से संबंधित है; इसके विपरीत में मार्कोव नेटवर्क की विशेष स्तिथि है, क्योंकि संबंधित संभाव्यता माप, गिब्स माप में मार्कोव संपत्ति है।

अनुकूलन में हॉपफ़ील्ड नेटवर्क

हॉपफील्ड और टैंक ने 1985 में क्लासिकल ट्रैवलिंग-सेल्समैन समस्या समाधान करने के लिए हॉपफील्ड नेटवर्क एप्लिकेशन प्रस्तुत किया। तब से, अनुकूलन के लिए हॉपफील्ड नेटवर्क का व्यापक रूप से उपयोग किया गया है। अनुकूलन समस्याओं में हॉपफील्ड नेटवर्क का उपयोग करने का विचार सरल है: यदि विवश/अप्रतिबंधित व्यय फलन को हॉपफील्ड ऊर्जा फलन E के रूप में लिखा जा सकता है, तो हॉपफील्ड नेटवर्क उपस्तिथ है जिसके संतुलन बिंदु बाधित/अप्रतिबंधित अनुकूलन के समाधान का प्रतिनिधित्व करते हैं। हॉपफील्ड ऊर्जा फलन को न्यूनतम करने से उद्देश्य फलन कम हो जाता है और बाधाएं भी संतुष्ट हो जाती हैं क्योंकि बाधाएं नेटवर्क के सिनैप्टिक भार में "एम्बेडेड" होती हैं। यद्यपि सर्वोत्तम संभव विधि से सिनैप्टिक भार में अनुकूलन बाधाओं को सम्मिलित करना आह्वानपूर्ण कार्य है, विभिन्न विषयों में बाधाओं के साथ कई कठिन अनुकूलन समस्याओं को हॉपफील्ड ऊर्जा फलन में परिवर्तित कर दिया गया है: एसोसिएटिव मेमोरी प्रणाली, एनालॉग-टू-डिजिटल रूपांतरण, जॉब-शॉप शेड्यूलिंग समस्या, द्विघात असाइनमेंट और अन्य संबंधित एनपी-पूर्ण समस्याएं, वायरलेस नेटवर्क में चैनल आवंटन समस्या, मोबाइल एड-हॉक नेटवर्क रूटिंग समस्या, छवि पुनर्नियुक्ति, प्रणाली पहचान, कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन, आदि, बस कुछ के नाम बताने के लिए अधिक विवरण उदाहरण में पाया जा सकता है।

आरंभीकरण और चलाना

हॉपफ़ील्ड नेटवर्क का आरंभीकरण इकाइयों के मानों को वांछित प्रारंभ पैटर्न पर सेट करके किया जाता है। तब तक बार-बार अपडेट किया जाता है जब तक कि नेटवर्क आकर्षक पैटर्न में परिवर्तित न हो जाए। सामान्यतः अभिसरण का आश्वासन दिया जाता है, क्योंकि हॉपफील्ड ने सिद्ध कर दिया है कि इस गैर-रेखीय गतिशील प्रणाली के आकर्षण स्थिर हैं, कुछ अन्य प्रणालियों के जैसे आवधिक या अराजक नहीं हैं. इसलिए, हॉपफील्ड नेटवर्क के संदर्भ में, आकर्षित करने वाला पैटर्न अंतिम स्थिर स्थिति है, पैटर्न जो अद्यतन के अंतर्गत इसके भीतर कोई भी मान नहीं परिवर्तित कर सकता है।

प्रशिक्षण

हॉपफ़ील्ड नेट के प्रशिक्षण में उन अवस्था की ऊर्जा को कम करना सम्मिलित है जिन्हें नेट को "याद रखना" चाहिए। यह नेट को कंटेंट एड्रेसेबल मेमोरी प्रणाली के रूप में कार्य करने की अनुमति देता है, अर्थात, यदि नेटवर्क को अवस्था का केवल भाग दिया जाता है, तो यह "याद की गई" स्थिति में परिवर्तित हो जाएगा। नेट का उपयोग किसी विकृत इनपुट से उस प्रशिक्षित स्थिति में पुनर्प्राप्त करने के लिए किया जा सकता है जो उस इनपुट के सबसे समान है। इसे साहचर्यात्मक मेमोरी कहा जाता है क्योंकि यह समानता के आधार पर मेमोरी को पुनः प्राप्त करती है। उदाहरण के लिए, यदि हम हॉपफील्ड नेट को पांच इकाइयों के साथ प्रशिक्षित करते हैं जिससे अवस्था (1, −1, 1, −1, 1) न्यूनतम ऊर्जा हो, और नेटवर्क की अवस्था (1, −1, −1,) या −1, 1) यह (1, −1, 1, −1, 1) में परिवर्तित हो जाये। इस प्रकार, नेटवर्क को ठीक से प्रशिक्षित किया जाता है जब अवस्था की ऊर्जा जिसे नेटवर्क को याद रखना चाहिए वह स्थानीय न्यूनतम होती है। ध्यान दें कि, परसेप्ट्रॉन प्रशिक्षण के विपरीत, न्यूरॉन्स की सीमाएँ कभी भी अद्यतन नहीं होती हैं।

सीखने के नियम

सीखने के कई भिन्न-भिन्न नियम हैं जिनका उपयोग हॉपफील्ड नेटवर्क की मेमोरी में जानकारी संग्रहीत करने के लिए किया जा सकता है। किसी सीखने के नियम के लिए निम्नलिखित दो गुणों का होना वांछनीय है:

• स्थानीय: सीखने का नियम स्थानीय होता है यदि प्रत्येक भार को उस विशेष भार से जुड़े कनेक्शन के दोनों ओर न्यूरॉन्स के लिए उपलब्ध जानकारी का उपयोग करके अद्यतन किया जाता है।
• वृद्धिशील: प्राचीन पैटर्न की जानकारी का उपयोग किए बिना नए पैटर्न सीखे जा सकते हैं जिनका उपयोग प्रशिक्षण के लिए भी किया गया है। अर्थात्, जब प्रशिक्षण के लिए नए पैटर्न का उपयोग किया जाता है, तो भार के लिए नए मान केवल प्राचीन मानों और नए पैटर्न पर निर्भर करते हैं।

ये गुण वांछनीय हैं, क्योंकि इन्हें संतुष्ट करने वाला सीखने का नियम जैविक रूप से अधिक प्रशंसनीय है। उदाहरण के लिए, चूँकि मानव मस्तिष्क सदैव नई अवधारणाएँ सीखता रहता है, कोई यह तर्क दे सकता है कि मानव सीखना वृद्धिशील है। शिक्षण प्रणाली जो वृद्धिशील नहीं थी, उसे सामान्यतः प्रशिक्षण डेटा के विशाल बैच के साथ केवल एक बार प्रशिक्षित किया जाएगा।

होपफील्ड नेटवर्क के लिए हेब्बियन सीखने का नियम

हेब्बियन सिद्धांत को डोनाल्ड हेब्ब ने 1949 में सहयोगी शिक्षा को अध्ययन करने के लिए प्रस्तुत किया गया था, जिसमें न्यूरॉन कोशिकाओं के साथ सक्रिय होने से उन कोशिकाओं के मध्य सिनैप्टिक बल में स्पष्ट वृद्धि होती है। इसे प्रायः इस प्रकार संक्षेपित किया जाता है "न्यूरॉन्स जो एक साथ सक्रिय होते हैं, और जुड़े होते हैं। न्यूरॉन्स जो सिंक से बाहर सक्रिय होते हैं, जुड़ने में विफल होते हैं"।

हेब्बियन नियम स्थानीय और वृद्धिशील दोनों है। हॉपफ़ील्ड नेटवर्क के लिए, सीखते समय इसे निम्नलिखित विधि से कार्यान्वित किया जाता है।

$n$ बाइनरी पैटर्न है:

$w_{ij}={\frac {1}{n}}\sum _{\mu =1}^{n}\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$

जहाँ $\epsilon _{i}^{\mu }$ पैटर्न से बिट i का प्रतिनिधित्व $\mu$ करता है।

यदि न्यूरॉन्स i और j के अनुरूप बिट्स पैटर्न में समान हैं $\mu$, का उत्पाद $\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$ सकारात्मक होगा, इससे भार $w_{ij}$ पर सकारात्मक प्रभाव पड़ेगा, i और j के मान समान हो जायेंगे। यदि न्यूरॉन्स i और j के अनुरूप बिट्स भिन्न हैं तो विपरीत होता है।

स्टॉर्की सीखने का नियम

यह नियम 1997 में अमोस स्टॉर्की द्वारा प्रस्तुत किया गया था, यह स्थानीय और वृद्धिशील दोनों है। स्टॉर्की ने यह भी दिखाया कि इस नियम का उपयोग करके प्रशिक्षित हॉपफील्ड नेटवर्क की क्षमता हेब्बियन नियम का उपयोग करके प्रशिक्षित संबंधित नेटवर्क की तुलना में अधिक है। आकर्षितकर्ता न्यूरल नेटवर्क का भार मैट्रिक्स को स्टॉर्की सीखने के नियम का पालन करने के लिए कहा जाता है यदि वह इसका पालन करता है:

$w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }$

जहाँ $h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }$ स्थानीय क्षेत्र में न्यूरॉन का रूप हैI

यह सीखने का नियम स्थानीय है, क्योंकि सिनैप्स केवल अपने पक्षों के न्यूरॉन्स को ध्यान में रखते हैं। स्थानीय क्षेत्र के प्रभाव के कारण, नियम सामान्यीकृत हेब्बियन नियम की तुलना में पैटर्न और भार से अधिक जानकारी का उपयोग करता है।

अवास्तविक प्रारूप

पैटर्न जो नेटवर्क प्रशिक्षण के लिए उपयोग करता है (पुनर्प्राप्ति स्थिति कहा जाता है) प्रणाली के आकर्षण बन जाते हैं। बार-बार अद्यतन स्थितियों में से एक में अभिसरण हो जाएगा। चूँकि, कभी-कभी नेटवर्क अवास्तविक पैटर्न (प्रशिक्षण पैटर्न से भिन्न) में परिवर्तित हो जाएगा। इन अवास्तविक पैटर्नों में ऊर्जा भी स्थानीय न्यूनतम है। प्रत्येक संग्रहीत पैटर्न x के लिए, निषेध -x भी अवास्तविक पैटर्न है।

अवास्तविक अवस्था विषम संख्या में पुनर्प्राप्ति अवस्थाओं का रैखिक संयोजन भी हो सकता है। उदाहरण के लिए, 3 पैटर्न का उपयोग करते समय $\mu _{1},\mu _{2},\mu _{3}$, कोई निम्नलिखित अवास्तविक स्थिति प्राप्त कर सकता है:

$\epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})$

क्षमता

हॉपफील्ड नेटवर्क मॉडल की नेटवर्क क्षमता किसी दिए गए नेटवर्क के भीतर न्यूरॉन मात्रा और कनेक्शन द्वारा निर्धारित की जाती है। इसलिए, संग्रहीत की जा सकने वाली मेमोरी की संख्या न्यूरॉन्स और कनेक्शन पर निर्भर करती है। इसके अतिरिक्त, यह दिखाया गया कि वैक्टर और नोड्स के मध्य रिकॉल त्रुटिहीनता 0.138 थी (प्रत्येक 1000 नोड्स के लिए लगभग 138 वैक्टर को स्टोरेज से रिकॉल किया जा सकता है)। (हर्ट्ज़ एट अल, 1991) इसलिए, यह स्पष्ट है कि यदि कोई बड़ी संख्या में वैक्टर संग्रहीत करने का प्रयास करेगा तो कई त्रुटियाँ होंगी। जब हॉपफील्ड मॉडल सही पैटर्न को याद नहीं करता है, तो यह संभव है कि हस्तक्षेप हुआ है, क्योंकि शब्दार्थ से संबंधित आइटम व्यक्ति को भ्रमित करते हैं, और त्रुटिपूर्ण पैटर्न की याद आती है। इसलिए, हॉपफील्ड नेटवर्क मॉडल को पुनर्प्राप्ति पर संग्रहीत आइटम को दूसरे के साथ भ्रमित करने के लिए दिखाया गया है। परफेक्ट रिकॉल और उच्च क्षमता, >0.14, को स्टॉर्की लर्निंग विधि द्वारा नेटवर्क में लोड किया जा सकता है; ईटीएएम, ईटीएएम प्रयोगों में भी होपफील्ड नेटवर्क से प्रेरित पूर्ववर्ती मॉडलों को पश्चात में भंडारण सीमा बढ़ाने और पुनर्प्राप्ति त्रुटि दर को कम करने के लिए तैयार किया गया था, जिनमें से कुछ वन-शॉट लर्निंग (कंप्यूटर विज़न) में सक्षम थे।

भण्डारण क्षमता $C\cong {\frac {n}{2\log _{2}n}}$ इस प्रकार दी जा सकती है।

जहाँ $n$ नेट में न्यूरॉन्स की संख्या है।

मानव मेमोरी

होपफील्ड मॉडल मेमोरी वैक्टर के समावेश के माध्यम से एसोसिएशन (मनोविज्ञान) मेमोरी की गणना करता है। मेमोरी वैक्टर का थोड़ा उपयोग किया जा सकता है, और यह नेटवर्क में सबसे समान वेक्टर की पुनर्प्राप्ति को बढ़ावा देगा। चूँकि, हम ज्ञात करेंगे कि इस प्रक्रिया के कारण हस्तक्षेप हो सकता है। हॉपफील्ड नेटवर्क के लिए एसोसिएटिव मेमोरी में, दो प्रकार के ऑपरेशन होते हैं: ऑटो-एसोसिएशन और हेटेरो-एसोसिएशन है। प्रथम तब होता है जब वेक्टर स्वयं से जुड़ा होता है, और दूसरा तब होता है जब दो भिन्न-भिन्न वेक्टर स्टोरेज में जुड़े होते हैं। इसके अतिरिक्त, दोनों प्रकार के ऑपरेशनों को मेमोरी मैट्रिक्स में संग्रहीत करना संभव है, किन्तु केवल तभी जब दिया गया प्रतिनिधित्व मैट्रिक्स ऑपरेशन नहीं है, अन्यथा दोनों का संयोजन (ऑटो-एसोसिएटिव और हेटेरो-एसोसिएटिव) है। यह ध्यान रखना महत्वपूर्ण है कि हॉपफील्ड का नेटवर्क मॉडल हेब्बियन सिद्धांत (1949) के सीखने के नियम के समान उपयोग करता है, जो मूल रूप से यह दिखाने का प्रयास करता है कि गतिविधि होने पर भार के स्थिर होने के परिणामस्वरूप सीखना होता है।

रिज़ुटो और कहाना (2001) यह दिखाने में सक्षम थे कि न्यूरल नेटवर्क मॉडल संभाव्य-शिक्षण एल्गोरिदम को सम्मिलित करके रिकॉल त्रुटिहीनता पर पुनरावृत्ति के लिए उत्तरदायी हो सकता है। पुनर्प्राप्ति प्रक्रिया के समय, कोई सीख नहीं होती है। परिणामस्वरूप, नेटवर्क का भार स्थिर रहता है, जिससे ज्ञात होता है कि मॉडल सीखने के चरण से रिकॉल चरण में स्विच करने में सक्षम है। प्रासंगिक बहाव को जोड़कर वे तीव्रता से भूलने को दिखाने में सक्षम थे जो कि होपफील्ड मॉडल में उद्धृत-रिकॉल कार्य के समय होता है। संपूर्ण नेटवर्क किसी नोड के सक्रियण में परिवर्तन में योगदान देता है।

मैककुलोच और पिट्स का (1943) गतिशील नियम, जो न्यूरॉन्स के व्यवहार का वर्णन करता है, ऐसा इस प्रकार करता है जिससे ज्ञात होता है कि कैसे कई न्यूरॉन्स की सक्रियता नए न्यूरॉन की फायरिंग दर की सक्रियता पर मैप करती है, और न्यूरॉन्स का भार कैसे स्थिर होता है नए सक्रिय न्यूरॉन (और इसे सक्रिय करने वालों) के मध्य सिनैप्टिक कनेक्शन हॉपफील्ड नेटवर्क में पुनर्प्राप्ति कैसे संभव है यह दिखाने के लिए हॉपफील्ड मैककुलोच-पिट्स के गतिशील नियम का उपयोग करेगा। चूँकि, यह ध्यान रखना महत्वपूर्ण है कि होपफ़ील्ड ऐसा दोहराव वाली विधि से करेगा। हॉपफ़ील्ड रैखिक फलन का उपयोग करने के अतिरिक्त गैर-रेखीय सक्रियण फलन का उपयोग करेगा। इसलिए यह हॉपफील्ड गतिशील नियम बनाएगा और इसके साथ, हॉपफील्ड यह दिखाने में सक्षम था कि गैर-रेखीय सक्रियण फलन के साथ, गतिशील नियम सदैव संग्रहीत पैटर्न में से दिशा अवस्था वेक्टर के मानों को संशोधित करेगा।

सघन साहचर्य मेमोरी या आधुनिक हॉपफील्ड नेटवर्क

हॉपफील्ड नेटवर्कगतिशील प्रक्षेपवक्र के साथ आवर्ती न्यूरल नेटवर्क हैं जो निश्चित बिंदु आकर्षित करने वाली अवस्था में परिवर्तित होते हैं और ऊर्जा फलन द्वारा वर्णित होते हैं। प्रत्येक मॉडल न्यूरॉन की स्थिति ${\textstyle i}$ को समय-निर्भर चर द्वारा परिभाषित किया गया है $V_{i}$, जिसे या तो असतत या निरंतर चयनित किया जा सकता है। संपूर्ण मॉडल इस गणित का वर्णन करता है कि प्रत्येक न्यूरॉन की गतिविधि की भविष्य की स्थिति सभी न्यूरॉन्स की ज्ञात वर्तमान या पिछली गतिविधि पर कैसे निर्भर करती है।

साहचर्य मेमोरी के मूल हॉपफ़ील्ड मॉडल में,चर द्विआधारी थे, और गतिशीलता का वर्णन न्यूरॉन्स की स्थिति के समय के अद्यतन द्वारा किया गया था। इसमें ऊर्जा फलन द्विघात है $V_{i}$ को परिभाषित किया गया था, और गतिशीलता में प्रत्येक एकल न्यूरॉन की गतिविधि को परिवर्तित करना सम्मिलित था, यदि ऐसा किया जाए तो प्रणाली की कुल ऊर्जा $i$ कम हो जाएगी। इसी विचार को विस्तारित किया गया था $V_{i}$ इनपुट धारा का मोनोटोनिक फलन है गतिशीलता को प्रथम-क्रम विभेदक समीकरणों के सेट के रूप में व्यक्त किया गया जिसके लिए प्रणाली की "ऊर्जा" $i$ सदैव कम हो गई। निरंतर स्थिति में ऊर्जा का पद होता है जो द्विघात होता है,$V_{i}$ (जैसा कि बाइनरी मॉडल में है), और दूसरा पद जो लाभ फलन (न्यूरॉन के सक्रियण फलन) पर निर्भर करता है। साहचर्य मेमोरी के कई वांछनीय गुण होने के अतिरिक्त, ये दोनों शास्त्रीय प्रणालियाँ छोटी मेमोरी भंडारण क्षमता से ग्रस्त हैं, जो इनपुट सुविधाओं की संख्या के साथ रैखिक रूप से बढ़ती है।

सघन साहचर्य मेमोरीज़(आधुनिक हॉपफ़ील्ड नेटवर्क के रूप में भी जाना जाता है) शास्त्रीय हॉपफील्ड नेटवर्क के सामान्यीकरण हैं जो इनपुट सुविधाओं की संख्या और संग्रहीत मेमोरी की संख्या के मध्य रैखिक स्केलिंग संबंध को विभक्त करते हैं। यह स्थिर गैर-रैखिकता (या तो ऊर्जा कार्य या न्यूरॉन्स के सक्रियण कार्यों में) को प्रस्तुत करके प्राप्त किया जाता है, जिससे फीचर न्यूरॉन्स की संख्या के फलन के रूप में सुपर-लीनियर (यहां तक ​​कि घातीय) मेमोरी भंडारण क्षमता होती है। नेटवर्क को अभी भी पर्याप्त संख्या में छिपे हुए न्यूरॉन्स की आवश्यकता है।आधुनिक हॉपफील्ड नेटवर्क के पीछे मुख्य सैद्धांतिक विचार ऊर्जा फलन और अद्यतन नियम का उपयोग करना है जो शास्त्रीय हॉपफील्ड नेटवर्क की तुलना में न्यूरॉन के कॉन्फ़िगरेशन के स्थान में संग्रहीत मेमोरी के निकट अधिक तीव्रता से शीर्ष पर है।

असतत चर

आधुनिक हॉपफील्ड नेटवर्क का सरल उदाहरण बाइनरी डेटा के संदर्भ में लिखा जा सकता है $V_{i}$ जो सक्रिय का प्रतिनिधित्व करता है $V_{i}=+1$ और निष्क्रिय $V_{i}=-1$ मॉडल न्यूरॉन की स्थिति में $i$ है:

E=−∑μ=1NmemF(∑i=1NfξμiVi)

इस सूत्र में भार ${\textstyle \xi _{\mu i}}$ मेमोरी वैक्टर के मैट्रिक्स का प्रतिनिधित्व करता है। $\mu =1...N_{\text{mem}}$ विभिन्न मेमोरी और अनुक्रमणिका की गणना करता है $i=1...N_{f}$ के अनुरूप प्रत्येक मेमोरी की सामग्री की गणना करता है $i$-वें फीचर न्यूरॉन), और फलन $F(x)$ तीव्रता से बढ़ने वाला अरेखीय फलन है। व्यक्तिगत न्यूरॉन्स के लिए अद्यतन नियम (एसिंक्रोनस की स्तिथि में) निम्नलिखित रूप में लिखा जा सकता है

V(t+1)i=Sign[∑μ=1Nmem(F(ξμi+∑j≠iξμjV(t)j)−F(−ξμi+∑j≠iξμjV(t)j))]

जिसमें कहा गया है कि अद्यतन स्थिति की गणना करने के लिए ${\textstyle i}$-वें न्यूरॉन नेटवर्क दो ऊर्जाओं की तुलना करता है: नेटवर्क की ऊर्जा से $i$-वें न्यूरॉन प्रारंभिक अवस्था में और नेटवर्क की ऊर्जा के साथ $i$-वां न्यूरॉन ऑफ अवस्था में, शेष न्यूरॉन की स्थिति को देखते हुए अद्यतन की स्थिति $i$-वें न्यूरॉन उस अवस्था का चयन करता है जिसमें दोनों ऊर्जाओं में से सबसे कम ऊर्जा होती है।

सीमित स्तिथि में जब गैर-रैखिक ऊर्जा फलन $F(x)=x^{2}$ द्विघात होता है ये समीकरण परिचित ऊर्जा फलन और शास्त्रीय बाइनरी हॉपफील्ड नेटवर्क के लिए अद्यतन नियम को कम करते हैं।

इन नेटवर्कों की मेमोरी स्टोरेज क्षमता की गणना यादृच्छिक बाइनरी पैटर्न के लिए की जा सकती है। विद्युत ऊर्जा फलन के लिए $F(x)=x^{n}$ बिना त्रुटियों के इस नेटवर्क से संग्रहीत और पुनर्प्राप्त की जा सकने वाली मेमोरी की अधिकतम संख्या निम्न द्वारा दी गई है

$$N_{\text{mem}}^{max}\approx {\frac {1}{2(2n-3)!!}}{\frac {N_{f}^{n-1}}{\ln(N_{f})}}$$

घातांकीय ऊर्जा फलन के लिए ${\textstyle F(x)=e^{x}}$ मेमोरी भंडारण क्षमता फ़ीचर न्यूरॉन्स की संख्या में घातीय है

$$N_{\text{mem}}^{max}\approx 2^{N_{f}/2}$$

चित्र 1: निरंतर आधुनिक हॉपफ़ील्ड नेटवर्क का उदाहरण ${\textstyle N_{f}=5}$ फ़ीचर न्यूरॉन्स और $N_{\text{mem}}=11$ मेमोरी (छिपे हुए) न्यूरॉन्स जिनके मध्य सममित सिनैप्टिक कनेक्शन होते हैं।

सतत चर

आधुनिक हॉपफ़ील्ड नेटवर्क या सघन साहचर्य मेमोरीयों को निरंतर चर और निरंतर समय में सबसे उत्तम प्रकार से अध्ययन किया जा सकता है।चित्र 1 में दिखाए गए नेटवर्क आर्किटेक्चर और न्यूरॉन की स्थिति के विकास के समीकरणों पर विचार करें

$${\begin{cases}\tau _{f}{\frac {dx_{i}}{dt}}=\sum \limits _{\mu =1}^{N_{h}}\xi _{i\mu }f_{\mu }-x_{i}+I_{i}\\\tau _{h}{\frac {dh_{\mu }}{dt}}=\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}g_{i}-h_{\mu }\end{cases}}$$

(1)

जहां फ़ीचर न्यूरॉन्स की धाराओं को ${\textstyle x_{i}}$ से निरूपित किया जाता है, और मेमोरी न्यूरॉन्स की धाराओं को $h_{\mu }$द्वारा निरूपित किया जाता है ($h$ छिपे हुए न्यूरॉन्स के लिए है)। फ़ीचर न्यूरॉन्स या मेमोरी न्यूरॉन्स के मध्य कोई सिनैप्टिक कनेक्शन नहीं हैं। मैट्रिक्स न्यूरॉन $\xi _{\mu i}$ फीचर न्यूरॉन से सिनैप्स के बल को दर्शाता है $i$ मेमोरी न्यूरॉन को $\mu$ सिनैप्स को सममित माना जाता है, जिससे समान मान मेमोरी न्यूरॉन से भिन्न भौतिक सिनैप्स की विशेषता बता सके। $\mu$ फ़ीचर न्यूरॉन के लिए $i$ मेमोरी न्यूरॉन्स और फ़ीचर न्यूरॉन्स के आउटपुट को इसके द्वारा निरूपित किया जाता है $f_{\mu }$ और $g_{i}$, जो संबंधित धाराओं के गैर-रैखिक कार्य हैं। सामान्यतः ये आउटपुट उस परत के सभी न्यूरॉन्स की धाराओं पर निर्भर हो सकते हैं $f_{\mu }=f(\{h_{\mu }\})$ और ${\textstyle g_{i}=g(\{x_{i}\})}$ इन सक्रियण कार्यों को न्यूरॉन्स के दो समूहों के लिए लैग्रेंजियन कार्यों के व्युत्पन्न के रूप में परिभाषित करना सुविधाजनक है:

$$f_{\mu }={\frac {\partial L_{h}}{\partial h_{\mu }}},\ \ \ \ {\text{and}}\ \ \ \ g_{i}={\frac {\partial L_{x}}{\partial x_{i}}}$$

(2)

इस प्रकार लैग्रेंजियन फलन निर्दिष्ट होने के पश्चात न्यूरॉन की स्थितियों के लिए समीकरणों का विशिष्ट पूर्ण रूप से परिभाषित हो जाता है। अंत में, न्यूरॉन्स के दो समूहों के लिए समय स्थिरांक को निरूपित किया जाता है $\tau _{f}$ और $\tau _{h}$, $I_{i}$ नेटवर्क का इनपुट धारा है जिसे प्रस्तुत डेटा द्वारा संचालित किया जा सकता है।

चित्र 2: लैग्रेंजियन कार्यों के विभिन्न सामान्य विकल्पों के लिए फ़ीचर न्यूरॉन्स पर प्रभावी सिद्धांत। मॉडल A अध्ययन किए गए मॉडलों को कम कर देता हैसक्रियण फलन की रूचि के आधार पर, मॉडल B अध्ययन किए गए मॉडल में कम हो जाता है,मॉडल C में अध्ययन किए गए मॉडल में कमी आती है।F पर्याप्त सुचारू फलन है।

गैर-रेखीय विभेदक समीकरणों की सामान्य प्रणालियों में कई जटिल व्यवहार हो सकते हैं जो गैर-रैखिकता और प्रारंभिक स्थितियों की रूचि पर निर्भर हो सकते हैं। चूँकि, हॉपफ़ील्ड नेटवर्क के लिए, यह विषय नहीं है- गतिशील प्रक्षेपवक्र सदैव निश्चित बिंदु आकर्षित करने वाली स्थिति में परिवर्तित होते हैं। यह गुण इसलिए प्राप्त किया गया है क्योंकि इन समीकरणों को विशेष रूप से इंजीनियर किया गया है जिससे उनमें अंतर्निहित ऊर्जा कार्य हो

$$E(t)={\Big [}\sum \limits _{i=1}^{N_{f}}(x_{i}-I_{i})g_{i}-L_{x}{\Big ]}+{\Big [}\sum \limits _{\mu =1}^{N_{h}}h_{\mu }f_{\mu }-L_{h}{\Big ]}-\sum \limits _{\mu ,i}f_{\mu }\xi _{\mu i}g_{i}$$

(3)

वर्गाकार कोष्ठकों में समूहीकृत शब्द न्यूरॉन्स की अवस्थाओं के संबंध में लैग्रेंजियन फलन के लीजेंड्रे परिवर्तन का प्रतिनिधित्व करते हैं। यदि लैग्रेंजियन फलन के हेसियन मैट्रिक्स सकारात्मक अर्ध-निश्चित हैं, तो गतिशील प्रक्षेपवक्र पर ऊर्जा फलन में कमी का आश्वासन है

$${\frac {dE(t)}{dt}}=-\tau _{f}\sum \limits _{i,j=1}^{N_{f}}{\frac {dx_{i}}{dt}}{\frac {\partial ^{2}L_{x}}{\partial x_{i}\partial x_{j}}}{\frac {dx_{j}}{dt}}-\tau _{h}\sum \limits _{\mu ,\nu =1}^{N_{h}}{\frac {dh_{\mu }}{dt}}{\frac {\partial ^{2}L_{h}}{\partial h_{\mu }\partial h_{\nu }}}{\frac {dh_{\nu }}{dt}}\leq 0$$

(4)

यह गुण को सिद्ध करना संभव बनाता है कि न्यूरॉन्स की गतिविधियों के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरणों की प्रणाली अंततः निश्चित बिंदु आकर्षण स्थिति तक पहुंच जाएगी।

कुछ स्थितियों में कोई यह मान सकता है कि छिपे हुए न्यूरॉन्स की गतिशीलता फीचर न्यूरॉन्स की तुलना में अधिक तीव्र समय के पैमाने पर संतुलित होती है, ${\textstyle \tau _{h}\ll \tau _{f}}$ इस प्रणाली में दूसरे समीकरण का स्थिर अवस्था समाधान (1) का उपयोग फीचर न्यूरॉन्स के आउटपुट के माध्यम से छिपी हुई इकाइयों की धाराओं को व्यक्त करने के लिए किया जा सकता है। इससे सामान्य सिद्धांत (1) को केवल फीचर न्यूरॉन्स के लिए प्रभावी सिद्धांत में परिवर्तित करना संभव हो जाता है। परिणामी प्रभावी अद्यतन नियम और लैग्रेंजियन फलन के विभिन्न सामान्य विकल्पों के लिए ऊर्जाएँ चित्र 2 में दिखाई गई हैं। लॉग-सम-एक्सपोनेंशियल लैग्रेंजियन फलन के विषय में फीचर न्यूरॉन्स की स्थिति के लिए अद्यतन नियम (यदि एक बार प्रारम्भ किया जाता है) ध्यान प्रणाली हैसामान्यतः कई आधुनिक एआई प्रणाली में उपयोग किया जाता है (संदर्भ देखें)।

सतत चर के साथ शास्त्रीय हॉपफील्ड नेटवर्क से संबंध

सतत हॉपफील्ड नेटवर्क का शास्त्रीय सूत्रीकरणको छिपी हुई परत के साथ आधुनिक हॉपफील्ड नेटवर्क के विशेष सीमित अवस्था के रूप में समझा जा सकता है श्रेणीबद्ध प्रतिक्रिया वाले न्यूरॉन्स के लिए सतत हॉपफील्ड नेटवर्क को सामान्यतः गतिशील समीकरणों द्वारा वर्णित किया जाता है:

$$\tau _{f}{\frac {dx_{i}}{dt}}=\sum \limits _{j=1}^{N_{f}}T_{ij}V_{j}-x_{i}+I_{i}$$

(5)

और ऊर्जा कार्य

$$E=-{\frac {1}{2}}\sum \limits _{i,j=1}^{N_{f}}T_{ij}V_{i}V_{j}-\sum \limits _{i=1}^{N_{f}}V_{i}I_{i}+\sum \limits _{i=1}^{N_{f}}\int \limits ^{V_{i}}g^{-1}(z)\,dz$$

(6)

जहाँ ${\textstyle V_{i}=g(x_{i})}$, और $g^{-1}(z)$ सक्रियण फलन का व्युत्क्रम है $g(x)$ यह मॉडलों के वर्ग की विशेष सीमा है जिसे मॉडल A कहा जाता है,लैग्रेंजियन फलन के निम्नलिखित विकल्प के साथ है;

$$L_{v}=\sum \limits _{i=1}^{N_{f}}\int \limits ^{x_{i}}g(x)dx,\ \ \ \ \ {\text{and}}\ \ \ \ \ L_{h}={\frac {1}{2}}\sum \limits _{\mu =1}^{N_{h}}h_{\mu }^{2}$$

(7)

परिभाषा (2), के अनुसार, सक्रियण कार्यों की ओर ले जाता है:

$$V_{i}=g(x_{i}),\ \ \ \ \ {\text{and}}\ \ \ \ \ f_{\mu }=h_{\mu }$$

(8)

यदि हम छिपे हुए न्यूरॉन्स को एकीकृत करते हैं तो समीकरणों की प्रणाली (1) फीचर न्यूरॉन्स (5) पर समीकरणों में परिवर्तित हो जाती है $T_{ij}=\sum \limits _{\mu =1}^{N_{h}}\xi _{\mu i}\xi _{\mu j}$, और ऊर्जा के लिए सामान्य अभिव्यक्ति (3) प्रभावी ऊर्जा को कम कर देता है:

$$E=-{\frac {1}{2}}\sum \limits _{i,j=1}^{N_{f}}T_{ij}V_{i}V_{j}-\sum \limits _{i=1}^{N_{f}}V_{i}I_{i}+\sum \limits _{i=1}^{N_{f}}{\Big (}x_{i}V_{i}-\int \limits ^{x_{i}}g(x)dx{\Big )}$$

(9)

जबकि समीकरण (6) में पहले दो पद समीकरण (9) के समान हैं, तीसरे पद सतही पर भिन्न दिखते हैं। समीकरण (9) में यह फ़ीचर न्यूरॉन्स के लिए लैग्रेन्जियन का लीजेंड्रे ट्रांसफॉर्म है, जबकि (6) में तीसरा शब्द व्युत्क्रम सक्रियण फलन का अभिन्न अंग है। फिर भी, ये दो अभिव्यक्तियाँ वास्तव में समतुल्य हैं, क्योंकि किसी फलन के व्युत्पन्न और उसके लेजेंड्रे परिवर्तन एक दूसरे के व्युत्क्रम फलन हैं। यह देखने में सबसे सरल विधि है कि ये दोनों शब्द स्पष्ट रूप से समान हैं, प्रत्येक के संबंध में अंतर करना है $x_{i}$ दोनों अभिव्यक्तियों के लिए इन विभेदों के परिणाम समान हैं $x_{i}g(x_{i})'$ इस प्रकार, दोनों अभिव्यक्तियाँ योगात्मक स्थिरांक तक समान हैं।(3) यह प्रमाण को पूर्ण करता हैकि निरंतर अवस्थाओं वाला शास्त्रीय हॉपफील्ड नेटवर्कऊर्जा के साथ आधुनिक हॉपफील्ड नेटवर्क का विशेष सीमित स्तिथि है। (1)

आधुनिक हॉपफील्ड नेटवर्क का सामान्य सूत्रीकरण

चित्र। 3: पांच न्यूरॉन्स से युक्त पूर्ण रूप से जुड़े आधुनिक हॉपफील्ड नेटवर्क का कनेक्टिविटी आरेख। सिनैप्टिक भार को सममित मैट्रिक्स $W_{IJ}$ द्वारा वर्णित किया गया है।

जैविक न्यूरल नेटवर्क में विभिन्न कोशिका प्रकारों के संदर्भ में अधिक सीमा तक विविधता होती है। यह खंड विविधता की शीर्ष डिग्री को मानते हुए पूर्ण रूप से जुड़े आधुनिक हॉपफील्ड नेटवर्क के गणितीय मॉडल का वर्णन करता है: प्रत्येक न्यूरॉन भिन्न है।विशेष रूप से, ऊर्जा फलन और संबंधित गतिशील समीकरणों का वर्णन यह मानते हुए किया गया है कि प्रत्येक न्यूरॉन का अपना सक्रियण फलन और गतिज समय पैमाना है। यह माना जाता है कि नेटवर्क पूर्ण रूप से जुड़ा हुआ है, जिससे प्रत्येक न्यूरॉन भार के सममित मैट्रिक्स का उपयोग करके प्रत्येक दूसरे न्यूरॉन से जुड़ा हो $W_{IJ}$, सूचकांक $I$ और $J$ नेटवर्क में विभिन्न न्यूरॉन्स की गणना करें, चित्र 3 देखें। इस समस्या को गणितीय रूप से तैयार करने का सबसे सरल विधि लैग्रेंजियन फलन के माध्यम से आर्किटेक्चर को परिभाषित करना है $L(\{x_{I}\})$ जो नेटवर्क में सभी न्यूरॉन्स की गतिविधियों पर निर्भर करता है। प्रत्येक न्यूरॉन के लिए सक्रियण फलन को उस न्यूरॉन की गतिविधि के संबंध में लैग्रेंजियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया गया है:

$$g_{I}={\frac {\partial L}{\partial x_{I}}}$$

(10)

जैविक दृष्टिकोण से कोई भी विचार कर सकता है $g_{I}$ न्यूरॉन के एक्सोनल आउटपुट के रूप में $I$ सबसे सरल स्तिथि में, जब लैग्रेन्जियन विभिन्न न्यूरॉन्स के लिए योगात्मक होता है, तो इस परिभाषा के परिणामस्वरूप सक्रियण होता है जो उस न्यूरॉन की गतिविधि का गैर-रेखीय कार्य है। गैर-एडिटिव लैग्रेन्जियंस के लिए यह सक्रियण फलन न्यूरॉन्स के समूह की गतिविधियों पर निर्भर हो सकता है। उदाहरण के लिए, इसमें विरोधाभासी (सॉफ्टमैक्स) या विभाजनकारी सामान्यीकरण हो सकता है। किसी दिए गए न्यूरॉन के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरण दिए गए हैं

$$\tau _{I}{\frac {dx_{I}}{dt}}=\sum \limits _{J=1}^{N}W_{IJ}g_{J}-x_{I}$$

(11)

यह समीकरण न्यूरल विज्ञान में फायरिंग रेट मॉडल नामक मॉडल के वर्ग से संबंधित है। प्रत्येक न्यूरॉन $I$ एक्सोनल एकत्र करता हूं, सभी न्यूरॉन्स से $g_{J}$ उन्हें सिनैप्टिक गुणांक के साथ भारित करता है $W_{IJ}$ और अपनी स्वयं का समय-निर्भर गतिविधि उत्पन्न करता है, लौकिक विकास $x_{I}$ में समय स्थिरांक होता है $\tau _{I}$, जो सामान्यतः प्रत्येक न्यूरॉन के लिए भिन्न हो सकता है। इस नेटवर्क का वैश्विक ऊर्जा कार्य है

$$E=\sum \limits _{I=1}^{N}x_{I}g_{I}-L-{\frac {1}{2}}\sum \limits _{I,J=1}^{N}g_{I}W_{IJ}g_{J}$$

(12)

जहां पहले दो शब्द न्यूरॉन्स की धाराओं के संबंध में लैग्रेंजियन फलन के लीजेंड्रे परिवर्तन का प्रतिनिधित्व करते हैं $x_{I}$ इस ऊर्जा फलन के अस्थायी व्युत्पन्न की गणना गतिशील प्रक्षेपवक्र पर की जा सकती है (विवरण के लिए देखें)।

$${\frac {dE}{dt}}=-\sum \limits _{I,K=1}^{N}{\frac {dx_{I}}{dt}}M_{IK}{\frac {dx_{K}}{dt}}\leq 0,\ \ \ \ {\text{where}}\ \ \ \ M_{IK}=\tau _{I}{\frac {\partial ^{2}L}{\partial x_{I}\partial x_{K}}}$$

(13)

अंतिम असमानता चिह्न धारण करता है नियमानुसार मैट्रिक्स $M_{IK}$ (या इसका सममित भाग) सकारात्मक अर्ध-निश्चित है। यदि, इसके अतिरिक्त, ऊर्जा फलन को नीचे से सीमित किया जाता है, तो गैर-रेखीय गतिशील समीकरणों को निश्चित बिंदु आकर्षित करने वाली स्तिथि में परिवर्तित होने का आश्वासन दिया जाता है। इस नेटवर्क को लैग्रेंजियन फलन के संदर्भ में तैयार करने का लाभ यह है कि यह सक्रियण फलन के विभिन्न विकल्पों और न्यूरॉन्स की विभिन्न आर्किटेक्चरल व्यवस्थाओं के साथ सरलता से प्रयोग करना संभव बनाता है। उन सभी विकल्पों के लिए अभिसरण के नियम मैट्रिक्स के गुणों द्वारा निर्धारित किया जाता हैं $M_{IJ}$ ऊर्जा कार्य पर निचली सीमा का अस्तित्व है।

चित्र 4: स्तरित पदानुक्रमित सहयोगी मेमोरी नेटवर्क का कनेक्टिविटी आरेख।प्रत्येक परत में भिन्न-भिन्न संख्या में न्यूरॉन्स, भिन्न-भिन्न सक्रियण कार्य और भिन्न-भिन्न समय पैमाने हो सकते हैं। फीडफॉरवर्ड वेट और फीडबैक वेट समान हैं।

पदानुक्रमित साहचर्य मेमोरी नेटवर्क

अंतिम असमानता चिह्न नियमानुसार यह धारण करता है कि न्यूरॉन्स को परतों में व्यवस्थित किया जा सकता है। जिससे किसी दिए गए परत के प्रत्येक न्यूरॉन में समान सक्रियण कार्य और समान गतिशील समय स्केल हो। यदि हम मानते हैं कि परत के भीतर न्यूरॉन्स के मध्य कोई क्षैतिज कनेक्शन नहीं है (पार्श्व कनेक्शन) और कोई स्किप-लेयर कनेक्शन नहीं है, तो सामान्यतः पूर्ण रूप से जुड़ा हुआ नेटवर्क (11), (12) चित्र 4 में दिखाए गए आर्किटेक्चर में कम हो जाता है। यह है $N_{\text{layer}}$ निरंतर चर द्वारा वर्णित स्थितियों के साथ आवर्ती रूप से जुड़े न्यूरॉन्स की परतें $x_{i}^{A}$ और सक्रियण कार्य $g_{i}^{A}$, अनुक्रमणिका $A$ नेटवर्क की परतों और सूचकांक की गणना करता है $i$ उस परत में भिन्न-भिन्न न्यूरॉन्स की गणना करता है। सक्रियण कार्य परत के सभी न्यूरॉन्स की गतिविधियों पर निर्भर हो सकते हैं। प्रत्येक परत में भिन्न-भिन्न संख्या में न्यूरॉन्स हो सकते हैं $N_{A}$ ये न्यूरॉन पिछली और पश्चात की परतों के न्यूरॉन से बार-बार जुड़े रहते हैं। $A$ और $B$ द्वारा निरूपित किये जाते हैं $\xi _{ij}^{(A,B)}$(भार के लिए ऊपरी सूचकांकों का क्रम निचले सूचकांकों के क्रम के समान है, ऊपर के उदाहरण में इसका अर्थ है कि सूचकांक $i$ परत में न्यूरॉन्स की गणना करता है $A$, और सूचकांक $j$ परत में न्यूरॉन्स की गणना $B$ करता है) फीडफॉरवर्ड वेट और फीडबैक वेट समान हैं। न्यूरॉन्स की अवस्थाओं के लिए गतिशील समीकरणों को इस प्रकार लिखा जा सकता है:

$$\tau _{A}{\frac {dx_{i}^{A}}{dt}}=\sum \limits _{j=1}^{N_{A-1}}\xi _{ij}^{(A,A-1)}g_{j}^{A-1}+\sum \limits _{j=1}^{N_{A+1}}\xi _{ij}^{(A,A+1)}g_{j}^{A+1}-x_{i}^{A}$$

(14)

सीमा के अनुसार के साथ:

$$g_{i}^{0}=0,\ \ \ \ \ {\text{and}}\ \ \ \ \ g_{i}^{N_{\text{layer}}+1}=0$$

(15)

इन समीकरणों और पारंपरिक फीडफॉरवर्ड नेटवर्क के मध्य मुख्य अंतर दूसरे पद की उपस्थिति है, जो उच्च परतों से फीडबैक के लिए उत्तरदायी है। ये ऊपर से नीचे के संकेत निचली परतों में न्यूरॉन्स को प्रस्तुत उत्तेजनाओं के प्रति उनकी प्रतिक्रिया पर निर्णय लेने में सहायता करते हैं। सामान्य विधि का पालन करते हुए लैग्रेंजियन फलन को प्रस्तुत करना सुविधाजनक है $L^{A}(\{x_{i}^{A}\})$ के लिए $A$-वीं छिपी हुई परत, जो उस परत के सभी न्यूरॉन्स की गतिविधियों पर निर्भर करती है।उस परत में सक्रियण कार्यों को लैग्रेंजियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया जा सकता है:

$$g_{i}^{A}={\frac {\partial L^{A}}{\partial x_{i}^{A}}}$$

(16)

इन परिभाषाओं के साथ ऊर्जा (ल्यपुनोव) फलन दिया गया है

$$E=\sum \limits _{A=1}^{N_{\text{layer}}}{\Big [}\sum \limits _{i=1}^{N_{A}}x_{i}^{A}g_{i}^{A}-L^{A}{\Big ]}-\sum \limits _{A=1}^{N_{\text{layer}}-1}\sum \limits _{i=1}^{N_{A+1}}\sum \limits _{j=1}^{N_{A}}g_{i}^{A+1}\xi _{ij}^{(A+1,A)}g_{j}^{A}$$

(17)

यदि लैग्रेंजियन फलन, या समकक्ष सक्रियण फलन, इस प्रकार चयन किये जाता है, कि प्रत्येक परत के लिए हेसियन सकारात्मक अर्ध-निश्चित हैं और समग्र ऊर्जा नीचे से बंधी हुई है, तो इस प्रणाली को निश्चित बिंदु आकर्षित करने वाली स्तिथि में परिवर्तित होने का आश्वासन है, इस ऊर्जा फलन का अस्थायी व्युत्पन्न इस प्रकार दिया गया है

$${\frac {dE}{dt}}=-\sum \limits _{A=1}^{N_{\text{layer}}}\tau _{A}\sum \limits _{i,j=1}^{N_{A}}{\frac {dx_{j}^{A}}{dt}}{\frac {\partial ^{2}L^{A}}{\partial x_{j}^{A}\partial x_{i}^{A}}}{\frac {dx_{i}^{A}}{dt}}\leq 0$$

(18)

इस प्रकार, पदानुक्रमित स्तरित नेटवर्क वास्तव में वैश्विक ऊर्जा फलन के साथ आकर्षक नेटवर्क है। इस नेटवर्क को सिनैप्टिक भार के पदानुक्रमित सेट द्वारा वर्णित किया गया है जिसे प्रत्येक विशिष्ट समस्या के लिए सीखा जा सकता है।

यह भी देखें

• साहचर्य मेमोरी (बहुविकल्पी)
• ऑटोएसोसिएटिव मेमोरी
• बोल्ट्ज़मान मशीन- हॉपफील्ड नेट की तरह किन्तु ग्रेडिएंट डिसेंट के अतिरिक्त एनील्ड गिब्स सैंपलिंग का उपयोग करती है
• संज्ञानात्मक मॉडल सहयोगी मेमोरी
• आइसिंग मॉडल
• हेब्बियन सिद्धांत

संदर्भ

• Hebb, D.O. (2005) [1949]. The Organization of Behavior: A Neuropsychological Theory. Psychology Press. ISBN 978-1-135-63190-1.
• Hertz, John A. (2018) [1991]. Introduction To The Theory Of Neural Computation. CRC Press. ISBN 978-0-429-96821-1.
• McCulloch, W.S.; Pitts, W.H. (1943). "A logical calculus of the ideas immanent in nervous activity". Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259.
• Polyn, S.M.; Kahana, M.J. (2008). "Memory search and the neural representation of context". Trends in Cognitive Sciences. 12 (1): 24–30. doi:10.1016/j.tics.2007.10.010. PMC 2839453. PMID 18069046.
• Rizzuto, D.S.; Kahana, M.J. (2001). "An autoassociative neural network model of paired-associate learning". Neural Computation. 13 (9): 2075–2092. CiteSeerX 10.1.1.45.7929. doi:10.1162/089976601750399317. PMID 11516358. S2CID 7675117.
• Kruse, Rudolf; Borgelt, Christian; Klawonn, Frank; Moewes, Christian; Steinbrecher, Matthias; Held, Pascal (2013). Computational Intelligence: A Methodological Introduction. Springer. ISBN 978-1-4471-5013-8.

बाहरी संबंध

• Rojas, Raul (12 July 1996). "13. The Hopfield model" (PDF). Neural Networks – A Systematic Introduction. ISBN 978-3-540-60505-8.
• Hopfield Network Javascript
• The Travelling Salesman Problem – Hopfield Neural Network JAVA Applet
• Hopfield, John (2007). "Hopfield network". Scholarpedia. 2 (5): 1977. Bibcode:2007SchpJ...2.1977H. doi:10.4249/scholarpedia.1977.
• Fletcher, Tristan. "Hopfield Network Learning Using Deterministic Latent Variables" (PDF) (Tutorial). Archived from the original (PDF) on 2011-10-05.
• Neural Lab Graphical Interface – Hopfield Neural Network graphical interface (Python & gtk)