View source for कृत्रिम तंत्रिका नेटवर्क

{{short description|Computational model used in machine learning, based on connected, hierarchical functions}}
{{Machine learning|Artificial neural network}}
{{Artificial intelligence}}
{{Complex systems}}
{{Network science}}

[[File:Colored neural network.svg|thumb|upright=1.15|कृत्रिम तंत्रिका नेटवर्क नोड्स का परस्पर समूह है, जो मस्तिष्क में न्यूरॉन्स के सरलीकरण से प्रेरित है। यहां, प्रत्येक गोलाकार नोड [[कृत्रिम न्यूरॉन]] का प्रतिनिधित्व करता है और तीर कृत्रिम न्यूरॉन के आउटपुट से दूसरे के इनपुट तक कनेक्शन का प्रतिनिधित्व करता है।]]कृत्रिम तंत्रिका नेटवर्क (एएनएन), सामान्यतः केवल तंत्रिका नेटवर्क (एनएन) या तंत्रिका जाल कहा जाता है,<ref>{{cite web|last=Hardesty|first=Larry|title=Explained: Neural networks|date=14 April 2017|url=https://news.mit.edu/2017/explained-neural-networks-deep-learning-0414|publisher=MIT News Office|access-date=2 June 2022}}</ref> [[जैविक तंत्रिका नेटवर्क]] से प्रेरित कंप्यूटिंग प्रणाली हैं जो पशु मस्तिष्क का गठन करते हैं।<ref>{{cite book |last1=Yang |first1=Z.R. |last2=Yang |first2=Z. |title=Comprehensive Biomedical Physics |date=2014 |publisher=Elsevier |location=Karolinska Institute, Stockholm, Sweden |isbn=978-0-444-53633-4 |page=1 |url=https://www.sciencedirect.com/topics/neuroscience/artificial-neural-network |access-date=28 July 2022 |archive-date=28 July 2022 |archive-url=https://web.archive.org/web/20220728183237/https://www.sciencedirect.com/topics/neuroscience/artificial-neural-network |url-status=live }}</ref>
एएनएन कनेक्टेड इकाइयों या कृत्रिम न्यूरॉन्स नामक नोड्स के संग्रह पर आधारित है, जो जैविक मस्तिष्क में न्यूरॉन्स को अशक्त रूप से मॉडल करते हैं। प्रत्येक कनेक्शन, जैविक मस्तिष्क में सिनैप्स की तरह, अन्य न्यूरॉन्स को संकेत प्रेषित कर सकता है। कृत्रिम न्यूरॉन संकेतों को प्राप्त करता है और फिर उन्हें संसाधित करता है और इससे जुड़े न्यूरॉन्स को संकेत दे सकता है। कनेक्शन पर "संकेत" वास्तविक संख्या है, और प्रत्येक न्यूरॉन के आउटपुट की गणना उसके इनपुट के योग के कुछ गैर-रैखिक फलन द्वारा की जाती है। कनेक्शन को किनारे कहा जाता है। न्यूरॉन्स और किनारों में सामान्यतः एक भार होता है, जो शिक्षा की आय के रूप में समायोजित होता है। कनेक्शन पर वजन संकेत की शक्ति को बढ़ाता या घटाता है। न्यूरॉन्स की सीमा हो सकती है जैसे कि संकेत केवल तभी भेजा जाता है जब कुल संकेत उस सीमा को पार कर जाता है।

सामान्यतः, न्यूरॉन्स परतों में एकत्रित होते हैं। अलग-अलग परतें अपने इनपुट पर अलग-अलग परिवर्तन कर सकती हैं। संकेत पहली परत (इनपुट परत) से अंतिम परत (आउटपुट परत) तक संभवतः कई बार परतों को पार करने के बाद जाते हैं।{{toclimit|3}}


== प्रशिक्षण ==
तंत्रिका नेटवर्क उदाहरणों को संसाधित करके सीखते हैं (या प्रशिक्षित होते हैं), जिनमें से प्रत्येक में ज्ञात "इनपुट" और "परिणाम" होता है, जो दोनों के बीच संभाव्यता-भारित संघों का निर्माण करता है, जो नेट की डेटा संरचना के अन्दर संग्रहीत होते हैं। किसी दिए गए उदाहरण से तंत्रिका नेटवर्क का प्रशिक्षण सामान्यतः नेटवर्क के संसाधित आउटपुट (अधिकांशतः भविष्यवाणी) और लक्ष्य आउटपुट के बीच अंतर निर्धारित करके आयोजित किया जाता है। यह अंतर त्रुटि है। नेटवर्क तब शिक्षा के नियम के अनुसार और इस त्रुटि मान का उपयोग करके अपने भारित संघों को समायोजित करता है। निरंतर समायोजन तंत्रिका नेटवर्क को आउटपुट का उत्पादन करने का कारण बनता है, जो लक्ष्य आउटपुट के समान होता है। इन समायोजनों की पर्याप्त संख्या के बाद, कुछ मानदंडों के आधार पर प्रशिक्षण समाप्त किया जा सकता है। इसे पर्यवेक्षित शिक्षण के रूप में जाना जाता है।

ऐसी प्रणालियाँ सामान्यतः कार्य-विशिष्ट नियमों के साथ प्रोग्राम किए बिना उदाहरणों पर विचार करके कार्य करना "सीखती हैं"। उदाहरण के लिए, [[छवि पहचान]] में, वे उदाहरण छवियों का विश्लेषण करके उन छवियों की पहचान करना सीख सकते हैं जिनमें बिल्लियों सम्मिलित हैं, जिन्हें मैन्युअल रूप से "बिल्ली" या "कोई बिल्ली नहीं" के रूप में लेबल किया गया है और अन्य छवियों में बिल्लियों की पहचान करने के लिए परिणामों का उपयोग किया जाता है। वे बिल्लियों के बारे में किसी भी पूर्व ज्ञान के बिना ऐसा करते हैं, उदाहरण के लिए, कि उनके फर, पूंछ, मूंछें और बिल्ली जैसे चेहरे हैं। इसके अतिरिक्त, वे स्वचालित रूप से उन उदाहरणों से पहचान की विशेषताएँ उत्पन्न करते हैं, जिन्हें वे संसाधित करते हैं।

== इतिहास ==
{{main|कृत्रिम तंत्रिका नेटवर्क का इतिहास}}
सबसे सरल प्रकार का फीडफॉरवर्ड न्यूरल नेटवर्क (एफएनएन) रैखिक नेटवर्क है, जिसमें आउटपुट नोड्स की परत होती है; इनपुट सीधे आउटपुट को वज़न की श्रृंखला के माध्यम से खिलाया जाता है। वजन और इनपुट के उत्पादों का योग प्रत्येक नोड में गणना की जाती है। इन परिकलित आउटपुट और दिए गए लक्ष्य मानों के बीच माध्य चुकता त्रुटियाँ भार में समायोजन करके न्यूनतम की जाती हैं। इस तकनीक को कम से कम वर्गों या रैखिक प्रतिगमन की विधि के रूप में दो सदियों से जाना जाता है। इसका उपयोग ग्रहों की चाल की भविष्यवाणी के लिए लीजेंड्रे (1805) और गॉस (1795) द्वारा बिंदुओं के सम्मुच्च्य के लिए अच्छा मोटा रैखिक उपयुक्त खोजने के साधन के रूप में किया गया था।

विल्हेम लेन्ज़ और अर्न्स्ट इस्सिंग ने ईज़िंग मॉडल (1925) बनाया और उसका विश्लेषण किया, जो अनिवार्य रूप से गैर-शिक्षा वाला कृत्रिम आवर्तक तंत्रिका नेटवर्क (आरएनएन) है जिसमें न्यूरॉन जैसे थ्रेशोल्ड तत्व होते हैं। 1972 में, शुनिची अमारी ने इस वास्तुकला को अनुकूल बनाया। उनकी शिक्षा आरएनएन को 1982 में जॉन हॉपफील्ड द्वारा लोकप्रिय बनाया गया था।

वारेन मैककुलोच और वाल्टर पिट्स<ref>{{cite journal|last=McCulloch|first=Warren|author2=Walter Pitts|title=A Logical Calculus of Ideas Immanent in Nervous Activity|journal=Bulletin of Mathematical Biophysics|year=1943|volume=5|issue=4|pages=115–133|doi=10.1007/BF02478259|pmid=<!--none-->}}</ref> (1943) ने तंत्रिका नेटवर्क के लिए गैर-शिक्षा वाले कम्प्यूटेशनल मॉडल के रूप में भी माना जाता है।<ref>{{Cite news|url=https://www.degruyter.com/view/books/9781400882618/9781400882618-002/9781400882618-002.xml|title=Representation of Events in Nerve Nets and Finite Automata|last=Kleene|first=S.C.|work=Annals of Mathematics Studies|access-date=17 June 2017|publisher=Princeton University Press|year=1956|issue=34|pages=3–41}}</ref> 1940 के अंत में, डी. ओ. हेब्ब<ref>{{cite book|url={{google books |plainurl=y |id=ddB4AgAAQBAJ}}|title=The Organization of Behavior|last=Hebb|first=Donald|publisher=Wiley|year=1949|isbn=978-1-135-63190-1|location=New York}}</ref> ने तंत्रिका प्लास्टिसिटी के तंत्र के आधार पर शिक्षा की परिकल्पना बनाई जिसे हेब्बियन शिक्षा के रूप में जाना जाने लगा। फ़ार्ले और वेस्ली ए. क्लार्क<ref>{{cite journal|last=Farley|first=B.G.|author2=W.A. Clark|title=Simulation of Self-Organizing Systems by Digital Computer|journal=IRE Transactions on Information Theory|year=1954|volume=4|pages=76–84|doi=10.1109/TIT.1954.1057468|issue=4}}</ref> (1954) ने पहली बार कम्प्यूटेशनल मशीनों क उपयोग हेबियन नेटवर्क का अनुकरण करने के लिए किया, जिसे बाद में "कैलकुलेटर" कहा जाता है। 1958 में, मनोवैज्ञानिक [[फ्रैंक रोसेनब्लैट]] ने परसेप्ट्रॉन का आविष्कार किया, पहला कृत्रिम तंत्रिका नेटवर्क,<ref>Haykin (2008) Neural Networks and Learning Machines, 3rd edition</ref><ref>{{cite journal|last=Rosenblatt|first=F.|title=The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain|journal=Psychological Review|year=1958|volume=65|pages=386–408|doi=10.1037/h0042519|pmid=13602029|issue=6|citeseerx=10.1.1.588.3775}}</ref><ref name="Werbos 1975">{{cite book|url={{google books |plainurl=y |id=z81XmgEACAAJ}}|title=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences|last=Werbos|first=P.J.|year=1975}}</ref><ref>{{cite journal |last=Rosenblatt |first=Frank |year=1957 |title=The Perceptron—a perceiving and recognizing automaton |journal=Report 85-460-1 |publisher=Cornell Aeronautical Laboratory }}</ref> संयुक्त अवस्था नौसेना अनुसंधान कार्यालय द्वारा वित्त पोषित था।<ref name="Olazaran">{{cite journal |first=Mikel |last=Olazaran |title=A Sociological Study of the Official History of the Perceptrons Controversy |journal=Social Studies of Science |volume=26 |issue=3 |year=1996 |jstor=285702|doi=10.1177/030631296026003005 |pages=611–659|s2cid=16786738 }}</ref>

कुछ लोगों का कहना है कि [[मार्विन मिंस्की]] और पैपर्ट (1969) के बाद शोध रुक गया,<ref>{{cite book|url={{google books |plainurl=y |id=Ow1OAQAAIAAJ}}|title=Perceptrons: An Introduction to Computational Geometry|last1=Minsky|first1=Marvin|last2=Papert|first2=Seymour|publisher=MIT Press|year=1969|isbn=978-0-262-63022-1}}</ref> जिन्होंने पाया कि बेसिक परसेप्ट्रॉन एक्सक्लूसिव-या परिपथ को प्रोसेस करने में अक्षम थे और उपयोगी न्यूरल नेटवर्क को प्रोसेस करने के लिए कंप्यूटर में पर्याप्त शक्ति की कमी थी। चूँकि, जब तक यह पुस्तक सामने आई, तब तक मल्टीलेयर परसेप्ट्रॉन (एमएलपी) के प्रशिक्षण की विधि पहले से ही ज्ञात थी।

पहला डीप लर्निंग एमएलपी 1965 में [[एलेक्सी ग्रिगोरविच इवाखेंको]] और वैलेन्टिन लैपा द्वारा डेटा हैंडलिंग के ग्रुप मेथड के रूप में प्रकाशित किया गया था।<ref name="SCHIDHUB2">{{cite journal|last=Schmidhuber|first=J.|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637|s2cid=11715509}}</ref><ref name="ivak1965">{{cite book|url={{google books |plainurl=y |id=FhwVNQAACAAJ}}|title=Cybernetic Predicting Devices|last=Ivakhnenko|first=A. G.|publisher=CCM Information Corporation|year=1973}}</ref><ref name="ivak1967">{{cite book|url={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|title=Cybernetics and forecasting techniques|last2=Grigorʹevich Lapa|first2=Valentin|publisher=American Elsevier Pub. Co.|year=1967|first1=A. G.|last1=Ivakhnenko}}</ref> स्टोचैस्टिक ग्रेडिएंट डिसेंट द्वारा प्रशिक्षित पहला डीप लर्निंग एमएलपी 1967 में शुनिची अमारी द्वारा प्रकाशित किया गया था।<ref name="scholarpedia2">{{cite journal|last1=Schmidhuber|first1=Jürgen|author-link=Jürgen Schmidhuber|year=2015|title=Deep Learning|journal=Scholarpedia|volume=10|issue=11|pages=85–117|bibcode=2015SchpJ..1032832S|doi=10.4249/scholarpedia.32832|doi-access=free}}</ref><ref name=":5">{{Cite journal|last=Dreyfus|first=Stuart E.|date=1 September 1990|title=Artificial neural networks, back propagation, and the Kelley-Bryson gradient procedure|journal=Journal of Guidance, Control, and Dynamics|volume=13|issue=5|pages=926–928|bibcode=1990JGCD...13..926D|doi=10.2514/3.25422|issn=0731-5090}}</ref><ref name="mizutani2000">{{Cite journal|last1=Mizutani|first1=E.|last2=Dreyfus|first2=S.E.|last3=Nishio|first3=K.|date=2000|title=On derivation of MLP backpropagation from the Kelley-Bryson optimal-control gradient formula and its application|journal=Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. IJCNN 2000. Neural Computing: New Challenges and Perspectives for the New Millennium|pages=167–172 vol.2|publisher=IEEE|doi=10.1109/ijcnn.2000.857892|isbn=0-7695-0619-4|s2cid=351146|author-link2=Stuart Dreyfus}}</ref> अमारी के छात्र सैटो द्वारा किए गए कंप्यूटर प्रयोगों में, दो परिवर्तनीय परतों के साथ पांच परत एमएलपी ने गैर-रैखिक रूप से अलग करने योग्य पैटर्न कक्षाओं को वर्गीकृत करने के लिए उपयोगी आंतरिक प्रतिनिधित्व सीखा।<ref name="kelley1960">{{cite journal|last1=Kelley|first1=Henry J.|author-link=Henry J. Kelley|year=1960|title=Gradient theory of optimal flight paths|journal=ARS Journal|volume=30|issue=10|pages=947–954|doi=10.2514/8.5282}}</ref><ref name="bryson1961">{{cite conference|date=April 1961|title=Proceedings of the Harvard Univ. Symposium on digital computers and their applications|chapter=A gradient method for optimizing multi-stage allocation processes}}</ref>

1970 में, सेप्पो लिनैनमा ने नेस्टेड [[विभेदक कार्य]] फलनों के असतत कनेक्टेड नेटवर्क के स्वचालित विभेदन (एडी) के लिए सामान्य विधि प्रकाशित की थी।<ref name="lin1970">{{cite thesis|first=Seppo|last=Linnainmaa|author-link=Seppo Linnainmaa|year=1970|type=Masters|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|language=fi|publisher=University of Helsinki|pages=6–7}}</ref><ref name="lin1976">{{cite journal|last1=Linnainmaa|first1=Seppo|author-link=Seppo Linnainmaa|year=1976|title=Taylor expansion of the accumulated rounding error|journal=BIT Numerical Mathematics|volume=16|issue=2|pages=146–160|doi=10.1007/bf01931367|s2cid=122357351}}</ref> 1973 में, ड्रेफस ने त्रुटि प्रवणताओं के अनुपात में नियंत्रकों के मापदंडों को अनुकूलित करने के लिए पश्चप्रचार का उपयोग किया।<ref name="dreyfus1973">{{cite journal|last1=Dreyfus|first1=Stuart|author-link=Stuart Dreyfus|year=1973|title=The computational solution of optimal control problems with time lag|journal=IEEE Transactions on Automatic Control|volume=18|issue=4|pages=383–385|doi=10.1109/tac.1973.1100330}}</ref> पॉल वर्बोस (1975) के बैकप्रॉपेगेशन कलनविधि ने मल्टी-लेयर नेटवर्क के व्यावहारिक प्रशिक्षण को सक्षम किया। 1982 में, उन्होंने लिनैनमा की एडी पद्धति को तंत्रिका नेटवर्क पर इस तरह से प्रयुक्त किया जो व्यापक रूप से उपयोग किया जाने लगा।<ref name="scholarpedia2" /><ref name="werbos1982">{{Cite book|title=System modeling and optimization|last=Werbos|first=Paul|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis|author-link=Paul Werbos|chapter-url=http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|access-date=2 July 2017|archive-date=14 April 2016|archive-url=https://web.archive.org/web/20160414055503/http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|url-status=live}}</ref>

मेटल-ऑक्साइड-सेमीकंडक्टर (एमओएस) वेरी-लार्ज-स्केल इंटीग्रेशन (वीएलएसआई) का विकास, [[पूरक एमओएस]] (सीएमओएस) तकनीक के रूप में, [[डिजिटल इलेक्ट्रॉनिक्स]] में एमओएस ट्रांजिस्टर की संख्या बढ़ाने में सक्षम है। इसने 1980 के दशक में व्यावहारिक कृत्रिम तंत्रिका नेटवर्क के विकास के लिए अधिक प्रसंस्करण शक्ति प्रदान की।<ref name="Mead">{{cite book|url=http://fennetic.net/irc/Christopher%20R.%20Carroll%20Carver%20Mead%20Mohammed%20Ismail%20Analog%20VLSI%20Implementation%20of%20Neural%20Systems.pdf|title=Analog VLSI Implementation of Neural Systems|date=8 May 1989|publisher=[[Kluwer Academic Publishers]]|isbn=978-1-4613-1639-8|last1=Mead|first1=Carver A.|author1-link=Carver Mead|last2=Ismail|first2=Mohammed|series=The Kluwer International Series in Engineering and Computer Science|volume=80|location=Norwell, MA|doi=10.1007/978-1-4613-1639-8|access-date=24 January 2020|archive-date=6 November 2019|archive-url=https://web.archive.org/web/20191106154442/http://fennetic.net/irc/Christopher%20R.%20Carroll%20Carver%20Mead%20Mohammed%20Ismail%20Analog%20VLSI%20Implementation%20of%20Neural%20Systems.pdf|url-status=live}}</ref>

1986 में [[डेविड रुमेलहार्ट]], [[जेफ्री हिंटन]] और रोनाल्ड जे. विलियम्स ने दिखाया कि अनुक्रम में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित होने पर बैकप्रोपैजेशन ने फीचर वैक्टर के रूप में शब्दों के दिलचस्प आंतरिक प्रतिनिधित्व को सीखा।<ref name="RUMEL1986">David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams , "[https://www.nature.com/articles/323533a0 Learning representations by back-propagating errors ] {{Webarchive|url=https://web.archive.org/web/20210308045630/https://www.nature.com/articles/323533a0 |date=8 March 2021 }}," ''Nature', 323, pages 533–536 1986.''</ref>

1988 से,<ref name="Qian1988">Qian, Ning, and Terrence J. Sejnowski. "Predicting the secondary structure of globular proteins using neural network models." ''Journal of molecular biology'' 202, no. 4 (1988): 865-884.</ref><ref name="Bohr1988">Bohr, Henrik, Jakob Bohr, Søren Brunak, Rodney MJ Cotterill, Benny Lautrup, Leif Nørskov, Ole H. Olsen, and Steffen B. Petersen. "Protein secondary structure and homology by neural networks The α-helices in rhodopsin." ''FEBS letters'' 241, (1988): 223-228</ref> तंत्रिका नेटवर्क के उपयोग ने प्रोटीन संरचना भविष्यवाणी के क्षेत्र को परिवर्तित कर दिया, विशेष रूप से जब पहले कैस्केडिंग नेटवर्क को कई अनुक्रम संरेखण द्वारा निर्मित प्रोफाइल (मैट्रिसेस) पर प्रशिक्षित किया गया।<ref name="Rost1993">Rost, Burkhard, and Chris Sander. "Prediction of protein secondary structure at better than 70% accuracy." ''Journal of molecular biology'' 232, no. 2 (1993): 584-599.</ref>

1992 में, कनवॉल्यूशनल न्यूरल नेटवर्क मैक्स-पूलिंग को [[3डी वस्तु पहचान]] में सहायता के लिए न्यूनतम-शिफ्ट इनवैरियंस और विरूपण के प्रति सहनशीलता के साथ सहायता करने के लिए प्रस्तुत किया गया था।<ref name="Weng1992">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronIJCNN1992.pdf Cresceptron: a self-organizing neural network which grows adaptively] {{Webarchive|url=https://web.archive.org/web/20170921205838/http://www.cse.msu.edu/%7Eweng/research/CresceptronIJCNN1992.pdf |date=21 September 2017 }}," ''Proc. International Joint Conference on Neural Networks'', Baltimore, Maryland, vol I, pp. 576–581, June 1992.</ref><ref name="Weng19932">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronICCV1993.pdf Learning recognition and segmentation of 3-D objects from 2-D images] {{Webarchive|url=https://web.archive.org/web/20170921203756/http://www.cse.msu.edu/%7Eweng/research/CresceptronICCV1993.pdf |date=21 September 2017 }}," ''Proc. 4th International Conf. Computer Vision'', Berlin, Germany, pp. 121–128, May 1993.</ref><ref name="Weng1997">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronIJCV.pdf Learning recognition and segmentation using the Cresceptron] {{Webarchive|url=https://web.archive.org/web/20210125215527/http://www.cse.msu.edu/~weng/research/CresceptronIJCV.pdf |date=25 January 2021 }}," ''International Journal of Computer Vision'', vol. 25, no. 2, pp. 105–139, Nov. 1997.</ref> जुरगेन श्मिधहुबर ने नेटवर्क के बहु-स्तरीय पदानुक्रम (1992) को एक समय में एक स्तर पर पूर्व-प्रशिक्षित शिक्षण और बैकप्रॉपैगेशन द्वारा ठीक-ठीक करके अपनाया गया।<ref name="SCHMID1992">J. Schmidhuber., "[https://mediatum.ub.tum.de/doc/814767/file.pdf Learning complex, extended sequences using the principle of history compression] {{Webarchive|url=https://web.archive.org/web/20200318023723/https://mediatum.ub.tum.de/doc/814767/file.pdf |date=18 March 2020 }}," ''Neural Computation'', 4, pp. 234–242, 1992.</ref>

तंत्रिका नेटवर्क की प्रारंभिकी सफलताओं में शेयर बाजार की भविष्यवाणी करना और 1995 में (अधिकतर) सेल्फ-ड्राइविंग कार सम्मिलित थी।{{efn|Steering for the 1995 "[[History of autonomous cars#1990s|No Hands Across America]]" required "only a few human assists".}}<ref>{{cite book
| last = Domingos | first = Pedro | author-link = Pedro Domingos
| title =  The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World
| date = September 22, 2015
| publisher = [[Basic Books]]
| isbn = 978-0465065707
| chapter = chapter 4
}}</ref>

जेफ्री हिंटन एट अल. (2006) प्रतिबंधित बोल्ट्जमैन मशीन के साथ बाइनरी या वास्तविक-मूल्यवान [[अव्यक्त चर]] की क्रमिक परतों का उपयोग करके उच्च-स्तरीय प्रतिनिधित्व शिक्षा का प्रस्ताव दिया।<ref name="smolensky1986">{{cite book|chapter-url=http://portal.acm.org/citation.cfm?id=104290|title=Parallel Distributed Processing: Explorations in the Microstructure of Cognition|year=1986|editor=D. E. Rumelhart|editor2=J. L. McClelland|editor3=PDP Research Group|volume=1|pages=[https://archive.org/details/paralleldistribu00rume/page/194 194–281]|chapter=Information processing in dynamical systems: Foundations of harmony theory.|last1=Smolensky|first1=P.|author-link1=Paul Smolensky|isbn=978-0-262-68053-0|url=https://archive.org/details/paralleldistribu00rume/page/194}}</ref> प्रत्येक परत को मॉडल करने के लिए। 2012 में, [[एंड्रयू एनजी]] और [[जेफ डीन (कंप्यूटर वैज्ञानिक)]] ने नेटवर्क बनाया, जिसने उच्च-स्तरीय अवधारणाओं को पहचानना सीखा, जैसे कि बिल्लियाँ, केवल बिना लेबल वाली छवियों को देखकर।<ref name="ng2012">{{cite arXiv|eprint=1112.6209|first2=Jeff|last2=Dean|title=Building High-level Features Using Large Scale Unsupervised Learning|last1=Ng|first1=Andrew|year=2012|class=cs.LG}}</ref> अनियंत्रित पूर्व-प्रशिक्षण और [[जीपीयू]] से बढ़ी हुई कंप्यूटिंग शक्ति और वितरित कंप्यूटिंग ने बड़े नेटवर्क के उपयोग की अनुमति दी, विशेष रूप से छवि और दृश्य पहचान की समस्याओं में, जिसे गहन शिक्षा के रूप में जाना जाता है।<ref>{{cite book|title=Deep Learning|author=Ian Goodfellow and Yoshua Bengio and Aaron Courville|publisher=MIT Press|url=http://www.deeplearningbook.org/|year=2016|access-date=1 June 2016|archive-date=16 April 2016|archive-url=https://web.archive.org/web/20160416111010/http://www.deeplearningbook.org/|url-status=live}}</ref>

सीरेसन और सहकर्मियों (2010)<ref name=":3">{{Cite journal|last1=Cireşan|first1=Dan Claudiu|last2=Meier|first2=Ueli|last3=Gambardella|first3=Luca Maria|last4=Schmidhuber|first4=Jürgen|date=21 September 2010|title=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition|journal=Neural Computation|volume=22|issue=12|pages=3207–3220|doi=10.1162/neco_a_00052|pmid=20858131|issn=0899-7667|arxiv=1003.0358|s2cid=1918673}}</ref> दिखाया गया है कि लुप्त हो रही ढाल की समस्या के अतिरिक्त, जीपीयू कई-स्तरित फीडफॉरवर्ड न्यूरल नेटवर्क के लिए बैकप्रोपैजेशन को संभव बनाता है।<ref name="Scherer2010">Dominik Scherer, Andreas C. Müller, and Sven Behnke: "[https://www.ais.uni-bonn.de/papers/icann2010_maxpool.pdf Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition] {{Webarchive|url=https://web.archive.org/web/20180403185041/http://ais.uni-bonn.de/papers/icann2010_maxpool.pdf |date=3 April 2018 }}," ''In 20th International Conference Artificial Neural Networks (ICANN)'', pp. 92–101, 2010. {{doi|10.1007/978-3-642-15825-4_10}}.</ref> 2009 और 2012 के बीच, एएनएन ने छवि पहचान प्रतियोगिताओं में पुरस्कार जीतना प्रारंभ किया, विभिन्न कार्यों पर मानव स्तर के प्रदर्शन के निकट पहुंचकर, प्रारंभ में पैटर्न पहचान और लिखावट की पहचान में जीतना प्रारंभ किया।<ref>[http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions 2012 Kurzweil AI Interview] {{Webarchive|url=https://web.archive.org/web/20180831075249/http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions |date=31 August 2018 }} with [[Jürgen Schmidhuber]] on the eight competitions won by his Deep Learning team 2009–2012</ref><ref>{{Cite web|url=http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions|title=How bio-inspired deep learning keeps winning competitions {{!}} KurzweilAI|website=www.kurzweilai.net|access-date=16 June 2017|archive-url=https://web.archive.org/web/20180831075249/http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions|archive-date=31 August 2018|url-status=dead}}</ref> उदाहरण के लिए, द्वि-दिशात्मक और बहु-आयामी दीर्घकालिक अल्पकालिक स्मृति (एलएसटीएम)<ref name="graves20093">{{Cite book|url=https://papers.nips.cc/paper/2008 |chapter-url=http://www.idsia.ch/~juergen/nips2009.pdf
|last1=Graves|first1=Alex|last2=Schmidhuber|first2=Jürgen|chapter=Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks|publisher=Neural Information Processing Systems (NIPS) Foundation |date=2009 |pages=545–552 |editor-last1=Koller |editor-first1=D. |editor-last2=Schuurmans |editor-first2=Dale|editor-last3=Bengio|editor-first3=Yoshua|editor-last4=Bottou|editor-first4=L. |title=Advances in Neural Information Processing Systems 21 (NIPS 2008) |isbn=9781605609492}}</ref><ref name="graves 855" /> एलेक्स ग्रेव्स (कंप्यूटर वैज्ञानिक) एट अल। सीखी जाने वाली तीन भाषाओं के बारे में बिना किसी पूर्व ज्ञान के 2009 में कनेक्टेड हैंडराइटिंग रिकग्निशन में तीन प्रतियोगिताएं जीतीं थी।<ref name="graves20093" /><ref name="graves 855">{{Cite journal|last1=Graves|first1=A.|last2=Liwicki|first2=M.|last3=Fernandez|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=May 2009|title=A Novel Connectionist System for Unconstrained Handwriting Recognition|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|issn=0162-8828|doi=10.1109/tpami.2008.137|pmid=19299860|citeseerx=10.1.1.139.4502|s2cid=14635907|url=http://www.idsia.ch/~juergen/tpami_2008.pdf|access-date=30 July 2014|archive-date=2 January 2014|archive-url=https://web.archive.org/web/20140102212756/http://www.idsia.ch/~juergen/tpami_2008.pdf|url-status=live}}</ref>

सीरेसन और उनके सहयोगियों ने ट्रैफिक साइन रिकग्निशन (आईजेसीएनएन 2012) जैसे बेंचमार्क पर मानव-प्रतिस्पर्धी/अलौकिक प्रदर्शन प्राप्त करने के लिए पहला पैटर्न पहचानकर्ता बनाया।<ref>{{Cite book|last1=Ciresan|first1=Dan|last2=Meier|first2=U.|last3=Schmidhuber|first3=J. |date=June 2012 |title=Multi-column deep neural networks for image classification|journal=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|doi=10.1109/cvpr.2012.6248110 |isbn=978-1-4673-1228-8|arxiv=1202.2745 |citeseerx=10.1.1.300.3283|bibcode=2012arXiv1202.2745C |s2cid=2161592}}</ref>

== मॉडल ==
{{More|कृत्रिम तंत्रिका नेटवर्क का गणित}}[[File:Neuron3.png|thumb|right|upright=1.35|न्यूरॉन और मायेलिनेटेड एक्सॉन, डेन्ड्राइट्स पर इनपुट से अक्षतंतु टर्मिनलों पर आउटपुट के संकेत प्रवाह के साथ]]एएनएन का प्रारंभ मानव मस्तिष्क की वास्तुकला का लाभ उठाने के प्रयास के रूप में हुई थी जिससे ऐसे कार्य किए जा सकें जिनमें पारंपरिक कलनविधि को बहुत कम सफलता मिली थी। वे जल्द ही अनुभवजन्य परिणामों को सुधारने की ओर उन्मुख हुए, अपने जैविक अग्रदूतों के प्रति सच्चे बने रहने के प्रयासों को छोड़ दिया। एएनएन में गैर-रैखिकताओं और जटिल संबंधों को शिक्षा और मॉडल करने की क्षमता है। यह विभिन्न पैटर्न में जुड़े हुए न्यूरॉन्स द्वारा प्राप्त किया जाता है, जिससे कुछ न्यूरॉन्स का आउटपुट दूसरों का इनपुट बन जाता है। नेटवर्क [[निर्देशित ग्राफ]], भारित ग्राफ बनाता है।<ref name="Zell1994ch5.2">{{Cite book|title=Simulation neuronaler Netze|last=Zell |first=Andreas|date=2003|publisher=Addison-Wesley|isbn=978-3-89319-554-1|oclc=249017987|trans-title=Simulation of Neural Networks |language=de |edition=1st |chapter=chapter 5.2 }}</ref>
कृत्रिम तंत्रिका नेटवर्क में सिम्युलेटेड न्यूरॉन्स होते हैं। प्रत्येक न्यूरॉन जैविक अक्षतंतु-अन्तर्ग्रथन-डेंड्राइट कनेक्शन जैसे लिंक के माध्यम से अन्य नोड्स से जुड़ा होता है। लिंक से जुड़े सभी नोड कुछ डेटा लेते हैं और डेटा पर विशिष्ट संचालन और कार्य करने के लिए इसका उपयोग करते हैं। प्रत्येक लिंक का वजन होता है, जो एक नोड के दूसरे पर प्रभाव की शक्ति का निर्धारण करता है, वजन को न्यूरॉन्स के बीच संकेत चुनने की अनुमति देता है।<ref name='Winston'>{{cite book |title=Artificial intelligence |publisher=Addison-Wesley Pub. Co |isbn=0-201-53377-4 |edition=3rd|year=1992 }}</ref>


=== [[कृत्रिम न्यूरॉन्स]] ===
एएनएन कृत्रिम न्यूरॉन्स से बने होते हैं जो वैचारिक रूप से जैविक न्यूरॉन्स से प्राप्त होते हैं। प्रत्येक कृत्रिम न्यूरॉन में इनपुट होते हैं और एकल आउटपुट उत्पन्न करते हैं जिसे कई अन्य न्यूरॉन्स को भेजा जा सकता है।<ref name="Abbod2007">{{cite journal|last1=Abbod|first1=Maysam F|year=2007|title=Application of Artificial Intelligence to the Management of Urological Cancer|journal=The Journal of Urology|volume=178|issue=4|pages=1150–1156|doi=10.1016/j.juro.2007.05.122|pmid=17698099}}</ref> इनपुट बाहरी डेटा के नमूने के सुविधा मान हो सकते हैं, जैसे चित्र या दस्तावेज़, या वे अन्य न्यूरॉन्स के आउटपुट हो सकते हैं। तंत्रिका जाल के अंतिम आउटपुट न्यूरॉन्स के आउटपुट कार्य को पूरा करते हैं, जैसे किसी छवि में किसी वस्तु को पहचानना।

न्यूरॉन के आउटपुट को खोजने के लिए हम सभी इनपुट का भारित योग लेते हैं, इनपुट से न्यूरॉन के कनेक्शन के भार से भारित होते हैं। हम इस योग में पूर्वाग्रह शब्द जोड़ते हैं।<ref name="DAWSON1998">{{cite journal|last1=DAWSON|first1=CHRISTIAN W|year=1998|title=An artificial neural network approach to rainfall-runoff modelling|journal=Hydrological Sciences Journal|volume=43|issue=1|pages=47–66|doi=10.1080/02626669809492102}}</ref> इस भारित राशि को कभी-कभी सक्रियण कहा जाता है। यह भारित राशि तब आउटपुट उत्पन्न करने के लिए (सामान्यतः अरैखिक) सक्रियण फलन के माध्यम से पारित की जाती है। प्रारंभिक इनपुट बाहरी डेटा हैं, जैसे चित्र और दस्तावेज़। परम आउटपुट कार्य को पूरा करते हैं, जैसे किसी छवि में किसी वस्तु को पहचानना।<ref>{{Cite web|url=http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn|title=The Machine Learning Dictionary|website=www.cse.unsw.edu.au|access-date=4 November 2009|archive-url=https://web.archive.org/web/20180826151959/http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn|archive-date=26 August 2018|url-status=dead}}</ref>


=== संगठन ===
न्यूरॉन्स सामान्यतः कई परतों में व्यवस्थित होते हैं, विशेष रूप से गहन शिक्षा में व्यवस्थित होते हैं। परत के न्यूरॉन्स केवल पूर्ववर्ती और तुरंत बाद की परतों के न्यूरॉन्स से जुड़ते हैं। बाहरी डेटा प्राप्त करने वाली परत इनपुट परत है। अंतिम परिणाम उत्पन्न करने वाली परत आउटपुट परत होती है। उनके बीच शून्य या अधिक छिपी हुई परतें हैं। सिंगल लेयर और अनलेयर नेटवर्क का भी उपयोग किया जाता है। दो परतों के बीच, एकाधिक कनेक्शन पैटर्न संभव हैं। वे 'पूरी तरह से जुड़े' हो सकते हैं, परत में हर न्यूरॉन अगली परत में हर न्यूरॉन से जुड़ सकता है। वे पूलिंग हो सकते हैं, जहां परत में न्यूरॉन्स का समूह अगली परत में न्यूरॉन से जुड़ता है, जिससे उस परत में न्यूरॉन्स की संख्या कम हो जाती है।<ref name="flexible">{{cite journal|last=Ciresan|first=Dan|author2=Ueli Meier|author3=Jonathan Masci|author4=Luca M. Gambardella|author5=Jurgen Schmidhuber|year=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=https://people.idsia.ch/~juergen/ijcai2011.pdf|journal=Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Volume Two|volume=2|pages=1237–1242|access-date=7 July 2022|url-status=live|archive-url=https://web.archive.org/web/20220405190128/https://people.idsia.ch/~juergen/ijcai2011.pdf|archive-date=2022-04-05}}</ref> केवल ऐसे कनेक्शन वाले न्यूरॉन्स निर्देशित विश्वकोश ग्राफ बनाते हैं और इसे फीडफॉरवर्ड न्यूरल नेटवर्क के रूप में जाना जाता है।<ref name="Zell1994p73">{{cite book|title=Simulation Neuronaler Netze|last=Zell|first=Andreas|publisher=Addison-Wesley|year=1994|isbn=3-89319-554-8|edition=1st|page=73|language=de|trans-title=Simulation of Neural Networks}}</ref> वैकल्पिक रूप से, नेटवर्क जो समान या पिछली परतों में न्यूरॉन्स के बीच कनेक्शन की अनुमति देते हैं, उन्हें आवर्तक तंत्रिका नेटवर्क के रूप में जाना जाता है।<ref>{{Cite journal|last=Miljanovic|first=Milos|date=February–March 2012|title=Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction|url=http://www.ijcse.com/docs/INDJCSE12-03-01-028.pdf|journal=Indian Journal of Computer and Engineering|volume=3|issue=1}}</ref>

=== हाइपरपैरामीटर ===
{{Main|हाइपरपैरामीटर (मशीन लर्निंग)}}
[[hyperparameter|हाइपरपैरामीटर]] स्थिर पैरामीटर है जिसका मान शिक्षा की प्रक्रिया प्रारंभ होने से पहले सेट किया जाता है। शिक्षा के माध्यम से मापदंडों के मूल्यों को प्राप्त किया जाता है। हाइपरपरमेटर्स के उदाहरणों में [[सीखने की दर|शिक्षा की दर]], छिपी हुई परतों की संख्या और बैच आकार सम्मिलित हैं।<ref>{{Cite web|url=https://towardsdatascience.com/a-walkthrough-of-convolutional-neural-network-7f474f91d7bd|title=A Walkthrough of Convolutional Neural Network – Hyperparameter Tuning|last=Lau|first=Suki|date=10 July 2017|website=Medium|access-date=23 August 2019|archive-date=4 February 2023|archive-url=https://web.archive.org/web/20230204153904/https://towardsdatascience.com/a-walkthrough-of-convolutional-neural-network-7f474f91d7bd?gi=95062e80a5b5|url-status=live}}</ref> कुछ हाइपरपैरामीटर के मान अन्य हाइपरपैरामीटर के मान पर निर्भर हो सकते हैं। उदाहरण के लिए, कुछ परतों का आकार परतों की कुल संख्या पर निर्भर कर सकता है।

=== शिक्षा ===
{{See also|गणितीय अनुकूलन|अनुमान सिद्धांत|यंत्र अधिगम}}
शिक्षा नमूना टिप्पणियों पर विचार करके कार्य को उत्तम ढंग से संभालने के लिए नेटवर्क का अनुकूलन है। शिक्षा में परिणाम की स्पष्टता में सुधार के लिए नेटवर्क के वजन (और वैकल्पिक थ्रेसहोल्ड) को समायोजित करना सम्मिलित है। यह देखी गई त्रुटियों को कम करके किया जाता है। शिक्षा तब पूरी होती है, जब अतिरिक्त अवलोकनों की जांच करने से त्रुटि दर उपयोगी रूप से कम नहीं होती है। शिक्षा के बाद भी, त्रुटि दर सामान्यतः 0 तक नहीं पहुंचती है। यदि शिक्षा के बाद त्रुटि दर बहुत अधिक है, तो नेटवर्क को सामान्यतः फिर से डिज़ाइन किया जाना चाहिए। व्यावहारिक रूप से यह [[लॉस फंकशन|लॉस फलन]] को परिभाषित करके किया जाता है जिसका मूल्यांकन समय-समय पर शिक्षा के समय किया जाता है। जब तक इसका उत्पादन घटता रहता है, तब तक शिक्षा जारी रहती है। व्यय को अधिकांशतः आंकड़े के रूप में परिभाषित किया जाता है जिसका मूल्य केवल अनुमानित किया जा सकता है। आउटपुट वास्तव में संख्याएँ हैं, इसलिए जब त्रुटि कम होती है, तो आउटपुट (लगभग निश्चित रूप से बिल्ली) और सही उत्तर (बिल्ली) के बीच का अंतर छोटा होता है। शिक्षा अवलोकनों में कुल अंतर को कम करने का प्रयास करती है। अधिकांश शिक्षा के मॉडल को [[गणितीय अनुकूलन]] सिद्धांत और सांख्यिकीय अनुमान के सीधे अनुप्रयोग के रूप में देखा जा सकता है।<ref name="Zell1994ch5.2"/><ref>{{Cite book|last1=Kelleher|first1=John D. |last2=Mac Namee|first2=Brian|last3=D'Arcy|first3=Aoife |title=Fundamentals of machine learning for predictive data analytics: algorithms, worked examples, and case studies|date=2020|isbn=978-0-262-36110-1 |edition=2nd|location=Cambridge, MA|chapter=7-8|oclc=1162184998}}</ref>


==== शिक्षा की दर ====
शिक्षा की दर उन सुधारात्मक चरणों के आकार को परिभाषित करती है जो मॉडल प्रत्येक अवलोकन में त्रुटियों को समायोजित करने के लिए लेता है।<ref>{{cite arXiv|last=Wei|first=Jiakai|date=2019-04-26|title=Forget the Learning Rate, Decay Loss|class=cs.LG|eprint=1905.00094}}</ref> उच्च शिक्षा की दर प्रशिक्षण के समय को कम करती है, लेकिन कम अंतिम स्पष्टता के साथ, जबकि कम शिक्षा की दर में अधिक समय लगता है, लेकिन अधिक स्पष्टता की संभावना के साथ लगता है। क्विकप्रॉप जैसे अनुकूलन मुख्य रूप से त्रुटि न्यूनीकरण को तेज करने के उद्देश्य से हैं, जबकि अन्य सुधार मुख्य रूप से विश्वसनीयता बढ़ाने की प्रयास करते हैं। नेटवर्क के अंदर दोलन से बचने के लिए जैसे वैकल्पिक कनेक्शन भार, और अभिसरण की दर में सुधार करने के लिए, परिशोधन [[अनुकूली सीखने की दर|अनुकूली शिक्षा की दर]] का उपयोग करता है जो उपयुक्त के रूप में बढ़ता या घटता है।<ref>{{Cite book|title=The Improved Training Algorithm of Back Propagation Neural Network with Self-adaptive Learning Rate|last1=Li|first1=Y.|last2=Fu|first2=Y.|last3=Li|first3=H.|last4=Zhang|first4=S. W.|s2cid=10557754|date=1 June 2009|journal=2009 International Conference on Computational Intelligence and Natural Computing|isbn=978-0-7695-3645-3|volume=1|pages=73–76|doi=10.1109/CINC.2009.111}}</ref> गति की अवधारणा ढाल और पिछले परिवर्तन के बीच संतुलन को भारित करने की अनुमति देती है जैसे वजन समायोजन पिछले परिवर्तन पर कुछ सीमा तक निर्भर करता है। 0 के निकट की गति ढाल पर जोर देती है, जबकि 1 के निकट का मान अंतिम परिवर्तन पर जोर देता है।

==== व्यय फलन ====
चूँकि व्यय फलन तदर्थ को परिभाषित करना संभव है, अधिकांशतः पसंद का निर्धारण फलन के वांछनीय गुणों (जैसे उत्तल फलन) द्वारा किया जाता है या क्योंकि यह मॉडल से उत्पन्न होता है (उदाहरण के लिए संभाव्य मॉडल में मॉडल की पश्च संभाव्यता को एक के रूप में उपयोग किया जा सकता है)।

==== पश्चप्रचार ====
{{Main|पश्चप्रचार}}

पश्चप्रचार विधि है, जिसका उपयोग शिक्षा के समय पाई गई प्रत्येक त्रुटि की भरपाई के लिए कनेक्शन के वजन को समायोजित करने के लिए किया जाता है। कनेक्शन के बीच त्रुटि राशि को प्रभावी ढंग से विभाजित किया गया है। तकनीकी रूप से, बैकप्रॉप वज़न के संबंध में किसी दिए गए अवस्था से जुड़े हानि फलन के ढाल (व्युत्पन्न) की गणना करता है। वेट अपडेट स्टोचैस्टिक [[ग्रेडियेंट]] डिसेंट या अन्य विधियों से किया जा सकता है, जैसे कि [[एक्सट्रीम लर्निंग मशीन]],<ref>{{cite journal|last1=Huang|first1=Guang-Bin|last2=Zhu |first2=Qin-Yu|last3=Siew|first3=Chee-Kheong|year=2006|title=Extreme learning machine: theory and applications|journal=Neurocomputing|volume=70|issue=1 |pages=489–501|doi=10.1016/j.neucom.2005.12.126 |citeseerx=10.1.1.217.3692|s2cid=116858 }}</ref> नो-प्रोप नेटवर्क,<ref>{{cite journal|year=2013|title=The no-prop algorithm: A new learning algorithm for multilayer neural networks |journal=Neural Networks|volume=37 |pages=182–188|doi=10.1016/j.neunet.2012.09.020|pmid=23140797|last1=Widrow|first1=Bernard|display-authors=etal}}</ref> बिना पीछे हटे प्रशिक्षण,<ref>{{cite arXiv|eprint=1507.07680|first1=Yann |last1=Ollivier|first2=Guillaume|last2=Charpiat|title=Training recurrent networks without backtracking |year=2015|class=cs.NE}}</ref> भार रहित नेटवर्क,<ref name="RBMTRAIN">{{Cite journal |last=Hinton |first=G. E. |date=2010 |title=A Practical Guide to Training Restricted Boltzmann Machines |url=https://www.researchgate.net/publication/221166159 |journal=Tech. Rep. UTML TR 2010-003 |access-date=27 June 2017 |archive-date=9 May 2021 |archive-url=https://web.archive.org/web/20210509123211/https://www.researchgate.net/publication/221166159_A_brief_introduction_to_Weightless_Neural_Systems |url-status=live }}</ref><ref>ESANN. 2009.{{full citation needed|date=June 2022}}</ref> गैर-संबंधवादी तंत्रिका नेटवर्क और [[होलोग्राफिक साहचर्य स्मृति]]।



=== शिक्षा के प्रतिमान ===
मशीन लर्निंग को सामान्यतः तीन मुख्य लर्निंग प्रतिमानों में विभाजित किया जाता है, सुपरवाइज्ड लर्निंग, अनसुपरवाइज्ड लर्निंग और रीइन्फोर्समेंट लर्निंग।<ref>{{cite book|url=https://www.wolfram.com/language/introduction-machine-learning/|title=Introduction to Machine Learning|first1=Etienne|publisher=Wolfram Media Inc|year=2021|isbn=978-1-579550-48-6|page=9|last1=Bernard}}</ref> प्रत्येक विशेष शिक्षा के कार्य से मेल खाता है।

==== पर्यवेक्षित शिक्षण ====
पर्यवेक्षित शिक्षण युग्मित इनपुट और वांछित आउटपुट के सेट का उपयोग करता है। शिक्षा का कार्य प्रत्येक इनपुट के लिए वांछित आउटपुट का उत्पादन करना है। इस स्थिति में, व्यय फलन अनुचित कटौतियों को समाप्त करने से संबंधित है।<ref>{{Cite journal|last1=Ojha|first1=Varun Kumar|last2=Abraham|first2=Ajith|last3=Snášel|first3=Václav|date=1 April 2017|title=Metaheuristic design of feedforward neural networks: A review of two decades of research|journal=Engineering Applications of Artificial Intelligence|volume=60|pages=97–116|doi=10.1016/j.engappai.2017.01.013|arxiv=1705.05584|bibcode=2017arXiv170505584O|s2cid=27910748}}</ref> सामान्यतः उपयोग की जाने वाली व्यय माध्य-वर्ग त्रुटि है, जो नेटवर्क के आउटपुट और वांछित आउटपुट के बीच औसत वर्ग त्रुटि को कम करने की प्रयास करती है। पर्यवेक्षित शिक्षा के लिए उपयुक्त कार्य पैटर्न पहचान (वर्गीकरण के रूप में भी जाना जाता है) और प्रतिगमन विश्लेषण (कार्य सन्निकटन के रूप में भी जाना जाता है) हैं। पर्यवेक्षित शिक्षण अनुक्रमिक डेटा पर भी प्रयुक्त होता है (उदाहरण के लिए, हस्तलेखन, भाषण और संकेत पहचान के लिए)। इसे शिक्षक के साथ शिक्षा के रूप में माना जा सकता है, फलन के रूप में जो अब तक प्राप्त समाधानों की गुणवत्ता पर निरंतर प्रतिक्रिया प्रदान करता है।

====अनियंत्रित शिक्षा ====
अनसुपरवाइज्ड लर्निंग में, इनपुट डेटा को कॉस्ट फलन, डेटा के कुछ फलन <math>\textstyle x</math> और नेटवर्क का आउटपुट के साथ दिया जाता है। व्यय कार्य कार्य (मॉडल डोमेन) और किसी भी प्राथमिकता और पश्च धारणा (मॉडल के अंतर्निहित गुण, इसके पैरामीटर और देखे गए चर) पर निर्भर है। सामान्य उदाहरण के रूप में, मॉडल पर विचार करें <math>\textstyle f(x) = a</math> जहाँ <math>\textstyle a</math> स्थिर और <math>\textstyle C=E[(x - f(x))^2]</math> व्यय है। इस व्यय को कम करने से <math>\textstyle a</math> का मूल्य उत्पन्न होता है, यह डेटा के माध्य के बराबर है। व्यय फलन बहुत अधिक जटिल हो सकता है। इसका रूप अनुप्रयोग पर निर्भर करता है: उदाहरण के लिए, डेटा संपीड़न में यह आपसी सूचनाओं के बीच <math>\textstyle x</math> और <math>\textstyle f(x)</math> से संबंधित हो सकता है, जबकि सांख्यिकीय मॉडलिंग में, यह दिए गए डेटा के मॉडल की पिछली संभावना से संबंधित हो सकता है (ध्यान दें कि उन दोनों उदाहरणों में, उन मात्राओं को न्यूनतम करने के अतिरिक्त अधिकतम किया जाएगा)। कार्य जो अप्रशिक्षित शिक्षा के प्रतिमान के अंतर्गत आते हैं, वे सामान्य [[सन्निकटन]] समस्याएँ हैं; अनुप्रयोगों में [[डेटा क्लस्टरिंग]], सांख्यिकीय वितरण का अनुमान, डेटा संपीड़न और [[बायेसियन स्पैम फ़िल्टरिंग]] सम्मिलित हैं।

====सुदृढीकरण शिक्षा====
{{main|सुदृढीकरण सीखना}}
{{See also|स्टोकेस्टिक नियंत्रण}}

वीडियो गेम खेलने जैसे अनुप्रयोगों में, अभिनेता कई क्रियाएं करता है, प्रत्येक के बाद पर्यावरण से सामान्यतः अप्रत्याशित प्रतिक्रिया प्राप्त करता है। लक्ष्य खेल जीतना है, अर्थात् सबसे सकारात्मक (न्यूनतम व्यय) प्रतिक्रियाएं उत्पन्न करना है। सुदृढीकरण शिक्षा में, उद्देश्य नेटवर्क को भारित करना (नीति तैयार करना) है जो लंबी अवधि (अपेक्षित संचयी) व्यय को कम करने वाले कार्यों को करने के लिए है। प्रत्येक बिंदु पर एजेंट क्रिया करता है और पर्यावरण कुछ (सामान्यतः अज्ञात) नियमों के अनुसार अवलोकन और तात्कालिक व्यय उत्पन्न करता है। नियम और लंबी अवधि की व्यय सामान्यतः केवल अनुमान लगाया जा सकता है। किसी भी मोड़ पर, एजेंट यह तय करता है कि अपनी व्ययों को प्रकट करने के लिए नए कार्यों का पता लगाना है या अधिक तीव्रता से आगे बढ़ने के लिए पूर्व शिक्षा का लाभ उठाना है।

औपचारिक रूप से पर्यावरण को अवस्थाओं के साथ [[मार्कोव निर्णय प्रक्रिया]] (एमडीपी) <math>\textstyle {s_1,...,s_n}\in S </math> के रूप और क्रियाएं <math>\textstyle {a_1,...,a_m} \in A</math> के रूप में तैयार की गयी है। क्योंकि अवस्था परिवर्तन ज्ञात नहीं हैं, इसके अतिरिक्त संभाव्यता वितरण का उपयोग किया जाता है: तात्कालिक व्यय वितरण <math>\textstyle P(c_t|s_t)</math>, अवलोकन वितरण <math>\textstyle P(x_t|s_t)</math> और संक्रमण वितरण <math>\textstyle P(s_{t+1}|s_t, a_t)</math>, जबकि नीति को दिए गए अवलोकनों के कार्यों पर सशर्त वितरण के रूप में परिभाषित किया गया है। साथ में, दोनों [[मार्कोव श्रृंखला]] (एमसी) को परिभाषित करते हैं। उद्देश्य सबसे कम व्यय वाली एमसी की खोज करना है।

एएनएन ऐसे अनुप्रयोगों में शिक्षण घटक के रूप में कार्य करता है।<ref>{{cite conference | author = Dominic, S. | author2 = Das, R. | author3 = Whitley, D. | author4 = Anderson, C. | date = July 1991 | title = Genetic reinforcement learning for neural networks | pages = 71–76 | conference = IJCNN-91-Seattle International Joint Conference on Neural Networks | book-title = IJCNN-91-Seattle International Joint Conference on Neural Networks | publisher = IEEE | location = Seattle, Washington, USA | doi = 10.1109/IJCNN.1991.155315 | isbn = 0-7803-0164-1 | url-access = registration | url = https://archive.org/details/ijcnn91seattlein01ieee }}</ref><ref>{{cite journal |last=Hoskins |first=J.C. |author2=Himmelblau, D.M. |title=Process control via artificial neural networks and reinforcement learning |journal=Computers & Chemical Engineering |year=1992 |volume=16 |pages=241–251 |doi=10.1016/0098-1354(92)80045-B |issue=4}}</ref> एएनएन के साथ गतिशील प्रोग्रामिंग युग्मित (तंत्रिका दोलन प्रोग्रामिंग दे रही है)<ref>{{cite book|url=https://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images|title=Neuro-dynamic programming|first1=D.P.|first2=J.N.|publisher=Athena Scientific|year=1996|isbn=978-1-886529-10-6|page=512|last1=Bertsekas|last2=Tsitsiklis|access-date=17 June 2017|archive-date=29 June 2017|archive-url=https://web.archive.org/web/20170629172039/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images|url-status=live}}</ref> वाहन रूटिंग में सम्मिलित समस्याओं पर प्रयुक्त किया गया है,<ref>{{cite journal |last=Secomandi |first=Nicola |title=Comparing neuro-dynamic programming algorithms for the vehicle routing problem with stochastic demands |journal=Computers & Operations Research |year=2000 |volume=27 |pages=1201–1225 |doi=10.1016/S0305-0548(99)00146-X |issue=11–12|citeseerx=10.1.1.392.4034 }}</ref> वीडियो गेम, [[प्राकृतिक संसाधन प्रबंधन]]<ref>{{cite conference | author = de Rigo, D. | author2 = Rizzoli, A. E. | author3 = Soncini-Sessa, R. | author4 = Weber, E. | author5 = Zenesi, P. | year = 2001 | title = Neuro-dynamic programming for the efficient management of reservoir networks | conference = MODSIM 2001, International Congress on Modelling and Simulation | url = http://www.mssanz.org.au/MODSIM01/MODSIM01.htm | book-title = Proceedings of MODSIM 2001, International Congress on Modelling and Simulation | publisher = Modelling and Simulation Society of Australia and New Zealand | location = Canberra, Australia | doi = 10.5281/zenodo.7481 | isbn = 0-86740-525-2 | access-date = 29 July 2013 | archive-date = 7 August 2013 | archive-url = https://web.archive.org/web/20130807223658/http://mssanz.org.au/MODSIM01/MODSIM01.htm | url-status = live }}</ref><ref>{{cite conference| author = Damas, M. |author2=Salmeron, M. |author3=Diaz, A. |author4=Ortega, J. |author5=Prieto, A. |author6=Olivares, G.| year = 2000 | title = Genetic algorithms and neuro-dynamic programming: application to water supply networks |volume=1 |pages=7–14 | conference = 2000 Congress on Evolutionary Computation | book-title = Proceedings of 2000 Congress on Evolutionary Computation | publisher = IEEE | location = La Jolla, California, USA | doi = 10.1109/CEC.2000.870269 | isbn = 0-7803-6375-2  }}</ref> और [[दवा]]<ref>{{Cite book |last=Deng |first=Geng |author2=Ferris, M.C. |title=Neuro-dynamic programming for fractionated radiotherapy planning |year=2008 |volume=12 |pages=47–70 |doi=10.1007/978-0-387-73299-2_3|citeseerx=10.1.1.137.8288 |series=Springer Optimization and Its Applications |isbn=978-0-387-73298-5 }}</ref> नियंत्रण समस्याओं के संख्यात्मक रूप से अनुमानित समाधान के लिए [[विवेक|विवेकाधीन]] ग्रिड घनत्व को कम करते हुए भी स्पष्टता की हानि को कम करने की एएनएन की क्षमता के कारण प्रयुक्त किया जाता है। सुदृढीकरण शिक्षा के प्रतिमान के अंतर्गत आने वाले कार्य नियंत्रण समस्याएं, [[खेल]] और अन्य क्रमिक निर्णय लेने वाले कार्य हैं।

====स्वयं शिक्षा ====

तंत्रिका नेटवर्क में स्व-शिक्षण को 1982 में क्रॉसबार एडैप्टिव एरे (सीएए) नामक स्व-शिक्षण में सक्षम तंत्रिका नेटवर्क के साथ प्रस्तुत किया गया था।<ref>Bozinovski, S. (1982). "A self-learning system using secondary reinforcement". In R. Trappl (ed.) Cybernetics and Systems Research: Proceedings of the Sixth European Meeting on Cybernetics and Systems Research. North Holland. pp. 397–402. {{ISBN|978-0-444-86488-8}}.</ref> यह केवल इनपुट, स्थिति s, और केवल आउटपुट, क्रिया (या व्यवहार) a के साथ प्रणाली है। इसमें न तो बाहरी सलाह इनपुट है और न ही पर्यावरण से बाहरी सुदृढीकरण इनपुट है। सीएए क्रॉसबार फैशन में, कार्यों के बारे में निर्णय और सामने आने वाली स्थितियों के बारे में भावनाओं (भावनाओं) दोनों की गणना करता है। प्रणाली अनुभूति और भावना के बीच वार्तालाप से संचालित होती है।<ref>Bozinovski, S. (2014) "[https://core.ac.uk/download/pdf/81973924.pdf Modeling mechanisms of cognition-emotion interaction in artificial neural networks, since 1981] {{Webarchive|url=https://web.archive.org/web/20190323204838/https://core.ac.uk/download/pdf/81973924.pdf |date=23 March 2019 }}." Procedia Computer Science p. 255-263</ref> मेमोरी मैट्रिक्स को देखते हुए, W =||w(a,s)||, प्रत्येक पुनरावृत्ति में क्रॉसबार स्व-शिक्षण कलनविधि निम्नलिखित संगणना करता है:<syntaxhighlight>
  In situation s perform action a;
  Receive consequence situation s';
  Compute emotion of being in consequence situation v(s');
  Update crossbar memory w'(a,s) = w(a,s) + v(s').
</syntaxhighlight>पश्चप्रचारित मूल्य (द्वितीयक सुदृढीकरण) परिणामी स्थिति के प्रति भावना है। सीएए दो वातावरणों में उपस्थित है, व्यवहारिक वातावरण है जहां यह व्यवहार करता है, और दूसरा अनुवांशिक वातावरण है, जहां से यह प्रारंभ में और केवल एक बार व्यवहारिक वातावरण में स्थितियों का सामना करने के बारे में प्रारंभिक भावनाएं प्राप्त करता है। आनुवंशिक वातावरण से जीनोम वेक्टर (प्रजाति वेक्टर) प्राप्त करने के बाद, सीएए वांछित और अवांछनीय दोनों स्थितियों वाले व्यवहारिक वातावरण में लक्ष्य-प्राप्त व्यवहार सीखेगा।<ref>{{cite journal | last1 = Bozinovski | first1 = Stevo | last2 = Bozinovska | first2 = Liljana | year = 2001 | title = Self-learning agents: A connectionist theory of emotion based on crossbar value judgment | journal = Cybernetics and Systems | volume = 32 | issue = 6| pages = 637–667 | doi = 10.1080/01969720118145 | s2cid = 8944741 }}</ref>


==== तंत्रिका विकास ====
{{Main|तंत्रिका विकास}}

तंत्रिका विकास [[विकासवादी संगणना]] का उपयोग करके तंत्रिका नेटवर्क टोपोलॉजी और भार बना सकता है। यह परिष्कृत ग्रेडिएंट डिसेंट एप्रोच के साथ प्रतिस्पर्धी है। न्यूरोइवोल्यूशन का लाभ यह है कि डेड एंड्स में फंसने का संकट कम हो सकता है।<ref>{{cite news|date=10 January 2018|title=Artificial intelligence can 'evolve' to solve problems|language=en|work=Science {{!}} AAAS|url=https://www.science.org/content/article/artificial-intelligence-can-evolve-solve-problems|access-date=7 February 2018|archive-date=9 December 2021|archive-url=https://web.archive.org/web/20211209231714/https://www.science.org/content/article/artificial-intelligence-can-evolve-solve-problems|url-status=live}}</ref>


=== स्टोकेस्टिक तंत्रिका नेटवर्क ===

शेरिंगटन-किर्कपैट्रिक मॉडल एक प्रकार का कृत्रिम न्यूरल नेटवर्क है जो नेटवर्क में यादृच्छिक विविधताओं को प्रस्तुत करके या तो नेटवर्क के कृत्रिम न्यूरॉन्स स्टोचैस्टिक प्रोसेस ट्रांसफर फलन देकर, या उन्हें स्टोकेस्टिक देकर वजन बनाया गया है। यह उन्हें अनुकूलन (गणित) समस्याओं के लिए उपयोगी उपकरण बनाता है, क्योंकि यादृच्छिक उतार-चढ़ाव नेटवर्क को [[मैक्सिमा और मिनिमा]] से बचने में सहायता करते हैं।<ref>{{citation|title=Stochastic Models of Neural Networks|volume=102|series=Frontiers in artificial intelligence and applications: Knowledge-based intelligent engineering systems|first=Claudio|last=Turchetti|publisher=IOS Press|year=2004|isbn=9781586033880}}</ref> बायेसियन दृष्टिकोण का उपयोग करके प्रशिक्षित स्टोचैस्टिक न्यूरल नेटवर्क को बायेसियन न्यूरल नेटवर्क के रूप में जाना जाता है।<ref>{{Cite journal |last1=Jospin |first1=Laurent Valentin |last2=Laga |first2=Hamid |last3=Boussaid |first3=Farid |last4=Buntine |first4=Wray |last5=Bennamoun |first5=Mohammed |date=2022 |title=Hands-On Bayesian Neural Networks—A Tutorial for Deep Learning Users |url=http://dx.doi.org/10.1109/mci.2022.3155327 |journal=IEEE Computational Intelligence Magazine |volume=17 |issue=2 |pages=29–48 |doi=10.1109/mci.2022.3155327 |arxiv=2007.06823 |s2cid=220514248 |issn=1556-603X |access-date=19 November 2022 |archive-date=4 February 2023 |archive-url=https://web.archive.org/web/20230204153904/https://ieeexplore.ieee.org/document/9756596/ |url-status=live }}</ref>


=== अन्य ===
बेयसियन संभाव्यता ढांचे में, व्यय को कम करने के लिए अनुमत मॉडल के सेट पर वितरण चुना जाता है। [[विकासवादी तरीके|विकासवादी विधियाँ]],<ref>{{cite conference |author1=de Rigo, D. |author2=Castelletti, A. |author3=Rizzoli, A. E. |author4=Soncini-Sessa, R. |author5=Weber, E. |date=January 2005 |title=A selective improvement technique for fastening Neuro-Dynamic Programming in Water Resources Network Management |conference=16th IFAC World Congress |publisher=IFAC |location=Prague, Czech Republic |conference-url=http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Index.html |book-title=Proceedings of the 16th IFAC World Congress – IFAC-PapersOnLine |editor=Pavel Zítek |volume=16 |pages=7–12 |url=http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Papers/Paper4269.html |access-date=30 December 2011 |doi=10.3182/20050703-6-CZ-1902.02172 |isbn=978-3-902661-75-3 |hdl=11311/255236 |hdl-access=free |archive-date=26 April 2012 |archive-url=https://web.archive.org/web/20120426012450/http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Papers/Paper4269.html |url-status=live }}</ref> [[जीन अभिव्यक्ति प्रोग्रामिंग]],<ref>{{cite book |last=Ferreira |first=C. |year=2006 |contribution=Designing Neural Networks Using Gene Expression Programming |url=http://www.gene-expression-programming.com/webpapers/Ferreira-ASCT2006.pdf |editor=A. Abraham |editor2=B. de Baets |editor3=M. Köppen |editor4=B. Nickolay |title=Applied Soft Computing Technologies: The Challenge of Complexity |pages=517–536 |publisher=Springer-Verlag |access-date=8 October 2012 |archive-date=19 December 2013 |archive-url=https://web.archive.org/web/20131219022806/http://www.gene-expression-programming.com/webpapers/Ferreira-ASCT2006.pdf |url-status=live }}</ref> तैयार किए हुयी धातु पे पानी चढाने की कला,<ref>{{cite conference |author=Da, Y. |author2=Xiurun, G. |date=July 2005 |title=An improved PSO-based ANN with simulated annealing technique |volume=63 |pages=527–533 |editor=T. Villmann |book-title=New Aspects in Neurocomputing: 11th European Symposium on Artificial Neural Networks |url=http://www.dice.ucl.ac.be/esann/proceedings/electronicproceedings.htm |publisher=Elsevier |doi=10.1016/j.neucom.2004.07.002 |access-date=30 December 2011 |archive-date=25 April 2012 |archive-url=https://web.archive.org/web/20120425233611/http://www.dice.ucl.ac.be/esann/proceedings/electronicproceedings.htm}}</ref> [[अपेक्षा-अधिकतमकरण]], गैर-पैरामीट्रिक विधियाँ और कण झुंड अनुकूलन<ref>{{cite conference |author=Wu, J. |author2=Chen, E. |date=May 2009 |title=A Novel Nonparametric Regression Ensemble for Rainfall Forecasting Using Particle Swarm Optimization Technique Coupled with Artificial Neural Network |series=Lecture Notes in Computer Science |volume=5553 |pages=49–58 |book-title=6th International Symposium on Neural Networks, ISNN 2009 |url=http://www2.mae.cuhk.edu.hk/~isnn2009/ |editor=Wang, H. |editor2=Shen, Y. |editor3=Huang, T. |editor4=Zeng, Z. |publisher=Springer |doi=10.1007/978-3-642-01513-7_6 |isbn=978-3-642-01215-0 |access-date=1 January 2012 |archive-date=31 December 2014 |archive-url=https://web.archive.org/web/20141231221755/http://www2.mae.cuhk.edu.hk/~isnn2009/ |url-status=dead}}</ref> अन्य शिक्षण कलनविधि हैं। अभिसारी पुनरावर्तन अनुमस्तिष्क [[अनुमस्तिष्क मॉडल अभिव्यक्ति नियंत्रक]] तंत्रिका नेटवर्क के लिए लर्निंग कलनविधि है।<ref name="Qin1">{{cite journal |author1=Ting Qin |author2=Zonghai Chen |author3=Haitao Zhang |author4=Sifu Li |author5=Wei Xiang |author6=Ming Li |url=http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_998.pdf |title=A learning algorithm of CMAC based on RLS |journal=Neural Processing Letters |volume=19 |issue=1 |date=2004 |pages=49–61 |doi=10.1023/B:NEPL.0000016847.18175.60 |s2cid=6233899 |access-date=30 January 2019 |archive-date=14 April 2021 |archive-url=https://web.archive.org/web/20210414103815/http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_998.pdf |url-status=live }}</ref><ref name="Qin2">{{cite journal |author1=Ting Qin |author2=Haitao Zhang |author3=Zonghai Chen |author4=Wei Xiang |url=http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf |title=Continuous CMAC-QRLS and its systolic array |journal=Neural Processing Letters |volume=22 |issue=1 |date=2005 |pages=1–16 |doi=10.1007/s11063-004-2694-0 |s2cid=16095286 |access-date=30 January 2019 |archive-date=18 November 2018 |archive-url=https://web.archive.org/web/20181118122850/http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf |url-status=live }}</ref>


==== मोड ====
शिक्षा की दो विधियाँ स्टोकेस्टिक ग्रेडिएंट डिसेंट और बैच उपलब्ध हैं। स्टोकेस्टिक लर्निंग में, प्रत्येक इनपुट वजन समायोजन बनाता है। बैच लर्निंग वेट में इनपुट के बैच के आधार पर समायोजित किया जाता है, बैच पर त्रुटियों को जमा करता है। स्टोचैस्टिक लर्निंग डेटा बिंदु से गणना की गई स्थानीय ढाल का उपयोग करके प्रक्रिया में ध्वनि का परिचय देता है; इससे नेटवर्क के लोकल मिनिमा में फंसने की संभावना कम हो जाती है। चूँकि, बैच लर्निंग सामान्यतः स्थानीय न्यूनतम के लिए तीव्र, अधिक स्थिर वंश उत्पन्न करता है, क्योंकि प्रत्येक अद्यतन बैच की औसत त्रुटि की दिशा में किया जाता है। सामान्य समझौता मिनी-बैचों का उपयोग करना है, प्रत्येक बैच में नमूने के साथ छोटे बैच पूरे डेटा सेट से यादृच्छिक रूप से चुने गए हैं।

== प्रकार ==
{{Main|कृत्रिम तंत्रिका नेटवर्क के प्रकार}}

एएनएन तकनीकों के व्यापक परिवार के रूप में विकसित हुए हैं जिन्होंने कई डोमेन में कला की स्थिति को उन्नत किया है। सबसे सरल प्रकारों में एक या अधिक स्थिर घटक होते हैं, जिनमें इकाइयों की संख्या, परतों की संख्या, इकाई भार और टोपोलॉजी सम्मिलित हैं। गतिशील प्रकार इनमें से एक या अधिक को शिक्षा के माध्यम से विकसित करने की अनुमति देते हैं। उत्तरार्द्ध बहुत अधिक जटिल हैं, लेकिन शिक्षा की अवधि को कम कर सकते हैं और उत्तम परिणाम दे सकते हैं। कुछ प्रकार शिक्षा की अनुमति देते हैं या ऑपरेटर द्वारा पर्यवेक्षण की आवश्यकता होती है, जबकि अन्य स्वतंत्र रूप से काम करते हैं। कुछ प्रकार विशुद्ध रूप से हार्डवेयर में काम करते हैं, जबकि अन्य विशुद्ध रूप से सॉफ्टवेयर हैं और सामान्य प्रयोजन के कंप्यूटर पर चलते हैं।

कुछ मुख्य सफलताओं में सम्मिलित हैं: [[दृढ़ तंत्रिका नेटवर्क]] जो दृश्य और अन्य द्वि-आयामी डेटा को संसाधित करने में विशेष रूप से सफल साबित हुए हैं;<ref name="LECUN1989">{{cite journal |vauthors=LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, Jackel LD |title=Backpropagation Applied to Handwritten Zip Code Recognition |journal=Neural Computation |volume=1 |issue=4 |pages=541–551 |date=1989 |doi=10.1162/neco.1989.1.4.541|s2cid=41312633 }}</ref><ref name="lecun2016slides">[[Yann LeCun]] (2016). Slides on Deep Learning [https://indico.cern.ch/event/510372/ Online] {{Webarchive|url=https://web.archive.org/web/20160423021403/https://indico.cern.ch/event/510372/ |date=23 April 2016 }}</ref> लंबी अवधि की स्मृति लुप्तप्राय ढाल समस्या से बचती है<ref name=":03">{{Cite journal |last1=Hochreiter|first1=Sepp|author-link=Sepp Hochreiter|last2=Schmidhuber|first2=Jürgen|s2cid=1915014|author-link2=Jürgen Schmidhuber|date=1 November 1997|title=Long Short-Term Memory|journal=Neural Computation|volume=9|issue=8 |pages=1735–1780 |doi=10.1162/neco.1997.9.8.1735|pmid=9377276|issn=0899-7667}}</ref> और उन संकेतों को संभाल सकता है जिनमें कम और उच्च आवृत्ति घटकों का मिश्रण होता है जो बड़ी-शब्दावली वाक् पहचान में सहायता करता है,<ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf |title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling |last1=Sak|first1=Hasim |last2=Senior|first2=Andrew|date=2014|last3=Beaufays|first3=Francoise|archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archive-date=24 April 2018|url-status=dead}}</ref><ref name="liwu2015">{{cite arXiv|last1=Li|first1=Xiangang|last2=Wu|first2=Xihong|date=15 October 2014|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|eprint=1410.4281 |class=cs.CL}}</ref> पाठ से वाक् संश्लेषण,<ref>{{Cite journal|title=TTS synthesis with bidirectional LSTM based Recurrent Neural Networks|pages=1964–1968|last1=Fan|first1=Y. |last2=Qian|first2=Y.|date=2014 |journal=Proceedings of the Annual Conference of the International Speech Communication Association, Interspeech|url=https://www.researchgate.net/publication/287741874|access-date=13 June 2017 |last3=Xie |first3=F.|last4=Soong|first4=F. K.}}</ref><ref name="scholarpedia2"/><ref name="zen2015">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis|last1=Zen|first1=Heiga|last2=Sak|first2=Hasim|date=2015|website=Google.com|publisher=ICASSP|pages=4470–4474|access-date=27 June 2017|archive-date=9 May 2021|archive-url=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|url-status=live}}</ref> और फोटो-वास्तविक बात करने वाले प्रमुख;<ref name="fan2015">{{Cite journal|last1=Fan|first1=Bo|last2=Wang|first2=Lijuan|last3=Soong|first3=Frank K.|last4=Xie|first4=Lei|date=2015|title=Photo-Real Talking Head with Deep Bidirectional LSTM|url=https://www.microsoft.com/en-us/research/wp-content/uploads/2015/04/icassp2015_fanbo_1009.pdf|journal=Proceedings of ICASSP|access-date=27 June 2017|archive-date=1 November 2017|archive-url=https://web.archive.org/web/20171101052317/https://www.microsoft.com/en-us/research/wp-content/uploads/2015/04/icassp2015_fanbo_1009.pdf|url-status=live}}</ref> प्रतिस्पर्धी नेटवर्क जैसे कि [[जनरेटिव प्रतिकूल नेटवर्क]] जिसमें कई नेटवर्क (अलग-अलग संरचना के) एक दूसरे के साथ प्रतिस्पर्धा करते हैं, जैसे कि गेम जीतना<ref name="preprint">{{Cite arXiv |eprint=1712.01815|class=cs.AI|first1=David|last1=Silver|first2=Thomas|last2=Hubert|author-link1=David Silver (programmer)|title=Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm|date=5 December 2017|first3=Julian|last3=Schrittwieser|first4=Ioannis|last4=Antonoglou |first5=Matthew|last5=Lai |first6=Arthur|last6=Guez|first7=Marc|last7=Lanctot|first8=Laurent|last8=Sifre |first9=Dharshan|last9=Kumaran|author-link9=Dharshan Kumaran|first10=Thore|last10=Graepel|first11=Timothy |last11=Lillicrap|first12=Karen |last12=Simonyan|first13=Demis|last13=Hassabis|author-link13=Demis Hassabis}}</ref> या किसी इनपुट की प्रामाणिकता के बारे में विरोधी को धोखा देने पर।<ref name="GANnips">{{cite conference|last1=Goodfellow|first1=Ian|last2=Pouget-Abadie|first2=Jean|last3=Mirza|first3=Mehdi|last4=Xu|first4=Bing|last5=Warde-Farley|first5=David|last6=Ozair|first6=Sherjil|last7=Courville|first7=Aaron|last8=Bengio|first8=Yoshua|year=2014|title=Generative Adversarial Networks|url=https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|conference=Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014)|pages=2672–2680|access-date=20 August 2019|archive-date=22 November 2019|archive-url=https://web.archive.org/web/20191122034612/http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|url-status=live}}</ref>


== नेटवर्क डिजाइन ==
{{Main|तंत्रिका वास्तुकला खोज}}

न्यूरल आर्किटेक्चर सर्च (एनएएस) एएनएन डिजाइन को स्वचालित करने के लिए मशीन लर्निंग का उपयोग करता है। एनएएस के विभिन्न दृष्टिकोणों ने ऐसे नेटवर्क डिज़ाइन किए हैं जो हाथ से डिज़ाइन किए गए प्रणाली के साथ अच्छी तरह से तुलना करते हैं। मूल खोज कलनविधि प्रत्याशी मॉडल का प्रस्ताव करना है, डेटासेट के विरुद्ध इसका मूल्यांकन करना और एनएएस नेटवर्क को सिखाने के लिए परिणामों को प्रतिक्रिया के रूप में उपयोग करना है।<ref>{{cite arXiv|last1=Zoph|first1=Barret|last2=Le|first2=Quoc V.|date=4 November 2016|title=Neural Architecture Search with Reinforcement Learning|eprint=1611.01578|class=cs.LG}}</ref> उपलब्ध प्रणाली में [[स्वचालित मशीन लर्निंग]] और ऑटोकेरस सम्मिलित हैं।<ref>{{cite journal |author1=Haifeng Jin |author2=Qingquan Song |author3=Xia Hu |title=Auto-keras: An efficient neural architecture search system |journal=Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining |publisher=ACM |date=2019 |arxiv=1806.10282 |url=https://autokeras.com/ |via=autokeras.com |access-date=21 August 2019 |archive-date=21 August 2019 |archive-url=https://web.archive.org/web/20190821163310/https://autokeras.com/ |url-status=live }}</ref>

डिज़ाइन के उद्देश्यों में नेटवर्क परतों की संख्या, प्रकार और जुड़ाव, साथ ही साथ प्रत्येक का आकार और कनेक्शन प्रकार (पूर्ण, पूलिंग, ...) तय करना सम्मिलित है।

हाइपरपरमेटर्स को डिजाइन के हिस्से के रूप में भी परिभाषित किया जाना चाहिए (वे सीखे नहीं जाते हैं), स्थितयों को नियंत्रित करते हैं जैसे कि प्रत्येक परत में कितने न्यूरॉन्स हैं, शिक्षा की दर, कदम, स्ट्राइड, गहराई, ग्रहणशील क्षेत्र और पैडिंग (सीएनएन के लिए), आदि।<ref name="abs1502.02127">{{cite arXiv|eprint=1502.02127|last1=Claesen|first1=Marc|last2=De Moor|first2=Bart |title=Hyperparameter Search in Machine Learning |date=2015|class=cs.LG }} {{bibcode|2015arXiv150202127C}}</ref>



== प्रयोग ==
कृत्रिम तंत्रिका नेटवर्क का उपयोग करने के लिए उनकी विशेषताओं की समझ की आवश्यकता होती है।
* मॉडल का चुनाव: यह डेटा प्रस्तुति और अनुप्रयोग पर निर्भर करता है। अत्यधिक जटिल मॉडल धीमी गति से सीख रहे हैं।
* लर्निंग कलनविधि: लर्निंग कलनविधि के बीच कई ट्रेड-ऑफ उपस्थित हैं। किसी विशेष डेटा सेट पर प्रशिक्षण के लिए लगभग कोई भी कलनविधि सही हाइपरपैरामीटर के साथ अच्छी तरह से काम करेगा। चूँकि, अनदेखे डेटा पर प्रशिक्षण के लिए कलनविधि का चयन और ट्यूनिंग करने के लिए महत्वपूर्ण प्रयोग की आवश्यकता होती है।
* कठोरता: यदि मॉडल, व्यय कार्य और शिक्षा के कलनविधि को उचित रूप से चुना जाता है, तो परिणामी एएनएन कठोर हो सकता है।
एएनएन क्षमताएं निम्नलिखित व्यापक श्रेणियों में आती हैं:
* फलन सन्निकटन, या प्रतिगमन विश्लेषण, भविष्यवाणी और पूर्वानुमान, फिटनेस सन्निकटन और मॉडलिंग सहित।
* पैटर्न पहचान और अनुक्रम पहचान, नवीनता पहचान और अनुक्रमिक निर्णय लेने सहित सांख्यिकीय वर्गीकरण।<ref name ="TurekNeuralNet">{{cite journal|author=Turek, Fred D.|title=Introduction to Neural Net Machine Vision|url=http://www.vision-systems.com/articles/print/volume-12/issue-3/features/introduction-to-neural-net-machine-vision.html|access-date=5 March 2013|journal=Vision Systems Design|date=March 2007|volume=12|number=3|archive-date=16 May 2013|archive-url=https://web.archive.org/web/20130516124148/http://www.vision-systems.com/articles/print/volume-12/issue-3/features/introduction-to-neural-net-machine-vision.html|url-status=live}}</ref>
* [[डाटा प्रासेसिंग]], जिसमें फ़िल्टरिंग, क्लस्टरिंग, [[अंधा स्रोत जुदाई]] और कम्प्रेशन सम्मिलित हैं।
* रोबोटिक्स, मैनिपुलेटर्स और प्रोस्थेसिस को निर्देशित करने सहित।

== अनुप्रयोग ==
गैर-रैखिक प्रक्रियाओं को पुन: प्रस्तुत करने और मॉडल करने की उनकी क्षमता के कारण, कृत्रिम तंत्रिका नेटवर्क ने कई विषयों में आवेदन पाया है। आवेदन क्षेत्रों में प्रणाली पहचान और नियंत्रण (वाहन नियंत्रण, प्रक्षेपवक्र भविष्यवाणी,<ref>{{cite journal|last1=Zissis|first1=Dimitrios|title=A cloud based architecture capable of perceiving and predicting multiple vessel behaviour|journal=Applied Soft Computing|date=October 2015|volume=35|doi=10.1016/j.asoc.2015.07.002|pages=652–661|url=https://zenodo.org/record/848743|access-date=18 July 2019|archive-date=26 July 2020|archive-url=https://web.archive.org/web/20200726091505/https://zenodo.org/record/848743|url-status=live}}</ref> प्रक्रिया नियंत्रण, प्राकृतिक संसाधन प्रबंधन), क्वांटम रसायन,<ref name="Balabin_2009">{{Cite journal|journal=[[J. Chem. Phys.]] |volume=131 |issue=7 |page=074104 |doi=10.1063/1.3206326 |title=क्वांटम-रसायन विज्ञान डेटा के लिए तंत्रिका नेटवर्क दृष्टिकोण: घनत्व कार्यात्मक सिद्धांत ऊर्जा की सटीक भविष्यवाणी|year=2009 |author1=Roman M. Balabin |author2=Ekaterina I. Lomakina |pmid=19708729|bibcode=2009JChPh.131g4104B}}</रेफरी> सामान्य खेल खेलना, रेफरी>{{cite journal |last1=Silver |first1=David |display-authors=etal |year=2016 |title=डीप न्यूरल नेटवर्क और ट्री सर्च के साथ गो के खेल में महारत हासिल करना|url=http://web.iitd.ac.in/~sumeet/Silver16.pdf |journal=Nature |volume=529 |issue=7587 |pages=484–489 |doi=10.1038/nature16961 |pmid=26819042 |bibcode=2016Natur.529..484S |s2cid=515925 |access-date=31 January 2019 |archive-date=23 November 2018 |archive-url=https://web.archive.org/web/20181123112812/http://web.iitd.ac.in/~sumeet/Silver16.pdf |url-status=live }}</ref> पैटर्न पहचान (रडार प्रणाली, [[चेहरे की पहचान प्रणाली]], संकेत वर्गीकरण, रेफरी>{{cite journal|last=सेनगुप्ता |first=नंदिनी|author2=Sahidullah, Md|author3=साहा, गौतम|title=सेप्स्ट्रल-आधारित सांख्यिकीय विशेषताओं का उपयोग करते हुए फेफड़े का ध्वनि वर्गीकरण|journal=जीव विज्ञान और चिकित्सा में कंप्यूटर|date=अगस्त 2016|volume=75|issue=1 |pages=118–129|doi=10.1016/j.compbiomed.2016.05.013 |pmid=27286184}}</ref> 3डी पुनर्निर्माण, रेफरी> चॉय, क्रिस्टोफर बी।, एट अल। [https://arxiv.org/abs/1604.00449 3d-r2n2: सिंगल और मल्टी-व्यू 3डी ऑब्जेक्ट पुनर्निर्माण के लिए एकीकृत दृष्टिकोण] {{Webarchive|url=https://web.archive.org/web/20200726091721/https://arxiv.org/abs/1604.00449 |date=26 July 2020 }}. कंप्यूटर दृष्टि पर यूरोपीय सम्मेलन। स्प्रिंगर, चाम, 2016। </ रेफ> वस्तु पहचान और अधिक), सेंसर डेटा विश्लेषण, रेफरी>{{cite journal|last=Gessler|first=Josef|title=प्रतिबाधा स्पेक्ट्रोस्कोपी और कृत्रिम तंत्रिका नेटवर्क लागू करने वाले खाद्य विश्लेषण के लिए सेंसर|journal=RiuNet UPV|date=August 2021|issue=1|pages=8–12|url=https://riunet.upv.es/handle/10251/174498|access-date=21 अक्टूबर 2021|archive-date=21 अक्टूबर 2021|archive-url=https://web.archive.org/web/20211021115443/https://riunet.upv.es/handle/10251/174498|url-status=live}}</रेफरी> अनुक्रम पहचान (संकेत, भाषण, लिखावट पहचान और मुद्रित पाठ पहचान रेफरी>{{Cite journal|last1=मैत्रा|first1=D. S. |last2=भट्टाचार्य|first2=U.|last3=परुई|first3=S. K.|date=अगस्त 2015|title=एकाधिक लिपियों की हस्तलिखित चरित्र पहचान के लिए सीएनएन आधारित सामान्य दृष्टिकोण|url=https://ieeexplore.ieee.org/document/7333916|journal=2015 दस्तावेज़ विश्लेषण और मान्यता पर 13वां अंतर्राष्ट्रीय सम्मेलन (आईसीडीएआर)|pages=1021–1025|doi=10.1109/ICDAR.2015.7333916|isbn=978-1-4799-1805-8 |s2cid=25739012}}</रेफरी>), [[चिकित्सा निदान]], वित्त<ref>{{cite journal|last1=French |first1=Jordan |title=The time traveller's CAPM|journal=Investment Analysts Journal|volume=46|issue=2|pages=81–96 |doi=10.1080/10293523.2016.1255469|year=2016|s2cid=157962452}}</ref> (जैसे [[एल्गोरिथम व्यापार|कलनविधि व्यापार]]), [[डेटा खनन]], विज़ुअलाइज़ेशन, [[मशीन अनुवाद]], सोशल नेटवर्क फ़िल्टरिंग<ref>{{Cite news|url=https://www.wsj.com/articles/facebook-boosts-a-i-to-block-terrorist-propaganda-1497546000 |title=Facebook Boosts A.I. to Block Terrorist Propaganda|last=Schechner|first=Sam|date=15 June 2017 |work=[[The Wall Street Journal]]|access-date=16 June 2017|issn=0099-9660}}</ref> और [[ईमेल स्पैम]] फ़िल्टरिंग। कई प्रकार के कैंसर के निदान के लिए एएनएन का उपयोग किया गया है<ref>{{cite journal|last=Ganesan|first=N |title=Application of Neural Networks in Diagnosing Cancer Disease Using Demographic Data |journal=International Journal of Computer Applications|volume=1|issue=26|pages=81–97 |bibcode=2010IJCA....1z..81G|year=2010|doi=10.5120/476-783|doi-access=free}}</ref><ref>{{cite journal |url=http://www.lcc.uma.es/~jja/recidiva/042.pdf|title=Artificial Neural Networks Applied to Outcome Prediction for Colorectal Cancer Patients in Separate Institutions|journal=Lancet|volume=350|issue=9076 |pages=469–72|last=Bottaci|first=Leonardo|publisher=The Lancet|pmid=9274582|year=1997|doi=10.1016/S0140-6736(96)11196-X|s2cid=18182063|access-date=2 May 2012|url-status=dead|archive-date=23 November 2018|archive-url=https://web.archive.org/web/20181123170444/http://www.lcc.uma.es/~jja/recidiva/042.pdf}}</ref> और केवल कोशिका आकार की जानकारी का उपयोग करके अत्यधिक आक्रामक कैंसर सेल लाइनों को कम आक्रामक लाइनों से अलग करने के लिए।<ref>{{cite journal|last1=Alizadeh|first1=Elaheh|last2=Lyons|first2=Samanthe M|last3=Castle|first3=Jordan M |last4=Prasad|first4=Ashok|date=2016|title=Measuring systematic changes in invasive cancer cell shape using Zernike moments|url=http://pubs.rsc.org/en/Content/ArticleLanding/2016/IB/C6IB00100A|journal=Integrative Biology|volume=8|issue=11 |pages=1183–1193|doi=10.1039/C6IB00100A|pmid=27735002}}</ref><ref>{{cite journal |last1=Lyons|first1=Samanthe|date=2016|title=Changes in cell shape are correlated with metastatic potential in murine|journal=Biology Open|volume=5|issue=3|pages=289–299|doi=10.1242/bio.013409|pmid=26873952 |pmc=4810736}}</ref>
प्राकृतिक आपदाओं के अधीन बुनियादी ढांचे के विश्वसनीयता विश्लेषण में तेजी लाने के लिए एएनएन का उपयोग किया गया है<ref>{{Cite journal|last1=Nabian|first1=Mohammad Amin|last2=Meidani|first2=Hadi|date=28 August 2017|title=Deep Learning for Accelerated Reliability Analysis of Infrastructure Networks|journal=Computer-Aided Civil and Infrastructure Engineering|volume=33|issue=6|pages=443–458|arxiv=1708.08551|doi=10.1111/mice.12359 |bibcode=2017arXiv170808551N |s2cid=36661983}}</ref><ref>{{Cite journal|last1=Nabian|first1=Mohammad Amin|last2=Meidani|first2=Hadi|date=2018|title=Accelerating Stochastic Assessment of Post-Earthquake Transportation Network Connectivity via Machine-Learning-Based Surrogates|url=https://trid.trb.org/view/1496617|journal=Transportation Research Board 97th Annual Meeting|access-date=14 March 2018|archive-date=9 March 2018|archive-url=https://web.archive.org/web/20180309120108/https://trid.trb.org/view/1496617|url-status=live}}</ref> और नींव बस्तियों की भविष्यवाणी करने के लिए।<ref>{{Cite journal|last1=Díaz|first1=E.|last2=Brotons|first2=V. |last3=Tomás|first3=R.|date=September 2018|title=Use of artificial neural networks to predict 3-D elastic settlement of foundations on soils with inclined bedrock|journal=Soils and Foundations|volume=58|issue=6 |pages=1414–1422 |doi=10.1016/j.sandf.2018.08.001|issn=0038-0806|hdl=10045/81208|doi-access=free}}</ref> एएनएन का उपयोग भू-विज्ञान में ब्लैक-बॉक्स मॉडल बनाने के लिए भी किया गया है: [[जल विज्ञान]],<ref>{{Cite journal |first=Rao S.|last=Govindaraju |date=1 April 2000|title=Artificial Neural Networks in Hydrology. I: Preliminary Concepts|journal=Journal of Hydrologic Engineering|volume=5|issue=2|pages=115–123|doi=10.1061/(ASCE)1084-0699(2000)5:2(115)|citeseerx=<!--10.1.1.127.3861-->}}</ref><ref>{{Cite journal|first=Rao S.|last=Govindaraju|date=1 April 2000|title=Artificial Neural Networks in Hydrology. II: Hydrologic Applications|journal=Journal of Hydrologic Engineering|volume=5|issue=2 |pages=124–137 |doi=10.1061/(ASCE)1084-0699(2000)5:2(124)}}</ref> महासागर मॉडलिंग और [[तटीय इंजीनियरिंग]],<ref>{{Cite journal|last1=Peres|first1=D. J.|last2=Iuppa|first2=C.|last3=Cavallaro|first3=L.|last4=Cancelliere |first4=A. |last5=Foti|first5=E.|date=1 October 2015|title=Significant wave height record extension by neural networks and reanalysis wind data|journal=Ocean Modelling|volume=94|pages=128–140 |doi=10.1016/j.ocemod.2015.08.002 |bibcode=2015OcMod..94..128P}}</ref><ref>{{Cite journal|last1=Dwarakish|first1=G. S.|last2=Rakshith|first2=Shetty|last3=Natesan|first3=Usha|date=2013|title=Review on Applications of Neural Network in Coastal Engineering|journal=Artificial Intelligent Systems and Machine Learning|url=http://www.ciitresearch.org/dl/index.php/aiml/article/view/AIML072013007|volume=5|issue=7|pages=324–331|access-date=5 July 2017|archive-date=15 August 2017|archive-url=https://web.archive.org/web/20170815185634/http://www.ciitresearch.org/dl/index.php/aiml/article/view/AIML072013007|url-status=live}}</ref> और [[भू-आकृति विज्ञान]]।<ref>{{Cite journal |last1=Ermini|first1=Leonardo|last2=Catani |first2=Filippo|last3=Casagli|first3=Nicola|date=1 March 2005|title=Artificial Neural Networks applied to landslide susceptibility assessment|journal=Geomorphology|series=Geomorphological hazard and human impact in mountain environments|volume=66|issue=1|pages=327–343|doi=10.1016/j.geomorph.2004.09.025 |bibcode=2005Geomo..66..327E}}</ref> वैध गतिविधियों और दुर्भावनापूर्ण गतिविधियों के बीच भेदभाव करने के उद्देश्य से एएनएन को [[कंप्यूटर सुरक्षा]] में नियोजित किया गया है। उदाहरण के लिए, एंड्राइड मैलवेयर को वर्गीकृत करने के लिए मशीन लर्निंग का उपयोग किया गया है,<ref>{{Cite journal|last1=Nix|first1=R.|last2=Zhang |first2=J.|date=May 2017 |title=Classification of Android apps and malware using deep neural networks |journal=2017 International Joint Conference on Neural Networks (IJCNN)|pages=1871–1878|s2cid=8838479 |doi=10.1109/IJCNN.2017.7966078|isbn=978-1-5090-6182-2}}</ref> धमकी देने वालों से संबंधित डोमेन की पहचान करने और सुरक्षा संकट उत्पन्न करने वाले यूआरएल का पता लगाने के लिए।<ref>{{Cite web|title=Detecting Malicious URLs |website=The systems and networking group at UCSD |url=http://www.sysnet.ucsd.edu/projects/url/|access-date=15 February 2019|url-status=dead|archive-date=14 July 2019|archive-url=https://web.archive.org/web/20190714201955/http://www.sysnet.ucsd.edu/projects/url/}}</ref> पैठ परीक्षण के लिए डिज़ाइन किए गए एएनएन प्रणाली पर अनुसंधान चल रहा है, बॉटनेट का पता लगाने के लिए,<ref>{{Citation |last1=Homayoun|first1=Sajad|title=BoTShark: A Deep Learning Approach for Botnet Traffic Detection |date=2018|work=Cyber Threat Intelligence|pages=137–153|editor-last=Dehghantanha|editor-first=Ali |series=Advances in Information Security|publisher=Springer International Publishing|doi=10.1007/978-3-319-73951-9_7|isbn=978-3-319-73951-9|last2=Ahmadzadeh |first2=Marzieh|last3=Hashemi|first3=Sattar |last4=Dehghantanha|first4=Ali|last5=Khayami|first5=Raouf|editor2-last=Conti|editor2-first=Mauro|editor3-last=Dargahi|editor3-first=Tooska}}</ref> क्रेडिट कार्ड धोखाधड़ी<ref>{{Cite journal |last1=Ghosh|last2=Reilly |name-list-style=and|s2cid=13260377 |date=January 1994|title=Credit card fraud detection with a neural-network|journal=1994 Proceedings of the Twenty-Seventh Hawaii International Conference on System Sciences |volume=3|pages=621–630|doi=10.1109/HICSS.1994.323314|isbn=978-0-8186-5090-1}}</ref> और नेटवर्क घुसपैठ।

एएनएन को भौतिकी में आंशिक अंतर समीकरणों को हल करने के लिए उपकरण के रूप में प्रस्तावित किया गया है<ref>{{Cite web|last=Ananthaswamy|first=Anil|date=19 April 2021|title=Latest Neural Nets Solve World's Hardest Equations Faster Than Ever Before|url=https://www.quantamagazine.org/new-neural-networks-solve-hardest-equations-faster-than-ever-20210419/|access-date=12 May 2021|website=Quanta Magazine|language=en}}</ref><ref>{{Cite web|title=AI has cracked a key mathematical puzzle for understanding our world|url=https://www.technologyreview.com/2020/10/30/1011435/ai-fourier-neural-network-cracks-navier-stokes-and-partial-differential-equations/|access-date=19 November 2020|website=MIT Technology Review|language=en}}</ref><ref>{{Cite web|title=Caltech Open-Sources AI for Solving Partial Differential Equations|url=https://www.infoq.com/news/2020/12/caltech-ai-pde/|access-date=20 January 2021|website=InfoQ|language=en|archive-date=25 January 2021|archive-url=https://web.archive.org/web/20210125233952/https://www.infoq.com/news/2020/12/caltech-ai-pde/|url-status=live}}</ref> और मल्टी-बॉडी ओपन क्वांटम प्रणाली के गुणों का अनुकरण करें।<ref>{{cite journal |last1=Nagy |first1=Alexandra |title=Variational Quantum Monte Carlo Method with a Neural-Network Ansatz for Open Quantum Systems |journal=[[Physical Review Letters]] |volume=122 |issue=25 |pages=250501 |date=28 June 2019 |doi=10.1103/PhysRevLett.122.250501 |pmid=31347886 |bibcode=2019PhRvL.122y0501N |arxiv=1902.09483 |s2cid=119074378 }}</ref><ref>{{Cite journal|last1=Yoshioka|first1=Nobuyuki|last2=Hamazaki|first2=Ryusuke|date=28 June 2019|title=Constructing neural stationary states for open quantum many-body systems|journal=Physical Review B|volume=99|issue=21 |pages=214306|doi=10.1103/PhysRevB.99.214306|bibcode=2019PhRvB..99u4306Y|arxiv=1902.07006|s2cid=119470636}}</ref><ref>{{Cite journal|last1=Hartmann|first1=Michael J.|last2=Carleo|first2=Giuseppe |date=28 June 2019|title=Neural-Network Approach to Dissipative Quantum Many-Body Dynamics|journal=Physical Review Letters|volume=122|issue=25|pages=250502|doi=10.1103/PhysRevLett.122.250502|pmid=31347862 |bibcode=2019PhRvL.122y0502H|arxiv=1902.05131|s2cid=119357494}}</ref><ref>{{Cite journal|last1=Vicentini |first1=Filippo|last2=Biella|first2=Alberto|last3=Regnault|first3=Nicolas|last4=Ciuti|first4=Cristiano|date=28 June 2019 |title=Variational Neural-Network Ansatz for Steady States in Open Quantum Systems |journal=Physical Review Letters|volume=122|issue=25|pages=250503|doi=10.1103/PhysRevLett.122.250503 |pmid=31347877 |bibcode=2019PhRvL.122y0503V |arxiv=1902.10104|s2cid=119504484}}</ref> मस्तिष्क अनुसंधान में एएनएन ने [[जैविक न्यूरॉन मॉडल]] के अल्पकालिक व्यवहार का अध्ययन किया है,<ref>{{cite journal |author=Forrest MD |title=Simulation of alcohol action upon a detailed Purkinje neuron model and a simpler surrogate model that runs >400 times faster |journal=BMC Neuroscience |volume=16 |issue=27 |pages=27 |date=April 2015 |doi=10.1186/s12868-015-0162-6 |pmid=25928094 |pmc=4417229}}</ref> न्यूरल परिपथरी की गतिशीलता अलग-अलग न्यूरॉन्स के बीच वार्तालाप से उत्पन्न होती है और अमूर्त न्यूरल मॉड्यूल से व्यवहार कैसे उत्पन्न हो सकता है जो पूर्ण उप-प्रणालियों का प्रतिनिधित्व करता है। अध्ययन ने तंत्रिका नेटवर्ककी लंबी और छोटी अवधि की प्लास्टिसिटी और व्यक्तिगत न्यूरॉन से प्रणाली स्तर तक शिक्षा और स्मृति के संबंध पर विचार किया।

== सैद्धांतिक गुण ==

=== कम्प्यूटेशनल शक्ति ===

[[बहुपरत परसेप्ट्रॉन]] यूटीएम प्रमेय सन्निकटन है, जैसा कि सार्वभौमिक सन्निकटन प्रमेय द्वारा सिद्ध किया गया है। चूँकि, आवश्यक न्यूरॉन्स की संख्या, नेटवर्क टोपोलॉजी, वज़न और शिक्षा के मापदंडों के बारे में प्रमाण रचनात्मक नहीं है।

तर्कसंगत संख्या-मूल्यवान भार (पूर्ण सटीक वास्तविक संख्या-मूल्यवान भार के विपरीत) के साथ विशिष्ट आवर्तक वास्तुकला में यूनिवर्सल ट्यूरिंग मशीन की शक्ति है,<ref>{{Cite journal| title =  Turing computability with neural nets | url = http://www.math.rutgers.edu/~sontag/FTPDIR/aml-turing.pdf | year = 1991 | journal = Appl. Math. Lett. | pages = 77–80 | volume = 4 | issue = 6 | last1 = Siegelmann | first1 =  H.T. | last2 =  Sontag | first2 =  E.D. | doi =  10.1016/0893-9659(91)90080-F }}</ref> न्यूरॉन्स और मानक रैखिक कनेक्शन की सीमित संख्या का उपयोग करना। इसके अतिरिक्त, वजन के लिए [[अपरिमेय संख्या]] मानों का उपयोग [[हाइपरकंप्यूटेशन]] के साथ मशीन में होता है। सुपर-ट्यूरिंग शक्ति।<ref>{{cite journal |last1=Balcázar |first1=José |title=Computational Power of Neural Networks: A Kolmogorov Complexity Characterization |journal=IEEE Transactions on Information Theory|date=Jul 1997 |volume=43 |issue=4 |pages=1175–1183 |doi=10.1109/18.605580 |citeseerx=10.1.1.411.7782 }}</ref>


=== क्षमता ===
मॉडल की क्षमता संपत्ति किसी दिए गए फलन को मॉडल करने की क्षमता से मेल खाती है। यह जानकारी की मात्रा से संबंधित है जिसे नेटवर्क में और जटिलता की धारणा में संग्रहीत किया जा सकता है।

समुदाय द्वारा क्षमता की दो धारणाओं को जाना जाता है। सूचना क्षमता और वीसी आयाम। सर डेविड मैके की पुस्तक में परसेप्ट्रॉन की सूचना क्षमता पर गहन चर्चा की गई है,<ref name="auto">{{cite book| last=MacKay| first=David, J.C.| author-link=David J.C. MacKay| year=2003| publisher=[[Cambridge University Press]]| isbn=978-0-521-64298-9| title=Information Theory, Inference, and Learning Algorithms| url=http://www.inference.phy.cam.ac.uk/itprnn/book.pdf| access-date=11 June 2016| archive-date=19 October 2016| archive-url=https://web.archive.org/web/20161019163258/http://www.inference.phy.cam.ac.uk/itprnn/book.pdf| url-status=live}}</ref> जो थॉमस कवर के काम का सार प्रस्तुत करता है।<ref>{{cite journal|last=Cover|first=Thomas|author-link=Thomas M. Cover|year=1965|publisher=[[IEEE]]|url=http://www-isl.stanford.edu/people/cover/papers/paper2.pdf|title=Geometrical and Statistical Properties of Systems of Linear Inequalities with Applications in Pattern Recognition|journal=IEEE Transactions on Electronic Computers|issue=3|pages=326–334|volume=EC-14|doi=10.1109/PGEC.1965.264137|access-date=10 March 2020|archive-date=5 March 2016|archive-url=https://web.archive.org/web/20160305031348/http://www-isl.stanford.edu/people/cover/papers/paper2.pdf|url-status=live}}</ref> मानक न्यूरॉन्स के नेटवर्क की क्षमता (दृढ़ नहीं) चार नियमों द्वारा प्राप्त की जा सकती है<ref>{{cite journal| last=Gerald | first=Friedland| author-link=Gerald Friedland|year=2019|publisher=[[Association for Computing Machinery|ACM]]|title=Reproducibility and Experimental Design for Machine Learning on Audio and Multimedia Data|journal=MM '19: Proceedings of the 27th ACM International Conference on Multimedia| pages=2709–2710| doi=10.1145/3343031.3350545| isbn=978-1-4503-6889-6| s2cid=204837170}}</ref> जो न्यूरॉन को [[एडलाइन]] के रूप में समझने से प्राप्त होता है। सूचना क्षमता किसी भी डेटा को इनपुट के रूप में दिए जाने पर नेटवर्क द्वारा मॉडल किए जा सकने वाले कार्यों को कैप्चर करती है। दूसरी धारणा, कुलपति आयाम है। वीसी आयाम [[माप सिद्धांत]] के सिद्धांतों का उपयोग करता है और सर्वोत्तम संभव परिस्थितियों में अधिकतम क्षमता पाता है। यह विशिष्ट रूप में दिया गया इनपुट डेटा है। जैसा कि उल्लेख किया गया है,<ref name="auto" /> इच्छानुसार इनपुट के लिए वीसी आयाम परसेप्ट्रॉन की सूचना क्षमता का आधा है। इच्छानुसार बिंदुओं के वीसी आयाम को कभी-कभी मेमोरी क्षमता के रूप में संदर्भित किया जाता है।<ref>{{cite web| url=http://tfmeter.icsi.berkeley.edu/| title=Stop tinkering, start measuring! Predictable experimental design of Neural Network experiments| website=The Tensorflow Meter| access-date=10 March 2020| archive-date=18 April 2022| archive-url=https://web.archive.org/web/20220418025904/http://tfmeter.icsi.berkeley.edu/| url-status=dead}}</ref>



=== अभिसरण ===
मॉडल एक ही समाधान पर निरंतर अभिसरण नहीं कर सकते हैं, सबसे पहले क्योंकि व्यय फलन और मॉडल के आधार पर स्थानीय न्यूनतम उपस्थित हो सकते हैं। दूसरे, उपयोग की जाने वाली ऑप्टिमाइज़ेशन विधि किसी स्थानीय न्यूनतम से दूर प्रारंभ होने पर अभिसरण की गारंटी नहीं दे सकती है। तीसरा, पर्याप्त रूप से बड़े डेटा या पैरामीटर के लिए, कुछ विधियां अव्यावहारिक हो जाती हैं।

उल्लेख करने योग्य अन्य उद्देश्य यह है कि प्रशिक्षण कुछ सैडल बिंदु को पार कर सकता है जो अभिसरण को अनुचित दिशा में ले जा सकता है।

कुछ प्रकार के एएनएन आर्किटेक्चर के अभिसरण व्यवहार को दूसरों की तुलना में अधिक समझा जाता है। जब नेटवर्क की चौड़ाई अनंत तक पहुंचती है, तो प्रशिक्षण के समय एएनएन को उसके पहले क्रम के टेलर विस्तार द्वारा अच्छी तरह से वर्णित किया जाता है, और इसलिए [[रैखिक मॉडल]] के अभिसरण व्यवहार को विरासत में मिला है।<ref>{{Cite journal|last1=Lee|first1=Jaehoon|last2=Xiao|first2=Lechao|last3=Schoenholz|first3=Samuel S.|last4=Bahri |first4=Yasaman|last5=Novak |first5=Roman|last6=Sohl-Dickstein|first6=Jascha|last7=Pennington |first7=Jeffrey|title=Wide neural networks of any depth evolve as linear models under gradient descent |journal=Journal of Statistical Mechanics: Theory and Experiment|year=2020|volume=2020|issue=12|page=124002 |doi=10.1088/1742-5468/abc62b|arxiv=1902.06720|bibcode=2020JSMTE2020l4002L|s2cid=62841516}}</ref><ref>{{cite conference |conference=32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montreal, Canada |author1=Arthur Jacot |author2=Franck Gabriel |author3=Clement Hongler |date=2018 |url=https://proceedings.neurips.cc/paper/2018/file/5a4be1fa34e62bb8a6ec6b91d2462f5a-Paper.pdf |title=Neural Tangent Kernel: Convergence and Generalization in Neural Networks |access-date=4 June 2022 |archive-date=22 June 2022 |archive-url=https://web.archive.org/web/20220622033100/https://proceedings.neurips.cc/paper/2018/file/5a4be1fa34e62bb8a6ec6b91d2462f5a-Paper.pdf |url-status=live }}</ref> एक और उदाहरण है जब पैरामीटर छोटे होते हैं, यह देखा गया है कि एएनएन अधिकांशतः लक्ष्य कार्यों को निम्न से उच्च आवृत्तियों में उपयुक्त हैं। इस व्यवहार को तंत्रिका नेटवर्क के वर्णक्रमीय पूर्वाग्रह या आवृत्ति सिद्धांत के रूप में जाना जाता है।<ref>{{cite book |vauthors=Xu ZJ, Zhang Y, Xiao Y |date=2019 |veditors=Gedeon T, Wong K, Lee M |title=Neural Information Processing. ICONIP 2019. |series=Lecture Notes in Computer Science |volume=11953 |publisher=Springer, Cham |doi=10.1007/978-3-030-36708-4_22 |chapter=Training Behavior of Deep Neural Network in Frequency Domain |pages=264–274 |arxiv=1807.01251 |isbn=978-3-030-36707-7 |s2cid=49562099 |chapter-url=http://arxiv.org/abs/1807.01251 |access-date=7 June 2022 |archive-date=9 November 2020 |archive-url=https://web.archive.org/web/20201109004917/https://arxiv.org/abs/1807.01251 |url-status=live }}</ref><ref>{{cite journal |author1=Nasim Rahaman |author2=Aristide Baratin |author3=Devansh Arpit |author4=Felix Draxler |author5=Min Lin |author6=Fred Hamprecht |author7=Yoshua Bengio |author8=Aaron Courville |journal=Proceedings of the 36th International Conference on Machine Learning |volume=97 |pages=5301–5310 |date=2019 |title=On the Spectral Bias of Neural Networks |arxiv=1806.08734 |url=http://proceedings.mlr.press/v97/rahaman19a/rahaman19a.pdf |access-date=4 June 2022 |archive-date=22 October 2022 |archive-url=https://web.archive.org/web/20221022155951/http://proceedings.mlr.press/v97/rahaman19a/rahaman19a.pdf |url-status=live }}</ref><ref>{{cite journal |arxiv=1901.06523 |author1=Zhi-Qin John Xu |author2=Yaoyu Zhang |author3=Tao Luo |author4=Yanyang Xiao |author5=Zheng Ma |title=Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks|journal=Communications in Computational Physics |year=2020 |volume=28 |issue=5 |pages=1746–1767 |doi=10.4208/cicp.OA-2020-0085 |bibcode=2020CCoPh..28.1746X |s2cid=58981616 }}</ref><ref>{{cite arXiv |eprint=1906.09235 |author1=Tao Luo |author2=Zheng Ma |author3=Zhi-Qin John Xu |author4=Yaoyu Zhang |date=2019 |title=Theory of the Frequency Principle for General Deep Neural Networks|class=cs.LG }}</ref> यह घटना कुछ अच्छी तरह से अध्ययन की गई पुनरावृत्त संख्यात्मक योजनाओं जैसे जैकोबी पद्धति के व्यवहार के विपरीत है। गहरा तंत्रिका नेटवर्क कम आवृत्ति कार्यों के प्रति अधिक पक्षपाती देखा गया है।<ref>{{Cite journal|last1=Xu|first1=Zhiqin John|last2=Zhou|first2=Hanxu|date=2021-05-18|title=Deep Frequency Principle Towards Understanding Why Deeper Learning Is Faster|url=https://ojs.aaai.org/index.php/AAAI/article/view/17261|journal=Proceedings of the AAAI Conference on Artificial Intelligence|volume=35|issue=12|pages=10541–10550|doi=10.1609/aaai.v35i12.17261|arxiv=2007.14313|s2cid=220831156|issn=2374-3468|access-date=5 October 2021|archive-date=5 October 2021|archive-url=https://web.archive.org/web/20211005142300/https://ojs.aaai.org/index.php/AAAI/article/view/17261|url-status=live}}</ref>


=== सामान्यीकरण और सांख्यिकी ===
जिन अनुप्रयोगों का लक्ष्य ऐसी प्रणाली बनाना है जो अनदेखी उदाहरणों को अच्छी तरह से सामान्यीकृत करता है, अति-प्रशिक्षण की संभावना का सामना करता है। यह जटिल या अति-निर्दिष्ट प्रणालियों में उत्पन्न होता है जब नेटवर्क क्षमता आवश्यक मुक्त मापदंडों से अत्यधिक अधिक हो जाती है। दो दृष्टिकोण अति-प्रशिक्षण को संबोधित करते हैं। क्रॉस-वैलिडेशन और इसी तरह की तकनीकों का उपयोग ओवर-ट्रेनिंग की उपस्थिति की जांच करने और सामान्यीकरण त्रुटि को कम करने के लिए [[hyperparameters|हाइपरपैरामीटर]] का चयन करने के लिए है।

दूसरा नियमितीकरण (गणित) के किसी रूप का उपयोग करना है। यह अवधारणा संभाव्य (बायेसियन) ढांचे में उभरती है, जहां सरल मॉडलों पर बड़ी पूर्व संभावना का चयन करके नियमितीकरण किया जा सकता है; लेकिन सांख्यिकीय शिक्षण सिद्धांत में भी, जहां लक्ष्य दो मात्राओं को कम करना है: 'अनुभवजन्य संकट' और 'संरचनात्मक संकट', जो मोटे तौर पर प्रशिक्षण सेट पर त्रुटि और ओवरफिटिंग के कारण अनदेखी डेटा में अनुमानित त्रुटि से मेल खाता है।

[[File:Synapse deployment.jpg|thumb|right|upright=1.15|तंत्रिका नेटवर्क का विश्वास विश्लेषण]]पर्यवेक्षित तंत्रिका नेटवर्क जो औसत चुकता त्रुटि (एमएसई) व्यय फलन का उपयोग करते हैं, प्रशिक्षित मॉडल के विश्वास को निर्धारित करने के लिए औपचारिक सांख्यिकीय विधियों का उपयोग कर सकते हैं। सत्यापन सेट पर एमएसई का उपयोग विचरण के अनुमान के रूप में किया जा सकता है। इस मान का उपयोग सामान्य वितरण मानते हुए नेटवर्क आउटपुट के [[विश्वास अंतराल]] की गणना के लिए किया जा सकता है। इस तरह से किया गया विश्वास विश्लेषण तब तक सांख्यिकीय रूप से मान्य होता है जब तक कि आउटपुट संभाव्यता वितरण समान रहता है और नेटवर्क संशोधित नहीं होता है।

श्रेणीबद्ध लक्ष्य चर के लिए तंत्रिका नेटवर्क (या घटक-आधारित नेटवर्क में सॉफ्टमैक्स घटक) की आउटपुट परत पर सॉफ्टमैक्स सक्रियण फलन, [[रसद समारोह|रसद फलन]] का सामान्यीकरण निर्दिष्ट करके, आउटपुट को पश्च संभावनाओं के रूप में व्याख्या किया जा सकता है। यह वर्गीकरण में उपयोगी है क्योंकि यह वर्गीकरण पर निश्चित माप प्रदान करता है।

सॉफ्टमैक्स सक्रियण फलन है:

:<math>y_i=\frac{e^{x_i}}{\sum_{j=1}^c e^{x_j}}</math>
== आलोचना ==

=== प्रशिक्षण ===
विशेष रूप से रोबोटिक्स में तंत्रिका नेटवर्क की सामान्य आलोचना यह है कि उन्हें वास्तविक विश्व के संचालन के लिए बहुत अधिक प्रशिक्षण की आवश्यकता होती है। संभावित समाधानों में संख्यात्मक अनुकूलन कलनविधि का उपयोग करके विचित्र ढंग से अदला-बदली प्रशिक्षण उदाहरण सम्मिलित हैं, जो उदाहरण के बाद नेटवर्क कनेक्शन पारिवार्तित करते समय बहुत बड़े कदम तथाकथित मिनी-बैचों में उदाहरणों को समूहीकृत करना और अनुमस्तिष्क के लिए पुनरावर्ती कम से कम वर्ग कलनविधि प्रारंभ करना मॉडल अभिव्यक्ति नियंत्रक आदि कदम नहीं उठाते हैं, ।<ref name="Qin1"/>


=== सिद्धांत ===

केंद्रीय प्रमाणित एएनएन की संख्या यह है कि वे सूचना के प्रसंस्करण के लिए नए और शक्तिशाली सामान्य सिद्धांतों को अपनाते हैं। ये सिद्धांत खराब परिभाषित हैं। यह अधिकांशतः प्रमाणित किया जाता है कि वे नेटवर्क से ही उभरती संपत्ति हैं। यह सरल सांख्यिकीय संघ (कृत्रिम तंत्रिका नेटवर्क का मूल कार्य) को शिक्षा या मान्यता के रूप में वर्णित करने की अनुमति देता है। 1997 में, [[अलेक्जेंडर ड्यूडनी]] ने टिप्पणी की कि, परिणामस्वरूप, कृत्रिम तंत्रिका नेटवर्क में कुछ-के-लिए-कुछ गुणवत्ता होती है, जो आलस्य की विचित्र आभा प्रदान करती है और ये कंप्यूटिंग प्रणाली कितने अच्छे हैं, इस बारे में जिज्ञासा की अलग कमी है। कोई मानवीय हाथ (या मन) हस्तक्षेप नहीं करता; समाधान ऐसे मिलते हैं मानो चमत्कार से; और ऐसा लगता है कि किसी ने कुछ नहीं सीखा है।<ref>{{cite book|url={{google books |plainurl=y |id=KcHaAAAAMAAJ|page=82}}|title=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science|last=Dewdney|first=A. K.|date=1 April 1997|publisher=Wiley|isbn=978-0-471-10806-1|pages=82}}</ref> ड्यूडनी की प्रतिक्रिया यह है कि तंत्रिका नेटवर्क कई जटिल और विविध कार्यों को संभालते हैं, जिनमें स्वायत्त रूप से उड़ने वाले विमान सम्मिलित हैं<ref>[http://www.nasa.gov/centers/dryden/news/NewsReleases/2003/03-49.html NASA – Dryden Flight Research Center – News Room: News Releases: NASA NEURAL NETWORK PROJECT PASSES MILESTONE] {{Webarchive|url=https://web.archive.org/web/20100402065100/http://www.nasa.gov/centers/dryden/news/NewsReleases/2003/03-49.html |date=2 April 2010 }}. Nasa.gov. Retrieved on 20 November 2013.</ref> क्रेडिट कार्ड धोखाधड़ी का पता लगाने से लेकर गो (खेल) के खेल में महारत प्राप्त करने तक।

प्रौद्योगिकी लेखक रोजर ब्रिजमैन ने टिप्पणी की:

{{blockquote|उदाहरण के लिए, तंत्रिका नेटवर्क, न केवल इसलिए कटघरे में हैं क्योंकि उन्हें उच्च स्वर्ग के लिए सम्मोहित किया गया है, (क्या नहीं है?) बल्कि इसलिए भी कि आप यह समझे बिना सफल नेटवर्क बना सकते हैं कि यह कैसे काम करता है: संख्याओं का गुच्छा जो इसे पकड़ लेता है व्यवहार सभी संभावनाओं में "एक अपारदर्शी, अपठनीय तालिका ... एक वैज्ञानिक संसाधन के रूप में मूल्यहीन" होगा।
अपनी जोरदार घोषणा के अतिरिक्त कि विज्ञान प्रौद्योगिकी नहीं है, ड्यूडनी यहाँ तंत्रिका नेटवर्क को खराब विज्ञान के रूप में देखते हैं, जब उनमें से अधिकांश लोग केवल अच्छे इंजीनियर बनने का प्रयास कर रहे हैं। एक अपठनीय तालिका जिसे एक उपयोगी मशीन पढ़ सकती है, अभी भी अच्छी तरह से योग्य होगी।<ref>{{Cite web |url=http://members.fortunecity.com/templarseries/popper.html |title=Roger Bridgman's defence of neural networks |access-date=12 July 2010 |archive-url=https://web.archive.org/web/20120319163352/http://members.fortunecity.com/templarseries/popper.html |archive-date=19 March 2012 |url-status=dead}}</ref>
}}

जैसा कि मस्तिष्क शरीर रचना विज्ञान द्वारा सूचीबद्ध किया गया है, जैविक मस्तिष्क उथले और गहरे परिपथ दोनों का उपयोग करते हैं।<ref name="VanEssen1991">D. J. Felleman and D. C. Van Essen, "[https://archive.today/20150120022056/http://cercor.oxfordjournals.org/content/1/1/1.1.full.pdf+html Distributed hierarchical processing in the primate cerebral cortex]," ''Cerebral Cortex'', 1, pp. 1–47, 1991.</ref> व्यापक विविधता प्रदर्शित करता है। वेंग<ref name="Weng2012">J. Weng, "[https://www.amazon.com/Natural-Artificial-Intelligence-Introduction-Computational/dp/0985875720 Natural and Artificial Intelligence: Introduction to Computational Brain-Mind]," BMI Press, {{ISBN|978-0-9858757-2-5}}, 2012.</ref> ने तर्क दिया कि मस्तिष्क बड़े पैमाने पर संकेत आँकड़ों के अनुसार स्वयं-तार करता है और इसलिए, सीरियल कैस्केड सभी प्रमुख सांख्यिकीय निर्भरता को नहीं पकड़ सकता है।

=== हार्डवेयर ===
बड़े और प्रभावी तंत्रिका नेटवर्क को अत्यधिक कंप्यूटिंग संसाधनों की आवश्यकता होती है।<ref name=":0">{{cite journal|last1=Edwards|first1=Chris|s2cid=11026540|title=Growing pains for deep learning|journal=Communications of the ACM|date=25 June 2015|volume=58|issue=7|pages=14–16|doi=10.1145/2771283}}</ref> जबकि मस्तिष्क में न्यूरॉन्स के [[ग्राफ (असतत गणित)]] के माध्यम से संकेतों को संसाधित करने के कार्य के अनुरूप हार्डवेयर होता है, वॉन न्यूमैन आर्किटेक्चर पर सरलीकृत न्यूरॉन का अनुकरण भी बड़ी मात्रा में रैंडम-एक्सेस मेमोरी और स्टोरेज का उपभोग कर सकता है। इसके अतिरिक्त, डिजाइनर को अधिकांशतः इनमें से कई कनेक्शनों और उनसे जुड़े न्यूरॉन्स के माध्यम से संकेत प्रसारित करने की आवश्यकता होती है{{snd}} जिसके लिए अत्यधिक [[सेंट्रल प्रोसेसिंग यूनिट|सेंट्रल प्रोसेसिंग इकाई]] शक्ति और समय की आवश्यकता होती है।

जुरगेन श्मिटहुबर ने कहा कि इक्कीसवीं सदी में तंत्रिका नेटवर्क का पुनरुत्थान अत्यधिक सीमा तक हार्डवेयर में प्रगति के लिए उतार्दायी है: 1991 से 2015 तक, कंप्यूटिंग शक्ति, विशेष रूप से [[ग्राफ़िक्स प्रोसेसिंग युनिट]] (ग्राफिक्स प्रोसेसिंग इकाई पर) पर सामान्य-उद्देश्य कंप्यूटिंग द्वारा वितरित के रूप में, लगभग एक लाख गुना बढ़ गया है, जिससे प्रशिक्षण नेटवर्क के लिए मानक बैकप्रोपैजेशन कलनविधि संभव हो गया है जो पहले की तुलना में कई परतें गहरी हैं।<ref name="SCHIDHUB2" /> [[क्षेत्र में प्रोग्राम की जा सकने वाली द्वार श्रंखला]] और जीपीयू जैसे एक्सेलेरेटर का उपयोग प्रशिक्षण समय को महीनों से दिनों तक कम कर सकता है।{{r|:0}}

न्यूरोमॉर्फिक इंजीनियरिंग या भौतिक तंत्रिका नेटवर्क परिपथरी में तंत्रिका नेटवर्क को सीधे प्रयुक्त करने के लिए गैर-वॉन-न्यूमैन चिप्स का निर्माण करके हार्डवेयर कठिनाई को सीधे संबोधित करता है। तंत्रिका नेटवर्क प्रसंस्करण के लिए अनुकूलित अन्य प्रकार की चिप को टेन्सर प्रोसेसिंग इकाई या टीपीयू कहा जाता है।<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=18 May 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots |access-date=5 March 2017 |archive-date=13 January 2018 |archive-url=https://web.archive.org/web/20180113150305/https://www.wired.com/2016/05/google-tpu-custom-chips/ |url-status=live }}</ref>



=== व्यावहारिक प्रति उदाहरण ===
जैविक तंत्रिका नेटवर्क द्वारा सीखी गई बातों का विश्लेषण करने की तुलना में एएनएन द्वारा सीखी गई बातों का विश्लेषण करना बहुत आसान है। इसके अतिरिक्त, तंत्रिका नेटवर्क के लिए शिक्षा के कलनविधि की खोज में सम्मिलित शोधकर्ता धीरे-धीरे सामान्य सिद्धांतों को प्रकट कर रहे हैं जो शिक्षा की मशीन को सफल होने की अनुमति देते हैं। उदाहरण के लिए, स्थानीय के विरुद्ध गैर-स्थानीय शिक्षा और उथली के विरुद्ध गहरी वास्तुकला।<ref>{{Cite web|title=Scaling Learning Algorithms towards AI|url=http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf|access-date=6 July 2022|archive-date=12 August 2022|archive-url=https://web.archive.org/web/20220812081157/http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf|url-status=live}}</ref>


=== हाइब्रिड दृष्टिकोण ===
[[हाइब्रिड तंत्रिका नेटवर्क]] मॉडल (तंत्रिका नेटवर्क और प्रतीकात्मक दृष्टिकोण के संयोजन) के अधिवक्ताओं का कहना है कि ऐसा मिश्रण मानव मन के नेटवर्क को उत्तम ढंग से पकड़ सकता है।<ref>{{Cite journal| last1=Tahmasebi| last2=Hezarkhani| title=A hybrid neural networks-fuzzy logic-genetic algorithm for grade estimation| year=2012| journal=Computers & Geosciences| pages=18–27 |volume=42| doi=10.1016/j.cageo.2012.02.004| pmid=25540468| pmc=4268588| bibcode=2012CG.....42...18T}}</ref>


== गैलरी ==
<gallery widths="220">
File:Single layer ann.svg|A single-layer feedforward artificial neural network. Arrows originating from <math>\scriptstyle x_2</math> are omitted for clarity. There are p inputs to this network and q outputs. In this system, the value of the qth output, <math>\scriptstyle y_q</math> would be calculated as <math>\scriptstyle y_q = K*(\sum(x_i*w_{iq})-b_q) </math>.
File:Two layer ann.svg|A two-layer feedforward artificial neural network
File:Artificial neural network.svg|An artificial neural network
File:Ann dependency (graph).svg|An ANN dependency graph
File:Single-layer feedforward artificial neural network.png|A single-layer feedforward artificial neural network with 4 inputs, 6 hidden and 2 outputs. Given position state and direction outputs wheel based control values.
File:Two-layer feedforward artificial neural network.png|A two-layer feedforward artificial neural network with 8 inputs, 2x8 hidden and 2 outputs. Given position state, direction and other environment values outputs thruster based control values.
File:Cmac.jpg|Parallel pipeline structure of CMAC neural network. This learning algorithm can converge in one step.
</gallery>


== यह भी देखें ==
{{cols|colwidth=18em}}
* एडलाइन
* ऑटो [[ऑटोएन्कोडर]]
* [[जैव-प्रेरित कंप्यूटिंग]]
* [[ब्लू ब्रेन प्रोजेक्ट]]
* [[विपत्तिपूर्ण हस्तक्षेप]]
* [[संज्ञानात्मक वास्तुकला]]
* [[कनेक्शन विशेषज्ञ विशेषज्ञ प्रणाली]]
* [[कनेक्टोमिक्स]]
* [[तंत्रिका नेटवर्क की बड़ी चौड़ाई सीमा]]
* [[मशीन सीखने की अवधारणाओं की सूची]]
* तंत्रिका गैस
* तंत्रिका नेटवर्क सॉफ्टवेयर
* ऑप्टिकल तंत्रिका नेटवर्क
* समानांतर वितरित प्रसंस्करण
* कृत्रिम बुद्धि का दर्शन
* आवर्तक तंत्रिका नेटवर्क
* स्पाइकिंग न्यूरल नेटवर्क
* टेंसर उत्पाद नेटवर्क
{{colend}}


==टिप्पणियाँ==
{{notelist}}


==संदर्भ==
{{Reflist|30em}}


==ग्रन्थसूची==
{{colbegin|colwidth=30em}}
* {{Cite journal| author=Bhadeshia H. K. D. H. | year=1999 |title=Neural Networks in Materials Science | journal=ISIJ International | volume=39 |pages=966–979 | doi=10.2355/isijinternational.39.966 | url=http://www.msm.cam.ac.uk/phase-trans/abstracts/neural.review.pdf| issue=10}}
* {{Cite book|title=Neural networks for pattern recognition|last=Bishop|first=Christopher M.|date=1995|publisher=Clarendon Press|isbn=978-0-19-853849-3|oclc=33101074 }}
* {{Cite book|title=Neuro-Fuzzy-Systeme : von den Grundlagen künstlicher Neuronaler Netze zur Kopplung mit Fuzzy-Systemen|first=Christian|last=Borgelt|year=2003|publisher=Vieweg|isbn=978-3-528-25265-6|oclc=76538146}}
* {{cite book|title=Mathematics of Control, Signals, and Systems|author1-link=George Cybenko|last=Cybenko|first=G.V.|publisher=Springer International|year=2006|editor-last=van Schuppen|editor-first=Jan H.|chapter=Approximation by Superpositions of a Sigmoidal function|chapter-url={{google books |plainurl=y |id=4RtVAAAAMAAJ|page=303}}|pages=303–314|title-link=Mathematics of Control, Signals, and Systems}} [https://web.archive.org/web/20110719183058/http://actcomm.dartmouth.edu/gvc/papers/approx_by_superposition.pdf PDF]
* {{Cite book|title=Yes, we have no neutrons : an eye-opening tour through the twists and turns of bad science|last=Dewdney |first=A. K.|isbn=978-0-471-10806-1|oclc=35558945|year=1997|publisher=Wiley|location=New York}}
* {{Cite book|title=Pattern classification|first1=Richard O.|last1=Duda|last2=Hart |first2=Peter Elliot|last3=Stork |first3=David G.|year=2001|publisher=Wiley|isbn=978-0-471-05669-0|oclc=41347061|edition=2}}
* {{Cite journal | last1=Egmont-Petersen|first1=M. |last2=de Ridder |first2=D. |last3=Handels |first3=H. | year=2002 | title=Image processing with neural networks – a review | journal=Pattern Recognition | volume=35 | pages=2279–2301 | doi = 10.1016/S0031-3203(01)00178-9 | issue=10|citeseerx=10.1.1.21.5444 }}
* {{cite web |last1=Fahlman |first1=S. |last2=Lebiere |first2=C |year=1991 |title=The Cascade-Correlation Learning Architecture |url=http://www.cs.iastate.edu/~honavar/fahlman.pdf |access-date=28 August 2006 |archive-date=3 May 2013 |archive-url=https://web.archive.org/web/20130503184045/http://www.cs.iastate.edu/~honavar/fahlman.pdf |url-status=dead }}
**created for [[National Science Foundation]], Contract Number EET-8716324, and [[Defense Advanced Research Projects Agency]] (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499. 
* {{Cite book|title=An introduction to neural networks|last=Gurney |first=Kevin |year=1997|publisher=UCL Press|isbn=978-1-85728-673-1|oclc=37875698}}
* {{Cite book|title=Neural networks : a comprehensive foundation|last=Haykin|first= Simon S.|year=1999|publisher=Prentice Hall|isbn=978-0-13-273350-2|oclc=38908586}}
* {{Cite book|title=Introduction to the theory of neural computation|last1=Hertz |first1=J.|last3=Krogh|first3=Anders S.|first2=Richard G.|last2=Palmer|year=1991|publisher=Addison-Wesley |isbn=978-0-201-51560-2|oclc=21522159}}
* {{Cite book|title=Information theory, inference, and learning algorithms|publisher=Cambridge University Press|isbn=978-0-521-64298-9|oclc=52377690|date=25 September 2003|bibcode=2003itil.book.....M}}
* {{Cite book|title=Computational intelligence : a methodological introduction|first1=Rudolf|last1=Kruse|first2=Christian|last2=Borgelt|first3=F.|last3=Klawonn|first4=Christian|last4=Moewes|first5=Matthias|last5=Steinbrecher|first6=Pascal|last6=Held|year=2013|publisher=Springer|isbn=978-1-4471-5012-1|oclc=837524179}}
* {{Cite book|title=Introduction to neural networks : design, theory and applications|last=Lawrence|first=Jeanette|year=1994|publisher=California Scientific Software|isbn=978-1-883157-00-5|oclc=32179420}}
* {{cite book| last=MacKay | first=David, J.C.| author-link=David J.C. MacKay|year=2003|publisher=[[Cambridge University Press]]| isbn=978-0-521-64298-9|url=http://www.inference.phy.cam.ac.uk/itprnn/book.pdf|title=Information Theory, Inference, and Learning Algorithms}}
* {{Cite book|title=Signal and image processing with neural networks : a C++ sourcebook|first=Timothy|last=Masters|year=1994|publisher=J. Wiley|isbn=978-0-471-04963-0|oclc=29877717}}
* {{Cite book|title=Cognitive science : integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism|last=Maurer|first=Harald|year=2021|publisher=CRC Press|isbn=978-1-351-04352-6|doi=10.1201/9781351043526|s2cid=242963768 }}
* {{cite book|url={{google books |plainurl=y |id=m12UR8QmLqoC}}|title=Pattern Recognition and Neural Networks|last=Ripley|first=Brian D.|author-link=Brian D. Ripley|publisher=Cambridge University Press|year=2007|isbn=978-0-521-71770-0}}
* {{cite journal|last1=Siegelmann |first1=H.T. |first2=Eduardo D.|last2=Sontag|s2cid=2456483 |year=1994|title=Analog computation via neural networks |journal=Theoretical Computer Science |volume= 131 |issue= 2 |pages=331–360 |doi=10.1016/0304-3975(94)90178-3}} 
* {{Cite book|title=Neural networks for statistical modeling|last1=Smith |first1=Murray|date=1993|publisher=Van Nostrand Reinhold|isbn=978-0-442-01310-3|oclc=27145760}}
* {{Cite book|title=Advanced methods in neural computing|last=Wasserman |first=Philip D.|year=1993|publisher=Van Nostrand Reinhold|isbn=978-0-442-00461-3|oclc=27429729}}
* {{cite book|last1=Wilson|first1=Halsey|title=Artificial intelligence|date=2018|publisher=Grey House Publishing|isbn=978-1-68217-867-6}}
{{colend}}

{{Complex systems topics}}
{{Control theory}}
{{Differentiable computing}}
{{Neuroscience}}
{{Self-driving cars and enabling technologies}}
{{DEFAULTSORT:Artificial Neural Network}}

[[Category:All articles with incomplete citations]]
[[Category:Articles with hatnote templates targeting a nonexistent page|Artificial Neural Network]]
[[Category:Articles with incomplete citations from June 2022]]
[[Category:Articles with invalid date parameter in template]]
[[Category:CS1]]
[[Category:CS1 Deutsch-language sources (de)]]
[[Category:CS1 English-language sources (en)]]
[[Category:CS1 errors|Artificial Neural Network]]
[[Category:CS1 suomi-language sources (fi)]]
[[Category:Collapse templates|Artificial Neural Network]]
[[Category:Created On 16/02/2023|Artificial Neural Network]]
[[Category:Lua-based templates|Artificial Neural Network]]
[[Category:Machine Translated Page|Artificial Neural Network]]
[[Category:Multi-column templates|Artificial Neural Network]]
[[Category:Navigational boxes| ]]
[[Category:Navigational boxes without horizontal lists|Artificial Neural Network]]
[[Category:Pages using div col with small parameter|Artificial Neural Network]]
[[Category:Pages with broken file links|Artificial Neural Network]]
[[Category:Pages with script errors|Artificial Neural Network]]
[[Category:Pages with syntax highlighting errors]]
[[Category:Sidebars with styles needing conversion|Artificial Neural Network]]
[[Category:Template documentation pages|Documentation/doc]]
[[Category:Templates Translated in Hindi|Artificial Neural Network]]
[[Category:Templates Vigyan Ready|Artificial Neural Network]]
[[Category:Templates generating microformats|Artificial Neural Network]]
[[Category:Templates that add a tracking category|Artificial Neural Network]]
[[Category:Templates that are not mobile friendly|Artificial Neural Network]]
[[Category:Templates that generate short descriptions|Artificial Neural Network]]
[[Category:Templates using TemplateData|Artificial Neural Network]]
[[Category:Templates using under-protected Lua modules|Artificial Neural Network]]
[[Category:Webarchive template wayback links|Artificial Neural Network]]
[[Category:Wikipedia fully protected templates|Div col]]
[[Category:Wikipedia metatemplates|Artificial Neural Network]]
[[Category:कम्प्यूटेशनल आँकड़े|Artificial Neural Network]]
[[Category:कम्प्यूटेशनल तंत्रिका विज्ञान|Artificial Neural Network]]
[[Category:कृत्रिम तंत्रिका नेटवर्क| कृत्रिम तंत्रिका नेटवर्क ]]
[[Category:गणितीय और मात्रात्मक तरीके (अर्थशास्त्र)|Artificial Neural Network]]
[[Category:गणितीय मनोविज्ञान|Artificial Neural Network]]
[[Category:बाजार अनुसंधान|Artificial Neural Network]]
[[Category:वर्गीकरण एल्गोरिदम|Artificial Neural Network]]