सार्वभौमिक सन्निकटन प्रमेय

From Vigyanwiki
Revision as of 12:16, 10 October 2023 by alpha>Neeraja (added Category:Vigyan Ready using HotCat)

गणित के कृत्रिम तंत्रिका(न्यूरल) नेटवर्क सिद्धांत में, सार्वभौमिक सन्निकटन प्रमेय वे परिणाम हैं[1][2] जो सूचित करते हैं कि तंत्रिका नेटवर्क सैद्धान्तिक रूप से क्या सीख सकती हैं अर्थात ये प्रमेय किसी दिए गए फलन समष्टि के भीतर एक विधिकलनात्मक रूप से उत्पन्न फलन वर्ग के घन समुच्चय को स्थापित करते हैं। सामान्यतः, ये परिणाम दो यूक्लिडियन समष्टियों के बीच सतत फलनों के स्थान पर फीडफॉरवर्ड न्यूरल नेटवर्क की सन्निकटन क्षमताओं तथा सन्निकटन सघन अभिसरण सांस्थिति से संबंधित हैं।

यद्यपि, गैर-यूक्लिडियन समष्टियों के बीच भी विभिन्न प्रकार के परिणाम हैं[3] और अन्य सामान्यतः उपयोग किए जाने वाले संरचना और, अधिक सामान्यतः, विधिकलन द्वारा उत्पन्न फलनों के समुच्चय, जैसे संवलन तंत्रिका नेटवर्क (सीएनएन) संरचना,[4][5] त्रिज्यीय आधार फलन,[6] या विशिष्ट गुणों वाले तंत्रिका नेटवर्क आदि पर आधारित हैं।[7][8] अधिकांश सार्वभौमिक सन्निकटन प्रमेयों को दो वर्गों में विभाजित किया जा सकता है। पहला कृत्रिम तंत्रिकाओं की एक यादृच्छिक संख्या के साथ तंत्रिका नेटवर्क की अनुमानित क्षमताओं को निर्धारित करता है और दूसरा छिपे हुए स्तरों की एक यादृच्छिक संख्या के साथ विषय पर ध्यान केंद्रित करता है, प्रत्येक वर्ग में परिमित संख्या में कृत्रिम तंत्रिकाएँ होती है। इन दो वर्गों के अतिरिक्त, तंत्रिका नेटवर्क के लिए छिपी हुई स्तरों की परिमित संख्या और प्रत्येक परत में परिमित संख्या में तंत्रिकाओं के साथ सार्वभौमिक सन्निकटन प्रमेय भी सम्मिलित हैं।

सार्वभौमिक सन्निकटन प्रमेय का अर्थ है कि उचित भार दिए जाने पर तंत्रिका नेटवर्क विभिन्न प्रकार के रोचक फलनों का प्रतिनिधित्व कर सकती हैं। दूसरी ओर, वे सामान्यतः भार के लिए कोई निर्माण प्रदान नहीं करते हैं, बल्कि केवल यह बताते हैं कि ऐसा निर्माण संभव है।

इतिहास

सिग्मॉइड फलन, सक्रियण फलनों के लिए यादृच्छिक विस्तार के पहले संस्करणों में से एक जॉर्ज साइबेंको द्वारा 1989 में सिद्ध किया गया था।[9] कूरट हॉर्निक [डे], मैक्सवेल स्टिंचकॉम्ब और हेल्बर्ट व्हाइट ने 1989 में प्रदर्शित किया कि कम से कम एक छिपी हुई परत वाले बहुपरत फ़ीड-फ़ॉरवर्ड नेटवर्क सार्वभौमिक सन्निकटन हैं।[1]हॉर्निक ने 1991 में भी प्रदर्शित किया था[10] की यह सक्रियण फलन का विशिष्ट विकल्प नहीं है, बल्कि बहुपरत फ़ीड-फ़ॉरवर्ड संरचना ही है जो तंत्रिका नेटवर्क को सार्वभौमिक सन्निकटनकर्ता होने की क्षमता प्रदान करती है। 1993 में मोशे लेश्नो एट अल[11] और बाद में 1999 में एलन पिंकस[12] द्वारा प्रदर्शित किया गया कि सार्वभौमिक सन्निकटन गुण एक गैर-बहुपद सक्रियण फलन के बराबर है। 2022 में, शेन ज़ुओवेई, हाइझाओ यांग और शिजुन झांग[13] गहरे और विस्तृत रीलू (ReLU) तंत्रिका नेटवर्क द्वारा लक्ष्य फलन का अनुमान लगाने के लिए आवश्यक डेप्थ और विस्तार पर सटीक मात्रात्मक जानकारी प्राप्त की गई।

यादृच्छिक डेप्थ के परिप्रेक्ष्य का अध्ययन 2003 में गुस्ताफ ग्रिपेनबर्ग जैसे कई लेखकों द्वारा भी किया गया था,[14] दिमित्री यारोत्स्की,[15] 2017 में झोउ लू एट अल,[16] 2018 में बोरिस हैनिन और मार्क सेल्के[17] जिन्होंने रीलू सक्रियण फलन के साथ तंत्रिका नेटवर्क पर ध्यान केंद्रित किया। 2020 में, पैट्रिक किडगर और टेरी लियोन्स[18] उन परिणामों को सामान्य सक्रियण फलनों के साथ तंत्रिका नेटवर्क तक विस्तारित किया गया, जैसे टैन, जीएलयू, या स्विश, और 2022 में, उनके परिणाम को लियोनी पापोन और अनास्तासिस क्रैटसियोस द्वारा मात्रात्मक बनाया गया था[19] जिन्होंने लक्ष्य फलन और सक्रियण फलन की नियमितता के आधार पर स्पष्ट डेप्थ का अनुमान लगाया।

सार्वभौमिकता के लिए न्यूनतम संभावित विस्तार के प्रश्न का पहली बार 2021 में अध्ययन किया गया था, पार्क एट अल ने एलपी स्पेस के सार्वभौमिक सन्निकटन के लिए आवश्यक न्यूनतम विस्तार Lp प्राप्त की जो सक्रियण फलनों के रूप में दिष्टकारी तंत्रिका नेटवर्क के साथ फीडफॉरवर्ड न्यूरल नेटवर्क का उपयोग करके कार्य करता है।[20] इसी तरह के परिणाम जो सीधे अवशिष्ट तंत्रिका नेटवर्क पर लागू किए जा सकते हैं, उसी वर्ष नियंत्रण सिद्धांत तर्कों का उपयोग करके पाउलो तबुआडा और बहमन घरेसिफ़र्ड द्वारा भी प्राप्त किए गए थे।[21][22] 2023 में, सी.ए.आई [23] सार्वभौमिक सन्निकटन के लिए बाध्य इष्टतम न्यूनतम विस्तार प्राप्त की गई।

परिबद्ध डेप्थ तथा परिबद्ध विस्तार के परिप्रेक्ष्य का अध्ययन पहली बार 1999 में मायोरोव और पिंकस द्वारा किया गया था।[24] उन्होंने प्रदर्शित किया कि ऐसा एक विश्लेषणात्मक सिग्मोइडल सक्रियण फलन उपलब्ध है जिसके द्वारा दो छिपी हुई स्तर के कृत्रिम तंत्रिका नेटवर्क्स जिनमें छिपे हुए स्तरों में परिमित संख्या की इकाइयाँ होती हैं, वे एक सार्वभौमिक अद्यापक होते हैं। विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने एक स्मूद सिग्मॉइडल सक्रियण फलन का निर्माण किया, जो छिपी हुई स्तरों में कम इकाइयों के साथ दो छिपी हुई परत फीडफॉरवर्ड न्यूरल नेटवर्क के लिए सार्वभौमिक सन्निकटन गुण प्रदान करता है।[25] यह 2018 के लेख में रचनात्मक रूप से सिद्ध हुआ था[26] परिमित विस्तार वाले एकल छिपे हुए परत नेटवर्क अभी भी अविभाज्य फलनों के लिए सार्वभौमिक सन्निकटन हैं, परंतु यह गुण अब बहुपरिवर्तनीय फलनों के लिए सत्य नहीं है।

प्रमेय के कई विस्तार उपलब्ध हैं, जैसे असंतत सक्रियण फलन,[11] अविस्तृत क्षेत्र,[18]प्रमाणित नेटवर्क,[27] यादृच्छिक तंत्रिका नेटवर्क,[28] और वैकल्पिक नेटवर्क संरचना तथा सांस्थिति आदि।[18][29]


यादृच्छिक-विस्तार प्रकर्ण

1980s-1990s में कई पेपर्स, जैसे कि जॉर्ज साइबेंको और कुर्त हॉरनिक [de] आदि, ने कुछ ऐसे सार्वभौमिक सन्निकटन प्रमेय स्थापित किए जो किसी भी चौड़ाई और सीमित गहराई के लिए सत्य थे।[30][9][31][10]समीक्षा के लिए [32][33][12] को देखे। निम्नलिखित को सबसे अधिक बार उद्धृत किया गया है:

सार्वभौमिक सन्निकटन प्रमेय — यदि को एक यूक्लिडीयन समष्टि से यूक्लिडीयन समष्टि के लिए एक उपसमूह के रूप में प्रकट किया जाए, तो का एक उपसमूह होता है। को C(R, R) में प्रकट करता है। ध्यान दें कि होता है, इसलिए का अर्थ के प्रत्येक घटक पर का लागू किया जाता है।

पुनः, बहुपद नहीं होता है यदि और केवल यदि प्रत्येक , , संकुशल , के लिए , , , उपलब्ध होते हैं जैसे कि

जहां होता है।

इस तरह के एक पहली परत के लिए समान निर्माण का उपयोग करके और बाद की स्तरों के साथ इकाई फलन का अनुमान लगाकर अधिक डेप्थ के नेटवर्क द्वारा भी अनुमान लगाया जा सकता है।

प्रमाण आरेख

यह उस परिप्रेक्ष्य को सिद्ध करने के लिए पर्याप्त है जहां , क्योंकि में समान अभिसरण प्रत्येक निर्देशांक में समान अभिसरण है।

मान लीजिए के साथ निर्मित सभी एक-छिपे हुए परत वाले तंत्रिका नेटवर्क का समुच्चय है। मान लीजिए कि सघन समर्थन के साथ सभी का समुच्चय है।

यदि फलन डिग्री का एक बहुपद है, तो डिग्री के सभी बहुपदों के संवृत्त उप-समष्टि में समाहित है, इसलिए इसका इसमें संवरक भी सम्मिलित है, जो का पूरा नहीं है। अन्यथा, हम प्रदर्शित करते हैं कि का समापन का है। मान लीजिए कि हम रैंप फलन का यादृच्छिक विधि से अच्छा अनुमान लगा सकते हैं फिर इसे यादृच्छिक विधि से सघन रूप से समर्थित सतत फलन को यादृच्छिक विधि से परिशुद्धता के निर्माण के लिए जोड़ा जा सकता है। यहाँ रैंप फलन का अनुमान लगाना शेष है।

मशीन लर्निंग में प्रयुक्त किसी भी सामान्य सक्रियण समीकरण का उपयोग स्पष्ट रूप से रैंप फलन को अप्रॉक्सिमेट करने के लिए किया जा सकता है, या पहले रिलू (ReLU) को सन्निकटित करने के उपरांत रैंप फलन को सन्निकटित किया जा सकता है।

यदि "स्क्वैशिंग" होता है, अर्थात इसकी सीमाएँ हैं, तो पहले आप इसके x-धुरी को ऐसे ढंग से एकत्र कर सकते हैं कि इसका आरेख एक "स्टेप-फलन" की तरह दिखता है जिसमें दो तेज "ओवरशूट्स" होते हैं, फिर इनमें से कुछ को क्रमिक रूप से जोड़कर एक "स्टेप" का सन्निकटन बना सकते हैं। और इस स्टेप के अधिक स्टेप्स के साथ, ओवरशूट्स को स्मूथ कर सकते हैं और हम रैंप फलन का अत्यधिक सुदृढ़ सन्निकटन प्राप्त कर सकते हैं।

जब एक सामान्य गैर-बहुपद फलन होता है, तो यह विषय कठिन होता है, और पाठक को जिस पुस्तक का संदर्भ दिया गया है, वहां जाने के लिए संकेत दिया गया है। ("[12]")

छिपी हुई स्तरों के निर्गत को एक साथ गुणा करने की अनुमति देकर बहुपद के साथ समस्या को दूर किया जा सकता है (पीआई-सिग्मा नेटवर्क), जिससे सामान्यीकरण प्राप्त होता है:[31]

पाई-सिग्मा नेटवर्क के लिए सार्वभौमिक सन्निकटन प्रमेय —  किसी भी गैर-स्थिर सक्रियण फलन के सापेक्ष, एक-छिपी-परत पाई-सिग्मा नेटवर्क एक सार्वभौमिक सन्निकटन है।

यादृच्छिक-डेप्थ प्रकर्ण

प्रमेय के 'दोहरे' संस्करण परिमित विस्तार और यादृच्छिक डेप्थ के नेटवर्क पर विचार करते हैं। झोउ लू एट अल द्वारा यादृच्छिक डेप्थ के प्रकर्ण के लिए सार्वभौमिक सन्निकटन प्रमेय का एक प्रकार सिद्ध किया गया था। 2017 में[16] उन्होंने प्रदर्शित किया कि रिलू सक्रियण फलनों के साथ विस्तार n+4 के नेटवर्क L1 दूरी के संबंध में n-आयामी निविष्ट समष्टि पर किसी भी लेब्सग्यू एकीकरण का अनुमान लगाया जा सकता है। यह भी प्रदर्शित किया गया कि यदि विस्तार n से कम या उसके बराबर थी, तो किसी भी लेबेस्ग एकीकरण फलन का अनुमान लगाने की यह सामान्य अभिव्यंजक क्षमता लुप्त हो गई थी। उसी समाचार पत्र में[16]यह प्रदर्शित किया गया कि विस्तार n+1 वाले रिलू नेटवर्क n-आयामी निविष्ट चर के किसी भी सतत फलन फलन को अनुमानित करने के लिए पर्याप्त थे।[34] निम्नलिखित परिशोधन, इष्टतम न्यूनतम विस्तार निर्दिष्ट करता है जिसके लिए ऐसा अनुमान संभव है।[35]

सार्वजनिक सन्निकटन सिद्धांत (L1 दूरी, रेलू सक्रियण, विविध डेप्थ, न्यूनतम विस्तार). किसी भी बोक्नर–लेबेग p-अंशी फलन और किसी भी के लिए, एक पूर्ण जड़न रेलू संजाल का एक परिमित विस्तार के साथ उपलब्ध है, जिसमें निम्नलिखित प्रमेय लागू होता है

.

इसके अतिरिक्त एक ऐसा फलन और कुछ उपलब्ध है, जिसके लिए उपर्युक्त सन्निकटन सीमा को संतुष्ट करने वाली किसी भी पूर्ण जड़न रेलू संजाल की विस्तार से कम नहीं होती है।

टिप्पणी: यदि सक्रियण को लीकी-रेएलयू द्वारा प्रतिस्थापित किया जाता है, और निविष्ट एक सघन क्षेत्र में प्रतिबंधित है, तो सटीक न्यूनतम विस्तार [23] है।

मात्रात्मक सुधार: उस मामले में, जब और होता है और रीलू सक्रियण फलन होता है, तो एक रीलू संजाल के लिए त्रुटि प्राप्त करने के लिए आवश्यक डेप्थ और विस्तार की निश्चित डेप्थ और विस्तार भी जानी जाती है।[36] और यदि उसले मल्ल फलन होता है, तो आवश्यक स्तरों की संख्या और उनकी विस्तार आधारी हो सकती है।[37] यदि मल्ल नहीं है, तो यदि अतिरिक्त "संरचना" स्वीकार करता है, तो आयाम का बन्ध तोड़ा जा सकता है।[38][39]

साथ ही, [18] के मुख्य परिणाम से निम्नलिखित सीमांत विस्तार वाले संजालों के लिए निम्नलिखित सार्वजनिक सन्निकटन सिद्धांत देता है (इसके लिए पहले प्रकार के इस परिणाम के लिए देखें[14])।

सार्वजनिक सन्निकटन सिद्धांत (समान गैर-एफ़ाइन सक्रियण, विविध डेप्थ, परिपरिमित विस्तार). को के एक संकुचित उपसमुच्चय माना जाता है। कोई ऐसा गैर-एफ़ाइन सतत फलन है जो कम से कम एक बिंदु पर सतत विभिन्नता वाला है, उस बिंदु पर उसका विभिन्नता शून्य नहीं है। को निविष्ट न्यूरॉन, आउटपुट न्यूरॉन, और हर एक छुपे हुए न्यूरॉन के साथ न्यूरॉन होने वाले हर सामान्य छुपे हुए न्यूरॉन को सक्रियण और प्रत्येक आउटपुट न्यूरॉन को उसके सक्रियण के रूप में पहचानकारी फलन रखकर पूर्ण फ़ीड-फ़ॉरवर्ड न्यूरल संजाल की जगह है, जिसमें निविष्ट श्रेणी और आउटपुट श्रेणी होती है। तो किसी भी और किसी भी के लिए, ऐसा मौजूद होता है जिसके लिए

दूसरे शब्दों में, एकार्थिक संघटन की एकार्थिक गैर-संघटन की श्रेणी के आगामी में घने समूह में है के संदर्भ में, समरूप संघटन की श्रेणी के साथ।

मात्रात्मक सुधार: को सटीकता के लिए आवश्यक परिमाण की श्रेणी और प्रत्येक श्रेणी की विस्तार प्राप्त होती है;[19] और, परिणाम और को किसी भी नॉन-सकारात्मक रिमानियन मैनिफ़ोल्ड के साथ परिवर्तन पर भी सत्य है।

विविध डेप्थ प्रकरण के लिए कुछ आवश्यक उपबंध प्रस्तावित किए गए हैं, परंतु ज्ञात प्रस्तावित और आवश्यक उपबंधों के बीच अब भी एक अंतर है।[16][17][40]

परिबद्ध डेप्थ और परिबद्ध विस्तार प्रकर्ण

मैयोरोव और पिंकस द्वारा किये गए एक सन्निकटन में पहली बार ऐसे परिणामों को प्राप्त किया गया जिसमे परिमित स्तरों के साथ साथ न्यूरल नेटवर्क के प्राकृतिक न्यूरॉनों की सीमा के सापेक्ष, न्यूरल नेटवर्क के अनुमान की क्षमता भी थी।[24]उनके उल्लेखनीय परिणाम से पता चला कि ऐसे नेटवर्क सार्वभौमिक अनुमानक हो सकते हैं और इस गुण को प्राप्त करने के लिए दो छिपे हुए स्तर पर्याप्त हैं।

सार्वभौमिक सन्निकटन प्रमेय:[24] ऐसा एक सक्रियण फलन होता है जो विश्लेषणात्मक, वृद्धि करने वाला, और सिग्मॉयडल होता है, और उसके निम्नलिखित गुणधर्म होतें है: किसी भी और के लिए ऐसे संख्याओं , और सदिश होते हैं, जिनके लिए निम्नलिखित गुणधर्म होते हैं:

सभी के लिए उपयुक्त प्रमेय सत्य है।

यह एक अस्तित्व परिणाम है। इसमें कहा गया है कि परिमित डेप्थ और परिमित विस्तार वाले नेटवर्क के लिए सार्वभौमिक सन्निकटन गुण प्रदान करने वाले सक्रियण फलन उपलब्ध हैं। कुछ विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने संख्यात्मक मापदंड के आधार पर कुशलतापूर्वक ऐसे सक्रियण फलनों का निर्माण किया। विकसित विधिकलन किसी को वास्तविक अक्ष के किसी भी बिंदु पर सक्रियण फलनों की क्षणिक गणना करने की अनुमति देता है।[25] सैद्धांतिक परिणाम निम्नानुसार तैयार किया जा सकता है।

सार्वभौमिक सन्निकटन प्रमेय:[25][26] मान लीजिए वास्तविक रेखा का एक परिमित खंड है, और कोई भी धनात्मक संख्या हो। फिर कोई विधिकलनात्मक रूप से एक गणना योग्य सिग्मोइडल सक्रियण फलन का निर्माण कर सकता है , जो असीम रूप से भिन्न है, , - पर निरंतर वर्धमान है, तथा निम्नलिखित गुणों को संतुष्ट करता है:

1) किसी भी और के लिए, ऐसे संख्याएँ , और उपलब्ध होती हैं कि सभी के लिए निम्नलिखित समीकरण पर लागू होता है:

2) -आयामी संख्या पर किसी भी सतत फलन के लिए और , , , और स्थिरांक उपलब्ध हैं।

सभी के लिए धारण करता है। यहां भार , , इस प्रकार तय किए गए हैं:
इसके अतिरिक्त, एक को छोड़कर सभी गुणांक समान हैं।

" is - किसी समुच्चय पर निरंतर वर्धमान है” का तात्पर्य है कि किसी समुच्चय पर ऐसा कोई वृद्धि करने वाला सक्रियण फलन है जिसके लिए सभी के लिए होता है। स्पष्ट है कि एक -वृद्धि करने वाला सक्रियण फलन छोटे होते हुए के साथ एक सामान्य रूप से वृद्धि फलन की तरह व्यवहार करता है।

"डेप्थ-विस्तार शब्दों के संदर्भ में, उपर्युक्त सिद्धांत कहता है कि कुछ सक्रियण फलनों के लिए डेप्थ- विस्तार- नेटवर्क एक वारिमाणिक फलन के लिए सार्वभौमिक सन्निकटक होते हैं, और डेप्थ- विस्तार- नेटवर्क -परमीय फलनों के लिए () सार्वभौमिक सन्निकटक होते हैं।

आरेख निविष्ट

आरेख पर (या आरेख समरूपता पर) उपयोगी सार्वभौमिक फलन सन्निकटन प्राप्त करना एक लंबे समय से चली आ रही समस्या रही है। लोकप्रिय आरेख संवलन न्यूरल नेटवर्क (जीसीएन या जीएनएन) को वेइस्फिलर-लेमन आरेख समरूपता परीक्षण के रूप में विभेदक बनाया जा सकता है।[41] 2020 में,[42] एक सार्वभौमिक सन्निकटन प्रमेय परिणाम ब्रुएल-गेब्रियलसन द्वारा स्थापित किया गया था, जिसमें प्रदर्शित किया गया था कि कुछ विशेषण गुणों के साथ आरेख प्रतिनिधित्व, परिमित आरेख पर सार्वभौमिक फलन सन्निकटन और अपरिमित आरेख पर प्रतिबंधित सार्वभौमिक फलन सन्निकटन के लिए पर्याप्त है, साथ में #भुजा#शीर्ष-रनटाइम विधि जो मापदंड पर अत्याधुनिक प्रदर्शन करती है।

यह भी देखें

  • कोलमोगोरोव-अर्नोल्ड प्रतिनिधित्व प्रमेय
  • प्रतिनिधि प्रमेय
  • कोई निःशुल्क लंच प्रमेय नहीं
  • स्टोन-वीयरस्ट्रैस प्रमेय
  • फोरियर श्रेणी

संदर्भ

  1. 1.0 1.1 Hornik, Kurt; Stinchcombe, Maxwell; White, Halbert (1989). मल्टीलेयर फीडफॉरवर्ड नेटवर्क यूनिवर्सल एप्रोक्सिमेटर्स हैं (PDF). Neural Networks. Vol. 2. Pergamon Press. pp. 359–366.
  2. Balázs Csanád Csáji (2001) Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary
  3. Kratsios, Anastasis; Bilokopytov, Eugene (2020). गैर-यूक्लिडियन सार्वभौमिक सन्निकटन (PDF). Advances in Neural Information Processing Systems. Vol. 33. Curran Associates.
  4. Zhou, Ding-Xuan (2020). "गहरे दृढ़ तंत्रिका नेटवर्क की सार्वभौमिकता". Applied and Computational Harmonic Analysis. 48 (2): 787–794. arXiv:1805.10769. doi:10.1016/j.acha.2019.06.004. S2CID 44113176.
  5. Heinecke, Andreas; Ho, Jinn; Hwang, Wen-Liang (2020). "विरल रूप से जुड़े ReLU कन्वोल्यूशन नेट के माध्यम से शोधन और सार्वभौमिक अनुमोदन". IEEE Signal Processing Letters. 27: 1175–1179. Bibcode:2020ISPL...27.1175H. doi:10.1109/LSP.2020.3005051. S2CID 220669183.
  6. Park, J.; Sandberg, I. W. (1991). "रेडियल-बेस-फ़ंक्शन नेटवर्क का उपयोग करके सार्वभौमिक सन्निकटन". Neural Computation. 3 (2): 246–257. doi:10.1162/neco.1991.3.2.246. PMID 31167308. S2CID 34868087.
  7. Yarotsky, Dmitry (2021). "तंत्रिका नेटवर्क द्वारा अपरिवर्तनीय मानचित्रों का सार्वभौमिक अनुमान". Constructive Approximation. 55: 407–474. arXiv:1804.10306. doi:10.1007/s00365-021-09546-1. S2CID 13745401.
  8. Zakwan, Muhammad; d’Angelo, Massimiliano; Ferrari-Trecate, Giancarlo (2023). "हैमिल्टनियन डीप न्यूरल नेटवर्क्स की सार्वभौमिक सन्निकटन संपत्ति". IEEE Control Systems Letters. 7: 2689–2694. arXiv:2303.12147. doi:10.1109/LCSYS.2023.3288350. ISSN 2475-1456. S2CID 257663609.
  9. 9.0 9.1 Cybenko, G. (1989). "सिग्मोइडल फ़ंक्शन के सुपरपोज़िशन द्वारा सन्निकटन". Mathematics of Control, Signals, and Systems. 2 (4): 303–314. CiteSeerX 10.1.1.441.7873. doi:10.1007/BF02551274. S2CID 3958369.
  10. 10.0 10.1 Hornik, Kurt (1991). "मल्टीलेयर फीडफॉरवर्ड नेटवर्क की अनुमानित क्षमताएं". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-T. S2CID 7343126.
  11. 11.0 11.1 Leshno, Moshe; Lin, Vladimir Ya.; Pinkus, Allan; Schocken, Shimon (January 1993). "गैर-बहुपद सक्रियण फ़ंक्शन वाले बहुपरत फ़ीडफ़ॉरवर्ड नेटवर्क किसी भी फ़ंक्शन का अनुमान लगा सकते हैं". Neural Networks. 6 (6): 861–867. doi:10.1016/S0893-6080(05)80131-5. S2CID 206089312.
  12. 12.0 12.1 12.2 Pinkus, Allan (January 1999). "तंत्रिका नेटवर्क में एमएलपी मॉडल का सन्निकटन सिद्धांत". Acta Numerica. 8: 143–195. Bibcode:1999AcNum...8..143P. doi:10.1017/S0962492900002919. S2CID 16800260.
  13. Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (January 2022). "चौड़ाई और गहराई के संदर्भ में ReLU नेटवर्क की इष्टतम सन्निकटन दर". Journal de Mathématiques Pures et Appliquées (in English). 157: 101–135. doi:10.1016/j.matpur.2021.07.009. S2CID 232075797.
  14. 14.0 14.1 Gripenberg, Gustaf (June 2003). "प्रत्येक स्तर पर नोड्स की एक सीमित संख्या के साथ तंत्रिका नेटवर्क द्वारा अनुमान". Journal of Approximation Theory. 122 (2): 260–266. doi:10.1016/S0021-9045(03)00078-9.
  15. Yarotsky, Dmitry (2016-10-03). गहरे ReLU नेटवर्क के साथ सन्निकटन के लिए त्रुटि सीमाएं. OCLC 1106247665.
  16. 16.0 16.1 16.2 16.3 Lu, Zhou; Pu, Homgming; Wang, Feicheng; Hu, Zhiqiang; Wang, Liwei (2017). "The Expressive Power of Neural Networks: A View from the Width". Advances in Neural Information Processing Systems. Curran Associates. 30: 6231–6239. arXiv:1709.02540.
  17. 17.0 17.1 Hanin, Boris; Sellke, Mark (2018). "न्यूनतम चौड़ाई के ReLU नेट द्वारा सतत कार्यों का अनुमान लगाना". arXiv:1710.11278 [stat.ML].
  18. 18.0 18.1 18.2 18.3 Kidger, Patrick; Lyons, Terry (July 2020). गहरे संकीर्ण नेटवर्क के साथ सार्वभौमिक सन्निकटन. Conference on Learning Theory. arXiv:1905.08539.
  19. 19.0 19.1 Kratsios, Anastasis; Papon, Léonie (2022). "विभेदक ज्यामितीय गहन शिक्षण के लिए सार्वभौमिक सन्निकटन प्रमेय". Journal of Machine Learning Research. 23 (196): 1–73. arXiv:2101.05390. ISSN 1533-7928.
  20. Park, Sejun; Yun, Chulhee; Lee, Jaeho; Shin, Jinwoo (2021). सार्वभौमिक सन्निकटन के लिए न्यूनतम चौड़ाई. International Conference on Learning Representations. arXiv:2006.08859.
  21. Tabuada, Paulo; Gharesifard, Bahman (2021). अरेखीय नियंत्रण सिद्धांत के माध्यम से गहरे अवशिष्ट तंत्रिका नेटवर्क की सार्वभौमिक सन्निकटन शक्ति. International Conference on Learning Representations. arXiv:2007.06007.
  22. Tabuada, Paulo; Gharesifard, Bahman (2023). "नियंत्रण के लेंस के माध्यम से गहरे अवशिष्ट तंत्रिका नेटवर्क की सार्वभौमिक अनुमान शक्ति". IEEE Transactions on Automatic Control. 68 (5): 2715–2728. doi:10.1109/TAC.2022.3190051. ISSN 1558-2523. S2CID 250512115.
  23. 23.0 23.1 Cai, Yongqiang (2023-02-01). "सार्वभौमिक सन्निकटन के लिए तंत्रिका नेटवर्क की न्यूनतम चौड़ाई प्राप्त करें". ICLR (in English). arXiv:2209.11395.
  24. 24.0 24.1 24.2 Maiorov, Vitaly; Pinkus, Allan (April 1999). "एमएलपी तंत्रिका नेटवर्क द्वारा सन्निकटन के लिए निचली सीमाएं". Neurocomputing. 25 (1–3): 81–91. doi:10.1016/S0925-2312(98)00111-8.
  25. 25.0 25.1 25.2 Guliyev, Namig; Ismailov, Vugar (November 2018). "निश्चित भार के साथ दो छिपे हुए परत फीडफॉरवर्ड तंत्रिका नेटवर्क की अनुमानित क्षमता". Neurocomputing. 316: 262–269. arXiv:2101.09181. doi:10.1016/j.neucom.2018.07.075. S2CID 52285996.
  26. 26.0 26.1 Guliyev, Namig; Ismailov, Vugar (February 2018). "निश्चित भार के साथ एकल छिपी हुई परत फीडफॉरवर्ड तंत्रिका नेटवर्क द्वारा सन्निकटन पर". Neural Networks. 98: 296–304. arXiv:1708.06219. doi:10.1016/j.neunet.2017.12.007. PMID 29301110. S2CID 4932839.
  27. Baader, Maximilian; Mirman, Matthew; Vechev, Martin (2020). प्रमाणित नेटवर्क के साथ सार्वभौमिक अनुमोदन. ICLR.
  28. Gelenbe, Erol; Mao, Zhi Hong; Li, Yan D. (1999). "नुकीले यादृच्छिक नेटवर्क के साथ फ़ंक्शन सन्निकटन". IEEE Transactions on Neural Networks. 10 (1): 3–9. doi:10.1109/72.737488. PMID 18252498.
  29. Lin, Hongzhou; Jegelka, Stefanie (2018). एक-न्यूरॉन छुपी परतों वाला ResNet एक सार्वभौमिक अनुमानक है. Advances in Neural Information Processing Systems. Vol. 30. Curran Associates. pp. 6169–6178.
  30. Funahashi, Ken-Ichi (1989-01-01). "तंत्रिका नेटवर्क द्वारा निरंतर मैपिंग की अनुमानित प्राप्ति पर". Neural Networks (in English). 2 (3): 183–192. doi:10.1016/0893-6080(89)90003-8. ISSN 0893-6080.
  31. 31.0 31.1 Hornik, Kurt; Stinchcombe, Maxwell; White, Halbert (1989-01-01). "मल्टीलेयर फीडफॉरवर्ड नेटवर्क सार्वभौमिक सन्निकटनकर्ता हैं". Neural Networks (in English). 2 (5): 359–366. doi:10.1016/0893-6080(89)90020-8. ISSN 0893-6080. S2CID 2757547.
  32. Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation, Volume 2, Prentice Hall. ISBN 0-13-273350-1.
  33. Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48
  34. Hanin, B. (2018). Approximating Continuous Functions by ReLU Nets of Minimal Width. arXiv preprint arXiv:1710.11278.
  35. Park, Yun, Lee, Shin, Sejun, Chulhee, Jaeho, Jinwoo (2020-09-28). "सार्वभौमिक सन्निकटन के लिए न्यूनतम चौड़ाई". ICLR (in English). arXiv:2006.08859.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  36. Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (2022-01-01). "Optimal approximation rate of ReLU networks in terms of width and depth". Journal de Mathématiques Pures et Appliquées (in English). 157: 101–135. arXiv:2103.00502. doi:10.1016/j.matpur.2021.07.009. ISSN 0021-7824. S2CID 232075797.
  37. Lu, Jianfeng; Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (2021-01-01). "Deep Network Approximation for Smooth Functions". SIAM Journal on Mathematical Analysis. 53 (5): 5465–5506. arXiv:2001.03040. doi:10.1137/20M134695X. ISSN 0036-1410. S2CID 210116459.
  38. Juditsky, Anatoli B.; Lepski, Oleg V.; Tsybakov, Alexandre B. (2009-06-01). "Nonparametric estimation of composite functions". The Annals of Statistics. 37 (3). doi:10.1214/08-aos611. ISSN 0090-5364. S2CID 2471890.
  39. Poggio, Tomaso; Mhaskar, Hrushikesh; Rosasco, Lorenzo; Miranda, Brando; Liao, Qianli (2017-03-14). "Why and when can deep-but not shallow-networks avoid the curse of dimensionality: A review". International Journal of Automation and Computing. 14 (5): 503–519. doi:10.1007/s11633-017-1054-2. ISSN 1476-8186. S2CID 15562587.
  40. Johnson, Jesse (2019). Deep, Skinny Neural Networks are not Universal Approximators. International Conference on Learning Representations.
  41. Xu, Keyulu; Hu, Weihua; Leskovec, Jure; Jegelka, Stefanie (2019). How Powerful are Graph Neural Networks?. International Conference on Learning Representations.
  42. Brüel-Gabrielsson, Rickard (2020). ग्राफ़ पर सार्वभौमिक फ़ंक्शन सन्निकटन. Advances in Neural Information Processing Systems. Vol. 33. Curran Associates.