सार्वभौमिक सन्निकटन प्रमेय

From Vigyanwiki

गणित के कृत्रिम तंत्रिका नेटवर्क सिद्धांत में, सार्वभौमिक सन्निकटन प्रमेय वे परिणाम हैं[1][2] जो सूचित करते हैं कि तंत्रिका नेटवर्क सैद्धान्तिक रूप से क्या सीख सकते हैं अर्थात ये प्रमेय उन एक दिए गए फलन समष्टि के भीतर एक विधिकलनात्मक रूप से उत्पन्न फलन वर्ग के घन समुच्चय को स्थापित करते हैं। सामान्यतः, ये परिणाम दो यूक्लिडियन समष्टियों के बीच सतत फलनों के स्थान पर फीडफॉरवर्ड न्यूरल नेटवर्क की सन्निकटन क्षमताओं सन्निकटन सघन अभिसरण सांस्थिति से संबंधित हैं।

यद्यपि, गैर-यूक्लिडियन समष्टियों के बीच भी विभिन्न प्रकार के परिणाम हैं[3] और अन्य सामान्यतः उपयोग किए जाने वाले संरचना और, अधिक सामान्यतः, विधिकलन द्वारा उत्पन्न फलनों के समुच्चय, जैसे संवलन तंत्रिका नेटवर्क (सीएनएन) संरचना,[4][5] त्रिज्यीय आधार फलन,[6] या विशिष्ट गुणों वाले तंत्रिका नेटवर्क आदि।[7][8] अधिकांश सार्वभौमिक सन्निकटन प्रमेयों को दो वर्गों में विभाजित किया जा सकता है। पहला कृत्रिम तंत्रिकाओं की एक यादृच्छिक संख्या के साथ तंत्रिका नेटवर्क की अनुमानित क्षमताओं को निर्धारित करता है और दूसरा छिपी हुई परतों की एक यादृच्छिक संख्या के साथ विषय पर ध्यान केंद्रित करता है, प्रत्येक वर्ग में सीमित संख्या में कृत्रिम तंत्रिकाएँ होती है। इन दो वर्गों के अतिरिक्त, तंत्रिका नेटवर्क के लिए छिपी हुई परतों की सीमित संख्या और प्रत्येक परत में सीमित संख्या में तंत्रिकाओं के साथ सार्वभौमिक सन्निकटन प्रमेय भी सम्मिलित हैं।

सार्वभौमिक सन्निकटन प्रमेय का अर्थ है कि उचित भार दिए जाने पर तंत्रिका नेटवर्क विभिन्न प्रकार के रोचक कार्यों का प्रतिनिधित्व कर सकते हैं। दूसरी ओर, वे सामान्यतः भार के लिए कोई निर्माण प्रदान नहीं करते हैं, बल्कि केवल यह बताते हैं कि ऐसा निर्माण संभव है।

इतिहास

सिग्मॉइड फलन, सक्रियण फलनों के लिए यादृच्छिक चौड़ाई परप्रेक्ष्य के पहले संस्करणों में से एक जॉर्ज साइबेंको द्वारा 1989 में सिद्ध किया गया था।[9] कूरट हॉर्निक [डे], मैक्सवेल स्टिंचकॉम्ब और हेल्बर्ट व्हाइट ने 1989 में दिखाया कि कम से कम एक छिपी हुई परत वाले बहुपरत फ़ीड-फ़ॉरवर्ड नेटवर्क सार्वभौमिक सन्निकटन हैं।[1]हॉर्निक ने 1991 में भी दिखाया था[10] यह सक्रियण फ़ंक्शन का विशिष्ट विकल्प नहीं है, बल्कि मल्टीलेयर फ़ीड-फ़ॉरवर्ड संरचना ही है जो तंत्रिका नेटवर्क को सार्वभौमिक सन्निकटनकर्ता होने की क्षमता देता है। 1993 में मोशे लेश्नो एट अल[11] और बाद में 1999 में एलन पिंकस[12] दिखाया गया कि सार्वभौमिक सन्निकटन गुण एक गैर-बहुपद सक्रियण फ़ंक्शन के बराबर है। 2022 में, शेन ज़ुओवेई, हाइझाओ यांग और शिजुन झांग[13] गहरे और विस्तृत ReLU तंत्रिका नेटवर्क द्वारा लक्ष्य फ़ंक्शन का अनुमान लगाने के लिए आवश्यक गहराई और चौड़ाई पर सटीक मात्रात्मक जानकारी प्राप्त की गई।

मनमानी गहराई के मामले का अध्ययन 2003 में गुस्ताफ ग्रिपेनबर्ग जैसे कई लेखकों द्वारा भी किया गया था,[14] दिमित्री यारोत्स्की,[15] 2017 में झोउ लू एट अल,[16] 2018 में बोरिस हैनिन और मार्क सेल्के[17] जिन्होंने ReLU सक्रियण फ़ंक्शन के साथ तंत्रिका नेटवर्क पर ध्यान केंद्रित किया। 2020 में, पैट्रिक किडगर और टेरी लियोन्स[18] उन परिणामों को सामान्य सक्रियण कार्यों के साथ तंत्रिका नेटवर्क तक विस्तारित किया गया, जैसे टैन, जीएलयू, या स्विश, और 2022 में, उनके परिणाम को लियोनी पापोन और अनास्तासिस क्रैटसियोस द्वारा मात्रात्मक बनाया गया था[19] जिन्होंने लक्ष्य फ़ंक्शन और सक्रियण फ़ंक्शन की नियमितता के आधार पर स्पष्ट गहराई का अनुमान लगाया।

सार्वभौमिकता के लिए न्यूनतम संभावित चौड़ाई के प्रश्न का पहली बार 2021 में अध्ययन किया गया था, पार्क एट अल ने एलपी स्पेस के सार्वभौमिक सन्निकटन के लिए आवश्यक न्यूनतम चौड़ाई प्राप्त की|एलपी सक्रियण कार्यों के रूप में रेक्टिफायर (तंत्रिका नेटवर्क) के साथ फीडफॉरवर्ड न्यूरल नेटवर्क का उपयोग करके कार्य करता है।[20] इसी तरह के परिणाम जो सीधे अवशिष्ट तंत्रिका नेटवर्क पर लागू किए जा सकते हैं, उसी वर्ष नियंत्रण सिद्धांत | नियंत्रण-सैद्धांतिक तर्कों का उपयोग करके पाउलो तबुआडा और बहमन घरेसिफ़र्ड द्वारा भी प्राप्त किए गए थे।[21][22] 2023 में, सी.ए.आई [23] सार्वभौमिक सन्निकटन के लिए बाध्य इष्टतम न्यूनतम चौड़ाई प्राप्त की।

बंधी हुई गहराई और बंधी हुई चौड़ाई के मामले का अध्ययन पहली बार 1999 में मायोरोव और पिंकस द्वारा किया गया था।[24] उन्होंने दिखाया कि एक विश्लेषणात्मक सिग्मोइडल सक्रियण फ़ंक्शन मौजूद है जैसे कि छिपी हुई परतों में इकाइयों की सीमित संख्या वाले दो छिपे हुए परत तंत्रिका नेटवर्क सार्वभौमिक सन्निकटन हैं। विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने एक चिकनी सिग्मॉइडल सक्रियण फ़ंक्शन का निर्माण किया, जो छिपी हुई परतों में कम इकाइयों के साथ दो छिपी हुई परत फीडफॉरवर्ड न्यूरल नेटवर्क के लिए सार्वभौमिक सन्निकटन संपत्ति प्रदान करता है।[25] यह 2018 के पेपर में रचनात्मक रूप से साबित हुआ था[26] सीमित चौड़ाई वाले एकल छिपे हुए परत नेटवर्क अभी भी अविभाज्य कार्यों के लिए सार्वभौमिक सन्निकटन हैं, लेकिन यह गुण अब बहुपरिवर्तनीय कार्यों के लिए सत्य नहीं है।

प्रमेय के कई विस्तार मौजूद हैं, जैसे असंतत सक्रियण कार्य,[11]नॉनकॉम्पैक्ट डोमेन,[18]प्रमाणित नेटवर्क,[27] यादृच्छिक तंत्रिका नेटवर्क,[28] और वैकल्पिक नेटवर्क संरचना और टोपोलॉजी।[18][29]


मनमानी-चौड़ाई का मामला

1980-1990 के दशक में जॉर्ज साइबेंको और के पत्रों की बाढ़ आ गई Kurt Hornik [de] आदि ने मनमानी चौड़ाई और सीमित गहराई के लिए कई सार्वभौमिक सन्निकटन प्रमेय स्थापित किए।[30][9][31][10]देखना [32][33][12]समीक्षा के लिए. निम्नलिखित को सबसे अधिक बार उद्धृत किया गया है:

Universal approximation theorem — Let denote the set of continuous functions from a subset of a Euclidean space to a Euclidean space . Let . Note that , so denotes applied to each component of .

Then is not polynomial if and only if for every , , compact , there exist , , , such that

where

इस तरह के एक पहली परत के लिए समान निर्माण का उपयोग करके और बाद की परतों के साथ पहचान फ़ंक्शन का अनुमान लगाकर अधिक गहराई के नेटवर्क द्वारा भी अनुमान लगाया जा सकता है।

Proof sketch

It suffices to prove the case where , since uniform convergence in is just uniform convergence in each coordinate.

Let be the set of all one-hidden-layer neural networks constructed with . Let be the set of all with compact support.

If the function is a polynomial of degree , then is contained in the closed subspace of all polynomials of degree , so its closure is also contained in it, which is not all of .

Otherwise, we show that 's closure is all of . Suppose we can construct arbitrarily good approximations of the ramp function then it can be combined to construct arbitrary compactly-supported continuous function to arbitrary precision. It remains to approximate the ramp function.

Any of the commonly used activation functions used in machine learning can obviously be used to approximate the ramp function, or first approximate the ReLU, then the ramp function.

if is "squashing", that is, it has limits , then one can first affinely scale down its x-axis so that its graph looks like a step-function with two sharp "overshoots", then make a linear sum of enough of them to make a "staircase" approximation of the ramp function. With more steps of the staircase, the overshoots smooth out and we get arbitrarily good approximation of the ramp function.

The case where is a generic non-polynomial function is harder, and the reader is directed to.[12]

छिपी हुई परतों के आउटपुट को एक साथ गुणा करने की अनुमति देकर बहुपद के साथ समस्या को दूर किया जा सकता है (पीआई-सिग्मा नेटवर्क), जिससे सामान्यीकरण प्राप्त होता है:[31]

Universal approximation theorem for pi-sigma networks — With any nonconstant activation function, a one-hidden-layer pi-sigma network is a universal approximator.

मनमाना-गहराई वाला मामला

प्रमेय के 'दोहरे' संस्करण सीमित चौड़ाई और मनमानी गहराई के नेटवर्क पर विचार करते हैं। झोउ लू एट अल द्वारा मनमानी गहराई के मामले के लिए सार्वभौमिक सन्निकटन प्रमेय का एक प्रकार सिद्ध किया गया था। 2017 में.[16] उन्होंने दिखाया कि ReLU सक्रियण कार्यों के साथ चौड़ाई n+4 के नेटवर्क L1 दूरी के संबंध में n-आयामी इनपुट स्थान पर किसी भी Lebesgue एकीकरण का अनुमान लगा सकते हैं| यदि नेटवर्क की गहराई बढ़ने दी जाए तो दूरी। यह भी दिखाया गया कि यदि चौड़ाई n से कम या उसके बराबर थी, तो किसी भी लेबेस्ग इंटीग्रेबल फ़ंक्शन का अनुमान लगाने की यह सामान्य अभिव्यंजक शक्ति खो गई थी। उसी अखबार में[16]यह दिखाया गया कि चौड़ाई n+1 वाले ReLU नेटवर्क n-आयामी इनपुट चर के किसी भी सतत फ़ंक्शन फ़ंक्शन को अनुमानित करने के लिए पर्याप्त थे।[34] निम्नलिखित परिशोधन, इष्टतम न्यूनतम चौड़ाई निर्दिष्ट करता है जिसके लिए ऐसा अनुमान संभव है और इसके कारण है।[35] <ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय (L1 दूरी, ReLU सक्रियण, मनमानी गहराई, न्यूनतम चौड़ाई)। किसी भी Bochner इंटीग्रल के लिए|Bochner–Lebesgue p-इंटीग्रेबल फ़ंक्शन और कोई भी , एक पूरी तरह पूरी तरह से जुड़ा हुआ नेटवर्क मौजूद है|पूरी तरह से कनेक्टेड ReLU नेटवर्क बिलकुल चौड़ाई का , संतुष्टि देने वाला

.

इसके अलावा, एक फ़ंक्शन मौजूद है और कुछ , जिसके लिए कोई पूरी तरह से कनेक्टेड नेटवर्क नहीं है|से कम चौड़ाई का पूरी तरह से कनेक्टेड ReLU नेटवर्क है उपरोक्त सन्निकटन सीमा को संतुष्ट करना।

टिप्पणी: यदि सक्रियण को लीकी-रेएलयू द्वारा प्रतिस्थापित किया जाता है, और इनपुट एक कॉम्पैक्ट डोमेन में प्रतिबंधित है, तो सटीक न्यूनतम चौड़ाई है [23] .

मात्रात्मक शोधन: मामले में कहाँ, कब और और कहाँ रेक्टिफायर (तंत्रिका नेटवर्क) है तो, एक ReLU नेटवर्क को प्राप्त करने के लिए सटीक गहराई और चौड़ाई त्रुटि भी ज्ञात है.[36] यदि, इसके अलावा, लक्ष्य फ़ंक्शन चिकनी है तो परतों की आवश्यक संख्या और उनकी चौड़ाई तेजी से छोटी हो सकती है।[37] भले ही सहज नहीं है, यदि आयामीता का अभिशाप तोड़ा जा सकता है अतिरिक्त रचनात्मक संरचना को स्वीकार करता है।[38][39] </ब्लॉककोट>

साथ में, का केंद्रीय परिणाम [18]सीमित चौड़ाई वाले नेटवर्क के लिए निम्नलिखित सार्वभौमिक सन्निकटन प्रमेय उत्पन्न होता है (सीएफ भी)। [14]इस तरह के पहले परिणाम के लिए)।

<ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय (समान गैर-एफ़िन परिवर्तन सक्रियण, मनमाना गहन शिक्षण, बाधित चौड़ाई)। होने देना का एक कॉम्पैक्ट सेट बनें . होने देना कोई भी गैर-एफ़िन परिवर्तन सतत फ़ंक्शन फ़ंक्शन हो जो कि कम से कम एक बिंदु पर अवकलनीय फ़ंक्शन#डिफ़रेंशियाबिलिटी वर्ग हो, उस बिंदु पर गैर-शून्य व्युत्पन्न हो। होने देना फ़ीड-फ़ॉरवर्ड तंत्रिका नेटवर्क के स्थान को निरूपित करें इनपुट न्यूरॉन्स, आउटपुट न्यूरॉन्स, और प्रत्येक के साथ छिपी हुई परतों की एक मनमानी संख्या न्यूरॉन्स, जैसे कि प्रत्येक छिपे हुए न्यूरॉन में सक्रियण कार्य होता है और प्रत्येक आउटपुट न्यूरॉन में इनपुट परत के साथ सक्रियण फ़ंक्शन के रूप में पहचान फ़ंक्शन होता है , और आउटपुट परत . फिर कोई भी दिया और कोई भी , वहां मौजूद ऐसा है कि

दूसरे शब्दों में, घना सेट है एकसमान अभिसरण की टोपोलॉजी के संबंध में।

मात्रात्मक शोधन: परतों की संख्या और प्रत्येक परत की चौड़ाई लगभग f के लिए आवश्यक है परिशुद्धता ज्ञात;[19]इसके अलावा, परिणाम तब सत्य होता है और किसी भी गैर-सकारात्मक रूप से घुमावदार रीमैनियन मैनिफोल्ड के साथ प्रतिस्थापित किया जाता है। </ब्लॉककोट>

बंधी हुई चौड़ाई, मनमानी गहराई के मामले के लिए कुछ आवश्यक शर्तें स्थापित की गई हैं, लेकिन ज्ञात पर्याप्त और आवश्यक शर्तों के बीच अभी भी एक अंतर है।[16][17][40]


बंधी हुई गहराई और बंधी हुई चौड़ाई का मामला

परतों की सीमित संख्या के साथ तंत्रिका नेटवर्क की अनुमानित क्षमताओं पर पहला परिणाम, प्रत्येक में सीमित संख्या में कृत्रिम न्यूरॉन्स होते हैं, मायोरोव और पिंकस द्वारा प्राप्त किया गया था।[24]उनके उल्लेखनीय परिणाम से पता चला कि ऐसे नेटवर्क सार्वभौमिक अनुमानक हो सकते हैं और इस संपत्ति को प्राप्त करने के लिए दो छिपी हुई परतें पर्याप्त हैं। <ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय:[24]एक सक्रियण फ़ंक्शन मौजूद है जो विश्लेषणात्मक है, सख्ती से बढ़ रहा है और सिग्मोइडल और निम्नलिखित संपत्ति है: किसी के लिए और वहाँ स्थिरांक मौजूद हैं , और वैक्टर जिसके लिए

<गणित प्रदर्शन='ब्लॉक'> \left\vert f(\mathbf{x})-\sum_{i=1}^{6d+3}d_{i}\sigma\left( \sum_{j=1}^{3d}c_{ij}\sigma(\mathbf{w}^{ij}\cdot \mathbf{x-}\theta _{ij})-\गामा _{i}\दाएं) \दाएं\vert <\varepsilon </math>

सभी के लिए गणित> \mathbf{x}=(x_{1},...,x_{d})\in [0,1]^{d}</math>. </ब्लॉककोट>

यह अस्तित्व का परिणाम है. इसमें कहा गया है कि सीमित गहराई और सीमित चौड़ाई वाले नेटवर्क के लिए सार्वभौमिक सन्निकटन संपत्ति प्रदान करने वाले सक्रियण फ़ंक्शन मौजूद हैं। कुछ विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने संख्यात्मक पैरामीटर के आधार पर कुशलतापूर्वक ऐसे सक्रियण कार्यों का निर्माण किया। विकसित एल्गोरिदम किसी को वास्तविक अक्ष के किसी भी बिंदु पर सक्रियण कार्यों की तुरंत गणना करने की अनुमति देता है। एल्गोरिदम और संबंधित कंप्यूटर कोड के लिए देखें।[25]सैद्धांतिक परिणाम निम्नानुसार तैयार किया जा सकता है। <ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय:[25][26]होने देना वास्तविक रेखा का एक परिमित खंड बनें, और कोई भी धनात्मक संख्या हो. फिर कोई एल्गोरिदमिक रूप से एक गणना योग्य सिग्मोइडल सक्रियण फ़ंक्शन का निर्माण कर सकता है , जो असीम रूप से भिन्न है, सख्ती से बढ़ रहा है , -सख्ती से बढ़ रहा है , और निम्नलिखित गुणों को संतुष्ट करता है:

1) किसी के लिए और वहाँ संख्याएँ मौजूद हैं और ऐसा कि सभी के लिए <गणित डिस्प्ले='ब्लॉक'> |f(x) - c_1 \sigma(x - \theta_1) - c_2 \sigma(x - \theta_2)| < \varepsilon</math>

2) किसी भी सतत कार्य के लिए गणित>एफ</गणित>पर गणित>डी</गणित>-आयामी बॉक्स और , वहाँ स्थिरांक मौजूद हैं , , और ऐसी कि असमानता <गणित प्रदर्शन='ब्लॉक'> \बाएँ| F(\mathbf{x}) - \sum_{p=1}^{2d+2} e_p \sigma \left( \sum_{q=1}^{d} c_{pq} \sigma(\mathbf{w }^{q} \cdot \mathbf{x} - \theta_{pq}) - \zeta_p \right) \right| < \varepsilon</math> सभी के लिए धारण करता है गणित>\mathbf{x} = (x_1, \ldots, x_d) \in [a, b]^{d}</math>. यहाँ वजन , , निम्नानुसार तय किए गए हैं: <गणित प्रदर्शन='ब्लॉक'> \mathbf{w}^{1} = (1, 0, \ldots, 0), \quad \mathbf{w}^{2} = (0, 1, \ldots, 0 ), \quad \ldots, \quad \mathbf{w}^{d} = (0, 0, \ldots, 1). </गणित> इसके अलावा, सभी गुणांक गणित>e_p</math>, एक को छोड़कर, बराबर हैं। </ब्लॉककोट>

यहाँ " है -कुछ सेट पर सख्ती से बढ़ोतरी हो रही है ” इसका मतलब है कि सख्ती से बढ़ता हुआ कार्य मौजूद है ऐसा है कि सभी के लिए . जाहिर है, ए -बढ़ता हुआ फलन सामान्य बढ़ते हुए फलन की तरह व्यवहार करता है छोटा हो जाता है. गहराई-चौड़ाई शब्दावली में, उपरोक्त प्रमेय कहता है कि कुछ सक्रियण कार्यों के लिए गहराई- चौड़ाई- नेटवर्क अविभाज्य कार्यों और गहराई के लिए सार्वभौमिक सन्निकटन हैं- चौड़ाई- नेटवर्क सार्वभौमिक सन्निकटन हैं -परिवर्तनीय कार्य ().

ग्राफ़ इनपुट

ग्राफ़ पर (या ग्राफ़ समरूपता पर) उपयोगी सार्वभौमिक फ़ंक्शन सन्निकटन प्राप्त करना एक लंबे समय से चली आ रही समस्या रही है। लोकप्रिय ग्राफ कन्वोल्यूशनल न्यूरल नेटवर्क (जीसीएन या जीएनएन) को वेइस्फिलर-लेमन ग्राफ समरूपता परीक्षण के रूप में भेदभावपूर्ण बनाया जा सकता है।[41] 2020 में,[42] एक सार्वभौमिक सन्निकटन प्रमेय परिणाम ब्रुएल-गेब्रियलसन द्वारा स्थापित किया गया था, जिसमें दिखाया गया था कि कुछ विशेषण गुणों के साथ ग्राफ़ प्रतिनिधित्व, सीमित ग्राफ़ पर सार्वभौमिक फ़ंक्शन सन्निकटन और असीमित ग्राफ़ पर प्रतिबंधित सार्वभौमिक फ़ंक्शन सन्निकटन के लिए पर्याप्त है, साथ में #किनारे#नोड्स-रनटाइम विधि जो बेंचमार्क के संग्रह पर अत्याधुनिक प्रदर्शन करती है।

यह भी देखें

  • कोलमोगोरोव-अर्नोल्ड प्रतिनिधित्व प्रमेय
  • प्रतिनिधि प्रमेय
  • कोई निःशुल्क लंच प्रमेय नहीं
  • स्टोन-वीयरस्ट्रैस प्रमेय
  • फोरियर श्रेणी

संदर्भ

  1. 1.0 1.1 Hornik, Kurt; Stinchcombe, Maxwell; White, Halbert (1989). मल्टीलेयर फीडफॉरवर्ड नेटवर्क यूनिवर्सल एप्रोक्सिमेटर्स हैं (PDF). Neural Networks. Vol. 2. Pergamon Press. pp. 359–366.
  2. Balázs Csanád Csáji (2001) Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary
  3. Kratsios, Anastasis; Bilokopytov, Eugene (2020). गैर-यूक्लिडियन सार्वभौमिक सन्निकटन (PDF). Advances in Neural Information Processing Systems. Vol. 33. Curran Associates.
  4. Zhou, Ding-Xuan (2020). "गहरे दृढ़ तंत्रिका नेटवर्क की सार्वभौमिकता". Applied and Computational Harmonic Analysis. 48 (2): 787–794. arXiv:1805.10769. doi:10.1016/j.acha.2019.06.004. S2CID 44113176.
  5. Heinecke, Andreas; Ho, Jinn; Hwang, Wen-Liang (2020). "विरल रूप से जुड़े ReLU कन्वोल्यूशन नेट के माध्यम से शोधन और सार्वभौमिक अनुमोदन". IEEE Signal Processing Letters. 27: 1175–1179. Bibcode:2020ISPL...27.1175H. doi:10.1109/LSP.2020.3005051. S2CID 220669183.
  6. Park, J.; Sandberg, I. W. (1991). "रेडियल-बेस-फ़ंक्शन नेटवर्क का उपयोग करके सार्वभौमिक सन्निकटन". Neural Computation. 3 (2): 246–257. doi:10.1162/neco.1991.3.2.246. PMID 31167308. S2CID 34868087.
  7. Yarotsky, Dmitry (2021). "तंत्रिका नेटवर्क द्वारा अपरिवर्तनीय मानचित्रों का सार्वभौमिक अनुमान". Constructive Approximation. 55: 407–474. arXiv:1804.10306. doi:10.1007/s00365-021-09546-1. S2CID 13745401.
  8. Zakwan, Muhammad; d’Angelo, Massimiliano; Ferrari-Trecate, Giancarlo (2023). "हैमिल्टनियन डीप न्यूरल नेटवर्क्स की सार्वभौमिक सन्निकटन संपत्ति". IEEE Control Systems Letters. 7: 2689–2694. arXiv:2303.12147. doi:10.1109/LCSYS.2023.3288350. ISSN 2475-1456. S2CID 257663609.
  9. 9.0 9.1 Cybenko, G. (1989). "सिग्मोइडल फ़ंक्शन के सुपरपोज़िशन द्वारा सन्निकटन". Mathematics of Control, Signals, and Systems. 2 (4): 303–314. CiteSeerX 10.1.1.441.7873. doi:10.1007/BF02551274. S2CID 3958369.
  10. 10.0 10.1 Hornik, Kurt (1991). "मल्टीलेयर फीडफॉरवर्ड नेटवर्क की अनुमानित क्षमताएं". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-T. S2CID 7343126.
  11. 11.0 11.1 Leshno, Moshe; Lin, Vladimir Ya.; Pinkus, Allan; Schocken, Shimon (January 1993). "गैर-बहुपद सक्रियण फ़ंक्शन वाले बहुपरत फ़ीडफ़ॉरवर्ड नेटवर्क किसी भी फ़ंक्शन का अनुमान लगा सकते हैं". Neural Networks. 6 (6): 861–867. doi:10.1016/S0893-6080(05)80131-5. S2CID 206089312.
  12. 12.0 12.1 12.2 Pinkus, Allan (January 1999). "तंत्रिका नेटवर्क में एमएलपी मॉडल का सन्निकटन सिद्धांत". Acta Numerica. 8: 143–195. Bibcode:1999AcNum...8..143P. doi:10.1017/S0962492900002919. S2CID 16800260.
  13. Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (January 2022). "चौड़ाई और गहराई के संदर्भ में ReLU नेटवर्क की इष्टतम सन्निकटन दर". Journal de Mathématiques Pures et Appliquées (in English). 157: 101–135. doi:10.1016/j.matpur.2021.07.009. S2CID 232075797.
  14. 14.0 14.1 Gripenberg, Gustaf (June 2003). "प्रत्येक स्तर पर नोड्स की एक सीमित संख्या के साथ तंत्रिका नेटवर्क द्वारा अनुमान". Journal of Approximation Theory. 122 (2): 260–266. doi:10.1016/S0021-9045(03)00078-9.
  15. Yarotsky, Dmitry (2016-10-03). गहरे ReLU नेटवर्क के साथ सन्निकटन के लिए त्रुटि सीमाएं. OCLC 1106247665.
  16. 16.0 16.1 16.2 16.3 Lu, Zhou; Pu, Homgming; Wang, Feicheng; Hu, Zhiqiang; Wang, Liwei (2017). "The Expressive Power of Neural Networks: A View from the Width". Advances in Neural Information Processing Systems. Curran Associates. 30: 6231–6239. arXiv:1709.02540.
  17. 17.0 17.1 Hanin, Boris; Sellke, Mark (2018). "न्यूनतम चौड़ाई के ReLU नेट द्वारा सतत कार्यों का अनुमान लगाना". arXiv:1710.11278 [stat.ML].
  18. 18.0 18.1 18.2 18.3 Kidger, Patrick; Lyons, Terry (July 2020). गहरे संकीर्ण नेटवर्क के साथ सार्वभौमिक सन्निकटन. Conference on Learning Theory. arXiv:1905.08539.
  19. 19.0 19.1 Kratsios, Anastasis; Papon, Léonie (2022). "विभेदक ज्यामितीय गहन शिक्षण के लिए सार्वभौमिक सन्निकटन प्रमेय". Journal of Machine Learning Research. 23 (196): 1–73. arXiv:2101.05390. ISSN 1533-7928.
  20. Park, Sejun; Yun, Chulhee; Lee, Jaeho; Shin, Jinwoo (2021). सार्वभौमिक सन्निकटन के लिए न्यूनतम चौड़ाई. International Conference on Learning Representations. arXiv:2006.08859.
  21. Tabuada, Paulo; Gharesifard, Bahman (2021). अरेखीय नियंत्रण सिद्धांत के माध्यम से गहरे अवशिष्ट तंत्रिका नेटवर्क की सार्वभौमिक सन्निकटन शक्ति. International Conference on Learning Representations. arXiv:2007.06007.
  22. Tabuada, Paulo; Gharesifard, Bahman (2023). "नियंत्रण के लेंस के माध्यम से गहरे अवशिष्ट तंत्रिका नेटवर्क की सार्वभौमिक अनुमान शक्ति". IEEE Transactions on Automatic Control. 68 (5): 2715–2728. doi:10.1109/TAC.2022.3190051. ISSN 1558-2523. S2CID 250512115.
  23. 23.0 23.1 Cai, Yongqiang (2023-02-01). "सार्वभौमिक सन्निकटन के लिए तंत्रिका नेटवर्क की न्यूनतम चौड़ाई प्राप्त करें". ICLR (in English). arXiv:2209.11395.
  24. 24.0 24.1 24.2 Maiorov, Vitaly; Pinkus, Allan (April 1999). "एमएलपी तंत्रिका नेटवर्क द्वारा सन्निकटन के लिए निचली सीमाएं". Neurocomputing. 25 (1–3): 81–91. doi:10.1016/S0925-2312(98)00111-8.
  25. 25.0 25.1 25.2 Guliyev, Namig; Ismailov, Vugar (November 2018). "निश्चित भार के साथ दो छिपे हुए परत फीडफॉरवर्ड तंत्रिका नेटवर्क की अनुमानित क्षमता". Neurocomputing. 316: 262–269. arXiv:2101.09181. doi:10.1016/j.neucom.2018.07.075. S2CID 52285996.
  26. 26.0 26.1 Guliyev, Namig; Ismailov, Vugar (February 2018). "निश्चित भार के साथ एकल छिपी हुई परत फीडफॉरवर्ड तंत्रिका नेटवर्क द्वारा सन्निकटन पर". Neural Networks. 98: 296–304. arXiv:1708.06219. doi:10.1016/j.neunet.2017.12.007. PMID 29301110. S2CID 4932839.
  27. Baader, Maximilian; Mirman, Matthew; Vechev, Martin (2020). प्रमाणित नेटवर्क के साथ सार्वभौमिक अनुमोदन. ICLR.
  28. Gelenbe, Erol; Mao, Zhi Hong; Li, Yan D. (1999). "नुकीले यादृच्छिक नेटवर्क के साथ फ़ंक्शन सन्निकटन". IEEE Transactions on Neural Networks. 10 (1): 3–9. doi:10.1109/72.737488. PMID 18252498.
  29. Lin, Hongzhou; Jegelka, Stefanie (2018). एक-न्यूरॉन छुपी परतों वाला ResNet एक सार्वभौमिक अनुमानक है. Advances in Neural Information Processing Systems. Vol. 30. Curran Associates. pp. 6169–6178.
  30. Funahashi, Ken-Ichi (1989-01-01). "तंत्रिका नेटवर्क द्वारा निरंतर मैपिंग की अनुमानित प्राप्ति पर". Neural Networks (in English). 2 (3): 183–192. doi:10.1016/0893-6080(89)90003-8. ISSN 0893-6080.
  31. 31.0 31.1 Hornik, Kurt; Stinchcombe, Maxwell; White, Halbert (1989-01-01). "मल्टीलेयर फीडफॉरवर्ड नेटवर्क सार्वभौमिक सन्निकटनकर्ता हैं". Neural Networks (in English). 2 (5): 359–366. doi:10.1016/0893-6080(89)90020-8. ISSN 0893-6080. S2CID 2757547.
  32. Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation, Volume 2, Prentice Hall. ISBN 0-13-273350-1.
  33. Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48
  34. Hanin, B. (2018). Approximating Continuous Functions by ReLU Nets of Minimal Width. arXiv preprint arXiv:1710.11278.
  35. Park, Yun, Lee, Shin, Sejun, Chulhee, Jaeho, Jinwoo (2020-09-28). "सार्वभौमिक सन्निकटन के लिए न्यूनतम चौड़ाई". ICLR (in English). arXiv:2006.08859.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  36. Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (2022-01-01). "चौड़ाई और गहराई के संदर्भ में ReLU नेटवर्क की इष्टतम सन्निकटन दर". Journal de Mathématiques Pures et Appliquées (in English). 157: 101–135. arXiv:2103.00502. doi:10.1016/j.matpur.2021.07.009. ISSN 0021-7824. S2CID 232075797.
  37. Lu, Jianfeng; Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (2021-01-01). "सुचारु कार्यों के लिए गहन नेटवर्क सन्निकटन". SIAM Journal on Mathematical Analysis. 53 (5): 5465–5506. arXiv:2001.03040. doi:10.1137/20M134695X. ISSN 0036-1410. S2CID 210116459.
  38. Juditsky, Anatoli B.; Lepski, Oleg V.; Tsybakov, Alexandre B. (2009-06-01). "समग्र कार्यों का गैर-पैरामीट्रिक अनुमान". The Annals of Statistics. 37 (3). doi:10.1214/08-aos611. ISSN 0090-5364. S2CID 2471890.
  39. Poggio, Tomaso; Mhaskar, Hrushikesh; Rosasco, Lorenzo; Miranda, Brando; Liao, Qianli (2017-03-14). "Why and when can deep-but not shallow-networks avoid the curse of dimensionality: A review". International Journal of Automation and Computing. 14 (5): 503–519. doi:10.1007/s11633-017-1054-2. ISSN 1476-8186. S2CID 15562587.
  40. Johnson, Jesse (2019). Deep, Skinny Neural Networks are not Universal Approximators. International Conference on Learning Representations.
  41. Xu, Keyulu; Hu, Weihua; Leskovec, Jure; Jegelka, Stefanie (2019). How Powerful are Graph Neural Networks?. International Conference on Learning Representations.
  42. Brüel-Gabrielsson, Rickard (2020). ग्राफ़ पर सार्वभौमिक फ़ंक्शन सन्निकटन. Advances in Neural Information Processing Systems. Vol. 33. Curran Associates.