सार्वभौमिक सन्निकटन प्रमेय

गणित के कृत्रिम तंत्रिका नेटवर्क सिद्धांत में, सार्वभौमिक सन्निकटन प्रमेय वे परिणाम हैं जो सूचित करते हैं कि तंत्रिका नेटवर्क सैद्धान्तिक रूप से क्या सीख सकते हैं अर्थात ये प्रमेय उन एक दिए गए फलन समष्टि के भीतर एक विधिकलनात्मक रूप से उत्पन्न फलन वर्ग के घन समुच्चय को स्थापित करते हैं। सामान्यतः, ये परिणाम दो यूक्लिडियन समष्टियों के बीच सतत फलनों के स्थान पर फीडफॉरवर्ड न्यूरल नेटवर्क की सन्निकटन क्षमताओं सन्निकटन सघन अभिसरण सांस्थिति से संबंधित हैं।

यद्यपि, गैर-यूक्लिडियन समष्टियों के बीच भी विभिन्न प्रकार के परिणाम हैं और अन्य सामान्यतः उपयोग किए जाने वाले संरचना और, अधिक सामान्यतः, विधिकलन द्वारा उत्पन्न फलनों के समुच्चय, जैसे संवलन तंत्रिका नेटवर्क (सीएनएन) संरचना, त्रिज्यीय आधार फलन, या विशिष्ट गुणों वाले तंत्रिका नेटवर्क आदि। अधिकांश सार्वभौमिक सन्निकटन प्रमेयों को दो वर्गों में विभाजित किया जा सकता है। पहला कृत्रिम तंत्रिकाओं की एक यादृच्छिक संख्या के साथ तंत्रिका नेटवर्क की अनुमानित क्षमताओं को निर्धारित करता है और दूसरा छिपी हुई परतों की एक यादृच्छिक संख्या के साथ विषय पर ध्यान केंद्रित करता है, प्रत्येक वर्ग में सीमित संख्या में कृत्रिम तंत्रिकाएँ होती है। इन दो वर्गों के अतिरिक्त, तंत्रिका नेटवर्क के लिए छिपी हुई परतों की सीमित संख्या और प्रत्येक परत में सीमित संख्या में तंत्रिकाओं के साथ सार्वभौमिक सन्निकटन प्रमेय भी सम्मिलित हैं।

सार्वभौमिक सन्निकटन प्रमेय का अर्थ है कि उचित भार दिए जाने पर तंत्रिका नेटवर्क विभिन्न प्रकार के रोचक कार्यों का प्रतिनिधित्व कर सकते हैं। दूसरी ओर, वे सामान्यतः भार के लिए कोई निर्माण प्रदान नहीं करते हैं, बल्कि केवल यह बताते हैं कि ऐसा निर्माण संभव है।

इतिहास

सिग्मॉइड फलन, सक्रियण फलनों के लिए यादृच्छिक चौड़ाई परप्रेक्ष्य के पहले संस्करणों में से एक जॉर्ज साइबेंको द्वारा 1989 में सिद्ध किया गया था। कूरट हॉर्निक, मैक्सवेल स्टिंचकॉम्ब और हेल्बर्ट व्हाइट ने 1989 में प्रदर्शित किया कि कम से कम एक छिपी हुई परत वाले बहुपरत फ़ीड-फ़ॉरवर्ड नेटवर्क सार्वभौमिक सन्निकटन हैं।हॉर्निक ने 1991 में भी प्रदर्शित किया था की यह सक्रियण फलन का विशिष्ट विकल्प नहीं है, बल्कि बहुपरत फ़ीड-फ़ॉरवर्ड संरचना ही है जो तंत्रिका नेटवर्क को सार्वभौमिक सन्निकटनकर्ता होने की क्षमता प्रदान करती है। 1993 में मोशे लेश्नो एट अल और बाद में 1999 में एलन पिंकस द्वारा प्रदर्शित किया गया कि सार्वभौमिक सन्निकटन गुण एक गैर-बहुपद सक्रियण फलन के बराबर है। 2022 में, शेन ज़ुओवेई, हाइझाओ यांग और शिजुन झांग गहरे और विस्तृत रीलू (ReLU) तंत्रिका नेटवर्क द्वारा लक्ष्य फलन का अनुमान लगाने के लिए आवश्यक गहराई और चौड़ाई पर सटीक मात्रात्मक जानकारी प्राप्त की गई।

यादृच्छिक गहराई के परिप्रेक्ष्य का अध्ययन 2003 में गुस्ताफ ग्रिपेनबर्ग जैसे कई लेखकों द्वारा भी किया गया था, दिमित्री यारोत्स्की, 2017 में झोउ लू एट अल, 2018 में बोरिस हैनिन और मार्क सेल्के जिन्होंने रीलू सक्रियण फलन के साथ तंत्रिका नेटवर्क पर ध्यान केंद्रित किया। 2020 में, पैट्रिक किडगर और टेरी लियोन्स उन परिणामों को सामान्य सक्रियण कार्यों के साथ तंत्रिका नेटवर्क तक विस्तारित किया गया, जैसे टैन, जीएलयू, या स्विश, और 2022 में, उनके परिणाम को लियोनी पापोन और अनास्तासिस क्रैटसियोस द्वारा मात्रात्मक बनाया गया था जिन्होंने लक्ष्य फलन और सक्रियण फलन की नियमितता के आधार पर स्पष्ट गहराई का अनुमान लगाया।

सार्वभौमिकता के लिए न्यूनतम संभावित चौड़ाई के प्रश्न का पहली बार 2021 में अध्ययन किया गया था, पार्क एट अल ने एलपी स्पेस के सार्वभौमिक सन्निकटन के लिए आवश्यक न्यूनतम चौड़ाई L^p प्राप्त की जो सक्रियण कार्यों के रूप में दिष्टकारी तंत्रिका नेटवर्क के साथ फीडफॉरवर्ड न्यूरल नेटवर्क का उपयोग करके कार्य करता है। इसी तरह के परिणाम जो सीधे अवशिष्ट तंत्रिका नेटवर्क पर लागू किए जा सकते हैं, उसी वर्ष नियंत्रण सिद्धांत तर्कों का उपयोग करके पाउलो तबुआडा और बहमन घरेसिफ़र्ड द्वारा भी प्राप्त किए गए थे। 2023 में, सी.ए.आई सार्वभौमिक सन्निकटन के लिए बाध्य इष्टतम न्यूनतम चौड़ाई प्राप्त की गई।

परिबद्ध गहराई तथा परिबद्ध चौड़ाई के परिप्रेक्ष्य का अध्ययन पहली बार 1999 में मायोरोव और पिंकस द्वारा किया गया था। उन्होंने प्रदर्शित किया कि ऐसा एक विश्लेषणात्मक सिग्मोइडल सक्रियण फलन उपलब्ध है जिसके द्वारा दो छिपी हुई स्तर के कृत्रिम तंत्रिका नेटवर्क्स जिनमें छिपे हुए स्तरों में सीमित संख्या की इकाइयाँ होती हैं, वे एक सार्वभौमिक अद्यापक होते हैं। विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने एक स्मूद सिग्मॉइडल सक्रियण फलन का निर्माण किया, जो छिपी हुई परतों में कम इकाइयों के साथ दो छिपी हुई परत फीडफॉरवर्ड न्यूरल नेटवर्क के लिए सार्वभौमिक सन्निकटन गुण प्रदान करता है। यह 2018 के लेख में रचनात्मक रूप से सिद्ध हुआ था परिमित चौड़ाई वाले एकल छिपे हुए परत नेटवर्क अभी भी अविभाज्य कार्यों के लिए सार्वभौमिक सन्निकटन हैं, परंतु यह गुण अब बहुपरिवर्तनीय कार्यों के लिए सत्य नहीं है।

प्रमेय के कई विस्तार उपलब्ध हैं, जैसे असंतत सक्रियण फलन, अविस्तृत क्षेत्र,प्रमाणित नेटवर्क, यादृच्छिक तंत्रिका नेटवर्क, और वैकल्पिक नेटवर्क संरचना तथा सांस्थिति आदि।

यादृच्छिक-चौड़ाई प्रकर्ण

1980s-1990s में कई पेपर्स, जैसे कि जॉर्ज साइबेंको और कुर्त हॉरनिक आदि, ने कुछ ऐसे सार्वभौमिक सन्निकटन प्रमेय स्थापित किए जो किसी भी चौड़ाई और सीमित गहराई के लिए सत्य थे।समीक्षा के लिए को देखे। निम्नलिखित को सबसे अधिक बार उद्धृत किया गया है:

Universal approximation theorem — यदि $C(X,\mathbb {R} ^{m})$ को एक यूक्लिडीयन समष्टि $\mathbb {R} ^{n}$ से यूक्लिडीयन समष्टि $\mathbb {R} ^{m}$ के लिए एक उपसमूह के रूप में प्रकट किया जाए, तो $X$ का एक उपसमूह होता है। $\sigma \in C(\mathbb {R} ,\mathbb {R} )$ को C(R, R) में प्रकट करता है। ध्यान दें कि $(\sigma \circ x)_{i}=\sigma (x_{i})$ होता है, इसलिए $\sigma \circ x$ का अर्थ $x$ के प्रत्येक घटक पर $\sigma$ का लागू किया जाता है।

पुनः, $\sigma$ बहुपद नहीं होता है यदि और केवल यदि प्रत्येक $n\in \mathbb {N}$, $m\in \mathbb {N}$, संकुशल $K\subseteq \mathbb {R} ^{n}$, $f\in C(K,\mathbb {R} ^{m}),\varepsilon >0$ के लिए $k\in \mathbb {N}$, $A\in \mathbb {R} ^{k\times n}$, $b\in \mathbb {R} ^{k}$, $C\in \mathbb {R} ^{m\times k}$ उपलब्ध होते हैं जैसे कि

$$\sup _{x\in K}|f(x)-g(x)|<\varepsilon$$

जहां $g(x)=C\cdot (\sigma \circ (A\cdot x+b))$ होता है।

इस तरह के एक $f$ पहली परत के लिए समान निर्माण का उपयोग करके और बाद की परतों के साथ इकाई फलन का अनुमान लगाकर अधिक गहराई के नेटवर्क द्वारा भी अनुमान लगाया जा सकता है।

प्रमाण आरेख

यह उस परिप्रेक्ष्य को सिद्ध करने के लिए पर्याप्त है जहां $m=1$, क्योंकि $\mathbb {R} ^{m}$ में समान अभिसरण प्रत्येक निर्देशांक में समान अभिसरण है।

मान लीजिए $F_{\sigma }$ $\sigma$ के साथ निर्मित सभी एक-छिपे हुए परत वाले तंत्रिका नेटवर्क का समुच्चय है। मान लीजिए कि $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ सघन समर्थन के साथ सभी $C(\mathbb {R} ^{d},\mathbb {R} )$ का समुच्चय है।

यदि फलन $d$ डिग्री का एक बहुपद है, तो $F_{\sigma }$ डिग्री $d$ के सभी बहुपदों के संवृत्त उप-समष्टि में समाहित है, इसलिए इसका इसमें संवरक भी सम्मिलित है, जो $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ का पूरा नहीं है। अन्यथा, हम प्रदर्शित करते हैं कि $F_{\sigma }$ का समापन $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ का है। मान लीजिए कि हम रैंप फलन का यादृच्छिक विधि से अच्छा अनुमान लगा सकते हैं $r(x)={\begin{cases}-1{\text{ if }}x<-1\\x{\text{ if }}|x|\leq 1\\1{\text{ if }}x>1\\\end{cases}}$ फिर इसे यादृच्छिक विधि से सघन रूप से समर्थित सतत फलन को यादृच्छिक विधि से परिशुद्धता के निर्माण के लिए जोड़ा जा सकता है। यहाँ रैंप फलन का अनुमान लगाना शेष है।

मशीन लर्निंग में प्रयुक्त किसी भी सामान्य सक्रियण समीकरण का उपयोग स्पष्ट रूप से रैंप फलन को अप्रॉक्सिमेट करने के लिए किया जा सकता है, या पहले रिलू (ReLU) को सन्निकटित करने के उपरांत रैंप फलन को सन्निकटित किया जा सकता है।

यदि $\sigma$ "स्क्वैशिंग" होता है, अर्थात इसकी सीमाएँ $\sigma (-\infty )<\sigma (+\infty )$ हैं, तो पहले आप इसके x-धुरी को ऐसे ढंग से एकत्र कर सकते हैं कि इसका आरेख एक "स्टेप-फलन" की तरह दिखता है जिसमें दो तेज "ओवरशूट्स" होते हैं, फिर इनमें से कुछ को क्रमिक रूप से जोड़कर एक "स्टेप" का सन्निकटन बना सकते हैं। और इस स्टेप के अधिक स्टेप्स के साथ, ओवरशूट्स को स्मूथ कर सकते हैं और हम रैंप फलन का अत्यधिक सुदृढ़ सन्निकटन प्राप्त कर सकते हैं।

जब $\sigma$ एक सामान्य गैर-बहुपद फलन होता है, तो यह विषय कठिन होता है, और पाठक को जिस पुस्तक का संदर्भ दिया गया है, वहां जाने के लिए संकेत दिया गया है। ("")

छिपी हुई परतों के निर्गत को एक साथ गुणा करने की अनुमति देकर बहुपद के साथ समस्या को दूर किया जा सकता है (पीआई-सिग्मा नेटवर्क), जिससे सामान्यीकरण प्राप्त होता है:

पाई-सिग्मा नेटवर्क के लिए सार्वभौमिक सन्निकटन प्रमेय —  किसी भी गैर-स्थिर सक्रियण फलन के सापेक्ष, एक-छिपी-परत पाई-सिग्मा नेटवर्क एक सार्वभौमिक सन्निकटन है।

यादृच्छिक-गहराई प्रकर्ण

प्रमेय के 'दोहरे' संस्करण परिमित चौड़ाई और यादृच्छिक गहराई के नेटवर्क पर विचार करते हैं। झोउ लू एट अल द्वारा यादृच्छिक गहराई के प्रकर्ण के लिए सार्वभौमिक सन्निकटन प्रमेय का एक प्रकार सिद्ध किया गया था। 2017 में उन्होंने प्रदर्शित किया कि रिलू सक्रियण फलनों के साथ चौड़ाई n+4 के नेटवर्क L1 दूरी के संबंध में n-आयामी निविष्ट समष्टि पर किसी भी लेब्सग्यू एकीकरण $L^{1}$ का अनुमान लगाया जा सकता है। यह भी प्रदर्शित किया गया कि यदि चौड़ाई n से कम या उसके बराबर थी, तो किसी भी लेबेस्ग एकीकरण फलन का अनुमान लगाने की यह सामान्य अभिव्यंजक क्षमता लुप्त हो गई थी। उसी समाचार पत्र मेंयह प्रदर्शित किया गया कि चौड़ाई n+1 वाले रिलू नेटवर्क n-आयामी निविष्ट चर के किसी भी सतत फलन फलन को अनुमानित करने के लिए पर्याप्त थे। निम्नलिखित परिशोधन, इष्टतम न्यूनतम चौड़ाई निर्दिष्ट करता है जिसके लिए ऐसा अनुमान संभव है।

<ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय (L1 दूरी, ReLU सक्रियण, यादृच्छिक गहराई, न्यूनतम चौड़ाई)। किसी भी Bochner इंटीग्रल के लिए|Bochner–Lebesgue p-इंटीग्रेबल फलन $f:\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{m}$ और कोई भी $\epsilon >0$, एक पूरी तरह पूरी तरह से जुड़ा हुआ नेटवर्क मौजूद है|पूरी तरह से कनेक्टेड ReLU नेटवर्क $F$ बिलकुल चौड़ाई का $d_{m}=\max\{{n+1},m\}$, संतुष्टि देने वाला

$\int _{\mathbb {R} ^{n}}\left\|f(x)-F_{}(x)\right\|^{p}\mathrm {d} x<\epsilon$.

इसके अलावा, एक फलन मौजूद है $f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})$ और कुछ $\epsilon >0$, जिसके लिए कोई पूरी तरह से कनेक्टेड नेटवर्क नहीं है|से कम चौड़ाई का पूरी तरह से कनेक्टेड ReLU नेटवर्क है $d_{m}=\max\{{n+1},m\}$ उपरोक्त सन्निकटन सीमा को संतुष्ट करना।

टिप्पणी: यदि सक्रियण को लीकी-रेएलयू द्वारा प्रतिस्थापित किया जाता है, और इनपुट एक कॉम्पैक्ट डोमेन में प्रतिबंधित है, तो सटीक न्यूनतम चौड़ाई है $d_{m}=\max\{n,m,2\}$.

मात्रात्मक शोधन: मामले में कहाँ, कब ${\mathcal {X}}=[0,1]^{d}$ और $D=1$ और कहाँ $\sigma$ रेक्टिफायर (तंत्रिका नेटवर्क) है तो, एक ReLU नेटवर्क को प्राप्त करने के लिए सटीक गहराई और चौड़ाई $\varepsilon$ त्रुटि भी ज्ञात है. यदि, इसके अलावा, लक्ष्य फलन $f$ चिकनी है तो परतों की आवश्यक संख्या और उनकी चौड़ाई तेजी से छोटी हो सकती है। भले ही $f$ सहज नहीं है, यदि आयामीता का अभिशाप तोड़ा जा सकता है $f$ अतिरिक्त रचनात्मक संरचना को स्वीकार करता है। </ब्लॉककोट>

साथ में, का केंद्रीय परिणाम सीमित चौड़ाई वाले नेटवर्क के लिए निम्नलिखित सार्वभौमिक सन्निकटन प्रमेय उत्पन्न होता है (सीएफ भी)। इस तरह के पहले परिणाम के लिए)।

<ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय (समान गैर-एफ़िन परिवर्तन सक्रियण, यादृच्छिक गहन शिक्षण, बाधित चौड़ाई)। होने देना ${\mathcal {X}}$ का एक कॉम्पैक्ट सेट बनें $\mathbb {R} ^{d}$. होने देना $\sigma :\mathbb {R} \to \mathbb {R}$ कोई भी गैर-एफ़िन परिवर्तन सतत फलन फलन हो जो कि कम से कम एक बिंदु पर अवकलनीय फलन#डिफ़रेंशियाबिलिटी वर्ग हो, उस बिंदु पर गैर-शून्य व्युत्पन्न हो। होने देना ${\mathcal {N}}_{d,D:d+D+2}^{\sigma }$ फ़ीड-फ़ॉरवर्ड तंत्रिका नेटवर्क के स्थान को निरूपित करें $d$ इनपुट न्यूरॉन्स, $D$ आउटपुट न्यूरॉन्स, और प्रत्येक के साथ छिपी हुई परतों की एक यादृच्छिक संख्या $d+D+2$ न्यूरॉन्स, जैसे कि प्रत्येक छिपे हुए न्यूरॉन में सक्रियण कार्य होता है $\sigma$ और प्रत्येक आउटपुट न्यूरॉन में इनपुट परत के साथ सक्रियण फलन के रूप में पहचान फलन होता है $\phi$, और आउटपुट परत $\rho$. फिर कोई भी दिया $\varepsilon >0$ और कोई भी $f\in C({\mathcal {X}},\mathbb {R} ^{D})$, वहां मौजूद ${\hat {f}}\in {\mathcal {N}}_{d,D:d+D+2}^{\sigma }$ ऐसा है कि

$\sup _{x\in {\mathcal {X}}}\,\left\|{\hat {f}}(x)-f(x)\right\|<\varepsilon .$

दूसरे शब्दों में, ${\mathcal {N}}$ घना सेट है $C({\mathcal {X}};\mathbb {R} ^{D})$ एकसमान अभिसरण की टोपोलॉजी के संबंध में।

मात्रात्मक शोधन: परतों की संख्या और प्रत्येक परत की चौड़ाई लगभग f के लिए आवश्यक है $\varepsilon$ परिशुद्धता ज्ञात;इसके अलावा, परिणाम तब सत्य होता है ${\mathcal {X}}$ और $\mathbb {R} ^{D}$किसी भी गैर-सकारात्मक रूप से घुमावदार रीमैनियन मैनिफोल्ड के साथ प्रतिस्थापित किया जाता है। </ब्लॉककोट>

बंधी हुई चौड़ाई, यादृच्छिक गहराई के मामले के लिए कुछ आवश्यक शर्तें स्थापित की गई हैं, परंतु ज्ञात पर्याप्त और आवश्यक शर्तों के बीच अभी भी एक अंतर है।

बंधी हुई गहराई और बंधी हुई चौड़ाई का मामला

परतों की सीमित संख्या के साथ तंत्रिका नेटवर्क की अनुमानित क्षमताओं पर पहला परिणाम, प्रत्येक में सीमित संख्या में कृत्रिम न्यूरॉन्स होते हैं, मायोरोव और पिंकस द्वारा प्राप्त किया गया था।उनके उल्लेखनीय परिणाम से पता चला कि ऐसे नेटवर्क सार्वभौमिक अनुमानक हो सकते हैं और इस संपत्ति को प्राप्त करने के लिए दो छिपी हुई परतें पर्याप्त हैं। <ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय:एक सक्रियण फलन मौजूद है $\sigma$ जो विश्लेषणात्मक है, सख्ती से बढ़ रहा है और सिग्मोइडल और निम्नलिखित संपत्ति है: किसी के लिए $f\in C[0,1]^{d}$ और $\varepsilon >0$ वहाँ स्थिरांक मौजूद हैं $d_{i},c_{ij},\theta _{ij},\gamma _{i}$, और वैक्टर $\mathbf {w} ^{ij}\in \mathbb {R} ^{d}$ जिसके लिए

<गणित प्रदर्शन='ब्लॉक'> \left\vert f(\mathbf{x})-\sum_{i=1}^{6d+3}d_{i}\sigma\left( \sum_{j=1}^{3d}c_{ij}\sigma(\mathbf{w}^{ij}\cdot \mathbf{x-}\theta _{ij})-\गामा _{i}\दाएं) \दाएं\vert <\varepsilon </math>

सभी के लिए गणित> \mathbf{x}=(x_{1},...,x_{d})\in [0,1]^{d}</math>. </ब्लॉककोट>

यह अस्तित्व का परिणाम है. इसमें कहा गया है कि सीमित गहराई और सीमित चौड़ाई वाले नेटवर्क के लिए सार्वभौमिक सन्निकटन संपत्ति प्रदान करने वाले सक्रियण फलन मौजूद हैं। कुछ विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने संख्यात्मक पैरामीटर के आधार पर कुशलतापूर्वक ऐसे सक्रियण कार्यों का निर्माण किया। विकसित एल्गोरिदम किसी को वास्तविक अक्ष के किसी भी बिंदु पर सक्रियण कार्यों की तुरंत गणना करने की अनुमति देता है। एल्गोरिदम और संबंधित कंप्यूटर कोड के लिए देखें।सैद्धांतिक परिणाम निम्नानुसार तैयार किया जा सकता है। <ब्लॉककोट> सार्वभौमिक सन्निकटन प्रमेय:होने देना $[a,b]$ वास्तविक रेखा का एक परिमित खंड बनें, $s=b-a$ और $\lambda$ कोई भी धनात्मक संख्या हो. फिर कोई एल्गोरिदमिक रूप से एक गणना योग्य सिग्मोइडल सक्रियण फलन का निर्माण कर सकता है $\sigma \colon \mathbb {R} \to \mathbb {R}$, जो असीम रूप से भिन्न है, सख्ती से बढ़ रहा है $(-\infty ,s)$, $\lambda$ -सख्ती से बढ़ रहा है $[s,+\infty )$, और निम्नलिखित गुणों को संतुष्ट करता है:

1) किसी के लिए $f\in C[a,b]$ और $\varepsilon >0$ वहाँ संख्याएँ मौजूद हैं $c_{1},c_{2},\theta _{1}$ और $\theta _{2}$ ऐसा कि सभी के लिए $x\in [a,b]$ <गणित डिस्प्ले='ब्लॉक'> |f(x) - c_1 \sigma(x - \theta_1) - c_2 \sigma(x - \theta_2)| < \varepsilon</math>

2) किसी भी सतत कार्य के लिए गणित>एफ</गणित>पर गणित>डी</गणित>-आयामी बॉक्स $[a,b]^{d}$ और $\varepsilon >0$, वहाँ स्थिरांक मौजूद हैं $e_{p}$, $c_{pq}$, $\theta _{pq}$ और $\zeta _{p}$ ऐसी कि असमानता <गणित प्रदर्शन='ब्लॉक'> \बाएँ| F(\mathbf{x}) - \sum_{p=1}^{2d+2} e_p \sigma \left( \sum_{q=1}^{d} c_{pq} \sigma(\mathbf{w }^{q} \cdot \mathbf{x} - \theta_{pq}) - \zeta_p \right) \right| < \varepsilon</math> सभी के लिए धारण करता है गणित>\mathbf{x} = (x_1, \ldots, x_d) \in [a, b]^{d}</math>. यहाँ वजन $\mathbf {w} ^{q}$, $q=1,\ldots ,d$, निम्नानुसार तय किए गए हैं: <गणित प्रदर्शन='ब्लॉक'> \mathbf{w}^{1} = (1, 0, \ldots, 0), \quad \mathbf{w}^{2} = (0, 1, \ldots, 0 ), \quad \ldots, \quad \mathbf{w}^{d} = (0, 0, \ldots, 1). </गणित> इसके अलावा, सभी गुणांक गणित>e_p</math>, एक को छोड़कर, बराबर हैं। </ब्लॉककोट>

यहाँ "$\sigma \colon \mathbb {R} \to \mathbb {R}$ है $\lambda$-कुछ सेट पर सख्ती से बढ़ोतरी हो रही है $X$” इसका मतलब है कि सख्ती से बढ़ता हुआ कार्य मौजूद है $u\colon X\to \mathbb {R}$ ऐसा है कि $|\sigma (x)-u(x)|\leq \lambda$ सभी के लिए $x\in X$. जाहिर है, ए $\lambda$-बढ़ता हुआ फलन सामान्य बढ़ते हुए फलन की तरह व्यवहार करता है $\lambda$ छोटा हो जाता है. गहराई-चौड़ाई शब्दावली में, उपरोक्त प्रमेय कहता है कि कुछ सक्रियण कार्यों के लिए गहराई-$2$ चौड़ाई-$2$ नेटवर्क अविभाज्य कार्यों और गहराई के लिए सार्वभौमिक सन्निकटन हैं-$3$ चौड़ाई-$(2d+2)$ नेटवर्क सार्वभौमिक सन्निकटन हैं $d$-परिवर्तनीय कार्य ($d>1$).

ग्राफ़ इनपुट

ग्राफ़ पर (या ग्राफ़ समरूपता पर) उपयोगी सार्वभौमिक फलन सन्निकटन प्राप्त करना एक लंबे समय से चली आ रही समस्या रही है। लोकप्रिय ग्राफ कन्वोल्यूशनल न्यूरल नेटवर्क (जीसीएन या जीएनएन) को वेइस्फिलर-लेमन ग्राफ समरूपता परीक्षण के रूप में भेदभावपूर्ण बनाया जा सकता है। 2020 में, एक सार्वभौमिक सन्निकटन प्रमेय परिणाम ब्रुएल-गेब्रियलसन द्वारा स्थापित किया गया था, जिसमें प्रदर्शित किया गया था कि कुछ विशेषण गुणों के साथ ग्राफ़ प्रतिनिधित्व, सीमित ग्राफ़ पर सार्वभौमिक फलन सन्निकटन और असीमित ग्राफ़ पर प्रतिबंधित सार्वभौमिक फलन सन्निकटन के लिए पर्याप्त है, साथ में $O($#किनारे$\times$#नोड्स$)$-रनटाइम विधि जो बेंचमार्क के संग्रह पर अत्याधुनिक प्रदर्शन करती है।

यह भी देखें

• कोलमोगोरोव-अर्नोल्ड प्रतिनिधित्व प्रमेय
• प्रतिनिधि प्रमेय
• कोई निःशुल्क लंच प्रमेय नहीं
• स्टोन-वीयरस्ट्रैस प्रमेय
• फोरियर श्रेणी