सार्वभौमिक सन्निकटन प्रमेय

गणित के कृत्रिम तंत्रिका(न्यूरल) नेटवर्क सिद्धांत में, सार्वभौमिक सन्निकटन प्रमेय वे परिणाम हैं जो सूचित करते हैं कि तंत्रिका नेटवर्क सैद्धान्तिक रूप से क्या सीख सकती हैं अर्थात ये प्रमेय किसी दिए गए फलन समष्टि के भीतर एक विधिकलनात्मक रूप से उत्पन्न फलन वर्ग के घन समुच्चय को स्थापित करते हैं। सामान्यतः, ये परिणाम दो यूक्लिडियन समष्टियों के बीच सतत फलनों के स्थान पर फीडफॉरवर्ड न्यूरल नेटवर्क की सन्निकटन क्षमताओं तथा सन्निकटन सघन अभिसरण सांस्थिति से संबंधित हैं।

यद्यपि, गैर-यूक्लिडियन समष्टियों के बीच भी विभिन्न प्रकार के परिणाम हैं और अन्य सामान्यतः उपयोग किए जाने वाले संरचना और, अधिक सामान्यतः, विधिकलन द्वारा उत्पन्न फलनों के समुच्चय, जैसे संवलन तंत्रिका नेटवर्क (सीएनएन) संरचना, त्रिज्यीय आधार फलन, या विशिष्ट गुणों वाले तंत्रिका नेटवर्क आदि पर आधारित हैं। अधिकांश सार्वभौमिक सन्निकटन प्रमेयों को दो वर्गों में विभाजित किया जा सकता है। पहला कृत्रिम तंत्रिकाओं की एक यादृच्छिक संख्या के साथ तंत्रिका नेटवर्क की अनुमानित क्षमताओं को निर्धारित करता है और दूसरा छिपे हुए स्तरों की एक यादृच्छिक संख्या के साथ विषय पर ध्यान केंद्रित करता है, प्रत्येक वर्ग में परिमित संख्या में कृत्रिम तंत्रिकाएँ होती है। इन दो वर्गों के अतिरिक्त, तंत्रिका नेटवर्क के लिए छिपी हुई स्तरों की परिमित संख्या और प्रत्येक परत में परिमित संख्या में तंत्रिकाओं के साथ सार्वभौमिक सन्निकटन प्रमेय भी सम्मिलित हैं।

सार्वभौमिक सन्निकटन प्रमेय का अर्थ है कि उचित भार दिए जाने पर तंत्रिका नेटवर्क विभिन्न प्रकार के रोचक फलनों का प्रतिनिधित्व कर सकती हैं। दूसरी ओर, वे सामान्यतः भार के लिए कोई निर्माण प्रदान नहीं करते हैं, बल्कि केवल यह बताते हैं कि ऐसा निर्माण संभव है।

इतिहास

सिग्मॉइड फलन, सक्रियण फलनों के लिए यादृच्छिक विस्तार के पहले संस्करणों में से एक जॉर्ज साइबेंको द्वारा 1989 में सिद्ध किया गया था। कूरट हॉर्निक, मैक्सवेल स्टिंचकॉम्ब और हेल्बर्ट व्हाइट ने 1989 में प्रदर्शित किया कि कम से कम एक छिपी हुई परत वाले बहुपरत फ़ीड-फ़ॉरवर्ड नेटवर्क सार्वभौमिक सन्निकटन हैं।हॉर्निक ने 1991 में भी प्रदर्शित किया था की यह सक्रियण फलन का विशिष्ट विकल्प नहीं है, बल्कि बहुपरत फ़ीड-फ़ॉरवर्ड संरचना ही है जो तंत्रिका नेटवर्क को सार्वभौमिक सन्निकटनकर्ता होने की क्षमता प्रदान करती है। 1993 में मोशे लेश्नो एट अल और बाद में 1999 में एलन पिंकस द्वारा प्रदर्शित किया गया कि सार्वभौमिक सन्निकटन गुण एक गैर-बहुपद सक्रियण फलन के बराबर है। 2022 में, शेन ज़ुओवेई, हाइझाओ यांग और शिजुन झांग गहरे और विस्तृत रीलू (ReLU) तंत्रिका नेटवर्क द्वारा लक्ष्य फलन का अनुमान लगाने के लिए आवश्यक डेप्थ और विस्तार पर सटीक मात्रात्मक जानकारी प्राप्त की गई।

यादृच्छिक डेप्थ के परिप्रेक्ष्य का अध्ययन 2003 में गुस्ताफ ग्रिपेनबर्ग जैसे कई लेखकों द्वारा भी किया गया था, दिमित्री यारोत्स्की, 2017 में झोउ लू एट अल, 2018 में बोरिस हैनिन और मार्क सेल्के जिन्होंने रीलू सक्रियण फलन के साथ तंत्रिका नेटवर्क पर ध्यान केंद्रित किया। 2020 में, पैट्रिक किडगर और टेरी लियोन्स उन परिणामों को सामान्य सक्रियण फलनों के साथ तंत्रिका नेटवर्क तक विस्तारित किया गया, जैसे टैन, जीएलयू, या स्विश, और 2022 में, उनके परिणाम को लियोनी पापोन और अनास्तासिस क्रैटसियोस द्वारा मात्रात्मक बनाया गया था जिन्होंने लक्ष्य फलन और सक्रियण फलन की नियमितता के आधार पर स्पष्ट डेप्थ का अनुमान लगाया।

सार्वभौमिकता के लिए न्यूनतम संभावित विस्तार के प्रश्न का पहली बार 2021 में अध्ययन किया गया था, पार्क एट अल ने एलपी स्पेस के सार्वभौमिक सन्निकटन के लिए आवश्यक न्यूनतम विस्तार L^p प्राप्त की जो सक्रियण फलनों के रूप में दिष्टकारी तंत्रिका नेटवर्क के साथ फीडफॉरवर्ड न्यूरल नेटवर्क का उपयोग करके कार्य करता है। इसी तरह के परिणाम जो सीधे अवशिष्ट तंत्रिका नेटवर्क पर लागू किए जा सकते हैं, उसी वर्ष नियंत्रण सिद्धांत तर्कों का उपयोग करके पाउलो तबुआडा और बहमन घरेसिफ़र्ड द्वारा भी प्राप्त किए गए थे। 2023 में, सी.ए.आई सार्वभौमिक सन्निकटन के लिए बाध्य इष्टतम न्यूनतम विस्तार प्राप्त की गई।

परिबद्ध डेप्थ तथा परिबद्ध विस्तार के परिप्रेक्ष्य का अध्ययन पहली बार 1999 में मायोरोव और पिंकस द्वारा किया गया था। उन्होंने प्रदर्शित किया कि ऐसा एक विश्लेषणात्मक सिग्मोइडल सक्रियण फलन उपलब्ध है जिसके द्वारा दो छिपी हुई स्तर के कृत्रिम तंत्रिका नेटवर्क्स जिनमें छिपे हुए स्तरों में परिमित संख्या की इकाइयाँ होती हैं, वे एक सार्वभौमिक अद्यापक होते हैं। विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने एक स्मूद सिग्मॉइडल सक्रियण फलन का निर्माण किया, जो छिपी हुई स्तरों में कम इकाइयों के साथ दो छिपी हुई परत फीडफॉरवर्ड न्यूरल नेटवर्क के लिए सार्वभौमिक सन्निकटन गुण प्रदान करता है। यह 2018 के लेख में रचनात्मक रूप से सिद्ध हुआ था परिमित विस्तार वाले एकल छिपे हुए परत नेटवर्क अभी भी अविभाज्य फलनों के लिए सार्वभौमिक सन्निकटन हैं, परंतु यह गुण अब बहुपरिवर्तनीय फलनों के लिए सत्य नहीं है।

प्रमेय के कई विस्तार उपलब्ध हैं, जैसे असंतत सक्रियण फलन, अविस्तृत क्षेत्र,प्रमाणित नेटवर्क, यादृच्छिक तंत्रिका नेटवर्क, और वैकल्पिक नेटवर्क संरचना तथा सांस्थिति आदि।

यादृच्छिक-विस्तार प्रकर्ण

1980s-1990s में कई पेपर्स, जैसे कि जॉर्ज साइबेंको और कुर्त हॉरनिक आदि, ने कुछ ऐसे सार्वभौमिक सन्निकटन प्रमेय स्थापित किए जो किसी भी चौड़ाई और सीमित गहराई के लिए सत्य थे।समीक्षा के लिए को देखे। निम्नलिखित को सबसे अधिक बार उद्धृत किया गया है:

सार्वभौमिक सन्निकटन प्रमेय — यदि $C(X,\mathbb {R} ^{m})$ को एक यूक्लिडीयन समष्टि $\mathbb {R} ^{n}$ से यूक्लिडीयन समष्टि $\mathbb {R} ^{m}$ के लिए एक उपसमूह के रूप में प्रकट किया जाए, तो $X$ का एक उपसमूह होता है। $\sigma \in C(\mathbb {R} ,\mathbb {R} )$ को C(R, R) में प्रकट करता है। ध्यान दें कि $(\sigma \circ x)_{i}=\sigma (x_{i})$ होता है, इसलिए $\sigma \circ x$ का अर्थ $x$ के प्रत्येक घटक पर $\sigma$ का लागू किया जाता है।

पुनः, $\sigma$ बहुपद नहीं होता है यदि और केवल यदि प्रत्येक $n\in \mathbb {N}$, $m\in \mathbb {N}$, संकुशल $K\subseteq \mathbb {R} ^{n}$, $f\in C(K,\mathbb {R} ^{m}),\varepsilon >0$ के लिए $k\in \mathbb {N}$, $A\in \mathbb {R} ^{k\times n}$, $b\in \mathbb {R} ^{k}$, $C\in \mathbb {R} ^{m\times k}$ उपलब्ध होते हैं जैसे कि

$$\sup _{x\in K}|f(x)-g(x)|<\varepsilon$$

जहां $g(x)=C\cdot (\sigma \circ (A\cdot x+b))$ होता है।

इस तरह के एक $f$ पहली परत के लिए समान निर्माण का उपयोग करके और बाद की स्तरों के साथ इकाई फलन का अनुमान लगाकर अधिक डेप्थ के नेटवर्क द्वारा भी अनुमान लगाया जा सकता है।

प्रमाण आरेख

यह उस परिप्रेक्ष्य को सिद्ध करने के लिए पर्याप्त है जहां $m=1$, क्योंकि $\mathbb {R} ^{m}$ में समान अभिसरण प्रत्येक निर्देशांक में समान अभिसरण है।

मान लीजिए $F_{\sigma }$ $\sigma$ के साथ निर्मित सभी एक-छिपे हुए परत वाले तंत्रिका नेटवर्क का समुच्चय है। मान लीजिए कि $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ सघन समर्थन के साथ सभी $C(\mathbb {R} ^{d},\mathbb {R} )$ का समुच्चय है।

यदि फलन $d$ डिग्री का एक बहुपद है, तो $F_{\sigma }$ डिग्री $d$ के सभी बहुपदों के संवृत्त उप-समष्टि में समाहित है, इसलिए इसका इसमें संवरक भी सम्मिलित है, जो $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ का पूरा नहीं है। अन्यथा, हम प्रदर्शित करते हैं कि $F_{\sigma }$ का समापन $C_{0}(\mathbb {R} ^{d},\mathbb {R} )$ का है। मान लीजिए कि हम रैंप फलन का यादृच्छिक विधि से अच्छा अनुमान लगा सकते हैं $r(x)={\begin{cases}-1{\text{ if }}x<-1\\x{\text{ if }}|x|\leq 1\\1{\text{ if }}x>1\\\end{cases}}$ फिर इसे यादृच्छिक विधि से सघन रूप से समर्थित सतत फलन को यादृच्छिक विधि से परिशुद्धता के निर्माण के लिए जोड़ा जा सकता है। यहाँ रैंप फलन का अनुमान लगाना शेष है।

मशीन लर्निंग में प्रयुक्त किसी भी सामान्य सक्रियण समीकरण का उपयोग स्पष्ट रूप से रैंप फलन को अप्रॉक्सिमेट करने के लिए किया जा सकता है, या पहले रिलू (ReLU) को सन्निकटित करने के उपरांत रैंप फलन को सन्निकटित किया जा सकता है।

यदि $\sigma$ "स्क्वैशिंग" होता है, अर्थात इसकी सीमाएँ $\sigma (-\infty )<\sigma (+\infty )$ हैं, तो पहले आप इसके x-धुरी को ऐसे ढंग से एकत्र कर सकते हैं कि इसका आरेख एक "स्टेप-फलन" की तरह दिखता है जिसमें दो तेज "ओवरशूट्स" होते हैं, फिर इनमें से कुछ को क्रमिक रूप से जोड़कर एक "स्टेप" का सन्निकटन बना सकते हैं। और इस स्टेप के अधिक स्टेप्स के साथ, ओवरशूट्स को स्मूथ कर सकते हैं और हम रैंप फलन का अत्यधिक सुदृढ़ सन्निकटन प्राप्त कर सकते हैं।

जब $\sigma$ एक सामान्य गैर-बहुपद फलन होता है, तो यह विषय कठिन होता है, और पाठक को जिस पुस्तक का संदर्भ दिया गया है, वहां जाने के लिए संकेत दिया गया है। ("")

छिपी हुई स्तरों के निर्गत को एक साथ गुणा करने की अनुमति देकर बहुपद के साथ समस्या को दूर किया जा सकता है (पीआई-सिग्मा नेटवर्क), जिससे सामान्यीकरण प्राप्त होता है:

पाई-सिग्मा नेटवर्क के लिए सार्वभौमिक सन्निकटन प्रमेय —  किसी भी गैर-स्थिर सक्रियण फलन के सापेक्ष, एक-छिपी-परत पाई-सिग्मा नेटवर्क एक सार्वभौमिक सन्निकटन है।

यादृच्छिक-डेप्थ प्रकर्ण

प्रमेय के 'दोहरे' संस्करण परिमित विस्तार और यादृच्छिक डेप्थ के नेटवर्क पर विचार करते हैं। झोउ लू एट अल द्वारा यादृच्छिक डेप्थ के प्रकर्ण के लिए सार्वभौमिक सन्निकटन प्रमेय का एक प्रकार सिद्ध किया गया था। 2017 में उन्होंने प्रदर्शित किया कि रिलू सक्रियण फलनों के साथ विस्तार n+4 के नेटवर्क L1 दूरी के संबंध में n-आयामी निविष्ट समष्टि पर किसी भी लेब्सग्यू एकीकरण $L^{1}$ का अनुमान लगाया जा सकता है। यह भी प्रदर्शित किया गया कि यदि विस्तार n से कम या उसके बराबर थी, तो किसी भी लेबेस्ग एकीकरण फलन का अनुमान लगाने की यह सामान्य अभिव्यंजक क्षमता लुप्त हो गई थी। उसी समाचार पत्र मेंयह प्रदर्शित किया गया कि विस्तार n+1 वाले रिलू नेटवर्क n-आयामी निविष्ट चर के किसी भी सतत फलन फलन को अनुमानित करने के लिए पर्याप्त थे। निम्नलिखित परिशोधन, इष्टतम न्यूनतम विस्तार निर्दिष्ट करता है जिसके लिए ऐसा अनुमान संभव है।

सार्वजनिक सन्निकटन सिद्धांत (L1 दूरी, रेलू सक्रियण, विविध डेप्थ, न्यूनतम विस्तार). किसी भी बोक्नर–लेबेग p-अंशी फलन $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ और किसी भी $\epsilon >0$ के लिए, एक पूर्ण जड़न रेलू संजाल $F$ का एक परिमित विस्तार $d_{m}=\max {n+1,m}$ के साथ उपलब्ध है, जिसमें निम्नलिखित प्रमेय लागू होता है

$\int _{\mathbb {R} ^{n}}|f(x)-F(x)|^{p}\mathrm {d} x<\epsilon .$

$\int _{\mathbb {R} ^{n}}\left\|f(x)-F_{}(x)\right\|^{p}\mathrm {d} x<\epsilon$.

इसके अतिरिक्त एक ऐसा फलन $f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})$ और कुछ $\epsilon >0$ उपलब्ध है, जिसके लिए उपर्युक्त सन्निकटन सीमा को संतुष्ट करने वाली किसी भी पूर्ण जड़न रेलू संजाल की विस्तार $d_{m}=\max {n+1,m}$ से कम नहीं होती है।

टिप्पणी: यदि सक्रियण को लीकी-रेएलयू द्वारा प्रतिस्थापित किया जाता है, और निविष्ट एक सघन क्षेत्र में प्रतिबंधित है, तो सटीक न्यूनतम विस्तार $d_{m}=\max\{n,m,2\}$ है।

मात्रात्मक सुधार: उस मामले में, जब ${\mathcal {X}}=[0,1]^{d}$ और $D=1$ होता है और $\sigma$ रीलू सक्रियण फलन होता है, तो एक रीलू संजाल के लिए $\varepsilon$ त्रुटि प्राप्त करने के लिए आवश्यक डेप्थ और विस्तार की निश्चित डेप्थ और विस्तार भी जानी जाती है। और यदि उसले मल्ल फलन $f$ होता है, तो आवश्यक स्तरों की संख्या और उनकी विस्तार आधारी हो सकती है। यदि $f$ मल्ल नहीं है, तो यदि $f$ अतिरिक्त "संरचना" स्वीकार करता है, तो आयाम का बन्ध तोड़ा जा सकता है।

साथ ही, के मुख्य परिणाम से निम्नलिखित सीमांत विस्तार वाले संजालों के लिए निम्नलिखित सार्वजनिक सन्निकटन सिद्धांत देता है (इसके लिए पहले प्रकार के इस परिणाम के लिए देखें)।

सार्वजनिक सन्निकटन सिद्धांत (समान गैर-एफ़ाइन सक्रियण, विविध डेप्थ, परिपरिमित विस्तार). ${\mathcal {X}}$ को $\mathbb {R} ^{d}$ के एक संकुचित उपसमुच्चय माना जाता है। $\sigma :\mathbb {R} \to \mathbb {R}$ कोई ऐसा गैर-एफ़ाइन सतत फलन है जो कम से कम एक बिंदु पर सतत विभिन्नता वाला है, उस बिंदु पर उसका विभिन्नता शून्य नहीं है। ${\mathcal {N}}{d,D:d+D+2}^{\sigma }$ को $d$ निविष्ट न्यूरॉन, $D$ आउटपुट न्यूरॉन, और हर एक छुपे हुए न्यूरॉन के साथ $d+D+2$ न्यूरॉन होने वाले हर सामान्य छुपे हुए न्यूरॉन को सक्रियण $\sigma$ और प्रत्येक आउटपुट न्यूरॉन को उसके सक्रियण के रूप में पहचानकारी फलन रखकर पूर्ण फ़ीड-फ़ॉरवर्ड न्यूरल संजाल की जगह है, जिसमें निविष्ट श्रेणी $\phi$ और आउटपुट श्रेणी $\rho$ होती है। तो किसी भी $\varepsilon >0$ और किसी भी $f\in C({\mathcal {X}},\mathbb {R} ^{D})$ के लिए, ऐसा ${\hat {f}}\in {\mathcal {N}}{d,D:d+D+2}^{\sigma }$ मौजूद होता है जिसके लिए

$\sup _{x\in {\mathcal {X}}}\left|{\hat {f}}(x)-f(x)\right|<\varepsilon .$

दूसरे शब्दों में, ${\mathcal {N}}$ एकार्थिक संघटन की एकार्थिक गैर-संघटन की श्रेणी के आगामी में घने समूह में है $C({\mathcal {X}};\mathbb {R} ^{D})$ के संदर्भ में, समरूप संघटन की श्रेणी के साथ।

मात्रात्मक सुधार: $f$ को $\varepsilon$ सटीकता के लिए आवश्यक परिमाण की श्रेणी और प्रत्येक श्रेणी की विस्तार प्राप्त होती है; और, परिणाम ${\mathcal {X}}$ और $\mathbb {R} ^{D}$ को किसी भी नॉन-सकारात्मक रिमानियन मैनिफ़ोल्ड के साथ परिवर्तन पर भी सत्य है।

विविध डेप्थ प्रकरण के लिए कुछ आवश्यक उपबंध प्रस्तावित किए गए हैं, परंतु ज्ञात प्रस्तावित और आवश्यक उपबंधों के बीच अब भी एक अंतर है।

परिबद्ध डेप्थ और परिबद्ध विस्तार प्रकर्ण

मैयोरोव और पिंकस द्वारा किये गए एक सन्निकटन में पहली बार ऐसे परिणामों को प्राप्त किया गया जिसमे परिमित स्तरों के साथ साथ न्यूरल नेटवर्क के प्राकृतिक न्यूरॉनों की सीमा के सापेक्ष, न्यूरल नेटवर्क के अनुमान की क्षमता भी थी।उनके उल्लेखनीय परिणाम से पता चला कि ऐसे नेटवर्क सार्वभौमिक अनुमानक हो सकते हैं और इस गुण को प्राप्त करने के लिए दो छिपे हुए स्तर पर्याप्त हैं।

सार्वभौमिक सन्निकटन प्रमेय: ऐसा एक सक्रियण फलन $\sigma$ होता है जो विश्लेषणात्मक, वृद्धि करने वाला, और सिग्मॉयडल होता है, और उसके निम्नलिखित गुणधर्म होतें है: किसी भी $f\in C[0,1]^{d}$ और $\varepsilon >0$ के लिए ऐसे संख्याओं $d_{i},c_{ij},\theta _{ij},\gamma _{i}$, और सदिश $\mathbf {w} ^{ij}\in \mathbb {R} ^{d}$ होते हैं, जिनके लिए निम्नलिखित गुणधर्म होते हैं:

$$\left\vert f(\mathbf {x} )-\sum _{i=1}^{6d+3}d_{i}\sigma \left(\sum _{j=1}^{3d}c_{ij}\sigma (\mathbf {w} ^{ij}\cdot \mathbf {x-} \theta _{ij})-\gamma _{i}\right)\right\vert <\varepsilon$$

सभी $\mathbf {x} =(x_{1},...,x_{d})\in [0,1]^{d}$ के लिए उपयुक्त प्रमेय सत्य है।

यह एक अस्तित्व परिणाम है। इसमें कहा गया है कि परिमित डेप्थ और परिमित विस्तार वाले नेटवर्क के लिए सार्वभौमिक सन्निकटन गुण प्रदान करने वाले सक्रियण फलन उपलब्ध हैं। कुछ विधिकलन और कंप्यूटर प्रोग्रामिंग तकनीकों का उपयोग करते हुए, गुलियेव और इस्माइलोव ने संख्यात्मक मापदंड के आधार पर कुशलतापूर्वक ऐसे सक्रियण फलनों का निर्माण किया। विकसित विधिकलन किसी को वास्तविक अक्ष के किसी भी बिंदु पर सक्रियण फलनों की क्षणिक गणना करने की अनुमति देता है। सैद्धांतिक परिणाम निम्नानुसार तैयार किया जा सकता है।

सार्वभौमिक सन्निकटन प्रमेय: मान लीजिए $[a,b]$ वास्तविक रेखा का एक परिमित खंड है, $s=b-a$ और $\lambda$ कोई भी धनात्मक संख्या हो। फिर कोई विधिकलनात्मक रूप से एक गणना योग्य सिग्मोइडल सक्रियण फलन का निर्माण कर सकता है $\sigma \colon \mathbb {R} \to \mathbb {R}$, जो असीम रूप से भिन्न है, $(-\infty ,s)$, $\lambda$ - $[s,+\infty )$ पर निरंतर वर्धमान है, तथा निम्नलिखित गुणों को संतुष्ट करता है:

1) किसी भी $f\in C[a,b]$ और $\varepsilon >0$ के लिए, ऐसे संख्याएँ $c_{1},c_{2},\theta _{1}$, और $\theta _{2}$ उपलब्ध होती हैं कि सभी $x\in [a,b]$ के लिए निम्नलिखित समीकरण पर लागू होता है:

$$|f(x)-c_{1}\sigma (x-\theta _{1})-c_{2}\sigma (x-\theta _{2})|<\varepsilon$$

2) $d$-आयामी संख्या पर किसी भी सतत फलन $F$ के लिए $[a,b]^{d}$ और $\varepsilon >0$, $e_{p}$, $c_{pq}$, $\theta _{pq}$ और $\zeta _{p}$ स्थिरांक उपलब्ध हैं।

$$\left|F(\mathbf {x} )-\sum _{p=1}^{2d+2}e_{p}\sigma \left(\sum _{q=1}^{d}c_{pq}\sigma (\mathbf {w} ^{q}\cdot \mathbf {x} -\theta _{pq})-\zeta _{p}\right)\right|<\varepsilon$$

सभी $\mathbf {x} =(x_{1},\ldots ,x_{d})\in [a,b]^{d}$ के लिए धारण करता है। यहां भार $\mathbf {w} ^{q}$, $q=1,\ldots ,d$, इस प्रकार तय किए गए हैं:

$$\mathbf {w} ^{1}=(1,0,\ldots ,0),\quad \mathbf {w} ^{2}=(0,1,\ldots ,0),\quad \ldots ,\quad \mathbf {w} ^{d}=(0,0,\ldots ,1).$$

इसके अतिरिक्त, एक को छोड़कर सभी गुणांक $e_{p}$ समान हैं।

"$\sigma \colon \mathbb {R} \to \mathbb {R}$ is $\lambda$- किसी समुच्चय $X$पर निरंतर वर्धमान है” का तात्पर्य है कि किसी समुच्चय $X$ पर ऐसा कोई वृद्धि करने वाला सक्रियण फलन $u\colon X\to \mathbb {R}$ है जिसके लिए सभी $x\in X$ के लिए $|\sigma (x)-u(x)|\leq \lambda$ होता है। स्पष्ट है कि एक $\lambda$-वृद्धि करने वाला सक्रियण फलन छोटे होते हुए $\lambda$ के साथ एक सामान्य रूप से वृद्धि फलन की तरह व्यवहार करता है।

"डेप्थ-विस्तार शब्दों के संदर्भ में, उपर्युक्त सिद्धांत कहता है कि कुछ सक्रियण फलनों के लिए डेप्थ-$2$ विस्तार-$2$ नेटवर्क एक वारिमाणिक फलन के लिए सार्वभौमिक सन्निकटक होते हैं, और डेप्थ-$3$ विस्तार-$(2d+2)$ नेटवर्क $d$-परमीय फलनों के लिए ($d>1$) सार्वभौमिक सन्निकटक होते हैं।

आरेख निविष्ट

आरेख पर (या आरेख समरूपता पर) उपयोगी सार्वभौमिक फलन सन्निकटन प्राप्त करना एक लंबे समय से चली आ रही समस्या रही है। लोकप्रिय आरेख संवलन न्यूरल नेटवर्क (जीसीएन या जीएनएन) को वेइस्फिलर-लेमन आरेख समरूपता परीक्षण के रूप में विभेदक बनाया जा सकता है। 2020 में, एक सार्वभौमिक सन्निकटन प्रमेय परिणाम ब्रुएल-गेब्रियलसन द्वारा स्थापित किया गया था, जिसमें प्रदर्शित किया गया था कि कुछ विशेषण गुणों के साथ आरेख प्रतिनिधित्व, परिमित आरेख पर सार्वभौमिक फलन सन्निकटन और अपरिमित आरेख पर प्रतिबंधित सार्वभौमिक फलन सन्निकटन के लिए पर्याप्त है, साथ में $O($#भुजा$\times$#शीर्ष$)$-रनटाइम विधि जो मापदंड पर अत्याधुनिक प्रदर्शन करती है।

यह भी देखें

• कोलमोगोरोव-अर्नोल्ड प्रतिनिधित्व प्रमेय
• प्रतिनिधि प्रमेय
• कोई निःशुल्क लंच प्रमेय नहीं
• स्टोन-वीयरस्ट्रैस प्रमेय
• फोरियर श्रेणी