कर्नेल हिल्बर्ट समष्टि पुनरुत्पादन

चित्र आरकेएचएस को देखने के लिए संबंधित लेकिन अलग-अलग दृष्टिकोण दिखाता है

कार्यात्मक विश्लेषण (गणित की एक शाखा) में, एक पुनरुत्पादन कर्नेल हिल्बर्ट स्थान (आरकेएचएस) कार्यों का एक हिल्बर्ट स्पेस है जिसमें बिंदु मूल्यांकन एक सतत रैखिक कार्यात्मक (गणित) है। मोटे तौर पर कहें तो इसका मतलब यह है कि यदि दो कार्य करते हैं $f$ और $g$ आरकेएचएस में मानक के करीब हैं, यानी, $\|f-g\|$ तो फिर छोटा है $f$ और $g$ बिंदुवार भी करीब हैं, यानी, $|f(x)-g(x)|$ सबके लिए छोटा है $x$. बातचीत का सत्य होना आवश्यक नहीं है। अनौपचारिक रूप से, इसे यूनिफ़ॉर्म मानदंड: कार्यों के अनुक्रम को देखकर दिखाया जा सकता है $\sin ^{n}(x)$ बिंदुवार अभिसरण करता है, लेकिन समान अभिसरण नहीं करता है यानी सर्वोच्च मानदंड के संबंध में अभिसरण नहीं करता है (यह एक प्रति उदाहरण नहीं है क्योंकि ध्रुवीकरण पहचान को संतुष्ट नहीं करने के कारण सर्वोच्च मानदंड किसी भी आंतरिक उत्पाद से उत्पन्न नहीं होता है)।

फ़ंक्शंस के हिल्बर्ट स्पेस का निर्माण करना पूरी तरह से सरल नहीं है जो आरकेएचएस नहीं है। हालाँकि, कुछ उदाहरण मिले हैं। वर्ग-अभिन्न फलन|एल² रिक्त स्थान कार्यों के हिल्बर्ट स्थान नहीं हैं (और इसलिए आरकेएचएस नहीं हैं), बल्कि कार्यों के समतुल्य वर्गों के हिल्बर्ट स्थान हैं (उदाहरण के लिए, फ़ंक्शन $f$ और $g$ द्वारा परिभाषित $f(x)=0$ और $g(x)=1_{\mathbb {Q} }$ एल में समतुल्य हैं²). हालाँकि, ऐसे आरकेएचएस हैं जिनमें मानक एल है²-मानदंड, जैसे बैंड-सीमित कार्यों का स्थान (नीचे उदाहरण देखें)।

आरकेएचएस एक कर्नेल से जुड़ा है जो अंतरिक्ष में हर फ़ंक्शन को हर एक के अर्थ में पुन: पेश करता है $x$ उस सेट में जिस पर फ़ंक्शन परिभाषित किए गए हैं, मूल्यांकन पर $x$कर्नेल द्वारा निर्धारित फ़ंक्शन के साथ एक आंतरिक उत्पाद लेकर प्रदर्शन किया जा सकता है। ऐसा पुनरुत्पादन कर्नेल तभी मौजूद होता है जब प्रत्येक मूल्यांकन कार्यात्मकता निरंतर होती है।

पुनरुत्पादन कर्नेल को पहली बार 1907 में स्टैनिस्लाव ज़रेम्बा (गणितज्ञ) के काम में पेश किया गया था, जो हार्मोनिक फ़ंक्शन और बिहारमोनिक समीकरण के लिए सीमा मूल्य समस्याओं से संबंधित था। जेम्स मर्सर (गणितज्ञ) ने एक साथ सकारात्मक-निश्चित कर्नेल की जांच की जो अभिन्न समीकरणों के सिद्धांत में पुनरुत्पादन संपत्ति को संतुष्ट करता है। पुनरुत्पादन कर्नेल का विचार लगभग बीस वर्षों तक अछूता रहा जब तक कि यह गैबोर सजेगो, स्टीफन बर्गमैन और सॉलोमन बोचनर के शोध प्रबंधों में सामने नहीं आया। इस विषय को अंततः 1950 के दशक की शुरुआत में नचमन एरोनज़जन और स्टीफ़न बर्गमैन द्वारा व्यवस्थित रूप से विकसित किया गया था। इन स्थानों में व्यापक अनुप्रयोग हैं, जिनमें जटिल विश्लेषण, हार्मोनिक विश्लेषण और क्वांटम यांत्रिकी शामिल हैं। प्रसिद्ध प्रतिनिधि प्रमेय के कारण सांख्यिकीय शिक्षण सिद्धांत के क्षेत्र में कर्नेल हिल्बर्ट रिक्त स्थान का पुनरुत्पादन विशेष रूप से महत्वपूर्ण है, जिसमें कहा गया है कि आरकेएचएस में प्रत्येक फ़ंक्शन जो एक अनुभवजन्य जोखिम कार्यात्मक को कम करता है, उसे प्रशिक्षण बिंदुओं पर मूल्यांकन किए गए कर्नेल फ़ंक्शन के रैखिक संयोजन के रूप में लिखा जा सकता है। . यह एक व्यावहारिक रूप से उपयोगी परिणाम है क्योंकि यह अनुभवजन्य जोखिम न्यूनीकरण समस्या को अनंत आयामी से सीमित आयामी अनुकूलन समस्या तक प्रभावी ढंग से सरल बनाता है।

समझने में आसानी के लिए, हम वास्तविक-मूल्यवान हिल्बर्ट स्थानों के लिए रूपरेखा प्रदान करते हैं। सिद्धांत को आसानी से जटिल-मूल्य वाले कार्यों के स्थानों तक बढ़ाया जा सकता है और इसलिए इसमें कर्नेल हिल्बर्ट रिक्त स्थान को पुन: प्रस्तुत करने के कई महत्वपूर्ण उदाहरण शामिल हैं जो विश्लेषणात्मक कार्यों के स्थान हैं।

परिभाषा

होने देना $X$ एक मनमाना सेट (गणित) बनें और $H$ वास्तविक-मूल्यवान कार्यों का एक हिल्बर्ट स्थान $X$, बिंदुवार जोड़ और बिंदुवार अदिश गुणन से सुसज्जित। कार्यों के हिल्बर्ट स्थान पर कार्टेशियन बंद श्रेणी#मूल्यांकन कार्यात्मक $H$ एक रैखिक कार्यात्मकता है जो प्रत्येक फ़ंक्शन का एक बिंदु पर मूल्यांकन करती है $x$,

$L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.$

हम कहते हैं कि यदि सभी के लिए H एक 'प्रजनन कर्नेल हिल्बर्ट स्पेस' है $x$ में $X$, $L_{x}$ प्रत्येक पर सतत कार्य (टोपोलॉजी) है $f$ में $H$ या, समकक्ष, यदि $L_{x}$ पर एक परिबद्ध संचालिका है $H$, यानी कुछ मौजूद है $M_{x}>0$ ऐसा है कि

$|L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,$

(1)

यद्यपि $M_{x}<\infty$ सभी के लिए मान लिया गया है $x\in X$, अभी भी ऐसा ही हो सकता है ${\textstyle \sup _{x}M_{x}=\infty }$.

जबकि संपत्ति (1) सबसे कमजोर स्थिति है जो आंतरिक उत्पाद के अस्तित्व और प्रत्येक फ़ंक्शन के मूल्यांकन दोनों को सुनिश्चित करती है $H$ डोमेन के प्रत्येक बिंदु पर, यह व्यवहार में आसान अनुप्रयोग के लिए उपयुक्त नहीं है। आरकेएचएस की एक अधिक सहज परिभाषा यह देखकर प्राप्त की जा सकती है कि यह संपत्ति गारंटी देती है कि मूल्यांकन कार्यात्मकता का आंतरिक उत्पाद लेकर प्रतिनिधित्व किया जा सकता है $f$ एक समारोह के साथ $K_{x}$ में $H$. यह फ़ंक्शन तथाकथित पुनरुत्पादन कर्नेल है हिल्बर्ट स्थान के लिए $H$ जिससे आरकेएचएस का नाम पड़ा। अधिक औपचारिक रूप से, रिज़्ज़ प्रतिनिधित्व प्रमेय का तात्पर्य सभी के लिए है $x$ में $X$ वहां एक अनोखा तत्व मौजूद है $K_{x}$ का $H$ पुनरुत्पादन संपत्ति के साथ,

$f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.$

(2)

तब से $K_{x}$ यह अपने आप में परिभाषित एक फ़ंक्शन है $X$ क्षेत्र में मूल्यों के साथ $\mathbb {R}$ (या $\mathbb {C}$ जटिल हिल्बर्ट स्थानों के मामले में) और जैसे $K_{x}$ में है $H$ हमारे पास वह है

$K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},$

कहाँ $K_{y}\in H$ में तत्व है $H$ के लिए जुड़े $L_{y}$.

यह हमें पुनरुत्पादन कर्नेल को परिभाषित करने की अनुमति देता है $H$ एक समारोह के रूप में $K:X\times X\to \mathbb {R}$ द्वारा

$K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.$

इस परिभाषा से यह देखना आसान है $K:X\times X\to \mathbb {R}$ (या $\mathbb {C}$ जटिल मामले में) सममित (सम्मान संयुग्म सममित) और सकारात्मक निश्चित दोनों है, अर्थात।

$\sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0$

हरएक के लिए $n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .$ मूर-एरोन्सज़जन प्रमेय (नीचे देखें) इसका एक प्रकार से विपरीत है: यदि कोई फ़ंक्शन $K$ इन शर्तों को पूरा करता है तो कार्यों का एक हिल्बर्ट स्थान होता है $X$ जिसके लिए यह एक पुनरुत्पादक कर्नेल है।

उदाहरण

बैंडलिमिटिंग निरंतर कार्यों का स्थान $H$ एक आरकेएचएस है, जैसा कि हम अब दिखाते हैं। औपचारिक रूप से, कुछ कटऑफ आवृत्ति तय करें $0<a<\infty$ और हिल्बर्ट स्थान को परिभाषित करें

$H=\{f\in C(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}$

कहाँ $C(\mathbb {R} )$ सतत वर्ग पूर्णांकीय फलनों का समुच्चय है, और ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$ का फूरियर रूपांतरण है $f$. इस हिल्बर्ट स्पेस के आंतरिक उत्पाद के रूप में, हम उपयोग करते हैं

$\langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.$

फूरियर व्युत्क्रम प्रमेय से, हमारे पास है

$f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .$

इसके बाद कॉची-श्वार्ज़ असमानता और प्लांचरेल के प्रमेय का पालन होता है, जो सभी के लिए है $x$,

$|f(x)|\leq {\frac {1}{2\pi }}{\sqrt {\int _{-a}^{a}2a|F(\omega )|^{2}\,d\omega }}={\frac {1}{\pi }}{\sqrt {{\frac {a}{2}}\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.$

यह असमानता दर्शाती है कि मूल्यांकन कार्यात्मकता सीमित है, जिससे यह साबित होता है $H$ वास्तव में एक आरकेएचएस है।

कर्नेल फ़ंक्शन $K_{x}$ इस मामले में द्वारा दिया गया है

$K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.$

का फूरियर रूपांतरण $K_{x}(y)$ ऊपर परिभाषित द्वारा दिया गया है

$\int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}$

जो फूरियर ट्रांसफॉर्म#बेसिक प्रॉपर्टीज|फूरियर ट्रांसफॉर्म की टाइम-शिफ्टिंग प्रॉपर्टी का परिणाम है। नतीजतन, प्लैंचरेल के प्रमेय का उपयोग करते हुए, हमारे पास है

$\langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).$

इस प्रकार हम कर्नेल की पुनरुत्पादन संपत्ति प्राप्त करते हैं।

$K_{x}$ इस मामले में डिराक डेल्टा फ़ंक्शन का बैंडलिमिटेड संस्करण है, और वह $K_{x}(y)$ में एकत्रित हो जाता है $\delta (y-x)$ कटऑफ आवृत्ति के रूप में कमजोर अर्थ में $a$ अनन्त की ओर प्रवृत्त होता है।

मूर-अरोनज़जन प्रमेय

हमने देखा है कि कैसे एक पुनरुत्पादक कर्नेल हिल्बर्ट स्पेस एक पुनरुत्पादक कर्नेल फ़ंक्शन को परिभाषित करता है जो सममित और सकारात्मक निश्चित कर्नेल दोनों है। मूर-अरोन्सज़जन प्रमेय दूसरी दिशा में जाता है; इसमें कहा गया है कि प्रत्येक सममित, सकारात्मक निश्चित कर्नेल एक अद्वितीय पुनरुत्पादन कर्नेल हिल्बर्ट स्पेस को परिभाषित करता है। प्रमेय पहली बार एरोनज़जन की थ्योरी ऑफ़ रिप्रोड्यूसिंग कर्नेल्स में दिखाई दिया, हालाँकि वह इसका श्रेय ई. एच. मूर को देते हैं।

'प्रमेय'. मान लीजिए कि K एक सेट

'सबूत'। एक्स में सभी एक्स के लिए, के को परिभाषित करें_x= के(एक्स, ⋅ ). चलो एच₀ {K का रैखिक विस्तार हो_x: एक्स ∈ एक्स}. H पर एक आंतरिक उत्पाद को परिभाषित करें₀ द्वारा

$\left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),$

जो ये दर्शाता हे $K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}$. इस आंतरिक उत्पाद की समरूपता K की समरूपता से उत्पन्न होती है और गैर-अपघटन इस तथ्य से उत्पन्न होती है कि K सकारात्मक निश्चित है।

मान लीजिए H, H का समापन (मीट्रिक स्थान) है₀ इस आंतरिक उत्पाद के संबंध में. फिर H में फॉर्म के फ़ंक्शन शामिल हैं

$f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.$

अब हम पुनरुत्पादन गुण की जांच कर सकते हैं (2):

$\langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).$

विशिष्टता साबित करने के लिए, मान लीजिए कि G फ़ंक्शन का एक और हिल्बर्ट स्थान है जिसके लिए K एक पुनरुत्पादक कर्नेल है। X में प्रत्येक x और y के लिए, (2) इसका आशय है

$\langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.$

रैखिकता से, $\langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}$ के विस्तार पर $\{K_{x}:x\in X\}$. तब $H\subset G$ क्योंकि G पूर्ण है और इसमें H शामिल है₀ और इसलिए इसमें इसकी पूर्णता शामिल है।

अब हमें यह सिद्ध करना है कि G का प्रत्येक तत्व H में है $f$ G का एक तत्व हो। चूँकि H, G का एक बंद उपस्थान है, इसलिए हम लिख सकते हैं $f=f_{H}+f_{H^{\bot }}$ कहाँ $f_{H}\in H$ और $f_{H^{\bot }}\in H^{\bot }$. अब अगर $x\in X$ तब, चूँकि K, G और H का पुनरुत्पादक कर्नेल है:

$f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),$

जहाँ हमने इस तथ्य का प्रयोग किया है $K_{x}$ H से संबंधित है ताकि इसका आंतरिक उत्पाद साथ हो $f_{H^{\bot }}$ जी में शून्य है. इससे पता चलता है कि $f=f_{H}$ जी में और प्रमाण समाप्त होता है।

इंटीग्रल ऑपरेटर्स और मर्सर का प्रमेय

हम एक सममित सकारात्मक निश्चित कर्नेल की विशेषता बता सकते हैं $K$ मर्सर के प्रमेय का उपयोग करके इंटीग्रल ऑपरेटर के माध्यम से और आरकेएचएस का एक अतिरिक्त दृश्य प्राप्त करें। होने देना $X$ सख्ती से सकारात्मक परिमित बोरेल माप से सुसज्जित एक कॉम्पैक्ट स्थान बनें $\mu$ और $K:X\times X\to \mathbb {R}$ एक सतत, सममित और सकारात्मक निश्चित कार्य। इंटीग्रल ऑपरेटर को परिभाषित करें $T_{K}:L_{2}(X)\to L_{2}(X)$ जैसा

$[T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)$

कहाँ $L_{2}(X)$ के संबंध में वर्गाकार समाकलनीय फलनों का स्थान है $\mu$.

मर्सर के प्रमेय में कहा गया है कि अभिन्न ऑपरेटर का वर्णक्रमीय अपघटन $T_{K}$ का $K$ का एक श्रृंखला प्रतिनिधित्व प्राप्त होता है $K$ के eigenvalues ​​​​और eigenfunctions के संदर्भ में $T_{K}$. इसका तात्पर्य यह है कि $K$ एक पुनरुत्पादन कर्नेल है ताकि संबंधित आरकेएचएस को इन eigenvalues ​​​​और eigenfunctions के संदर्भ में परिभाषित किया जा सके। हम नीचे विवरण प्रदान करते हैं।

इन धारणाओं के तहत $T_{K}$ एक सघन, सतत, स्व-सहायक और सकारात्मक संचालिका है। स्व-सहायक ऑपरेटरों के लिए वर्णक्रमीय प्रमेय का तात्पर्य है कि अधिकतम गणनीय घटता क्रम है $(\sigma _{i})_{i}\geq 0$ ऐसा है कि ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ और $T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)$, जहां $\{\varphi _{i}\}$ का असामान्य आधार बनाएं $L_{2}(X)$. की सकारात्मकता से $T_{K},\sigma _{i}>0$ सभी के लिए $i.$ वो भी कोई दिखा सकता है $T_{K}$ सतत कार्यों के स्थान में निरंतर मानचित्रण करता है $C(X)$ और इसलिए हम eigenvectors के रूप में निरंतर कार्यों को चुन सकते हैं, अर्थात, $\varphi _{i}\in C(X)$ सभी के लिए $i.$ फिर मर्सर के प्रमेय द्वारा $K$ eigenvalues ​​​​और निरंतर eigenfunctions के संदर्भ में लिखा जा सकता है

$K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)$

सभी के लिए $x,y\in X$ ऐसा है कि

$\lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.$

इस उपरोक्त श्रृंखला प्रतिनिधित्व को मर्सर कर्नेल या मर्सर प्रतिनिधित्व के रूप में जाना जाता है $K$.

इसके अलावा, यह दिखाया जा सकता है कि आरकेएचएस $H$ का $K$ द्वारा दिया गया है

$H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}$

जहां का आंतरिक उत्पाद $H$ द्वारा दिए गए

$\left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.$

आरकेएचएस के इस प्रतिनिधित्व का संभाव्यता और सांख्यिकी में अनुप्रयोग है, उदाहरण के लिए स्टोकेस्टिक प्रक्रियाओं और कर्नेल पीसीए के लिए करहुनेन-लोवे प्रमेय | करहुनेन-लोवे प्रतिनिधित्व।

फ़ीचर मानचित्र

फ़ीचर मानचित्र एक मानचित्र है $\varphi \colon X\rightarrow F$, कहाँ $F$ एक हिल्बर्ट स्पेस है जिसे हम फीचर स्पेस कहेंगे। पहले खंड में बंधे/निरंतर मूल्यांकन कार्यों, सकारात्मक निश्चित कार्यों और अभिन्न ऑपरेटरों के बीच संबंध प्रस्तुत किया गया है और इस खंड में हम फीचर मानचित्रों के संदर्भ में आरकेएचएस का एक और प्रतिनिधित्व प्रदान करते हैं।

प्रत्येक फीचर मैप एक कर्नेल को परिभाषित करता है

$K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.$

(3)

स्पष्ट रूप से $K$ सममित है और सकारात्मक निश्चितता आंतरिक उत्पाद के गुणों से आती है $F$. इसके विपरीत, प्रत्येक सकारात्मक निश्चित फ़ंक्शन और संबंधित पुनरुत्पादन कर्नेल हिल्बर्ट स्पेस में असीमित रूप से कई संबद्ध फ़ीचर मानचित्र होते हैं जैसे कि (3) धारण करता है.

उदाहरण के लिए, हम तुच्छ रूप से ले सकते हैं $F=H$ और $\varphi (x)=K_{x}$ सभी के लिए $x\in X$. तब (3) पुनरुत्पादक संपत्ति से संतुष्ट है। फ़ीचर मैप का एक और शास्त्रीय उदाहरण इंटीग्रल ऑपरेटरों के संबंध में पिछले अनुभाग से संबंधित है $F=\ell ^{2}$ और $\varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}$.

कर्नेल और फीचर मैप के बीच यह संबंध हमें सकारात्मक निश्चित कार्यों को समझने का एक नया तरीका प्रदान करता है और इसलिए कर्नेल को आंतरिक उत्पादों के रूप में पुन: प्रस्तुत करता है। $H$. इसके अलावा, प्रत्येक फीचर मैप एक सकारात्मक निश्चित फ़ंक्शन की परिभाषा के माध्यम से स्वाभाविक रूप से आरकेएचएस को परिभाषित कर सकता है।

अंत में, फीचर मैप हमें फ़ंक्शन स्पेस बनाने की अनुमति देते हैं जो आरकेएचएस पर एक और परिप्रेक्ष्य प्रकट करते हैं। रैखिक स्थान पर विचार करें

$H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

हम एक मानदंड को परिभाषित कर सकते हैं $H_{\varphi }$ द्वारा

$\|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

ऐसा दिखाया जा सकता है $H_{\varphi }$ कर्नेल द्वारा परिभाषित आरकेएचएस है $K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}$. इस प्रतिनिधित्व का तात्पर्य है कि आरकेएचएस के तत्व फीचर स्पेस में तत्वों के आंतरिक उत्पाद हैं और तदनुसार हाइपरप्लेन के रूप में देखे जा सकते हैं। आरकेएचएस का यह दृश्य मशीन लर्निंग में कर्नेल चाल से संबंधित है।

गुण

आरकेएचएस के निम्नलिखित गुण पाठकों के लिए उपयोगी हो सकते हैं।

• होने देना $(X_{i})_{i=1}^{p}$ सेटों का एक क्रम बनें और $(K_{i})_{i=1}^{p}$ संबंधित सकारात्मक निश्चित कार्यों का एक संग्रह बनें $(X_{i})_{i=1}^{p}.$ इसके बाद यह अनुसरण करता है

  $K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})$

  एक कर्नेल चालू है $X=X_{1}\times \dots \times X_{p}.$

• होने देना $X_{0}\subset X,$ फिर का प्रतिबंध $K$ को $X_{0}\times X_{0}$ एक पुनरुत्पादक कर्नेल भी है।
• सामान्यीकृत कर्नेल पर विचार करें $K$ ऐसा है कि $K(x,x)=1$ सभी के लिए $x\in X$. X पर छद्म-मीट्रिक को इस प्रकार परिभाषित करें

  $d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.$

  कॉची-श्वार्ज़ असमानता द्वारा,

  $K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.$

  यह असमानता हमें देखने की अनुमति देती है $K$ इनपुट के बीच समानता माप के रूप में। अगर $x,y\in X$ फिर समान हैं $K(x,y)$ 1 के करीब होगा जबकि यदि $x,y\in X$ फिर भिन्न हैं $K(x,y)$ 0 के करीब होगा.

• के स्पैन का बंद होना $\{K_{x}\mid x\in X\}$ के साथ मेल खाता है $H$.

सामान्य उदाहरण

बिलिनियर गुठली

$K(x,y)=\langle x,y\rangle$

आरकेएचएस $H$ इस कर्नेल के अनुरूप दोहरा स्थान है, जिसमें फ़ंक्शंस शामिल हैं $f(x)=\langle x,\beta \rangle$ संतुष्टि देने वाला $\|f\|_{H}^{2}=\|\beta \|^{2}$.

बहुपद गुठली

$K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N}$

रेडियल आधार फ़ंक्शन कर्नेल

ये गुठली का एक और सामान्य वर्ग है जो संतुष्ट करता है $K(x,y)=K(\|x-y\|)$. कुछ उदाहरणों में शामिल हैं:

• गाऊशियन या वर्गाकार घातीय कर्नेल:

  $K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0$

• लाप्लासियन कर्नेल:

  $K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0$

  किसी फ़ंक्शन का वर्ग मानदंड $f$ आरकेएचएस में $H$ इस कर्नेल के साथ है:

  $\|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.$

बर्गमैन कर्नेल

हम बर्गमैन कर्नेल के उदाहरण भी प्रदान करते हैं। मान लीजिए कि यदि सामान्य आंतरिक उत्पाद का उपयोग किया जाता है, तो के_xवह फ़ंक्शन है जिसका मान x पर 1 और अन्य सभी जगह 0 है, और $K(x,y)$ तब से इसे एक पहचान मैट्रिक्स के रूप में सोचा जा सकता है

$K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}$

इस मामले में, H समरूपी है $\mathbb {C} ^{n}$.

के मामले में $X=\mathbb {D}$ (कहाँ $\mathbb {D}$ यूनिट डिस्क को दर्शाता है) अधिक परिष्कृत है। यहां बर्गमैन स्पेस एच स्क्वायर|$H^{2}(\mathbb {D} )$वर्ग-अभिन्न फलन का स्थान है|वर्ग-अभिन्न होलोमोर्फिक फ़ंक्शन पर $\mathbb {D}$. यह दिखाया जा सकता है कि पुनरुत्पादन कर्नेल के लिए $H^{2}(\mathbb {D} )$ है

$K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.$

अंत में, बैंड का स्थान सीमित कार्य करता है $L^{2}(\mathbb {R} )$ बैंडविड्थ के साथ $2a$ पुनरुत्पादन कर्नेल वाला आरकेएचएस है

$K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.$

वेक्टर-मूल्यवान फ़ंक्शंस का विस्तार

इस खंड में हम आरकेएचएस की परिभाषा को वेक्टर-मूल्यवान कार्यों के स्थानों तक विस्तारित करते हैं क्योंकि यह विस्तार बहु-कार्य सीखने और कई गुना नियमितीकरण में विशेष रूप से महत्वपूर्ण है। मुख्य अंतर यह है कि पुनरुत्पादन कर्नेल $\Gamma$ एक सममित फ़ंक्शन है जो अब प्रत्येक के लिए एक सकारात्मक अर्ध-निश्चित मैट्रिक्स है $x,y$ में $X$. अधिक औपचारिक रूप से, हम एक वेक्टर-मूल्यवान आरकेएचएस (वीवीआरकेएचएस) को कार्यों के हिल्बर्ट स्थान के रूप में परिभाषित करते हैं $f:X\to \mathbb {R} ^{T}$ ऐसा कि सभी के लिए $c\in \mathbb {R} ^{T}$ और $x\in X$

$\Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X$

और

$\langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.$

यह दूसरी संपत्ति अदिश-मूल्य वाले मामले के लिए पुनरुत्पादन संपत्ति के समानांतर है। इस परिभाषा को इंटीग्रल ऑपरेटर्स, बाउंडेड इवैल्यूएशन फ़ंक्शंस और फ़ीचर मैप्स से भी जोड़ा जा सकता है, जैसा कि हमने स्केलर-वैल्यू आरकेएचएस के लिए देखा था। हम वीवीआरकेएचएस को एक सीमित मूल्यांकन कार्यात्मकता के साथ एक वेक्टर-मूल्यवान हिल्बर्ट स्पेस के रूप में परिभाषित कर सकते हैं और दिखा सकते हैं कि यह रिज़्ज़ प्रतिनिधित्व प्रमेय द्वारा एक अद्वितीय पुनरुत्पादन कर्नेल के अस्तित्व का तात्पर्य है। वेक्टर-मूल्य सेटिंग को संबोधित करने के लिए मर्सर के प्रमेय को भी बढ़ाया जा सकता है और इसलिए हम वीवीआरकेएचएस का एक फीचर मैप दृश्य प्राप्त कर सकते हैं। अंत में, यह भी दिखाया जा सकता है कि स्पैन का बंद होना $\{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}$ के साथ मेल खाता है $H$, अदिश-मूल्यवान मामले के समान एक और संपत्ति।

हम इन स्थानों पर घटक-वार परिप्रेक्ष्य लेकर वीवीआरकेएचएस के लिए अंतर्ज्ञान प्राप्त कर सकते हैं। विशेष रूप से, हम पाते हैं कि प्रत्येक वीवीआरकेएचएस एक विशेष इनपुट स्थान पर स्केलर-मूल्य वाले आरकेएचएस के लिए सममितीय रूप से समरूपी है। होने देना $\Lambda =\{1,\dots ,T\}$. स्थान पर विचार करें $X\times \Lambda$ और संबंधित पुनरुत्पादन कर्नेल

$\gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .$

(4)

जैसा कि ऊपर उल्लेख किया गया है, इस पुनरुत्पादन कर्नेल से जुड़ा आरकेएचएस स्पैन के बंद होने से दिया गया है $\{\gamma _{(x,t)}:x\in X,t\in \Lambda \}$ कहाँ

$\gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))$ जोड़ियों के प्रत्येक सेट के लिए $(x,t),(y,s)\in X\times \Lambda$.

स्केलर-मूल्यवान आरकेएचएस से संबंध इस तथ्य से बनाया जा सकता है कि प्रत्येक मैट्रिक्स-मूल्यवान कर्नेल को फॉर्म के कर्नेल के साथ पहचाना जा सकता है (4) के जरिए

$\Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).$

इसके अलावा, प्रत्येक कर्नेल (4) उपरोक्त अभिव्यक्ति के साथ एक मैट्रिक्स-मूल्यवान कर्नेल को परिभाषित करता है। अब नक्शा दे रहा हूँ $D:H_{\Gamma }\to H_{\gamma }$ के रूप में परिभाषित किया जाए

$(Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}$

कहाँ $e_{t}$ है $t^{\text{th}}$ के लिए विहित आधार का घटक $\mathbb {R} ^{T}$, कोई इसे दिखा सकता है $D$ विशेषण है और बीच में एक आइसोमेट्री है $H_{\Gamma }$ और $H_{\gamma }$.

जबकि वीवीआरकेएचएस का यह दृश्य बहु-कार्य सीखने में उपयोगी हो सकता है, यह आइसोमेट्री वेक्टर-मूल्य वाले मामले के अध्ययन को स्केलर-मूल्यवान मामले के अध्ययन तक कम नहीं करता है। वास्तव में, यह आइसोमेट्री प्रक्रिया स्केलर-वैल्यू कर्नेल और इनपुट स्पेस दोनों को व्यवहार में काम करने के लिए बहुत कठिन बना सकती है क्योंकि मूल कर्नेल के गुण अक्सर खो जाते हैं। मैट्रिक्स-मूल्यवान पुनरुत्पादन कर्नेल का एक महत्वपूर्ण वर्ग अलग-अलग कर्नेल हैं जिन्हें स्केलर मूल्यवान कर्नेल के उत्पाद के रूप में फैक्टराइज़ किया जा सकता है और ए $T$-आयामी सममित सकारात्मक अर्ध-निश्चित मैट्रिक्स। हमारी पिछली चर्चा के आलोक में ये गुठलियाँ इस प्रकार हैं

$\gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)$

सभी के लिए $x,y$ में $X$ और $t,s$ में $T$. चूँकि स्केलर-मूल्यवान कर्नेल इनपुट के बीच निर्भरता को एनकोड करता है, हम देख सकते हैं कि मैट्रिक्स-मूल्यवान कर्नेल इनपुट और आउटपुट दोनों के बीच निर्भरता को एनकोड करता है।

हम अंत में टिप्पणी करते हैं कि उपरोक्त सिद्धांत को फ़ंक्शन स्थानों में मानों के साथ कार्यों के स्थानों तक बढ़ाया जा सकता है लेकिन इन स्थानों के लिए कर्नेल प्राप्त करना अधिक कठिन कार्य है।

ReLU फ़ंक्शन के साथ RKHS के बीच कनेक्शन

रेक्टिफायर (तंत्रिका नेटवर्क) को आमतौर पर इस प्रकार परिभाषित किया जाता है $f(x)=\max\{0,x\}$ और यह तंत्रिका नेटवर्क की वास्तुकला में एक मुख्य आधार है जहां इसका उपयोग सक्रियण फ़ंक्शन के रूप में किया जाता है। कर्नेल हिल्बर्ट रिक्त स्थान को पुन: प्रस्तुत करने के सिद्धांत का उपयोग करके कोई ReLU-जैसे नॉनलाइनियर फ़ंक्शन का निर्माण कर सकता है। नीचे, हम इस निर्माण को प्राप्त करते हैं और दिखाते हैं कि यह ReLU सक्रियणों के साथ तंत्रिका नेटवर्क की प्रतिनिधित्व शक्ति को कैसे दर्शाता है।

हम हिल्बर्ट क्षेत्र के साथ काम करेंगे ${\mathcal {H}}=L_{2}^{1}(0)[0,\infty )$ के साथ बिल्कुल निरंतर कार्य करता है $f(0)=0$ और वर्ग पूर्णांक (अर्थात्) $L_{2}$) व्युत्पन्न। इसमें आंतरिक उत्पाद है

$\langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.$

पुनरुत्पादक कर्नेल का निर्माण करने के लिए घने उपस्थान पर विचार करना पर्याप्त है, तो चलिए $f\in C^{1}[0,\infty )$ और $f(0)=0$. कैलकुलस का मौलिक प्रमेय तब देता है

$f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle$

कहाँ

$G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}$ और $K_{y}'(x)=G(x,y),\ K_{y}(0)=0$ अर्थात।

$K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)$

यह संकेत करता है $K_{y}=K(\cdot ,y)$ पुनरुत्पादन करता है $f$.

इसके अलावा न्यूनतम फ़ंक्शन चालू है $X\times X=[0,\infty )\times [0,\infty )$ ReLu फ़ंक्शन के साथ निम्नलिखित प्रस्तुतियाँ हैं:

$\min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).$

इस फॉर्मूलेशन का उपयोग करके, हम प्रतिनिधि प्रमेय को आरकेएचएस पर लागू कर सकते हैं, जिससे तंत्रिका नेटवर्क सेटिंग्स में ReLU सक्रियणों का उपयोग करने की इष्टतमता साबित हो सकती है।

यह भी देखें

• सकारात्मक निश्चित कर्नेल
• मर्सर का प्रमेय
• कर्नेल ट्रिक
• वितरण की कर्नेल एम्बेडिंग
• प्रतिनिधि प्रमेय

संदर्भ

• Alvarez, Mauricio, Rosasco, Lorenzo and Lawrence, Neil, “Kernels for Vector-Valued Functions: a Review,” https://arxiv.org/abs/1106.6251, June 2011.
• Aronszajn, Nachman (1950). "Theory of Reproducing Kernels". Transactions of the American Mathematical Society. 68 (3): 337–404. doi:10.1090/S0002-9947-1950-0051437-7. JSTOR 1990404. MR 0051437.
• Berlinet, Alain and Thomas, Christine. Reproducing kernel Hilbert spaces in Probability and Statistics, Kluwer Academic Publishers, 2004.
• Cucker, Felipe; Smale, Steve (2002). "On the Mathematical Foundations of Learning". Bulletin of the American Mathematical Society. 39 (1): 1–49. doi:10.1090/S0273-0979-01-00923-5. MR 1864085.
• De Vito, Ernest, Umanita, Veronica, and Villa, Silvia. "An extension of Mercer theorem to vector-valued measurable kernels," arXiv:1110.4017, June 2013.
• Durrett, Greg. 9.520 Course Notes, Massachusetts Institute of Technology, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, February 2010.
• Kimeldorf, George; Wahba, Grace (1971). "Some results on Tchebycheffian Spline Functions" (PDF). Journal of Mathematical Analysis and Applications. 33 (1): 82–95. doi:10.1016/0022-247X(71)90184-3. MR 0290013.
• Okutmustur, Baver. “Reproducing Kernel Hilbert Spaces,” M.S. dissertation, Bilkent University, http://www.thesis.bilkent.edu.tr/0002953.pdf, August 2005.
• Paulsen, Vern. “An introduction to the theory of reproducing kernel Hilbert spaces,” http://www.math.uh.edu/~vern/rkhs.pdf.
• Steinwart, Ingo; Scovel, Clint (2012). "Mercer's theorem on general domains: On the interaction between measures, kernels, and RKHSs". Constr. Approx. 35 (3): 363–417. doi:10.1007/s00365-012-9153-3. MR 2914365.
• Rosasco, Lorenzo and Poggio, Thomas. "A Regularization Tour of Machine Learning – MIT 9.520 Lecture Notes" Manuscript, Dec. 2014.
• Wahba, Grace, Spline Models for Observational Data, SIAM, 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "Refinement of Operator-valued Reproducing Kernels" (PDF). Journal of Machine Learning Research. 13: 91–136.