कर्नेल प्रधान घटक विश्लेषण: Difference between revisions

Latest revision as of 12:05, 5 June 2023

बहुभिन्नरूपी आँकड़े के क्षेत्र में, कर्नेल प्रधान घटक विश्लेषण (कर्नेल पीसीए)^[1] कर्नेल विधियों की तकनीकों का उपयोग करके प्रधान घटक विश्लेषण (पीसीए) का एक विस्तार है। कर्नेल का उपयोग करते हुए, पीसीए का मूल रूप से रैखिक संचालन एक पुनरुत्पादन कर्नेल हिल्बर्ट स्पेस (आरकेएचएस) में किया जाता है।

पृष्ठभूमि: रैखिक पीसीए

याद रखें कि पारंपरिक पीसीए शून्य-केंद्रित डेटा पर काम करता है; वह है,

{\frac {1}{N}}\sum _{i=1}^{N}\mathbf {x} _{i}=\mathbf {0}

,

जहां $\mathbf {x} _{i}$ इनमें से एक $N$ बहुभिन्नरूपी अवलोकन है। यह सहप्रसरण आव्यूह को विकर्ण करके संचालित होता है,

C={\frac {1}{N}}\sum _{i=1}^{N}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }

दूसरे शब्दों में, यह सहप्रसरण आव्यूह का एक आइगेनअपघटन देता है:

\lambda \mathbf {v} =C\mathbf {v}

जिसे फिर से लिखा जा सकता है

\lambda \mathbf {x} _{i}^{\top }\mathbf {v} =\mathbf {x} _{i}^{\top }C\mathbf {v} \quad {\textrm {for}}~i=1,\ldots ,N

.^[2]

(यह भी देखें: सहप्रसरण आव्यूह एक रैखिक संचालक के रूप में)

पीसीए के लिए कर्नेल का परिचय

कर्नेल पीसीए की उपयोगिता को समझने के लिए, विशेष रूप से क्लस्टरिंग के लिए, निरीक्षण करें कि, जबकि एन अंक सामान्य रूप से रैखिक पृथक्करणीयता नहीं हो सकते हैं $d<N$ आयाम, वे लगभग हमेशा रैखिक रूप से अलग हो सकते हैं $d\geq N$ आयाम। अर्थात एन अंक दिए गए हैं, $\mathbf {x} _{i}$ , यदि हम उन्हें एन-आयाम स्थान के साथ मैप करते हैं

\Phi (\mathbf {x} _{i})

जहां

\Phi :\mathbb {R} ^{d}\to \mathbb {R} ^{N}

,

एक हाइपरप्लेन का निर्माण करना आसान है जो बिंदुओं को मनमाना समूहों में विभाजित करता है। बेशक, यह

\Phi

रैखिक रूप से स्वतंत्र सदिश बनाता है, इसलिए ऐसा कोई सहप्रसरण नहीं है जिस पर स्पष्ट रूप से आइगेनअपघटन किया जा सके जैसा कि हम रैखिक पीसीए में करते हैं।

इसके अतिरिक्त, कर्नेल पीसीए में, एक गैर-तुच्छ, मनमाना $\Phi$ फलन 'चयनित' है जिसकी कभी भी स्पष्ट रूप से गणना नहीं की जाती है, जिससे संभावना को बहुत उच्च-आयामी उपयोग करने की अनुमति मिलती है $\Phi$ यदि हमें वास्तव में उस स्थान में डेटा का मूल्यांकन नहीं करना है। चूंकि हम सामान्यतः काम करने से बचने की प्रयास करते हैं $\Phi$ -स्पेस, जिसे हम 'फीचर स्पेस' कहेंगे, हम एन-बाय-एन कर्नेल बना सकते हैं

K=k(\mathbf {x} ,\mathbf {y} )=(\Phi (\mathbf {x} ),\Phi (\mathbf {y} ))=\Phi (\mathbf {x} )^{T}\Phi (\mathbf {y} )

जो आंतरिक उत्पाद स्थान (ग्रामियन आव्यूह देखें) का प्रतिनिधित्व करता है। एक कर्नेल के निर्माण में उत्पन्न होने वाला दोहरा रूप हमें गणितीय रूप से पीसीए के एक संस्करण को तैयार करने की अनुमति देता है जिसमें हम वास्तव में सहप्रसरण आव्यूह के अभिलक्षणिक सदिश और अभिलक्षणिक मान को हल नहीं करते हैं। $\Phi (\mathbf {x} )$ -स्पेस (कर्नेल चाल देखें)। K के प्रत्येक स्तंभ में N-तत्व सभी रूपांतरित बिंदुओं (N बिंदुओं) के संबंध में रूपांतरित डेटा के एक बिंदु के डॉट उत्पाद का प्रतिनिधित्व करते हैं। नीचे दिए गए उदाहरण में कुछ जाने-माने कर्नेल दिखाए गए हैं।

क्योंकि हम कभी भी फीचर स्पेस में सीधे काम नहीं कर रहे हैं, पीसीए का कर्नेल-फॉर्मूलेशन प्रतिबंधित है, क्योंकि यह स्वयं प्रमुख घटकों की गणना नहीं करता है, बल्कि उन घटकों पर हमारे डेटा के अनुमानों की गणना करता है। फीचर स्पेस में एक बिंदु से प्रक्षेपण का मूल्यांकन करने के लिए $\Phi (\mathbf {x} )$ kवें प्रमुख घटक पर $V^{k}$ (जहाँ सुपरस्क्रिप्ट k का अर्थ है घटक k, k की शक्तियाँ नहीं)

{V^{k}}^{T}\Phi (\mathbf {x} )=\left(\sum _{i=1}^{N}\mathbf {a} _{i}^{k}\Phi (\mathbf {x} _{i})\right)^{T}\Phi (\mathbf {x} )

हमने ध्यान दिया कि $\Phi (\mathbf {x} _{i})^{T}\Phi (\mathbf {x} )$ डॉट उत्पाद को दर्शाता है, जो केवल कर्नेल के तत्व $K$ है। ऐसा लगता है कि जो कुछ बचा है, उसकी गणना और सामान्यीकरण करना है $\mathbf {a} _{i}^{k}$ , जो अभिलक्षणिक सदिश समीकरण को हल करके किया जा सकता है

N\lambda \mathbf {a} =K\mathbf {a}

जहां $N$ समुच्चय में डेटा बिंदुओं की संख्या है, और $\lambda$ और $\mathbf {a}$ के अभिलक्षणिक मान और अभिलक्षणिक सदिश हैं $K$ . फिर अभिलक्षणिक सदिश को सामान्य करने के लिए $\mathbf {a} ^{k}$ ,की हमें आवश्यकता होती है

1=(V^{k})^{T}V^{k}

इस बात का ध्यान रखा जाना चाहिए कि $x$ अपने मूल स्थान में शून्य-माध्य है या नहीं है, यह सुविधा स्थान में केंद्रित होने की गारंटी नहीं है (जिसे हम कभी भी स्पष्ट रूप से गणना नहीं करते हैं)। चूंकि एक प्रभावी प्रमुख घटक विश्लेषण करने के लिए केंद्रित डेटा की आवश्यकता होती है, इसलिए हमें 'केंद्रित आव्यूह' $K$ बनना $K'$ है।

K'=K-\mathbf {1_{N}} K-K\mathbf {1_{N}} +\mathbf {1_{N}} K\mathbf {1_{N}}

जहां $\mathbf {1_{N}}$ एन-बाय-एन आव्यूह को दर्शाता है जिसके लिए प्रत्येक तत्व मान लेता है $1/N$ . हम उपयोग करते हैं $K'$ ऊपर वर्णित कर्नेल पीसीए एल्गोरिथम को निष्पादित करने के लिए।

कर्नेल पीसीए की एक चेतावनी को यहाँ उदाहरण से स्पष्ट किया जाना चाहिए। रैखिक पीसीए में, हम प्रत्येक प्रमुख घटक द्वारा डेटा की कितनी भिन्नता पर आधारित अभिलक्षणिक सदिशों को रैंक करने के लिए अभिलक्षणिक मान का उपयोग कर सकते हैं। यह डेटा आयाम में कमी के लिए उपयोगी है और इसे केपीसीए पर भी लागू किया जा सकता है। चूंकि, व्यवहार में ऐसे स्थितियों होते हैं कि डेटा की सभी विविधताएँ समान होती हैं। यह सामान्यतः कर्नेल स्केल के गलत चुनाव के कारण होता है।

बड़ा डेटासमुच्चय

व्यवहार में, एक बड़ा डेटा समुच्चय एक बड़े K की ओर ले जाता है, और K को स्टोर करना एक समस्या बन सकता है। इससे निपटने का एक उपाय डेटासमुच्चय पर क्लस्टरिंग करना है, और उन क्लस्टर्स के माध्यम से कर्नेल को पॉप्युलेट करना है। चूँकि यह विधि भी अपेक्षाकृत बड़ा K उत्पन्न कर सकती है, केवल शीर्ष पी अभिलक्षणिक मान की गणना करना सामान्य है और अभिलक्षणिक मान के अभिलक्षणिक सदिश की गणना इस तरह से की जाती है।

उदाहरण

कर्नेल पीसीए से पहले इनपुट बिंदु

बिंदुओं के तीन संकेंद्रित समूहों पर विचार करें (दिखाया गया है); हम इन समूहों की पहचान करने के लिए कर्नेल पीसीए का उपयोग करना चाहते हैं। बिंदुओं का रंग एल्गोरिथम में सम्मलित जानकारी का प्रतिनिधित्व नहीं करता है, लेकिन केवल यह दर्शाता है कि परिवर्तन डेटा बिंदुओं को कैसे स्थानांतरित करता है।

पहले कर्नेल पर विचार करें

k({\boldsymbol {x}},{\boldsymbol {y}})=({\boldsymbol {x}}^{\mathrm {T} }{\boldsymbol {y}}+1)^{2}

इसे कर्नेल पीसीए पर लागू करने से अगली आकृति प्राप्त होती है।

कर्नेल पीसीए के पश्चात आउटपुट

k({\boldsymbol {x}},{\boldsymbol {y}})=({\boldsymbol {x}}^{\mathrm {T} }{\boldsymbol {y}}+1)^{2}

. तीन समूहों को केवल पहले घटक का उपयोग करके पहचाना जा सकता है।

अब गॉसियन कर्नेल पर विचार करें:

k({\boldsymbol {x}},{\boldsymbol {y}})=e^{\frac {-||{\boldsymbol {x}}-{\boldsymbol {y}}||^{2}}{2\sigma ^{2}}},

यही है, यह कर्नेल निकटता का माप है, 1 के बराबर जब अंक मिलते हैं और अनंत पर तब 0 के बराबर होते हैं।

विशेष रूप से ध्यान दें कि पहला प्रमुख घटक तीन अलग-अलग समूहों को अलग करने के लिए पर्याप्त है, जब कि केवल रैखिक पीसीए का उपयोग करना असंभव है, चूंकि रैखिक पीसीए केवल दिए गए (इस मामले में द्वि-आयामी) स्थान में संचालित होता है, जिसमें ये बिंदुओं के तीन संकेंद्रित समूह हैं रैखिक रूप से वियोज्य नहीं।

अनुप्रयोग

कर्नेल पीसीए को नवीनता का पता लगाना^[3] और आकृति फैलने में कमी के लिए उपयोगी दिखाया गया है।^[4]

यह भी देखें

संदर्भ

↑ Schölkopf, Bernhard; Smola, Alex; Müller, Klaus-Robert (1998). "कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस". Neural Computation. 10 (5): 1299–1319. CiteSeerX 10.1.1.100.3636. doi:10.1162/089976698300017467. S2CID 6674407.
↑ Scholkopf, Bernhard; Smola, Alexander; Müller, Klaus-Robert (December 1996). कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस (PDF) (Technical report). Max-Planck-Institut für biologische Kybernetik. 44.
↑ Hoffmann, Heiko (2007). "नॉवेल्टी डिटेक्शन के लिए कर्नेल पीसीए". Pattern Recognition. 40 (3): 863–874. doi:10.1016/j.patcog.2006.07.009.
↑ Kernel PCA and De-Noising in Feature Spaces. NIPS, 1999

[:0-1] Schölkopf, Bernhard; Smola, Alex; Müller, Klaus-Robert (1998). "कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस". Neural Computation. 10 (5): 1299–1319. CiteSeerX 10.1.1.100.3636. doi:10.1162/089976698300017467. S2CID 6674407.

[2] Scholkopf, Bernhard; Smola, Alexander; Müller, Klaus-Robert (December 1996). कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस (PDF) (Technical report). Max-Planck-Institut für biologische Kybernetik. 44.

[3] Hoffmann, Heiko (2007). "नॉवेल्टी डिटेक्शन के लिए कर्नेल पीसीए". Pattern Recognition. 40 (3): 863–874. doi:10.1016/j.patcog.2006.07.009.

[4] Kernel PCA and De-Noising in Feature Spaces. NIPS, 1999

[1]

[2]

[3]

[4]

@@ Line 1: / Line 1: @@
-बहुभिन्नरूपी सांख्यिकी के क्षेत्र में, कर्नेल प्रिंसिपल कंपोनेंट एनालिसिस (कर्नेल पीसीए)<ref name=":0">{{cite journal | doi = 10.1162/089976698300017467 | volume=10 | issue=5 | title=कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस| year=1998 | journal=Neural Computation | pages=1299–1319 | last1 = Schölkopf | first1 = Bernhard| author2-last=Smola| author2-first=Alex| author3-last=Müller| author3-first=Klaus-Robert|author-link3=Klaus-Robert Müller| citeseerx=10.1.1.100.3636 | s2cid=6674407 }}</ref> कर्नेल विधियों की तकनीकों का उपयोग करके प्रिंसिपल कंपोनेंट एनालिसिस (पीसीए) का एक विस्तार है। कर्नेल का उपयोग करते हुए, पीसीए का मूल रूप से रैखिक संचालन एक पुनरुत्पादित कर्नेल हिल्बर्ट स्पेस में किया जाता है।
+बहुभिन्नरूपी आँकड़े के क्षेत्र में, '''कर्नेल प्रधान घटक विश्लेषण''' (कर्नेल पीसीए)<ref name=":0">{{cite journal | doi = 10.1162/089976698300017467 | volume=10 | issue=5 | title=कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस| year=1998 | journal=Neural Computation | pages=1299–1319 | last1 = Schölkopf | first1 = Bernhard| author2-last=Smola| author2-first=Alex| author3-last=Müller| author3-first=Klaus-Robert|author-link3=Klaus-Robert Müller| citeseerx=10.1.1.100.3636 | s2cid=6674407 }}</ref> कर्नेल विधियों की तकनीकों का उपयोग करके प्रधान घटक विश्लेषण (पीसीए) का एक विस्तार है। कर्नेल का उपयोग करते हुए, पीसीए का मूल रूप से रैखिक संचालन एक पुनरुत्पादन कर्नेल हिल्बर्ट स्पेस (आरकेएचएस) में किया जाता है।
 == पृष्ठभूमि: रैखिक पीसीए ==
 याद रखें कि पारंपरिक पीसीए शून्य-केंद्रित डेटा पर काम करता है; वह है,
 :<math>\frac{1}{N}\sum_{i=1}^N \mathbf{x}_i = \mathbf{0}</math>,
-कहाँ <math>\mathbf{x}_i</math> इनमें से एक है <math>N</math> बहुभिन्नरूपी अवलोकन। यह सहप्रसरण मैट्रिक्स को विकर्ण करके संचालित होता है,
+जहां <math>\mathbf{x}_i</math> इनमें से एक <math>N</math> बहुभिन्नरूपी अवलोकन है। यह सहप्रसरण आव्यूह को विकर्ण करके संचालित होता है,
 :<math>C=\frac{1}{N}\sum_{i=1}^N \mathbf{x}_i\mathbf{x}_i^\top</math>
-दूसरे शब्दों में, यह सहप्रसरण मैट्रिक्स का एक आइगेनडीकंपोजिशन देता है:
+दूसरे शब्दों में, यह सहप्रसरण आव्यूह का एक आइगेनअपघटन देता है:
 :<math>\lambda \mathbf{v}=C\mathbf{v}</math>
 जिसे फिर से लिखा जा सकता है
 :<math>\lambda \mathbf{x}_i^\top \mathbf{v}=\mathbf{x}_i^\top C\mathbf{v} \quad \textrm{for}~i=1,\ldots,N</math>.<ref>{{cite techreport |url=http://www.face-rec.org/algorithms/Kernel/kernelPCA_scholkopf.pdf |title=कर्नेल आइगेनवैल्यू प्रॉब्लम के रूप में नॉनलाइनियर कंपोनेंट एनालिसिस|publisher=Max-Planck-Institut für biologische Kybernetik |date=December 1996 |id=44 |first1=Bernhard |last1=Scholkopf |first2=Alexander |last2=Smola |first3=Klaus-Robert |last3=Müller }}</ref>
-(यह भी देखें: सहप्रसरण मैट्रिक्स एक रैखिक ऑपरेटर के रूप में)
+(यह भी देखें: सहप्रसरण आव्यूह एक रैखिक संचालक के रूप में)
 == पीसीए के लिए कर्नेल का परिचय ==
-कर्नेल पीसीए की उपयोगिता को समझने के लिए, विशेष रूप से क्लस्टरिंग के लिए, निरीक्षण करें कि, जबकि एन अंक सामान्य रूप से [[रैखिक पृथक्करण|रैखिक पृथक्करणीयता]]  नहीं हो सकते हैं <math>d < N</math> आयाम, वे [[लगभग हमेशा]] रैखिक रूप से अलग हो सकते हैं <math>d \geq N</math> आयाम। यानी एन अंक दिए गए हैं, <math>\mathbf{x}_i</math>, अगर हम उन्हें एन-डायमेंशनल स्थान के साथ मैप करते हैं
+कर्नेल पीसीए की उपयोगिता को समझने के लिए, विशेष रूप से क्लस्टरिंग के लिए, निरीक्षण करें कि, जबकि एन अंक सामान्य रूप से रैखिक पृथक्करणीयता नहीं हो सकते हैं <math>d < N</math> आयाम, वे लगभग हमेशा रैखिक रूप से अलग हो सकते हैं <math>d \geq N</math> आयाम। अर्थात एन अंक दिए गए हैं, <math>\mathbf{x}_i</math>, यदि हम उन्हें एन-आयाम स्थान के साथ मैप करते हैं
-:<math>\Phi(\mathbf{x}_i)</math> कहाँ <math>\Phi : \mathbb{R}^d \to \mathbb{R}^N</math>,
+:<math>\Phi(\mathbf{x}_i)</math> जहां <math>\Phi : \mathbb{R}^d \to \mathbb{R}^N</math>,
-एक [[ hyperplane |हाइपरप्लेन]] का निर्माण करना आसान है जो बिंदुओं को मनमाना समूहों में विभाजित करता है। बेशक, यह <math>\Phi</math> रैखिक रूप से स्वतंत्र वैक्टर बनाता है, इसलिए ऐसा कोई सहप्रसरण नहीं है जिस पर स्पष्ट रूप से  आइगेनडीकंपोजिशन किया जा सके जैसा कि हम रैखिक पीसीए में करते हैं।
+:एक [[ hyperplane |हाइपरप्लेन]] का निर्माण करना आसान है जो बिंदुओं को मनमाना समूहों में विभाजित करता है। बेशक, यह <math>\Phi</math> रैखिक रूप से स्वतंत्र सदिश बनाता है, इसलिए ऐसा कोई सहप्रसरण नहीं है जिस पर स्पष्ट रूप से  आइगेनअपघटन किया जा सके जैसा कि हम रैखिक पीसीए में करते हैं।
+इसके अतिरिक्त, कर्नेल पीसीए में, एक गैर-तुच्छ, मनमाना <math>\Phi</math> फलन 'चयनित' है जिसकी कभी भी स्पष्ट रूप से गणना नहीं की जाती है, जिससे संभावना को बहुत उच्च-आयामी उपयोग करने की अनुमति मिलती है <math>\Phi</math> यदि हमें वास्तव में उस स्थान में डेटा का मूल्यांकन नहीं करना है। चूंकि हम सामान्यतः काम करने से बचने की प्रयास करते हैं <math>\Phi</math>-स्पेस, जिसे हम 'फीचर स्पेस' कहेंगे, हम एन-बाय-एन कर्नेल बना सकते हैं
-इसके बजाय, कर्नेल पीसीए में, एक गैर-तुच्छ, मनमाना <math>\Phi</math> फ़ंक्शन 'चयनित' है जिसकी कभी भी स्पष्ट रूप से गणना नहीं की जाती है, जिससे संभावना को बहुत उच्च-आयामी उपयोग करने की अनुमति मिलती है <math>\Phi</math> अगर हमें वास्तव में उस स्थान में डेटा का मूल्यांकन नहीं करना है। चूंकि हम आम तौर पर काम करने से बचने की प्रयास करते हैं <math>\Phi</math>-स्पेस, जिसे हम 'फीचर स्पेस' कहेंगे, हम एन-बाय-एन कर्नेल बना सकते हैं
 :<math>K = k(\mathbf{x},\mathbf{y}) = (\Phi(\mathbf{x}),\Phi(\mathbf{y})) = \Phi(\mathbf{x})^T\Phi(\mathbf{y})</math>
-जो आंतरिक उत्पाद स्थान ([[ग्रामियन मैट्रिक्स]] देखें) का प्रतिनिधित्व करता है। एक कर्नेल के निर्माण में उत्पन्न होने वाला दोहरा रूप हमें गणितीय रूप से पीसीए के एक संस्करण को तैयार करने की अनुमति देता है जिसमें हम वास्तव में सहप्रसरण मैट्रिक्स के आइगेनवेक्टर्स और आइगेनवैल्यू को हल नहीं करते हैं। <math>\Phi(\mathbf{x})</math>-स्पेस ([[कर्नेल चाल]] देखें)। K के प्रत्येक स्तंभ में N-तत्व सभी रूपांतरित बिंदुओं (N बिंदुओं) के संबंध में रूपांतरित डेटा के एक बिंदु के डॉट उत्पाद का प्रतिनिधित्व करते हैं। नीचे दिए गए उदाहरण में कुछ जाने-माने कर्नेल दिखाए गए हैं।
+जो आंतरिक उत्पाद स्थान (ग्रामियन आव्यूह देखें) का प्रतिनिधित्व करता है। एक कर्नेल के निर्माण में उत्पन्न होने वाला दोहरा रूप हमें गणितीय रूप से पीसीए के एक संस्करण को तैयार करने की अनुमति देता है जिसमें हम वास्तव में सहप्रसरण आव्यूह के अभिलक्षणिक सदिश और अभिलक्षणिक मान को हल नहीं करते हैं। <math>\Phi(\mathbf{x})</math>-स्पेस ([[कर्नेल चाल]] देखें)। K के प्रत्येक स्तंभ में N-तत्व सभी रूपांतरित बिंदुओं (N बिंदुओं) के संबंध में रूपांतरित डेटा के एक बिंदु के डॉट उत्पाद का प्रतिनिधित्व करते हैं। नीचे दिए गए उदाहरण में कुछ जाने-माने कर्नेल दिखाए गए हैं।
 क्योंकि हम कभी भी फीचर स्पेस में सीधे काम नहीं कर रहे हैं, पीसीए का कर्नेल-फॉर्मूलेशन प्रतिबंधित है, क्योंकि यह स्वयं प्रमुख घटकों की गणना नहीं करता है, बल्कि उन घटकों पर हमारे डेटा के अनुमानों की गणना करता है। फीचर स्पेस में एक बिंदु से प्रक्षेपण का मूल्यांकन करने के लिए <math>\Phi(\mathbf{x})</math> kवें प्रमुख घटक पर <math>V^k</math> (जहाँ सुपरस्क्रिप्ट k का अर्थ है घटक k, k की शक्तियाँ नहीं)
 :<math>{V^k}^T\Phi(\mathbf{x}) =\left(\sum_{i=1}^N \mathbf{a}^k_i\Phi(\mathbf{x}_i)\right)^T\Phi(\mathbf{x}) </math>
-हमने ध्यान दिया कि <math>\Phi(\mathbf{x}_i)^T\Phi(\mathbf{x})</math> डॉट उत्पाद को दर्शाता है, जो केवल कर्नेल के तत्व हैं <math>K</math> है। ऐसा लगता है कि जो कुछ बचा है, उसकी गणना और सामान्यीकरण करना है  <math>\mathbf{a}_i^k</math>, जो ईजेनवेक्टर समीकरण को हल करके किया जा सकता है
+हमने ध्यान दिया कि <math>\Phi(\mathbf{x}_i)^T\Phi(\mathbf{x})</math> डॉट उत्पाद को दर्शाता है, जो केवल कर्नेल के तत्व <math>K</math> है। ऐसा लगता है कि जो कुछ बचा है, उसकी गणना और सामान्यीकरण करना है  <math>\mathbf{a}_i^k</math>, जो अभिलक्षणिक सदिश समीकरण को हल करके किया जा सकता है
 :<math>N \lambda\mathbf{a}  =K\mathbf{a}</math>
-कहाँ <math>N</math> सेट में डेटा बिंदुओं की संख्या है, और <math>\lambda</math> और <math>\mathbf{a}</math> के आइगेनवैल्यू और आइगेनवेक्टर्स हैं <math>K</math>. फिर आइगेनवेक्टर्स को सामान्य करने के लिए <math>\mathbf{a}^k</math>,की हमें आवश्यकता होती है
+जहां <math>N</math> समुच्चय में डेटा बिंदुओं की संख्या है, और <math>\lambda</math> और <math>\mathbf{a}</math> के अभिलक्षणिक मान और अभिलक्षणिक सदिश हैं <math>K</math>. फिर अभिलक्षणिक सदिश को सामान्य करने के लिए <math>\mathbf{a}^k</math>,की हमें आवश्यकता होती है
 :<math>1 = (V^k)^T V^k</math>
-इस बात का ध्यान रखा जाना चाहिए कि <math>x</math> अपने मूल स्थान में शून्य-माध्य है या नहीं है, यह सुविधा स्थान में केंद्रित होने की गारंटी नहीं है (जिसे हम कभी भी स्पष्ट रूप से गणना नहीं करते हैं)। चूंकि एक प्रभावी प्रमुख घटक विश्लेषण करने के लिए केंद्रित डेटा की आवश्यकता होती है, इसलिए हमें '[[केंद्रित मैट्रिक्स]]' <math>K</math> बनना है <math>K'</math>
+इस बात का ध्यान रखा जाना चाहिए कि <math>x</math> अपने मूल स्थान में शून्य-माध्य है या नहीं है, यह सुविधा स्थान में केंद्रित होने की गारंटी नहीं है (जिसे हम कभी भी स्पष्ट रूप से गणना नहीं करते हैं)। चूंकि एक प्रभावी प्रमुख घटक विश्लेषण करने के लिए केंद्रित डेटा की आवश्यकता होती है, इसलिए हमें 'केंद्रित आव्यूह' <math>K</math> बनना  <math>K'</math>है।
 :<math>K' = K - \mathbf{1_N} K - K \mathbf{1_N} + \mathbf{1_N} K \mathbf{1_N}</math>
-कहाँ  <math>\mathbf{1_N}</math> एन-बाय-एन मैट्रिक्स को दर्शाता है जिसके लिए प्रत्येक तत्व मान लेता है <math>1/N</math>. हम उपयोग करते हैं <math>K'</math> ऊपर वर्णित कर्नेल पीसीए एल्गोरिथम को निष्पादित करने के लिए।
+जहां  <math>\mathbf{1_N}</math> एन-बाय-एन आव्यूह को दर्शाता है जिसके लिए प्रत्येक तत्व मान लेता है <math>1/N</math>. हम उपयोग करते हैं <math>K'</math> ऊपर वर्णित कर्नेल पीसीए एल्गोरिथम को निष्पादित करने के लिए।
-कर्नेल पीसीए की एक चेतावनी को यहाँ उदाहरण से स्पष्ट किया जाना चाहिए। रैखिक पीसीए में, हम प्रत्येक प्रमुख घटक द्वारा डेटा की कितनी भिन्नता पर आधारित ईजेनवेक्टरों को रैंक करने के लिए ईजेनवेल्यूज का उपयोग कर सकते हैं। यह डेटा आयाम में कमी के लिए उपयोगी है और इसे केपीसीए पर भी लागू किया जा सकता है। हालाँकि, व्यवहार में ऐसे मामले होते हैं कि डेटा की सभी विविधताएँ समान होती हैं। यह आमतौर पर कर्नेल स्केल के गलत चुनाव के कारण होता है।
+कर्नेल पीसीए की एक चेतावनी को यहाँ उदाहरण से स्पष्ट किया जाना चाहिए। रैखिक पीसीए में, हम प्रत्येक प्रमुख घटक द्वारा डेटा की कितनी भिन्नता पर आधारित अभिलक्षणिक सदिशों को रैंक करने के लिए अभिलक्षणिक मान  का उपयोग कर सकते हैं। यह डेटा आयाम में कमी के लिए उपयोगी है और इसे केपीसीए पर भी लागू किया जा सकता है। चूंकि, व्यवहार में ऐसे स्थितियों होते हैं कि डेटा की सभी विविधताएँ समान होती हैं। यह सामान्यतः कर्नेल स्केल के गलत चुनाव के कारण होता है।
-== बड़े डेटासेट ==
+== बड़ा डेटासमुच्चय ==
-व्यवहार में, एक बड़ा डेटा सेट एक बड़े K की ओर ले जाता है, और K को स्टोर करना एक समस्या बन सकता है। इससे निपटने का एक तरीका डेटासेट पर क्लस्टरिंग करना है, और उन क्लस्टर्स के माध्यम से कर्नेल को पॉप्युलेट करना है। चूँकि यह विधि भी अपेक्षाकृत बड़ी K उत्पन्न कर सकती है, केवल शीर्ष P eigenvalues की गणना करना आम है और eigenvalues के eigenvectors की गणना इस तरह से की जाती है।
+व्यवहार में, एक बड़ा डेटा समुच्चय एक बड़े K की ओर ले जाता है, और K को स्टोर करना एक समस्या बन सकता है। इससे निपटने का एक उपाय डेटासमुच्चय पर क्लस्टरिंग करना है, और उन क्लस्टर्स के माध्यम से कर्नेल को पॉप्युलेट करना है। चूँकि यह विधि भी अपेक्षाकृत बड़ा K उत्पन्न कर सकती है, केवल शीर्ष पी अभिलक्षणिक मान की गणना करना सामान्य है और अभिलक्षणिक मान के अभिलक्षणिक सदिश की गणना इस तरह से की जाती है।
 == उदाहरण ==
-[[Image:Kernel pca input.png|thumb|300px|कर्नेल पीसीए से पहले इनपुट बिंदु]]बिंदुओं के तीन गाढ़ा बादलों पर विचार करें (दिखाया गया); हम इन समूहों की पहचान करने के लिए कर्नेल पीसीए का उपयोग करना चाहते हैं। बिंदुओं का रंग एल्गोरिथम में शामिल जानकारी का प्रतिनिधित्व नहीं करता है, लेकिन केवल यह दर्शाता है कि परिवर्तन डेटा बिंदुओं को कैसे स्थानांतरित करता है।
+[[Image:Kernel pca input.png|thumb|300px|कर्नेल पीसीए से पहले इनपुट बिंदु]]बिंदुओं के तीन संकेंद्रित समूहों पर विचार करें (दिखाया गया है); हम इन समूहों की पहचान करने के लिए कर्नेल पीसीए का उपयोग करना चाहते हैं। बिंदुओं का रंग एल्गोरिथम में सम्मलित जानकारी का प्रतिनिधित्व नहीं करता है, लेकिन केवल यह दर्शाता है कि परिवर्तन डेटा बिंदुओं को कैसे स्थानांतरित करता है।
 पहले कर्नेल पर विचार करें
 : <math>k(\boldsymbol{x},\boldsymbol{y}) = (\boldsymbol{x}^\mathrm{T}\boldsymbol{y} + 1)^2</math>
-इसे कर्नेल पीसीए पर लागू करने से अगली छवि प्राप्त होती है।
+इसे कर्नेल पीसीए पर लागू करने से अगली आकृति प्राप्त होती है।
-[[Image:Kernel pca output.png|thumb|300px|कर्नेल पीसीए के बाद आउटपुट <math>k(\boldsymbol{x},\boldsymbol{y}) = (\boldsymbol{x}^\mathrm{T}\boldsymbol{y} + 1)^2</math>. तीन समूहों को केवल पहले घटक का उपयोग करके पहचाना जा सकता है।]]अब गॉसियन कर्नेल पर विचार करें:
+[[Image:Kernel pca output.png|thumb|300px|कर्नेल पीसीए के पश्चात आउटपुट <math>k(\boldsymbol{x},\boldsymbol{y}) = (\boldsymbol{x}^\mathrm{T}\boldsymbol{y} + 1)^2</math>. तीन समूहों को केवल पहले घटक का उपयोग करके पहचाना जा सकता है।]]अब गॉसियन कर्नेल पर विचार करें:
 : <math>k(\boldsymbol{x},\boldsymbol{y}) = e^\frac{-||\boldsymbol{x} - \boldsymbol{y}||^2}{2\sigma^2},</math>
-यही है, यह कर्नेल निकटता का माप है, 1 के बराबर जब अंक मिलते हैं और अनंत पर 0 के बराबर होते हैं।
+यही है, यह कर्नेल निकटता का माप है, 1 के बराबर जब अंक मिलते हैं और अनंत पर तब 0 के बराबर होते हैं।
-[[Image:Kernel pca output gaussian.png|thumb|300px|right|[[गाऊसी]] कर्नेल के साथ कर्नेल पीसीए के बाद आउटपुट।]]विशेष रूप से ध्यान दें कि पहला प्रमुख घटक तीन अलग-अलग समूहों को अलग करने के लिए पर्याप्त है, जो कि केवल रैखिक पीसीए का उपयोग करना असंभव है, क्योंकि रैखिक पीसीए केवल दिए गए (इस मामले में द्वि-आयामी) स्थान में संचालित होता है, जिसमें ये गाढ़ा बिंदु बादल होते हैं रैखिक रूप से वियोज्य नहीं।
+विशेष रूप से ध्यान दें कि पहला प्रमुख घटक तीन अलग-अलग समूहों को अलग करने के लिए पर्याप्त है, जब कि केवल रैखिक पीसीए का उपयोग करना असंभव है, चूंकि रैखिक पीसीए केवल दिए गए (इस मामले में द्वि-आयामी) स्थान में संचालित होता है, जिसमें ये बिंदुओं के तीन संकेंद्रित समूह हैं रैखिक रूप से वियोज्य नहीं।
 == अनुप्रयोग ==
-कर्नेल पीसीए को नॉवेल्टी डिटेक्शन<ref>{{cite journal | last1 = Hoffmann| first1 =  Heiko| year = 2007 | title = नॉवेल्टी डिटेक्शन के लिए कर्नेल पीसीए| url = http://www.heikohoffmann.de/kpca.html | journal = Pattern Recognition | volume = 40 | issue = 3| pages = 863–874 | doi=10.1016/j.patcog.2006.07.009}}</ref> और इमेज डी-नॉइज़िंग के लिए उपयोगी दिखाया गया है।<ref>[http://citeseer.ist.psu.edu/old/mika99kernel.html Kernel PCA and De-Noising in Feature Spaces. NIPS, 1999]</ref>
+कर्नेल पीसीए को नवीनता का पता लगाना<ref>{{cite journal | last1 = Hoffmann| first1 =  Heiko| year = 2007 | title = नॉवेल्टी डिटेक्शन के लिए कर्नेल पीसीए| url = http://www.heikohoffmann.de/kpca.html | journal = Pattern Recognition | volume = 40 | issue = 3| pages = 863–874 | doi=10.1016/j.patcog.2006.07.009}}</ref> और आकृति फैलने  में कमी के लिए उपयोगी दिखाया गया है।<ref>[http://citeseer.ist.psu.edu/old/mika99kernel.html Kernel PCA and De-Noising in Feature Spaces. NIPS, 1999]</ref>
 == यह भी देखें ==
 * [[क्लस्टर विश्लेषण]]
@@ Line 66: / Line 65: @@
 {{Reflist}}
-{{DEFAULTSORT:Kernel Principal Component Analysis}}[[Category: आयाम में कमी]] [[Category: संकेत आगे बढ़ाना]] [[Category: मशीन लर्निंग एल्गोरिदम]] [[Category: मशीन लर्निंग के लिए कर्नेल तरीके]]
+{{DEFAULTSORT:Kernel Principal Component Analysis}}
 [[sv:Principalkomponentanalys#Olinjär PCA]]
+[[Category:Created On 24/05/2023|Kernel Principal Component Analysis]]
+[[Category:Machine Translated Page|Kernel Principal Component Analysis]]
-[[Category: Machine Translated Page]]
+[[Category:Pages with script errors|Kernel Principal Component Analysis]]
-[[Category:Created On 24/05/2023]]
+[[Category:Templates Vigyan Ready]]
+[[Category:आयाम में कमी|Kernel Principal Component Analysis]]
+[[Category:मशीन लर्निंग एल्गोरिदम|Kernel Principal Component Analysis]]
+[[Category:मशीन लर्निंग के लिए कर्नेल तरीके|Kernel Principal Component Analysis]]
+[[Category:संकेत आगे बढ़ाना|Kernel Principal Component Analysis]]

Anonymous

Search

कर्नेल प्रधान घटक विश्लेषण: Difference between revisions

Namespaces

More

Page actions

Latest revision as of 12:05, 5 June 2023

Contents

पृष्ठभूमि: रैखिक पीसीए

पीसीए के लिए कर्नेल का परिचय

बड़ा डेटासमुच्चय

उदाहरण

अनुप्रयोग

यह भी देखें

संदर्भ

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

कर्नेल प्रधान घटक विश्लेषण: Difference between revisions

Latest revision as of 12:05, 5 June 2023

पृष्ठभूमि: रैखिक पीसीए

पीसीए के लिए कर्नेल का परिचय

बड़ा डेटासमुच्चय

उदाहरण

अनुप्रयोग

यह भी देखें

संदर्भ

Navigation

Wiki tools

Page tools

Other projects

Categories