आयामीता में कमी
आयामीता में कमी, या आयाम में कमी, एक उच्च-आयामी समष्टि से निम्न-आयामी समष्टि में आंकड़ा का परिवर्तन है ताकि निम्न-आयामी प्रतिनिधित्व मूल आंकड़ा के कुछ सार्थक गुणों को बनाए रखे, आदर्श रूप से इसके आंतरिक आयाम के निकट उच्च-आयामी समष्टि में कार्य करना कई कारणों से अवांछनीय हो सकता है आयामीता के अभिशाप के परिणामस्वरूप आंकड़ा प्रायः विरल होते हैं और आंकड़ा का विश्लेषण सामान्यतः कम्प्यूटेशनल रूप से अशिष्ट (नियंत्रित करने या वर्णन में कठिन) होता है। आयाम में कमी उन क्षेत्रों में सामान्य है जो बड़ी संख्या में अवलोकन और बड़ी संख्या में चर, जैसे संकेत प्रसंस्करण, भाषण मान्यता, न्यूरोइन्फॉर्मेटिक्स और जैव सूचना विज्ञान से निपटते हैं।[1]
तरीकों को सामान्यतः रैखिक और गैर-रैखिक दृष्टिकोणों में विभाजित किया जाता है।[1] दृष्टिकोण को सुविधा चयन और सुविधा निष्कर्षण में भी विभाजित किया जा सकता है।[2] ध्वनि में कमी, आंकड़ा विज़ुअलाइज़ेशन, समूह विश्लेषण या अन्य विश्लेषणों को सुविधाजनक बनाने के लिए एक मध्यवर्ती फेज़ के रूप में आयाम में कमी का उपयोग किया जा सकता है।
आकृति चयन
आकृति चयन दृष्टिकोण इनपुट चर (जिन्हें आकृति या विशेषताएँ भी कहा जाता है) का एक उप समुच्चय खोजने का प्रयास करते हैं। तीन योजनाए हैं: आकृति योजना (जैसे सूचना लाभ), आवरण योजना (जैसे शुद्धता द्वारा निर्देशित खोज), और एम्बेडेड योजना (पूर्वानुमान त्रुटियों के आधार पर मॉडल का निर्माण करते समय चयनित सुविधाएँ जोड़ी या हटा दी जाती हैं)।
आंकड़ा विश्लेषण जैसे प्रतिगमन विश्लेषण या सांख्यिकीय वर्गीकरण मूल समष्टि की तुलना में कम समष्टि में अधिक सटीक रूप से किया जा सकता है।[3]
फीचर प्रक्षेपण
आकृति प्रक्षेपण (जिसे आकृति एक्सट्रैक्शन भी कहा जाता है) आंकड़ा को उच्च-आयामी समष्टि से कम आयामों वाले समष्टि में बदल देता है। प्रमुख घटक विश्लेषण (पीसीए) के रूप में आंकड़ा परिवर्तन रैखिक हो सकता है लेकिन कई गैर-रैखिक आयामी कमी तकनीकें भी सम्मिलित हैं।[4][5] बहुआयामी आंकड़ा के लिए, टेंसर प्रतिनिधित्व का उपयोग बहु-रैखिक उप समष्टि लर्निंग के माध्यम से आयामीता में कमी में किया जा सकता है।[6]
प्रमुख घटक विश्लेषण (पीसीए)
आयामीता में कमी के लिए मुख्य रेखीय तकनीक, प्रमुख घटक विश्लेषण, निम्न-आयामी समष्टि के लिए आंकड़ा का एक रेखीय मानचित्रण इस तरह से करता है कि निम्न-आयामी प्रतिनिधित्व में आंकड़ा का विचरण अधिकतम हो जाता है। व्यवहार में, आंकड़ा का सहप्रसरण (और कभी-कभी सहसंबंध और निर्भरता) आव्यूह (गणित)) आव्यूह का निर्माण किया जाता है और इस आव्यूह पर आइगेन सदिशों की गणना की जाती है। सबसे बड़े eigenvalues (प्रमुख घटक) के अनुरूप आइगेन सदिश का उपयोग अब मूल आंकड़ा के भिन्नता के एक बड़े अंश के पुनर्निर्माण के लिए किया जा सकता है। इसके अलावा, पहले कुछ आइगेन सदिश को प्रायः प्रणाली के बड़े पैमाने के भौतिक व्यवहार के संदर्भ में व्याख्या किया जा सकता है, क्योंकि वे प्रायः प्रणाली की ऊर्जा के विशाल बहुमत का योगदान करते हैं, खासकर कम-आयामी प्रणाली में। फिर भी, यह मामला-दर-मामला आधार पर सिद्ध होना चाहिए क्योंकि सभी प्रणालियाँ इस व्यवहार को प्रदर्शित नहीं करती हैं। मूल समष्टि (अंकों की संख्या के आयाम के साथ) को घटा दिया गया है (आंकड़ा हानि के साथ, लेकिन उम्मीद है कि सबसे महत्वपूर्ण विचरण को बनाए रखना) कुछ आइगेन सदिशों द्वारा फैलाया गया समष्टि है।[citation needed]
गैर-ऋणात्मक आव्यूह गुणनखंडन (एनएमएफ)
एनएमएफ दो गैर-ऋणात्मक आव्यूह के उत्पाद के लिए एक गैर-ऋणात्मक आव्यूह को विघटित करता है, जो उन क्षेत्रों में एक आशाजनक उपकरण रहा है जहां केवल गैर-ऋणात्मक संकेत सम्मिलित हैं,[7][8] जैसे कि खगोल विज्ञान।।[9][10] एनएमएफ ली एंड सेउंग द्वारा गुणक अद्यतन नियम के बाद से अच्छी तरह से जाना जाता है[7] जिसे लगातार विकसित किया गया है: अनिश्चितताओं का समावेश, [9] लापता आंकड़ा और समानांतर संगणना का विचार[11] अनुक्रमिक निर्माण [11] जो आगे बढ़ता है एनएमएफ की स्थिरता और रैखिकता[10] के साथ-साथ डिजिटल इमेज प्रोसेसिंग में लापता आंकड़ा को संभालने सहित अन्य अपडेट।[12]
निर्माण के दौरान एक स्थिर घटक आधार, और एक रेखीय मॉडलिंग प्रक्रिया के साथ, अनुक्रमिक एनएमएफ [11] खगोल विज्ञान में परिस्थिति-तारकीय संरचनाओं की प्रत्यक्ष इमेजिंग में प्रवाह को संरक्षित करने में सक्षम है[10] एक्सोप्लैनेट्स का पता लगाने के तरीकों में से एक के रूप में, विशेष रूप से प्रत्यक्ष के लिए परिस्थितिजन्य डिस्क की इमेजिंग। पीसीए की तुलना में, एनएमएफ मेट्रिसेस के माध्य को नहीं हटाता है, जो गैर-भौतिक गैर-ऋणात्मक प्रवाह की ओर जाता है; इसलिए एनएमएफ पीसीए की तुलना में अधिक जानकारी संरक्षित करने में सक्षम है जैसा कि रेन एट अल द्वारा प्रदर्शित किया गया है।[10]
कर्नेल पीसीए
प्रिंसिपल कंपोनेंट एनालिसिस को कर्नेल चाल के माध्यम से नॉनलाइन तरीके से नियोजित किया जा सकता है। परिणामी तकनीक नॉनलाइनियर मैपिंग बनाने में सक्षम है जो आंकड़ा में भिन्नता को अधिकतम करती है। परिणामी तकनीक को कर्नेल प्रमुख घटक विश्लेषण कहा जाता है।
ग्राफ आधारित कर्नेल पीसीए
अन्य प्रमुख गैर-रैखिक तकनीकों में कई गुना सीखने की तकनीकें सम्मिलित हैं जैसे कि आइसोमैप, समष्टिीय रूप से रैखिक एम्बेडिंग (एलएलई),[13] हेसियन एलएलई, लाप्लासियन ईजेनमैप्स, और स्पर्शरेखा अंतरिक्ष विश्लेषण पर आधारित तरीके।[14] ये तकनीकें लागत फलन का उपयोग करके एक निम्न-आयामी आंकड़ा प्रतिनिधित्व का निर्माण करती हैं जो आंकड़ा के समष्टिीय गुणों को बनाए रखता है, और कर्नेल पीसीए के लिए ग्राफ-आधारित कर्नेल को परिभाषित करने के रूप में देखा जा सकता है।
अभी हाल ही में, तकनीकों का प्रस्ताव किया गया है कि, एक निश्चित कर्नेल को परिभाषित करने के बजाय, अर्ध-निश्चित प्रोग्रामिंग का उपयोग करके कर्नेल को सीखने का प्रयास करें। ऐसी तकनीक का सबसे प्रमुख उदाहरण अधिकतम भिन्नता प्रकट करना (एमवीयू) है। एमवीयू का केंद्रीय विचार निकटतम पड़ोसियों (आंतरिक उत्पाद समष्टि में) के बीच सभी जोड़ीदार दूरी को सटीक रूप से संरक्षित करना है, जबकि उन बिंदुओं के बीच की दूरी को अधिकतम करना जो निकटतम पड़ोसी नहीं हैं।
पड़ोस के संरक्षण के लिए एक वैकल्पिक दृष्टिकोण एक लागत समारोह के न्यूनीकरण के माध्यम से है जो इनपुट और आउटपुट रिक्त समष्टि में दूरी के बीच अंतर को मापता है। ऐसी तकनीकों के महत्वपूर्ण उदाहरणों में सम्मिलित हैं: शास्त्रीय बहुआयामी स्केलिंग, जो पीसीए के समान है; आइसोमैप, जो आंकड़ा स्पेस में जियोडेसिक दूरियों का उपयोग करता है; प्रसार मानचित्र, जो आंकड़ा समष्टि में प्रसार दूरी का उपयोग करते हैं; टी-वितरित स्टोचैस्टिक पड़ोसी एम्बेडिंग (टी-एसएनई), जो बिंदुओं के जोड़े पर वितरण के बीच विचलन को कम करता है; और वक्रीय घटक विश्लेषण।
गैर-रैखिक आयामीता में कमी के लिए एक अलग दृष्टिकोण स्वतः कूटलेखन के उपयोग के माध्यम से है, एक विशेष प्रकार के फीडफॉरवर्ड न्यूरल नेटवर्क के साथ एक बोतल-गर्दन छिपी हुई परत।[15] गहरे एनकोडर का प्रशिक्षण सामान्यतः एक लालची परत-वार पूर्व-प्रशिक्षण (उदाहरण के लिए, प्रतिबंधित बोल्ट्जमैन मशीनों के ढेर का उपयोग करके) का उपयोग करके किया जाता है, जिसके बाद backpropagation पर आधारित एक फ़ाइनट्यूनिंग चरण होता है।
रैखिक विभेदक विश्लेषण (एलडीए)
रैखिक विभेदक विश्लेषण (एलडीए) फिशर के रैखिक विभेदक का एक सामान्यीकरण है, जो सांख्यिकी, पैटर्न रिकग्निशन और मशीन लर्निंग में इस्तेमाल की जाने वाली एक विधि है, जो दो या दो से अधिक वर्गों की वस्तुओं या घटनाओं को चिह्नित या अलग करती है।
सामान्यीकृत विभेदक विश्लेषण (जीडीए)
जीडीए कर्नेल फलन ऑपरेटर का उपयोग करके गैर-रेखीय विभेदक विश्लेषण से संबंधित है। अंतर्निहित सिद्धांत समर्थन वेक्टर यंत्र (एसवीएम) के करीब है, जहां तक जीडीए पद्धति इनपुट सदिश को उच्च-आयामी फीचर स्पेस में मैपिंग प्रदान करती है।[16][17] एलडीए के समान, जीडीए का उद्देश्य निम्न-आयामी अंतरिक्ष में सुविधाओं के लिए प्रक्षेपण को कक्षा के भीतर के बिखराव के बीच के अनुपात को अधिकतम करके खोजना है।
स्वतः कूटलेखन
स्वतः कूटलेखन का उपयोग गैर-रैखिक आयाम कमी कार्यों और कोडिंग को एक उलटा फलन के साथ कोडिंग से मूल प्रतिनिधित्व तक सीखने के लिए किया जा सकता है।
टी-एसएनई
टी-डिस्ट्रीब्यूटेड स्टोकेस्टिक नेबर एंबेडिंग (टी-एसएनई) एक नॉनलाइनियर डाइमेंशनलिटी रिडक्शन तकनीक है जो उच्च-आयामी आंकड़ा समुच्चय के विज़ुअलाइज़ेशन के लिए उपयोगी है। क्लस्टरिंग या बाहरी पहचान जैसे विश्लेषण में उपयोग के लिए इसकी अनुशंसा नहीं की जाती है क्योंकि यह आवश्यक रूप से घनत्व या दूरी को अच्छी तरह से संरक्षित नहीं करता है।[18]
यूपी
यूनिफ़ॉर्म मैनिफोल्ड सन्निकटन और प्रोजेक्शन (यूएमएपी) एक नॉनलाइनियर आयामीता में कमी तकनीक है। दृष्टिगत रूप से, यह t-SNE के समान है, लेकिन यह मानता है कि आंकड़ा समान रूप से समष्टिीय रूप से जुड़े रीमैनियन मैनिफोल्ड पर वितरित किया जाता है और यह कि रीमैनियन आव्यूह समष्टिीय रूप से स्थिर या लगभग समष्टिीय रूप से स्थिर है।
आयाम में कमी
उच्च-आयामी आंकड़ा समुच्चय के लिए (अर्थात 10 से अधिक आयामों की संख्या के साथ), आयाम कमी सामान्यतः आयाम के अभिशाप के प्रभावों से बचने के लिए के-निकटतम एल्गोरिदम (के-एनएन) प्रयुक्त करने से पहले की जाती है।[19]
प्रमुख घटक विश्लेषण (पीसीए), रैखिक विवेचक विश्लेषण (एलडीए), विहित सहसंबंध विश्लेषण (सीसीए) या गैर-ऋणात्मक आव्यूह एकीकरण (एनएमएफ) तकनीकों का उपयोग करके सुविधा निष्कर्षण और आयाम में कमी को एक चरण में सम्बद्ध किया जा सकता है। कम-आयाम वाले समष्टि में सुविधा ( यंत्र अधिगम ) पर के-एनएन द्वारा क्लस्टरिंग करके। मशीन लर्निंग में इस प्रक्रिया को निम्न-आयामी एम्बेडिंग भी कहा जाता है।[20]
बहुत उच्च-आयामी आंकड़ा समुच्चय के लिए (उदाहरण के लिए लाइव वीडियो स्ट्रीम, डीएनए आंकड़ा या उच्च-आयामी समय श्रृंखला पर समानता खोज करते समय) इलाके-संवेदनशील हैशिंग, यादृच्छिक प्रक्षेपण का उपयोग करके एक तेज़ अनुमानित के-एनएन खोज चला रहा है,[21] रेखाचित्र,[22] या बहुत बड़े आंकड़ा बेस टूलबॉक्स पर अंतर्राष्ट्रीय सम्मेलन से अन्य उच्च-आयामी समानता खोज तकनीकें एकमात्र व्यवहार्य विकल्प हो सकती हैं।
अनुप्रयोग
आयामी कमी तकनीक जो कभी-कभी तंत्रिका विज्ञान में प्रयोग की जाती है वह अधिकतम सूचनात्मक आयाम है,[citation needed] जो किसी आंकड़ा समुच्चय का निम्न-आयामी प्रतिनिधित्व है जैसे कि मूल आंकड़ा के विषय में जितना संभव हो उतना पारस्परिक जानकारी संरक्षित है।
यह भी देखें
| Recommender systems |
|---|
| Concepts |
| Methods and challenges |
| Implementations |
| Research |
- सीयूआर आव्यूह सन्निकटन
- आंकड़ा परिवर्तन (सांख्यिकी)
- हाइपरपैरामीटर अनुकूलन
- निर्णय सूचना लाभ
- जॉनसन-लिंडनस्ट्रॉस लेम्मा
- अव्यक्त शब्दार्थ विश्लेषण
- स्थानीय स्पर्शरेखा अंतरिक्ष संरेखण
- स्थानीयता-संवेदनशील हैशिंग
- मिनहाश
- बहुकारक आयामीता में कमी
- निकटतम पड़ोसी खोज
- गैर रेखीय आयामीता में कमी
- यादृच्छिक प्रक्षेपण
- प्रतिचित्रण मानचित्र
- शब्दार्थगत चित्रण (सांख्यिकी)
- अर्ध निश्चित एम्बेडिंग
- विलक्षण मान अपघटन
- पर्याप्त आयाम में कमी
- सामयिक आंकड़ा विश्लेषण
- भारित सहसंबंध नेटवर्क विश्लेषण
टिप्पणियाँ
- ↑ 1.0 1.1 van der Maaten, Laurens; Postma, Eric; van den Herik, Jaap (October 26, 2009). "आयाम में कमी: एक तुलनात्मक समीक्षा" (PDF). J Mach Learn Res. 10: 66–71.
- ↑ Pudil, P.; Novovičová, J. (1998). "Novel Methods for Feature Subset Selection with Respect to Problem Knowledge". In Liu, Huan; Motoda, Hiroshi (eds.). फ़ीचर निष्कर्षण, निर्माण और चयन. p. 101. doi:10.1007/978-1-4615-5725-8_7. ISBN 978-1-4613-7622-4.
- ↑ Rico-Sulayes, Antonio (2017). "Reducing Vector Space Dimensionality in Automatic Classification for Authorship Attribution". Revista Ingeniería Electrónica, Automática y Comunicaciones. 38 (3): 26–35. ISSN 1815-5928.
- ↑ Samet, H. (2006) Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann. ISBN 0-12-369446-9
- ↑ C. Ding, X. He, H. Zha, H.D. Simon, Adaptive Dimension Reduction for Clustering High Dimensional Data, Proceedings of International Conference on Data Mining, 2002
- ↑ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). "A Survey of Multilinear Subspace Learning for Tensor Data" (PDF). Pattern Recognition. 44 (7): 1540–1551. Bibcode:2011PatRe..44.1540L. doi:10.1016/j.patcog.2011.01.004.
- ↑ 7.0 7.1 Daniel D. Lee & H. Sebastian Seung (1999). "Learning the parts of objects by non-negative matrix factorization". Nature. 401 (6755): 788–791. Bibcode:1999Natur.401..788L. doi:10.1038/44565. PMID 10548103. S2CID 4428232.
- ↑ Daniel D. Lee & H. Sebastian Seung (2001). Algorithms for Non-negative Matrix Factorization (PDF). Advances in Neural Information Processing Systems 13: Proceedings of the 2000 Conference. MIT Press. pp. 556–562.
- ↑ 9.0 9.1 Blanton, Michael R.; Roweis, Sam (2007). "के-सुधार और पराबैंगनी, ऑप्टिकल और निकट अवरक्त में परिवर्तन". The Astronomical Journal. 133 (2): 734–754. arXiv:astro-ph/0606170. Bibcode:2007AJ....133..734B. doi:10.1086/510127. S2CID 18561804.
- ↑ 10.0 10.1 10.2 10.3 Ren, Bin; Pueyo, Laurent; Zhu, Guangtun B.; Duchêne, Gaspard (2018). "Non-negative Matrix Factorization: Robust Extraction of Extended Structures". The Astrophysical Journal. 852 (2): 104. arXiv:1712.10317. Bibcode:2018ApJ...852..104R. doi:10.3847/1538-4357/aaa1f2. S2CID 3966513.
- ↑ 11.0 11.1 11.2 Zhu, Guangtun B. (2016-12-19). "गैर-ऋणात्मक मैट्रिक्स गुणनखंडन (NMF) विषमलैंगिक अनिश्चितताओं और लापता डेटा के साथ". arXiv:1612.06037 [astro-ph.IM].
- ↑ Ren, Bin; Pueyo, Laurent; Chen, Christine; Choquet, Elodie; Debes, John H.; Duechene, Gaspard; Menard, Francois; Perrin, Marshall D. (2020). "हाई कंट्रास्ट इमेजिंग में सिग्नल सेपरेशन के लिए डेटा इम्प्यूटेशन का उपयोग करना". The Astrophysical Journal. 892 (2): 74. arXiv:2001.00563. Bibcode:2020ApJ...892...74R. doi:10.3847/1538-4357/ab7024. S2CID 209531731.
- ↑ Roweis, S. T.; Saul, L. K. (2000). "स्थानीय रूप से रैखिक एम्बेडिंग द्वारा गैर-रैखिक आयाम में कमी". Science. 290 (5500): 2323–2326. Bibcode:2000Sci...290.2323R. CiteSeerX 10.1.1.111.3313. doi:10.1126/science.290.5500.2323. PMID 11125150. S2CID 5987139.
- ↑ Zhang, Zhenyue; Zha, Hongyuan (2004). "टेंगेंट स्पेस एलाइनमेंट के माध्यम से प्रिंसिपल मैनिफोल्ड्स और नॉनलाइनियर डायमेंशनलिटी रिडक्शन". SIAM Journal on Scientific Computing. 26 (1): 313–338. Bibcode:2004SJSC...26..313Z. doi:10.1137/s1064827502419154.
- ↑ Hongbing Hu, Stephen A. Zahorian, (2010) "Dimensionality Reduction Methods for HMM Phonetic Recognition", ICASSP 2010, Dallas, TX
- ↑ Baudat, G.; Anouar, F. (2000). "कर्नेल दृष्टिकोण का उपयोग करके सामान्यीकृत विभेदक विश्लेषण". Neural Computation. 12 (10): 2385–2404. CiteSeerX 10.1.1.412.760. doi:10.1162/089976600300014980. PMID 11032039. S2CID 7036341.
- ↑ Haghighat, Mohammad; Zonouz, Saman; Abdel-Mottaleb, Mohamed (2015). "CloudID: Trustworthy cloud-based and cross-enterprise biometric identification". Expert Systems with Applications. 42 (21): 7905–7916. doi:10.1016/j.eswa.2015.06.025.
- ↑ Schubert, Erich; Gertz, Michael (2017). Beecks, Christian; Borutta, Felix; Kröger, Peer; Seidl, Thomas (eds.). "विज़ुअलाइज़ेशन और आउटलाइयर डिटेक्शन के लिए इंट्रिंसिक टी-स्टोचैस्टिक नेबर एंबेडिंग". Similarity Search and Applications. Lecture Notes in Computer Science (in English). Cham: Springer International Publishing. 10609: 188–203. doi:10.1007/978-3-319-68474-1_13. ISBN 978-3-319-68474-1.
- ↑ Kevin Beyer, Jonathan Goldstein, Raghu Ramakrishnan, Uri Shaft (1999) "When is "nearest neighbor" meaningful?". Database Theory—ICDT99, 217–235
- ↑ Shaw, B.; Jebara, T. (2009). "Structure preserving embedding" (PDF). Proceedings of the 26th Annual International Conference on Machine Learning – ICML '09. p. 1. CiteSeerX 10.1.1.161.451. doi:10.1145/1553374.1553494. ISBN 9781605585161. S2CID 8522279.
- ↑ Bingham, E.; Mannila, H. (2001). "Random projection in dimensionality reduction". Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining – KDD '01. p. 245. doi:10.1145/502512.502546. ISBN 978-1581133912. S2CID 1854295.
- ↑ Shasha, D High (2004) Performance Discovery in Time Series Berlin: Springer. ISBN 0-387-00857-8
संदर्भ
- Boehmke, Brad; Greenwell, Brandon M. (2019). "Dimension Reduction". Hands-On Machine Learning with R. Chapman & Hall. pp. 343–396. ISBN 978-1-138-49568-5.
- Cunningham, P. (2007). Dimension Reduction (Technical report). University College Dublin. UCD-CSI-2007-7.
- Fodor, I. (2002). A survey of dimension reduction techniques (Technical report). Center for Applied Scientific Computing, Lawrence Livermore National. UCRL-ID-148494.
- Lakshmi Padmaja, Dhyaram; Vishnuvardhan, B (2016). "Comparative Study of Feature Subset Selection Methods for Dimensionality Reduction on Scientific Data". 2016 IEEE 6th International Conference on Advanced Computing (IACC). pp. 31–34. doi:10.1109/IACC.2016.16. ISBN 978-1-4673-8286-1. S2CID 14532363.
