बहुरेखीय उपस्थान लर्निंग: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 36: Line 36:
बहुरेखीय उपस्थान  लर्निंग एल्गोरिदम, प्रमुख घटक विश्लेषण (पीसीए), स्वतंत्र घटक विश्लेषण (आईसीए) रैखिक विभेदक विश्लेषण (एलडीए) और कैनोनिकल सहसंबंध विश्लेषण (सीसीए) जैसे रैखिक उपस्थान  सीखने के विधि के उच्च-क्रम के सामान्यीकरण हैं।
बहुरेखीय उपस्थान  लर्निंग एल्गोरिदम, प्रमुख घटक विश्लेषण (पीसीए), स्वतंत्र घटक विश्लेषण (आईसीए) रैखिक विभेदक विश्लेषण (एलडीए) और कैनोनिकल सहसंबंध विश्लेषण (सीसीए) जैसे रैखिक उपस्थान  सीखने के विधि के उच्च-क्रम के सामान्यीकरण हैं।


== पृष्ठभूमि                                                                         ==
== पृष्ठभूमि                                                                                                                           ==
बहुरेखीय विधियाँ प्रकृति में कारणात्मक हो सकती हैं और कारणात्मक अनुमान लगा सकती हैं, या वे सरल प्रतिगमन विधियाँ हो सकती हैं जिनसे कोई कारणात्मक निष्कर्ष नहीं निकाला जाता है।
बहुरेखीय विधियाँ प्रकृति में कारणात्मक हो सकती हैं और कारणात्मक अनुमान लगा सकती हैं, या वे सरल प्रतिगमन विधियाँ हो सकती हैं जिनसे कोई कारणात्मक निष्कर्ष नहीं निकाला जाता है।


Line 42: Line 42:


बहुरेखीय उपस्थान लर्निंग को उन अवलोकनों पर क्रियान्वित किया जा सकता है जिनके माप को कारणात्मक रूप से जागरूक आयामी कमी के लिए डेटा टेंसर में वेक्टरकृत और व्यवस्थित किया गया था,<ref name="Vasilescu2003"/> जब अवलोकनों को एक आव्युह (अथार्त स्वतंत्र स्तंभ/पंक्ति अवलोकनों का संग्रह) के रूप में माना जाता है और एक टेंसर में संयोजित किया जाता है, तब कारण कारकों की परवाह किए बिना क्षैतिज और ऊर्ध्वाधर अतिरेक को कम करने के लिए भी इन विधि को नियोजित किया जा सकता है।<ref>{{cite web |title=टेन्सर-आधारित संगणना और मॉडलिंग में भविष्य की दिशाएँ|date=May 2009|url=http://www.cs.cornell.edu/cv/tenwork/finalreport.pdf}}</ref><ref name="DATER">S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang, and H.-J. Zhang, "[http://portal.acm.org/citation.cfm?id=1068959 Discriminant analysis with tensor representation]," in Proc. [[IEEE Conference on Computer Vision and Pattern Recognition]], vol. I, June 2005, pp. 526–532.</ref>
बहुरेखीय उपस्थान लर्निंग को उन अवलोकनों पर क्रियान्वित किया जा सकता है जिनके माप को कारणात्मक रूप से जागरूक आयामी कमी के लिए डेटा टेंसर में वेक्टरकृत और व्यवस्थित किया गया था,<ref name="Vasilescu2003"/> जब अवलोकनों को एक आव्युह (अथार्त स्वतंत्र स्तंभ/पंक्ति अवलोकनों का संग्रह) के रूप में माना जाता है और एक टेंसर में संयोजित किया जाता है, तब कारण कारकों की परवाह किए बिना क्षैतिज और ऊर्ध्वाधर अतिरेक को कम करने के लिए भी इन विधि को नियोजित किया जा सकता है।<ref>{{cite web |title=टेन्सर-आधारित संगणना और मॉडलिंग में भविष्य की दिशाएँ|date=May 2009|url=http://www.cs.cornell.edu/cv/tenwork/finalreport.pdf}}</ref><ref name="DATER">S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang, and H.-J. Zhang, "[http://portal.acm.org/citation.cfm?id=1068959 Discriminant analysis with tensor representation]," in Proc. [[IEEE Conference on Computer Vision and Pattern Recognition]], vol. I, June 2005, pp. 526–532.</ref>
== एल्गोरिदम ==
== एल्गोरिदम                                                                                                               ==


=== [[बहुरेखीय प्रमुख घटक विश्लेषण]] ===
=== [[बहुरेखीय प्रमुख घटक विश्लेषण]] ===
Line 86: Line 86:
| s2cid = 50364581
| s2cid = 50364581
  }}</ref> इसे [[पैराफैक]] (पीएआरएएफएसी) अपघटन के रूप में भी जाना जाता है।<ref>R. A. Harshman, [http://publish.uwo.ca/~harshman/wpppfac0.pdf Foundations of the PARAFAC procedure: Models and conditions for an "explanatory" multi-modal factor analysis] {{webarchive|url=https://web.archive.org/web/20041010092429/http://publish.uwo.ca/~harshman/wpppfac0.pdf |date=2004-10-10 }}. UCLA Working Papers in Phonetics, 16, pp. 1–84, 1970.</ref>
  }}</ref> इसे [[पैराफैक]] (पीएआरएएफएसी) अपघटन के रूप में भी जाना जाता है।<ref>R. A. Harshman, [http://publish.uwo.ca/~harshman/wpppfac0.pdf Foundations of the PARAFAC procedure: Models and conditions for an "explanatory" multi-modal factor analysis] {{webarchive|url=https://web.archive.org/web/20041010092429/http://publish.uwo.ca/~harshman/wpppfac0.pdf |date=2004-10-10 }}. UCLA Working Papers in Phonetics, 16, pp. 1–84, 1970.</ref>
=== एमएसएल में विशिष्ट दृष्टिकोण ===
=== एमएसएल में विशिष्ट दृष्टिकोण                                       ===
हल करने के लिए मापदंडों के n समूह हैं प्रत्येक मोड में एक समूह का समाधान अधिकांशतः दूसरे समूह पर निर्भर करता है (अतिरिक्त जब N=1, रैखिक स्थितिया) इसलिए उप-इष्टतम पुनरावृत्तीय प्रक्रिया<ref>L.  D.  Lathauwer,  B.  D.  Moor,  J.  Vandewalle,  [http://portal.acm.org/citation.cfm?id=354405 On  the  best  rank-1  and rank-(R1, R2, ..., RN ) approximation of higher-order tensors], SIAM Journal of Matrix Analysis and Applications 21 (4) (2000) 1324–1342.</ref> पीछा किया जाता है।
हल करने के लिए मापदंडों के n समूह हैं प्रत्येक मोड में एक समूह का समाधान अधिकांशतः दूसरे समूह पर निर्भर करता है (अतिरिक्त जब N=1, रैखिक स्थितिया) इसलिए उप-इष्टतम पुनरावृत्तीय प्रक्रिया<ref>L.  D.  Lathauwer,  B.  D.  Moor,  J.  Vandewalle,  [http://portal.acm.org/citation.cfm?id=354405 On  the  best  rank-1  and rank-(R1, R2, ..., RN ) approximation of higher-order tensors], SIAM Journal of Matrix Analysis and Applications 21 (4) (2000) 1324–1342.</ref> पीछा किया जाता है।


Revision as of 21:50, 13 July 2023

बहुरेखीय उपस्थान लर्निंग के लिए स्तम्भ x पंक्ति x समय के तीसरे क्रम के टेंसर के रूप में दर्शाया गया एक वीडियो या छवि अनुक्रम।

बहुरेखीय उपस्थान लर्निंग डेटा निर्माण के कारण कारक को सुलझाने और आयामीता में कमी करने के लिए एक दृष्टिकोण है।[1][2][3][4][5] आयामीता में कमी एक डेटा टेंसर पर की जा सकती है जिसमें उन अवलोकनों का संग्रह होता है जिन्हें वेक्टरकृत किया गया है[1] या वे अवलोकन जिन्हें आव्यूह के रूप में माना जाता है और डेटा टेंसर में संयोजित किया जाता है।[6][7] यहां डेटा टेंसर के कुछ उदाहरण दिए गए हैं जिनके अवलोकन वेक्टरकृत हैं या जिनके अवलोकन डेटा टेंसर छवियों (2D/3D), वीडियो अनुक्रम (3D/4D), और हाइपरस्पेक्ट्रल क्यूब्स (3D/4D) में संयोजित आव्यूह हैं।

उच्च-आयामी सदिश स्थान से निम्न-आयामी सदिश स्थान के सेट तक मैपिंग एक बहुरेखीय प्रक्षेपण है।[4] जब अवलोकनों को आव्यूह या उच्च क्रम के टेंसर के समान संगठनात्मक संरचना में बनाए रखा जाता है, तो उनके प्रतिनिधित्व की गणना स्तम्भ स्थान पंक्ति स्थान और फाइबर स्थान में रैखिक अनुमानों का प्रदर्शन करके की जाती है।[6]

बहुरेखीय उपस्थान लर्निंग एल्गोरिदम, प्रमुख घटक विश्लेषण (पीसीए), स्वतंत्र घटक विश्लेषण (आईसीए) रैखिक विभेदक विश्लेषण (एलडीए) और कैनोनिकल सहसंबंध विश्लेषण (सीसीए) जैसे रैखिक उपस्थान सीखने के विधि के उच्च-क्रम के सामान्यीकरण हैं।

पृष्ठभूमि

बहुरेखीय विधियाँ प्रकृति में कारणात्मक हो सकती हैं और कारणात्मक अनुमान लगा सकती हैं, या वे सरल प्रतिगमन विधियाँ हो सकती हैं जिनसे कोई कारणात्मक निष्कर्ष नहीं निकाला जाता है।

रैखिक उप-स्थान शिक्षण एल्गोरिदम पारंपरिक आयामी कमी तकनीकें हैं जो डेटासेट के लिए उपयुक्त हैं जो एकल कारण कारक को बदलने का परिणाम हैं। दुर्भाग्य से वे अधिकांशतः उन डेटासेट से निपटने में अपर्याप्त हो जाते हैं जो अनेक कारण कारकों का परिणाम होते हैं। .

बहुरेखीय उपस्थान लर्निंग को उन अवलोकनों पर क्रियान्वित किया जा सकता है जिनके माप को कारणात्मक रूप से जागरूक आयामी कमी के लिए डेटा टेंसर में वेक्टरकृत और व्यवस्थित किया गया था,[1] जब अवलोकनों को एक आव्युह (अथार्त स्वतंत्र स्तंभ/पंक्ति अवलोकनों का संग्रह) के रूप में माना जाता है और एक टेंसर में संयोजित किया जाता है, तब कारण कारकों की परवाह किए बिना क्षैतिज और ऊर्ध्वाधर अतिरेक को कम करने के लिए भी इन विधि को नियोजित किया जा सकता है।[8][9]

एल्गोरिदम

बहुरेखीय प्रमुख घटक विश्लेषण

ऐतिहासिक रूप से, बहुरेखीय प्रमुख घटक विश्लेषण को "एम-मोड पीसीए" के रूप में संदर्भित किया गया है, एक शब्दावली जिसे पीटर क्रूनबर्ग द्वारा गढ़ा गया था।[10] 2005 में, वासिलेस्कु और टेरज़ोपोलोस ने बहुरेखीय पीसीए शब्दावली को मल्टीलाइनियर टेन्सर डीकंपोज़िशन के बीच उत्तम अंतर करने के विधि के रूप में प्रस्तुत किया गया था जो प्रत्येक डेटा टेन्सर मोड से जुड़े दूसरे क्रम के आँकड़ों की गणना करता है और बहुरेखीय स्वतंत्र संयोजक एनालिसिस पर बाद का काम था[11] जिसमें प्रत्येक टेंसर मोड के लिए उच्च क्रम के आंकड़ों की गणना की गई थी। एमपीसीए पीसीए का विस्तार है।

बहुरेखीय स्वतंत्र घटक विश्लेषण

बहुरेखीय स्वतंत्र घटक विश्लेषण[11]स्वतंत्र घटक विश्लेषण का विस्तार है।

बहुरेखीय रैखिक विभेदक विश्लेषण

  • रैखिक विभेदक विश्लेषण का बहुरेखीय विस्तार
    • टीटीपी-आधारित: टेन्सर प्रतिनिधित्व के साथ विभेदक विश्लेषण (डेटर) है[9]
    • टीटीपी-आधारित: सामान्य टेंसर विभेदक विश्लेषण (जीटीडीए) है[12]
    • टीवीपी-आधारित: असंबद्ध बहुरेखीय विभेदक विश्लेषण (यूएमएलडीए) है[13]

बहुरेखीय विहित सहसंबंध विश्लेषण

  • विहित सहसंबंध विश्लेषण का बहुरेखीय विस्तार
    • टीटीपी-आधारित: टेन्सर कैनोनिकल सहसंबंध विश्लेषण (टीसीसीए) है [14]
    • टीवीपी-आधारित: बहुरेखीय कैनोनिकल सहसंबंध विश्लेषण (एमसीसीए) है[15]
    • टीवीपी-आधारित: बायेसियन बहुरेखीय कैनोनिकल सहसंबंध विश्लेषण (बीएमटीएफ) है[16]
  • टीटीपी एक उच्च-आयामी टेंसर का उसी क्रम के निम्न-आयामी टेंसर पर सीधा प्रक्षेपण है, जो एन-ऑर्डर टेंसर के लिए n प्रक्षेपण आव्यूह का उपयोग करता है। इसे n चरणों में निष्पादित किया जा सकता है, प्रत्येक चरण में टेंसर-आव्यूह गुणन (उत्पाद) निष्पादित किया जा सकता है। n चरण विनिमय योग्य हैं।[17] यह प्रक्षेपण उप-स्थानीय सीखने के लिए उच्च-क्रम एकवचन मूल्य अपघटन [17] (एचओएसवीडी) का विस्तार है।[18] इसलिए, इसकी उत्पत्ति 1960 के दशक में टकर अपघटन[19] से मानी जाती है।
  • टीवीपी एक उच्च-आयामी टेंसर का निम्न-आयामी सदिश पर सीधा प्रक्षेपण है जिसे रैंक-वन अनुमान भी कहा जाता है। चूंकि टीवीपी एक टेन्सर को एक सदिश में प्रोजेक्ट करता है इसे एक टेन्सर से अदिश तक अनेक प्रक्षेपणों के रूप में देखा जा सकता है। इस प्रकार p-आयामी सदिश के लिए एक टेंसर के टीवीपी में टेंसर से अदिश तक p प्रक्षेपण सम्मिलित होते हैं। टेंसर से अदिश तक प्रक्षेपण एक प्राथमिक बहुरेखीय प्रक्षेपण (ईएमपी) है। ईएमपी में एक टेंसर को n यूनिट प्रोजेक्शन सदिश के माध्यम से एक बिंदु पर प्रक्षेपित किया जाता है। यह एक एकल रेखा पर एक टेंसर का प्रक्षेपण है (जिसके परिणामस्वरूप एक अदिश राशि होती है) प्रत्येक मोड में एक प्रक्षेपण सदिश होता है। इस प्रकार, p-आयामी सदिश स्थान में एक सदिश के लिए एक टेंसर ऑब्जेक्ट के टीवीपी में p ईएमपी होते हैं। यह प्रक्षेपण सीपी अपघटन का विस्तार है,[20] इसे पैराफैक (पीएआरएएफएसी) अपघटन के रूप में भी जाना जाता है।[21]

एमएसएल में विशिष्ट दृष्टिकोण

हल करने के लिए मापदंडों के n समूह हैं प्रत्येक मोड में एक समूह का समाधान अधिकांशतः दूसरे समूह पर निर्भर करता है (अतिरिक्त जब N=1, रैखिक स्थितिया) इसलिए उप-इष्टतम पुनरावृत्तीय प्रक्रिया[22] पीछा किया जाता है।

  1. प्रत्येक मोड में अनुमानों का प्रारंभ है।
  2. प्रत्येक मोड के लिए अन्य सभी मोड में प्रक्षेपण को ठीक करें और वर्तमान मोड में प्रक्षेपण के लिए समाधान करता है।
  3. कुछ पुनरावृत्तियों के लिए या अभिसरण तक मोड-वार अनुकूलन करता है।

यह मल्टी-वे डेटा विश्लेषण के लिए वैकल्पिक न्यूनतम वर्ग विधि से उत्पन्न हुआ है।[10]

कोड

टेंसर डेटा समूह

यह भी देखें

संदर्भ

  1. ↑ 1.0 1.1 1.2 M. A. O. Vasilescu, D. Terzopoulos (2003) "Multilinear Subspace Analysis of Image Ensembles", "Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR’03), Madison, WI, June, 2003"
  2. ↑ M. A. O. Vasilescu, D. Terzopoulos (2002) "Multilinear Analysis of Image Ensembles: TensorFaces", Proc. 7th European Conference on Computer Vision (ECCV'02), Copenhagen, Denmark, May, 2002
  3. ↑ M. A. O. Vasilescu,(2002) "Human Motion Signatures: Analysis, Synthesis, Recognition", "Proceedings of International Conference on Pattern Recognition (ICPR 2002), Vol. 3, Quebec City, Canada, Aug, 2002, 456–460."
  4. ↑ 4.0 4.1 Vasilescu, M.A.O.; Terzopoulos, D. (2007). Multilinear Projection for Appearance-Based Recognition in the Tensor Framework. IEEE 11th International Conference on Computer Vision. pp. 1–8. doi:10.1109/ICCV.2007.4409067..
  5. ↑ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2013). Multilinear Subspace Learning: Dimensionality Reduction of Multidimensional Data. Chapman & Hall/CRC Press Machine Learning and Pattern Recognition Series. Taylor and Francis. ISBN 978-1-4398572-4-3.
  6. ↑ 6.0 6.1 Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). "A Survey of Multilinear Subspace Learning for Tensor Data" (PDF). Pattern Recognition. 44 (7): 1540–1551. Bibcode:2011PatRe..44.1540L. doi:10.1016/j.patcog.2011.01.004.
  7. ↑ X. He, D. Cai, P. Niyogi, Tensor subspace analysis, in: Advances in Neural Information Processing Systemsc 18 (NIPS), 2005.
  8. ↑ "टेन्सर-आधारित संगणना और मॉडलिंग में भविष्य की दिशाएँ" (PDF). May 2009.
  9. ↑ 9.0 9.1 S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang, and H.-J. Zhang, "Discriminant analysis with tensor representation," in Proc. IEEE Conference on Computer Vision and Pattern Recognition, vol. I, June 2005, pp. 526–532.
  10. ↑ 10.0 10.1 P. M. Kroonenberg and J. de Leeuw, Principal component analysis of three-mode data by means of alternating least squares algorithms, Psychometrika, 45 (1980), pp. 69–97.
  11. ↑ 11.0 11.1 M. A. O. Vasilescu, D. Terzopoulos (2005) "Multilinear Independent Component Analysis", "Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR’05), San Diego, CA, June 2005, vol.1, 547–553."
  12. ↑ D. Tao, X. Li, X. Wu, and S. J. Maybank, "General tensor discriminant analysis and gabor features for gait recognition," IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 10, pp. 1700–1715, October 2007.
  13. ↑ H. Lu, K. N. Plataniotis, and A. N. Venetsanopoulos, "Uncorrelated multilinear discriminant analysis with regularization and aggregation for tensor object recognition," IEEE Trans. Neural Netw., vol. 20, no. 1, pp. 103–123, January 2009.
  14. ↑ T.-K. Kim and R. Cipolla. "Canonical correlation analysis of video volume tensors for action categorization and detection," IEEE Trans. Pattern Anal. Mach. Intell., vol. 31, no. 8, pp. 1415–1428, 2009.
  15. ↑ H. Lu, "Learning Canonical Correlations of Paired Tensor Sets via Tensor-to-Vector Projection," Proceedings of the 23rd International Joint Conference on Artificial Intelligence (IJCAI 2013), Beijing, China, August 3–9, 2013.
  16. ↑ Khan, Suleiman A.; Kaski, Samuel (2014-09-15). Calders, Toon; Esposito, Floriana; Hüllermeier, Eyke; Meo, Rosa (eds.). डेटाबेस में मशीन लर्निंग और ज्ञान की खोज. Lecture Notes in Computer Science (in English). Springer Berlin Heidelberg. pp. 656–671. doi:10.1007/978-3-662-44848-9_42. ISBN 9783662448472.
  17. ↑ 17.0 17.1 L.D. Lathauwer, B.D. Moor, J. Vandewalle, A multilinear singular value decomposition, SIAM Journal of Matrix Analysis and Applications vol. 21, no. 4, pp. 1253–1278, 2000
  18. ↑ H. Lu, K. N. Plataniotis, and A. N. Venetsanopoulos, "MPCA: Multilinear principal component analysis of tensor objects," IEEE Trans. Neural Netw., vol. 19, no. 1, pp. 18–39, January 2008.
  19. ↑ Ledyard R Tucker (September 1966). "Some mathematical notes on three-mode factor analysis". Psychometrika. 31 (3): 279–311. doi:10.1007/BF02289464. PMID 5221127. S2CID 44301099.
  20. ↑ J. D. Carroll & J. Chang (1970). "Analysis of individual differences in multidimensional scaling via an n-way generalization of 'Eckart–Young' decomposition". Psychometrika. 35 (3): 283–319. doi:10.1007/BF02310791. S2CID 50364581.
  21. ↑ R. A. Harshman, Foundations of the PARAFAC procedure: Models and conditions for an "explanatory" multi-modal factor analysis Archived 2004-10-10 at the Wayback Machine. UCLA Working Papers in Phonetics, 16, pp. 1–84, 1970.
  22. ↑ L. D. Lathauwer, B. D. Moor, J. Vandewalle, On the best rank-1 and rank-(R1, R2, ..., RN ) approximation of higher-order tensors, SIAM Journal of Matrix Analysis and Applications 21 (4) (2000) 1324–1342.
Retrieved from ‘https://www.vigyanwiki.in/index.php?title=बहुरेखीय_उपस्थान_लर्निंग&oldid=219198’