वैचारिक क्लस्टरिंग

संकल्पनात्मक क्लस्टरिंग अप्रशिक्षित वर्गीकरण के लिए एक यंत्र अधिगम प्रतिमान है जिसे 1980 में रिस्ज़र्ड एस. माइकल्स्की द्वारा परिभाषित किया गया है (फिशर 1987, माइकल्स्की 1980) और मुख्य रूप से 1980 के दशक के दौरान विकसित किया गया था। प्रत्येक उत्पन्न वर्ग के लिए एक अवधारणा विवरण तैयार करके इसे सामान्य क्लस्टर विश्लेषण से अलग किया जाता है। अधिकांश वैचारिक क्लस्टरिंग विधियां पदानुक्रमित श्रेणी संरचनाएं उत्पन्न करने में सक्षम हैं; पदानुक्रम पर अधिक जानकारी के लिए वर्गीकरण देखें। वैचारिक क्लस्टरिंग औपचारिक अवधारणा विश्लेषण, निर्णय वृक्ष सीखने और मिश्रण मॉडल सीखने से निकटता से संबंधित है।

वैचारिक क्लस्टरिंग बनाम डेटा क्लस्टरिंग

वैचारिक क्लस्टरिंग स्पष्ट रूप से डेटा क्लस्टरिंग से निकटता से संबंधित है; हालाँकि, वैचारिक क्लस्टरिंग में यह न केवल डेटा की अंतर्निहित संरचना है जो क्लस्टर गठन को संचालित करती है, बल्कि विशिष्टता और विवरण भाषा भी है जो सीखने वाले के लिए उपलब्ध है। इस प्रकार, यदि प्रचलित अवधारणा विवरण भाषा उस विशेष नियमितता का वर्णन करने में असमर्थ है, तो डेटा में सांख्यिकीय रूप से मजबूत समूहीकरण शिक्षार्थी द्वारा निकालने में विफल हो सकता है। अधिकांश कार्यान्वयनों में, विवरण भाषा फीचर तार्किक संयोजन तक सीमित है, हालांकि COBWEB में (#उदाहरण देखें: एक बुनियादी वैचारिक क्लस्टरिंग एल्गोरिदम, COBWEB नीचे), फीचर भाषा संभाव्य है।

प्रकाशित एल्गोरिदम की सूची

वैचारिक क्लस्टरिंग के लिए उचित संख्या में एल्गोरिदम प्रस्तावित किए गए हैं। कुछ उदाहरण नीचे दिये गये हैं:

• क्लस्टर/2 (माइकल्स्की और स्टेप 1983)
• मकड़ी का जाला (क्लस्टरिंग) (फिशर 1987)
• साइरस (कोलोडनर 1983)
• गैलोइस (कारपिनेटो और रोमानो 1993),
• जीसीएफ (तलावेरा और बेज़ार 2001)
• आईएनसी (हडज़िकाडिक और यूं 1989)
• पुनरावृत्त (बिस्वास, वेनबर्ग और फिशर 1998),
• भूलभुलैया (थॉम्पसन और लैंगली 1989)
• सबड्यू (जोनीर, कुक और होल्डर 2001)।
• UNIMEM (लेबोविट्ज़ 1987)
• विट (हैनसन और बाउर 1989),

वैचारिक क्लस्टरिंग की अधिक सामान्य चर्चाएँ और समीक्षाएँ निम्नलिखित प्रकाशनों में पाई जा सकती हैं:

• माइकल्स्की (1980)
• गेनारी, लैंगली, और फिशर (1989)
• फिशर एंड पज़ानी (1991)
• फिशर एंड लैंगली (1986)
• स्टेप और माइकल्स्की (1986)

उदाहरण: एक बुनियादी वैचारिक क्लस्टरिंग एल्गोरिथ्म

यह खंड वैचारिक क्लस्टरिंग एल्गोरिदम COBWEB की मूल बातों पर चर्चा करता है। विभिन्न अनुमानों और श्रेणी अच्छाई या श्रेणी मूल्यांकन मानदंडों का उपयोग करने वाले कई अन्य एल्गोरिदम हैं, लेकिन COBWEB सबसे प्रसिद्ध में से एक है। पाठक को अन्य तरीकों के लिए #संदर्भों का संदर्भ दिया जाता है।

ज्ञान प्रतिनिधित्व

COBWEB डेटा संरचना एक पदानुक्रम (वृक्ष) है जिसमें प्रत्येक नोड एक दी गई अवधारणा का प्रतिनिधित्व करता है। प्रत्येक अवधारणा वस्तुओं के एक सेट (वास्तव में, एक मल्टीसेट या बैग) का प्रतिनिधित्व करती है, प्रत्येक वस्तु को बाइनरी-मूल्यवान संपत्ति सूची के रूप में दर्शाया जाता है। प्रत्येक ट्री नोड (यानी, अवधारणा) से जुड़ा डेटा उस अवधारणा में वस्तुओं के लिए पूर्णांक संपत्ति गणना है। उदाहरण के लिए, (चित्र देखें), एक अवधारणा दें $C_{1}$ निम्नलिखित चार वस्तुएं शामिल हैं (दोहराई जाने वाली वस्तुओं की अनुमति है)।

File:Concept tree.png

नमूना COBWEB ज्ञान प्रतिनिधित्व, संभाव्य अवधारणा पदानुक्रम। नीले बक्से वास्तविक वस्तुओं की सूची बनाते हैं, बैंगनी बक्से विशेषता गणनाओं की सूची बनाते हैं। विवरण के लिए पाठ देखें. ध्यान दें: आरेख का उद्देश्य केवल COBWEB की डेटा संरचना का उदाहरण देना है; यह आवश्यक रूप से एक अच्छे अवधारणा वृक्ष का प्रतिनिधित्व नहीं करता है, या ऐसा वृक्ष जिसे COBWEB वास्तव में वास्तविक डेटा से निर्मित करेगा।

#[1 0 1]

1. [0 1 1]
2. [0 1 0]
3. [0 1 1]

उदाहरण के लिए, तीन गुण हो सकते हैं, [is_male, has_wings, is_nocturnal]. फिर इस अवधारणा नोड पर जो संग्रहीत किया जाता है वह संपत्ति गणना है [1 3 3], यह दर्शाता है कि अवधारणा में 1 वस्तु पुरुष है, 3 वस्तुओं के पंख हैं, और 3 वस्तुएँ रात्रिचर हैं। अवधारणा विवरण नोड पर गुणों की श्रेणी-सशर्त संभाव्यता (संभावना) है। इस प्रकार, यह देखते हुए कि एक वस्तु श्रेणी (अवधारणा) का सदस्य है $C_{1}$, संभावना यह है कि यह पुरुष है $1/4=0.25$. इसी तरह, संभावना यह है कि वस्तु के पंख हैं और संभावना यह है कि वस्तु रात्रिचर है या दोनों हैं $3/4=0.75$. इसलिए अवधारणा का विवरण बस इस प्रकार दिया जा सकता है [.25 .75 .75], जो से मेल खाता है $C_{1}$-सशर्त सुविधा संभावना, यानी, $p(x|C_{1})=(0.25,0.75,0.75)$.

दाईं ओर का चित्र पाँच अवधारणाओं वाला एक अवधारणा वृक्ष दिखाता है। $C_{0}$ मूल अवधारणा है, जिसमें डेटा सेट में सभी दस ऑब्जेक्ट शामिल हैं। अवधारणाओं $C_{1}$ और $C_{2}$ के बच्चे हैं $C_{0}$, पहले में चार वस्तुएँ हैं, और बाद में छह वस्तुएँ हैं। अवधारणा $C_{2}$ अवधारणाओं का जनक भी है $C_{3}$, $C_{4}$, और $C_{5}$, जिसमें क्रमशः तीन, दो और एक वस्तु शामिल है। ध्यान दें कि प्रत्येक मूल नोड (सापेक्ष अधीनस्थ अवधारणा) में उसके चाइल्ड नोड्स (सापेक्ष अधीनस्थ अवधारणा) में निहित सभी वस्तुएं शामिल हैं। फिशर (1987) के COBWEB के विवरण में, वह इंगित करता है कि नोड्स पर केवल कुल विशेषता गणना (सशर्त संभावनाएं नहीं, और ऑब्जेक्ट सूचियां नहीं) संग्रहीत की जाती हैं। किसी भी संभावना की गणना आवश्यकतानुसार विशेषता गणना से की जाती है।

मकड़ी का जाल भाषा

COBWEB की विवरण भाषा केवल ढीले अर्थों में एक भाषा है, क्योंकि पूर्णतः संभाव्य होने के कारण यह किसी भी अवधारणा का वर्णन करने में सक्षम है। हालाँकि, यदि संभाव्यता सीमाओं पर बाधाएँ रखी जाती हैं जो अवधारणाएँ प्रतिनिधित्व कर सकती हैं, तो एक मजबूत भाषा प्राप्त होती है। उदाहरण के लिए, हम केवल उन अवधारणाओं की अनुमति दे सकते हैं जिनमें कम से कम एक संभावना 0.5 से अधिक भिन्न हो $\alpha$. इस बाधा के तहत, साथ $\alpha =0.3$, एक अवधारणा जैसे [.6 .5 .7] शिक्षार्थी द्वारा निर्माण नहीं किया जा सका; हालाँकि एक अवधारणा जैसे [.6 .5 .9] पहुंच योग्य होगा क्योंकि कम से कम एक संभावना 0.5 से अधिक भिन्न होती है $\alpha$. इस प्रकार, इस तरह की बाधाओं के तहत, हम एक पारंपरिक अवधारणा भाषा की तरह कुछ प्राप्त करते हैं। सीमित मामले में जहां $\alpha =0.5$ प्रत्येक विशेषता के लिए, और इस प्रकार एक अवधारणा में प्रत्येक संभावना 0 या 1 होनी चाहिए, परिणाम संयोजन पर आधारित एक फीचर भाषा है; अर्थात्, प्रत्येक अवधारणा जिसे प्रस्तुत किया जा सकता है, उसे विशेषताओं (और उनके निषेध) के संयोजन के रूप में वर्णित किया जा सकता है, और जिन अवधारणाओं को इस तरह से वर्णित नहीं किया जा सकता है, उन्हें प्रस्तुत नहीं किया जा सकता है।

मूल्यांकन मानदंड

फिशर (1987) के COBWEB के विवरण में, पदानुक्रम की गुणवत्ता का मूल्यांकन करने के लिए वह जिस माप का उपयोग करता है वह ग्लुक और कॉर्टर (1985) श्रेणी उपयोगिता (सीयू) माप है, जिसे वह अपने पेपर में फिर से प्राप्त करता है। माप की प्रेरणा निर्णय वृक्ष सीखने के लिए क्विनलान द्वारा शुरू की गई सूचना लाभ माप के समान है। यह पहले दिखाया गया है कि फीचर-आधारित वर्गीकरण के लिए सीयू फीचर वेरिएबल और क्लास वेरिएबल (ग्लक एंड कॉर्टर, 1985; कॉर्टर एंड ग्लक, 1992) के बीच पारस्परिक जानकारी के समान है, और चूंकि यह माप बहुत बेहतर ज्ञात है , हम यहां श्रेणी की अच्छाई के माप के रूप में पारस्परिक जानकारी के साथ आगे बढ़ते हैं।

हम जो मूल्यांकन करना चाहते हैं वह वस्तुओं को एक विशेष श्रेणीबद्ध वर्गीकरण संरचना में समूहीकृत करने की समग्र उपयोगिता है। संभावित वर्गीकरण संरचनाओं के एक सेट को देखते हुए, हमें यह निर्धारित करने की आवश्यकता है कि क्या कोई दूसरे से बेहतर है।

संदर्भ

• Biswas, G.; Weinberg, J. B.; Fisher, Douglas H. (1998). "Iterate: A conceptual clustering algorithm for data mining". IEEE Transactions on Systems, Man, and Cybernetics - Part C: Applications and Reviews. 28 (2): 100–111. doi:10.1109/5326.669556.

• Carpineto, C.; Romano, G. (2014) [1993]. "Galois: An order-theoretic approach to conceptual clustering". Proceedings of 10th International Conference on Machine Learning, Amherst. pp. 33–40. ISBN 978-1-4832-9862-7.

• Fisher, Douglas H. (1987). "Knowledge acquisition via incremental conceptual clustering" (PDF). Machine Learning. 2 (2): 139–172. doi:10.1007/BF00114265.

• Fisher, Douglas H. (1996). "Iterative optimization and simplification of hierarchical clusterings". Journal of Artificial Intelligence Research. 4: 147–178. arXiv:cs/9604103. Bibcode:1996cs........4103F. doi:10.1613/jair.276. S2CID 9841360.

• Fisher, Douglas H.; Langley, Patrick W. (1986). "Conceptual clustering and its relation to numerical taxonomy". In Gale, W. A. (ed.). Artificial Intelligence and Statistics. Reading, MA: Addison-Wesley. pp. 77–116. ISBN 978-0-201-11569-7. OCLC 12973461.

• Fisher, Douglas H.; Pazzani, Michael J. (2014) [1991]. "Computational models of concept learning". In Fisher, D. H.; Pazzani, M. J.; Langley, P. (eds.). Concept Formation: Knowledge and Experience in Unsupervised Learning. San Mateo, CA: Morgan Kaufmann. pp. 3–43. doi:10.1016/B978-1-4832-0773-5.50007-9. ISBN 978-1-4832-2116-8.

• Gennari, John H.; Langley, Patrick W.; Fisher, Douglas H. (1989). "Models of incremental concept formation". Artificial Intelligence. 40 (1–3): 11–61. doi:10.1016/0004-3702(89)90046-5.

• Hanson, S. J.; Bauer, M. (1989). "Conceptual clustering, categorization, and polymorphy". Machine Learning. 3 (4): 343–372. doi:10.1007/BF00116838.

• Jonyer, I.; Cook, D. J.; Holder, L. B. (2001). "Graph-based hierarchical conceptual clustering". Journal of Machine Learning Research. 2: 19–43. doi:10.1162/153244302760185234.

• Lebowitz, M. (1987). "Experiments with incremental concept formation". Machine Learning. 2 (2): 103–138. doi:10.1007/BF00114264.

• Michalski, R. S. (1980). "Knowledge acquisition through conceptual clustering: A theoretical framework and an algorithm for partitioning data into conjunctive concepts" (PDF). International Journal of Policy Analysis and Information Systems. 4: 219–244.

• Michalski, R. S.; Stepp, R. E. (1983). "Learning from observation: Conceptual clustering" (PDF). In Michalski, R. S.; Carbonell, J. G.; Mitchell, T. M. (eds.). Machine Learning: An Artificial Intelligence Approach. Palo Alto, CA: Tioga. pp. 331–363. ISBN 978-0-935382-05-1. OCLC 455234543.

• Stepp, R. E.; Michalski, R. S. (1986). "Conceptual clustering: Inventing goal-oriented classifications of structured objects" (PDF). In Michalski, R. S.; Carbonell, J. G.; Mitchell, T. M. (eds.). Machine Learning: An Artificial Intelligence Approach. Los Altos, CA: Morgan Kaufmann. pp. 471–498. ISBN 0-934613-00-1.

• Talavera, L.; Béjar, J. (2001). "Generality-based conceptual clustering with probabilistic concepts". IEEE Transactions on Pattern Analysis and Machine Intelligence. 23 (2): 196–206. doi:10.1109/34.908969.

बाहरी संबंध

• Bibliography of conceptual clustering
• Working python implementation of COBWEB