सक्रिय शिक्षण (मशीन लर्निंग)

From Vigyanwiki
This article is about a machine learning method. For active learning in the context of education, see active learning.
Part of a series on
Machine learning
and data mining
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
Problems
Clustering
Dimensionality reduction
Structured prediction
Anomaly detection
Artificial neural network
Reinforcement learning
Learning with humans
Model diagnostics
Theory
Machine-learning venues
Related articles

सक्रिय शिक्षण मशीन लर्निंग का एक विशेष स्थिति है जिसमें एक शिक्षण एल्गोरिदम वांछित आउटपुट के साथ नए डेटा बिंदुओं को लेबल करने के लिए उपयोगकर्ता (या किसी अन्य सूचना स्रोत) से परस्पर संवादात्मक रूप से क्वेरी कर सकता है।[1][2][3] सांख्यिकी साहित्य में इसे कभी-कभी इष्टतम प्रयोगात्मक रचना भी कहा जाता है।[4] सूचना स्रोत को शिक्षक या दैवज्ञ भी कहा जाता है।

ऐसी स्थितियाँ हैं जिनमें बिना लेबल वाला डेटा प्रचुर मात्रा में है लेकिन मैन्युअल लेबलिंग महंगी है। ऐसे परिदृश्य में अधिगम के एल्गोरिदम लेबल के लिए उपयोगकर्ता/शिक्षक से सक्रिय रूप से पूछताछ कर सकते हैं। इस प्रकार की पुनरावृत्तीय पर्यवेक्षित शिक्षा को सक्रिय शिक्षा कहा जाता है, चूँकि शिक्षार्थी उदाहरण चुनता है, किसी अवधारणा को सीखने के लिए उदाहरणों की संख्या अक्सर सामान्य पर्यवेक्षित शिक्षण में आवश्यक संख्या से बहुत कम हो सकती है। इस दृष्टिकोण के साथ यह जोखिम है कि एल्गोरिदम बिना सूचना वाले उदाहरणों से अभिभूत हो जाएगा। हाल के घटनाक्रम मल्टी-लेबल सक्रिय शिक्षण [5]हाइब्रिड सक्रिय शिक्षण[6]और एकल-पास (ऑन-लाइन) संदर्भ में सक्रिय शिक्षण[7] मशीन लर्निंग के क्षेत्र से अवधारणाओं के संयोजन के लिए समर्पित हैं (उदाहरण के लिए संघर्ष और अज्ञानता) ऑनलाइन मशीन लर्निंग के क्षेत्र में अनुकूली, वृद्धिशील शिक्षण नीतियों के साथ।

बड़े पैमाने पर सक्रिय शिक्षण परियोजनाओं को अमेज़ॅन मैकेनिकल तुर्क जैसे क्राउडसोर्सिंग ढांचे से लाभ हो सकता है जिसमें सक्रिय शिक्षण लूप में कई मनुष्य सम्मिलित हैं।

परिभाषाएँ

मान लीजिए T विचाराधीन सभी डेटा का कुल सेट है। उदाहरण के लिए प्रोटीन इंजीनियरिंग समस्या में T में वे सभी प्रोटीन सम्मिलित होंगे जो एक निश्चित दिलचस्प गतिविधि के लिए जाने जाते हैं और सभी अतिरिक्त प्रोटीन जिन्हें कोई उस गतिविधि के लिए परीक्षण करना चाहता है।

प्रत्येक पुनरावृत्ति के दौरान, i, T को तीन उपसमूहों में विभाजित किया गया है

  1. : डेटा बिंदु जहां लेबल ज्ञात है।
  2. : डेटा बिंदु जहां लेबल अज्ञात है।
  3. : का एक उपसमुच्चय TU,i जिसे लेबल करने के लिए चुना गया है।

सक्रिय शिक्षण में अधिकांश वर्तमान शोध में TC,i के लिए डेटा बिंदुओं को चुनने की सर्वोत्तम विधि सम्मिलित है।

परिदृश्यों

  • सदस्यता क्वेरी संश्लेषण: यह वह जगह है जहां शिक्षार्थी अंतर्निहित प्राकृतिक वितरण से अपना स्वयं का उदाहरण उत्पन्न करता है। उदाहरण के लिए, यदि डेटासेट इंसानों और जानवरों की तस्वीरें हैं तो शिक्षार्थी शिक्षक को एक पैर की क्लिप की गई छवि भेज सकता है और पूछ सकता है कि क्या यह उपांग किसी जानवर या इंसान का है। यदि डेटासेट छोटा है तो यह विशेष रूप से उपयोगी है।[8]
  • पूल-आधारित नमूनाकरण: इस परिदृश्य में पूरे डेटा पूल से उदाहरण निकाले जाते हैं और एक आत्मविश्वास स्कोर दिया जाता है, जो इस बात का माप है कि सीखने वाला डेटा को कितनी अच्छी तरह "समझता" है। सिस्टम तब उन उदाहरणों का चयन करता है जिनके लिए वह सबसे कम आश्वस्त है और लेबल के लिए शिक्षक से पूछताछ करता है।
  • स्ट्रीम-आधारित चयनात्मक नमूनाकरण: यहां प्रत्येक गैर-लेबल किए गए डेटा बिंदु की एक-एक करके जांच की जाती है, जिसमें मशीन अपने क्वेरी पैरामीटर के विरुद्ध प्रत्येक आइटम की सूचनात्मकता का मूल्यांकन करती है। शिक्षार्थी स्वयं निर्णय लेता है कि प्रत्येक डेटापॉइंट के लिए एक लेबल निर्दिष्ट करना है या शिक्षक से पूछताछ करनी है।

क्वेरी रणनीतियाँ

यह निर्धारित करने के लिए कि कौन से डेटा बिंदुओं को लेबल किया जाना चाहिए, एल्गोरिदम को उनके उद्देश्य के आधार पर कई अलग-अलग श्रेणियों में व्यवस्थित किया जा सकता है:[1]

  • संतुलन अन्वेषण और शोषण: लेबल करने के लिए उदाहरणों की पसंद को डेटा स्पेस प्रतिनिधित्व पर अन्वेषण और शोषण के बीच एक दुविधा के रूप में देखा जाता है। यह रणनीति सक्रिय सीखने की समस्या को एक प्रासंगिक दस्यु समस्या के रूप में मॉडलिंग करके इस समझौते का प्रबंधन करती है। उदाहरण के लिए, बाउनेफ़ॉफ़ एट अल।[9]एक्टिव थॉम्पसन सैंपलिंग (एटीएस) नामक एक अनुक्रमिक एल्गोरिथ्म का प्रस्ताव करें, जो प्रत्येक दौर में पूल पर एक नमूना वितरण प्रदान करता है, इस वितरण से एक बिंदु का नमूना लेता है और इस नमूना बिंदु लेबल के लिए ओरेकल से पूछताछ करता है।
  • अपेक्षित मॉडल परिवर्तन: उन बिंदुओं को लेबल करें जो वर्तमान मॉडल को सबसे अधिक बदल देंगे।
  • अपेक्षित त्रुटि में कमी: उन बिंदुओं को लेबल करें जो मॉडल की सामान्यीकरण त्रुटि को सबसे अधिक कम करेंगे।
  • सक्रिय शिक्षण के लिए घातीय स्नातक अन्वेषण:[10]इस लेख्य में लेखक एक्सपोनेंटियेटेड ग्रेडिएंट (ईजी)-सक्रिय नामक एक अनुक्रमिक एल्गोरिदम का प्रस्ताव करता है जो इष्टतम यादृच्छिक अन्वेषण द्वारा किसी भी सक्रिय शिक्षण एल्गोरिदम में सुधार कर सकता है।
  • यादृच्छिक नमूनाकरण: एक नमूना यादृच्छिक रूप से चुना जाता है।[11]*अनिश्चितता नमूनाकरण: उन बिंदुओं को लेबल करें जिनके लिए वर्तमान मॉडल कम से कम निश्चित है कि सही आउटपुट क्या होना चाहिए।
    • एंट्रॉपी नमूनाकरण: प्रत्येक नमूने पर एन्ट्रॉपी सूत्र का उपयोग किया जाता है और उच्चतम एन्ट्रॉपी वाला नमूना सबसे कम निश्चित माना जाता है।[11]**
    • मार्जिन नमूनाकरण: दो उच्चतम वर्ग संभावनाओं के बीच सबसे छोटे अंतर वाले नमूने को सबसे अनिश्चित माना जाता है।[11]**
    • सबसे कम आत्मविश्वास वाला नमूनाकरण: सबसे छोटी सर्वोत्तम संभावना वाला नमूना सबसे अनिश्चित माना जाता है।[11]*
    • समिति द्वारा प्रश्न: विभिन्न मॉडलों को वर्तमान लेबल किए गए डेटा पर प्रशिक्षित किया जाता है और बिना लेबल वाले डेटा के आउटपुट पर वोट किया जाता है, उन बिंदुओं को लेबल करें जिन पर समिति सबसे अधिक असहमत है।
  • विभिन्न उप-स्थानों या विभाजनों से पूछताछ करना:[12]जब अंतर्निहित मॉडल पेड़ों का जंगल है, तो पत्ती नोड्स मूल फीचर (मशीन लर्निंग) स्थान के (अतिव्यापी) विभाजन का प्रतिनिधित्व कर सकते हैं। यह लेबलिंग के लिए गैर-अतिव्यापी या न्यूनतम ओवरलैपिंग विभाजन से उदाहरणों का चयन करने की संभावना प्रदान करता है।
  • विचरण में कमी: उन बिंदुओं को लेबल करें जो आउटपुट विचरण को कम करेंगे, जो त्रुटि के घटकों में से एक है।
  • अनुरूप भविष्यवाणी: भविष्यवाणी करती है कि एक नए डेटा बिंदु में कुछ निर्दिष्ट तरीके से पुराने डेटा बिंदुओं के समान एक लेबल होगा और पुराने उदाहरणों के भीतर समानता की डिग्री का उपयोग भविष्यवाणी में विश्वास का अनुमान लगाने के लिए किया जाता है।[13]
  • बेमेल-पहला सबसे दूर-ट्रैवर्सल: प्राथमिक चयन मानदंड वर्तमान मॉडल और निकटतम-पड़ोसी भविष्यवाणी के बीच भविष्यवाणी बेमेल है। यह गलत पूर्वानुमानित डेटा बिंदुओं को लक्षित करता है। दूसरा चयन मानदंड पहले चयनित डेटा की दूरी है, सबसे दूर वाला पहला। इसका उद्देश्य चयनित डेटा की विविधता को अनुकूलित करना है।[14]*उपयोगकर्ता केंद्रित लेबलिंग रणनीतियाँ: ग्राफ़ और स्कैटर प्लॉट जैसे आंकड़ों में आयामी कमी को लागू करके सीखना पूरा किया जाता है, फिर उपयोगकर्ता को संकलित डेटा (श्रेणीबद्ध, संख्यात्मक, प्रासंगिकता स्कोर, दो उदाहरणों के बीच संबंध) को लेबल करने के लिए कहा जाता है।[15]

इन श्रेणियों में आने वाले विभिन्न प्रकार के एल्गोरिदम का अध्ययन किया गया है।[1][4]


न्यूनतम सीमांत हाइपरप्लेन

कुछ सक्रिय शिक्षण एल्गोरिदम समर्थन वेक्टर यंत्रों (SVM) पर बनाए गए हैं और यह निर्धारित करने के लिए एसवीएम की संरचना का उपयोग करते हैं कि कौन सा डेटा लेबल करना है। ऐसी विधियाँ सामान्यतौर पर TU,i में प्रत्येक गैर-लेबल वाले डेटाम के मार्जिन, W की गणना करती हैं और W को उस डेटाम से अलग हाइपरप्लेन तक n-आयामी दूरी के रूप में मानती हैं।

न्यूनतम सीमांत हाइपरप्लेन विधियाँ मानती हैं कि डेटा सबसे छोटे W वाला डेटा वह है जिसके बारे में एसवीएम सबसे अधिक अनिश्चित है इसलिए उसे लेबल करने के लिए TC,i में रखा जाना चाहिए। अन्य समान विधियाँ जैसे मैक्सिमम मार्जिनल हाइपरप्लेन सबसे बड़े W के साथ डेटा का चयन करती हैं। ट्रेडऑफ़ विधियाँ सबसे छोटे और सबसे बड़े W का मिश्रण चुनती हैं।

यह भी देखें

टिप्पणियाँ

  1. ↑ 1.0 1.1 1.2 Settles, Burr (2010). "Active Learning Literature Survey" (PDF). Computer Sciences Technical Report 1648. University of Wisconsin–Madison. Retrieved 2014-11-18. {{cite journal}}: Cite journal requires |journal= (help)
  2. ↑ Rubens, Neil; Elahi, Mehdi; Sugiyama, Masashi; Kaplan, Dain (2016). "Active Learning in Recommender Systems". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (eds.). Recommender Systems Handbook (PDF) (2 ed.). Springer US. doi:10.1007/978-1-4899-7637-6. hdl:11311/1006123. ISBN 978-1-4899-7637-6. S2CID 11569603.
  3. ↑ Das, Shubhomoy; Wong, Weng-Keen; Dietterich, Thomas; Fern, Alan; Emmott, Andrew (2016). "Incorporating Expert Feedback into Active Anomaly Discovery". In Bonchi, Francesco; Domingo-Ferrer, Josep; Baeza-Yates, Ricardo; Zhou, Zhi-Hua; Wu, Xindong (eds.). IEEE 16th International Conference on Data Mining. IEEE. pp. 853–858. doi:10.1109/ICDM.2016.0102. ISBN 978-1-5090-5473-2. S2CID 15285595.
  4. ↑ 4.0 4.1 Olsson, Fredrik (April 2009). "प्राकृतिक भाषा प्रसंस्करण के संदर्भ में सक्रिय मशीन लर्निंग का एक साहित्य सर्वेक्षण". SICS Technical Report T2009:06. {{cite journal}}: Cite journal requires |journal= (help)
  5. ↑ Yang, Bishan; Sun, Jian-Tao; Wang, Tengjiao; Chen, Zheng (2009). "Effective multi-label active learning for text classification" (PDF). Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '09. p. 917. CiteSeerX 10.1.1.546.9358. doi:10.1145/1557019.1557119. ISBN 978-1-60558-495-9. S2CID 1979173.
  6. ↑ Lughofer, Edwin (February 2012). "Hybrid active learning for reducing the annotation effort of operators in classification systems". Pattern Recognition. 45 (2): 884–896. Bibcode:2012PatRe..45..884L. doi:10.1016/j.patcog.2011.08.009.
  7. ↑ Lughofer, Edwin (2012). "Single-pass active learning with conflict and ignorance". Evolving Systems. 3 (4): 251–271. doi:10.1007/s12530-012-9060-7. S2CID 43844282.
  8. ↑ Wang, Liantao; Hu, Xuelei; Yuan, Bo; Lu, Jianfeng (2015-01-05). "क्वेरी संश्लेषण और निकटतम पड़ोसी खोज के माध्यम से सक्रिय शिक्षण" (PDF). Neurocomputing. 147: 426–434. doi:10.1016/j.neucom.2014.06.042. S2CID 3027214.
  9. ↑ Bouneffouf, Djallel; Laroche, Romain; Urvoy, Tanguy; Féraud, Raphael; Allesiardo, Robin (2014). "Contextual Bandit for Active Learning: Active Thompson". In Loo, C. K.; Yap, K. S.; Wong, K. W.; Teoh, A.; Huang, K. (eds.). Neural Information Processing (PDF). Lecture टिप्पणियाँ in Computer Science. Vol. 8834. pp. 405–412. doi:10.1007/978-3-319-12637-1_51. ISBN 978-3-319-12636-4. S2CID 1701357. HAL Id: hal-01069802.
  10. ↑ Bouneffouf, Djallel (8 January 2016). "Exponentiated Gradient Exploration for Active Learning". Computers. 5 (1): 1. arXiv:1408.2196. doi:10.3390/computers5010001. S2CID 14313852.
  11. ↑ 11.0 11.1 11.2 11.3 Faria, Bruno; Perdigão, Dylan; Brás, Joana; Macedo, Luis (2022). "The Joint Role of Batch Size and Query Strategy in Active Learning-Based Prediction - A Case Study in the Heart Attack Domain". Progress in Artificial Intelligence. Lecture टिप्पणियाँ in Computer Science. 13566: 464–475. doi:10.1007/978-3-031-16474-3_38. ISBN 978-3-031-16473-6.
  12. ↑ "shubhomoydas/ad_examples". GitHub (in English). Retrieved 2018-12-04.
  13. ↑ Makili, Lázaro Emílio; Sánchez, Jesús A. Vega; Dormido-Canto, Sebastián (2012-10-01). "Active Learning Using Conformal Predictors: Application to Image Classification". Fusion Science and Technology. 62 (2): 347–355. doi:10.13182/FST12-A14626. ISSN 1536-1055. S2CID 115384000.
  14. ↑ Zhao, Shuyang; Heittola, Toni; Virtanen, Tuomas (2020). "Active learning for sound event detection". IEEE/ACM Transactions on Audio, Speech, and Language Processing (in English). arXiv:2002.05033.
  15. ↑ Bernard, Jürgen; Zeppelzauer, Matthias; Lehmann, Markus; Müller, Martin; Sedlmair, Michael (June 2018). "उपयोगकर्ता-केंद्रित सक्रिय शिक्षण एल्गोरिदम की ओर". Computer Graphics Forum. 37 (3): 121–132. doi:10.1111/cgf.13406. ISSN 0167-7055. S2CID 51875861. 
[Category:Mach
Retrieved from ‘https://www.vigyanwiki.in/index.php?title=सक्रिय_शिक्षण_(मशीन_लर्निंग)&oldid=245576’