बूस्टिंग (मशीन लर्निंग)

From Vigyanwiki
Revision as of 22:05, 29 March 2023 by alpha>Ashirvad Verma
Part of a series on
Machine learning
and data mining
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
Problems
Clustering
Dimensionality reduction
Structured prediction
Anomaly detection
Artificial neural network
Reinforcement learning
Learning with humans
Model diagnostics
Theory
Machine-learning venues
Related articles

यंत्र अधिगम में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग#बायस-वैरियंस ट्रेडऑफ़ और वेरियंस को कम करने के लिए सीखने को इकट्ठा करो मेटा-एल्गोरिथ्म है[1] पर्यवेक्षित शिक्षा में, और मशीन लर्निंग एल्गोरिदम का परिवार जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।[2] बूस्टिंग माइकल किर्न्स (कंप्यूटर वैज्ञानिक) और लेस्ली बहादुर (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।:[3][4] क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? कमजोर शिक्षार्थी को वर्गीकरण (मशीन लर्निंग) के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से थोड़ा सा सहसंबद्ध है (यह यादृच्छिक अनुमान लगाने से बेहतर उदाहरणों को लेबल कर सकता है)। इसके विपरीत, मजबूत शिक्षार्थी क्लासिफायरियर होता है जो सच्चे वर्गीकरण के साथ मनमाने ढंग से अच्छी तरह से जुड़ा होता है।

1990 के पेपर में रॉबर्ट शेपर का सकारात्मक उत्तर[5] किर्न्स और वैलेंटाइन के सवाल पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए अग्रणी।[6] जब पहली बार पेश किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में बदलने की प्रक्रिया के रूप में संदर्भित किया गया। अनौपचारिक रूप से, [परिकल्पना को बढ़ावा देने वाली] समस्या पूछती है कि क्या कुशल शिक्षण एल्गोरिद्म [...] जो ऐसी परिकल्पना का उत्पादन करता है जिसका प्रदर्शन यादृच्छिक अनुमान [अर्थात्] से थोड़ा ही बेहतर है। कमजोर शिक्षार्थी] का तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो मनमाना सटीकता की परिकल्पना का उत्पादन करता है [अर्थात। मजबूत शिक्षार्थी]।[3]एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। योव दोस्त और शापायर का आर्किंग[7] सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय है।[8]

बूस्टिंग एल्गोरिदम

जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना शामिल है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे री- भार के रूप में जाना जाता है। गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।[note 1] इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।

समांतर शिक्षार्थियों और भारित डेटासेट से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण

कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित (एक पुनरावर्तन (कंप्यूटर विज्ञान) बहुमत गेट फॉर्मूलेशन)[5]और योव फ्रायंड (बहुमत से बढ़ावा),[9] अनुकूली एल्गोरिदम नहीं थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सके। शापायर और फ्रायंड ने तब ऐडाबूस्ट विकसित किया, जो अनुकूली बूस्टिंग एल्गोरिथम है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता।

केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के फॉर्मूलेशन में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम हैं, उन्हें सटीक रूप से बूस्टिंग एल्गोरिदम कहा जा सकता है। अन्य एल्गोरिदम जो भावना में समान हैं बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, हालांकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।[9]

कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और परिकल्पना को भारित करने की उनकी विधि है। AdaBoost बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अक्सर यूनिवर्सिटी मशीन लर्निंग कोर्स में बूस्टिंग के शुरुआती कवरेज का आधार होता है।[10] एलपीबूस्ट, टोटलबॉस्ट, ब्राउन बूस्ट, एक्सगबॉस्ट, मैडाबूस्ट, LogitBoost और अन्य जैसे कई और हालिया एल्गोरिदम हैं। कई बूस्टिंग एल्गोरिदम AnyBoost फ्रेमवर्क में फिट होते हैं,[9]जो दर्शाता है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके समारोह स्थान में ढतला हुआ वंश करता है।

कंप्यूटर दृष्टि में वस्तु वर्गीकरण

Main article: Object categorization from image search

दुनिया में विभिन्न ज्ञात वस्तुओं वाली छवियों को देखते हुए, भविष्य की छवियों में वस्तुओं को स्वचालित रूप से सांख्यिकीय वर्गीकरण करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने का तरीका है।

वस्तु वर्गीकरण की समस्या

छवि खोज से वस्तु वर्गीकरण कंप्यूटर दृष्टि का विशिष्ट कार्य है जिसमें यह निर्धारित करना शामिल है कि किसी छवि में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं। विचार मान्यता, पहचान और पहचान से निकटता से संबंधित है। उपस्थिति आधारित वस्तु वर्गीकरण में आमतौर पर सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना शामिल है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदा। शेप एनालिसिस (डिजिटल ज्योमेट्री), शब्द मॉडल का बैग, या लोकल डिस्क्रिप्टर जैसे स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म आदि से। सुपरवाइज्ड लर्निंग के उदाहरण हैं Naive Bayes क्लासिफायर, समर्थन वेक्टर यंत्र , गॉसियन का मिश्रण और तंत्रिका नेटवर्क । हालाँकि, अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और छवियों में उनके स्थान को अनियंत्रित शिक्षा में भी खोजा जा सकता है।[11]

वस्तु वर्गीकरण के लिए यथास्थिति

छवियों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, खासकर जब श्रेणियों की संख्या बड़ी हो। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ काफी भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, स्केलिंग (ज्यामिति), और रोशनी (छवि) के तहत जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी मुश्किलें जोड़ते हैं।[12] मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश मौजूदा वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदा. चेहरा, कार, साधारण वस्तुएं आदि।[13] अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और हालांकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)[14]) विकसित किया गया है। तरीका है फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग।

बाइनरी वर्गीकरण के लिए बूस्टिंग

AdaBoost का उपयोग चेहरे की पहचान के लिए द्विआधारी वर्गीकरण के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है:

  1. सरल सुविधाओं का बड़ा सेट तैयार करें
  2. प्रशिक्षण छवियों के लिए भार आरंभ करें
  3. टी राउंड के लिए
    1. वजन सामान्य करें
    2. सेट से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
    3. न्यूनतम त्रुटि वाला क्लासिफायर चुनें
    4. प्रशिक्षण छवियों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
  4. टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक बड़ा)

बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के तहत 95% पहचान दर प्राप्त कर सकता है टाइप I और टाइप II त्रुटियां।[15] बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाती है।[16] चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला काम है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क | वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।

[[बहु-श्रेणी वर्गीकरण]] के लिए बूस्टिंग

बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की तलाश करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं की तरह अधिक सामान्य किनारे का पता लगाना बन जाते हैं। सीखने के दौरान, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जा सकता है। अलग से प्रशिक्षण की तुलना में, यह सामान्यीकरण बेहतर है, कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।

एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाएगा। प्रत्येक पुनरावृत्ति के दौरान एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है (ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाएगा)। यह बहु-श्रेणी वर्गीकरण को बाइनरी (श्रेणियों का सेट बनाम बाकी) में परिवर्तित करके किया जा सकता है,[17] या उन श्रेणियों से पेनल्टी एरर शुरू करके जिनमें क्लासिफायर की सुविधा नहीं है।[18] पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना, ए. टोराल्बा एट अल। बूस्टिंग के लिए जेंटलबूस्ट का इस्तेमाल किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत बेहतर काम करता है। इसके अलावा, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, यानी रैखिक विकास से धीमी होती है। गैर-साझाकरण मामला। इसी तरह के परिणाम दृश्य आकार वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए AdaBoost का उपयोग किया।

उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम

बूस्टिंग एल्गोरिदम उत्तल अनुकूलन या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। AdaBoost और LogitBoost जैसे उत्तल एल्गोरिदम को यादृच्छिक शोर से पराजित किया जा सकता है जैसे कि वे कमजोर परिकल्पनाओं के बुनियादी और सीखने योग्य संयोजनों को नहीं सीख सकते।[19][20] इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। हालाँकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देना, जैसे कि ब्राउनबॉस्ट, शोर डेटासेट से सीख सकते हैं और विशेष रूप से लॉन्ग- के अंतर्निहित क्लासिफायरियर को सीख सकते हैं। सेर्वडियो डेटासेट।

यह भी देखें

कार्यान्वयन

scikit-सीखें, पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी

  • ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल Orange.ensemble
  • Weka (मशीन लर्निंग) टूल का वेका (मशीन लर्निंग) सेट है जो AdaBoost और LogitBoost जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
  • R (प्रोग्रामिंग लैंग्वेज) पैकेज GBM (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के AdaBoost एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
  • jboost; AdaBoost, LogitBoost, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
  • आर पैकेज adabag: मल्टीक्लास AdaBoost.M1, AdaBoost-SAMME और बैगिंग लागू करता है
  • आर पैकेज xgboost: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।

टिप्पणियाँ

  1. ↑ Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and BrownBoost.

संदर्भ

  1. ↑ Leo Breiman (1996). "BIAS, VARIANCE, और आर्किंग क्लासिफायर" (PDF). TECHNICAL REPORT. Archived from the original (PDF) on 2015-01-19. Retrieved 19 January 2015. Arcing [Boosting] is more successful than bagging in variance reduction
  2. ↑ Zhou Zhi-Hua (2012). Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. p. 23. ISBN 978-1439830031. The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners
  3. ↑ 3.0 3.1 Michael Kearns(1988); Thoughts on Hypothesis Boosting, Unpublished manuscript (Machine Learning class project, December 1988)
  4. ↑ Michael Kearns; Leslie Valiant (1989). बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ. pp. 433–444. doi:10.1145/73007.73049. ISBN 978-0897913072. S2CID 536357. {{cite book}}: |journal= ignored (help)
  5. ↑ 5.0 5.1 Schapire, Robert E. (1990). "कमजोर सीखने की क्षमता की ताकत" (PDF). Machine Learning. 5 (2): 197–227. CiteSeerX 10.1.1.20.723. doi:10.1007/bf00116037. S2CID 53304535. Archived from the original (PDF) on 2012-10-10. Retrieved 2012-08-23.
  6. ↑ Leo Breiman (1998). "आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)". Ann. Stat. 26 (3): 801–849. doi:10.1214/aos/1024691079. Schapire (1990) proved that boosting is possible. (Page 823)
  7. ↑ Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, Journal of Computer and System Sciences, 55(1):119-139
  8. ↑ Leo Breiman (1998); Arcing Classifier (with Discussion and a Rejoinder by the Author), Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988, 1989), who left open the question of whether weak and strong learnability are equivalent. The question was termed the boosting problem since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A boosting algorithm is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.
  9. ↑ 9.0 9.1 9.2 Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); Boosting Algorithms as Gradient Descent, in S. A. Solla, T. K. Leen, and K.-R. Muller, editors, Advances in Neural Information Processing Systems 12, pp. 512-518, MIT Press
  10. ↑ Emer, Eric. "बूस्टिंग (AdaBoost एल्गोरिथम)" (PDF). MIT. Archived (PDF) from the original on 2022-10-09. Retrieved 2018-10-10.
  11. ↑ Sivic, Russell, Efros, Freeman & Zisserman, "Discovering objects and their location in images", ICCV 2005
  12. ↑ A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006
  13. ↑ M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007
  14. ↑ "बड़े पैमाने पर दृश्य पहचान चुनौती". December 2017.
  15. ↑ P. Viola, M. Jones, "Robust Real-time Object Detection", 2001
  16. ↑ Viola, P.; Jones, M.; Snow, D. (2003). गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना (PDF). ICCV. Archived (PDF) from the original on 2022-10-09.
  17. ↑ A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006
  18. ↑ A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006
  19. ↑ P. Long and R. Servedio. 25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.
  20. ↑ Long, Philip M.; Servedio, Rocco A. (March 2010). "यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है" (PDF). Machine Learning. 78 (3): 287–304. doi:10.1007/s10994-009-5165-z. S2CID 53861. Archived (PDF) from the original on 2022-10-09. Retrieved 2015-11-17.

अग्रिम पठन

बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=बूस्टिंग_(मशीन_लर्निंग)&oldid=121295’