बूस्टिंग (मशीन लर्निंग): Difference between revisions
From Vigyanwiki
(Created page with "{{Short description|Method in machine learning}} {{Machine learning|Supervised learning}} यंत्र अधिगम में, बूस्टिंग मुख...") |
No edit summary |
||
| Line 1: | Line 1: | ||
{{Short description|Method in machine learning}} | {{Short description|Method in machine learning}} | ||
{{Machine learning|Supervised learning}} | {{Machine learning|Supervised learning}} | ||
[[ यंत्र अधिगम ]] में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग#बायस-वैरियंस ट्रेडऑफ़ और वेरियंस को कम करने के लिए | [[ यंत्र अधिगम | यंत्र अधिगम]] में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग#बायस-वैरियंस ट्रेडऑफ़ और वेरियंस को कम करने के लिए [[सीखने को इकट्ठा करो]] [[मेटा-एल्गोरिथ्म]] है<ref>{{cite web|url=http://oz.berkeley.edu/~breiman/arcall96.pdf|archive-url=https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf|url-status=dead|archive-date=2015-01-19|title=BIAS, VARIANCE, और आर्किंग क्लासिफायर|last1=Leo Breiman|author-link=Leo Breiman|date=1996|publisher=TECHNICAL REPORT|quote=Arcing [Boosting] is more successful than bagging in variance reduction|access-date=19 January 2015}}</ref> पर्यवेक्षित शिक्षा में, और मशीन लर्निंग एल्गोरिदम का परिवार जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।<ref>{{cite book |last=Zhou Zhi-Hua |author-link=Zhou Zhihua |date=2012 |title=Ensemble Methods: Foundations and Algorithms |publisher= Chapman and Hall/CRC |page=23 |isbn=978-1439830031 |quote=The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners }}</ref> बूस्टिंग माइकल किर्न्स (कंप्यूटर वैज्ञानिक) और [[लेस्ली बहादुर]] (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।:<ref name="Kearns88">Michael Kearns(1988); [http://www.cis.upenn.edu/~mkearns/papers/boostnote.pdf ''Thoughts on Hypothesis Boosting''], Unpublished manuscript (Machine Learning class project, December 1988)</ref><ref>{{cite book |last1=Michael Kearns |author-link=Michael Kearns (computer scientist) |last2=Leslie Valiant |author2-link=Leslie Valiant |date=1989 |title=बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ|journal=Symposium on Theory of Computing |publisher=ACM |volume=21 |pages=433–444 |doi=10.1145/73007.73049 |isbn= 978-0897913072|s2cid=536357 }}</ref> क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? कमजोर शिक्षार्थी को [[वर्गीकरण (मशीन लर्निंग)]] के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से थोड़ा सा सहसंबद्ध है (यह यादृच्छिक अनुमान लगाने से बेहतर उदाहरणों को लेबल कर सकता है)। इसके विपरीत, मजबूत शिक्षार्थी क्लासिफायरियर होता है जो सच्चे वर्गीकरण के साथ मनमाने ढंग से अच्छी तरह से जुड़ा होता है। | ||
1990 के पेपर में [[रॉबर्ट शेपर]] का सकारात्मक उत्तर<ref name="Schapire90">{{cite journal | first = Robert E. | last = Schapire | year = 1990 | citeseerx = 10.1.1.20.723 | url = http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | title = कमजोर सीखने की क्षमता की ताकत| journal = Machine Learning | volume = 5 | issue = 2 | pages = 197–227 | doi = 10.1007/bf00116037 | s2cid = 53304535 | access-date = 2012-08-23 | archive-url = https://web.archive.org/web/20121010030839/http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | archive-date = 2012-10-10 | url-status = dead }}</ref> किर्न्स और वैलेंटाइन के सवाल पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए अग्रणी।<ref>{{cite journal |last = Leo Breiman |author-link = Leo Breiman |date = 1998|title = आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)|journal = Ann. Stat.|volume = 26|issue = 3|pages = 801–849|doi = 10.1214/aos/1024691079|quote = Schapire (1990) proved that boosting is possible. (Page 823)|doi-access = free}}</ref> जब पहली बार पेश किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में बदलने की प्रक्रिया के रूप में संदर्भित किया गया। अनौपचारिक रूप से, [परिकल्पना को बढ़ावा देने वाली] समस्या पूछती है कि क्या कुशल शिक्षण एल्गोरिद्म [...] जो ऐसी परिकल्पना का उत्पादन करता है जिसका प्रदर्शन यादृच्छिक अनुमान [अर्थात्] से थोड़ा ही बेहतर है। कमजोर शिक्षार्थी] का तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो मनमाना सटीकता की परिकल्पना का उत्पादन करता है [अर्थात। मजबूत शिक्षार्थी]।<ref name="Kearns88" />एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। [[योव दोस्त]] और शापायर का आर्किंग<ref>Yoav Freund and Robert E. Schapire (1997); [https://www.cis.upenn.edu/~mkearns/teaching/COLT/adaboost.pdf ''A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139</ref> सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय है।<ref>Leo Breiman (1998); [http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1024691079 ''Arcing Classifier (with Discussion and a Rejoinder by the Author)''], Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988<!-- Michael Kearns, Leslie G. Valiant (1988); ''Learning Boolean Formulae or Finite Automata is as Hard as Factoring'', Technical Report TR-14-88, Harvard University Aiken Computation Laboratory, August 1988 -->, 1989<!-- Michael Kearns, Leslie G. Valiant (1989) ''Cryptographic Limitations on Learning Boolean Formulae and Finite Automata'', Proceedings of the Twenty-First Annual ACM Symposium on Theory of Computing (pp. 433-444). New York, NY: ACM Press, later republished in the Journal of the Association for Computing Machinery, 41(1):67–95, January 1994 -->), who left open the question of whether weak and strong learnability are equivalent. The question was termed the ''boosting problem'' since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A ''boosting algorithm'' is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.</ref> | |||
== बूस्टिंग एल्गोरिदम == | == बूस्टिंग एल्गोरिदम == | ||
जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना शामिल है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। | जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना शामिल है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे री-[[ भार | भार]] के रूप में जाना जाता है। गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।{{NoteTag|Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and [[BrownBoost]].}} इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था। | ||
[[File:Ensemble Boosting.svg|thumb|समांतर शिक्षार्थियों और भारित डेटासेट से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला | [[File:Ensemble Boosting.svg|thumb|समांतर शिक्षार्थियों और भारित डेटासेट से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण]]कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित (एक पुनरावर्तन (कंप्यूटर विज्ञान) बहुमत गेट फॉर्मूलेशन)<ref name="Schapire90" />और योव फ्रायंड (बहुमत से बढ़ावा),<ref name="Mason00">Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); ''Boosting Algorithms as Gradient Descent'', in [[Sara Solla|S. A. Solla]], T. K. Leen, and K.-R. Muller, editors, ''Advances in Neural Information Processing Systems'' 12, pp. 512-518, MIT Press</ref> [[अनुकूली एल्गोरिदम]] नहीं थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सके। शापायर और फ्रायंड ने तब [[ऐडाबूस्ट]] विकसित किया, जो अनुकूली बूस्टिंग एल्गोरिथम है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता। | ||
केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के फॉर्मूलेशन में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम हैं, उन्हें सटीक रूप से बूस्टिंग एल्गोरिदम कहा जा सकता है। अन्य एल्गोरिदम जो भावना में समान हैं | केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के फॉर्मूलेशन में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम हैं, उन्हें सटीक रूप से बूस्टिंग एल्गोरिदम कहा जा सकता है। अन्य एल्गोरिदम जो भावना में समान हैं बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, हालांकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।<ref name="Mason00"/> | ||
कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और [[परिकल्पना]] को भारित करने की उनकी विधि है। AdaBoost बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अक्सर यूनिवर्सिटी मशीन लर्निंग कोर्स में बूस्टिंग के शुरुआती कवरेज का आधार होता है।<ref>{{Cite web|url=http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-date=2022-10-09 |url-status=live|title=बूस्टिंग (AdaBoost एल्गोरिथम)|last=Emer|first=Eric|website=MIT|access-date=2018-10-10}}</ref> [[एलपीबूस्ट]], टोटलबॉस्ट, [[ब्राउन बूस्ट]], एक्सगबॉस्ट, मैडाबूस्ट, [[LogitBoost]] और अन्य जैसे कई और हालिया एल्गोरिदम हैं। कई बूस्टिंग एल्गोरिदम AnyBoost फ्रेमवर्क में फिट होते हैं,<ref name="Mason00"/>जो दर्शाता है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके [[समारोह स्थान]] में [[ ढतला हुआ वंश ]] करता है। | कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और [[परिकल्पना]] को भारित करने की उनकी विधि है। AdaBoost बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अक्सर यूनिवर्सिटी मशीन लर्निंग कोर्स में बूस्टिंग के शुरुआती कवरेज का आधार होता है।<ref>{{Cite web|url=http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-date=2022-10-09 |url-status=live|title=बूस्टिंग (AdaBoost एल्गोरिथम)|last=Emer|first=Eric|website=MIT|access-date=2018-10-10}}</ref> [[एलपीबूस्ट]], टोटलबॉस्ट, [[ब्राउन बूस्ट]], एक्सगबॉस्ट, मैडाबूस्ट, [[LogitBoost]] और अन्य जैसे कई और हालिया एल्गोरिदम हैं। कई बूस्टिंग एल्गोरिदम AnyBoost फ्रेमवर्क में फिट होते हैं,<ref name="Mason00"/>जो दर्शाता है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके [[समारोह स्थान]] में [[ ढतला हुआ वंश |ढतला हुआ वंश]] करता है। | ||
== कंप्यूटर दृष्टि में वस्तु वर्गीकरण == | == कंप्यूटर दृष्टि में वस्तु वर्गीकरण == | ||
{{Main|Object categorization from image search}} | {{Main|Object categorization from image search}} | ||
दुनिया में विभिन्न ज्ञात वस्तुओं वाली छवियों को देखते हुए, भविष्य की छवियों में वस्तुओं को स्वचालित रूप से [[सांख्यिकीय वर्गीकरण]] करने के लिए उनसे | दुनिया में विभिन्न ज्ञात वस्तुओं वाली छवियों को देखते हुए, भविष्य की छवियों में वस्तुओं को स्वचालित रूप से [[सांख्यिकीय वर्गीकरण]] करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने का तरीका है। | ||
=== वस्तु वर्गीकरण की समस्या === | === वस्तु वर्गीकरण की समस्या === | ||
[[छवि खोज से वस्तु वर्गीकरण]] [[कंप्यूटर दृष्टि]] का | [[छवि खोज से वस्तु वर्गीकरण]] [[कंप्यूटर दृष्टि]] का विशिष्ट कार्य है जिसमें यह निर्धारित करना शामिल है कि किसी छवि में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं। विचार मान्यता, पहचान और पहचान से निकटता से संबंधित है। उपस्थिति आधारित वस्तु वर्गीकरण में आमतौर पर सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना शामिल है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदा। शेप एनालिसिस (डिजिटल ज्योमेट्री), [[शब्द मॉडल का बैग]], या लोकल डिस्क्रिप्टर जैसे [[स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म]] आदि से। सुपरवाइज्ड लर्निंग के उदाहरण हैं Naive Bayes क्लासिफायर, [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] , गॉसियन का मिश्रण और [[ तंत्रिका नेटवर्क |तंत्रिका नेटवर्क]] । हालाँकि, अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और छवियों में उनके स्थान को [[ अनियंत्रित शिक्षा |अनियंत्रित शिक्षा]] में भी खोजा जा सकता है।<ref>Sivic, Russell, Efros, Freeman & Zisserman, "Discovering objects and their location in images", ICCV 2005</ref> | ||
=== वस्तु वर्गीकरण के लिए यथास्थिति === | === वस्तु वर्गीकरण के लिए यथास्थिति === | ||
छवियों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में | छवियों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, खासकर जब श्रेणियों की संख्या बड़ी हो। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ काफी भिन्न दिख सकती हैं। यहां तक कि ही वस्तु अलग-अलग दृष्टिकोण, [[स्केलिंग (ज्यामिति)]], और [[रोशनी (छवि)]] के तहत जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी मुश्किलें जोड़ते हैं।<ref>A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006</ref> मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश मौजूदा वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदा. [[चेहरा]], [[कार]], साधारण वस्तुएं आदि।<ref>M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007</ref> अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और हालांकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)<ref>{{Cite web|url=http://image-net.org/challenges/LSVRC/2017/|title=बड़े पैमाने पर दृश्य पहचान चुनौती|date=December 2017}}</ref>) विकसित किया गया है। तरीका है फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग। | ||
=== बाइनरी वर्गीकरण के लिए बूस्टिंग === | === बाइनरी वर्गीकरण के लिए बूस्टिंग === | ||
AdaBoost का उपयोग चेहरे की पहचान के लिए [[द्विआधारी वर्गीकरण]] के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है: | AdaBoost का उपयोग चेहरे की पहचान के लिए [[द्विआधारी वर्गीकरण]] के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है: | ||
# सरल सुविधाओं का | # सरल सुविधाओं का बड़ा सेट तैयार करें | ||
# प्रशिक्षण छवियों के लिए भार आरंभ करें | # प्रशिक्षण छवियों के लिए भार आरंभ करें | ||
# टी राउंड के लिए | # टी राउंड के लिए | ||
##वजन सामान्य करें | ##वजन सामान्य करें | ||
## सेट से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके | ## सेट से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें | ||
##न्यूनतम त्रुटि वाला क्लासिफायर चुनें | ##न्यूनतम त्रुटि वाला क्लासिफायर चुनें | ||
## प्रशिक्षण छवियों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं | ## प्रशिक्षण छवियों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं | ||
# टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक बड़ा) | # टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक बड़ा) | ||
बूस्टिंग के बाद, 200 विशेषताओं से निर्मित | बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के तहत 95% पहचान दर प्राप्त कर सकता है <math>10^{-5}</math> [[टाइप I और टाइप II त्रुटियां]]।<ref>P. Viola, M. Jones, "Robust Real-time Object Detection", 2001</ref> | ||
बाइनरी वर्गीकरण के लिए बूस्टिंग का | बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के [[पैटर्न]] का उपयोग करके पैदल चलने वालों का पता लगाती है।<ref>{{cite conference|first1=P.|last1=Viola|first2=M.|last2=Jones|first3=D.|last3=Snow|title=गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना|conference=ICCV|year=2003|url=http://www.merl.com/publications/docs/TR2003-90.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://www.merl.com/publications/docs/TR2003-90.pdf |archive-date=2022-10-09 |url-status=live}}</ref> चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला काम है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क | वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है। | ||
=== [[[[बहु-श्रेणी वर्गीकरण]]]] के लिए बूस्टिंग === | === [[[[बहु-श्रेणी वर्गीकरण]]]] के लिए बूस्टिंग === | ||
बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की तलाश करता है जिन्हें | बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की तलाश करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं की तरह अधिक सामान्य [[किनारे का पता लगाना]] बन जाते हैं। सीखने के दौरान, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जा सकता है। अलग से प्रशिक्षण की तुलना में, यह सामान्यीकरण बेहतर है, कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है। | ||
एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का | एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाएगा। प्रत्येक पुनरावृत्ति के दौरान एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है (ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाएगा)। यह बहु-श्रेणी वर्गीकरण को बाइनरी (श्रेणियों का सेट बनाम बाकी) में परिवर्तित करके किया जा सकता है,<ref>A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006</ref> या उन श्रेणियों से पेनल्टी एरर शुरू करके जिनमें क्लासिफायर की सुविधा नहीं है।<ref>A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006</ref> | ||
पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना, ए. टोराल्बा एट अल। बूस्टिंग के लिए [[जेंटलबूस्ट]] का इस्तेमाल किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत बेहतर काम करता है। इसके अलावा, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, यानी रैखिक विकास से धीमी होती है। गैर-साझाकरण मामला। इसी तरह के परिणाम | पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना, ए. टोराल्बा एट अल। बूस्टिंग के लिए [[जेंटलबूस्ट]] का इस्तेमाल किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत बेहतर काम करता है। इसके अलावा, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, यानी रैखिक विकास से धीमी होती है। गैर-साझाकरण मामला। इसी तरह के परिणाम दृश्य आकार वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए AdaBoost का उपयोग किया। | ||
== उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम == | == उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम == | ||
| Line 72: | Line 67: | ||
== कार्यान्वयन == | == कार्यान्वयन == | ||
[[scikit-सीखें]], पायथन (प्रोग्रामिंग लैंग्वेज) के लिए | [[scikit-सीखें]], पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी | ||
* ऑरेंज (सॉफ्टवेयर), | * ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल [http://docs.orange.biolab.si/reference/rst/Orange.ensemble.html Orange.ensemble] | ||
* Weka (मशीन लर्निंग) टूल का [[वेका (मशीन लर्निंग)]] सेट है जो AdaBoost और LogitBoost जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है | * Weka (मशीन लर्निंग) टूल का [[वेका (मशीन लर्निंग)]] सेट है जो AdaBoost और LogitBoost जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है | ||
* R (प्रोग्रामिंग लैंग्वेज) पैकेज [https://cran.r-project.org/web/packages/gbm/index.html GBM] (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के AdaBoost एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है . | * R (प्रोग्रामिंग लैंग्वेज) पैकेज [https://cran.r-project.org/web/packages/gbm/index.html GBM] (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के AdaBoost एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है . | ||
| Line 82: | Line 77: | ||
== टिप्पणियाँ == | == टिप्पणियाँ == | ||
{{NoteFoot}} | {{NoteFoot}} | ||
== संदर्भ == | == संदर्भ == | ||
{{Reflist}} | {{Reflist}} | ||
==अग्रिम पठन== | ==अग्रिम पठन== | ||
* Yoav Freund and Robert E. Schapire (1997); [https://www.cse.ucsd.edu/~yfreund/papers/adaboost.pdf ''A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139 | * Yoav Freund and Robert E. Schapire (1997); [https://www.cse.ucsd.edu/~yfreund/papers/adaboost.pdf ''A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139 | ||
* Robert E. Schapire and Yoram Singer (1999); [http://citeseer.ist.psu.edu/schapire99improved.html ''Improved Boosting Algorithms Using Confidence-Rated Predictors''], Machine Learning, 37(3):297-336 | * Robert E. Schapire and Yoram Singer (1999); [http://citeseer.ist.psu.edu/schapire99improved.html ''Improved Boosting Algorithms Using Confidence-Rated Predictors''], Machine Learning, 37(3):297-336 | ||
== बाहरी संबंध == | == बाहरी संबंध == | ||
* Robert E. Schapire (2003); [http://www.cs.princeton.edu/courses/archive/spr08/cos424/readings/Schapire2003.pdf ''The Boosting Approach to Machine Learning: An Overview''], MSRI (Mathematical Sciences Research Institute) Workshop on Nonlinear Estimation and Classification | * Robert E. Schapire (2003); [http://www.cs.princeton.edu/courses/archive/spr08/cos424/readings/Schapire2003.pdf ''The Boosting Approach to Machine Learning: An Overview''], MSRI (Mathematical Sciences Research Institute) Workshop on Nonlinear Estimation and Classification | ||
| Line 99: | Line 88: | ||
* {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/colt08.pdf | title = On the margin explanation of boosting algorithm. | first = Zhihua | last = Zhou | journal = In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08) | pages = 479–490 | year = 2008 }} | * {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/colt08.pdf | title = On the margin explanation of boosting algorithm. | first = Zhihua | last = Zhou | journal = In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08) | pages = 479–490 | year = 2008 }} | ||
* {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/aij13marginbound.pdf | title = On the doubt about margin explanation of boosting. | first = Zhihua | last = Zhou | journal = Artificial Intelligence | volume = 203 | pages = 1–18 | year = 2013 | doi = 10.1016/j.artint.2013.07.002 | arxiv = 1009.3613 | s2cid = 2828847 }} | * {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/aij13marginbound.pdf | title = On the doubt about margin explanation of boosting. | first = Zhihua | last = Zhou | journal = Artificial Intelligence | volume = 203 | pages = 1–18 | year = 2013 | doi = 10.1016/j.artint.2013.07.002 | arxiv = 1009.3613 | s2cid = 2828847 }} | ||
[[Category: वर्गीकरण एल्गोरिदम]] [[Category: सीखने को इकट्ठा करो]] [[Category: कंप्यूटर दृष्टि में सीखना]] [[Category: वस्तु पहचान और वर्गीकरण]] | [[Category: वर्गीकरण एल्गोरिदम]] [[Category: सीखने को इकट्ठा करो]] [[Category: कंप्यूटर दृष्टि में सीखना]] [[Category: वस्तु पहचान और वर्गीकरण]] | ||
Revision as of 22:05, 29 March 2023
| Part of a series on |
| Machine learning and data mining |
|---|
 |
यंत्र अधिगम में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग#बायस-वैरियंस ट्रेडऑफ़ और वेरियंस को कम करने के लिए सीखने को इकट्ठा करो मेटा-एल्गोरिथ्म है[1] पर्यवेक्षित शिक्षा में, और मशीन लर्निंग एल्गोरिदम का परिवार जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।[2] बूस्टिंग माइकल किर्न्स (कंप्यूटर वैज्ञानिक) और लेस्ली बहादुर (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।:[3][4] क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? कमजोर शिक्षार्थी को वर्गीकरण (मशीन लर्निंग) के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से थोड़ा सा सहसंबद्ध है (यह यादृच्छिक अनुमान लगाने से बेहतर उदाहरणों को लेबल कर सकता है)। इसके विपरीत, मजबूत शिक्षार्थी क्लासिफायरियर होता है जो सच्चे वर्गीकरण के साथ मनमाने ढंग से अच्छी तरह से जुड़ा होता है।
1990 के पेपर में रॉबर्ट शेपर का सकारात्मक उत्तर[5] किर्न्स और वैलेंटाइन के सवाल पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए अग्रणी।[6] जब पहली बार पेश किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में बदलने की प्रक्रिया के रूप में संदर्भित किया गया। अनौपचारिक रूप से, [परिकल्पना को बढ़ावा देने वाली] समस्या पूछती है कि क्या कुशल शिक्षण एल्गोरिद्म [...] जो ऐसी परिकल्पना का उत्पादन करता है जिसका प्रदर्शन यादृच्छिक अनुमान [अर्थात्] से थोड़ा ही बेहतर है। कमजोर शिक्षार्थी] का तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो मनमाना सटीकता की परिकल्पना का उत्पादन करता है [अर्थात। मजबूत शिक्षार्थी]।[3]एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। योव दोस्त और शापायर का आर्किंग[7] सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय है।[8]
बूस्टिंग एल्गोरिदम
जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना शामिल है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे री- भार के रूप में जाना जाता है। गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।[note 1] इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।
कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित (एक पुनरावर्तन (कंप्यूटर विज्ञान) बहुमत गेट फॉर्मूलेशन)[5]और योव फ्रायंड (बहुमत से बढ़ावा),[9] अनुकूली एल्गोरिदम नहीं थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सके। शापायर और फ्रायंड ने तब ऐडाबूस्ट विकसित किया, जो अनुकूली बूस्टिंग एल्गोरिथम है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता।
केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के फॉर्मूलेशन में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम हैं, उन्हें सटीक रूप से बूस्टिंग एल्गोरिदम कहा जा सकता है। अन्य एल्गोरिदम जो भावना में समान हैं बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, हालांकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।[9]
कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और परिकल्पना को भारित करने की उनकी विधि है। AdaBoost बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अक्सर यूनिवर्सिटी मशीन लर्निंग कोर्स में बूस्टिंग के शुरुआती कवरेज का आधार होता है।[10] एलपीबूस्ट, टोटलबॉस्ट, ब्राउन बूस्ट, एक्सगबॉस्ट, मैडाबूस्ट, LogitBoost और अन्य जैसे कई और हालिया एल्गोरिदम हैं। कई बूस्टिंग एल्गोरिदम AnyBoost फ्रेमवर्क में फिट होते हैं,[9]जो दर्शाता है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके समारोह स्थान में ढतला हुआ वंश करता है।
कंप्यूटर दृष्टि में वस्तु वर्गीकरण
दुनिया में विभिन्न ज्ञात वस्तुओं वाली छवियों को देखते हुए, भविष्य की छवियों में वस्तुओं को स्वचालित रूप से सांख्यिकीय वर्गीकरण करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने का तरीका है।
वस्तु वर्गीकरण की समस्या
छवि खोज से वस्तु वर्गीकरण कंप्यूटर दृष्टि का विशिष्ट कार्य है जिसमें यह निर्धारित करना शामिल है कि किसी छवि में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं। विचार मान्यता, पहचान और पहचान से निकटता से संबंधित है। उपस्थिति आधारित वस्तु वर्गीकरण में आमतौर पर सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना शामिल है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदा। शेप एनालिसिस (डिजिटल ज्योमेट्री), शब्द मॉडल का बैग, या लोकल डिस्क्रिप्टर जैसे स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म आदि से। सुपरवाइज्ड लर्निंग के उदाहरण हैं Naive Bayes क्लासिफायर, समर्थन वेक्टर यंत्र , गॉसियन का मिश्रण और तंत्रिका नेटवर्क । हालाँकि, अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और छवियों में उनके स्थान को अनियंत्रित शिक्षा में भी खोजा जा सकता है।[11]
वस्तु वर्गीकरण के लिए यथास्थिति
छवियों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, खासकर जब श्रेणियों की संख्या बड़ी हो। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ काफी भिन्न दिख सकती हैं। यहां तक कि ही वस्तु अलग-अलग दृष्टिकोण, स्केलिंग (ज्यामिति), और रोशनी (छवि) के तहत जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी मुश्किलें जोड़ते हैं।[12] मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश मौजूदा वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदा. चेहरा, कार, साधारण वस्तुएं आदि।[13] अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और हालांकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)[14]) विकसित किया गया है। तरीका है फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग।
बाइनरी वर्गीकरण के लिए बूस्टिंग
AdaBoost का उपयोग चेहरे की पहचान के लिए द्विआधारी वर्गीकरण के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है:
- सरल सुविधाओं का बड़ा सेट तैयार करें
- प्रशिक्षण छवियों के लिए भार आरंभ करें
- टी राउंड के लिए
- वजन सामान्य करें
- सेट से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
- न्यूनतम त्रुटि वाला क्लासिफायर चुनें
- प्रशिक्षण छवियों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
- टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक बड़ा)
बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के तहत 95% पहचान दर प्राप्त कर सकता है टाइप I और टाइप II त्रुटियां।[15] बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाती है।[16] चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला काम है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क | वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।
[[बहु-श्रेणी वर्गीकरण]] के लिए बूस्टिंग
बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की तलाश करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं की तरह अधिक सामान्य किनारे का पता लगाना बन जाते हैं। सीखने के दौरान, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जा सकता है। अलग से प्रशिक्षण की तुलना में, यह सामान्यीकरण बेहतर है, कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।
एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाएगा। प्रत्येक पुनरावृत्ति के दौरान एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है (ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाएगा)। यह बहु-श्रेणी वर्गीकरण को बाइनरी (श्रेणियों का सेट बनाम बाकी) में परिवर्तित करके किया जा सकता है,[17] या उन श्रेणियों से पेनल्टी एरर शुरू करके जिनमें क्लासिफायर की सुविधा नहीं है।[18] पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना, ए. टोराल्बा एट अल। बूस्टिंग के लिए जेंटलबूस्ट का इस्तेमाल किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत बेहतर काम करता है। इसके अलावा, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, यानी रैखिक विकास से धीमी होती है। गैर-साझाकरण मामला। इसी तरह के परिणाम दृश्य आकार वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए AdaBoost का उपयोग किया।
उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम
बूस्टिंग एल्गोरिदम उत्तल अनुकूलन या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। AdaBoost और LogitBoost जैसे उत्तल एल्गोरिदम को यादृच्छिक शोर से पराजित किया जा सकता है जैसे कि वे कमजोर परिकल्पनाओं के बुनियादी और सीखने योग्य संयोजनों को नहीं सीख सकते।[19][20] इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। हालाँकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देना, जैसे कि ब्राउनबॉस्ट, शोर डेटासेट से सीख सकते हैं और विशेष रूप से लॉन्ग- के अंतर्निहित क्लासिफायरियर को सीख सकते हैं। सेर्वडियो डेटासेट।
यह भी देखें
- ऐडाबूस्ट
- बेतरतीब जंगल
- वैकल्पिक निर्णय वृक्ष
- बूटस्ट्रैप एकत्रीकरण (बैगिंग)
- कैस्केडिंग क्लासिफायरियर
- ब्राउन बूस्ट
- कोबूस्टिंग
- एलपी बूस्ट
- संभार तन्त्र परावर्तन
- अधिकतम एन्ट्रापी का सिद्धांत
- तंत्रिका - तंत्र
- समर्थन वेक्टर मशीन
- ग्रेडिएंट बूस्टिंग
- मार्जिन वर्गीकारक ियर
- क्रॉस-वैलिडेशन (सांख्यिकी) | क्रॉस-वैलिडेशन
- यंत्र अधिगम
- मशीन लर्निंग रिसर्च के लिए डेटासेट की सूची
कार्यान्वयन
scikit-सीखें, पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी
- ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल Orange.ensemble
- Weka (मशीन लर्निंग) टूल का वेका (मशीन लर्निंग) सेट है जो AdaBoost और LogitBoost जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
- R (प्रोग्रामिंग लैंग्वेज) पैकेज GBM (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के AdaBoost एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
- jboost; AdaBoost, LogitBoost, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
- आर पैकेज adabag: मल्टीक्लास AdaBoost.M1, AdaBoost-SAMME और बैगिंग लागू करता है
- आर पैकेज xgboost: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।
टिप्पणियाँ
- ↑ Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and BrownBoost.
संदर्भ
- ↑ Leo Breiman (1996). "BIAS, VARIANCE, और आर्किंग क्लासिफायर" (PDF). TECHNICAL REPORT. Archived from the original (PDF) on 2015-01-19. Retrieved 19 January 2015.
Arcing [Boosting] is more successful than bagging in variance reduction
- ↑ Zhou Zhi-Hua (2012). Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. p. 23. ISBN 978-1439830031.
The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners
- ↑ 3.0 3.1 Michael Kearns(1988); Thoughts on Hypothesis Boosting, Unpublished manuscript (Machine Learning class project, December 1988)
- ↑ Michael Kearns; Leslie Valiant (1989). बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ. pp. 433–444. doi:10.1145/73007.73049. ISBN 978-0897913072. S2CID 536357.
{{cite book}}:|journal=ignored (help) - ↑ 5.0 5.1 Schapire, Robert E. (1990). "कमजोर सीखने की क्षमता की ताकत" (PDF). Machine Learning. 5 (2): 197–227. CiteSeerX 10.1.1.20.723. doi:10.1007/bf00116037. S2CID 53304535. Archived from the original (PDF) on 2012-10-10. Retrieved 2012-08-23.
- ↑ Leo Breiman (1998). "आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)". Ann. Stat. 26 (3): 801–849. doi:10.1214/aos/1024691079.
Schapire (1990) proved that boosting is possible. (Page 823)
- ↑ Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, Journal of Computer and System Sciences, 55(1):119-139
- ↑ Leo Breiman (1998); Arcing Classifier (with Discussion and a Rejoinder by the Author), Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988, 1989), who left open the question of whether weak and strong learnability are equivalent. The question was termed the boosting problem since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A boosting algorithm is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.
- ↑ 9.0 9.1 9.2 Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); Boosting Algorithms as Gradient Descent, in S. A. Solla, T. K. Leen, and K.-R. Muller, editors, Advances in Neural Information Processing Systems 12, pp. 512-518, MIT Press
- ↑ Emer, Eric. "बूस्टिंग (AdaBoost एल्गोरिथम)" (PDF). MIT. Archived (PDF) from the original on 2022-10-09. Retrieved 2018-10-10.
- ↑ Sivic, Russell, Efros, Freeman & Zisserman, "Discovering objects and their location in images", ICCV 2005
- ↑ A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006
- ↑ M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007
- ↑ "बड़े पैमाने पर दृश्य पहचान चुनौती". December 2017.
- ↑ P. Viola, M. Jones, "Robust Real-time Object Detection", 2001
- ↑ Viola, P.; Jones, M.; Snow, D. (2003). गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना (PDF). ICCV. Archived (PDF) from the original on 2022-10-09.
- ↑ A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006
- ↑ A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006
- ↑ P. Long and R. Servedio. 25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.
- ↑ Long, Philip M.; Servedio, Rocco A. (March 2010). "यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है" (PDF). Machine Learning. 78 (3): 287–304. doi:10.1007/s10994-009-5165-z. S2CID 53861. Archived (PDF) from the original on 2022-10-09. Retrieved 2015-11-17.
अग्रिम पठन
- Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting, Journal of Computer and System Sciences, 55(1):119-139
- Robert E. Schapire and Yoram Singer (1999); Improved Boosting Algorithms Using Confidence-Rated Predictors, Machine Learning, 37(3):297-336
बाहरी संबंध
- Robert E. Schapire (2003); The Boosting Approach to Machine Learning: An Overview, MSRI (Mathematical Sciences Research Institute) Workshop on Nonlinear Estimation and Classification
- Zhou Zhi-Hua (2014) Boosting 25 years, CCL 2014 Keynote.
- Zhou, Zhihua (2008). "On the margin explanation of boosting algorithm" (PDF). In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08): 479–490.
- Zhou, Zhihua (2013). "On the doubt about margin explanation of boosting" (PDF). Artificial Intelligence. 203: 1–18. arXiv:1009.3613. doi:10.1016/j.artint.2013.07.002. S2CID 2828847.
