बूस्टिंग (मशीन लर्निंग): Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 1: Line 1:
{{Short description|Method in machine learning}}
{{Short description|Method in machine learning}}
{{Machine learning|Supervised learning}}
{{Machine learning|Supervised learning}}
[[ यंत्र अधिगम | यंत्र अधिगम]] में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग#बायस-वैरियंस ट्रेडऑफ़ और वेरियंस को कम करने के लिए [[सीखने को इकट्ठा करो]] [[मेटा-एल्गोरिथ्म]] है<ref>{{cite web|url=http://oz.berkeley.edu/~breiman/arcall96.pdf|archive-url=https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf|url-status=dead|archive-date=2015-01-19|title=BIAS, VARIANCE, और आर्किंग क्लासिफायर|last1=Leo Breiman|author-link=Leo Breiman|date=1996|publisher=TECHNICAL REPORT|quote=Arcing [Boosting] is more successful than bagging in variance reduction|access-date=19 January 2015}}</ref> पर्यवेक्षित शिक्षा में, और मशीन लर्निंग एल्गोरिदम का परिवार जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।<ref>{{cite book |last=Zhou Zhi-Hua |author-link=Zhou Zhihua |date=2012 |title=Ensemble Methods: Foundations and Algorithms |publisher= Chapman and Hall/CRC |page=23 |isbn=978-1439830031 |quote=The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners }}</ref> बूस्टिंग माइकल किर्न्स (कंप्यूटर वैज्ञानिक) और [[लेस्ली बहादुर]] (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।:<ref name="Kearns88">Michael Kearns(1988); [http://www.cis.upenn.edu/~mkearns/papers/boostnote.pdf ''Thoughts on Hypothesis Boosting''], Unpublished manuscript (Machine Learning class project, December 1988)</ref><ref>{{cite book |last1=Michael Kearns |author-link=Michael Kearns (computer scientist) |last2=Leslie Valiant |author2-link=Leslie Valiant |date=1989 |title=बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ|journal=Symposium on Theory of Computing |publisher=ACM |volume=21 |pages=433–444 |doi=10.1145/73007.73049 |isbn= 978-0897913072|s2cid=536357 }}</ref> क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? कमजोर शिक्षार्थी को [[वर्गीकरण (मशीन लर्निंग)]] के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से थोड़ा सा सहसंबद्ध है (यह यादृच्छिक अनुमान लगाने से बेहतर उदाहरणों को लेबल कर सकता है)। इसके विपरीत, मजबूत शिक्षार्थी क्लासिफायरियर होता है जो सच्चे वर्गीकरण के साथ मनमाने ढंग से अच्छी तरह से जुड़ा होता है।
[[ यंत्र अधिगम |यंत्र अधिगम]] में, '''बूस्टिंग''' मुख्य रूप से सुपरवाइज्ड लर्निंग बायस वैरियंस ट्रेड ऑफ़ और वेरियंस को कम करने के लिए [[सीखने को इकट्ठा करो|लर्निंग को एकत्रित करके]] [[मेटा-एल्गोरिथ्म]] का उपयोग करता हैं<ref>{{cite web|url=http://oz.berkeley.edu/~breiman/arcall96.pdf|archive-url=https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf|url-status=dead|archive-date=2015-01-19|title=BIAS, VARIANCE, और आर्किंग क्लासिफायर|last1=Leo Breiman|author-link=Leo Breiman|date=1996|publisher=TECHNICAL REPORT|quote=Arcing [Boosting] is more successful than bagging in variance reduction|access-date=19 January 2015}}</ref> पर्यवेक्षित शिक्षा और मशीन लर्निंग एल्गोरिदम का समूह जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।<ref>{{cite book |last=Zhou Zhi-Hua |author-link=Zhou Zhihua |date=2012 |title=Ensemble Methods: Foundations and Algorithms |publisher= Chapman and Hall/CRC |page=23 |isbn=978-1439830031 |quote=The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners }}</ref> बूस्टिंग माइकल किर्न्स जो कि कंप्यूटर वैज्ञानिक हैं। और [[लेस्ली बहादुर]] (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।<ref name="Kearns88">Michael Kearns(1988); [http://www.cis.upenn.edu/~mkearns/papers/boostnote.pdf ''Thoughts on Hypothesis Boosting''], Unpublished manuscript (Machine Learning class project, December 1988)</ref><ref>{{cite book |last1=Michael Kearns |author-link=Michael Kearns (computer scientist) |last2=Leslie Valiant |author2-link=Leslie Valiant |date=1989 |title=बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ|journal=Symposium on Theory of Computing |publisher=ACM |volume=21 |pages=433–444 |doi=10.1145/73007.73049 |isbn= 978-0897913072|s2cid=536357 }}</ref> क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? इस प्रकार कमजोर शिक्षार्थी को [[वर्गीकरण (मशीन लर्निंग)]] के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से थोड़ा सहसंबद्ध है, यह यादृच्छिक अनुमान लगाने से उत्तम उदाहरणों को लेबल कर सकता है। इसके विपरीत मजबूत शिक्षार्थी क्लासिफायरियर होता है जो इस वर्गीकरण के साथ ढंग से अच्छी तरह से जुड़ा होता है।


1990 के पेपर में [[रॉबर्ट शेपर]] का सकारात्मक उत्तर<ref name="Schapire90">{{cite journal | first = Robert E. | last = Schapire | year = 1990 | citeseerx = 10.1.1.20.723 | url = http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | title = कमजोर सीखने की क्षमता की ताकत| journal = Machine Learning | volume = 5 | issue = 2 | pages = 197–227 | doi = 10.1007/bf00116037 | s2cid = 53304535 | access-date = 2012-08-23 | archive-url = https://web.archive.org/web/20121010030839/http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | archive-date = 2012-10-10 | url-status = dead }}</ref> किर्न्स और वैलेंटाइन के सवाल पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए अग्रणी।<ref>{{cite journal |last = Leo Breiman |author-link = Leo Breiman |date = 1998|title = आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)|journal = Ann. Stat.|volume = 26|issue = 3|pages = 801–849|doi = 10.1214/aos/1024691079|quote = Schapire (1990) proved that boosting is possible. (Page 823)|doi-access = free}}</ref> जब पहली बार पेश किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में बदलने की प्रक्रिया के रूप में संदर्भित किया गया। अनौपचारिक रूप से, [परिकल्पना को बढ़ावा देने वाली] समस्या पूछती है कि क्या कुशल शिक्षण एल्गोरिद्म [...] जो ऐसी परिकल्पना का उत्पादन करता है जिसका प्रदर्शन यादृच्छिक अनुमान [अर्थात्] से थोड़ा ही बेहतर है। कमजोर शिक्षार्थी] का तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो मनमाना सटीकता की परिकल्पना का उत्पादन करता है [अर्थात। मजबूत शिक्षार्थी]।<ref name="Kearns88" />एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। [[योव दोस्त]] और शापायर का आर्किंग<ref>Yoav Freund and Robert E. Schapire (1997); [https://www.cis.upenn.edu/~mkearns/teaching/COLT/adaboost.pdf ''A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139</ref> सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय है।<ref>Leo Breiman (1998); [http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1024691079 ''Arcing Classifier (with Discussion and a Rejoinder by the Author)''], Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988<!-- Michael Kearns, Leslie G. Valiant (1988); ''Learning Boolean Formulae or Finite Automata is as Hard as Factoring'', Technical Report TR-14-88, Harvard University Aiken Computation Laboratory, August 1988 -->, 1989<!-- Michael Kearns, Leslie G. Valiant (1989) ''Cryptographic Limitations on Learning Boolean Formulae and Finite Automata'', Proceedings of the Twenty-First Annual ACM Symposium on Theory of Computing (pp. 433-444). New York, NY: ACM Press, later republished in the Journal of the Association for Computing Machinery, 41(1):67–95, January 1994 -->), who left open the question of whether weak and strong learnability are equivalent. The question was termed the ''boosting problem'' since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A ''boosting algorithm'' is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.</ref>
1990 के पेपर में [[रॉबर्ट शेपर]] का धनात्मक उत्तर<ref name="Schapire90">{{cite journal | first = Robert E. | last = Schapire | year = 1990 | citeseerx = 10.1.1.20.723 | url = http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | title = कमजोर सीखने की क्षमता की ताकत| journal = Machine Learning | volume = 5 | issue = 2 | pages = 197–227 | doi = 10.1007/bf00116037 | s2cid = 53304535 | access-date = 2012-08-23 | archive-url = https://web.archive.org/web/20121010030839/http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | archive-date = 2012-10-10 | url-status = dead }}</ref> किर्न्स और वैलेंटाइन के प्रश्न पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए इसे अग्रसर किया जाता हैं।<ref>{{cite journal |last = Leo Breiman |author-link = Leo Breiman |date = 1998|title = आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)|journal = Ann. Stat.|volume = 26|issue = 3|pages = 801–849|doi = 10.1214/aos/1024691079|quote = Schapire (1990) proved that boosting is possible. (Page 823)|doi-access = free}}</ref> जब पहली बार इसे प्रस्तुत किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में परिवर्तित करने की प्रक्रिया के रूप में संदर्भित किया गया था। इस प्रकार अनौपचारिक रूप से परिकल्पना को बढ़ावा देने वाली समस्या बताती हैं कि क्या कुशल शिक्षण एल्गोरिद्म जो ऐसी परिकल्पना का उत्पादन करती है जिसका प्रदर्शन यादृच्छिक अनुमान से थोड़ा ही उत्तम होता है। कमजोर शिक्षार्थी यहाँ पर तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो अपनी सटीकता की परिकल्पना का उत्पादन करती है। इस प्रकार मजबूत शिक्षार्थी<ref name="Kearns88" /> के लिए एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। [[योव दोस्त]] और शापायर का आर्किंग<ref>Yoav Freund and Robert E. Schapire (1997); [https://www.cis.upenn.edu/~mkearns/teaching/COLT/adaboost.pdf ''A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139</ref> सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय माना जाता है।<ref>Leo Breiman (1998); [http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1024691079 ''Arcing Classifier (with Discussion and a Rejoinder by the Author)''], Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988<!-- Michael Kearns, Leslie G. Valiant (1988); ''Learning Boolean Formulae or Finite Automata is as Hard as Factoring'', Technical Report TR-14-88, Harvard University Aiken Computation Laboratory, August 1988 -->, 1989<!-- Michael Kearns, Leslie G. Valiant (1989) ''Cryptographic Limitations on Learning Boolean Formulae and Finite Automata'', Proceedings of the Twenty-First Annual ACM Symposium on Theory of Computing (pp. 433-444). New York, NY: ACM Press, later republished in the Journal of the Association for Computing Machinery, 41(1):67–95, January 1994 -->), who left open the question of whether weak and strong learnability are equivalent. The question was termed the ''boosting problem'' since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A ''boosting algorithm'' is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.</ref>
== बूस्टिंग एल्गोरिदम ==
== बूस्टिंग एल्गोरिदम ==
जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना शामिल है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे री-[[ भार | भार]] के रूप में जाना जाता है। गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।{{NoteTag|Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and [[BrownBoost]].}} इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।
जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना सम्मिलित है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे पुनः[[ भार | भार]] के रूप में जाना जाता है। इस प्रकार गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।{{NoteTag|Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and [[BrownBoost]].}} इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।


[[File:Ensemble Boosting.svg|thumb|समांतर शिक्षार्थियों और भारित डेटासेट से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण]]कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित (एक पुनरावर्तन (कंप्यूटर विज्ञान) बहुमत गेट फॉर्मूलेशन)<ref name="Schapire90" />और योव फ्रायंड (बहुमत से बढ़ावा),<ref name="Mason00">Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); ''Boosting Algorithms as Gradient Descent'', in [[Sara Solla|S. A. Solla]], T. K. Leen, and K.-R. Muller, editors, ''Advances in Neural Information Processing Systems'' 12, pp.&nbsp;512-518, MIT Press</ref> [[अनुकूली एल्गोरिदम]] नहीं थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सके। शापायर और फ्रायंड ने तब [[ऐडाबूस्ट]] विकसित किया, जो अनुकूली बूस्टिंग एल्गोरिथम है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता।
[[File:Ensemble Boosting.svg|thumb|समांतर शिक्षार्थियों और भारित डेटासमुच्चय से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण]]कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित पुनरावर्तन कंप्यूटर विज्ञान के बहुमत गेट फॉर्मूलेशन<ref name="Schapire90" />और योव फ्रायंड को बहुमत से बढ़ावा दिया जाता है। <ref name="Mason00">Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); ''Boosting Algorithms as Gradient Descent'', in [[Sara Solla|S. A. Solla]], T. K. Leen, and K.-R. Muller, editors, ''Advances in Neural Information Processing Systems'' 12, pp.&nbsp;512-518, MIT Press</ref> इस कारण यह [[अनुकूली एल्गोरिदम]] के रूप में उपयोग नहीं किये जाते थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते हैं। शापायर और फ्रायंड ने तब [[ऐडाबूस्ट]] ने विकसित किया था, जो अनुकूली बूस्टिंग एल्गोरिथम के रूप में उपयोग किया जाता है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता था।


केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के फॉर्मूलेशन में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम हैं, उन्हें सटीक रूप से बूस्टिंग एल्गोरिदम कहा जा सकता है। अन्य एल्गोरिदम जो भावना में समान हैं बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, हालांकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।<ref name="Mason00"/>
केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रों में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम का उपयोग होता हैं, उन्हें पूर्ण रूप से बूस्टिंग एल्गोरिदम कहा जाता है। इस प्रकार अन्य एल्गोरिदम जिसमें बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, चूंकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।<ref name="Mason00"/>


कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और [[परिकल्पना]] को भारित करने की उनकी विधि है। AdaBoost बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अक्सर यूनिवर्सिटी मशीन लर्निंग कोर्स में बूस्टिंग के शुरुआती कवरेज का आधार होता है।<ref>{{Cite web|url=http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-date=2022-10-09 |url-status=live|title=बूस्टिंग (AdaBoost एल्गोरिथम)|last=Emer|first=Eric|website=MIT|access-date=2018-10-10}}</ref> [[एलपीबूस्ट]], टोटलबॉस्ट, [[ब्राउन बूस्ट]], एक्सगबॉस्ट, मैडाबूस्ट, [[LogitBoost]] और अन्य जैसे कई और हालिया एल्गोरिदम हैं। कई बूस्टिंग एल्गोरिदम AnyBoost फ्रेमवर्क में फिट होते हैं,<ref name="Mason00"/>जो दर्शाता है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके [[समारोह स्थान]] में [[ ढतला हुआ वंश |ढतला हुआ वंश]] करता है।
कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और [[परिकल्पना]] को भारित करने की उनकी विधि है। ऐडाबूस्ट बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अधिकांशतः विश्वविद्यालय मशीन लर्निंग कोर्स में बूस्टिंग के प्रारंभिक कवरेज का आधार होता है।<ref>{{Cite web|url=http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-date=2022-10-09 |url-status=live|title=बूस्टिंग (AdaBoost एल्गोरिथम)|last=Emer|first=Eric|website=MIT|access-date=2018-10-10}}</ref> [[एलपीबूस्ट]], टोटलबॉस्ट, [[ब्राउन बूस्ट]], एक्सगबॉस्ट, मैडाबूस्ट, [[LogitBoost|लाॅजिट बूस्ट]] और अन्य जैसे कई और एल्गोरिदम का उपयोग करता हैं। कई बूस्टिंग एल्गोरिदम ऐनी बूस्ट फ्रेमवर्क में फिट हो जीती हैं,<ref name="Mason00"/> जो दर्शाती है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके [[समारोह स्थान|फलन क्षेत्र]] में [[ ढतला हुआ वंश |ढतला हुए वंश]] के रूप में प्रकट करता है।


== कंप्यूटर दृष्टि में वस्तु वर्गीकरण ==
== कंप्यूटर दृष्टि में वस्तु वर्गीकरण ==
{{Main|Object categorization from image search}}
{{Main|छवि खोज से वस्तु वर्गीकरण}}
दुनिया में विभिन्न ज्ञात वस्तुओं वाली छवियों को देखते हुए, भविष्य की छवियों में वस्तुओं को स्वचालित रूप से [[सांख्यिकीय वर्गीकरण]] करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने का तरीका है।
 
विश्व में विभिन्न ज्ञात वस्तुओं वाली प्रतिबिंबों को देखते हुए, भविष्य की प्रतिबिंबों में वस्तुओं को स्वचालित रूप से [[सांख्यिकीय वर्गीकरण]] करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने की विधि है।


=== वस्तु वर्गीकरण की समस्या ===
=== वस्तु वर्गीकरण की समस्या ===
[[छवि खोज से वस्तु वर्गीकरण]] [[कंप्यूटर दृष्टि]] का विशिष्ट कार्य है जिसमें यह निर्धारित करना शामिल है कि किसी छवि में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं। विचार मान्यता, पहचान और पहचान से निकटता से संबंधित है। उपस्थिति आधारित वस्तु वर्गीकरण में आमतौर पर सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना शामिल है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदा। शेप एनालिसिस (डिजिटल ज्योमेट्री), [[शब्द मॉडल का बैग]], या लोकल डिस्क्रिप्टर जैसे [[स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म]] आदि से। सुपरवाइज्ड लर्निंग के उदाहरण हैं Naive Bayes क्लासिफायर, [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] , गॉसियन का मिश्रण और [[ तंत्रिका नेटवर्क |तंत्रिका नेटवर्क]] । हालाँकि, अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और छवियों में उनके स्थान को [[ अनियंत्रित शिक्षा |अनियंत्रित शिक्षा]] में भी खोजा जा सकता है।<ref>Sivic, Russell, Efros, Freeman & Zisserman,  "Discovering objects and their location in images", ICCV 2005</ref>
[[छवि खोज से वस्तु वर्गीकरण|प्रतिबिंब खोज से वस्तु वर्गीकरण]] [[कंप्यूटर दृष्टि]] का विशिष्ट कार्य है जिसमें यह निर्धारित करना सम्मिलित है कि किसी प्रतिबिंब में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं इस बात का ध्यान रखना आवश्यक होता हैं। इस विचारणीय मान्यता के अनुसार पहचान और पहचान से निकटता से संबंधित रहते हैं। उपस्थिति आधारित वस्तु वर्गीकरण में सामान्यतः सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना सम्मिलित है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदाहरण के लिए शेप एनालिसिस (डिजिटल ज्योमेट्री), [[शब्द मॉडल का बैग]], या लोकल डिस्क्रिप्टर जैसे [[स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म]] आदि से किया जाता हैं। सुपरवाइज्ड लर्निंग के उदाहरण हैं नेवी बायस्ड क्लासिफायर, [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] , गॉसियन का मिश्रण और [[ तंत्रिका नेटवर्क |तंत्रिका नेटवर्क]] हैं। चूंकि अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और प्रतिबिंबों में उनके स्थान को [[ अनियंत्रित शिक्षा |अनियंत्रित शिक्षा]] में भी खोजा जा सकता है।<ref>Sivic, Russell, Efros, Freeman & Zisserman,  "Discovering objects and their location in images", ICCV 2005</ref>
=== वस्तु वर्गीकरण के लिए यथास्थिति ===
=== वस्तु वर्गीकरण के लिए यथास्थिति ===
छवियों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, खासकर जब श्रेणियों की संख्या बड़ी हो। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ काफी भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, [[स्केलिंग (ज्यामिति)]], और [[रोशनी (छवि)]] के तहत जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी मुश्किलें जोड़ते हैं।<ref>A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006</ref> मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश मौजूदा वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदा. [[चेहरा]], [[कार]], साधारण वस्तुएं आदि।<ref>M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007</ref> अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और हालांकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)<ref>{{Cite web|url=http://image-net.org/challenges/LSVRC/2017/|title=बड़े पैमाने पर दृश्य पहचान चुनौती|date=December 2017}}</ref>) विकसित किया गया है। तरीका है फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग।
प्रतिबिंबों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, मुख्य रूप से जब श्रेणियों की संख्या अधिक होती हैं। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ अधिक भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, [[स्केलिंग (ज्यामिति)]], और [[रोशनी (छवि)|रोशनी (प्रतिबिंब)]] के अनुसार जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी कठिनाईयाँ जोड़ते हैं।<ref>A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006</ref> मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश वर्तमान वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदाहरण के लिए [[चेहरा]], [[कार]], साधारण वस्तुएं इत्यादि।<ref>M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007</ref> अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और चूंकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)<ref>{{Cite web|url=http://image-net.org/challenges/LSVRC/2017/|title=बड़े पैमाने पर दृश्य पहचान चुनौती|date=December 2017}}</ref>) विकसित किया गया है। इसका मुख्य तरीका फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग है ।


=== बाइनरी वर्गीकरण के लिए बूस्टिंग ===
=== बाइनरी वर्गीकरण के लिए बूस्टिंग ===
AdaBoost का उपयोग चेहरे की पहचान के लिए [[द्विआधारी वर्गीकरण]] के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है:
ऐडाबूस्ट का उपयोग चेहरे की पहचान के लिए [[द्विआधारी वर्गीकरण]] के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है:
# सरल सुविधाओं का बड़ा सेट तैयार करें
# सरल सुविधाओं का बड़ा समुच्चय तैयार करें
# प्रशिक्षण छवियों के लिए भार आरंभ करें
# प्रशिक्षण प्रतिबिंबों के लिए भार आरंभ करें
# टी राउंड के लिए
# टी राउंड के लिए
##वजन सामान्य करें
##वजन सामान्य करें
## सेट से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
## समुच्चय से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
##न्यूनतम त्रुटि वाला क्लासिफायर चुनें
##न्यूनतम त्रुटि वाला क्लासिफायर चुनें
## प्रशिक्षण छवियों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
## प्रशिक्षण प्रतिबिंबों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
# टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक बड़ा)
# टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक अधिक होता हैं।)
बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के तहत 95% पहचान दर प्राप्त कर सकता है <math>10^{-5}</math> [[टाइप I और टाइप II त्रुटियां]]।<ref>P. Viola, M. Jones, "Robust Real-time Object Detection", 2001</ref>
बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के अनुसार 95% पहचान दर पर <math>10^{-5}</math> [[टाइप I और टाइप II त्रुटियां]] प्राप्त कर सकता है ।<ref>P. Viola, M. Jones, "Robust Real-time Object Detection", 2001</ref>
बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के [[पैटर्न]] का उपयोग करके पैदल चलने वालों का पता लगाती है।<ref>{{cite conference|first1=P.|last1=Viola|first2=M.|last2=Jones|first3=D.|last3=Snow|title=गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना|conference=ICCV|year=2003|url=http://www.merl.com/publications/docs/TR2003-90.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://www.merl.com/publications/docs/TR2003-90.pdf |archive-date=2022-10-09 |url-status=live}}</ref> चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला काम है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क | वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।


=== [[[[बहु-श्रेणी वर्गीकरण]]]] के लिए बूस्टिंग ===
बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के [[पैटर्न]] का उपयोग करके पैदल चलने वालों का पता लगाती है।<ref>{{cite conference|first1=P.|last1=Viola|first2=M.|last2=Jones|first3=D.|last3=Snow|title=गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना|conference=ICCV|year=2003|url=http://www.merl.com/publications/docs/TR2003-90.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://www.merl.com/publications/docs/TR2003-90.pdf |archive-date=2022-10-09 |url-status=live}}</ref> चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला कार्य है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क या वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।
बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की तलाश करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं की तरह अधिक सामान्य [[किनारे का पता लगाना]] बन जाते हैं। सीखने के दौरान, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जा सकता है। अलग से प्रशिक्षण की तुलना में, यह सामान्यीकरण बेहतर है, कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।
 
=== [[बहु-श्रेणी वर्गीकरण]] के लिए बूस्टिंग ===
बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की खोज करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं के समान अधिक सामान्य [[किनारे का पता लगाना]] बन जाते हैं। सीखने के समय, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जाता हैं। इस प्रकार अलग से प्रशिक्षण की तुलना में यह सामान्यीकरण उत्तम है, इस प्रकार कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।
   
   
एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाएगा। प्रत्येक पुनरावृत्ति के दौरान एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है (ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाएगा)। यह बहु-श्रेणी वर्गीकरण को बाइनरी (श्रेणियों का सेट बनाम बाकी) में परिवर्तित करके किया जा सकता है,<ref>A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006</ref> या उन श्रेणियों से पेनल्टी एरर शुरू करके जिनमें क्लासिफायर की सुविधा नहीं है।<ref>A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006</ref>
एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाता हैं। प्रत्येक पुनरावृत्ति के समय एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है, ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाता हैं। यह बहु-श्रेणी वर्गीकरण को बाइनरी श्रेणियों का समुच्चय के अतिरिक्त स्थितियों में परिवर्तित करके किया जा सकता है,<ref>A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006</ref> या उन श्रेणियों से पेनल्टी त्रुटि प्रारंभ करके जिनमें क्लासिफायर की सुविधा नहीं है।<ref>A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006</ref>
पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना, ए. टोराल्बा एट अल। बूस्टिंग के लिए [[जेंटलबूस्ट]] का इस्तेमाल किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत बेहतर काम करता है। इसके अलावा, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, यानी रैखिक विकास से धीमी होती है। गैर-साझाकरण मामला। इसी तरह के परिणाम दृश्य आकार वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए AdaBoost का उपयोग किया।
 
पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना ए. टोराल्बा एट अल द्वारा बताया गया था। ए. टोराल्बा एट अल ने बूस्टिंग के लिए [[जेंटलबूस्ट]] का उपयोग किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत उत्तम कार्य करता है। इसके अतिरिक्त, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, अर्ताथ रैखिक विकास से धीमी होती है। गैर-साझाकरण स्थिति के लिए इसी प्रकार के परिणाम दृश्य के अनुसार इसी आकार की वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए ऐडाबूस्ट का उपयोग किया जाता हैं।


== उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम ==
== उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम ==


बूस्टिंग एल्गोरिदम [[उत्तल अनुकूलन]] या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। AdaBoost और LogitBoost जैसे उत्तल एल्गोरिदम को यादृच्छिक शोर से पराजित किया जा सकता है जैसे कि वे कमजोर परिकल्पनाओं के बुनियादी और सीखने योग्य संयोजनों को नहीं सीख सकते।<ref>P. Long and R. Servedio.  25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.</ref><ref name=long-criticism>{{cite journal |last1=Long |first1=Philip M. |last2=Servedio |first2=Rocco A. |date=March 2010 |title=यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है|url=https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-url=https://ghostarchive.org/archive/20221009/https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-date=2022-10-09 |url-status=live |journal=Machine Learning |volume=78 |issue=3 |pages=287–304 |doi=10.1007/s10994-009-5165-z |s2cid=53861 |access-date=2015-11-17|doi-access=free }}</ref> इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। हालाँकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देना, जैसे कि ब्राउनबॉस्ट, शोर डेटासेट से सीख सकते हैं और विशेष रूप से लॉन्ग- के अंतर्निहित क्लासिफायरियर को सीख सकते हैं। सेर्वडियो डेटासेट।
बूस्टिंग एल्गोरिदम [[उत्तल अनुकूलन]] या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। ऐडाबूस्ट और लाॅजिट बूस्ट जैसे उत्तल एल्गोरिदम को यादृच्छिक ध्वनि से पराजित किया जाता है जैसे कि वे कमजोर परिकल्पनाओं के मौलिक और सीखने योग्य संयोजनों को नहीं सीख सकते हैं।<ref>P. Long and R. Servedio.  25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.</ref><ref name=long-criticism>{{cite journal |last1=Long |first1=Philip M. |last2=Servedio |first2=Rocco A. |date=March 2010 |title=यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है|url=https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-url=https://ghostarchive.org/archive/20221009/https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-date=2022-10-09 |url-status=live |journal=Machine Learning |volume=78 |issue=3 |pages=287–304 |doi=10.1007/s10994-009-5165-z |s2cid=53861 |access-date=2015-11-17|doi-access=free }}</ref> इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। चूंकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देने के लिए किया जाता है, जैसे कि ब्राउनबॉस्ट, ध्वनि डेटासमुच्चय से सीख सकते हैं और विशेष रूप से लॉन्ग- के अंतर्निहित क्लासिफायरियर को सीख सकते हैं। सेर्वडियो डेटासमुच्चय इसका मुख्य उदाहरण हैं।


== यह भी देखें ==
== यह भी देखें ==
{{Div col}}
{{Div col}}
* ऐडाबूस्ट
* ऐडाबूस्ट
* [[बेतरतीब जंगल]]
* [[भिन्न फाॅरेस्ट]]
* [[वैकल्पिक निर्णय वृक्ष]]
* [[वैकल्पिक निर्णय ट्री]]
* [[बूटस्ट्रैप एकत्रीकरण]] (बैगिंग)
* [[बूटस्ट्रैप एकत्रीकरण]] (बैगिंग)
* [[कैस्केडिंग क्लासिफायरियर]]
* [[कैस्केडिंग क्लासिफायरियर]]
Line 60: Line 63:
* समर्थन वेक्टर मशीन
* समर्थन वेक्टर मशीन
* [[ग्रेडिएंट बूस्टिंग]]
* [[ग्रेडिएंट बूस्टिंग]]
* [[ मार्जिन वर्गीकारक ]]ियर
* [[ मार्जिन वर्गीकारक ]]
* क्रॉस-वैलिडेशन (सांख्यिकी) | क्रॉस-वैलिडेशन
* क्रॉस-वैलिडेशन (सांख्यिकी) या क्रॉस-वैलिडेशन
* यंत्र अधिगम
* यंत्र अधिगम
* [[मशीन लर्निंग रिसर्च के लिए डेटासेट की सूची]]
* [[मशीन लर्निंग रिसर्च के लिए डेटासेट की सूची]]
Line 69: Line 72:
[[scikit-सीखें]], पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी
[[scikit-सीखें]], पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी
* ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल [http://docs.orange.biolab.si/reference/rst/Orange.ensemble.html Orange.ensemble]
* ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल [http://docs.orange.biolab.si/reference/rst/Orange.ensemble.html Orange.ensemble]
* Weka (मशीन लर्निंग) टूल का [[वेका (मशीन लर्निंग)]] सेट है जो AdaBoost और LogitBoost जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
* Weka (मशीन लर्निंग) टूल का [[वेका (मशीन लर्निंग)]] समुच्चय है जो ऐडाबूस्ट और लाॅजिट बूस्ट जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
* R (प्रोग्रामिंग लैंग्वेज) पैकेज [https://cran.r-project.org/web/packages/gbm/index.html GBM] (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के AdaBoost एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
* R (प्रोग्रामिंग लैंग्वेज) पैकेज [https://cran.r-project.org/web/packages/gbm/index.html GBM] (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के ऐडाबूस्ट एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
* [https://sourceforge.net/projects/jboost/ jboost]; AdaBoost, LogitBoost, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
* [https://sourceforge.net/projects/jboost/ jboost]; ऐडाबूस्ट, लाॅजिट बूस्ट, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
* आर पैकेज [https://cran.r-project.org/web/packages/adabag/index.html adabag]: मल्टीक्लास AdaBoost.M1, AdaBoost-SAMME और बैगिंग लागू करता है
* आर पैकेज [https://cran.r-project.org/web/packages/adabag/index.html adabag]: मल्टीक्लास ऐडाबूस्ट.M1, ऐडाबूस्ट-SAMME और बैगिंग लागू करता है
* आर पैकेज [https://cran.r-project.org/web/packages/xgboost/index.html xgboost]: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।
* आर पैकेज [https://cran.r-project.org/web/packages/xgboost/index.html xgboost]: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।


Revision as of 21:16, 30 March 2023

Part of a series on
Machine learning
and data mining
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
Problems
Clustering
Dimensionality reduction
Structured prediction
Anomaly detection
Artificial neural network
Reinforcement learning
Learning with humans
Model diagnostics
Theory
Machine-learning venues
Related articles

यंत्र अधिगम में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग बायस वैरियंस ट्रेड ऑफ़ और वेरियंस को कम करने के लिए लर्निंग को एकत्रित करके मेटा-एल्गोरिथ्म का उपयोग करता हैं[1] पर्यवेक्षित शिक्षा और मशीन लर्निंग एल्गोरिदम का समूह जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।[2] बूस्टिंग माइकल किर्न्स जो कि कंप्यूटर वैज्ञानिक हैं। और लेस्ली बहादुर (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।[3][4] क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? इस प्रकार कमजोर शिक्षार्थी को वर्गीकरण (मशीन लर्निंग) के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से थोड़ा सहसंबद्ध है, यह यादृच्छिक अनुमान लगाने से उत्तम उदाहरणों को लेबल कर सकता है। इसके विपरीत मजबूत शिक्षार्थी क्लासिफायरियर होता है जो इस वर्गीकरण के साथ ढंग से अच्छी तरह से जुड़ा होता है।

1990 के पेपर में रॉबर्ट शेपर का धनात्मक उत्तर[5] किर्न्स और वैलेंटाइन के प्रश्न पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए इसे अग्रसर किया जाता हैं।[6] जब पहली बार इसे प्रस्तुत किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में परिवर्तित करने की प्रक्रिया के रूप में संदर्भित किया गया था। इस प्रकार अनौपचारिक रूप से परिकल्पना को बढ़ावा देने वाली समस्या बताती हैं कि क्या कुशल शिक्षण एल्गोरिद्म जो ऐसी परिकल्पना का उत्पादन करती है जिसका प्रदर्शन यादृच्छिक अनुमान से थोड़ा ही उत्तम होता है। कमजोर शिक्षार्थी यहाँ पर तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो अपनी सटीकता की परिकल्पना का उत्पादन करती है। इस प्रकार मजबूत शिक्षार्थी[3] के लिए एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। योव दोस्त और शापायर का आर्किंग[7] सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय माना जाता है।[8]

बूस्टिंग एल्गोरिदम

जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायरियर में जोड़ना सम्मिलित है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से वेट किया जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे पुनः भार के रूप में जाना जाता है। इस प्रकार गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।[note 1] इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।

समांतर शिक्षार्थियों और भारित डेटासमुच्चय से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण

कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित पुनरावर्तन कंप्यूटर विज्ञान के बहुमत गेट फॉर्मूलेशन[5]और योव फ्रायंड को बहुमत से बढ़ावा दिया जाता है। [9] इस कारण यह अनुकूली एल्गोरिदम के रूप में उपयोग नहीं किये जाते थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते हैं। शापायर और फ्रायंड ने तब ऐडाबूस्ट ने विकसित किया था, जो अनुकूली बूस्टिंग एल्गोरिथम के रूप में उपयोग किया जाता है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता था।

केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रों में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम का उपयोग होता हैं, उन्हें पूर्ण रूप से बूस्टिंग एल्गोरिदम कहा जाता है। इस प्रकार अन्य एल्गोरिदम जिसमें बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, चूंकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।[9]

कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और परिकल्पना को भारित करने की उनकी विधि है। ऐडाबूस्ट बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अधिकांशतः विश्वविद्यालय मशीन लर्निंग कोर्स में बूस्टिंग के प्रारंभिक कवरेज का आधार होता है।[10] एलपीबूस्ट, टोटलबॉस्ट, ब्राउन बूस्ट, एक्सगबॉस्ट, मैडाबूस्ट, लाॅजिट बूस्ट और अन्य जैसे कई और एल्गोरिदम का उपयोग करता हैं। कई बूस्टिंग एल्गोरिदम ऐनी बूस्ट फ्रेमवर्क में फिट हो जीती हैं,[9] जो दर्शाती है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके फलन क्षेत्र में ढतला हुए वंश के रूप में प्रकट करता है।

कंप्यूटर दृष्टि में वस्तु वर्गीकरण

Main article: छवि खोज से वस्तु वर्गीकरण

विश्व में विभिन्न ज्ञात वस्तुओं वाली प्रतिबिंबों को देखते हुए, भविष्य की प्रतिबिंबों में वस्तुओं को स्वचालित रूप से सांख्यिकीय वर्गीकरण करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने की विधि है।

वस्तु वर्गीकरण की समस्या

प्रतिबिंब खोज से वस्तु वर्गीकरण कंप्यूटर दृष्टि का विशिष्ट कार्य है जिसमें यह निर्धारित करना सम्मिलित है कि किसी प्रतिबिंब में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं इस बात का ध्यान रखना आवश्यक होता हैं। इस विचारणीय मान्यता के अनुसार पहचान और पहचान से निकटता से संबंधित रहते हैं। उपस्थिति आधारित वस्तु वर्गीकरण में सामान्यतः सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना सम्मिलित है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदाहरण के लिए शेप एनालिसिस (डिजिटल ज्योमेट्री), शब्द मॉडल का बैग, या लोकल डिस्क्रिप्टर जैसे स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म आदि से किया जाता हैं। सुपरवाइज्ड लर्निंग के उदाहरण हैं नेवी बायस्ड क्लासिफायर, समर्थन वेक्टर यंत्र , गॉसियन का मिश्रण और तंत्रिका नेटवर्क हैं। चूंकि अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और प्रतिबिंबों में उनके स्थान को अनियंत्रित शिक्षा में भी खोजा जा सकता है।[11]

वस्तु वर्गीकरण के लिए यथास्थिति

प्रतिबिंबों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, मुख्य रूप से जब श्रेणियों की संख्या अधिक होती हैं। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ अधिक भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, स्केलिंग (ज्यामिति), और रोशनी (प्रतिबिंब) के अनुसार जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी कठिनाईयाँ जोड़ते हैं।[12] मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश वर्तमान वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदाहरण के लिए चेहरा, कार, साधारण वस्तुएं इत्यादि।[13] अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और चूंकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)[14]) विकसित किया गया है। इसका मुख्य तरीका फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग है ।

बाइनरी वर्गीकरण के लिए बूस्टिंग

ऐडाबूस्ट का उपयोग चेहरे की पहचान के लिए द्विआधारी वर्गीकरण के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिथ्म इस प्रकार है:

  1. सरल सुविधाओं का बड़ा समुच्चय तैयार करें
  2. प्रशिक्षण प्रतिबिंबों के लिए भार आरंभ करें
  3. टी राउंड के लिए
    1. वजन सामान्य करें
    2. समुच्चय से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
    3. न्यूनतम त्रुटि वाला क्लासिफायर चुनें
    4. प्रशिक्षण प्रतिबिंबों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
  4. टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक अधिक होता हैं।)

बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के अनुसार 95% पहचान दर पर टाइप I और टाइप II त्रुटियां प्राप्त कर सकता है ।[15]

बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाती है।[16] चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला कार्य है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क या वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।

बहु-श्रेणी वर्गीकरण के लिए बूस्टिंग

बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की खोज करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं के समान अधिक सामान्य किनारे का पता लगाना बन जाते हैं। सीखने के समय, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जाता हैं। इस प्रकार अलग से प्रशिक्षण की तुलना में यह सामान्यीकरण उत्तम है, इस प्रकार कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।

एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाता हैं। प्रत्येक पुनरावृत्ति के समय एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है, ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाता हैं। यह बहु-श्रेणी वर्गीकरण को बाइनरी श्रेणियों का समुच्चय के अतिरिक्त स्थितियों में परिवर्तित करके किया जा सकता है,[17] या उन श्रेणियों से पेनल्टी त्रुटि प्रारंभ करके जिनमें क्लासिफायर की सुविधा नहीं है।[18]

पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना ए. टोराल्बा एट अल द्वारा बताया गया था। ए. टोराल्बा एट अल ने बूस्टिंग के लिए जेंटलबूस्ट का उपयोग किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत उत्तम कार्य करता है। इसके अतिरिक्त, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, अर्ताथ रैखिक विकास से धीमी होती है। गैर-साझाकरण स्थिति के लिए इसी प्रकार के परिणाम दृश्य के अनुसार इसी आकार की वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए ऐडाबूस्ट का उपयोग किया जाता हैं।

उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम

बूस्टिंग एल्गोरिदम उत्तल अनुकूलन या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। ऐडाबूस्ट और लाॅजिट बूस्ट जैसे उत्तल एल्गोरिदम को यादृच्छिक ध्वनि से पराजित किया जाता है जैसे कि वे कमजोर परिकल्पनाओं के मौलिक और सीखने योग्य संयोजनों को नहीं सीख सकते हैं।[19][20] इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। चूंकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देने के लिए किया जाता है, जैसे कि ब्राउनबॉस्ट, ध्वनि डेटासमुच्चय से सीख सकते हैं और विशेष रूप से लॉन्ग- के अंतर्निहित क्लासिफायरियर को सीख सकते हैं। सेर्वडियो डेटासमुच्चय इसका मुख्य उदाहरण हैं।

यह भी देखें

कार्यान्वयन

scikit-सीखें, पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी

  • ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल Orange.ensemble
  • Weka (मशीन लर्निंग) टूल का वेका (मशीन लर्निंग) समुच्चय है जो ऐडाबूस्ट और लाॅजिट बूस्ट जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
  • R (प्रोग्रामिंग लैंग्वेज) पैकेज GBM (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के ऐडाबूस्ट एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
  • jboost; ऐडाबूस्ट, लाॅजिट बूस्ट, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
  • आर पैकेज adabag: मल्टीक्लास ऐडाबूस्ट.M1, ऐडाबूस्ट-SAMME और बैगिंग लागू करता है
  • आर पैकेज xgboost: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।

टिप्पणियाँ

  1. ↑ Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and BrownBoost.

संदर्भ

  1. ↑ Leo Breiman (1996). "BIAS, VARIANCE, और आर्किंग क्लासिफायर" (PDF). TECHNICAL REPORT. Archived from the original (PDF) on 2015-01-19. Retrieved 19 January 2015. Arcing [Boosting] is more successful than bagging in variance reduction
  2. ↑ Zhou Zhi-Hua (2012). Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. p. 23. ISBN 978-1439830031. The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners
  3. ↑ 3.0 3.1 Michael Kearns(1988); Thoughts on Hypothesis Boosting, Unpublished manuscript (Machine Learning class project, December 1988)
  4. ↑ Michael Kearns; Leslie Valiant (1989). बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ. pp. 433–444. doi:10.1145/73007.73049. ISBN 978-0897913072. S2CID 536357. {{cite book}}: |journal= ignored (help)
  5. ↑ 5.0 5.1 Schapire, Robert E. (1990). "कमजोर सीखने की क्षमता की ताकत" (PDF). Machine Learning. 5 (2): 197–227. CiteSeerX 10.1.1.20.723. doi:10.1007/bf00116037. S2CID 53304535. Archived from the original (PDF) on 2012-10-10. Retrieved 2012-08-23.
  6. ↑ Leo Breiman (1998). "आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)". Ann. Stat. 26 (3): 801–849. doi:10.1214/aos/1024691079. Schapire (1990) proved that boosting is possible. (Page 823)
  7. ↑ Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, Journal of Computer and System Sciences, 55(1):119-139
  8. ↑ Leo Breiman (1998); Arcing Classifier (with Discussion and a Rejoinder by the Author), Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988, 1989), who left open the question of whether weak and strong learnability are equivalent. The question was termed the boosting problem since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A boosting algorithm is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.
  9. ↑ 9.0 9.1 9.2 Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); Boosting Algorithms as Gradient Descent, in S. A. Solla, T. K. Leen, and K.-R. Muller, editors, Advances in Neural Information Processing Systems 12, pp. 512-518, MIT Press
  10. ↑ Emer, Eric. "बूस्टिंग (AdaBoost एल्गोरिथम)" (PDF). MIT. Archived (PDF) from the original on 2022-10-09. Retrieved 2018-10-10.
  11. ↑ Sivic, Russell, Efros, Freeman & Zisserman, "Discovering objects and their location in images", ICCV 2005
  12. ↑ A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006
  13. ↑ M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007
  14. ↑ "बड़े पैमाने पर दृश्य पहचान चुनौती". December 2017.
  15. ↑ P. Viola, M. Jones, "Robust Real-time Object Detection", 2001
  16. ↑ Viola, P.; Jones, M.; Snow, D. (2003). गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना (PDF). ICCV. Archived (PDF) from the original on 2022-10-09.
  17. ↑ A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006
  18. ↑ A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006
  19. ↑ P. Long and R. Servedio. 25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.
  20. ↑ Long, Philip M.; Servedio, Rocco A. (March 2010). "यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है" (PDF). Machine Learning. 78 (3): 287–304. doi:10.1007/s10994-009-5165-z. S2CID 53861. Archived (PDF) from the original on 2022-10-09. Retrieved 2015-11-17.

अग्रिम पठन

बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=बूस्टिंग_(मशीन_लर्निंग)&oldid=121296’