बूस्टिंग (मशीन लर्निंग): Difference between revisions

From Vigyanwiki
No edit summary
 
(3 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{Short description|Method in machine learning}}
{{Short description|Method in machine learning}}
[[ यंत्र अधिगम |यंत्र अधिगम]] में, '''बूस्टिंग''' मुख्य रूप से सुपरवाइज्ड लर्निंग बायस वैरियंस ट्रेड ऑफ़ और परिवर्तन को कम करने के लिए [[सीखने को इकट्ठा करो|लर्निंग को एकत्रित करके]] [[मेटा-एल्गोरिथ्म]] का उपयोग करता हैं<ref>{{cite web|url=http://oz.berkeley.edu/~breiman/arcall96.pdf|archive-url=https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf|url-status=dead|archive-date=2015-01-19|title=BIAS, VARIANCE, और आर्किंग क्लासिफायर|last1=Leo Breiman|author-link=Leo Breiman|date=1996|publisher=TECHNICAL REPORT|quote=Arcing [Boosting] is more successful than bagging in variance reduction|access-date=19 January 2015}}</ref> पर्यवेक्षित शिक्षा और मशीन लर्निंग एल्गोरिदम का समूह जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।<ref>{{cite book |last=Zhou Zhi-Hua |author-link=Zhou Zhihua |date=2012 |title=Ensemble Methods: Foundations and Algorithms |publisher= Chapman and Hall/CRC |page=23 |isbn=978-1439830031 |quote=The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners }}</ref> बूस्टिंग माइकल किर्न्स जो कि कंप्यूटर वैज्ञानिक हैं। '''लेस्ली बहादुर''' (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।<ref name="Kearns88">Michael Kearns(1988); [http://www.cis.upenn.edu/~mkearns/papers/boostnote.pdf ''Thoughts on Hypothesis Boosting''], Unpublished manuscript (Machine Learning class project, December 1988)</ref><ref>{{cite book |last1=Michael Kearns |author-link=Michael Kearns (computer scientist) |last2=Leslie Valiant |author2-link=Leslie Valiant |date=1989 |title=बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ|journal=Symposium on Theory of Computing |publisher=ACM |volume=21 |pages=433–444 |doi=10.1145/73007.73049 |isbn= 978-0897913072|s2cid=536357 }}</ref> क्या कमजोर शिक्षार्थियों का समूह मजबूत शिक्षार्थी बना सकता है? इस प्रकार कमजोर शिक्षार्थी को [[वर्गीकरण (मशीन लर्निंग)]] के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से '''थोड़ा''' सहसंबद्ध है, यह यादृच्छिक अनुमान लगाने से उत्तम उदाहरणों को लेबल कर सकता है। इसके विपरीत '''मजबूत''' शिक्षार्थी क्लासिफायरियर होता है जो इस वर्गीकरण के साथ अच्छी तरह से जुड़ा होता है।
[[ यंत्र अधिगम |यंत्र अधिगम]] में, '''बूस्टिंग''' मुख्य रूप से सुपरवाइज्ड लर्निंग बायस वैरियंस ट्रेड ऑफ़ और परिवर्तन को कम करने के लिए [[सीखने को इकट्ठा करो|लर्निंग को एकत्रित करके]] [[मेटा-एल्गोरिथ्म]] का उपयोग करता हैं<ref>{{cite web|url=http://oz.berkeley.edu/~breiman/arcall96.pdf|archive-url=https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf|url-status=dead|archive-date=2015-01-19|title=BIAS, VARIANCE, और आर्किंग क्लासिफायर|last1=Leo Breiman|author-link=Leo Breiman|date=1996|publisher=TECHNICAL REPORT|quote=Arcing [Boosting] is more successful than bagging in variance reduction|access-date=19 January 2015}}</ref> पर्यवेक्षित शिक्षा और मशीन लर्निंग एल्गोरिदम का समूह जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।<ref>{{cite book |last=Zhou Zhi-Hua |author-link=Zhou Zhihua |date=2012 |title=Ensemble Methods: Foundations and Algorithms |publisher= Chapman and Hall/CRC |page=23 |isbn=978-1439830031 |quote=The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners }}</ref> बूस्टिंग माइकल किर्न्स जो कि कंप्यूटर वैज्ञानिक हैं। किर्न्स और वैलियंट (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।<ref name="Kearns88">Michael Kearns(1988); [http://www.cis.upenn.edu/~mkearns/papers/boostnote.pdf ''Thoughts on Hypothesis Boosting''], Unpublished manuscript (Machine Learning class project, December 1988)</ref><ref>{{cite book |last1=Michael Kearns |author-link=Michael Kearns (computer scientist) |last2=Leslie Valiant |author2-link=Leslie Valiant |date=1989 |title=बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ|journal=Symposium on Theory of Computing |publisher=ACM |volume=21 |pages=433–444 |doi=10.1145/73007.73049 |isbn= 978-0897913072|s2cid=536357 }}</ref> क्या कमजोर शिक्षार्थियों का समूह स्ट्रांग लर्नर बना सकता है? इस प्रकार वीक लर्नर को [[वर्गीकरण (मशीन लर्निंग)]] के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से सहसंबद्ध है, यह यादृच्छिक अनुमान लगाने से उत्तम उदाहरणों को लेबल कर सकता है। इसके विपरीत स्ट्रांग लर्नर क्लासिफायर होता है जो इस वर्गीकरण के साथ अच्छी तरह से जुड़ा होता है।


1990 के पेपर में [[रॉबर्ट शेपर]] का धनात्मक उत्तर<ref name="Schapire90">{{cite journal | first = Robert E. | last = Schapire | year = 1990 | citeseerx = 10.1.1.20.723 | url = http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | title = कमजोर सीखने की क्षमता की ताकत| journal = Machine Learning | volume = 5 | issue = 2 | pages = 197–227 | doi = 10.1007/bf00116037 | s2cid = 53304535 | access-date = 2012-08-23 | archive-url = https://web.archive.org/web/20121010030839/http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | archive-date = 2012-10-10 | url-status = dead }}</ref> किर्न्स और वैलेंटाइन के प्रश्न पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए इसे अग्रसर किया जाता हैं।<ref>{{cite journal |last = Leo Breiman |author-link = Leo Breiman |date = 1998|title = आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)|journal = Ann. Stat.|volume = 26|issue = 3|pages = 801–849|doi = 10.1214/aos/1024691079|quote = Schapire (1990) proved that boosting is possible. (Page 823)|doi-access = free}}</ref> जब पहली बार इसे प्रस्तुत किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल कमजोर शिक्षार्थी को मजबूत शिक्षार्थी में परिवर्तित करने की प्रक्रिया के रूप में संदर्भित किया गया था। इस प्रकार अनौपचारिक रूप से परिकल्पना को बढ़ावा देने वाली समस्या बताती हैं कि क्या कुशल शिक्षण एल्गोरिद्म जो ऐसी परिकल्पना का उत्पादन करती है जिसका प्रदर्शन यादृच्छिक अनुमान से थोड़ा ही उत्तम होता है। कमजोर शिक्षार्थी यहाँ पर तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो अपनी सटीकता की परिकल्पना का उत्पादन करती है। इस प्रकार मजबूत शिक्षार्थी<ref name="Kearns88" /> के लिए एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। [[योव दोस्त|'''योव दोस्त''']] और शापायर का आर्किंग<ref>Yoav Freund and Robert E. Schapire (1997); [https://www.cis.upenn.edu/~mkearns/teaching/COLT/adaboost.pdf ''A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139</ref> सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय माना जाता है।<ref>Leo Breiman (1998); [http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1024691079 ''Arcing Classifier (with Discussion and a Rejoinder by the Author)''], Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988<!-- Michael Kearns, Leslie G. Valiant (1988); ''Learning Boolean Formulae or Finite Automata is as Hard as Factoring'', Technical Report TR-14-88, Harvard University Aiken Computation Laboratory, August 1988 -->, 1989<!-- Michael Kearns, Leslie G. Valiant (1989) ''Cryptographic Limitations on Learning Boolean Formulae and Finite Automata'', Proceedings of the Twenty-First Annual ACM Symposium on Theory of Computing (pp. 433-444). New York, NY: ACM Press, later republished in the Journal of the Association for Computing Machinery, 41(1):67–95, January 1994 -->), who left open the question of whether weak and strong learnability are equivalent. The question was termed the ''boosting problem'' since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A ''boosting algorithm'' is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.</ref>
1990 के पेपर में [[रॉबर्ट शेपर]] का धनात्मक उत्तर<ref name="Schapire90">{{cite journal | first = Robert E. | last = Schapire | year = 1990 | citeseerx = 10.1.1.20.723 | url = http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | title = कमजोर सीखने की क्षमता की ताकत| journal = Machine Learning | volume = 5 | issue = 2 | pages = 197–227 | doi = 10.1007/bf00116037 | s2cid = 53304535 | access-date = 2012-08-23 | archive-url = https://web.archive.org/web/20121010030839/http://www.cs.princeton.edu/~schapire/papers/strengthofweak.pdf | archive-date = 2012-10-10 | url-status = dead }}</ref> किर्न्स और वैलेंटाइन के प्रश्न पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए इसे अग्रसर किया जाता हैं।<ref>{{cite journal |last = Leo Breiman |author-link = Leo Breiman |date = 1998|title = आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)|journal = Ann. Stat.|volume = 26|issue = 3|pages = 801–849|doi = 10.1214/aos/1024691079|quote = Schapire (1990) proved that boosting is possible. (Page 823)|doi-access = free}}</ref> जब पहली बार इसे प्रस्तुत किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल वीक लर्नर को स्ट्रांग लर्नर में परिवर्तित करने की प्रक्रिया के रूप में संदर्भित किया गया था। इस प्रकार अनौपचारिक रूप से परिकल्पना को बढ़ावा देने वाली समस्या बताती हैं कि क्या कुशल शिक्षण एल्गोरिद्म जो ऐसी परिकल्पना का उत्पादन करती है जिसका प्रदर्शन यादृच्छिक अनुमान से थोड़ा ही उत्तम होता है। वीक लर्नर यहाँ पर तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो अपनी सटीकता की परिकल्पना का उत्पादन करती है। इस प्रकार स्ट्रांग लर्नर<ref name="Kearns88" /> के लिए एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। फ्रायंड और शैपियर का आर्किंग<ref>Yoav Freund and Robert E. Schapire (1997); [https://www.cis.upenn.edu/~mkearns/teaching/COLT/adaboost.pdf ''A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting''], Journal of Computer and System Sciences, 55(1):119-139</ref> की सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय माना जाता है।<ref>Leo Breiman (1998); [http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1024691079 ''Arcing Classifier (with Discussion and a Rejoinder by the Author)''], Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988<!-- Michael Kearns, Leslie G. Valiant (1988); ''Learning Boolean Formulae or Finite Automata is as Hard as Factoring'', Technical Report TR-14-88, Harvard University Aiken Computation Laboratory, August 1988 -->, 1989<!-- Michael Kearns, Leslie G. Valiant (1989) ''Cryptographic Limitations on Learning Boolean Formulae and Finite Automata'', Proceedings of the Twenty-First Annual ACM Symposium on Theory of Computing (pp. 433-444). New York, NY: ACM Press, later republished in the Journal of the Association for Computing Machinery, 41(1):67–95, January 1994 -->), who left open the question of whether weak and strong learnability are equivalent. The question was termed the ''boosting problem'' since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A ''boosting algorithm'' is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.</ref>
== बूस्टिंग एल्गोरिदम ==
== बूस्टिंग एल्गोरिदम ==
जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायरियर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत '''क्लासिफायरियर''' में जोड़ना सम्मिलित है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से भार मापा जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे पुनः[[ भार | भार]] के रूप में जाना जाता है। इस प्रकार गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।{{NoteTag|Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and [[BrownBoost]].}} इस प्रकार, भविष्य के '''कमजोर शिक्षार्'''थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।
जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायर में जोड़ना सम्मिलित है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से भार मापा जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। वीक लर्नर को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे पुनः[[ भार | भार]] के रूप में जाना जाता है। इस प्रकार गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।{{NoteTag|Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and [[BrownBoost]].}} इस प्रकार, भविष्य के वीक लर्नर उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।


[[File:Ensemble Boosting.svg|thumb|समांतर शिक्षार्थियों और भारित डेटासमुच्चय से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण]]कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित पुनरावर्तन कंप्यूटर विज्ञान के गेट फॉर्मूलेशन<ref name="Schapire90" />और योव फ्रायंड को बहुमत से बढ़ावा दिया जाता है। <ref name="Mason00">Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); ''Boosting Algorithms as Gradient Descent'', in [[Sara Solla|S. A. Solla]], T. K. Leen, and K.-R. Muller, editors, ''Advances in Neural Information Processing Systems'' 12, pp.&nbsp;512-518, MIT Press</ref> इस कारण यह [[अनुकूली एल्गोरिदम]] के रूप में उपयोग नहीं किये जाते थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते हैं। शापायर और फ्रायंड ने तब [[ऐडाबूस्ट]] ने विकसित किया था, जो अनुकूली बूस्टिंग एल्गोरिथम के रूप में उपयोग किया जाता है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता था।
[[File:Ensemble Boosting.svg|thumb|समांतर शिक्षार्थियों और भारित डेटासमुच्चय से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण]]कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित पुनरावर्तन कंप्यूटर विज्ञान के गेट फॉर्मूलेशन<ref name="Schapire90" />और योव फ्रायंड को बहुमत से बढ़ावा दिया जाता है। <ref name="Mason00">Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); ''Boosting Algorithms as Gradient Descent'', in [[Sara Solla|S. A. Solla]], T. K. Leen, and K.-R. Muller, editors, ''Advances in Neural Information Processing Systems'' 12, pp.&nbsp;512-518, MIT Press</ref> इस कारण यह [[अनुकूली एल्गोरिदम]] के रूप में उपयोग नहीं किये जाते थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते हैं। शापायर और फ्रायंड ने तब [[ऐडाबूस्ट]] ने विकसित किया था, जो अनुकूली बूस्टिंग एल्गोरिथम के रूप में उपयोग किया जाता है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता था।
Line 10: Line 10:
केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रों में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम का उपयोग होता हैं, उन्हें पूर्ण रूप से बूस्टिंग एल्गोरिदम कहा जाता है। इस प्रकार अन्य एल्गोरिदम जिसमें बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, चूंकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।<ref name="Mason00"/>
केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रों में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम का उपयोग होता हैं, उन्हें पूर्ण रूप से बूस्टिंग एल्गोरिदम कहा जाता है। इस प्रकार अन्य एल्गोरिदम जिसमें बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, चूंकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।<ref name="Mason00"/>


कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और [[परिकल्पना]] को भारित करने की उनकी विधि है। ऐडाबूस्ट बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अधिकांशतः विश्वविद्यालय मशीन लर्निंग कोर्स में बूस्टिंग के प्रारंभिक कवरेज का आधार होता है।<ref>{{Cite web|url=http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-date=2022-10-09 |url-status=live|title=बूस्टिंग (AdaBoost एल्गोरिथम)|last=Emer|first=Eric|website=MIT|access-date=2018-10-10}}</ref> [[एलपीबूस्ट]], टोटलबॉस्ट, [[ब्राउन बूस्ट]], एक्सगबॉस्ट, मैडाबूस्ट, [[LogitBoost|लाॅजिट बूस्ट]] और अन्य जैसे कई और एल्गोरिदम का उपयोग करता हैं। कई बूस्टिंग एल्गोरिदम ऐनी बूस्ट फ्रेमवर्क में फिट हो जीती हैं,<ref name="Mason00"/> जो दर्शाती है कि बूस्टिंग वर्गीकरण के लिए उत्तल फ़ंक्शन हानि फ़ंक्शन का उपयोग करके [[समारोह स्थान|फलन क्षेत्र]] में '''ढतला हुए वंश''' के रूप में प्रकट करता है।
कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और [[परिकल्पना]] को भारित करने की उनकी विधि है। ऐडाबूस्ट बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अधिकांशतः विश्वविद्यालय मशीन लर्निंग कोर्स में बूस्टिंग के प्रारंभिक कवरेज का आधार होता है।<ref>{{Cite web|url=http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://math.mit.edu/~rothvoss/18.304.3PM/Presentations/1-Eric-Boosting304FinalRpdf.pdf |archive-date=2022-10-09 |url-status=live|title=बूस्टिंग (AdaBoost एल्गोरिथम)|last=Emer|first=Eric|website=MIT|access-date=2018-10-10}}</ref> [[एलपीबूस्ट]], टोटलबॉस्ट, [[ब्राउन बूस्ट]], एक्सगबॉस्ट, मैडाबूस्ट, [[LogitBoost|लाॅजिट बूस्ट]] और अन्य जैसे कई और एल्गोरिदम का उपयोग करता हैं। कई बूस्टिंग एल्गोरिदम ऐनी बूस्ट फ्रेमवर्क में फिट हो जीती हैं,<ref name="Mason00"/> जो दर्शाता है कि उत्तल लागत फ़ंक्शन का उपयोग करके [[समारोह स्थान|फलन क्षेत्र]] में ग्रेडिएंट डिसेंट को बढ़ावा देता है।


== कंप्यूटर दृष्टि में वस्तु वर्गीकरण ==
== कंप्यूटर दृष्टि में वस्तु वर्गीकरण ==
{{Main|छवि खोज से वस्तु वर्गीकरण}}
{{Main|छवि खोज से वस्तु वर्गीकरण}}


विश्व में विभिन्न ज्ञात वस्तुओं वाली प्रतिबिंबों को देखते हुए, भविष्य की प्रतिबिंबों में वस्तुओं को स्वचालित रूप से [[सांख्यिकीय वर्गीकरण]] करने के लिए उनसे क्लासिफायरियर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने की विधि है।
विश्व में विभिन्न ज्ञात वस्तुओं वाली प्रतिबिंबों को देखते हुए, भविष्य की प्रतिबिंबों में वस्तुओं को स्वचालित रूप से [[सांख्यिकीय वर्गीकरण]] करने के लिए उनसे क्लासिफायर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने की विधि है।


=== वस्तु वर्गीकरण की समस्या ===
=== वस्तु वर्गीकरण की समस्या ===
[[छवि खोज से वस्तु वर्गीकरण|प्रतिबिंब खोज से वस्तु वर्गीकरण]] [[कंप्यूटर दृष्टि]] का विशिष्ट कार्य है जिसमें यह निर्धारित करना सम्मिलित है कि किसी प्रतिबिंब में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं इस बात का ध्यान रखना आवश्यक होता हैं। इस विचारणीय मान्यता के अनुसार पहचान और पहचान से निकटता से संबंधित रहते हैं। उपस्थिति आधारित वस्तु वर्गीकरण में सामान्यतः सुविधा निष्कर्षण, 3 क्लासिफायरियर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना सम्मिलित है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदाहरण के लिए शेप एनालिसिस (डिजिटल ज्योमेट्री), '''शब्द मॉडल का बैग''', या लोकल डिस्क्रिप्टर जैसे [[स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म]] आदि से किया जाता हैं। सुपरवाइज्ड लर्निंग के उदाहरण हैं नेवी बायस्ड क्लासिफायर, [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] , गॉसियन का मिश्रण और [[ तंत्रिका नेटवर्क |तंत्रिका नेटवर्क]] हैं। चूंकि अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और प्रतिबिंबों में उनके स्थान को [[ अनियंत्रित शिक्षा |अनियंत्रित शिक्षा]] में भी खोजा जा सकता है।<ref>Sivic, Russell, Efros, Freeman & Zisserman,  "Discovering objects and their location in images", ICCV 2005</ref>
[[छवि खोज से वस्तु वर्गीकरण|प्रतिबिंब खोज से वस्तु वर्गीकरण]] [[कंप्यूटर दृष्टि]] का विशिष्ट कार्य है जिसमें यह निर्धारित करना सम्मिलित है कि किसी प्रतिबिंब में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं इस बात का ध्यान रखना आवश्यक होता हैं। इस विचारणीय मान्यता के अनुसार पहचान और पहचान से निकटता से संबंधित रहते हैं। उपस्थिति आधारित वस्तु वर्गीकरण में सामान्यतः सुविधा निष्कर्षण, 3 क्लासिफायर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना सम्मिलित है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदाहरण के लिए शेप एनालिसिस (डिजिटल ज्योमेट्री), वर्ड मॉडल्स के बैग, या लोकल डिस्क्रिप्टर जैसे [[स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म]] आदि से किया जाता हैं। सुपरवाइज्ड लर्निंग के उदाहरण हैं नेवी बायस्ड क्लासिफायर, [[ समर्थन वेक्टर यंत्र |समर्थन वेक्टर यंत्र]] , गॉसियन का मिश्रण और [[ तंत्रिका नेटवर्क |तंत्रिका नेटवर्क]] हैं। चूंकि अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और प्रतिबिंबों में उनके स्थान को [[ अनियंत्रित शिक्षा |अनियंत्रित शिक्षा]] में भी खोजा जा सकता है।<ref>Sivic, Russell, Efros, Freeman & Zisserman,  "Discovering objects and their location in images", ICCV 2005</ref>
=== वस्तु वर्गीकरण के लिए यथास्थिति ===
=== वस्तु वर्गीकरण के लिए यथास्थिति ===
प्रतिबिंबों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, मुख्य रूप से जब श्रेणियों की संख्या अधिक होती हैं। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ अधिक भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, [[स्केलिंग (ज्यामिति)]], और [[रोशनी (छवि)|'''रोशनी''' (प्रतिबिंब)]] के अनुसार जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी कठिनाईयाँ जोड़ते हैं।<ref>A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006</ref> मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश वर्तमान वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदाहरण के लिए [[चेहरा]], [[कार]], साधारण वस्तुएं इत्यादि।<ref>M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007</ref> अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और चूंकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)<ref>{{Cite web|url=http://image-net.org/challenges/LSVRC/2017/|title=बड़े पैमाने पर दृश्य पहचान चुनौती|date=December 2017}}</ref>) विकसित किया गया है। इसका मुख्य तरीका फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग है ।
प्रतिबिंबों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, मुख्य रूप से जब श्रेणियों की संख्या अधिक होती हैं। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ अधिक भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, [[स्केलिंग (ज्यामिति)]], और [[रोशनी (छवि)|इल्युमिनेशन (प्रतिबिंब)]] के अनुसार जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी कठिनाईयाँ जोड़ते हैं।<ref>A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006</ref> मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश वर्तमान वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदाहरण के लिए [[चेहरा]], [[कार]], साधारण वस्तुएं इत्यादि।<ref>M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007</ref> अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और चूंकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)<ref>{{Cite web|url=http://image-net.org/challenges/LSVRC/2017/|title=बड़े पैमाने पर दृश्य पहचान चुनौती|date=December 2017}}</ref>) विकसित किया गया है। इसका मुख्य तरीका फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग है ।


=== बाइनरी वर्गीकरण के लिए बूस्टिंग ===
=== बाइनरी वर्गीकरण के लिए बूस्टिंग ===
ऐडाबूस्ट का उपयोग चेहरे की पहचान के लिए [[द्विआधारी वर्गीकरण]] के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां '''चेहरे बनाम पृष्ठभूमि''' हैं। सामान्य एल्गोरिथ्म इस प्रकार है:
ऐडाबूस्ट का उपयोग चेहरे की पहचान के लिए [[द्विआधारी वर्गीकरण]] के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां फेसेस तथा बैग ग्राउंड के परस्पर  हैं। सामान्य एल्गोरिथ्म इस प्रकार है:
# सरल सुविधाओं का बड़ा समुच्चय तैयार करें
# सरल सुविधाओं का बड़ा समुच्चय तैयार करें
# प्रशिक्षण प्रतिबिंबों के लिए भार आरंभ करें
# प्रशिक्षण प्रतिबिंबों के लिए भार आरंभ करें
# टी राउंड के लिए
# टी राउंड के लिए
##वजन सामान्य करें
##वजन सामान्य करें
## समुच्चय से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायरियर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
## समुच्चय से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
##न्यूनतम त्रुटि वाला क्लासिफायर चुनें
##न्यूनतम त्रुटि वाला क्लासिफायर चुनें
## प्रशिक्षण प्रतिबिंबों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
## प्रशिक्षण प्रतिबिंबों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
# टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायरियर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक अधिक होता हैं।)
# टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक अधिक होता हैं।)
बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायरियर के अनुसार 95% पहचान दर पर <math>10^{-5}</math> [[टाइप I और टाइप II त्रुटियां]] प्राप्त कर सकता है ।<ref>P. Viola, M. Jones, "Robust Real-time Object Detection", 2001</ref>
बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायर के अनुसार 95% पहचान दर पर <math>10^{-5}</math> [[टाइप I और टाइप II त्रुटियां]] प्राप्त कर सकता है ।<ref>P. Viola, M. Jones, "Robust Real-time Object Detection", 2001</ref>


बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के [[पैटर्न]] का उपयोग करके पैदल चलने वालों का पता लगाती है।<ref>{{cite conference|first1=P.|last1=Viola|first2=M.|last2=Jones|first3=D.|last3=Snow|title=गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना|conference=ICCV|year=2003|url=http://www.merl.com/publications/docs/TR2003-90.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://www.merl.com/publications/docs/TR2003-90.pdf |archive-date=2022-10-09 |url-status=live}}</ref> चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला कार्य है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क या वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।
बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के [[पैटर्न]] का उपयोग करके पैदल चलने वालों का पता लगाती है।<ref>{{cite conference|first1=P.|last1=Viola|first2=M.|last2=Jones|first3=D.|last3=Snow|title=गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना|conference=ICCV|year=2003|url=http://www.merl.com/publications/docs/TR2003-90.pdf |archive-url=https://ghostarchive.org/archive/20221009/http://www.merl.com/publications/docs/TR2003-90.pdf |archive-date=2022-10-09 |url-status=live}}</ref> चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला कार्य है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क या वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।


=== बहु-श्रेणी वर्गीकरण के लिए बूस्टिंग ===
=== बहु-श्रेणी वर्गीकरण के लिए बूस्टिंग ===
बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की खोज करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं के समान अधिक सामान्य '''किनारे का पता लगाना''' बन जाते हैं। सीखने के समय, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जाता हैं। इस प्रकार अलग से प्रशिक्षण की तुलना में यह सामान्यीकरण उत्तम है, इस प्रकार कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।
बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की खोज करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं के समान अधिक सामान्य फेसेस को प्राप्त करने में उपयोग हो जाते हैं। सीखने के समय, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जाता हैं। इस प्रकार अलग से प्रशिक्षण की तुलना में यह सामान्यीकरण उत्तम है, इस प्रकार कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।
   
   
एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाता हैं। प्रत्येक पुनरावृत्ति के समय एल्गोरिद्म एकल विशेषता का क्लासिफायरियर चुनता है, ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाता हैं। यह बहु-श्रेणी वर्गीकरण को बाइनरी श्रेणियों का समुच्चय के अतिरिक्त स्थितियों में परिवर्तित करके किया जा सकता है,<ref>A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006</ref> या उन श्रेणियों से पेनल्टी त्रुटि प्रारंभ करके जिनमें क्लासिफायर की सुविधा नहीं है।<ref>A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006</ref>
एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाता हैं। प्रत्येक पुनरावृत्ति के समय एल्गोरिद्म एकल विशेषता का क्लासिफायर चुनता है, ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाता हैं। यह बहु-श्रेणी वर्गीकरण को बाइनरी श्रेणियों का समुच्चय के अतिरिक्त स्थितियों में परिवर्तित करके किया जा सकता है,<ref>A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006</ref> या उन श्रेणियों से पेनल्टी त्रुटि प्रारंभ करके जिनमें क्लासिफायर की सुविधा नहीं है।<ref>A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006</ref>


पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना ए. टोराल्बा एट अल द्वारा बताया गया था। ए. टोराल्बा एट अल ने बूस्टिंग के लिए [[जेंटलबूस्ट]] का उपयोग किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत उत्तम कार्य करता है। इसके अतिरिक्त, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायरियर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, अर्ताथ रैखिक विकास से धीमी होती है। गैर-साझाकरण स्थिति के लिए इसी प्रकार के परिणाम दृश्य के अनुसार इसी आकार की वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए ऐडाबूस्ट का उपयोग किया जाता हैं।
पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना ए. टोराल्बा एट अल द्वारा बताया गया था। ए. टोराल्बा एट अल ने बूस्टिंग के लिए [[जेंटलबूस्ट]] का उपयोग किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत उत्तम कार्य करता है। इसके अतिरिक्त, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, अर्ताथ रैखिक विकास से धीमी होती है। गैर-साझाकरण स्थिति के लिए इसी प्रकार के परिणाम दृश्य के अनुसार इसी आकार की वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए ऐडाबूस्ट का उपयोग किया जाता हैं।


== उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम ==
== उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम ==


बूस्टिंग एल्गोरिदम [[उत्तल अनुकूलन]] या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। ऐडाबूस्ट और लाॅजिट बूस्ट जैसे उत्तल एल्गोरिदम को यादृच्छिक ध्वनि से पराजित किया जाता है जैसे कि वे कमजोर परिकल्पनाओं के मौलिक और सीखने योग्य संयोजनों को नहीं सीख सकते हैं।<ref>P. Long and R. Servedio.  25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.</ref><ref name=long-criticism>{{cite journal |last1=Long |first1=Philip M. |last2=Servedio |first2=Rocco A. |date=March 2010 |title=यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है|url=https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-url=https://ghostarchive.org/archive/20221009/https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-date=2022-10-09 |url-status=live |journal=Machine Learning |volume=78 |issue=3 |pages=287–304 |doi=10.1007/s10994-009-5165-z |s2cid=53861 |access-date=2015-11-17|doi-access=free }}</ref> इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। चूंकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देने के लिए किया जाता है, जैसे कि ब्राउनबॉस्ट, ध्वनि डेटासमुच्चय से सीख सकते हैं और विशेष रूप से लॉन्ग के अंतर्निहित '''क्लासिफायरियर''' को सीख सकते हैं। सेर्वडियो डेटासमुच्चय इसका मुख्य उदाहरण हैं।
बूस्टिंग एल्गोरिदम [[उत्तल अनुकूलन]] या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। ऐडाबूस्ट और लाॅजिट बूस्ट जैसे उत्तल एल्गोरिदम को यादृच्छिक ध्वनि से पराजित किया जाता है जैसे कि वे कमजोर परिकल्पनाओं के मौलिक और सीखने योग्य संयोजनों को नहीं सीख सकते हैं।<ref>P. Long and R. Servedio.  25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.</ref><ref name=long-criticism>{{cite journal |last1=Long |first1=Philip M. |last2=Servedio |first2=Rocco A. |date=March 2010 |title=यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है|url=https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-url=https://ghostarchive.org/archive/20221009/https://www.cs.columbia.edu/~rocco/Public/mlj9.pdf |archive-date=2022-10-09 |url-status=live |journal=Machine Learning |volume=78 |issue=3 |pages=287–304 |doi=10.1007/s10994-009-5165-z |s2cid=53861 |access-date=2015-11-17|doi-access=free }}</ref> इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। चूंकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देने के लिए किया जाता है, जैसे कि ब्राउनबॉस्ट, ध्वनि डेटासमुच्चय से सीख सकते हैं और विशेष रूप से लॉन्ग के अंतर्निहित क्लासिफायर को सीख सकते हैं। सेर्वडियो डेटासमुच्चय इसका मुख्य उदाहरण हैं।


== यह भी देखें ==
== यह भी देखें ==
Line 90: Line 90:
* {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/colt08.pdf | title = On the margin explanation of boosting algorithm. | first = Zhihua | last = Zhou | journal = In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08) | pages = 479–490 | year = 2008 }}
* {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/colt08.pdf | title = On the margin explanation of boosting algorithm. | first = Zhihua | last = Zhou | journal = In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08) | pages = 479–490 | year = 2008 }}
* {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/aij13marginbound.pdf | title = On the doubt about margin explanation of boosting. | first = Zhihua | last = Zhou | journal = Artificial Intelligence |  volume = 203 | pages = 1–18 | year = 2013 | doi = 10.1016/j.artint.2013.07.002 | arxiv = 1009.3613 | s2cid = 2828847 }}
* {{cite journal | url = http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/aij13marginbound.pdf | title = On the doubt about margin explanation of boosting. | first = Zhihua | last = Zhou | journal = Artificial Intelligence |  volume = 203 | pages = 1–18 | year = 2013 | doi = 10.1016/j.artint.2013.07.002 | arxiv = 1009.3613 | s2cid = 2828847 }}
[[Category: वर्गीकरण एल्गोरिदम]] [[Category: सीखने को इकट्ठा करो]] [[Category: कंप्यूटर दृष्टि में सीखना]] [[Category: वस्तु पहचान और वर्गीकरण]]


 
[[Category:Articles with hatnote templates targeting a nonexistent page]]
 
[[Category: Machine Translated Page]]
[[Category:Created On 21/03/2023]]
[[Category:Created On 21/03/2023]]
[[Category:Lua-based templates]]
[[Category:Machine Translated Page]]
[[Category:Multi-column templates]]
[[Category:Pages using div col with small parameter]]
[[Category:Pages with script errors]]
[[Category:Short description with empty Wikidata description]]
[[Category:Templates Vigyan Ready]]
[[Category:Templates that add a tracking category]]
[[Category:Templates that generate short descriptions]]
[[Category:Templates using TemplateData]]
[[Category:Templates using under-protected Lua modules]]
[[Category:Wikipedia fully protected templates|Div col]]
[[Category:कंप्यूटर दृष्टि में सीखना]]
[[Category:वर्गीकरण एल्गोरिदम]]
[[Category:वस्तु पहचान और वर्गीकरण]]
[[Category:सीखने को इकट्ठा करो]]

Latest revision as of 11:27, 18 April 2023

यंत्र अधिगम में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग बायस वैरियंस ट्रेड ऑफ़ और परिवर्तन को कम करने के लिए लर्निंग को एकत्रित करके मेटा-एल्गोरिथ्म का उपयोग करता हैं[1] पर्यवेक्षित शिक्षा और मशीन लर्निंग एल्गोरिदम का समूह जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है।[2] बूस्टिंग माइकल किर्न्स जो कि कंप्यूटर वैज्ञानिक हैं। किर्न्स और वैलियंट (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है।[3][4] क्या कमजोर शिक्षार्थियों का समूह स्ट्रांग लर्नर बना सकता है? इस प्रकार वीक लर्नर को वर्गीकरण (मशीन लर्निंग) के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से सहसंबद्ध है, यह यादृच्छिक अनुमान लगाने से उत्तम उदाहरणों को लेबल कर सकता है। इसके विपरीत स्ट्रांग लर्नर क्लासिफायर होता है जो इस वर्गीकरण के साथ अच्छी तरह से जुड़ा होता है।

1990 के पेपर में रॉबर्ट शेपर का धनात्मक उत्तर[5] किर्न्स और वैलेंटाइन के प्रश्न पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए इसे अग्रसर किया जाता हैं।[6] जब पहली बार इसे प्रस्तुत किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल वीक लर्नर को स्ट्रांग लर्नर में परिवर्तित करने की प्रक्रिया के रूप में संदर्भित किया गया था। इस प्रकार अनौपचारिक रूप से परिकल्पना को बढ़ावा देने वाली समस्या बताती हैं कि क्या कुशल शिक्षण एल्गोरिद्म जो ऐसी परिकल्पना का उत्पादन करती है जिसका प्रदर्शन यादृच्छिक अनुमान से थोड़ा ही उत्तम होता है। वीक लर्नर यहाँ पर तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो अपनी सटीकता की परिकल्पना का उत्पादन करती है। इस प्रकार स्ट्रांग लर्नर[3] के लिए एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। फ्रायंड और शैपियर का आर्किंग[7] की सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय माना जाता है।[8]

बूस्टिंग एल्गोरिदम

जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायर में जोड़ना सम्मिलित है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से भार मापा जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। वीक लर्नर को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे पुनः भार के रूप में जाना जाता है। इस प्रकार गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं।[note 1] इस प्रकार, भविष्य के वीक लर्नर उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।

समांतर शिक्षार्थियों और भारित डेटासमुच्चय से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण

कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित पुनरावर्तन कंप्यूटर विज्ञान के गेट फॉर्मूलेशन[5]और योव फ्रायंड को बहुमत से बढ़ावा दिया जाता है। [9] इस कारण यह अनुकूली एल्गोरिदम के रूप में उपयोग नहीं किये जाते थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते हैं। शापायर और फ्रायंड ने तब ऐडाबूस्ट ने विकसित किया था, जो अनुकूली बूस्टिंग एल्गोरिथम के रूप में उपयोग किया जाता है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता था।

केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रों में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम का उपयोग होता हैं, उन्हें पूर्ण रूप से बूस्टिंग एल्गोरिदम कहा जाता है। इस प्रकार अन्य एल्गोरिदम जिसमें बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, चूंकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।[9]

कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और परिकल्पना को भारित करने की उनकी विधि है। ऐडाबूस्ट बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अधिकांशतः विश्वविद्यालय मशीन लर्निंग कोर्स में बूस्टिंग के प्रारंभिक कवरेज का आधार होता है।[10] एलपीबूस्ट, टोटलबॉस्ट, ब्राउन बूस्ट, एक्सगबॉस्ट, मैडाबूस्ट, लाॅजिट बूस्ट और अन्य जैसे कई और एल्गोरिदम का उपयोग करता हैं। कई बूस्टिंग एल्गोरिदम ऐनी बूस्ट फ्रेमवर्क में फिट हो जीती हैं,[9] जो दर्शाता है कि उत्तल लागत फ़ंक्शन का उपयोग करके फलन क्षेत्र में ग्रेडिएंट डिसेंट को बढ़ावा देता है।

कंप्यूटर दृष्टि में वस्तु वर्गीकरण

Main article: छवि खोज से वस्तु वर्गीकरण

विश्व में विभिन्न ज्ञात वस्तुओं वाली प्रतिबिंबों को देखते हुए, भविष्य की प्रतिबिंबों में वस्तुओं को स्वचालित रूप से सांख्यिकीय वर्गीकरण करने के लिए उनसे क्लासिफायर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने की विधि है।

वस्तु वर्गीकरण की समस्या

प्रतिबिंब खोज से वस्तु वर्गीकरण कंप्यूटर दृष्टि का विशिष्ट कार्य है जिसमें यह निर्धारित करना सम्मिलित है कि किसी प्रतिबिंब में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं इस बात का ध्यान रखना आवश्यक होता हैं। इस विचारणीय मान्यता के अनुसार पहचान और पहचान से निकटता से संबंधित रहते हैं। उपस्थिति आधारित वस्तु वर्गीकरण में सामान्यतः सुविधा निष्कर्षण, 3 क्लासिफायर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना सम्मिलित है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदाहरण के लिए शेप एनालिसिस (डिजिटल ज्योमेट्री), वर्ड मॉडल्स के बैग, या लोकल डिस्क्रिप्टर जैसे स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म आदि से किया जाता हैं। सुपरवाइज्ड लर्निंग के उदाहरण हैं नेवी बायस्ड क्लासिफायर, समर्थन वेक्टर यंत्र , गॉसियन का मिश्रण और तंत्रिका नेटवर्क हैं। चूंकि अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और प्रतिबिंबों में उनके स्थान को अनियंत्रित शिक्षा में भी खोजा जा सकता है।[11]

वस्तु वर्गीकरण के लिए यथास्थिति

प्रतिबिंबों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, मुख्य रूप से जब श्रेणियों की संख्या अधिक होती हैं। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ अधिक भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, स्केलिंग (ज्यामिति), और इल्युमिनेशन (प्रतिबिंब) के अनुसार जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी कठिनाईयाँ जोड़ते हैं।[12] मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश वर्तमान वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदाहरण के लिए चेहरा, कार, साधारण वस्तुएं इत्यादि।[13] अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और चूंकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)[14]) विकसित किया गया है। इसका मुख्य तरीका फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग है ।

बाइनरी वर्गीकरण के लिए बूस्टिंग

ऐडाबूस्ट का उपयोग चेहरे की पहचान के लिए द्विआधारी वर्गीकरण के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां फेसेस तथा बैग ग्राउंड के परस्पर हैं। सामान्य एल्गोरिथ्म इस प्रकार है:

  1. सरल सुविधाओं का बड़ा समुच्चय तैयार करें
  2. प्रशिक्षण प्रतिबिंबों के लिए भार आरंभ करें
  3. टी राउंड के लिए
    1. वजन सामान्य करें
    2. समुच्चय से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
    3. न्यूनतम त्रुटि वाला क्लासिफायर चुनें
    4. प्रशिक्षण प्रतिबिंबों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
  4. टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक अधिक होता हैं।)

बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायर के अनुसार 95% पहचान दर पर टाइप I और टाइप II त्रुटियां प्राप्त कर सकता है ।[15]

बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाती है।[16] चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला कार्य है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क या वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।

बहु-श्रेणी वर्गीकरण के लिए बूस्टिंग

बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की खोज करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं के समान अधिक सामान्य फेसेस को प्राप्त करने में उपयोग हो जाते हैं। सीखने के समय, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जाता हैं। इस प्रकार अलग से प्रशिक्षण की तुलना में यह सामान्यीकरण उत्तम है, इस प्रकार कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।

एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाता हैं। प्रत्येक पुनरावृत्ति के समय एल्गोरिद्म एकल विशेषता का क्लासिफायर चुनता है, ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाता हैं। यह बहु-श्रेणी वर्गीकरण को बाइनरी श्रेणियों का समुच्चय के अतिरिक्त स्थितियों में परिवर्तित करके किया जा सकता है,[17] या उन श्रेणियों से पेनल्टी त्रुटि प्रारंभ करके जिनमें क्लासिफायर की सुविधा नहीं है।[18]

पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना ए. टोराल्बा एट अल द्वारा बताया गया था। ए. टोराल्बा एट अल ने बूस्टिंग के लिए जेंटलबूस्ट का उपयोग किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत उत्तम कार्य करता है। इसके अतिरिक्त, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, अर्ताथ रैखिक विकास से धीमी होती है। गैर-साझाकरण स्थिति के लिए इसी प्रकार के परिणाम दृश्य के अनुसार इसी आकार की वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए ऐडाबूस्ट का उपयोग किया जाता हैं।

उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम

बूस्टिंग एल्गोरिदम उत्तल अनुकूलन या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। ऐडाबूस्ट और लाॅजिट बूस्ट जैसे उत्तल एल्गोरिदम को यादृच्छिक ध्वनि से पराजित किया जाता है जैसे कि वे कमजोर परिकल्पनाओं के मौलिक और सीखने योग्य संयोजनों को नहीं सीख सकते हैं।[19][20] इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। चूंकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देने के लिए किया जाता है, जैसे कि ब्राउनबॉस्ट, ध्वनि डेटासमुच्चय से सीख सकते हैं और विशेष रूप से लॉन्ग के अंतर्निहित क्लासिफायर को सीख सकते हैं। सेर्वडियो डेटासमुच्चय इसका मुख्य उदाहरण हैं।

यह भी देखें

कार्यान्वयन

scikit-सीखें, पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी

  • ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल Orange.ensemble
  • Weka (मशीन लर्निंग) टूल का वेका (मशीन लर्निंग) समुच्चय है जो ऐडाबूस्ट और लाॅजिट बूस्ट जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
  • R (प्रोग्रामिंग लैंग्वेज) पैकेज GBM (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के ऐडाबूस्ट एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
  • jboost; ऐडाबूस्ट, लाॅजिट बूस्ट, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
  • आर पैकेज adabag: मल्टीक्लास ऐडाबूस्ट.M1, ऐडाबूस्ट-SAMME और बैगिंग लागू करता है
  • आर पैकेज xgboost: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।

टिप्पणियाँ

  1. ↑ Some boosting-based classification algorithms actually decrease the weight of repeatedly misclassified examples; for example boost by majority and BrownBoost.

संदर्भ

  1. ↑ Leo Breiman (1996). "BIAS, VARIANCE, और आर्किंग क्लासिफायर" (PDF). TECHNICAL REPORT. Archived from the original (PDF) on 2015-01-19. Retrieved 19 January 2015. Arcing [Boosting] is more successful than bagging in variance reduction
  2. ↑ Zhou Zhi-Hua (2012). Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. p. 23. ISBN 978-1439830031. The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners
  3. ↑ 3.0 3.1 Michael Kearns(1988); Thoughts on Hypothesis Boosting, Unpublished manuscript (Machine Learning class project, December 1988)
  4. ↑ Michael Kearns; Leslie Valiant (1989). बूलियन फ़ार्मुलों और परिमित ऑटोमेटा सीखने पर क्रिप्टोग्राफ़िक सीमाएँ. pp. 433–444. doi:10.1145/73007.73049. ISBN 978-0897913072. S2CID 536357. {{cite book}}: |journal= ignored (help)
  5. ↑ 5.0 5.1 Schapire, Robert E. (1990). "कमजोर सीखने की क्षमता की ताकत" (PDF). Machine Learning. 5 (2): 197–227. CiteSeerX 10.1.1.20.723. doi:10.1007/bf00116037. S2CID 53304535. Archived from the original (PDF) on 2012-10-10. Retrieved 2012-08-23.
  6. ↑ Leo Breiman (1998). "आर्किंग क्लासिफायरियर (लेखक द्वारा चर्चा और एक प्रत्युत्तर के साथ)". Ann. Stat. 26 (3): 801–849. doi:10.1214/aos/1024691079. Schapire (1990) proved that boosting is possible. (Page 823)
  7. ↑ Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, Journal of Computer and System Sciences, 55(1):119-139
  8. ↑ Leo Breiman (1998); Arcing Classifier (with Discussion and a Rejoinder by the Author), Annals of Statistics, vol. 26, no. 3, pp. 801-849: "The concept of weak learning was introduced by Kearns and Valiant (1988, 1989), who left open the question of whether weak and strong learnability are equivalent. The question was termed the boosting problem since [a solution must] boost the low accuracy of a weak learner to the high accuracy of a strong learner. Schapire (1990) proved that boosting is possible. A boosting algorithm is a method that takes a weak learner and converts it into a strong learner. Freund and Schapire (1997) proved that an algorithm similar to arc-fs is boosting.
  9. ↑ 9.0 9.1 9.2 Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); Boosting Algorithms as Gradient Descent, in S. A. Solla, T. K. Leen, and K.-R. Muller, editors, Advances in Neural Information Processing Systems 12, pp. 512-518, MIT Press
  10. ↑ Emer, Eric. "बूस्टिंग (AdaBoost एल्गोरिथम)" (PDF). MIT. Archived (PDF) from the original on 2022-10-09. Retrieved 2018-10-10.
  11. ↑ Sivic, Russell, Efros, Freeman & Zisserman, "Discovering objects and their location in images", ICCV 2005
  12. ↑ A. Opelt, A. Pinz, et al., "Generic Object Recognition with Boosting", IEEE Transactions on PAMI 2006
  13. ↑ M. Marszalek, "Semantic Hierarchies for Visual Object Recognition", 2007
  14. ↑ "बड़े पैमाने पर दृश्य पहचान चुनौती". December 2017.
  15. ↑ P. Viola, M. Jones, "Robust Real-time Object Detection", 2001
  16. ↑ Viola, P.; Jones, M.; Snow, D. (2003). गति और रूप-रंग के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाना (PDF). ICCV. Archived (PDF) from the original on 2022-10-09.
  17. ↑ A. Torralba, K. P. Murphy, et al., "Sharing visual features for multiclass and multiview object detection", IEEE Transactions on PAMI 2006
  18. ↑ A. Opelt, et al., "Incremental learning of object detectors using a visual shape alphabet", CVPR 2006
  19. ↑ P. Long and R. Servedio. 25th International Conference on Machine Learning (ICML), 2008, pp. 608--615.
  20. ↑ Long, Philip M.; Servedio, Rocco A. (March 2010). "यादृच्छिक वर्गीकरण शोर सभी उत्तल संभावित बूस्टर को हरा देता है" (PDF). Machine Learning. 78 (3): 287–304. doi:10.1007/s10994-009-5165-z. S2CID 53861. Archived (PDF) from the original on 2022-10-09. Retrieved 2015-11-17.

अग्रिम पठन

बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=बूस्टिंग_(मशीन_लर्निंग)&oldid=135111’