बूस्टिंग (मशीन लर्निंग)

यंत्र अधिगम में, बूस्टिंग मुख्य रूप से सुपरवाइज्ड लर्निंग बायस वैरियंस ट्रेड ऑफ़ और परिवर्तन को कम करने के लिए लर्निंग को एकत्रित करके मेटा-एल्गोरिथ्म का उपयोग करता हैं पर्यवेक्षित शिक्षा और मशीन लर्निंग एल्गोरिदम का समूह जो कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित करता है। बूस्टिंग माइकल किर्न्स जो कि कंप्यूटर वैज्ञानिक हैं। किर्न्स और वैलियंट (1988, 1989) द्वारा पूछे गए प्रश्न पर आधारित है। क्या कमजोर शिक्षार्थियों का समूह स्ट्रांग लर्नर बना सकता है? इस प्रकार वीक लर्नर को वर्गीकरण (मशीन लर्निंग) के रूप में परिभाषित किया गया है जो केवल सही वर्गीकरण से सहसंबद्ध है, यह यादृच्छिक अनुमान लगाने से उत्तम उदाहरणों को लेबल कर सकता है। इसके विपरीत स्ट्रांग लर्नर क्लासिफायर होता है जो इस वर्गीकरण के साथ अच्छी तरह से जुड़ा होता है।

1990 के पेपर में रॉबर्ट शेपर का धनात्मक उत्तर किर्न्स और वैलेंटाइन के प्रश्न पर मशीन लर्निंग और सांख्यिकी में महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बूस्टिंग के विकास के लिए इसे अग्रसर किया जाता हैं। जब पहली बार इसे प्रस्तुत किया गया, तो परिकल्पना को बढ़ावा देने वाली समस्या को केवल वीक लर्नर को स्ट्रांग लर्नर में परिवर्तित करने की प्रक्रिया के रूप में संदर्भित किया गया था। इस प्रकार अनौपचारिक रूप से परिकल्पना को बढ़ावा देने वाली समस्या बताती हैं कि क्या कुशल शिक्षण एल्गोरिद्म जो ऐसी परिकल्पना का उत्पादन करती है जिसका प्रदर्शन यादृच्छिक अनुमान से थोड़ा ही उत्तम होता है। वीक लर्नर यहाँ पर तात्पर्य कुशल एल्गोरिथ्म के अस्तित्व से है जो अपनी सटीकता की परिकल्पना का उत्पादन करती है। इस प्रकार स्ट्रांग लर्नर के लिए एल्गोरिदम जो परिकल्पना को तेजी से प्राप्त करते हैं, उन्हें केवल बढ़ावा देने के रूप में जाना जाता है। फ्रायंड और शैपियर का आर्किंग की सामान्य तकनीक के रूप में, कमोबेश बूस्टिंग का पर्याय माना जाता है।

बूस्टिंग एल्गोरिदम

जबकि बूस्टिंग एल्गोरिथम रूप से विवश नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में वितरण के संबंध में कमजोर क्लासिफायर को पुनरावृत्त रूप से सीखना और उन्हें अंतिम मजबूत क्लासिफायर में जोड़ना सम्मिलित है। जब उन्हें जोड़ा जाता है, तो उन्हें इस तरह से भार मापा जाता है जो कमजोर शिक्षार्थियों की सटीकता से संबंधित होता है। वीक लर्नर को जोड़ने के बाद, डेटा वेट को फिर से समायोजित किया जाता है, जिसे पुनः भार के रूप में जाना जाता है। इस प्रकार गलत वर्गीकृत इनपुट डेटा उच्च वजन प्राप्त करता है और सही ढंग से वर्गीकृत किए गए उदाहरण वजन कम करते हैं। इस प्रकार, भविष्य के वीक लर्नर उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।

समांतर शिक्षार्थियों और भारित डेटासमुच्चय से मिलकर, बूस्टिंग एल्गोरिदम के पीछे अंतर्ज्ञान प्रस्तुत करने वाला उदाहरण

कई बूस्टिंग एल्गोरिदम हैं। मूल वाले, रॉबर्ट शापायर द्वारा प्रस्तावित पुनरावर्तन कंप्यूटर विज्ञान के गेट फॉर्मूलेशनऔर योव फ्रायंड को बहुमत से बढ़ावा दिया जाता है। इस कारण यह अनुकूली एल्गोरिदम के रूप में उपयोग नहीं किये जाते थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते हैं। शापायर और फ्रायंड ने तब ऐडाबूस्ट ने विकसित किया था, जो अनुकूली बूस्टिंग एल्गोरिथम के रूप में उपयोग किया जाता है जिसने प्रतिष्ठित गोडेल पुरस्कार जीता था।

केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रों में सिद्ध करने योग्य बूस्टिंग एल्गोरिदम का उपयोग होता हैं, उन्हें पूर्ण रूप से बूस्टिंग एल्गोरिदम कहा जाता है। इस प्रकार अन्य एल्गोरिदम जिसमें बूस्टिंग एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, चूंकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है।

कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और परिकल्पना को भारित करने की उनकी विधि है। ऐडाबूस्ट बहुत लोकप्रिय है और ऐतिहासिक रूप से सबसे महत्वपूर्ण है क्योंकि यह पहला एल्गोरिथम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था। यह अधिकांशतः विश्वविद्यालय मशीन लर्निंग कोर्स में बूस्टिंग के प्रारंभिक कवरेज का आधार होता है। एलपीबूस्ट, टोटलबॉस्ट, ब्राउन बूस्ट, एक्सगबॉस्ट, मैडाबूस्ट, लाॅजिट बूस्ट और अन्य जैसे कई और एल्गोरिदम का उपयोग करता हैं। कई बूस्टिंग एल्गोरिदम ऐनी बूस्ट फ्रेमवर्क में फिट हो जीती हैं, जो दर्शाता है कि उत्तल लागत फ़ंक्शन का उपयोग करके फलन क्षेत्र में ग्रेडिएंट डिसेंट को बढ़ावा देता है।

कंप्यूटर दृष्टि में वस्तु वर्गीकरण

Main article: छवि खोज से वस्तु वर्गीकरण

विश्व में विभिन्न ज्ञात वस्तुओं वाली प्रतिबिंबों को देखते हुए, भविष्य की प्रतिबिंबों में वस्तुओं को स्वचालित रूप से सांख्यिकीय वर्गीकरण करने के लिए उनसे क्लासिफायर सीखा जा सकता है। ऑब्जेक्ट के कुछ फ़ीचर (कंप्यूटर विज़न) के आधार पर बनाए गए साधारण क्लासिफायर वर्गीकरण प्रदर्शन में कमजोर होते हैं। ऑब्जेक्ट वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग करना, वर्गीकरण की समग्र क्षमता को बढ़ावा देने के लिए कमजोर क्लासिफायर को विशेष तरीके से एकजुट करने की विधि है।

वस्तु वर्गीकरण की समस्या

प्रतिबिंब खोज से वस्तु वर्गीकरण कंप्यूटर दृष्टि का विशिष्ट कार्य है जिसमें यह निर्धारित करना सम्मिलित है कि किसी प्रतिबिंब में वस्तु की कुछ विशिष्ट श्रेणी है या नहीं इस बात का ध्यान रखना आवश्यक होता हैं। इस विचारणीय मान्यता के अनुसार पहचान और पहचान से निकटता से संबंधित रहते हैं। उपस्थिति आधारित वस्तु वर्गीकरण में सामान्यतः सुविधा निष्कर्षण, 3 क्लासिफायर (गणित) सीखना, और क्लासिफायर को नए उदाहरणों में लागू करना सम्मिलित है। वस्तुओं की श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, उदाहरण के लिए शेप एनालिसिस (डिजिटल ज्योमेट्री), वर्ड मॉडल्स के बैग, या लोकल डिस्क्रिप्टर जैसे स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म आदि से किया जाता हैं। सुपरवाइज्ड लर्निंग के उदाहरण हैं नेवी बायस्ड क्लासिफायर, समर्थन वेक्टर यंत्र , गॉसियन का मिश्रण और तंत्रिका नेटवर्क हैं। चूंकि अनुसंधान ने दिखाया है कि ऑब्जेक्ट कैटेगरी और प्रतिबिंबों में उनके स्थान को अनियंत्रित शिक्षा में भी खोजा जा सकता है।

वस्तु वर्गीकरण के लिए यथास्थिति

प्रतिबिंबों में वस्तु श्रेणियों की पहचान कंप्यूटर दृष्टि में चुनौतीपूर्ण समस्या है, मुख्य रूप से जब श्रेणियों की संख्या अधिक होती हैं। यह उच्च इंट्रा क्लास परिवर्तनशीलता और ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। श्रेणी के भीतर वस्तुएँ अधिक भिन्न दिख सकती हैं। यहां तक ​​कि ही वस्तु अलग-अलग दृष्टिकोण, स्केलिंग (ज्यामिति), और इल्युमिनेशन (प्रतिबिंब) के अनुसार जैसी दिखाई दे सकती है। पृष्ठभूमि अव्यवस्था और आंशिक रोड़ा पहचान में भी कठिनाईयाँ जोड़ते हैं। मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश वर्तमान वस्तु पहचान प्रणालियों को केवल कुछ ही पहचानने के लिए प्रशिक्षित किया जाता है, उदाहरण के लिए चेहरा, कार, साधारण वस्तुएं इत्यादि। अनुसंधान अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील परिवर्धन को सक्षम करने पर बहुत सक्रिय रहा है, और चूंकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी ऑब्जेक्ट डिटेक्टर (सैकड़ों या हजारों श्रेणियों के लिए)) विकसित किया गया है। इसका मुख्य तरीका फीचर (कंप्यूटर विजन) शेयरिंग और बूस्टिंग है ।

बाइनरी वर्गीकरण के लिए बूस्टिंग

ऐडाबूस्ट का उपयोग चेहरे की पहचान के लिए द्विआधारी वर्गीकरण के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां फेसेस तथा बैग ग्राउंड के परस्पर हैं। सामान्य एल्गोरिथ्म इस प्रकार है:

1. सरल सुविधाओं का बड़ा समुच्चय तैयार करें
2. प्रशिक्षण प्रतिबिंबों के लिए भार आरंभ करें
3. टी राउंड के लिए
   1. वजन सामान्य करें
   2. समुच्चय से उपलब्ध सुविधाओं के लिए, एकल सुविधा का उपयोग करके क्लासिफायर को प्रशिक्षित करें और प्रशिक्षण त्रुटि का मूल्यांकन करें
   3. न्यूनतम त्रुटि वाला क्लासिफायर चुनें
   4. प्रशिक्षण प्रतिबिंबों के वजन को अपडेट करें: यदि इस क्लासिफायर द्वारा गलत तरीके से वर्गीकृत किया गया है तो वृद्धि करें, यदि सही ढंग से घटाएं
4. टी क्लासिफायर के रैखिक संयोजन के रूप में अंतिम मजबूत क्लासिफायर (प्रशिक्षण त्रुटि छोटी होने पर गुणांक अधिक होता हैं।)

बूस्टिंग के बाद, 200 विशेषताओं से निर्मित क्लासिफायर के अनुसार 95% पहचान दर पर $10^{-5}$ टाइप I और टाइप II त्रुटियां प्राप्त कर सकता है ।

बाइनरी वर्गीकरण के लिए बूस्टिंग का अन्य अनुप्रयोग ऐसी प्रणाली है जो गति और उपस्थिति के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाती है। चलने वाले व्यक्ति का पता लगाने के लिए सुविधाओं के रूप में गति की जानकारी और उपस्थिति की जानकारी दोनों को संयोजित करने वाला यह पहला कार्य है। यह वायोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क या वियोला-जोन्स ऑब्जेक्ट डिटेक्शन फ्रेमवर्क के समान दृष्टिकोण लेता है।

बहु-श्रेणी वर्गीकरण के लिए बूस्टिंग

बाइनरी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण सामान्य सुविधाओं की खोज करता है जिन्हें ही समय में श्रेणियों में साझा किया जा सकता है। वे सुविधाओं के समान अधिक सामान्य फेसेस को प्राप्त करने में उपयोग हो जाते हैं। सीखने के समय, प्रत्येक श्रेणी के डिटेक्टरों को संयुक्त रूप से प्रशिक्षित किया जाता हैं। इस प्रकार अलग से प्रशिक्षण की तुलना में यह सामान्यीकरण उत्तम है, इस प्रकार कम प्रशिक्षण डेटा की आवश्यकता होती है, और समान प्रदर्शन प्राप्त करने के लिए कम सुविधाओं की आवश्यकता होती है।

एल्गोरिथ्म का मुख्य प्रवाह बाइनरी केस के समान है। जो अलग है वह यह है कि संयुक्त प्रशिक्षण त्रुटि का उपाय अग्रिम रूप से परिभाषित किया जाता हैं। प्रत्येक पुनरावृत्ति के समय एल्गोरिद्म एकल विशेषता का क्लासिफायर चुनता है, ऐसी विशेषताएं जिन्हें अधिक श्रेणियों द्वारा साझा किया जा सकता है उन्हें प्रोत्साहित किया जाता हैं। यह बहु-श्रेणी वर्गीकरण को बाइनरी श्रेणियों का समुच्चय के अतिरिक्त स्थितियों में परिवर्तित करके किया जा सकता है, या उन श्रेणियों से पेनल्टी त्रुटि प्रारंभ करके जिनमें क्लासिफायर की सुविधा नहीं है।

पेपर में मल्टीक्लास और मल्टीव्यू ऑब्जेक्ट डिटेक्शन के लिए दृश्य सुविधाओं को साझा करना ए. टोराल्बा एट अल द्वारा बताया गया था। ए. टोराल्बा एट अल ने बूस्टिंग के लिए जेंटलबूस्ट का उपयोग किया और दिखाया कि जब प्रशिक्षण डेटा सीमित होता है, तो समान बूस्टिंग राउंड दिए जाने पर साझाकरण सुविधाओं के माध्यम से सीखना साझाकरण की तुलना में बहुत उत्तम कार्य करता है। इसके अतिरिक्त, किसी दिए गए प्रदर्शन स्तर के लिए, फीचर शेयरिंग डिटेक्टरों के लिए आवश्यक सुविधाओं की कुल संख्या (और इसलिए क्लासिफायर की रन टाइम लागत), कक्षा की संख्या के साथ लगभग लॉगरिदमिक रूप से स्केल करने के लिए देखी जाती है, अर्ताथ रैखिक विकास से धीमी होती है। गैर-साझाकरण स्थिति के लिए इसी प्रकार के परिणाम दृश्य के अनुसार इसी आकार की वर्णमाला का उपयोग करके ऑब्जेक्ट डिटेक्टरों के इंक्रीमेंटल लर्निंग पेपर में दिखाए गए हैं, फिर भी लेखकों ने बूस्टिंग के लिए ऐडाबूस्ट का उपयोग किया जाता हैं।

उत्तल बनाम गैर-उत्तल बूस्टिंग एल्गोरिदम

बूस्टिंग एल्गोरिदम उत्तल अनुकूलन या गैर-उत्तल अनुकूलन एल्गोरिदम पर आधारित हो सकते हैं। ऐडाबूस्ट और लाॅजिट बूस्ट जैसे उत्तल एल्गोरिदम को यादृच्छिक ध्वनि से पराजित किया जाता है जैसे कि वे कमजोर परिकल्पनाओं के मौलिक और सीखने योग्य संयोजनों को नहीं सीख सकते हैं। इस सीमा को 2008 में लॉन्ग एंड सर्वेडियो द्वारा इंगित किया गया था। चूंकि, 2009 तक, कई लेखकों ने प्रदर्शित किया कि गैर-उत्तल अनुकूलन पर आधारित एल्गोरिदम को बढ़ावा देने के लिए किया जाता है, जैसे कि ब्राउनबॉस्ट, ध्वनि डेटासमुच्चय से सीख सकते हैं और विशेष रूप से लॉन्ग के अंतर्निहित क्लासिफायर को सीख सकते हैं। सेर्वडियो डेटासमुच्चय इसका मुख्य उदाहरण हैं।

यह भी देखें

• ऐडाबूस्ट
• भिन्न फाॅरेस्ट
• वैकल्पिक निर्णय ट्री
• बूटस्ट्रैप एकत्रीकरण (बैगिंग)
• कैस्केडिंग क्लासिफायरियर
• ब्राउन बूस्ट
• कोबूस्टिंग
• एलपी बूस्ट
• संभार तन्त्र परावर्तन
• अधिकतम एन्ट्रापी का सिद्धांत
• तंत्रिका - तंत्र
• समर्थन वेक्टर मशीन
• ग्रेडिएंट बूस्टिंग
• मार्जिन वर्गीकारक
• क्रॉस-वैलिडेशन (सांख्यिकी) या क्रॉस-वैलिडेशन
• यंत्र अधिगम
• मशीन लर्निंग रिसर्च के लिए डेटासेट की सूची

कार्यान्वयन

scikit-सीखें, पायथन (प्रोग्रामिंग लैंग्वेज) के लिए ओपन सोर्स मशीन लर्निंग लाइब्रेरी

• ऑरेंज (सॉफ्टवेयर), मुफ्त डाटा माइनिंग सॉफ्टवेयर सूट, मॉड्यूल Orange.ensemble
• Weka (मशीन लर्निंग) टूल का वेका (मशीन लर्निंग) समुच्चय है जो ऐडाबूस्ट और लाॅजिट बूस्ट जैसे बूस्टिंग एल्गोरिदम के विविध कार्यान्वयन प्रदान करता है
• R (प्रोग्रामिंग लैंग्वेज) पैकेज GBM (सामान्यीकृत बूस्टेड रिग्रेशन मॉडल) फ्रायंड और शापायर के ऐडाबूस्ट एल्गोरिथम और फ्रीडमैन की ग्रेडिएंट बूस्टिंग मशीन के विस्तार को लागू करता है .
• jboost; ऐडाबूस्ट, लाॅजिट बूस्ट, RobustBoost, Boostexter और अल्टरनेटिंग डिसीजन ट्री
• आर पैकेज adabag: मल्टीक्लास ऐडाबूस्ट.M1, ऐडाबूस्ट-SAMME और बैगिंग लागू करता है
• आर पैकेज xgboost: लीनियर और ट्री-आधारित मॉडल के लिए ग्रेडिएंट बूस्टिंग का कार्यान्वयन।

अग्रिम पठन

• Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting, Journal of Computer and System Sciences, 55(1):119-139
• Robert E. Schapire and Yoram Singer (1999); Improved Boosting Algorithms Using Confidence-Rated Predictors, Machine Learning, 37(3):297-336

बाहरी संबंध

• Robert E. Schapire (2003); The Boosting Approach to Machine Learning: An Overview, MSRI (Mathematical Sciences Research Institute) Workshop on Nonlinear Estimation and Classification
• Zhou Zhi-Hua (2014) Boosting 25 years, CCL 2014 Keynote.
• Zhou, Zhihua (2008). "On the margin explanation of boosting algorithm" (PDF). In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08): 479–490.
• Zhou, Zhihua (2013). "On the doubt about margin explanation of boosting" (PDF). Artificial Intelligence. 203: 1–18. arXiv:1009.3613. doi:10.1016/j.artint.2013.07.002. S2CID 2828847.