इलास्टिक नेट नियमितीकरण

सांख्यिकी में और, विशेष रूप से, रैखिक या तार्किक प्रतिगमन (लॉजिस्टिक रिग्रेशन) मॉडल की अन्वायोजन (फिटिंग) में, इलास्टिक नेट एक नियमित प्रतिगमन विधि है जो लैस्सो और रिज विधियों के L₁ और L₂ पैनल्टीज़ को रैखिक रूप से युग्मित करती है।

विनिर्देश

इलास्टिक नेट विधि एलएएसएसओ (निम्नतम निरपेक्ष संकुचन और संकलन (सलेक्शन) ऑपरेटर) विधि की सीमाओं को पार कर जाती है जो पैनेल्टी फलन का उपयोग करती है

$\|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.$

इस पैनेल्टी फलन के उपयोग की कई सीमाएँ हैं। उदाहरण के लिए, "बड़े p, छोटे n" की स्थितियों में (कुछ उदाहरणों के साथ उच्च-विमीय डेटा), एलएएसओ संतृप्त होने से पहले अधिकतम n चर का चयन करता है। इसके अतिरिक्त यदि अत्यधिक सहसंबंधित चरों का एक समूह होता है, तो एलएएसएसओ एक समूह से एक चर का चयन करता है और दूसरों को उपेक्षित कर दिया जाता है। इन सीमाओं को दूर करने के लिए, इलास्टिक नेट पैनल्टी में एक द्विघात भाग ($\|\beta \|^{2}$) जोड़ता है, जिसे अकेले उपयोग करने पर रिज प्रतिगमन (जिसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है) होता है। इलास्टिक नेट विधि से अनुमान परिभाषित किए गए हैं

${\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).$

द्विघात पैनल्टी शब्द हानि फलन को दृढ़ता से कॉन्वेक्स बनाता है, और इसलिए इसमें एक अद्वितीय न्यूनतम होता है। इलास्टिक नेट विधि में एलएएसएसओ और रिज प्रतिगमन सम्मिलित हैं: दूसरे शब्दों में, उनमें से प्रत्येक एक विशेष स्थिति है जहां $\lambda _{1}=\lambda ,\lambda _{2}=0$ या $\lambda _{1}=0,\lambda _{2}=\lambda$ होता है। इस बीच, इलास्टिक नेट विधि का सरल संस्करण दो-चरणीय प्रक्रिया में एक अनुमानक प्राप्त करता है : पहले प्रत्येक निश्चित $\lambda _{2}$ के लिए यह रिज प्रतिगमन गुणांक प्राप्त करता है , और फिर एक एलएएसएसओ प्रकार का संकोचन करता है। इस प्रकार के अनुमान में दोगुनी मात्रा में संकोचन होता है, जिससे पूर्वाग्रह बढ़ जाता है और पूर्वानुमान खराब हो जाते हैं। पूर्वानुमान प्रदर्शन में सुधार करने के लिए, कभी-कभी अनुमानित गुणांक को $(1+\lambda _{2})$ से गुणा करके इलास्टिक नेट के अनुभवहीन संस्करण के गुणांक को फिर से बढ़ाया जाता है।

जहां इलास्टिक नेट विधि लागू की गई है, उसके उदाहरण हैं:

• सपोर्ट वेक्टर मशीन
• मैट्रिक लर्निंग
• पोर्टफोलियो अनुकूलन
• कैंसर का पूर्वानुमान

सपोर्ट वेक्टर मशीन में अवकरण

2014 के अंत में, यह प्रमाणित हुआ कि इलास्टिक नेट को रैखिक सपोर्ट वेक्टर मशीन में कम किया जा सकता है। इसी तरह का अवकरण पहले 2014 में एलएएसएसओ के लिए सिद्ध हुआ था। लेखकों ने दिखाया कि इलास्टिक नेट के प्रत्येक उदाहरण के लिए, एक कृत्रिम बाइनरी वर्गीकरण समस्या का निर्माण इस तरह किया जा सकता है कि एक रैखिक सपोर्ट वेक्टर मशीन (एसवीएम) का हाइपर-प्लेन सॉल्यूशन समाधान $\beta$ (पुनः स्केलिंग के बाद) के समान है। अवकरण शीघ्रता से इलास्टिक नेट समस्याओं के लिए अत्यधिक अनुकूलित एसवीएम सॉल्वरों के उपयोग को सक्षम बनाती है। यह जीपीयु त्वरण के उपयोग को भी सक्षम बनाता है, जिसका उपयोग अक्सर बड़े पैमाने पर एसवीएम सॉल्वर के लिए किया जाता है। कमी मूल डेटा और नियमितीकरण स्थिरांक का एक साधारण परिवर्तन है

$X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0$

नए कृत्रिम डेटा उदाहरणों और एक नियमितीकरण स्थिरांक में जो एक बाइनरी वर्गीकरण समस्या और एसवीएम नियमितीकरण स्थिरांक को निर्दिष्ट करता है

$X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.$

यहाँ, $y_{2}$ में बाइनरी लेबल ${-1,1}$ सम्मिलित हैं। जब $2p>n$ होता है तो प्रारंभिक में रैखिक एसवीएम को हल करना सामान्यतः तीव्र होता है, जबकि अन्यथा द्वैध सूत्रीकरण तीव्र होता है। कुछ लेखकों ने परिवर्तन को सपोर्ट वेक्टर इलास्टिक नेट (एसवीईएन) के रूप में संदर्भित किया है, और निम्नलिखित एमएटीएलएबी छद्म कोड प्रदान किया है:

function β=SVEN(X, y, t, λ2);
    [n,p] = size(X); 
    X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)]’;
    Y2 = [ones(p,1);-ones(p,1)];
    if 2p > n then 
        w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
        α = C * max(1-Y2.*(X2*w), 0); 
    else
        α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
    end if
    β = t * (α(1:p) - α(p+1:2p)) / sum(α);

सॉफ्टवेयर

• "ग्लमनेट: लैस्सो और इलास्टिक-नेट नियमितीकृत सामान्यीकृत रैखिक मॉडल" एक सॉफ्टवेयर है जिसे आर स्रोत पैकेज और एमएटीएलएबी टूलबॉक्स के रूप में कार्यान्वित किया जाता है। इसमें ℓ₁ (लासो), ℓ₂ (रिज प्रतिगमन) और चक्रीय समन्वय वंश का उपयोग करके दो पैनल्टीज़ (इलास्टिक नेट) के मिश्रण के साथ सामान्यीकृत रैखिक मॉडल के अनुमान के लिए तीव्र एल्गोरिदम सम्मिलित हैं, जो नियमितीकरण पथ के साथ गणना की जाती है।
• जेएमपी प्रो 11 में फिट मॉडल के साथ सामान्यीकृत प्रतिगमन व्यक्तित्व का उपयोग करते हुए इलास्टिक नेट नियमितीकरण सम्मिलित है।
• "पेंसिम: उच्च-विमीय डेटा का सिमुलेशन और समानांतर बार-बार पैनल्टीज़ित प्रतिगमन" ℓ मापपैनल्टीज़ों की एक वैकल्पिक, समानांतर "2D" ट्यूनिंग विधि लागू करता है, एक विधि जिसके परिणामस्वरूप भविष्यवाणी यथार्थता में सुधार होने का दावा किया गया है।
• स्किकिट-लर्न में इलास्टिक नेट नियमितीकरण के साथ रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन और रैखिक सपोर्ट वेक्टर मशीनें सम्मिलित हैं।
• एसवीईएन, सपोर्ट वेक्टर इलास्टिक नेट का मैटलैब कार्यान्वयन। यह सॉल्वर इलास्टिक नेट समस्या को एसवीएम बाइनरी वर्गीकरण के एक उदाहरण में कम कर देता है और समाधान ढूंढने के लिए मैटलैब एसवीएम सॉल्वर का उपयोग करता है। क्योंकि एसवीएम आसानी से समानांतर करने योग्य है, कोड आधुनिक हार्डवेयर पर जीएलएमनेट से तीव्र हो सकता है।
• एसपीएएसएम, विरल प्रतिगमन, वर्गीकरण और प्रमुख घटक विश्लेषण का एक मैटलैब कार्यान्वयन, जिसमें इलास्टिक नेट नियमितीकृत प्रतिगमन भी सम्मिलित है।
• अपाचे स्पार्क अपनी एमएलआईआईबी मशीन लर्निंग लाइब्रेरी में इलास्टिक नेट प्रतिगमन के लिए समर्थन प्रदान करता है। यह विधि अधिक सामान्य रेखीयप्रतिगमन वर्ग के पैरामीटर के रूप में उपलब्ध है।
• एसएएस (सॉफ्टवेयर) जीएलएमएसएएस प्रक्रिया सलेक्ट और एसएएस विया प्रक्रिया रेगसेलेक्ट मॉडल चयन के लिए इलास्टिक नेट नियमितीकरण के उपयोग का समर्थन करते हैं।

अग्रिम पठन

• Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2017). "Shrinkage Methods" (PDF). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd ed.). New York: Springer. pp. 61–79. ISBN 978-0-387-84857-0.

बाहरी संबंध

• Regularization and Variable Selection via the Elastic Net (presentation)