इलास्टिक नेट नियमितीकरण

आंकड़ों में और, विशेष रूप से, रैखिक या लॉजिस्टिक प्रतिगमन मॉडल की फिटिंग में, इलास्टिक नेट एक नियमित प्रतिगमन विधि है जो लैस्सो और रिज विधियों के एल 1 और एल 2 दंड को रैखिक रूप से जोड़ती है।

विनिर्देश

इलास्टिक नेट विधि LASSO (कम से कम निरपेक्ष संकोचन और चयन ऑपरेटर) विधि की सीमाओं को पार कर जाती है जो दंड फ़ंक्शन का उपयोग करती है

$\|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.$

इस दंड समारोह के उपयोग की कई सीमाएँ हैं। उदाहरण के लिए, "बड़े पी, छोटे एन" मामले में (कुछ उदाहरणों के साथ उच्च-आयामी डेटा), एलएएसओ संतृप्त होने से पहले अधिकतम एन चर का चयन करता है। इसके अलावा यदि अत्यधिक सहसंबंधित चरों का एक समूह है, तो LASSO एक समूह से एक चर का चयन करता है और दूसरों को अनदेखा कर देता है। इन सीमाओं को दूर करने के लिए, इलास्टिक नेट दंड में एक द्विघात भाग ($\|\beta \|^{2}$) जोड़ता है, जिसे अकेले उपयोग करने पर रिज रिग्रेशन (जिसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है) होता है। इलास्टिक नेट विधि से अनुमान परिभाषित किए गए हैं

${\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).$

द्विघात दंड शब्द हानि कार्य को दृढ़ता से उत्तल बनाता है, और इसलिए इसमें एक अद्वितीय न्यूनतम होता है। इलास्टिक नेट विधि में LASSO और रिज रिग्रेशन शामिल हैं: दूसरे शब्दों में, उनमें से प्रत्येक एक विशेष मामला है जहां $\lambda _{1}=\lambda ,\lambda _{2}=0$ या $\lambda _{1}=0,\lambda _{2}=\lambda$ है। इस बीच, इलास्टिक नेट विधि का सरल संस्करण दो-चरणीय प्रक्रिया में एक अनुमानक ढूंढता है: पहले प्रत्येक निश्चित $\lambda _{2}$ के लिए यह रिज रिग्रेशन गुणांक पाता है, और फिर एक LASSO प्रकार का संकोचन करता है। इस प्रकार के अनुमान में दोगुनी मात्रा में संकोचन होता है, जिससे पूर्वाग्रह बढ़ जाता है और पूर्वानुमान खराब हो जाते हैं। पूर्वानुमान प्रदर्शन में सुधार करने के लिए, कभी-कभी अनुमानित गुणांक को $(1+\lambda _{2})$ से गुणा करके इलास्टिक नेट के अनुभवहीन संस्करण के गुणांक को फिर से बढ़ाया जाता है।

जहां इलास्टिक नेट विधि लागू की गई है, उसके उदाहरण हैं:

• समर्थन वेक्टर यंत्र
• मैट्रिक लर्निंग
• पोर्टफोलियो अनुकूलन
• कैंसर का पूर्वानुमान

वेक्टर मशीन का समर्थन करने में कमी

2014 के अंत में, यह साबित हुआ कि इलास्टिक नेट को रैखिक समर्थन वेक्टर यंत्र में कम किया जा सकता है। इसी तरह की कमी पहले 2014 में LASSO के लिए सिद्ध हुई थी। लेखकों ने दिखाया कि इलास्टिक नेट के प्रत्येक उदाहरण के लिए, एक कृत्रिम बाइनरी वर्गीकरण समस्या का निर्माण इस तरह किया जा सकता है कि एक रैखिक समर्थन वेक्टर मशीन (एसवीएम) का हाइपर-प्लेन समाधान समाधान $\beta$ (पुनः स्केलिंग के बाद) के समान है। कटौती तुरंत इलास्टिक नेट समस्याओं के लिए अत्यधिक अनुकूलित एसवीएम सॉल्वरों के उपयोग को सक्षम बनाती है। यह GPU त्वरण के उपयोग को भी सक्षम बनाता है, जिसका उपयोग अक्सर बड़े पैमाने पर SVM सॉल्वर के लिए किया जाता है। कमी मूल डेटा और नियमितीकरण स्थिरांक का एक साधारण परिवर्तन है

$X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0$

नए कृत्रिम डेटा उदाहरणों और एक नियमितीकरण स्थिरांक में जो एक बाइनरी वर्गीकरण समस्या और एसवीएम नियमितीकरण स्थिरांक को निर्दिष्ट करता है

$X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.$

यहाँ, $y_{2}$ में बाइनरी लेबल ${-1,1}$ शामिल हैं। जब $2p>n$ होता है तो प्रारंभिक में रैखिक एसवीएम को हल करना आम तौर पर तेज़ होता है, जबकि अन्यथा दोहरी फॉर्मूलेशन तेज़ होती है। कुछ लेखकों ने परिवर्तन को सपोर्ट वेक्टर इलास्टिक नेट (SVEN) के रूप में संदर्भित किया है, और निम्नलिखित MATLAB छद्म कोड प्रदान किया है:

function β=SVEN(X, y, t, λ2);
    [n,p] = size(X); 
    X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)]’;
    Y2 = [ones(p,1);-ones(p,1)];
    if 2p > n then 
        w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
        α = C * max(1-Y2.*(X2*w), 0); 
    else
        α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
    end if
    β = t * (α(1:p) - α(p+1:2p)) / sum(α);

सॉफ्टवेयर

• "ग्लमनेट: लैस्सो और इलास्टिक-नेट नियमितीकृत सामान्यीकृत रैखिक मॉडल" एक सॉफ्टवेयर है जिसे आर स्रोत पैकेज और MATLAB टूलबॉक्स के रूप में कार्यान्वित किया जाता है। इसमें ℓ1 (लासो), ℓ2 (रिज रिग्रेशन) और चक्रीय समन्वय वंश का उपयोग करके दो दंड (इलास्टिक नेट) के मिश्रण के साथ सामान्यीकृत रैखिक मॉडल के अनुमान के लिए तेज़ एल्गोरिदम शामिल हैं, जो नियमितीकरण पथ के साथ गणना की जाती है।
• जेएमपी प्रो 11 में फिट मॉडल के साथ सामान्यीकृत रिग्रेशन व्यक्तित्व का उपयोग करते हुए इलास्टिक नेट नियमितीकरण शामिल है।
• "पेंसिम: उच्च-आयामी डेटा का सिमुलेशन और समानांतर बार-बार दंडित प्रतिगमन" ℓ मापदंडों की एक वैकल्पिक, समानांतर "2 डी" ट्यूनिंग विधि लागू करता है, एक विधि जिसके परिणामस्वरूप भविष्यवाणी सटीकता में सुधार होने का दावा किया गया है।
• स्किकिट-लर्न में इलास्टिक नेट नियमितीकरण के साथ रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन और रैखिक समर्थन वेक्टर मशीनें शामिल हैं।
• SVEN, सपोर्ट वेक्टर इलास्टिक नेट का मैटलैब कार्यान्वयन। यह सॉल्वर इलास्टिक नेट समस्या को एसवीएम बाइनरी वर्गीकरण के एक उदाहरण में कम कर देता है और समाधान ढूंढने के लिए मैटलैब एसवीएम सॉल्वर का उपयोग करता है। क्योंकि एसवीएम आसानी से समानांतर करने योग्य है, कोड आधुनिक हार्डवेयर पर Glmnet से तेज़ हो सकता है।
• SpaSM, विरल प्रतिगमन, वर्गीकरण और प्रमुख घटक विश्लेषण का एक मैटलैब कार्यान्वयन, जिसमें इलास्टिक नेट नियमितीकृत प्रतिगमन भी शामिल है।
• अपाचे स्पार्क अपनी MLlib मशीन लर्निंग लाइब्रेरी में इलास्टिक नेट रिग्रेशन के लिए समर्थन प्रदान करता है। यह विधि अधिक सामान्य LinearRegression वर्ग के पैरामीटर के रूप में उपलब्ध है।
• एसएएस (सॉफ्टवेयर) एसएएस प्रक्रिया Glmselect और SAS Via प्रक्रिया रेगसेलेक्ट मॉडल चयन के लिए इलास्टिक नेट नियमितीकरण के उपयोग का समर्थन करते हैं।

अग्रिम पठन

• Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2017). "Shrinkage Methods" (PDF). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd ed.). New York: Springer. pp. 61–79. ISBN 978-0-387-84857-0.

बाहरी संबंध

• Regularization and Variable Selection via the Elastic Net (presentation)