इलास्टिक नेट नियमितीकरण

आँकड़ों में और, विशेष रूप से, रैखिक प्रतिगमन या लॉजिस्टिक प्रतिगमन मॉडल की फिटिंग में, इलास्टिक नेट एक नियमितीकरण (गणित) प्रतिगमन विधि है जो टैक्सीकैब ज्यामिति को रैखिक रूप से जोड़ती है|एल₁और नॉर्म (गणित)#यूक्लिडियन नॉर्म|एल₂लैस्सो (सांख्यिकी) और तिखोनोव नियमितीकरण विधियों के दंड।

विनिर्देश

इलास्टिक नेट विधि लैस्सो (सांख्यिकी) (कम से कम पूर्ण संकोचन और चयन ऑपरेटर) विधि की सीमाओं को पार कर जाती है जो पेनल्टी फ़ंक्शन का उपयोग करती है

$\|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.$

इस दंड फ़ंक्शन के उपयोग की कई सीमाएँ हैं। उदाहरण के लिए, बड़े पी, छोटे एन मामले (कुछ उदाहरणों के साथ उच्च-आयामी डेटा) में, LASSO संतृप्त होने से पहले अधिकतम n चर का चयन करता है। इसके अलावा यदि अत्यधिक सहसंबद्ध चरों का एक समूह है, तो LASSO एक समूह से एक चर का चयन करता है और अन्य को अनदेखा कर देता है। इन सीमाओं को पार करने के लिए, इलास्टिक नेट एक द्विघात भाग जोड़ता है ($\|\beta \|^{2}$) दंड के लिए, जिसे अकेले इस्तेमाल करने पर रिज प्रतिगमन होता है (जिसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है)। इलास्टिक नेट विधि से अनुमानों को परिभाषित किया गया है

${\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).$

द्विघात दंड शब्द हानि फ़ंक्शन को दृढ़ता से उत्तल बनाता है, और इसलिए इसमें एक अद्वितीय न्यूनतम होता है। इलास्टिक नेट विधि में LASSO और रिज रिग्रेशन शामिल है: दूसरे शब्दों में, उनमें से प्रत्येक एक विशेष मामला है जहां $\lambda _{1}=\lambda ,\lambda _{2}=0$ या $\lambda _{1}=0,\lambda _{2}=\lambda$. इस बीच, इलास्टिक नेट विधि का सरल संस्करण दो-चरण की प्रक्रिया में एक अनुमानक ढूंढता है: प्रत्येक निश्चित के लिए पहला $\lambda _{2}$ यह रिज प्रतिगमन गुणांक पाता है, और फिर LASSO प्रकार का संकोचन करता है। इस प्रकार के अनुमान में दोगुनी मात्रा में संकुचन होता है, जिससे पूर्वाग्रह बढ़ जाता है और खराब भविष्यवाणियां होती हैं। भविष्यवाणी प्रदर्शन में सुधार करने के लिए, कभी-कभी अनुमानित गुणांक को गुणा करके लोचदार नेट के अनुभवहीन संस्करण के गुणांक को पुन: स्केल किया जाता है $(1+\lambda _{2})$.

इलास्टिक नेट विधि कहां लागू की गई है इसके उदाहरण हैं:

• समर्थन वेक्टर यंत्र
• मैट्रिक लर्निंग
• पोर्टफोलियो अनुकूलन
• कैंसर का पूर्वानुमान

वेक्टर मशीन का समर्थन करने में कमी

2014 के अंत में, यह साबित हुआ कि इलास्टिक नेट को रैखिक समर्थन वेक्टर यंत्र में कम किया जा सकता है। इसी तरह की कमी पहले 2014 में LASSO के लिए सिद्ध हुई थी। लेखकों ने दिखाया कि इलास्टिक नेट के प्रत्येक उदाहरण के लिए, एक कृत्रिम बाइनरी वर्गीकरण समस्या का निर्माण इस तरह किया जा सकता है कि एक रैखिक समर्थन वेक्टर मशीन (एसवीएम) का हाइपर-प्लेन समाधान समाधान के समान हो $\beta$ (पुनः स्केलिंग के बाद)। कमी तुरंत इलास्टिक नेट समस्याओं के लिए अत्यधिक अनुकूलित एसवीएम सॉल्वर के उपयोग को सक्षम बनाती है। यह GPU त्वरण के उपयोग को भी सक्षम बनाता है, जिसका उपयोग अक्सर बड़े पैमाने पर SVM सॉल्वर के लिए पहले से ही किया जाता है। कमी मूल डेटा और नियमितीकरण स्थिरांक का एक सरल परिवर्तन है

$X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0$

नए कृत्रिम डेटा उदाहरणों और एक नियमितीकरण स्थिरांक में जो एक द्विआधारी वर्गीकरण समस्या और एसवीएम नियमितीकरण स्थिरांक निर्दिष्ट करता है

$X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.$

यहाँ, $y_{2}$ बाइनरी लेबल से मिलकर बनता है ${-1,1}$. कब $2p>n$ प्राइमल में रैखिक एसवीएम को हल करना आम तौर पर तेज़ होता है, जबकि अन्यथा दोहरा फॉर्मूलेशन तेज़ होता है। कुछ लेखकों ने परिवर्तन को सपोर्ट वेक्टर इलास्टिक नेट (एसवीईएन) के रूप में संदर्भित किया है, और निम्नलिखित MATLAB छद्म कोड प्रदान किया है:

function β=SVEN(X, y, t, λ2);
    [n,p] = size(X); 
    X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)]’;
    Y2 = [ones(p,1);-ones(p,1)];
    if 2p > n then 
        w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
        α = C * max(1-Y2.*(X2*w), 0); 
    else
        α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
    end if
    β = t * (α(1:p) - α(p+1:2p)) / sum(α);

सॉफ्टवेयर

• Glmnet: लासो और इलास्टिक-नेट नियमितीकृत सामान्यीकृत रैखिक मॉडल एक सॉफ्टवेयर है जिसे R (प्रोग्रामिंग भाषा) स्रोत पैकेज और MATLAB टूलबॉक्स के रूप में कार्यान्वित किया जाता है। इसमें ℓ के साथ सामान्यीकृत रैखिक मॉडल के आकलन के लिए तेज़ एल्गोरिदम शामिल हैं₁ (लासो), ℓ₂ (रिज रिग्रेशन) और दो दंडों (इलास्टिक नेट) का मिश्रण, चक्रीय समन्वय वंश का उपयोग करके, एक नियमितीकरण पथ के साथ गणना की जाती है।
• जेएमपी (सांख्यिकीय सॉफ्टवेयर) में फिट मॉडल के साथ सामान्यीकृत प्रतिगमन व्यक्तित्व का उपयोग करके इलास्टिक नेट नियमितीकरण शामिल है।
• पेन्सिम: उच्च-आयामी डेटा का सिमुलेशन और समानांतर बार-बार दंडित प्रतिगमन ℓ मापदंडों की एक वैकल्पिक, समानांतर 2 डी ट्यूनिंग विधि लागू करता है, एक विधि जिसके परिणामस्वरूप भविष्यवाणी सटीकता में सुधार का दावा किया जाता है।
• स्किकिट-लर्न में इलास्टिक नेट रेगुलराइजेशन के साथ लीनियर रिग्रेशन, लॉजिस्टिक रिग्रेशन और लीनियर सपोर्ट वेक्टर मशीनें शामिल हैं।
• एसवीईएन, सपोर्ट वेक्टर इलास्टिक नेट का एक मैटलैब कार्यान्वयन। यह सॉल्वर इलास्टिक नेट समस्या को एसवीएम बाइनरी वर्गीकरण के एक उदाहरण में कम कर देता है और समाधान खोजने के लिए मैटलैब एसवीएम सॉल्वर का उपयोग करता है। क्योंकि एसवीएम आसानी से समानांतर करने योग्य है, कोड आधुनिक हार्डवेयर पर Glmnet से तेज़ हो सकता है।
• SpaSM, इलास्टिक नेट नियमितीकृत प्रतिगमन सहित विरल प्रतिगमन, वर्गीकरण और प्रमुख घटक विश्लेषण का एक MATLAB कार्यान्वयन।
• अपाचे स्पार्क अपनी MLlib मशीन लर्निंग लाइब्रेरी में इलास्टिक नेट रिग्रेशन के लिए समर्थन प्रदान करता है। यह विधि अधिक सामान्य LinearRegression वर्ग के पैरामीटर के रूप में उपलब्ध है।
• एसएएस (सॉफ्टवेयर) एसएएस प्रक्रिया Glmselect और एसएएस वाया प्रक्रिया रेगसेलेक्ट मॉडल चयन के लिए इलास्टिक नेट नियमितीकरण के उपयोग का समर्थन करें।

अग्रिम पठन

• Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2017). "Shrinkage Methods" (PDF). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd ed.). New York: Springer. pp. 61–79. ISBN 978-0-387-84857-0.

बाहरी संबंध

• Regularization and Variable Selection via the Elastic Net (presentation)