इलास्टिक नेट नियमितीकरण: Difference between revisions

Revision as of 11:55, 13 December 2023

सांख्यिकी में और, विशेष रूप से, रैखिक या तार्किक प्रतिगमन (लॉजिस्टिक रिग्रेशन) मॉडल की अन्वायोजन (फिटिंग) में, इलास्टिक नेट एक नियमित प्रतिगमन विधि है जो लैस्सो और रिज विधियों के L₁ और L₂ पैनल्टीज़ को रैखिक रूप से युग्मित करती है।

विनिर्देश

इलास्टिक नेट विधि एलएएसएसओ (निम्नतम निरपेक्ष संकुचन और संकलन (सलेक्शन) ऑपरेटर) विधि की सीमाओं को पार कर जाती है जो पैनेल्टी फलन का उपयोग करती है

\|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.

इस पैनेल्टी फलन के उपयोग की कई सीमाएँ हैं।^[1] उदाहरण के लिए, "बड़े p, छोटे n" की स्थितियों में (कुछ उदाहरणों के साथ उच्च-विमीय डेटा), एलएएसओ संतृप्त होने से पहले अधिकतम n चर का चयन करता है। इसके अतिरिक्त यदि अत्यधिक सहसंबंधित चरों का एक समूह होता है, तो एलएएसएसओ एक समूह से एक चर का चयन करता है और दूसरों को उपेक्षित कर दिया जाता है। इन सीमाओं को दूर करने के लिए, इलास्टिक नेट पैनल्टी में एक द्विघात भाग ( $\|\beta \|^{2}$ ) जोड़ता है, जिसे अकेले उपयोग करने पर रिज प्रतिगमन (जिसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है) होता है। इलास्टिक नेट विधि से अनुमान परिभाषित किए गए हैं

{\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).

द्विघात पैनल्टी शब्द हानि फलन को दृढ़ता से कॉन्वेक्स बनाता है, और इसलिए इसमें एक अद्वितीय न्यूनतम होता है। इलास्टिक नेट विधि में एलएएसएसओ और रिज प्रतिगमन सम्मिलित हैं: दूसरे शब्दों में, उनमें से प्रत्येक एक विशेष स्थिति है जहां $\lambda _{1}=\lambda ,\lambda _{2}=0$ या $\lambda _{1}=0,\lambda _{2}=\lambda$ होता है। इस बीच, इलास्टिक नेट विधि का सरल संस्करण दो-चरणीय प्रक्रिया में एक अनुमानक प्राप्त करता है : पहले प्रत्येक निश्चित $\lambda _{2}$ के लिए यह रिज प्रतिगमन गुणांक प्राप्त करता है , और फिर एक एलएएसएसओ प्रकार का संकोचन करता है। इस प्रकार के अनुमान में दोगुनी मात्रा में संकोचन होता है, जिससे पूर्वाग्रह बढ़ जाता है और पूर्वानुमान खराब हो जाते हैं। पूर्वानुमान प्रदर्शन में सुधार करने के लिए, कभी-कभी अनुमानित गुणांक को $(1+\lambda _{2})$ से गुणा करके इलास्टिक नेट के अनुभवहीन संस्करण के गुणांक को फिर से बढ़ाया जाता है।^[1]

जहां इलास्टिक नेट विधि लागू की गई है, उसके उदाहरण हैं:

सपोर्ट वेक्टर मशीन^[2]
मैट्रिक लर्निंग^[3]
पोर्टफोलियो अनुकूलन^[4]
कैंसर का पूर्वानुमान^[5]

सपोर्ट वेक्टर मशीन में अवकरण

2014 के अंत में, यह प्रमाणित हुआ कि इलास्टिक नेट को रैखिक सपोर्ट वेक्टर मशीन में कम किया जा सकता है।^[6] इसी तरह का अवकरण पहले 2014 में एलएएसएसओ के लिए सिद्ध हुआ था।^[7] लेखकों ने दिखाया कि इलास्टिक नेट के प्रत्येक उदाहरण के लिए, एक कृत्रिम बाइनरी वर्गीकरण समस्या का निर्माण इस तरह किया जा सकता है कि एक रैखिक सपोर्ट वेक्टर मशीन (एसवीएम) का हाइपर-प्लेन सॉल्यूशन समाधान $\beta$ (पुनः स्केलिंग के बाद) के समान है। अवकरण शीघ्रता से इलास्टिक नेट समस्याओं के लिए अत्यधिक अनुकूलित एसवीएम सॉल्वरों के उपयोग को सक्षम बनाती है। यह जीपीयु त्वरण के उपयोग को भी सक्षम बनाता है, जिसका उपयोग अक्सर बड़े पैमाने पर एसवीएम सॉल्वर के लिए किया जाता है।^[8] कमी मूल डेटा और नियमितीकरण स्थिरांक का एक साधारण परिवर्तन है

X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0

नए कृत्रिम डेटा उदाहरणों और एक नियमितीकरण स्थिरांक में जो एक बाइनरी वर्गीकरण समस्या और एसवीएम नियमितीकरण स्थिरांक को निर्दिष्ट करता है

X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.

यहाँ, $y_{2}$ में बाइनरी लेबल ${-1,1}$ सम्मिलित हैं। जब $2p>n$ होता है तो प्रारंभिक में रैखिक एसवीएम को हल करना सामान्यतः तीव्र होता है, जबकि अन्यथा द्वैध सूत्रीकरण तीव्र होता है। कुछ लेखकों ने परिवर्तन को सपोर्ट वेक्टर इलास्टिक नेट (एसवीईएन) के रूप में संदर्भित किया है, और निम्नलिखित एमएटीएलएबी छद्म कोड प्रदान किया है:

function β=SVEN(X, y, t, λ2);
    [n,p] = size(X); 
    X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)]’;
    Y2 = [ones(p,1);-ones(p,1)];
    if 2p > n then 
        w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
        α = C * max(1-Y2.*(X2*w), 0); 
    else
        α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
    end if
    β = t * (α(1:p) - α(p+1:2p)) / sum(α);

सॉफ्टवेयर

"ग्लमनेट: लैस्सो और इलास्टिक-नेट नियमितीकृत सामान्यीकृत रैखिक मॉडल" एक सॉफ्टवेयर है जिसे आर स्रोत पैकेज और एमएटीएलएबी टूलबॉक्स के रूप में कार्यान्वित किया जाता है।^[9]^[10] इसमें ℓ₁ (लासो), ℓ₂ (रिज प्रतिगमन) और चक्रीय समन्वय वंश का उपयोग करके दो पैनल्टीज़ (इलास्टिक नेट) के मिश्रण के साथ सामान्यीकृत रैखिक मॉडल के अनुमान के लिए तीव्र एल्गोरिदम सम्मिलित हैं, जो नियमितीकरण पथ के साथ गणना की जाती है।
जेएमपी प्रो 11 में फिट मॉडल के साथ सामान्यीकृत प्रतिगमन व्यक्तित्व का उपयोग करते हुए इलास्टिक नेट नियमितीकरण सम्मिलित है।
"पेंसिम: उच्च-विमीय डेटा का सिमुलेशन और समानांतर बार-बार पैनल्टीज़ित प्रतिगमन" ℓ मापपैनल्टीज़ों की एक वैकल्पिक, समानांतर "2D" ट्यूनिंग विधि लागू करता है, एक विधि जिसके परिणामस्वरूप भविष्यवाणी यथार्थता में सुधार होने का दावा किया गया है।^[11]^[12]
स्किकिट-लर्न में इलास्टिक नेट नियमितीकरण के साथ रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन और रैखिक सपोर्ट वेक्टर मशीनें सम्मिलित हैं।
एसवीईएन, सपोर्ट वेक्टर इलास्टिक नेट का मैटलैब कार्यान्वयन। यह सॉल्वर इलास्टिक नेट समस्या को एसवीएम बाइनरी वर्गीकरण के एक उदाहरण में कम कर देता है और समाधान ढूंढने के लिए मैटलैब एसवीएम सॉल्वर का उपयोग करता है। क्योंकि एसवीएम आसानी से समानांतर करने योग्य है, कोड आधुनिक हार्डवेयर पर जीएलएमनेट से तीव्र हो सकता है।^[13]
एसपीएएसएम, विरल प्रतिगमन, वर्गीकरण और प्रमुख घटक विश्लेषण का एक मैटलैब कार्यान्वयन, जिसमें इलास्टिक नेट नियमितीकृत प्रतिगमन भी सम्मिलित है।^[14]
अपाचे स्पार्क अपनी एमएलआईआईबी मशीन लर्निंग लाइब्रेरी में इलास्टिक नेट प्रतिगमन के लिए समर्थन प्रदान करता है। यह विधि अधिक सामान्य रेखीयप्रतिगमन वर्ग के पैरामीटर के रूप में उपलब्ध है।^[15]
एसएएस (सॉफ्टवेयर) जीएलएमएसएएस प्रक्रिया सलेक्ट^[16] और एसएएस विया प्रक्रिया रेगसेलेक्ट ^[17] मॉडल चयन के लिए इलास्टिक नेट नियमितीकरण के उपयोग का समर्थन करते हैं।

संदर्भ

↑ ^1.0 ^1.1 Zou, Hui; Hastie, Trevor (2005). "इलास्टिक नेट के माध्यम से नियमितीकरण और परिवर्तनीय चयन". Journal of the Royal Statistical Society, Series B. 67 (2): 301–320. CiteSeerX 10.1.1.124.4696. doi:10.1111/j.1467-9868.2005.00503.x. S2CID 122419596.
↑ Wang, Li; Zhu, Ji; Zou, Hui (2006). "दोगुनी नियमितीकृत समर्थन वेक्टर मशीन" (PDF). Statistica Sinica. 16: 589–615.
↑ Liu, Meizhu; Vemuri, Baba (2012). "एक मजबूत और कुशल दोगुना नियमितीकृत मीट्रिक सीखने का दृष्टिकोण". Proceedings of the 12th European Conference on Computer Vision. Lecture Notes in Computer Science. Part IV: 646–659. doi:10.1007/978-3-642-33765-9_46. ISBN 978-3-642-33764-2. PMC 3761969. PMID 24013160.
↑ Shen, Weiwei; Wang, Jun; Ma, Shiqian (2014). "जोखिम न्यूनीकरण के साथ पोर्टफोलियो को दोगुना नियमित किया गया". Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence. 28: 1286–1292. doi:10.1609/aaai.v28i1.8906. S2CID 11017740.
↑ Milanez-Almeida, Pedro; Martins, Andrew J.; Germain, Ronald N.; Tsang, John S. (2020-02-10). "उथले ट्यूमर आरएनए अनुक्रमण के साथ कैंसर का पूर्वानुमान". Nature Medicine (in English). 26 (2): 188–192. doi:10.1038/s41591-019-0729-3. ISSN 1546-170X. PMID 32042193. S2CID 211074147.
↑ Zhou, Quan; Chen, Wenlin; Song, Shiji; Gardner, Jacob; Weinberger, Kilian; Chen, Yixin. A Reduction of the Elastic Net to Support Vector Machines with an Application to GPU Computing. Association for the Advancement of Artificial Intelligence.
↑ Jaggi, Martin (2014). Suykens, Johan; Signoretto, Marco; Argyriou, Andreas (eds.). An Equivalence between the Lasso and Support Vector Machines. Chapman and Hall/CRC. arXiv:1303.1152.
↑ "जीसीवीएम". uchicago.edu.
↑ Friedman, Jerome; Trevor Hastie; Rob Tibshirani (2010). "कोऑर्डिनेट डिसेंट के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए नियमितीकरण पथ". Journal of Statistical Software. 33 (1): 1–22. doi:10.18637/jss.v033.i01. PMC 2929880. PMID 20808728.
↑ "CRAN - पैकेज glmnet". r-project.org.
↑ Waldron, L.; Pintilie, M.; Tsao, M. -S.; Shepherd, F. A.; Huttenhower, C.; Jurisica, I. (2011). "Optimized application of penalized regression methods to diverse genomic data". Bioinformatics. 27 (24): 3399–3406. doi:10.1093/bioinformatics/btr591. PMC 3232376. PMID 22156367.
↑ "क्रैन - पैकेज पेन्सिम". r-project.org.
↑ "mlcircus / SVEN — Bitbucket". bitbucket.org.
↑ Sjöstrand, Karl; Clemmensen, Line; Einarsson, Gudmundur; Larsen, Rasmus; Ersbøll, Bjarne (2 February 2016). "SpaSM: A Matlab Toolbox for Sparse Statistical Modeling" (PDF). Journal of Statistical Software.
↑ "pyspark.ml package — PySpark 1.6.1 documentation". spark.apache.org. Retrieved 2019-04-17.
↑ "प्रोक Glmselect". Retrieved 2019-05-09.
↑ "A Survey of Methods in Variable Selection and Penalized Regression" (PDF).

अग्रिम पठन

Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2017). "Shrinkage Methods" (PDF). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd ed.). New York: Springer. pp. 61–79. ISBN 978-0-387-84857-0.

बाहरी संबंध

Regularization and Variable Selection via the Elastic Net (presentation)

[ZH-1] 1.0 ^1.1 Zou, Hui; Hastie, Trevor (2005). "इलास्टिक नेट के माध्यम से नियमितीकरण और परिवर्तनीय चयन". Journal of the Royal Statistical Society, Series B. 67 (2): 301–320. CiteSeerX 10.1.1.124.4696. doi:10.1111/j.1467-9868.2005.00503.x. S2CID 122419596.

[2] Wang, Li; Zhu, Ji; Zou, Hui (2006). "दोगुनी नियमितीकृत समर्थन वेक्टर मशीन" (PDF). Statistica Sinica. 16: 589–615.

[3] Liu, Meizhu; Vemuri, Baba (2012). "एक मजबूत और कुशल दोगुना नियमितीकृत मीट्रिक सीखने का दृष्टिकोण". Proceedings of the 12th European Conference on Computer Vision. Lecture Notes in Computer Science. Part IV: 646–659. doi:10.1007/978-3-642-33765-9_46. ISBN 978-3-642-33764-2. PMC 3761969. PMID 24013160.

[4] Shen, Weiwei; Wang, Jun; Ma, Shiqian (2014). "जोखिम न्यूनीकरण के साथ पोर्टफोलियो को दोगुना नियमित किया गया". Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence. 28: 1286–1292. doi:10.1609/aaai.v28i1.8906. S2CID 11017740.

[5] Milanez-Almeida, Pedro; Martins, Andrew J.; Germain, Ronald N.; Tsang, John S. (2020-02-10). "उथले ट्यूमर आरएनए अनुक्रमण के साथ कैंसर का पूर्वानुमान". Nature Medicine (in English). 26 (2): 188–192. doi:10.1038/s41591-019-0729-3. ISSN 1546-170X. PMID 32042193. S2CID 211074147.

[SV-6] Zhou, Quan; Chen, Wenlin; Song, Shiji; Gardner, Jacob; Weinberger, Kilian; Chen, Yixin. A Reduction of the Elastic Net to Support Vector Machines with an Application to GPU Computing. Association for the Advancement of Artificial Intelligence.

[MJ-7] Jaggi, Martin (2014). Suykens, Johan; Signoretto, Marco; Argyriou, Andreas (eds.). An Equivalence between the Lasso and Support Vector Machines. Chapman and Hall/CRC. arXiv:1303.1152.

[GT-8] "जीसीवीएम". uchicago.edu.

[9] Friedman, Jerome; Trevor Hastie; Rob Tibshirani (2010). "कोऑर्डिनेट डिसेंट के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए नियमितीकरण पथ". Journal of Statistical Software. 33 (1): 1–22. doi:10.18637/jss.v033.i01. PMC 2929880. PMID 20808728.

[10] "CRAN - पैकेज glmnet". r-project.org.

[11] Waldron, L.; Pintilie, M.; Tsao, M. -S.; Shepherd, F. A.; Huttenhower, C.; Jurisica, I. (2011). "Optimized application of penalized regression methods to diverse genomic data". Bioinformatics. 27 (24): 3399–3406. doi:10.1093/bioinformatics/btr591. PMC 3232376. PMID 22156367.

[12] "क्रैन - पैकेज पेन्सिम". r-project.org.

[13] "mlcircus / SVEN — Bitbucket". bitbucket.org.

[14] Sjöstrand, Karl; Clemmensen, Line; Einarsson, Gudmundur; Larsen, Rasmus; Ersbøll, Bjarne (2 February 2016). "SpaSM: A Matlab Toolbox for Sparse Statistical Modeling" (PDF). Journal of Statistical Software.

[15] "pyspark.ml package — PySpark 1.6.1 documentation". spark.apache.org. Retrieved 2019-04-17.

[16] "प्रोक Glmselect". Retrieved 2019-05-09.

[17] "A Survey of Methods in Variable Selection and Penalized Regression" (PDF).

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

@@ Line 1: / Line 1: @@
 {{short description|Statistical regression method}}
-आंकड़ों में और, विशेष रूप से, रैखिक या लॉजिस्टिक प्रतिगमन मॉडल की फिटिंग में, इलास्टिक नेट एक [[नियमितीकरण (गणित)|नियमित]] प्रतिगमन विधि है जो [[लैस्सो (सांख्यिकी)|लैस्सो]] और [[तिखोनोव नियमितीकरण|रिज]] विधियों के एल 1 और एल 2 दंड को रैखिक रूप से जोड़ती है।
+सांख्यिकी में और, विशेष रूप से, रैखिक या तार्किक प्रतिगमन (लॉजिस्टिक रिग्रेशन) मॉडल की अन्वायोजन (फिटिंग) में, '''इलास्टिक नेट''' एक [[नियमितीकरण (गणित)|नियमित]] प्रतिगमन विधि है जो [[लैस्सो (सांख्यिकी)|लैस्सो]] और [[तिखोनोव नियमितीकरण|रिज]] विधियों के L<sub>1</sub> और L<sub>2</sub> पैनल्टीज़ को रैखिक रूप से युग्मित करती है।
 ==विनिर्देश==
-इलास्टिक नेट विधि LASSO (कम से कम निरपेक्ष संकोचन और चयन ऑपरेटर) विधि की सीमाओं को पार कर जाती है जो दंड फ़ंक्शन का उपयोग करती है
+इलास्टिक नेट विधि एलएएसएसओ (निम्नतम निरपेक्ष संकुचन और संकलन (सलेक्शन) ऑपरेटर) विधि की सीमाओं को पार कर जाती है जो पैनेल्टी फलन का उपयोग करती है
 :<math>\|\beta\|_1 = \textstyle \sum_{j=1}^p |\beta_j|.</math>
-इस दंड समारोह के उपयोग की कई सीमाएँ हैं।<ref name="ZH">{{cite journal|last1=Zou|first1=Hui|first2=Trevor|last2=Hastie|date=2005|title=इलास्टिक नेट के माध्यम से नियमितीकरण और परिवर्तनीय चयन|journal=Journal of the Royal Statistical Society, Series B|volume=67|issue=2|pages=301–320|doi=10.1111/j.1467-9868.2005.00503.x|citeseerx=10.1.1.124.4696|s2cid=122419596 }}</ref> उदाहरण के लिए, "बड़े पी, छोटे एन" मामले में (कुछ उदाहरणों के साथ उच्च-आयामी डेटा), एलएएसओ संतृप्त होने से पहले अधिकतम एन चर का चयन करता है। इसके अलावा यदि अत्यधिक सहसंबंधित चरों का एक समूह है, तो LASSO एक समूह से एक चर का चयन करता है और दूसरों को अनदेखा कर देता है। इन सीमाओं को दूर करने के लिए, इलास्टिक नेट दंड में एक द्विघात भाग (<math>\|\beta\|^2</math>) जोड़ता है, जिसे अकेले उपयोग करने पर [[ रिज प्रतिगमन |रिज रिग्रेशन]] (जिसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है) होता है। इलास्टिक नेट विधि से अनुमान परिभाषित किए गए हैं
+इस पैनेल्टी फलन के उपयोग की कई सीमाएँ हैं।<ref name="ZH">{{cite journal|last1=Zou|first1=Hui|first2=Trevor|last2=Hastie|date=2005|title=इलास्टिक नेट के माध्यम से नियमितीकरण और परिवर्तनीय चयन|journal=Journal of the Royal Statistical Society, Series B|volume=67|issue=2|pages=301–320|doi=10.1111/j.1467-9868.2005.00503.x|citeseerx=10.1.1.124.4696|s2cid=122419596 }}</ref> उदाहरण के लिए, "बड़े ''p'', छोटे ''n''" की स्थितियों में (कुछ उदाहरणों के साथ उच्च-विमीय डेटा), एलएएसओ संतृप्त होने से पहले अधिकतम n चर का चयन करता है। इसके अतिरिक्त यदि अत्यधिक सहसंबंधित चरों का एक समूह होता है, तो एलएएसएसओ एक समूह से एक चर का चयन करता है और दूसरों को उपेक्षित कर दिया जाता है। इन सीमाओं को दूर करने के लिए, इलास्टिक नेट पैनल्टी में एक द्विघात भाग (<math>\|\beta\|^2</math>) जोड़ता है, जिसे अकेले उपयोग करने पर [[ रिज प्रतिगमन |रिज प्रतिगमन]] (जिसे तिखोनोव नियमितीकरण के रूप में भी जाना जाता है) होता है। इलास्टिक नेट विधि से अनुमान परिभाषित किए गए हैं
 : <math> \hat{\beta} \equiv \underset{\beta}{\operatorname{argmin}} (\| y-X \beta \|^2 + \lambda_2 \|\beta\|^2 + \lambda_1 \|\beta\|_1) .</math>
-द्विघात दंड शब्द हानि कार्य को दृढ़ता से उत्तल बनाता है, और इसलिए इसमें एक अद्वितीय न्यूनतम होता है। इलास्टिक नेट विधि में LASSO और रिज रिग्रेशन शामिल हैं: दूसरे शब्दों में, उनमें से प्रत्येक एक विशेष मामला है जहां <math>\lambda_1 = \lambda, \lambda_2 = 0</math> या <math>\lambda_1 = 0, \lambda_2 = \lambda</math> है। इस बीच, इलास्टिक नेट विधि का सरल संस्करण दो-चरणीय प्रक्रिया में एक अनुमानक ढूंढता है: पहले प्रत्येक निश्चित <math>\lambda_2</math> के लिए यह रिज रिग्रेशन गुणांक पाता है, और फिर एक LASSO प्रकार का संकोचन करता है। इस प्रकार के अनुमान में दोगुनी मात्रा में संकोचन होता है, जिससे पूर्वाग्रह बढ़ जाता है और पूर्वानुमान खराब हो जाते हैं। पूर्वानुमान प्रदर्शन में सुधार करने के लिए, कभी-कभी अनुमानित गुणांक को <math>(1 + \lambda_2)</math> से गुणा करके इलास्टिक नेट के अनुभवहीन संस्करण के गुणांक को फिर से बढ़ाया जाता है।<ref name=ZH/>
+द्विघात पैनल्टी शब्द हानि फलन को दृढ़ता से कॉन्वेक्स बनाता है, और इसलिए इसमें एक अद्वितीय न्यूनतम होता है। इलास्टिक नेट विधि में एलएएसएसओ और रिज प्रतिगमन सम्मिलित हैं: दूसरे शब्दों में, उनमें से प्रत्येक एक विशेष स्थिति है जहां <math>\lambda_1 = \lambda, \lambda_2 = 0</math> या <math>\lambda_1 = 0, \lambda_2 = \lambda</math> होता है। इस बीच, इलास्टिक नेट विधि का सरल संस्करण दो-चरणीय प्रक्रिया में एक अनुमानक प्राप्त करता है : पहले प्रत्येक निश्चित <math>\lambda_2</math> के लिए यह रिज प्रतिगमन गुणांक प्राप्त करता है , और फिर एक एलएएसएसओ प्रकार का संकोचन करता है। इस प्रकार के अनुमान में दोगुनी मात्रा में संकोचन होता है, जिससे पूर्वाग्रह बढ़ जाता है और पूर्वानुमान खराब हो जाते हैं। पूर्वानुमान प्रदर्शन में सुधार करने के लिए, कभी-कभी अनुमानित गुणांक को <math>(1 + \lambda_2)</math> से गुणा करके इलास्टिक नेट के अनुभवहीन संस्करण के गुणांक को फिर से बढ़ाया जाता है।<ref name=ZH/>
 जहां इलास्टिक नेट विधि लागू की गई है, उसके उदाहरण हैं:
-* समर्थन वेक्टर यंत्र<ref>{{cite journal|last1=Wang|first1=Li|last2=Zhu|first2=Ji|last3=Zou|first3=Hui|date=2006|title=दोगुनी नियमितीकृत समर्थन वेक्टर मशीन|journal=Statistica Sinica|volume=16|pages=589–615|url=http://www.stat.lsa.umich.edu/~jizhu/pubs/Wang-Sinica06.pdf}}</ref>
+* सपोर्ट वेक्टर मशीन<ref>{{cite journal|last1=Wang|first1=Li|last2=Zhu|first2=Ji|last3=Zou|first3=Hui|date=2006|title=दोगुनी नियमितीकृत समर्थन वेक्टर मशीन|journal=Statistica Sinica|volume=16|pages=589–615|url=http://www.stat.lsa.umich.edu/~jizhu/pubs/Wang-Sinica06.pdf}}</ref>
 * मैट्रिक लर्निंग<ref>{{cite journal|last1=Liu|first1=Meizhu|last2=Vemuri|first2=Baba|title=एक मजबूत और कुशल दोगुना नियमितीकृत मीट्रिक सीखने का दृष्टिकोण|journal=Proceedings of the 12th European Conference on Computer Vision|series=Lecture Notes in Computer Science|year=2012|volume=Part IV|pages=646–659 |doi=10.1007/978-3-642-33765-9_46|pmid=24013160|pmc=3761969|isbn=978-3-642-33764-2|url=http://dl.acm.org/citation.cfm?id=2404791}}</ref>
 * पोर्टफोलियो अनुकूलन<ref>{{cite journal|last1=Shen|first1=Weiwei|last2=Wang|first2=Jun|last3=Ma|first3=Shiqian|s2cid=11017740|title=जोखिम न्यूनीकरण के साथ पोर्टफोलियो को दोगुना नियमित किया गया|journal=Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence|year=2014|volume=28 |pages=1286–1292 |doi=10.1609/aaai.v28i1.8906 |doi-access=free}}</ref>
 *कैंसर का पूर्वानुमान<ref>{{Cite journal|last1=Milanez-Almeida|first1=Pedro|last2=Martins|first2=Andrew J.|last3=Germain|first3=Ronald N.|last4=Tsang|first4=John S.|date=2020-02-10|title=उथले ट्यूमर आरएनए अनुक्रमण के साथ कैंसर का पूर्वानुमान|url=https://www.nature.com/articles/s41591-019-0729-3|journal=Nature Medicine|volume=26|issue=2|language=en|pages=188–192|doi=10.1038/s41591-019-0729-3|pmid=32042193|s2cid=211074147|issn=1546-170X}}</ref>
-== वेक्टर मशीन का समर्थन करने में कमी ==
+== सपोर्ट वेक्टर मशीन में अवकरण ==
-के अंत में, यह साबित हुआ कि इलास्टिक नेट को रैखिक [[समर्थन वेक्टर यंत्र]] में कम किया जा सकता है।<ref name="SV">
+के अंत में, यह प्रमाणित हुआ कि इलास्टिक नेट को रैखिक [[समर्थन वेक्टर यंत्र|सपोर्ट वेक्टर मशीन]] में कम किया जा सकता है।<ref name="SV">
-{{cite conference |last1=Zhou |first1=Quan |last2=Chen |first2=Wenlin |last3=Song |first3=Shiji |last4=Gardner |first4=Jacob |last5=Weinberger |first5=Kilian |last6=Chen |first6=Yixin |title=A Reduction of the Elastic Net to Support Vector Machines with an Application to GPU Computing |url=https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9856 |conference=[[Association for the Advancement of Artificial Intelligence]]}}</ref> इसी तरह की कमी पहले 2014 में LASSO के लिए सिद्ध हुई थी।<ref name="MJ">{{cite book
+{{cite conference |last1=Zhou |first1=Quan |last2=Chen |first2=Wenlin |last3=Song |first3=Shiji |last4=Gardner |first4=Jacob |last5=Weinberger |first5=Kilian |last6=Chen |first6=Yixin |title=A Reduction of the Elastic Net to Support Vector Machines with an Application to GPU Computing |url=https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9856 |conference=[[Association for the Advancement of Artificial Intelligence]]}}</ref> इसी तरह का अवकरण पहले 2014 में एलएएसएसओ के लिए सिद्ध हुआ था।<ref name="MJ">{{cite book
 |title=An Equivalence between the Lasso and Support Vector Machines
 |last=Jaggi|first=Martin
@@ Line 27: / Line 27: @@
 |year=2014
 |publisher=Chapman and Hall/CRC
-|arxiv=1303.1152}}</ref> लेखकों ने दिखाया कि इलास्टिक नेट के प्रत्येक उदाहरण के लिए, एक कृत्रिम बाइनरी वर्गीकरण समस्या का निर्माण इस तरह किया जा सकता है कि एक रैखिक समर्थन वेक्टर मशीन (एसवीएम) का हाइपर-प्लेन समाधान समाधान <math>\beta</math> (पुनः स्केलिंग के बाद) के समान है। कटौती तुरंत इलास्टिक नेट समस्याओं के लिए अत्यधिक अनुकूलित एसवीएम सॉल्वरों के उपयोग को सक्षम बनाती है। यह [[GPU]] त्वरण के उपयोग को भी सक्षम बनाता है, जिसका उपयोग अक्सर बड़े पैमाने पर SVM सॉल्वर के लिए किया जाता है।<ref name="GT">{{cite web|url=http://ttic.uchicago.edu/~cotter/projects/gtsvm/|title=जीसीवीएम|work=uchicago.edu}}</ref> कमी मूल डेटा और नियमितीकरण स्थिरांक का एक साधारण परिवर्तन है
+|arxiv=1303.1152}}</ref> लेखकों ने दिखाया कि इलास्टिक नेट के प्रत्येक उदाहरण के लिए, एक कृत्रिम बाइनरी वर्गीकरण समस्या का निर्माण इस तरह किया जा सकता है कि एक रैखिक सपोर्ट वेक्टर मशीन (एसवीएम) का हाइपर-प्लेन सॉल्यूशन समाधान <math>\beta</math> (पुनः स्केलिंग के बाद) के समान है। अवकरण शीघ्रता से इलास्टिक नेट समस्याओं के लिए अत्यधिक अनुकूलित एसवीएम सॉल्वरों के उपयोग को सक्षम बनाती है। यह [[GPU|जीपीयु]] त्वरण के उपयोग को भी सक्षम बनाता है, जिसका उपयोग अक्सर बड़े पैमाने पर एसवीएम सॉल्वर के लिए किया जाता है।<ref name="GT">{{cite web|url=http://ttic.uchicago.edu/~cotter/projects/gtsvm/|title=जीसीवीएम|work=uchicago.edu}}</ref> कमी मूल डेटा और नियमितीकरण स्थिरांक का एक साधारण परिवर्तन है
 : <math> X\in{\mathbb R}^{n\times p},y\in {\mathbb R}^n,\lambda_1\geq 0,\lambda_2\geq 0</math>
 नए कृत्रिम डेटा उदाहरणों और एक नियमितीकरण स्थिरांक में जो एक बाइनरी वर्गीकरण समस्या और एसवीएम नियमितीकरण स्थिरांक को निर्दिष्ट करता है
 : <math> X_2\in{\mathbb R}^{2p\times n},y_2\in\{-1,1\}^{2p}, C\geq 0. </math>
-यहाँ, <math>y_2</math> में बाइनरी लेबल <math>{-1,1}</math> शामिल हैं। जब <math>2p>n</math> होता है तो प्रारंभिक में रैखिक एसवीएम को हल करना आम तौर पर तेज़ होता है, जबकि अन्यथा दोहरी फॉर्मूलेशन तेज़ होती है। कुछ लेखकों ने परिवर्तन को सपोर्ट वेक्टर इलास्टिक नेट (SVEN) के रूप में संदर्भित किया है, और निम्नलिखित MATLAB छद्म कोड प्रदान किया है:
+यहाँ, <math>y_2</math> में बाइनरी लेबल <math>{-1,1}</math> सम्मिलित हैं। जब <math>2p>n</math> होता है तो प्रारंभिक में रैखिक एसवीएम को हल करना सामान्यतः तीव्र होता है, जबकि अन्यथा द्वैध सूत्रीकरण तीव्र होता है। कुछ लेखकों ने परिवर्तन को सपोर्ट वेक्टर इलास्टिक नेट (एसवीईएन) के रूप में संदर्भित किया है, और निम्नलिखित एमएटीएलएबी छद्म कोड प्रदान किया है:
 <syntaxhighlight lang="matlab">
 function β=SVEN(X, y, t, λ2);
@@ Line 48: / Line 48: @@
 == सॉफ्टवेयर ==
-* "ग्लमनेट: लैस्सो और इलास्टिक-नेट नियमितीकृत सामान्यीकृत रैखिक मॉडल" एक सॉफ्टवेयर है जिसे आर स्रोत पैकेज और [[MATLAB]] टूलबॉक्स के रूप में कार्यान्वित किया जाता है।<ref>{{cite journal|last=Friedman|first=Jerome |author2=Trevor Hastie |author3=Rob Tibshirani|date=2010|title=कोऑर्डिनेट डिसेंट के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए नियमितीकरण पथ|journal=Journal of Statistical Software|volume=33 |issue=1 |pages=1–22|doi=10.18637/jss.v033.i01 |pmid=20808728 |pmc=2929880 }}</ref><ref>{{cite web|url=https://cran.r-project.org/web/packages/glmnet/index.html|title=CRAN - पैकेज glmnet|work=r-project.org}}</ref> इसमें ℓ1 (लासो), ℓ2 (रिज रिग्रेशन) और चक्रीय समन्वय वंश का उपयोग करके दो दंड (इलास्टिक नेट) के मिश्रण के साथ सामान्यीकृत रैखिक मॉडल के अनुमान के लिए तेज़ एल्गोरिदम शामिल हैं, जो नियमितीकरण पथ के साथ गणना की जाती है।
+* "ग्लमनेट: लैस्सो और इलास्टिक-नेट नियमितीकृत सामान्यीकृत रैखिक मॉडल" एक सॉफ्टवेयर है जिसे आर स्रोत पैकेज और [[MATLAB|एमएटीएलएबी]] टूलबॉक्स के रूप में कार्यान्वित किया जाता है।<ref>{{cite journal|last=Friedman|first=Jerome |author2=Trevor Hastie |author3=Rob Tibshirani|date=2010|title=कोऑर्डिनेट डिसेंट के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए नियमितीकरण पथ|journal=Journal of Statistical Software|volume=33 |issue=1 |pages=1–22|doi=10.18637/jss.v033.i01 |pmid=20808728 |pmc=2929880 }}</ref><ref>{{cite web|url=https://cran.r-project.org/web/packages/glmnet/index.html|title=CRAN - पैकेज glmnet|work=r-project.org}}</ref> इसमें ℓ<sub>1</sub> (लासो), ℓ<sub>2</sub> (रिज प्रतिगमन) और चक्रीय समन्वय वंश का उपयोग करके दो पैनल्टीज़ (इलास्टिक नेट) के मिश्रण के साथ सामान्यीकृत रैखिक मॉडल के अनुमान के लिए तीव्र एल्गोरिदम सम्मिलित हैं, जो नियमितीकरण पथ के साथ गणना की जाती है।
-* [[जेएमपी (सांख्यिकीय सॉफ्टवेयर)|जेएमपी]] प्रो 11 में फिट मॉडल के साथ सामान्यीकृत रिग्रेशन व्यक्तित्व का उपयोग करते हुए इलास्टिक नेट नियमितीकरण शामिल है।
+* [[जेएमपी (सांख्यिकीय सॉफ्टवेयर)|जेएमपी]] प्रो 11 में फिट मॉडल के साथ सामान्यीकृत प्रतिगमन व्यक्तित्व का उपयोग करते हुए इलास्टिक नेट नियमितीकरण सम्मिलित है।
-* "पेंसिम: उच्च-आयामी डेटा का सिमुलेशन और समानांतर बार-बार दंडित प्रतिगमन" ℓ मापदंडों की एक वैकल्पिक, समानांतर "2 डी" ट्यूनिंग विधि लागू करता है, एक विधि जिसके परिणामस्वरूप भविष्यवाणी सटीकता में सुधार होने का दावा किया गया है।<ref>{{Cite journal
+* "पेंसिम: उच्च-विमीय डेटा का सिमुलेशन और समानांतर बार-बार पैनल्टीज़ित प्रतिगमन" ℓ मापपैनल्टीज़ों की एक वैकल्पिक, समानांतर "2D" ट्यूनिंग विधि लागू करता है, एक विधि जिसके परिणामस्वरूप भविष्यवाणी यथार्थता में सुधार होने का दावा किया गया है।<ref>{{Cite journal
 | last1 = Waldron | first1 = L.
 | last2 = Pintilie | first2 = M.
@@ Line 67: / Line 67: @@
 | pmc =3232376
 }}</ref><ref>{{cite web|url=https://cran.r-project.org/web/packages/pensim/index.html|title=क्रैन - पैकेज पेन्सिम|work=r-project.org}}</ref>
-* [[स्किकिट-लर्न]] में इलास्टिक नेट नियमितीकरण के साथ रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन और रैखिक समर्थन वेक्टर मशीनें शामिल हैं।
+* [[स्किकिट-लर्न]] में इलास्टिक नेट नियमितीकरण के साथ रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन और रैखिक सपोर्ट वेक्टर मशीनें सम्मिलित हैं।
-* SVEN, सपोर्ट वेक्टर इलास्टिक नेट का मैटलैब कार्यान्वयन। यह सॉल्वर इलास्टिक नेट समस्या को एसवीएम बाइनरी वर्गीकरण के एक उदाहरण में कम कर देता है और समाधान ढूंढने के लिए मैटलैब एसवीएम सॉल्वर का उपयोग करता है। क्योंकि एसवीएम आसानी से समानांतर करने योग्य है, कोड आधुनिक हार्डवेयर पर Glmnet से तेज़ हो सकता है।<ref>{{cite web|url=https://bitbucket.org/mlcircus/sven|title=mlcircus / SVEN — Bitbucket|work=bitbucket.org}}</ref>
+* एसवीईएन, सपोर्ट वेक्टर इलास्टिक नेट का मैटलैब कार्यान्वयन। यह सॉल्वर इलास्टिक नेट समस्या को एसवीएम बाइनरी वर्गीकरण के एक उदाहरण में कम कर देता है और समाधान ढूंढने के लिए मैटलैब एसवीएम सॉल्वर का उपयोग करता है। क्योंकि एसवीएम आसानी से समानांतर करने योग्य है, कोड आधुनिक हार्डवेयर पर जीएलएमनेट से तीव्र हो सकता है।<ref>{{cite web|url=https://bitbucket.org/mlcircus/sven|title=mlcircus / SVEN — Bitbucket|work=bitbucket.org}}</ref>
-* [http://www.imm.dtu.dk/projects/spasm/ SpaSM], विरल प्रतिगमन, वर्गीकरण और प्रमुख घटक विश्लेषण का एक मैटलैब कार्यान्वयन, जिसमें इलास्टिक नेट नियमितीकृत प्रतिगमन भी शामिल है।<ref>{{Cite journal|url = http://www.imm.dtu.dk/projects/spasm/references/spasm.pdf|title = SpaSM: A Matlab Toolbox for Sparse Statistical Modeling|last1 = Sjöstrand|first1 = Karl|date = 2 February 2016|journal = Journal of Statistical Software|last2 = Clemmensen|first2 = Line|last3 = Einarsson|first3 = Gudmundur|last4 = Larsen|first4 = Rasmus|last5 = Ersbøll|first5 = Bjarne}}</ref>
+* [http://www.imm.dtu.dk/projects/spasm/ एसपीएएसएम], विरल प्रतिगमन, वर्गीकरण और प्रमुख घटक विश्लेषण का एक मैटलैब कार्यान्वयन, जिसमें इलास्टिक नेट नियमितीकृत प्रतिगमन भी सम्मिलित है।<ref>{{Cite journal|url = http://www.imm.dtu.dk/projects/spasm/references/spasm.pdf|title = SpaSM: A Matlab Toolbox for Sparse Statistical Modeling|last1 = Sjöstrand|first1 = Karl|date = 2 February 2016|journal = Journal of Statistical Software|last2 = Clemmensen|first2 = Line|last3 = Einarsson|first3 = Gudmundur|last4 = Larsen|first4 = Rasmus|last5 = Ersbøll|first5 = Bjarne}}</ref>
-* [[अपाचे स्पार्क]] अपनी [http://spark.apache.org/mllib/ MLlib] मशीन लर्निंग लाइब्रेरी में इलास्टिक नेट रिग्रेशन के लिए समर्थन प्रदान करता है। यह विधि अधिक सामान्य LinearRegression वर्ग के पैरामीटर के रूप में उपलब्ध है।<ref>{{Cite web|url=http://spark.apache.org/docs/1.6.1/api/python/pyspark.ml.html#pyspark.ml.regression.LinearRegression|title=pyspark.ml package — PySpark 1.6.1 documentation|website=spark.apache.org|access-date=2019-04-17}}</ref>
+* [[अपाचे स्पार्क]] अपनी [http://spark.apache.org/mllib/ एमएलआईआईबी] मशीन लर्निंग लाइब्रेरी में इलास्टिक नेट प्रतिगमन के लिए समर्थन प्रदान करता है। यह विधि अधिक सामान्य रेखीयप्रतिगमन वर्ग के पैरामीटर के रूप में उपलब्ध है।<ref>{{Cite web|url=http://spark.apache.org/docs/1.6.1/api/python/pyspark.ml.html#pyspark.ml.regression.LinearRegression|title=pyspark.ml package — PySpark 1.6.1 documentation|website=spark.apache.org|access-date=2019-04-17}}</ref>
-* [[एसएएस (सॉफ्टवेयर)]] एसएएस प्रक्रिया Glmselect<ref>{{Cite web|url=http://support.sas.com/documentation/cdl/en/statug/66859/HTML/default/viewer.htm#statug_glmselect_examples06.htm|title=प्रोक Glmselect|access-date=2019-05-09}}</ref> और SAS Via प्रक्रिया रेगसेलेक्ट <ref>{{Cite web|url=https://www.sas.com/content/dam/SAS/support/en/sas-global-forum-proceedings/2020/4287-2020.pdf |title=A Survey of Methods in Variable Selection and Penalized Regression}}</ref> मॉडल चयन के लिए इलास्टिक नेट नियमितीकरण के उपयोग का समर्थन करते हैं।
+* [[एसएएस (सॉफ्टवेयर)]] जीएलएमएसएएस प्रक्रिया सलेक्ट<ref>{{Cite web|url=http://support.sas.com/documentation/cdl/en/statug/66859/HTML/default/viewer.htm#statug_glmselect_examples06.htm|title=प्रोक Glmselect|access-date=2019-05-09}}</ref> और एसएएस विया प्रक्रिया रेगसेलेक्ट <ref>{{Cite web|url=https://www.sas.com/content/dam/SAS/support/en/sas-global-forum-proceedings/2020/4287-2020.pdf |title=A Survey of Methods in Variable Selection and Penalized Regression}}</ref> मॉडल चयन के लिए इलास्टिक नेट नियमितीकरण के उपयोग का समर्थन करते हैं।
 == संदर्भ ==

Anonymous

Search

इलास्टिक नेट नियमितीकरण: Difference between revisions

Namespaces

More

Page actions

Revision as of 11:55, 13 December 2023

Contents

विनिर्देश

सपोर्ट वेक्टर मशीन में अवकरण

सॉफ्टवेयर

संदर्भ

अग्रिम पठन

बाहरी संबंध

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

इलास्टिक नेट नियमितीकरण: Difference between revisions

Revision as of 11:55, 13 December 2023

विनिर्देश

सपोर्ट वेक्टर मशीन में अवकरण

सॉफ्टवेयर

संदर्भ

अग्रिम पठन

बाहरी संबंध

Navigation

Wiki tools

Page tools

Other projects

Categories