मिरर डिसेंट: Difference between revisions

Revision as of 22:09, 21 July 2023

गणित में, दर्पण अवरोहण एक [[पुनरावृत्त कलन विधि]] है जो एक भिन्न फलन का स्थानीय न्यूनतम खोजने के लिए गणितीय अनुकूलन कलन विधि है।

यह अनुप्रवण अवरोहण और गुणनात्मक भार अद्यतन विधि जैसे कलन विधि को सामान्यीकृत करता है।

इतिहास

दर्पण वंश मूल रूप से 1983 में अरकडी नेमिरोव्स्की और युडिन द्वारा प्रस्तावित किया गया था। ^[1]

प्रेरणा

सीखने की दरों के अनुक्रम के साथ ढाल वंश में $(\eta _{n})_{n\geq 0}$ एक अलग फलन f पर लागू होता है, एक अनुमान $\mathbf {x} _{0}$ के साथ $\mathbf {x} _{0},\mathbf {x} _{1},\mathbf {x} _{2},\ldots$ प्रारम्भ होता है, जैसे कि

\mathbf {x} _{n+1}=\mathbf {x} _{n}-\eta _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.

इसे नोट करके इसे पुनः तैयार किया जा सकता है

\mathbf {x} _{n+1}=\arg \min _{\mathbf {x} }\left(F(\mathbf {x} _{n})+\nabla F(\mathbf {x} _{n})^{T}(\mathbf {x} -\mathbf {x} _{n})+{\frac {1}{2\eta _{n}}}\|\mathbf {x} -\mathbf {x} _{n}\|^{2}\right)

दूसरे शब्दों में, $\mathbf {x} _{n+1}$ अतिरिक्त निकटता $\|\mathbf {x} -\mathbf {x} _{n}\|^{2}$ शब्द के साथ $\mathbf {x} _{n}$ पर $F$ के प्रथम-क्रम सन्निकटन को न्यूनतम करता है।

यह वर्गित यूक्लिडियन दूरी पद ब्रेगमैन दूरी का एक विशेष उदाहरण है। अन्य ब्रेगमैन दूरियों का उपयोग करने से हेज कलन विधि जैसे अन्य कलन विधि प्राप्त होंगे जो विशेष ज्यामिति पर अनुकूलन के लिए अधिक उपयुक्त हो सकते हैं। ^[2]^[3]

सूत्रीकरण

हमें उत्तल सेट $K\subset \mathbb {R} ^{n}$ पर अनुकूलन करने के लिए उत्तल फ़ंक्शन f दिया गया है, और $\mathbb {R} ^{n}$ पर कुछ मानक $\|\cdot \|$ दिए गए हैं।

हमें अवकलनीय उत्तल फलन $h\colon \mathbb {R} ^{n}\to \mathbb {R}$ भी दिया गया है, $\alpha$ -�\alpha - दिए गए मानदंड के संबंध में दृढ़ता से उत्तल है। इसे दूरी उत्पन्न करने वाला फलन कहा जाता है, और इसके अनुप्रवण $\nabla h\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}$ को दर्पण मानचित्र के रूप में जाना जाता है।

मिरर डिसेंट के प्रत्येक पुनरावृत्ति में प्रारंभिक $x_{0}\in K$ से प्रारम्भ करते हुए:

दोहरे स्थान का मानचित्र: $\theta _{t}\leftarrow \nabla h(x_{t})$
अनुप्रवण चरण का उपयोग करके दोहरे स्थान में अद्यतन करें: $\theta _{t+1}\leftarrow \theta _{t}-\eta _{t}\nabla f(x_{t})$
मूल स्थान पर वापस मानचित्र करें: $x'_{t+1}\leftarrow (\nabla h)^{-1}(\theta _{t+1})$
व्यवहार्य क्षेत्र में वापस प्रोजेक्ट करें $K$ : $x_{t+1}\leftarrow \mathrm {arg} \min _{x\in K}D_{h}(x||x'_{t+1})$ , जहाँ $D_{h}$ ब्रेगमैन विचलन है।

एक्सटेंशन

ऑनलाइन अनुकूलन समायोजन में दर्पण अवरोहण को ऑनलाइन दर्पण अवरोहण (ओएमडी) के रूप में जाना जाता है। ^[4]

यह भी देखें

अनुप्रवण अवरोहण
गुणक भार अद्यतन विधि
हेज कलन विधि
ब्रेगमैन विचलन

संदर्भ

↑ Arkadi Nemirovsky and David Yudin. Problem Complexity and Method Efficiency in Optimization. John Wiley & Sons, 1983
↑ Nemirovski, Arkadi (2012) Tutorial: mirror descent algorithms for large-scale deterministic and stochastic convex optimization.https://www2.isye.gatech.edu/~nemirovs/COLT2012Tut.pdf
↑ "मिरर डिसेंट एल्गोरिदम". tlienart.github.io. Retrieved 2022-07-10.
↑ Fang, Huang; Harvey, Nicholas J. A.; Portella, Victor S.; Friedlander, Michael P. (2021-09-03). "Online mirror descent and dual averaging: keeping pace in the dynamic case". arXiv:2006.02585 [cs.LG].

| group5 = Metaheuristics | abbr5 = heuristic | list5 =

| below =

Software

}} | group5 =Metaheuuristic |abbr5 = heuristic | list5 =*विकासवादी एल्गोरिथ्म

| below =* सॉफ्टवेयर

}}

[1] Arkadi Nemirovsky and David Yudin. Problem Complexity and Method Efficiency in Optimization. John Wiley & Sons, 1983

[2] Nemirovski, Arkadi (2012) Tutorial: mirror descent algorithms for large-scale deterministic and stochastic convex optimization.https://www2.isye.gatech.edu/~nemirovs/COLT2012Tut.pdf

[3] "मिरर डिसेंट एल्गोरिदम". tlienart.github.io. Retrieved 2022-07-10.

[4] Fang, Huang; Harvey, Nicholas J. A.; Portella, Victor S.; Friedlander, Michael P. (2021-09-03). "Online mirror descent and dual averaging: keeping pace in the dynamic case". arXiv:2006.02585 [cs.LG].

[1]

[2]

[3]

[4]

@@ Line 1: / Line 1: @@
-गणित में, मिरर डिसेंट एक [[पुनरावृत्त [[कलन विधि]]]] है जो एक भिन्न फ़ंक्शन का [[स्थानीय न्यूनतम]] खोजने के लिए [[गणितीय अनुकूलन]] एल्गोरिदम है।
+गणित में, दर्पण अवरोहण एक [[पुनरावृत्त [[कलन विधि]]]] है जो एक भिन्न फलन का [[स्थानीय न्यूनतम]] खोजने के लिए [[गणितीय अनुकूलन]] कलन विधि है।
-यह [[ ढतला हुआ वंश ]] और [[गुणक भार अद्यतन विधि]] जैसे एल्गोरिदम को सामान्यीकृत करता है।
+यह [[ ढतला हुआ वंश |अनुप्रवण अवरोहण]] और गुणनात्मक [[गुणक भार अद्यतन विधि|भार अद्यतन विधि]] जैसे कलन विधि को सामान्यीकृत करता है।
 == इतिहास ==
-मिरर वंश मूल रूप से 1983 में [[अरकडी नेमिरोव्स्की]] और युडिन द्वारा प्रस्तावित किया गया था।<ref>Arkadi Nemirovsky and David Yudin. Problem Complexity and Method Efficiency in Optimization. John Wiley & Sons, 1983</ref>
+दर्पण वंश मूल रूप से 1983 में [[अरकडी नेमिरोव्स्की]] और युडिन द्वारा प्रस्तावित किया गया था। <ref>Arkadi Nemirovsky and David Yudin. Problem Complexity and Method Efficiency in Optimization. John Wiley & Sons, 1983</ref>
 == प्रेरणा ==
-सीखने की दर के अनुक्रम के साथ क्रमिक अवरोहण में <math>(\eta_n)_{n \geq 0}</math> एक भिन्न फ़ंक्शन पर लागू किया गया <math>F</math>, कोई अनुमान से शुरू करता है <math>\mathbf{x}_0</math> स्थानीय न्यूनतम के लिए <math>F</math>, और अनुक्रम पर विचार करता है <math>\mathbf{x}_0, \mathbf{x}_1, \mathbf{x}_2, \ldots</math> ऐसा है कि
+सीखने की दरों के अनुक्रम के साथ ढाल वंश में <math>(\eta_n)_{n \geq 0}</math> एक अलग फलन f पर लागू होता है, एक अनुमान <math>\mathbf{x}_0</math>  के साथ <math>\mathbf{x}_0, \mathbf{x}_1, \mathbf{x}_2, \ldots</math> प्रारम्भ होता है, जैसे कि
 :<math>\mathbf{x}_{n+1}=\mathbf{x}_n-\eta_n \nabla F(\mathbf{x}_n),\ n \ge 0.</math>
@@ Line 16: / Line 16: @@
 :<math>\mathbf{x}_{n+1}=\arg \min_{\mathbf{x}} \left(F(\mathbf{x}_n) + \nabla F(\mathbf{x}_n)^T (\mathbf{x} - \mathbf{x}_n) + \frac{1}{2 \eta_n}\|\mathbf{x} - \mathbf{x}_n\|^2\right)</math>
-दूसरे शब्दों में, <math>\mathbf{x}_{n+1}</math> प्रथम-क्रम सन्निकटन को न्यूनतम कर देता है <math>F</math> पर <math>\mathbf{x}_n</math> अतिरिक्त निकटता शब्द के साथ <math>\|\mathbf{x} - \mathbf{x}_n\|^2</math>.
+दूसरे शब्दों में, <math>\mathbf{x}_{n+1}</math>अतिरिक्त निकटता <math>\|\mathbf{x} - \mathbf{x}_n\|^2</math> शब्द के साथ <math>\mathbf{x}_n</math> पर <math>F</math> के प्रथम-क्रम सन्निकटन को न्यूनतम करता है।
-यह वर्गित यूक्लिडियन दूरी पद [[ब्रेगमैन दूरी]] का एक विशेष उदाहरण है। अन्य ब्रेगमैन दूरियों का उपयोग करने से [[हेज एल्गोरिथ्म]] जैसे अन्य एल्गोरिदम प्राप्त होंगे जो विशेष ज्यामिति पर अनुकूलन के लिए अधिक उपयुक्त हो सकते हैं।<ref>Nemirovski, Arkadi (2012) Tutorial: mirror descent algorithms for large-scale deterministic and stochastic convex optimization.https://www2.isye.gatech.edu/~nemirovs/COLT2012Tut.pdf</ref><ref>{{Cite web |title=मिरर डिसेंट एल्गोरिदम|url=https://tlienart.github.io/posts/2018/10/27-mirror-descent-algorithm/ |access-date=2022-07-10 |website=tlienart.github.io}}</ref>
+यह वर्गित यूक्लिडियन दूरी पद [[ब्रेगमैन दूरी]] का एक विशेष उदाहरण है। अन्य ब्रेगमैन दूरियों का उपयोग करने से [[हेज एल्गोरिथ्म|हेज कलन विधि]] जैसे अन्य कलन विधि प्राप्त होंगे जो विशेष ज्यामिति पर अनुकूलन के लिए अधिक उपयुक्त हो सकते हैं। <ref>Nemirovski, Arkadi (2012) Tutorial: mirror descent algorithms for large-scale deterministic and stochastic convex optimization.https://www2.isye.gatech.edu/~nemirovs/COLT2012Tut.pdf</ref><ref>{{Cite web |title=मिरर डिसेंट एल्गोरिदम|url=https://tlienart.github.io/posts/2018/10/27-mirror-descent-algorithm/ |access-date=2022-07-10 |website=tlienart.github.io}}</ref>
 == सूत्रीकरण ==
-हमें उत्तल फलन दिया गया है <math>f</math> उत्तल सेट पर अनुकूलन करने के लिए <math>K \subset \mathbb{R}^n</math>, और कुछ मानदंड दिए गए <math>\|\cdot\|</math> पर <math>\mathbb{R}^n</math>.
+हमें उत्तल सेट <math>K \subset \mathbb{R}^n</math> पर अनुकूलन करने के लिए उत्तल फ़ंक्शन f दिया गया है, और <math>\mathbb{R}^n</math> पर कुछ मानक <math>\|\cdot\|</math> दिए गए हैं।
-हमें अवकलनीय उत्तल फलन भी दिया गया है <math>h \colon \mathbb{R}^n \to \mathbb{R}</math>, <math>\alpha</math>-उत्तल फ़ंक्शन#दिए गए मानदंड के संबंध में दृढ़ता से उत्तल कार्य। इसे दूरी-उत्पादक फ़ंक्शन और इसका ग्रेडिएंट कहा जाता है <math>\nabla h \colon \mathbb{R}^n \to \mathbb{R}^n</math> दर्पण मानचित्र के नाम से जाना जाता है।
+हमें अवकलनीय उत्तल फलन <math>h \colon \mathbb{R}^n \to \mathbb{R}</math> भी दिया गया है, <math>\alpha</math>-�\alpha - दिए गए मानदंड के संबंध में दृढ़ता से उत्तल है। इसे दूरी उत्पन्न करने वाला फलन कहा जाता है, और इसके अनुप्रवण <math>\nabla h \colon \mathbb{R}^n \to \mathbb{R}^n</math> को दर्पण मानचित्र के रूप में जाना जाता है।
-शुरूआत से शुरू <math>x_0 \in K</math>, मिरर डिसेंट के प्रत्येक पुनरावृत्ति में:
+मिरर डिसेंट के प्रत्येक पुनरावृत्ति में प्रारंभिक <math>x_0 \in K</math> से प्रारम्भ करते हुए:
 * दोहरे स्थान का मानचित्र: <math>\theta_t \leftarrow \nabla h (x_t)</math>
-* ग्रेडिएंट चरण का उपयोग करके दोहरे स्थान में अद्यतन करें: <math>\theta_{t+1} \leftarrow \theta_t - \eta_t \nabla f(x_t)</math>
+* अनुप्रवण चरण का उपयोग करके दोहरे स्थान में अद्यतन करें: <math>\theta_{t+1} \leftarrow \theta_t - \eta_t \nabla f(x_t)</math>
 * मूल स्थान पर वापस मानचित्र करें: <math>x'_{t+1} \leftarrow (\nabla h)^{-1}(\theta_{t+1})</math>
-* व्यवहार्य क्षेत्र में वापस प्रोजेक्ट करें <math>K</math>: <math>x_{t+1} \leftarrow \mathrm{arg}\min_{x \in K}D_h(x||x'_{t+1})</math>, कहाँ <math>D_h</math> [[ब्रेगमैन विचलन]] है।
+* व्यवहार्य क्षेत्र में वापस प्रोजेक्ट करें <math>K</math>: <math>x_{t+1} \leftarrow \mathrm{arg}\min_{x \in K}D_h(x||x'_{t+1})</math>, जहाँ <math>D_h</math> [[ब्रेगमैन विचलन]] है।
 == एक्सटेंशन ==
-[[ऑनलाइन अनुकूलन]] सेटिंग में मिरर डिसेंट को ऑनलाइन मिरर डिसेंट (ओएमडी) के रूप में जाना जाता है।<ref>{{cite arXiv|last1=Fang|first1=Huang|last2=Harvey|first2=Nicholas J. A.|last3=Portella|first3=Victor S.|last4=Friedlander|first4=Michael P.|date=2021-09-03|title=Online mirror descent and dual averaging: keeping pace in the dynamic case|class=cs.LG|eprint=2006.02585}}</ref>
+[[ऑनलाइन अनुकूलन]] समायोजन में दर्पण अवरोहण को ऑनलाइन दर्पण अवरोहण (ओएमडी) के रूप में जाना जाता है। <ref>{{cite arXiv|last1=Fang|first1=Huang|last2=Harvey|first2=Nicholas J. A.|last3=Portella|first3=Victor S.|last4=Friedlander|first4=Michael P.|date=2021-09-03|title=Online mirror descent and dual averaging: keeping pace in the dynamic case|class=cs.LG|eprint=2006.02585}}</ref>
 == यह भी देखें ==
-* ढतला हुआ वंश
+* अनुप्रवण अवरोहण
 * गुणक भार अद्यतन विधि
-* हेज एल्गोरिदम
+* हेज कलन विधि
 * ब्रेगमैन विचलन

Anonymous

Search

मिरर डिसेंट: Difference between revisions

Namespaces

More

Page actions

Revision as of 22:09, 21 July 2023

Contents

इतिहास

प्रेरणा

सूत्रीकरण

एक्सटेंशन

यह भी देखें

संदर्भ

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

मिरर डिसेंट: Difference between revisions

Revision as of 22:09, 21 July 2023

इतिहास

प्रेरणा

सूत्रीकरण

एक्सटेंशन

यह भी देखें

संदर्भ

Navigation

Wiki tools

Page tools

Other projects

Categories