मिरर डिसेंट: Difference between revisions
(Created page with "गणित में, मिरर डिसेंट एक [[पुनरावृत्त कलन विधि]] है जो एक भिन्न फ़ंक...") |
No edit summary |
||
(8 intermediate revisions by 5 users not shown) | |||
Line 1: | Line 1: | ||
गणित में, मिरर डिसेंट एक | गणित में, '''मिरर डिसेंट''' एक पुनरावृत्त [[कलन विधि]] है जो एक भिन्न फलन का [[स्थानीय न्यूनतम]] खोजने के लिए [[गणितीय अनुकूलन]] कलन विधि है। | ||
यह [[ ढतला हुआ वंश ]] और [[गुणक भार अद्यतन विधि]] जैसे | यह [[ ढतला हुआ वंश |अनुप्रवण अवरोहण]] और गुणनात्मक [[गुणक भार अद्यतन विधि|भार अद्यतन विधि]] जैसे कलन विधि को सामान्यीकृत करता है। | ||
== इतिहास == | == इतिहास == | ||
दर्पण वंश मूल रूप से 1983 में [[अरकडी नेमिरोव्स्की]] और युडिन द्वारा प्रस्तावित किया गया था। <ref>Arkadi Nemirovsky and David Yudin. Problem Complexity and Method Efficiency in Optimization. John Wiley & Sons, 1983</ref> | |||
== प्रेरणा == | == प्रेरणा == | ||
अधिगम दरों के अनुक्रम के साथ अनुप्रवण अन्वय में <math>(\eta_n)_{n \geq 0}</math> एक अलग फलन f पर लागू होता है, एक अनुमान <math>\mathbf{x}_0</math> के साथ <math>\mathbf{x}_0, \mathbf{x}_1, \mathbf{x}_2, \ldots</math> प्रारम्भ होता है, जैसे कि | |||
:<math>\mathbf{x}_{n+1}=\mathbf{x}_n-\eta_n \nabla F(\mathbf{x}_n),\ n \ge 0.</math> | :<math>\mathbf{x}_{n+1}=\mathbf{x}_n-\eta_n \nabla F(\mathbf{x}_n),\ n \ge 0.</math> | ||
Line 16: | Line 16: | ||
:<math>\mathbf{x}_{n+1}=\arg \min_{\mathbf{x}} \left(F(\mathbf{x}_n) + \nabla F(\mathbf{x}_n)^T (\mathbf{x} - \mathbf{x}_n) + \frac{1}{2 \eta_n}\|\mathbf{x} - \mathbf{x}_n\|^2\right)</math> | :<math>\mathbf{x}_{n+1}=\arg \min_{\mathbf{x}} \left(F(\mathbf{x}_n) + \nabla F(\mathbf{x}_n)^T (\mathbf{x} - \mathbf{x}_n) + \frac{1}{2 \eta_n}\|\mathbf{x} - \mathbf{x}_n\|^2\right)</math> | ||
दूसरे शब्दों में, <math>\mathbf{x}_{n+1}</math> | दूसरे शब्दों में, <math>\mathbf{x}_{n+1}</math>अतिरिक्त निकटता <math>\|\mathbf{x} - \mathbf{x}_n\|^2</math> शब्द के साथ <math>\mathbf{x}_n</math> पर <math>F</math> के प्रथम-क्रम सन्निकटन को न्यूनतम करता है। | ||
यह वर्गित यूक्लिडियन दूरी पद [[ब्रेगमैन दूरी]] का एक विशेष उदाहरण है। अन्य ब्रेगमैन दूरियों का उपयोग करने से [[हेज एल्गोरिथ्म]] जैसे अन्य | यह वर्गित यूक्लिडियन दूरी पद [[ब्रेगमैन दूरी]] का एक विशेष उदाहरण है। अन्य ब्रेगमैन दूरियों का उपयोग करने से [[हेज एल्गोरिथ्म|हेज कलन विधि]] जैसे अन्य कलन विधि प्राप्त होंगे जो विशेष ज्यामिति पर अनुकूलन के लिए अधिक उपयुक्त हो सकते हैं। <ref>Nemirovski, Arkadi (2012) Tutorial: mirror descent algorithms for large-scale deterministic and stochastic convex optimization.https://www2.isye.gatech.edu/~nemirovs/COLT2012Tut.pdf</ref><ref>{{Cite web |title=मिरर डिसेंट एल्गोरिदम|url=https://tlienart.github.io/posts/2018/10/27-mirror-descent-algorithm/ |access-date=2022-07-10 |website=tlienart.github.io}}</ref> | ||
== सूत्रीकरण == | == सूत्रीकरण == | ||
हमें उत्तल | हमें उत्तल सम्मुच्चय <math>K \subset \mathbb{R}^n</math> पर अनुकूलन करने के लिए उत्तल फलन f दिया गया है, और <math>\mathbb{R}^n</math> पर कुछ मानक <math>\|\cdot\|</math> दिए गए हैं। | ||
हमें अवकलनीय उत्तल फलन | हमें अवकलनीय उत्तल फलन <math>h \colon \mathbb{R}^n \to \mathbb{R}</math> भी दिया गया है, <math>\alpha</math> दिए गए मानदंड के संबंध में दृढ़ता से उत्तल है। इसे दूरी उत्पन्न करने वाला फलन कहा जाता है, और इसके अनुप्रवण <math>\nabla h \colon \mathbb{R}^n \to \mathbb{R}^n</math> को दर्पण मानचित्र के रूप में जाना जाता है। | ||
मिरर डिसेंट के प्रत्येक पुनरावृत्ति में प्रारंभिक <math>x_0 \in K</math> से प्रारम्भ करते हुए: | |||
* दोहरे स्थान का मानचित्र: <math>\theta_t \leftarrow \nabla h (x_t)</math> | * दोहरे स्थान का मानचित्र: <math>\theta_t \leftarrow \nabla h (x_t)</math> | ||
* | * अनुप्रवण चरण का उपयोग करके दोहरे स्थान में अद्यतन करें: <math>\theta_{t+1} \leftarrow \theta_t - \eta_t \nabla f(x_t)</math> | ||
* मूल स्थान पर वापस मानचित्र करें: <math>x'_{t+1} \leftarrow (\nabla h)^{-1}(\theta_{t+1})</math> | * मूल स्थान पर वापस मानचित्र करें: <math>x'_{t+1} \leftarrow (\nabla h)^{-1}(\theta_{t+1})</math> | ||
* व्यवहार्य क्षेत्र में वापस प्रोजेक्ट करें <math>K</math>: <math>x_{t+1} \leftarrow \mathrm{arg}\min_{x \in K}D_h(x||x'_{t+1})</math>, | * व्यवहार्य क्षेत्र में वापस प्रोजेक्ट करें <math>K</math>: <math>x_{t+1} \leftarrow \mathrm{arg}\min_{x \in K}D_h(x||x'_{t+1})</math>, जहाँ <math>D_h</math> [[ब्रेगमैन विचलन]] है। | ||
== एक्सटेंशन == | == एक्सटेंशन == | ||
[[ऑनलाइन अनुकूलन]] | [[ऑनलाइन अनुकूलन]] समायोजन में दर्पण अवरोहण को ऑनलाइन दर्पण अवरोहण (ओएमडी) के रूप में जाना जाता है। <ref>{{cite arXiv|last1=Fang|first1=Huang|last2=Harvey|first2=Nicholas J. A.|last3=Portella|first3=Victor S.|last4=Friedlander|first4=Michael P.|date=2021-09-03|title=Online mirror descent and dual averaging: keeping pace in the dynamic case|class=cs.LG|eprint=2006.02585}}</ref> | ||
== यह भी देखें == | == यह भी देखें == | ||
* | * अनुप्रवण अवरोहण | ||
* गुणक भार अद्यतन विधि | * गुणक भार अद्यतन विधि | ||
* हेज | * हेज कलन विधि | ||
* ब्रेगमैन विचलन | * ब्रेगमैन विचलन | ||
Line 50: | Line 50: | ||
{{Optimization algorithms|unconstrained}} | {{Optimization algorithms|unconstrained}} | ||
[[Category:Collapse templates]] | |||
[[Category: | |||
[[Category:Created On 10/07/2023]] | [[Category:Created On 10/07/2023]] | ||
[[Category:Machine Translated Page]] | |||
[[Category:Navigational boxes| ]] | |||
[[Category:Navigational boxes without horizontal lists]] | |||
[[Category:Pages using duplicate arguments in template calls]] | |||
[[Category:Pages with script errors]] | |||
[[Category:Sidebars with styles needing conversion]] | |||
[[Category:Template documentation pages|Documentation/doc]] | |||
[[Category:Templates Translated in Hindi]] | |||
[[Category:Templates Vigyan Ready]] | |||
[[Category:Templates generating microformats]] | |||
[[Category:Templates that are not mobile friendly]] | |||
[[Category:Templates using TemplateData]] | |||
[[Category:Wikipedia metatemplates]] | |||
[[Category:अनुकूलन एल्गोरिदम और विधियाँ]] | |||
[[Category:गणितीय अनुकूलन]] | |||
[[Category:ग्रेडियेंट तरीके]] |
Latest revision as of 15:09, 2 August 2023
गणित में, मिरर डिसेंट एक पुनरावृत्त कलन विधि है जो एक भिन्न फलन का स्थानीय न्यूनतम खोजने के लिए गणितीय अनुकूलन कलन विधि है।
यह अनुप्रवण अवरोहण और गुणनात्मक भार अद्यतन विधि जैसे कलन विधि को सामान्यीकृत करता है।
इतिहास
दर्पण वंश मूल रूप से 1983 में अरकडी नेमिरोव्स्की और युडिन द्वारा प्रस्तावित किया गया था। [1]
प्रेरणा
अधिगम दरों के अनुक्रम के साथ अनुप्रवण अन्वय में एक अलग फलन f पर लागू होता है, एक अनुमान के साथ प्रारम्भ होता है, जैसे कि
इसे नोट करके इसे पुनः तैयार किया जा सकता है
दूसरे शब्दों में, अतिरिक्त निकटता शब्द के साथ पर के प्रथम-क्रम सन्निकटन को न्यूनतम करता है।
यह वर्गित यूक्लिडियन दूरी पद ब्रेगमैन दूरी का एक विशेष उदाहरण है। अन्य ब्रेगमैन दूरियों का उपयोग करने से हेज कलन विधि जैसे अन्य कलन विधि प्राप्त होंगे जो विशेष ज्यामिति पर अनुकूलन के लिए अधिक उपयुक्त हो सकते हैं। [2][3]
सूत्रीकरण
हमें उत्तल सम्मुच्चय पर अनुकूलन करने के लिए उत्तल फलन f दिया गया है, और पर कुछ मानक दिए गए हैं।
हमें अवकलनीय उत्तल फलन भी दिया गया है, दिए गए मानदंड के संबंध में दृढ़ता से उत्तल है। इसे दूरी उत्पन्न करने वाला फलन कहा जाता है, और इसके अनुप्रवण को दर्पण मानचित्र के रूप में जाना जाता है।
मिरर डिसेंट के प्रत्येक पुनरावृत्ति में प्रारंभिक से प्रारम्भ करते हुए:
- दोहरे स्थान का मानचित्र:
- अनुप्रवण चरण का उपयोग करके दोहरे स्थान में अद्यतन करें:
- मूल स्थान पर वापस मानचित्र करें:
- व्यवहार्य क्षेत्र में वापस प्रोजेक्ट करें : , जहाँ ब्रेगमैन विचलन है।
एक्सटेंशन
ऑनलाइन अनुकूलन समायोजन में दर्पण अवरोहण को ऑनलाइन दर्पण अवरोहण (ओएमडी) के रूप में जाना जाता है। [4]
यह भी देखें
- अनुप्रवण अवरोहण
- गुणक भार अद्यतन विधि
- हेज कलन विधि
- ब्रेगमैन विचलन
संदर्भ
- ↑ Arkadi Nemirovsky and David Yudin. Problem Complexity and Method Efficiency in Optimization. John Wiley & Sons, 1983
- ↑ Nemirovski, Arkadi (2012) Tutorial: mirror descent algorithms for large-scale deterministic and stochastic convex optimization.https://www2.isye.gatech.edu/~nemirovs/COLT2012Tut.pdf
- ↑ "मिरर डिसेंट एल्गोरिदम". tlienart.github.io. Retrieved 2022-07-10.
- ↑ Fang, Huang; Harvey, Nicholas J. A.; Portella, Victor S.; Friedlander, Michael P. (2021-09-03). "Online mirror descent and dual averaging: keeping pace in the dynamic case". arXiv:2006.02585 [cs.LG].
| group5 = Metaheuristics | abbr5 = heuristic | list5 =
| below =
}} | group5 =Metaheuuristic |abbr5 = heuristic | list5 =*विकासवादी एल्गोरिथ्म
| below =* सॉफ्टवेयर
}}