क्रॉस-एन्ट्रॉपी विधि: Difference between revisions

Latest revision as of 12:30, 28 July 2023

क्रॉस-एन्ट्रॉपी (सीई) विधि आवश्यक प्रतिदर्श और अनुकूलन के लिए एक मोंटे कार्लो विधि है। यह स्थिर या शोर वाले उद्देश्य के साथ संयुक्त और निरंतर दोनों समस्याओं पर लागू होता है।

यह विधि द्विचरणीय तकनीक का उपयोग करके उत्तम आवश्यक प्रतिदर्श प्राक्कलन कर्त्ता का अनुमान लगाता है:^[1]

संभाव्यता वितरण से एक प्रतिदर्श बनाएं।
अगले पुनरावृत्ति में उत्तम प्रतिदर्श तैयार करने के लिए इस वितरण और लक्ष्य वितरण के बीच क्रॉस-एन्ट्रॉपी को कम करें।

रूवेन रुबिनस्टीन ने यह विधि द्विपक्षीय घटना अनुकरण के सन्दर्भ में विकसित की, जहां अत्यंत कम प्रायिकता को अनुमानित किया जाना आवश्यक होता है। उदाहरण के लिए नेटवर्क विश्वसनीयता विश्लेषण, कतारीय मॉडल, या दूरसंचार प्रणालियों के प्रदर्शन विश्लेषण में छोटे प्रायिकत्वों का अनुमान लगाना आवश्यक होता है।।

यह विधि ट्रैवलिंग सेल्समैन की समस्या, द्विघात असाइनमेंट समस्या, डीएनए अनुक्रम संरेखण, मैक्सकट, और बफर आवंटन समस्याओं पर भी लागू की गई है।

आवश्यक प्रतिदर्श के माध्यम से अनुमान

मात्रा का अनुमान लगाने की सामान्य समस्या पर विचार करें

$\ell =\mathbb {E} _{\mathbf {u} }[H(\mathbf {X} )]=\int H(\mathbf {x} )\,f(\mathbf {x} ;\mathbf {u} )\,{\textrm {d}}\mathbf {x}$ ,

यहां, $H$ कोई प्रदर्शन फलन है और $f(\mathbf {x} ;\mathbf {u} )$ कुछ पैरामीट्रिक समूह के विशेषज्ञ वितरण है। आवश्यक प्रतिदर्श का उपयोग करके इस मात्रा का अनुमान लगाया जा सकता है।

${\hat {\ell }}={\frac {1}{N}}\sum _{i=1}^{N}H(\mathbf {X} _{i}){\frac {f(\mathbf {X} _{i};\mathbf {u} )}{g(\mathbf {X} _{i})}}$ ,

यहां, $\mathbf {X} _{1},\dots ,\mathbf {X} _{N}$ $g,$ से एक यादृच्छिक प्रतिदर्श है। ध्यान दें कि $H$ सकारात्मक है। सैद्धांतिक रूप से, इष्टतम आवश्यक प्रतिदर्श घनत्व (पीडीएफ) निम्नलिखित रूप में दिया गया है:

$g^{*}(\mathbf {x} )=H(\mathbf {x} )f(\mathbf {x} ;\mathbf {u} )/\ell$ .

यद्यपि , यह अज्ञात $\ell$ पर निर्भर करता है। सीई विधि का उद्देश्य इष्टतम पीडीएफ को अनुमानित करना है, जिसमें पैरामीट्रिक समूह के सदस्यों का चयन समांतर रूप से किया जाता है जो इष्टतम पीडीएफ $g^{*}$ से सबसे नजदीक होते हैं।

सामान्य सीई कलन विधि

आरंभिक पैरामीटर वेक्टर $\mathbf {v} ^{(0)}$ चुनें; t को 1 से सेट करें।.
$f(\cdot ;\mathbf {v} ^{(t-1)})$ से एक यादृच्छिक प्रतिदर्श $\mathbf {X} _{1},\dots ,\mathbf {X} _{N}$ उत्पन्न करें।
$\mathbf {v} ^{(t)}$ के लिए समस्या का हल करें, जहां
$\mathbf {v} ^{(t)}=\mathop {\textrm {argmax}} {\mathbf {v} }{\frac {1}{N}}\sum {i=1}^{N}H(\mathbf {X} _{i}){\frac {f(\mathbf {X} _{i};\mathbf {u} )}{f(\mathbf {X} _{i};\mathbf {v} ^{(t-1)})}}\log f(\mathbf {X} _{i};\mathbf {v} )$
यदि संघटन तक पहुंचा जाता है, तो रुकें; अन्यथा, t को 1 बढ़ाएं और पुनः चरण 2 से दोहराएं।

अन्य स्थितियों में, चरण 3 का समाधान विश्लेषणात्मक रूप से पाया जा सकता है। जिन स्थितियों में ऐसा होता है वे हैं

जब $f,$ प्राकृतिक घातीय परिवार का भाग है।
जब $f,$ एक विकल्पिक वितरण है जिसमें समर्थन सीमित होता है।
जब यदि $H(\mathbf {X} )=\mathrm {I} _{\mathbf {x} \in A}$ है और $f(\mathbf {X} _{i};\mathbf {u} )=f(\mathbf {X} _{i};\mathbf {v} ^{(t-1)})$ है, तो $\mathbf {v} ^{(t)}$ वह अधिकतम योग्यता अनुमानकर्ता है जो उन $\mathbf {X} _{k}\in A$ पर आधारित है।.

सतत अनुकूलन—उदाहरण

एक समान सीई एल्गोरिदम का उपयोग अनुमान नहीं करने, बल्कि अनुकरण के लिए किया जा सकता है। मान लें समस्या है कि किसी फ़ंक्शन $S$ को अधिकतम बनाने के लिए है। उदाहरण के रूप में,

 $S(x)={\textrm {e}}^{-(x-2)^{2}}+0.8\,{\textrm {e}}^{-(x+2)^{2}}$ .

सीई को लागू करने के लिए, पहले संबंधित यादृच्छिक समस्या का ध्यान दिया जाता है जो एक दिए गए स्तर $\mathbb {P} _{\boldsymbol {\theta }}(S(X)\geq \gamma )$ और पैरामीट्रिक समूह $\gamma \,$ ,के लिए $\left\{f(\cdot ;{\boldsymbol {\theta }})\right\}$ , का अनुमान लगाने का प्रयास करता है। उदाहरण के लिए 1-आयामी गौसियन वितरण, जिसका अर्थ होता है कि एक आयामी यादृच्छिक समूह इसका अर्थ $\mu _{t}\,$ और परिवर्तन $\sigma _{t}^{2}$ से पैरामीटराइज़ किया गया है इसका अर्थ ${\boldsymbol {\theta }}=(\mu ,\sigma ^{2})$ है।

इसलिए, एक दिए गए स्तर $\gamma \,$ ,के लिए, लक्ष्य होता है कि ऐसे ${\boldsymbol {\theta }}$ को खोजा जाए जिससे KL डाइवर्जेंस $D_{\mathrm {KL} }({\textrm {I}}_{\{S(x)\geq \gamma \}}\|f_{\boldsymbol {\theta }})$ को कम से कम किया जा सके, इसे समस्त प्रतिदर्श संस्करण के साथ एक प्रकार की केएल विचलन न्यूनतमीकरण समस्या के समाधान के रूप में किया जाता है, जैसा कि ऊपर स्टेप 3 में दिखाया गया है।

यह सिद्ध हुआ है कि इस चयनित लक्ष्य वितरण और पैरामीट्रिक परिवार के लिए स्टोकेस्टिक संबंधी को न्यूनतम करने वाले पैरामीटर वे नमूने हैं जिनके उद्देश्य फलन का मान $\geq \gamma$ . है

फिर विशिष्ट नमूनों में से सबसे खराब को अगले पुनरावृत्ति के लिए स्तर पैरामीटर के रूप में उपयोग किया जाता है। यह निम्नलिखित यादृच्छिक एल्गोरिदम उत्पन्न करता है जो वितरण एल्गोरिदम के तथाकथित अनुमान मल्टीवेरिएट नॉर्मल एल्गोरिदम (ईएमएनए) के साथ मेल खाता है।

पुनः विशिष्ट प्रतिदर्श मे अमान्य प्रतिदर्श अगले अनुक्रम के लिए स्तर पैरामीटर के रूप में उपयोग किया जाता है। इससे निम्नलिखित यादृच्छिक कलन-विधि उत्पन्न करता है जो वितरण कलन-विधि के तथाकथित अनुमान बहुभिन्नरूपी सामान्य कलन-विधि (ईएमएनए) के साथ मेल खाता है।

छद्मकोड

// Initialize parameters                                                                                                       μ := −6
σ2 := 100
t := 0
maxits := 100
N := 100
Ne := 10
// While maxits not exceeded and not converged
while t < maxits and σ2 > ε do
    // Obtain N samples from current sampling distribution
    X := SampleGaussian(μ, σ2, N)
    // Evaluate objective function at sampled points
    S := exp(−(X − 2) ^ 2) + 0.8 exp(−(X + 2) ^ 2)
    // Sort X by objective function values in descending order
    X := sort(X, S)
    // Update parameters of sampling distribution                  
    μ := mean(X(1:Ne))
    σ2 := var(X(1:Ne))
    t := t + 1
// Return mean of final sampling distribution as solution

यह भी देखें

क्रॉस एन्ट्रापी
कुल्बैक-लीब्लर विचलन
यादृच्छिक एल्गोरिदम
आवश्यक प्रतिदर्श करण

जर्नल पेपर्स

डी बोअर, पी-टी., क्रोसे, डी.पी., मैन्नोर, एस. और रुबिनस्टीन, आर.वाई. (2005)। क्रॉस-एन्ट्रॉपी विधि पर एक ट्यूटोरियल। एनल्स ऑफ ऑपरेशंस रिसर्च, '134' (1), 19-67।[1]
रुबिनस्टीन, आर.वाई. (1997)। दुर्लभ घटनाओं के साथ कंप्यूटर सिमुलेशन मॉडल का अनुकूलन, यूरोपियन जर्नल ऑफ ऑपरेशनल रिसर्च, '99', 89-112।

सॉफ़्टवेयर कार्यान्वयन

संदर्भ

↑ Rubinstein, R.Y. and Kroese, D.P. (2004), The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning, Springer-Verlag, New York ISBN 978-0-387-21240-1.

[1] Rubinstein, R.Y. and Kroese, D.P. (2004), The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning, Springer-Verlag, New York ISBN 978-0-387-21240-1.

[1]

@@ Line 1: / Line 1: @@
-क्रॉस-एंट्रॉपी (सीई) विधि [[महत्व नमूनाकरण]] और [[अनुकूलन (गणित)]] के लिए एक [[मोंटे कार्लो विधि]] विधि है। यह स्थिर या शोर वाले उद्देश्य के साथ संयोजन अनुकूलन और [[सतत अनुकूलन]] समस्याओं दोनों पर लागू होता है।
+'''क्रॉस-एन्ट्रॉपी (सीई) विधि''' [[महत्व नमूनाकरण|आवश्यक प्रतिदर्श]] और अनुकूलन के लिए एक मोंटे कार्लो विधि है। यह स्थिर या शोर वाले उद्देश्य के साथ संयुक्त और निरंतर दोनों समस्याओं पर लागू होता है।
-विधि दो चरणों को दोहराकर इष्टतम महत्व नमूना अनुमानक का अनुमान लगाती है:<ref>Rubinstein, R.Y. and  Kroese, D.P. (2004), The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning, Springer-Verlag, New York {{ISBN|978-0-387-21240-1}}.</ref>
+यह विधि द्विचरणीय तकनीक का उपयोग करके उत्तम आवश्यक   [[महत्व नमूनाकरण|प्रतिदर्श]] प्राक्कलन कर्त्ता का अनुमान लगाता है:<ref>Rubinstein, R.Y. and  Kroese, D.P. (2004), The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning, Springer-Verlag, New York {{ISBN|978-0-387-21240-1}}.</ref>
-#संभाव्यता वितरण से एक नमूना बनाएं।
+#संभाव्यता वितरण से एक प्रतिदर्श बनाएं।
-#अगले पुनरावृत्ति में बेहतर नमूना तैयार करने के लिए इस वितरण और लक्ष्य वितरण के बीच क्रॉस-एन्ट्रॉपी|क्रॉस-एन्ट्रॉपी को कम करें।
+#अगले पुनरावृत्ति में उत्तम प्रतिदर्श तैयार करने के लिए इस वितरण और लक्ष्य वितरण के बीच क्रॉस-एन्ट्रॉपी को कम करें।
-[[रूवेन रुबिनस्टीन]] ने दुर्लभ घटना सिमुलेशन के संदर्भ में विधि विकसित की, जहां छोटी संभावनाओं का अनुमान लगाया जाना चाहिए, उदाहरण के लिए नेटवर्क विश्वसनीयता विश्लेषण, कतारबद्ध मॉडल, या दूरसंचार प्रणालियों के प्रदर्शन विश्लेषण में। यह विधि [[ट्रैवलिंग सेल्समैन की समस्या]], [[द्विघात असाइनमेंट समस्या]], [[अनुक्रम संरेखण]], [[मैक्सकट]]|मैक्स-कट और बफर आवंटन समस्याओं पर भी लागू की गई है।
+[[रूवेन रुबिनस्टीन]] ने यह विधि द्विपक्षीय घटना अनुकरण के सन्दर्भ में विकसित की, जहां अत्यंत कम प्रायिकता को अनुमानित किया जाना आवश्यक होता है। उदाहरण के लिए नेटवर्क विश्वसनीयता विश्लेषण, कतारीय मॉडल, या दूरसंचार प्रणालियों के प्रदर्शन विश्लेषण में छोटे प्रायिकत्वों का अनुमान लगाना आवश्यक होता है।।
-==महत्व नमूने के माध्यम से अनुमान==
+यह विधि [[ट्रैवलिंग सेल्समैन की समस्या]], [[द्विघात असाइनमेंट समस्या]],  [[अनुक्रम संरेखण|डीएनए अनुक्रम संरेखण]], [[मैक्सकट]], और बफर आवंटन समस्याओं पर भी लागू की गई है।
+==आवश्यक प्रतिदर्श के माध्यम से अनुमान==
 मात्रा का अनुमान लगाने की सामान्य समस्या पर विचार करें
 <math>\ell = \mathbb{E}_{\mathbf{u}}[H(\mathbf{X})] = \int H(\mathbf{x})\, f(\mathbf{x}; \mathbf{u})\, \textrm{d}\mathbf{x}</math>,
-कहाँ <math>H</math> कुछ प्रदर्शन समारोह है और <math>f(\mathbf{x};\mathbf{u})</math> वितरण के कुछ [[पैरामीट्रिक परिवार]] का सदस्य है। महत्व नमूने का उपयोग करके इस मात्रा का अनुमान लगाया जा सकता है
+यहां, <math>H</math> कोई प्रदर्शन फलन है और <math>f(\mathbf{x};\mathbf{u})</math> कुछ [[पैरामीट्रिक परिवार|पैरामीट्रिक]] समूह के विशेषज्ञ वितरण है। [[अहमद सैंपलिंग|आवश्यक प्रतिदर्श]] का उपयोग करके इस मात्रा का अनुमान लगाया जा सकता है।
 <math>\hat{\ell} = \frac{1}{N} \sum_{i=1}^N H(\mathbf{X}_i) \frac{f(\mathbf{X}_i; \mathbf{u})}{g(\mathbf{X}_i)}</math>,
-कहाँ <math>\mathbf{X}_1,\dots,\mathbf{X}_N</math> से एक यादृच्छिक नमूना है <math>g\,</math>. सकारात्मक के लिए <math>H</math>, सैद्धांतिक रूप से इष्टतम महत्व नमूना संभाव्यता घनत्व फ़ंक्शन (पीडीएफ) द्वारा दिया गया है
+यहां, <math>\mathbf{X}_1,\dots,\mathbf{X}_N</math> <math>g,</math> से एक यादृच्छिक प्रतिदर्श है। ध्यान दें कि <math>H</math> सकारात्मक है। सैद्धांतिक रूप से,  इष्टतम [[अहमद सैंपलिंग|आवश्यक]] प्रतिदर्श [[प्रायोजनशीलता घनत्व|घनत्व]] (पीडीएफ) निम्नलिखित रूप में दिया गया है:
 <math> g^*(\mathbf{x}) = H(\mathbf{x}) f(\mathbf{x};\mathbf{u})/\ell</math>.
-हालाँकि, यह अज्ञात पर निर्भर करता है <math>\ell</math>. सीई विधि का लक्ष्य पैरामीट्रिक परिवार के उन सदस्यों का अनुकूलनपूर्वक चयन करके इष्टतम पीडीएफ का अनुमान लगाना है जो इष्टतम पीडीएफ के सबसे करीब हैं (कुलबैक-लीबलर विचलन | कुलबैक-लीबलर अर्थ में)। <math>g^*</math>.
+यद्यपि , यह अज्ञात <math>\ell</math> पर निर्भर करता है। सीई विधि का उद्देश्य इष्टतम पीडीएफ को अनुमानित करना है, जिसमें पैरामीट्रिक समूह  के सदस्यों का चयन समांतर रूप से किया जाता है जो  इष्टतम पीडीएफ <math>g^*</math> से सबसे नजदीक होते हैं।
+== सामान्य सीई कलन विधि ==
+# आरंभिक पैरामीटर वेक्टर <math>\mathbf{v}^{(0)}</math> चुनें; t को 1 से सेट करें।.
+# <math>f(\cdot;\mathbf{v}^{(t-1)})</math> से एक यादृच्छिक प्रतिदर्श <math>\mathbf{X}_1,\dots,\mathbf{X}_N</math> उत्पन्न करें।
+# <math>\mathbf{v}^{(t)}</math> के लिए समस्या का हल करें, जहां
+#<math>\mathbf{v}^{(t)} = \mathop{\textrm{argmax}}{\mathbf{v}} \frac{1}{N} \sum{i=1}^N H(\mathbf{X}_i)\frac{f(\mathbf{X}_i;\mathbf{u})}{f(\mathbf{X}_i;\mathbf{v}^{(t-1)})} \log f(\mathbf{X}_i;\mathbf{v})</math>
+# यदि संघटन तक पहुंचा जाता है, तो '''रुकें'''; अन्यथा, t को 1 बढ़ाएं और पुनः चरण 2 से दोहराएं।
+अन्य स्थितियों में, चरण 3 का समाधान विश्लेषणात्मक रूप से पाया जा सकता है। जिन स्थितियों में ऐसा होता है वे हैं
+* जब <math>f,</math> प्राकृतिक घातीय परिवार का भाग है।
+* जब <math>f,</math> एक [[विकल्पिक अंतरिक्ष|विकल्पिक]] वितरण है जिसमें [[समर्थन (गणित)|समर्थन]] सीमित होता है।
+* जब यदि <math>H(\mathbf{X}) = \mathrm{I}_{{\mathbf{x}\in A}}</math> है और <math>f(\mathbf{X}_i;\mathbf{u}) = f(\mathbf{X}_i;\mathbf{v}^{(t-1)})</math> है, तो <math>\mathbf{v}^{(t)}</math> वह [[अधिकतम योग्यता|अधिकतम योग्यता अनुमानकर्ता]] है जो उन <math>\mathbf{X}_k \in A</math> पर आधारित है।.
-==जेनेरिक सीई एल्गोरिदम==
-# प्रारंभिक पैरामीटर वेक्टर चुनें <math>\mathbf{v}^{(0)}</math>; सेट टी = 1.
-# एक यादृच्छिक नमूना उत्पन्न करें <math>\mathbf{X}_1,\dots,\mathbf{X}_N</math> से <math>f(\cdot;\mathbf{v}^{(t-1)})</math>
-# के लिए हल <math>\mathbf{v}^{(t)}</math>, कहां<br><math>\mathbf{v}^{(t)} = \mathop{\textrm{argmax}}_{\mathbf{v}} \frac{1}{N} \sum_{i=1}^N H(\mathbf{X}_i)\frac{f(\mathbf{X}_i;\mathbf{u})}{f(\mathbf{X}_i;\mathbf{v}^{(t-1)})} \log f(\mathbf{X}_i;\mathbf{v})</math>
-# अगर सहमति बन जाए तो रुक जाओ; अन्यथा, t को 1 से बढ़ाएँ और चरण 2 से दोहराएँ।
-कई मामलों में, चरण 3 का समाधान ''विश्लेषणात्मक'' रूप से पाया जा सकता है। जिन स्थितियों में ऐसा होता है वे हैं
-* कब <math>f\,</math> [[घातीय परिवार]] से संबंधित है
-* कब <math>f\,</math> परिमित समर्थन के साथ [[पृथक स्थान]] है (गणित)
-* कब <math>H(\mathbf{X}) = \mathrm{I}_{\{\mathbf{x}\in A\}}</math> और <math>f(\mathbf{X}_i;\mathbf{u}) = f(\mathbf{X}_i;\mathbf{v}^{(t-1)})</math>, तब <math>\mathbf{v}^{(t)}</math> उनके आधार पर अधिकतम संभावना से मेल खाती है <math>\mathbf{X}_k \in A</math>.
 == सतत अनुकूलन—उदाहरण==
-अनुमान के बजाय अनुकूलन के लिए समान सीई एल्गोरिदम का उपयोग किया जा सकता है।
+एक समान सीई एल्गोरिदम का उपयोग अनुमान नहीं करने, बल्कि अनुकरण के लिए किया जा सकता है। मान लें समस्या है कि किसी फ़ंक्शन <math>S</math> को अधिकतम बनाने के लिए है। उदाहरण के रूप में,
-मान लीजिए कि समस्या किसी फ़ंक्शन को अधिकतम करने की है <math>S</math>, उदाहरण के लिए,
   <math>S(x) = \textrm{e}^{-(x-2)^2} + 0.8\,\textrm{e}^{-(x+2)^2}</math>.
-सीई को लागू करने के लिए, पहले अनुमान लगाने की संबंधित स्टोकेस्टिक समस्या पर विचार किया जाता है
+सीई को लागू करने के लिए, पहले संबंधित यादृच्छिक समस्या का ध्यान दिया जाता है जो एक दिए गए स्तर <math>\mathbb{P}_{\boldsymbol{\theta}}(S(X)\geq\gamma)</math>और पैरामीट्रिक समूह <math>\gamma\,</math>,के लिए <math>\left\{f(\cdot;\boldsymbol{\theta})\right\}</math>, का अनुमान लगाने का प्रयास करता है। उदाहरण के लिए 1-[[गाऊसी वितरण|आयामी गौसियन वितरण]],  जिसका अर्थ होता है कि एक आयामी यादृच्छिक समूह इसका अर्थ <math>\mu_t\,</math>और परिवर्तन <math>\sigma_t^2</math>से पैरामीटराइज़ किया गया है इसका अर्थ  <math>\boldsymbol{\theta} = (\mu,\sigma^2)</math> है।
-<math>\mathbb{P}_{\boldsymbol{\theta}}(S(X)\geq\gamma)</math>
-किसी दिए गए स्तर के लिए <math>\gamma\,</math>, और पैरामीट्रिक परिवार <math>\left\{f(\cdot;\boldsymbol{\theta})\right\}</math>, उदाहरण के लिए 1-आयामी
+इसलिए, एक दिए गए स्तर <math>\gamma\,</math>,के लिए, लक्ष्य होता है कि ऐसे <math>\boldsymbol{\theta}</math> को खोजा जाए जिससे KL डाइवर्जेंस <math>D_{\mathrm{KL}}(\textrm{I}_{\{S(x)\geq\gamma\}}\|f_{\boldsymbol{\theta}})</math> को कम से कम किया जा सके, इसे समस्त प्रतिदर्श संस्करण के साथ एक प्रकार की केएल विचलन न्यूनतमीकरण  समस्या के समाधान के रूप में किया जाता है, जैसा कि ऊपर स्टेप 3 में दिखाया गया है।
-[[गाऊसी वितरण]],
-इसके माध्य द्वारा मानकीकृत <math>\mu_t\,</math> और विचरण <math>\sigma_t^2</math> (इसलिए <math>\boldsymbol{\theta} = (\mu,\sigma^2)</math> यहाँ)।
+यह सिद्ध हुआ है कि इस चयनित लक्ष्य वितरण और पैरामीट्रिक परिवार के लिए स्टोकेस्टिक संबंधी को न्यूनतम करने वाले पैरामीटर वे नमूने हैं जिनके उद्देश्य फलन का मान <math>\geq\gamma</math>. है
-इसलिए, किसी दिए गए के लिए <math>\gamma\,</math>, लक्ष्य खोजना है <math>\boldsymbol{\theta}</math> ताकि
-<math>D_{\mathrm{KL}}(\textrm{I}_{\{S(x)\geq\gamma\}}\|f_{\boldsymbol{\theta}})</math>
-न्यूनतम किया गया है. यह केएल विचलन न्यूनीकरण समस्या के नमूना संस्करण (स्टोकेस्टिक समकक्ष) को हल करके किया जाता है, जैसा कि ऊपर चरण 3 में है।
-यह पता चला है कि पैरामीटर जो लक्ष्य वितरण की इस पसंद के लिए स्टोकेस्टिक समकक्ष को कम करते हैं और
-पैरामीट्रिक परिवार विशिष्ट नमूनों के अनुरूप नमूना माध्य और नमूना विचरण हैं, जो वे नमूने हैं जिनका उद्देश्य फ़ंक्शन मान है <math>\geq\gamma</math>.
 फिर विशिष्ट नमूनों में से सबसे खराब को अगले पुनरावृत्ति के लिए स्तर पैरामीटर के रूप में उपयोग किया जाता है।
 यह निम्नलिखित यादृच्छिक एल्गोरिदम उत्पन्न करता है जो वितरण एल्गोरिदम के तथाकथित अनुमान मल्टीवेरिएट नॉर्मल एल्गोरिदम (ईएमएनए) के साथ मेल खाता है।
+पुनः विशिष्ट प्रतिदर्श मे अमान्य प्रतिदर्श अगले अनुक्रम के लिए स्तर पैरामीटर के रूप में उपयोग किया जाता है। इससे निम्नलिखित यादृच्छिक कलन-विधि उत्पन्न करता है जो वितरण कलन-विधि के तथाकथित अनुमान बहुभिन्नरूपी सामान्य कलन-विधि (ईएमएनए) के साथ मेल खाता है।
 ===छद्मकोड===
-  //प्रारंभिक पैरामीटर
+  ''// Initialize parameters''                                                                                                       μ := −6
- μ := −6
+  σ2 := 100
-  σ2 := 100
+  t := 0
-  टी := 0
+  maxits := 100
-  अधिकतम := 100
+  N := 100
-  एन := 100
+  Ne := 10
-  ने :=10
+  ''// While maxits not exceeded and not converged''
-  // जबकि अधिकतम सीमा पार नहीं हुई है और अभिसरण नहीं हुई है
+  '''while''' t < maxits '''and''' σ2 > ε '''do'''
-  'जबकि' t < अधिकतम 'और' σ2 > ε 'करें'
+      ''// Obtain N samples from current sampling distribution''
-      // वर्तमान नमूना वितरण से एन नमूने प्राप्त करें
+      X := SampleGaussian(μ, σ2, N)
-      एक्स := नमूनागौसियन(μ, σ2, एन)
+      ''// Evaluate objective function at sampled points''
-      // नमूना बिंदुओं पर वस्तुनिष्ठ फ़ंक्शन का मूल्यांकन करें
+      S := exp(−(X − 2) ^ 2) + 0.8 exp(−(X + 2) ^ 2)
-      S := exp(-(X − 2) ^ 2) + 0.8 exp(-(X + 2) ^ 2)
+      ''// Sort X by objective function values in descending order''
-      // वस्तुनिष्ठ फ़ंक्शन मानों के आधार पर X को अवरोही क्रम में क्रमबद्ध करें
+      X := sort(X, S)
-      एक्स := सॉर्ट करें (एक्स, एस)
+      ''// Update parameters of sampling distribution''
-      // नमूना वितरण के अद्यतन पैरामीटर
+      μ := mean(X(1:Ne))
-      μ := माध्य(X(1:Ne))
+      σ2 := var(X(1:Ne))
-      σ2 := var(X(1:Ne))
+      t := t + 1
-      टी := टी + 1
+  ''// Return mean of final sampling distribution as solution''
-  // समाधान के रूप में अंतिम नमूना वितरण का रिटर्न माध्य
- 'वापसी' μ
-==संबंधित विधियाँ==
+== संबंधित विधियाँ ==
-* [[तैयार किए हुयी धातु पे पानी चढाने की कला]]
+* [[तैयार किए हुयी धातु पे पानी चढाने की कला|सिम्युलेटेड ऐनलिंग]]
-* [[आनुवंशिक एल्गोरिदम]]
+*[[आनुवंशिक एल्गोरिदम]]
-*सद्भाव खोज
+*हार्मनी सर्च
-* वितरण एल्गोरिदम का अनुमान
+*वितरण एल्गोरिदम का अनुमान
-*[[तब्बू सर्च]]
+*[[तब्बू सर्च|ताबू सर्च]]
-* [[प्राकृतिक विकास रणनीति]]
+*[[प्राकृतिक विकास रणनीति]]
 ==यह भी देखें==
-* [[क्रॉस एन्ट्रापी]]
+*[[क्रॉस एन्ट्रापी]]
-* कुल्बैक-लीब्लर विचलन
+*कुल्बैक-लीब्लर विचलन
-* यादृच्छिक एल्गोरिदम
+*यादृच्छिक एल्गोरिदम
-* महत्व नमूनाकरण
+*आवश्यक प्रतिदर्श करण
-== जर्नल पेपर्स ==
+==जर्नल पेपर्स==
-* डी बोअर, पी-टी., क्रोसे, डी.पी., मैन्नोर, एस. और रुबिनस्टीन, आर.वाई. (2005)। क्रॉस-एन्ट्रॉपी विधि पर एक ट्यूटोरियल। एनल्स ऑफ ऑपरेशंस रिसर्च, '134' (1), 19-67।[http://www.maths.uq.edu.au/~kroese/ps/aortut.pdf]
+*डी बोअर, पी-टी., क्रोसे, डी.पी., मैन्नोर, एस. और रुबिनस्टीन, आर.वाई. (2005)। क्रॉस-एन्ट्रॉपी विधि पर एक ट्यूटोरियल। एनल्स ऑफ ऑपरेशंस रिसर्च, '134' (1), 19-67।[http://www.maths.uq.edu.au/~kroese/ps/aortut.pdf]
 *रुबिनस्टीन, आर.वाई. (1997)। दुर्लभ घटनाओं के साथ कंप्यूटर सिमुलेशन मॉडल का अनुकूलन, यूरोपियन जर्नल ऑफ ऑपरेशनल रिसर्च, '99', 89-112।
 ==सॉफ़्टवेयर कार्यान्वयन==
-* [https://cran.r-project.org/web/packages/CEoptim/index.html CEoptim R पैकेज]
+*[https://cran.r-project.org/web/packages/CEoptim/index.html CEoptim R पैकेज]
-* [https://www.nuget.org/packages/Novacta.Analytics नोवाक्टा.एनालिटिक्स .NET लाइब्रेरी]
+*[https://www.nuget.org/packages/Novacta.Analytics नोवाक्टा.एनालिटिक्स .NET लाइब्रेरी]
 ==संदर्भ==
 {{reflist}}
-[[Category: heuristics]] [[Category: अनुकूलन एल्गोरिदम और विधियाँ]] [[Category: मोंटे कार्लो विधियाँ]] [[Category: यंत्र अधिगम]]
-[[Category: Machine Translated Page]]
 [[Category:Created On 10/07/2023]]
+[[Category:Heuristics]]
+[[Category:Machine Translated Page]]
+[[Category:Pages with script errors]]
+[[Category:Templates Vigyan Ready]]
+[[Category:अनुकूलन एल्गोरिदम और विधियाँ]]
+[[Category:मोंटे कार्लो विधियाँ]]
+[[Category:यंत्र अधिगम]]

Anonymous

Search

क्रॉस-एन्ट्रॉपी विधि: Difference between revisions

Namespaces

More

Page actions

Latest revision as of 12:30, 28 July 2023

Contents

आवश्यक प्रतिदर्श के माध्यम से अनुमान

सामान्य सीई कलन विधि

सतत अनुकूलन—उदाहरण

छद्मकोड

संबंधित विधियाँ

यह भी देखें

जर्नल पेपर्स

सॉफ़्टवेयर कार्यान्वयन

संदर्भ

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

क्रॉस-एन्ट्रॉपी विधि: Difference between revisions

Latest revision as of 12:30, 28 July 2023

आवश्यक प्रतिदर्श के माध्यम से अनुमान

सामान्य सीई कलन विधि

सतत अनुकूलन—उदाहरण

छद्मकोड

संबंधित विधियाँ

यह भी देखें

जर्नल पेपर्स

सॉफ़्टवेयर कार्यान्वयन

संदर्भ

Navigation

Wiki tools

Page tools

Other projects

Categories