एमएम एल्गोरिथ्म

एमएम एल्गोरिथ्म पुनरावृत्त अनुकूलन विधि है जो किसी फ़ंक्शन के उत्तल फ़ंक्शन का उपयोग उसकी मैक्सिमा या मिनिमा को खोजने के लिए करता है। एमएम का अर्थ "मेजराइज़-मिनिमाइज़ेशन" या "माइनराइज़-मैक्सिमाइज़ेशन" है, यह इस पर निर्भर करता है कि वांछित अनुकूलन न्यूनतमकरण है या अधिकतमकरण। नाम के बावजूद, एमएम स्वयं एल्गोरिदम नहीं है, बल्कि अनुकूलन एल्गोरिदम का निर्माण कैसे करें इसका विवरण है।

अपेक्षा-अधिकतमकरण एल्गोरिदम को एमएम एल्गोरिदम के विशेष मामले के रूप में माना जा सकता है। हालाँकि, ईएम एल्गोरिदम में सशर्त अपेक्षाएं आमतौर पर शामिल होती हैं, जबकि एमएम एल्गोरिदम में उत्तलता और असमानताएं मुख्य फोकस होती हैं, और ज्यादातर मामलों में इसे समझना और लागू करना आसान होता है।

इतिहास

एमएम एल्गोरिदम का ऐतिहासिक आधार कम से कम 1970 से माना जा सकता है, जब ओर्टेगा और रीनबोल्ड्ट लाइन खोज विधियों से संबंधित अध्ययन कर रहे थे। ही अवधारणा अलग-अलग क्षेत्रों में अलग-अलग रूपों में पुनः प्रकट होती रही। 2000 में, हंटर और लैंग ने एमएम को सामान्य रूपरेखा के रूप में सामने रखा। हाल के अध्ययन ने इस पद्धति को गणित, सांख्यिकी, यंत्र अधिगम और अभियांत्रिकी जैसे विषय क्षेत्रों की विस्तृत श्रृंखला में लागू किया है।

एल्गोरिदम

एमएम एल्गोरिथ्म

एमएम एल्गोरिथ्म सरोगेट फ़ंक्शन को ढूंढकर काम करता है जो उद्देश्य फ़ंक्शन को छोटा या प्रमुख बनाता है। सरोगेट फ़ंक्शन को अनुकूलित करने से या तो उद्देश्य फ़ंक्शन के मूल्य में सुधार होगा या इसे अपरिवर्तित छोड़ दिया जाएगा।

लघुकरण-अधिकतमकरण संस्करण लेते हुए, आइए $f(\theta )$ उद्देश्य अवतल फलन को अधिकतम किया जाना चाहिए। पर m एल्गोरिथम का चरण, $m=0,1...$, निर्मित कार्य $g(\theta |\theta _{m})$ ऑब्जेक्टिव फ़ंक्शन (सरोगेट फ़ंक्शन) का लघुकृत संस्करण कहा जाएगा $\theta _{m}$ अगर

$g(\theta |\theta _{m})\leq f(\theta ){\text{ for all }}\theta$

$g(\theta _{m}|\theta _{m})=f(\theta _{m})$

फिर, अधिकतम करें $g(\theta |\theta _{m})$ के बजाय $f(\theta )$, और जाने

$\theta _{m+1}=\arg \max _{\theta }g(\theta |\theta _{m})$

उपरोक्त पुनरावृत्तीय विधि इसकी गारंटी देगी $f(\theta _{m})$ स्थानीय इष्टतम या काठी बिंदु के रूप में परिवर्तित हो जाएगा m अनंत तक जाता है. उपरोक्त निर्माण द्वारा

$f(\theta _{m+1})\geq g(\theta _{m+1}|\theta _{m})\geq g(\theta _{m}|\theta _{m})=f(\theta _{m})$

का मार्चिंग $\theta _{m}$ और उद्देश्य फ़ंक्शन के सापेक्ष सरोगेट फ़ंक्शन चित्र में दिखाया गया है।

मेजराइज़-मिनिमाइज़ेशन ही प्रक्रिया है लेकिन न्यूनतम करने के लिए उत्तल उद्देश्य होता है।

सरोगेट फ़ंक्शन का निर्माण

उद्देश्य फ़ंक्शन के वांछित प्रमुख/अल्पसंख्यक संस्करण के निर्माण के लिए कोई भी असमानता का उपयोग कर सकता है। विशिष्ट विकल्पों में शामिल हैं

• जेन्सेन की असमानता
• उत्तलता असमानता
• कॉची-श्वार्ज़ असमानता
• अंकगणित और ज्यामितीय साधनों की असमानता
• दूसरे क्रम के टेलर के माध्यम से द्विघात प्रमुखीकरण/लघुकरण, सीमित वक्रता के साथ दो-विभेदक कार्यों का विस्तार।