एमएम एल्गोरिथ्म

एमएम एल्गोरिथ्म पुनरावृत्त अनुकूलन विधि है जो किसी फलन के उत्तल फलन का उपयोग उसकी मैक्सिमा या मिनिमा का परिक्षण करने के लिए करता है। एमएम का अर्थ "मेजराइज़-मिनिमाइज़ेशन" या "माइनराइज़-मैक्सिमाइज़ेशन" है, यह इस पर निर्भर करता है कि वांछित अनुकूलन न्यूनतमकरण है या अधिकतमकरण। नाम के अतिरिक्त, एमएम स्वयं एल्गोरिदम नहीं है, अन्यथा अनुकूलन एल्गोरिदम का निर्माण कैसे करें इसका विवरण है।

अपेक्षा-अधिकतमकरण एल्गोरिदम को एमएम एल्गोरिदम की विशेष स्तिथि के रूप में माना जा सकता है।चूँकि, ईएम एल्गोरिदम में कंडीशनल अपेक्षाएं सामान्यतः सम्मिलित होती हैं, जबकि एमएम एल्गोरिदम में उत्तलता और असमानताएं मुख्य फोकस होती हैं, और प्रायः स्थितियों में इसे समझना और प्रारम्भ करना सरल होता है।

इतिहास

एमएम एल्गोरिदम का ऐतिहासिक आधार कम से कम 1970 से माना जा सकता है, जब ओर्टेगा और रीनबोल्ड्ट लाइन शोध विधियों से संबंधित अध्ययन कर रहे थे। एक ही अवधारणा भिन्न-भिन्न क्षेत्रों में भिन्न-भिन्न रूपों में पुनः प्रकट होती रही। 2000 में, हंटर और लैंग ने एमएम को सामान्य रूपरेखा के रूप में सामने रखा। वर्तमान के अध्ययन में इस पद्धति को गणित, सांख्यिकी, मशीन अधिगम औरअभियांत्रिकी जैसे विषय क्षेत्रों की विस्तृत श्रृंखला में प्रारम्भ किया है।

एल्गोरिदम

एमएम एल्गोरिथ्म

एमएम एल्गोरिथ्म सरोगेट फलन का परिक्षण करके कार्य करता है जो उद्देश्य फलन को छोटा या प्रमुख बनाता है। सरोगेट फलन को अनुकूलित करने से या तो उद्देश्य फलन के मान में सुधार होगा या इसे अपरिवर्तित कर दिया जाएगा।

लघुकरण-अधिकतमकरण संस्करण लेते हुए, आइए $f(\theta )$ उद्देश्य अवतल फलन को अधिकतम किया जाना चाहिए। पर m एल्गोरिथम का चरण, $m=0,1...$, निर्मित फलन $g(\theta |\theta _{m})$ ऑब्जेक्टिव फलन (सरोगेट फलन) का लघुकृत संस्करण $\theta _{m}$ को कहा जाएगा, यदि

$g(\theta |\theta _{m})\leq f(\theta ){\text{ for all }}\theta$

$g(\theta _{m}|\theta _{m})=f(\theta _{m})$

फिर, अधिकतम $g(\theta |\theta _{m})$ के अतिरिक्त $f(\theta )$ है:

$\theta _{m+1}=\arg \max _{\theta }g(\theta |\theta _{m})$

उपरोक्त पुनरावृत्तीय विधि यह आश्वासन $f(\theta _{m})$ देगा कि जैसे-जैसे m अनंत तक जाता है, जब स्थानीय इष्टतम या सैडल बिंदु के रूप में परिवर्तित हो जाएगा। उपरोक्त निर्माण द्वारा जो इस प्रकार है:

$f(\theta _{m+1})\geq g(\theta _{m+1}|\theta _{m})\geq g(\theta _{m}|\theta _{m})=f(\theta _{m})$

$\theta _{m}$ मार्चिंग और उद्देश्य फलन के सापेक्ष सरोगेट फलन चित्र में दिखाया गया है।

मेजराइज़-मिनिमाइज़ेशन एक ही प्रक्रिया है किन्तु न्यूनतम करने के लिए उत्तल उद्देश्य होता है।

सरोगेट फलन का निर्माण

उद्देश्य फलन के वांछित प्रमुख/अल्पसंख्यक संस्करण के निर्माण के लिए कोई भी असमानता का उपयोग कर सकता है। विशिष्ट विकल्पों में सम्मिलित हैं:

• जेन्सेन की असमानता
• उत्तलता असमानता
• कॉची-श्वार्ज़ असमानता
• अंकगणित और ज्यामितीय साधनों की असमानता
• दूसरे क्रम के टेलर के माध्यम से द्विघात प्रमुखीकरण/लघुकरण, सीमित वक्रता के साथ दो-विभेदक फलनो का विस्तार।