मार्कोव मॉडल
प्रायिकता सिद्धांत के अनुसार,, एक मार्कोव मॉडल एक स्थोचास्टिक मॉडल होता है जिसका उपयोग गणितीय मॉडल छद्म-यादृच्छिक रूप से परिवर्तित प्रणाली के लिए किया जाता है।[1] जिसका उपयोग सुदृढ़ता से परिवर्तित हुए प्रणालियों का मॉडलिंग करने के लिए किया जाता है। इसमें माना जाता है कि भविष्य की स्थितियाँ केवल वर्तमान स्थिति पर निर्भर करती हैं, और उससे पहले हुए घटनाओं पर नहीं (इसका मतलब है कि यह मार्कोव विशेषता को मानता है)।सामान्यतः, यह पूर्वानुमानित मॉडल के साथ तर्क और गणना को संभव नहीं बनाने वाले स्थिति में संभवता सुनिश्चित करता है। इसलिए, पूर्वानुमानित मॉडलिंग और प्रायिक भविष्यवाणी के क्षेत्रों में, एक दिए गए मॉडल को मार्कॉव विशेषता प्रदर्शित करने की इच्छा होती है।
परिचय
विभिन्न परिस्थितियों में चार सामान्य मार्कॉव मॉडल होते हैं, जो यह निर्भर करते हैं कि क्या प्रत्येक अनुक्रमिक स्थिति देखनी योग्य है या नहीं हैं, और क्या प्रणाली को देखने के आधार पर समायोजित किया जाना है।
| प्रणाली की स्थिति पूर्णतः देखने योग्य | प्रणाली की स्थिति आंशिक रूप से देखने योग्य | |
|---|---|---|
| स्वयंसंचालित प्रणाली | मार्कोव श्रृंखला | छिपा हुआ मार्कॉव मॉडल |
| प्रणाली का नियंत्रिण | मार्कोव निर्णय प्रक्रिया | आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया |
मार्कोव चेन
मार्कोव श्रृंखला सबसे सरल मार्कोव मॉडल है। यह एक प्रणाली की स्थिति को एक यादृच्छिक चर के साथ मॉडल करता है जो समय के साथ परिवर्तित होता है।[1]इस संदर्भ में, मार्कोव विशेषता बताती है कि इस चर के लिए वितरण केवल पिछली स्थिति के वितरण पर निर्भर करता है। मार्कोव श्रृंखला का एक उदाहरण मार्कॉव श्रृंखला मोंटे कार्लो है, जो मार्कोव विशेषता का उपयोग यह प्रमाणित करने के लिए करता है कि यादृच्छिक चलने के लिए एक विशेष विधि संयुक्त वितरण से प्रारूप करती है।
हिडन मार्कोव मॉडल
एक छिपा हुआ मार्कोव मॉडल एक मार्कोव श्रृंखला है जिसके लिए राज्य केवल आंशिक रूप से देखने योग्य या नीरव रूप से देखने योग्य है। दूसरे शब्दों में, अवलोकन प्रणाली की स्थिति से संबंधित होते हैं, लेकिन वे आमतौर पर राज्य को सटीक रूप से निर्धारित करने के लिए अपर्याप्त होते हैं। छिपे हुए मार्कोव मॉडल के लिए कई प्रसिद्ध एल्गोरिदम मौजूद हैं। उदाहरण के लिए, अवलोकनों का एक क्रम दिया गया है, Viterbi एल्गोरिथ्म राज्यों के सबसे अधिक संभावना वाले अनुक्रम की गणना करेगा, आगे का एल्गोरिथ्म टिप्पणियों के अनुक्रम की संभावना की गणना करेगा, और बॉम-वेल्च एल्गोरिथ्म प्रारंभिक संभावनाओं का अनुमान लगाएगा, संक्रमण समारोह, और एक छिपे हुए मार्कोव मॉडल का अवलोकन कार्य।
वाक् पहचान के लिए एक सामान्य उपयोग है, जहां देखा गया डेटा वाक् कोडिंग तरंग है और छिपी हुई स्थिति बोली जाने वाली पाठ है। इस उदाहरण में, Viterbi एल्गोरिद्म वाक् ऑडियो दिए जाने पर बोले गए शब्दों का सबसे संभावित अनुक्रम ढूंढता है।
मार्कोव निर्णय प्रक्रिया
एक मार्कोव निर्णय प्रक्रिया एक मार्कोव श्रृंखला है जिसमें राज्य संक्रमण वर्तमान स्थिति पर निर्भर करता है और एक एक्शन वेक्टर जो प्रणाली पर लागू होता है। आमतौर पर, एक मार्कोव निर्णय प्रक्रिया का उपयोग उन कार्यों की नीति की गणना करने के लिए किया जाता है जो अपेक्षित पुरस्कारों के संबंध में कुछ उपयोगिता को अधिकतम करेगा।
आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया
एक पीओएमडीपी (पीओएमडीपी) एक मार्कोव निर्णय प्रक्रिया है जिसमें प्रणाली की स्थिति केवल आंशिक रूप से देखी जाती है। POMDPs को NP पूर्ण के रूप में जाना जाता है, लेकिन हाल की सन्निकटन तकनीकों ने उन्हें विभिन्न प्रकार के अनुप्रयोगों के लिए उपयोगी बना दिया है, जैसे सरल एजेंटों या रोबोटों को नियंत्रित करना।[2]
मार्कोव यादृच्छिक क्षेत्र
मार्कोव यादृच्छिक क्षेत्र, या मार्कोव नेटवर्क, को कई आयामों में मार्कोव श्रृंखला का सामान्यीकरण माना जा सकता है। मार्कोव श्रृंखला में, राज्य समय में केवल पिछली स्थिति पर निर्भर करता है, जबकि मार्कोव यादृच्छिक क्षेत्र में, प्रत्येक राज्य अपने पड़ोसियों पर कई दिशाओं में निर्भर करता है। एक मार्कोव यादृच्छिक क्षेत्र को एक क्षेत्र या यादृच्छिक चर के ग्राफ के रूप में देखा जा सकता है, जहां प्रत्येक यादृच्छिक चर का वितरण पड़ोसी चर पर निर्भर करता है जिसके साथ यह जुड़ा हुआ है। अधिक विशेष रूप से, ग्राफ़ में किसी भी यादृच्छिक चर के लिए संयुक्त वितरण की गणना उस यादृच्छिक चर वाले ग्राफ़ में सभी क्लिक्स की क्लिक क्षमता के उत्पाद के रूप में की जा सकती है। एक समस्या को मार्कोव यादृच्छिक क्षेत्र के रूप में मॉडलिंग करना उपयोगी है क्योंकि इसका तात्पर्य है कि ग्राफ में प्रत्येक शीर्ष पर संयुक्त वितरण की गणना इस तरीके से की जा सकती है।
श्रेणीबद्ध मार्कोव मॉडल
अमूर्तता के विभिन्न स्तरों पर मानव व्यवहार को वर्गीकृत करने के लिए पदानुक्रमित मार्कोव मॉडल लागू किए जा सकते हैं। उदाहरण के लिए, सरल अवलोकनों की एक श्रृंखला, जैसे कि कमरे में किसी व्यक्ति का स्थान, अधिक जटिल जानकारी निर्धारित करने के लिए व्याख्या की जा सकती है, जैसे कि व्यक्ति किस कार्य या गतिविधि में प्रदर्शन कर रहा है। पदानुक्रमित मार्कोव मॉडल दो प्रकार के पदानुक्रमित छिपे हुए मार्कोव मॉडल हैं[3] और एब्सट्रैक्ट हिडन मार्कोव मॉडल।[4] दोनों का उपयोग व्यवहार पहचान के लिए किया गया है[5] और मॉडल में अमूर्तता के विभिन्न स्तरों के बीच कुछ सशर्त स्वतंत्रता गुण तेजी से सीखने और अनुमान लगाने की अनुमति देते हैं।[4][6]
सहिष्णु मार्कोव मॉडल
एक सहिष्णु मार्कोव मॉडल (टीएमएम) एक संभाव्य-एल्गोरिदमिक मार्कोव श्रृंखला मॉडल है।[7] यह एक कंडीशनिंग संदर्भ के अनुसार संभावनाओं को असाइन करता है जो अंतिम प्रतीक को घटित होने वाले अनुक्रम से, वास्तविक होने वाले प्रतीक के बजाय सबसे संभावित के रूप में मानता है। एक टीएमएम तीन अलग-अलग स्वरूपों को प्रतिरूपित कर सकता है: प्रतिस्थापन, परिवर्धन या विलोपन। डीएनए अनुक्रम संपीड़न में सफल अनुप्रयोगों को कुशलतापूर्वक कार्यान्वित किया गया है।[7][8]
मार्कोव-श्रृंखला पूर्वानुमान मॉडल
मार्कोव-चेन का उपयोग कई विषयों के लिए पूर्वानुमान विधियों के रूप में किया गया है, उदाहरण के लिए मूल्य रुझान,[9] पवन ऊर्जा[10] और सौर विकिरण।[11] मार्कोव-श्रृंखला पूर्वानुमान मॉडल समय-श्रृंखला को अलग करने से लेकर विभिन्न सेटिंग्स का उपयोग करते हैं[10]छिपे हुए मार्कोव-मॉडल को वेवलेट्स के साथ जोड़ा गया[9]और मार्कोव-श्रृंखला मिश्रण वितरण मॉडल (एमसीएम)।[11]
यह भी देखें
- मार्कोव चेन मोंटे कार्लो
- मार्कोव कंबल
- एंड्री मार्कोव
- चर-क्रम मार्कोव मॉडल
संदर्भ
- ↑ 1.0 1.1 Gagniuc, Paul A. (2017). Markov Chains: From Theory to Implementation and Experimentation. USA, NJ: John Wiley & Sons. pp. 1–256. ISBN 978-1-119-38755-8.
- ↑ Kaelbling, L. P.; Littman, M. L.; Cassandra, A. R. (1998). "Planning and acting in partially observable stochastic domains". Artificial Intelligence. 101 (1–2): 99–134. doi:10.1016/S0004-3702(98)00023-X. ISSN 0004-3702.
- ↑ Fine, S.; Singer, Y. (1998). "The hierarchical hidden markov model: Analysis and applications". Machine Learning. 32 (1): 41–62. doi:10.1023/A:1007469218079.
- ↑ 4.0 4.1 Bui, H. H.; Venkatesh, S.; West, G. (2002). "अमूर्त छिपे हुए मार्कोव मॉडल में नीति की मान्यता". Journal of Artificial Intelligence Research. 17: 451–499. doi:10.1613/jair.839.
- ↑ Theocharous, G. (2002). आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं में पदानुक्रमित शिक्षा और योजना (PhD). Michigan State University.
- ↑ Luhr, S.; Bui, H. H.; Venkatesh, S.; West, G. A. W. (2003). "Recognition of Human Activity through Hierarchical Stochastic Learning". PERCOM '03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications. pp. 416–422. CiteSeerX 10.1.1.323.928. doi:10.1109/PERCOM.2003.1192766. ISBN 978-0-7695-1893-0. S2CID 13938580.
- ↑ 7.0 7.1 Pratas, D.; Hosseini, M.; Pinho, A. J. (2017). "Substitutional tolerant Markov models for relative compression of DNA sequences". PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal. pp. 265–272. doi:10.1007/978-3-319-60816-7_32. ISBN 978-3-319-60815-0.
- ↑ Pratas, D.; Pinho, A. J.; Ferreira, P. J. S. G. (2016). "Efficient compression of genomic sequences". Data Compression Conference (DCC), 2016. IEEE. pp. 231–240. doi:10.1109/DCC.2016.60. ISBN 978-1-5090-1853-6. S2CID 14230416.
- ↑ 9.0 9.1 de Souza e Silva, E.G.; Legey, L.F.L.; de Souza e Silva, E.A. (2010). "तरंगों और छिपे हुए मार्कोव मॉडल का उपयोग करके तेल की कीमत के रुझान का पूर्वानुमान". Energy Economics. 32.
- ↑ 10.0 10.1 Carpinone, A; Giorgio, M; Langella, R.; Testa, A. (2015). "बहुत कम अवधि के पवन ऊर्जा पूर्वानुमान के लिए मार्कोव श्रृंखला मॉडलिंग". Electric Power Systems Research. 122: 152–158. doi:10.1016/j.epsr.2014.12.025.
- ↑ 11.0 11.1 Munkhammar, J.; van der Meer, D.W.; Widén, J. (2019). "मार्कोव-श्रृंखला मिश्रण वितरण मॉडल का उपयोग करते हुए उच्च-रिज़ॉल्यूशन स्पष्ट आकाश सूचकांक समय-श्रृंखला का संभावित पूर्वानुमान". Solar Energy. 184: 688–695. doi:10.1016/j.solener.2019.04.014. S2CID 146076100.
