मार्कोव मॉडल
 | This article needs additional citations for verification. (July 2017) (Learn how and when to remove this template message) |
संभाव्यता सिद्धांत में, एक मार्कोव मॉडल एक स्टोकेस्टिक मॉडल है जिसका उपयोग गणितीय मॉडल छद्म-यादृच्छिक रूप से बदलते सिस्टम के लिए किया जाता है।[1] यह माना जाता है कि भविष्य की स्थिति केवल वर्तमान स्थिति पर निर्भर करती है, न कि इससे पहले हुई घटनाओं पर (यानी, यह मार्कोव संपत्ति मानती है)। आम तौर पर, यह धारणा उस मॉडल के साथ तर्क और गणना को सक्षम बनाती है जो अन्यथा अंतरंगता (जटिलता) होगी। इस कारण से, भविष्य कहनेवाला मॉडलिंग और संभाव्य पूर्वानुमान के क्षेत्र में, किसी दिए गए मॉडल के लिए मार्कोव संपत्ति का प्रदर्शन करना वांछनीय है।
परिचय
विभिन्न स्थितियों में उपयोग किए जाने वाले चार सामान्य मार्कोव मॉडल हैं, जो इस बात पर निर्भर करता है कि प्रत्येक अनुक्रमिक स्थिति देखने योग्य है या नहीं, और क्या सिस्टम को टिप्पणियों के आधार पर समायोजित किया जाना है:
| System state is fully observable | System state is partially observable | |
|---|---|---|
| System is autonomous | Markov chain | Hidden Markov model |
| System is controlled | Markov decision process | Partially observable Markov decision process |
मार्कोव चेन
मार्कोव श्रृंखला सबसे सरल मार्कोव मॉडल है। यह एक प्रणाली की स्थिति को एक यादृच्छिक चर के साथ मॉडल करता है जो समय के साथ बदलता है।[1]इस संदर्भ में, मार्कोव संपत्ति बताती है कि इस चर के लिए वितरण केवल पिछली स्थिति के वितरण पर निर्भर करता है। मार्कोव श्रृंखला का एक उदाहरण मार्कोव चेन मोंटे कार्लो है, जो मार्कोव संपत्ति का उपयोग यह साबित करने के लिए करता है कि यादृच्छिक चलने के लिए एक विशेष विधि संयुक्त वितरण से नमूना लेती है।
हिडन मार्कोव मॉडल
एक छिपा हुआ मार्कोव मॉडल एक मार्कोव श्रृंखला है जिसके लिए राज्य केवल आंशिक रूप से देखने योग्य या नीरव रूप से देखने योग्य है। दूसरे शब्दों में, अवलोकन सिस्टम की स्थिति से संबंधित होते हैं, लेकिन वे आमतौर पर राज्य को सटीक रूप से निर्धारित करने के लिए अपर्याप्त होते हैं। छिपे हुए मार्कोव मॉडल के लिए कई प्रसिद्ध एल्गोरिदम मौजूद हैं। उदाहरण के लिए, अवलोकनों का एक क्रम दिया गया है, Viterbi एल्गोरिथ्म राज्यों के सबसे अधिक संभावना वाले अनुक्रम की गणना करेगा, आगे का एल्गोरिथ्म टिप्पणियों के अनुक्रम की संभावना की गणना करेगा, और बॉम-वेल्च एल्गोरिथ्म प्रारंभिक संभावनाओं का अनुमान लगाएगा, संक्रमण समारोह, और एक छिपे हुए मार्कोव मॉडल का अवलोकन कार्य।
वाक् पहचान के लिए एक सामान्य उपयोग है, जहां देखा गया डेटा वाक् कोडिंग तरंग है और छिपी हुई स्थिति बोली जाने वाली पाठ है। इस उदाहरण में, Viterbi एल्गोरिद्म वाक् ऑडियो दिए जाने पर बोले गए शब्दों का सबसे संभावित अनुक्रम ढूंढता है।
मार्कोव निर्णय प्रक्रिया
एक मार्कोव निर्णय प्रक्रिया एक मार्कोव श्रृंखला है जिसमें राज्य संक्रमण वर्तमान स्थिति पर निर्भर करता है और एक एक्शन वेक्टर जो सिस्टम पर लागू होता है। आमतौर पर, एक मार्कोव निर्णय प्रक्रिया का उपयोग उन कार्यों की नीति की गणना करने के लिए किया जाता है जो अपेक्षित पुरस्कारों के संबंध में कुछ उपयोगिता को अधिकतम करेगा।
आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया
एक पीओएमडीपी (पीओएमडीपी) एक मार्कोव निर्णय प्रक्रिया है जिसमें सिस्टम की स्थिति केवल आंशिक रूप से देखी जाती है। POMDPs को NP पूर्ण के रूप में जाना जाता है, लेकिन हाल की सन्निकटन तकनीकों ने उन्हें विभिन्न प्रकार के अनुप्रयोगों के लिए उपयोगी बना दिया है, जैसे सरल एजेंटों या रोबोटों को नियंत्रित करना।[2]
मार्कोव यादृच्छिक क्षेत्र
मार्कोव यादृच्छिक क्षेत्र, या मार्कोव नेटवर्क, को कई आयामों में मार्कोव श्रृंखला का सामान्यीकरण माना जा सकता है। मार्कोव श्रृंखला में, राज्य समय में केवल पिछली स्थिति पर निर्भर करता है, जबकि मार्कोव यादृच्छिक क्षेत्र में, प्रत्येक राज्य अपने पड़ोसियों पर कई दिशाओं में निर्भर करता है। एक मार्कोव यादृच्छिक क्षेत्र को एक क्षेत्र या यादृच्छिक चर के ग्राफ के रूप में देखा जा सकता है, जहां प्रत्येक यादृच्छिक चर का वितरण पड़ोसी चर पर निर्भर करता है जिसके साथ यह जुड़ा हुआ है। अधिक विशेष रूप से, ग्राफ़ में किसी भी यादृच्छिक चर के लिए संयुक्त वितरण की गणना उस यादृच्छिक चर वाले ग्राफ़ में सभी क्लिक्स की क्लिक क्षमता के उत्पाद के रूप में की जा सकती है। एक समस्या को मार्कोव यादृच्छिक क्षेत्र के रूप में मॉडलिंग करना उपयोगी है क्योंकि इसका तात्पर्य है कि ग्राफ में प्रत्येक शीर्ष पर संयुक्त वितरण की गणना इस तरीके से की जा सकती है।
श्रेणीबद्ध मार्कोव मॉडल
अमूर्तता के विभिन्न स्तरों पर मानव व्यवहार को वर्गीकृत करने के लिए पदानुक्रमित मार्कोव मॉडल लागू किए जा सकते हैं। उदाहरण के लिए, सरल अवलोकनों की एक श्रृंखला, जैसे कि कमरे में किसी व्यक्ति का स्थान, अधिक जटिल जानकारी निर्धारित करने के लिए व्याख्या की जा सकती है, जैसे कि व्यक्ति किस कार्य या गतिविधि में प्रदर्शन कर रहा है। पदानुक्रमित मार्कोव मॉडल दो प्रकार के पदानुक्रमित छिपे हुए मार्कोव मॉडल हैं[3] और एब्सट्रैक्ट हिडन मार्कोव मॉडल।[4] दोनों का उपयोग व्यवहार पहचान के लिए किया गया है[5] और मॉडल में अमूर्तता के विभिन्न स्तरों के बीच कुछ सशर्त स्वतंत्रता गुण तेजी से सीखने और अनुमान लगाने की अनुमति देते हैं।[4][6]
सहिष्णु मार्कोव मॉडल
एक सहिष्णु मार्कोव मॉडल (टीएमएम) एक संभाव्य-एल्गोरिदमिक मार्कोव श्रृंखला मॉडल है।[7] यह एक कंडीशनिंग संदर्भ के अनुसार संभावनाओं को असाइन करता है जो अंतिम प्रतीक को घटित होने वाले अनुक्रम से, वास्तविक होने वाले प्रतीक के बजाय सबसे संभावित के रूप में मानता है। एक टीएमएम तीन अलग-अलग स्वरूपों को प्रतिरूपित कर सकता है: प्रतिस्थापन, परिवर्धन या विलोपन। डीएनए अनुक्रम संपीड़न में सफल अनुप्रयोगों को कुशलतापूर्वक कार्यान्वित किया गया है।[7][8]
मार्कोव-श्रृंखला पूर्वानुमान मॉडल
मार्कोव-चेन का उपयोग कई विषयों के लिए पूर्वानुमान विधियों के रूप में किया गया है, उदाहरण के लिए मूल्य रुझान,[9] पवन ऊर्जा[10] और सौर विकिरण।[11] मार्कोव-श्रृंखला पूर्वानुमान मॉडल समय-श्रृंखला को अलग करने से लेकर विभिन्न सेटिंग्स का उपयोग करते हैं[10]छिपे हुए मार्कोव-मॉडल को वेवलेट्स के साथ जोड़ा गया[9]और मार्कोव-श्रृंखला मिश्रण वितरण मॉडल (एमसीएम)।[11]
यह भी देखें
- मार्कोव चेन मोंटे कार्लो
- मार्कोव कंबल
- एंड्री मार्कोव
- चर-क्रम मार्कोव मॉडल
संदर्भ
- ↑ 1.0 1.1 Gagniuc, Paul A. (2017). Markov Chains: From Theory to Implementation and Experimentation. USA, NJ: John Wiley & Sons. pp. 1–256. ISBN 978-1-119-38755-8.
- ↑ Kaelbling, L. P.; Littman, M. L.; Cassandra, A. R. (1998). "Planning and acting in partially observable stochastic domains". Artificial Intelligence. 101 (1–2): 99–134. doi:10.1016/S0004-3702(98)00023-X. ISSN 0004-3702.
- ↑ Fine, S.; Singer, Y. (1998). "The hierarchical hidden markov model: Analysis and applications". Machine Learning. 32 (1): 41–62. doi:10.1023/A:1007469218079.
- ↑ 4.0 4.1 Bui, H. H.; Venkatesh, S.; West, G. (2002). "अमूर्त छिपे हुए मार्कोव मॉडल में नीति की मान्यता". Journal of Artificial Intelligence Research. 17: 451–499. doi:10.1613/jair.839.
- ↑ Theocharous, G. (2002). आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं में पदानुक्रमित शिक्षा और योजना (PhD). Michigan State University.
- ↑ Luhr, S.; Bui, H. H.; Venkatesh, S.; West, G. A. W. (2003). "Recognition of Human Activity through Hierarchical Stochastic Learning". PERCOM '03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications. pp. 416–422. CiteSeerX 10.1.1.323.928. doi:10.1109/PERCOM.2003.1192766. ISBN 978-0-7695-1893-0. S2CID 13938580.
- ↑ 7.0 7.1 Pratas, D.; Hosseini, M.; Pinho, A. J. (2017). "Substitutional tolerant Markov models for relative compression of DNA sequences". PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal. pp. 265–272. doi:10.1007/978-3-319-60816-7_32. ISBN 978-3-319-60815-0.
- ↑ Pratas, D.; Pinho, A. J.; Ferreira, P. J. S. G. (2016). "Efficient compression of genomic sequences". Data Compression Conference (DCC), 2016. IEEE. pp. 231–240. doi:10.1109/DCC.2016.60. ISBN 978-1-5090-1853-6. S2CID 14230416.
- ↑ 9.0 9.1 de Souza e Silva, E.G.; Legey, L.F.L.; de Souza e Silva, E.A. (2010). "तरंगों और छिपे हुए मार्कोव मॉडल का उपयोग करके तेल की कीमत के रुझान का पूर्वानुमान". Energy Economics. 32.
- ↑ 10.0 10.1 Carpinone, A; Giorgio, M; Langella, R.; Testa, A. (2015). "बहुत कम अवधि के पवन ऊर्जा पूर्वानुमान के लिए मार्कोव श्रृंखला मॉडलिंग". Electric Power Systems Research. 122: 152–158. doi:10.1016/j.epsr.2014.12.025.
- ↑ 11.0 11.1 Munkhammar, J.; van der Meer, D.W.; Widén, J. (2019). "मार्कोव-श्रृंखला मिश्रण वितरण मॉडल का उपयोग करते हुए उच्च-रिज़ॉल्यूशन स्पष्ट आकाश सूचकांक समय-श्रृंखला का संभावित पूर्वानुमान". Solar Energy. 184: 688–695. doi:10.1016/j.solener.2019.04.014. S2CID 146076100.
