मार्कोव मॉडल: Difference between revisions
No edit summary |
|||
| Line 22: | Line 22: | ||
[[मार्कोव श्रृंखला]] सबसे सरल मार्कोव मॉडल है। यह एक प्रणाली की स्थिति को एक यादृच्छिक चर के साथ मॉडल करता है जो समय के साथ परिवर्तित होता है।<ref name=":0" />इस संदर्भ में, मार्कोव विशेषता बताती है कि इस चर के लिए वितरण केवल पिछली स्थिति के वितरण पर निर्भर करता है। मार्कोव श्रृंखला का एक उदाहरण [[मार्कोव चेन मोंटे कार्लो|मार्कॉव श्रृंखला मोंटे कार्लो]] है, जो मार्कोव विशेषता का उपयोग यह प्रमाणित करने के लिए करता है कि यादृच्छिक चलने के लिए एक विशेष विधि [[संयुक्त वितरण]] से प्रारूप करती है। | [[मार्कोव श्रृंखला]] सबसे सरल मार्कोव मॉडल है। यह एक प्रणाली की स्थिति को एक यादृच्छिक चर के साथ मॉडल करता है जो समय के साथ परिवर्तित होता है।<ref name=":0" />इस संदर्भ में, मार्कोव विशेषता बताती है कि इस चर के लिए वितरण केवल पिछली स्थिति के वितरण पर निर्भर करता है। मार्कोव श्रृंखला का एक उदाहरण [[मार्कोव चेन मोंटे कार्लो|मार्कॉव श्रृंखला मोंटे कार्लो]] है, जो मार्कोव विशेषता का उपयोग यह प्रमाणित करने के लिए करता है कि यादृच्छिक चलने के लिए एक विशेष विधि [[संयुक्त वितरण]] से प्रारूप करती है। | ||
== | == प्रच्छन्न मार्कोव मॉडल == | ||
{{main|हिडन मार्कोव मॉडल}} | {{main|हिडन मार्कोव मॉडल}} | ||
एक [[छिपा हुआ मार्कोव मॉडल]] एक | एक प्रच्छन्न [[छिपा हुआ मार्कोव मॉडल|मार्कोव मॉडल]] एक मार्कॉव श्रृंखला होता है जिसमें स्थिति केवल आंशिक रूप से देखने योग्य या ध्वनिप्रदर्शन के साथ देखने योग्य होती है। दूसरे शब्दों में, अवलोकन प्रणाली की स्थिति से संबंधित होते हैं, परंतु सामान्यतः वे स्थिति को सटीकता से निर्धारित करने के लिए पर्याप्त नहीं होते हैं।प्रच्छन्न मार्कॉव मॉडल के लिए कई जाने-माने एल्गोरिदम होते हैं। उदाहरण के लिए, दी गई अवलोकन अनुक्रम के लिए, विटरबी एल्गोरिदम सबसे संभावित सम्बंधित स्थितियों के अनुक्रम की गणना करेगा, फॉरवर्ड एल्गोरिदम अवलोकन अनुक्रम की प्रायिकता की गणना करेगा, और बाम-वेल्च एल्गोरिदमप्रच्छन्न मार्कॉव मॉडल की प्रारंभिक प्रायिकताओं, संक्रमण फलन, और अवलोकन फलन का आकलन करेगा। | ||
[[वाक् पहचान]] | [[वाक् पहचान|वाणी संज्ञान]] में एक सामान्य उपयोग होता है, जहां अवलोकित डेटा वाणी [[तरंग|ऑडियो तरंग]] होती है और प्रच्छन्न स्थिति बोली गई पाठ होती है। इस उदाहरण में, विटरबी एल्गोरिद्म वाक् ऑडियो दिए जाने पर बोले गए शब्दों का सबसे संभावित अनुक्रम ढूंढता है। | ||
== मार्कोव निर्णय प्रक्रिया == | == मार्कोव निर्णय प्रक्रिया == | ||
{{main| | {{main|मार्कोव निर्णय प्रक्रिया}} | ||
एक [[मार्कोव निर्णय प्रक्रिया]] एक मार्कोव श्रृंखला है जिसमें | एक [[मार्कोव निर्णय प्रक्रिया]] एक मार्कोव श्रृंखला है जिसमें स्थिति परिवर्तन वर्तमान स्थिति और प्रणाली पर लागू किया जाने वाले एक कार्रवाई वेक्टर पर निर्भर करते । सामान्यतः, एक मार्कॉव निर्णय प्रक्रिया का उपयोग किया जाता है कि आपेक्षिक प्रतिफलों के संबंध में किसी उपयोगिता को अधिकतम करने के लिए कार्रवाई की नीति की गणना करता है। | ||
== आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया == | == आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया == | ||
{{main| | {{main|आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया}} | ||
एक [[पीओएमडीपी]] (पीओएमडीपी) एक मार्कोव निर्णय प्रक्रिया है जिसमें प्रणाली की स्थिति केवल आंशिक रूप से देखी जाती है। | एक [[पीओएमडीपी]] (पीओएमडीपी) एक मार्कोव निर्णय प्रक्रिया है जिसमें प्रणाली की स्थिति केवल आंशिक रूप से देखी जाती है। पीओएमडीपी को NP पूर्ण के रूप में जाना जाता है, परंतु वर्तमान की सन्निकटन तकनीकों ने उन्हें विभिन्न प्रकार के अनुप्रयोगों के लिए उपयोगी बना दिया है, जैसे ये सरल एजेंटों या रोबोटों को नियंत्रित करता हैं।<ref>{{cite journal | ||
| title = Planning and acting in partially observable stochastic domains | | title = Planning and acting in partially observable stochastic domains | ||
| first1 = L. P. | last1 = Kaelbling | | first1 = L. P. | last1 = Kaelbling | ||
| Line 49: | Line 49: | ||
| doi-access= free | | doi-access= free | ||
}}</ref> | }}</ref> | ||
== मार्कोव यादृच्छिक क्षेत्र == | |||
{{main|मार्कोव यादृच्छिक क्षेत्र}} | |||
एक [[मार्कोव यादृच्छिक क्षेत्र]], या मार्कॉव नेटवर्क, एकल सांयोजन में एक मार्कॉव श्रृंखला का एक सामान्यीकरण माना जा सकता है। एक मार्कॉव श्रृंखला में, स्थिति केवल पिछली स्थिति पर समय के आधार पर निर्भर करती है, जबकि एक मार्कोव यादृच्छिक क्षेत्र में, प्रत्येक स्थिति किसी भी बहुदिशाओं में अपने पड़ोसियों पर निर्भर करती है। एक मार्कोव यादृच्छिक क्षेत्र को एक फ़ील्ड या रैंडम चर का यथार्थरूप से दृश्यमान किया जा सकता है, जहां प्रत्येक रैंडम चर का वितरण संबंधित पड़ोसी चरों पर निर्भर करता है जिनसे वह जुड़ा हुआ होता है। अधिक विशेष रूप से, ग्राफ में किसी भी यादृच्छिक चर के लिए संयुक्त वितरण उस ग्राफ में सभी यादृच्छिक चर के सभी क्लिक्स के "क्लिक पॉटेंशियल" के गुणांक का गुणाकार के रूप में गणना की जा सकती है। किसी समस्या को मार्कोव यादृच्छिक क्षेत्र के रूप में मॉडलिंग करना उपयोगी होता है क्योंकि इससे संकल्पित होता है कि ग्राफ में प्रत्येक नोड पर संयुक्त वितरण इसी तरीके से गणना की जा सकती है। | |||
[[मार्कोव यादृच्छिक क्षेत्र]], या | |||
== श्रेणीबद्ध मार्कोव मॉडल == | == श्रेणीबद्ध मार्कोव मॉडल == | ||
पदावलीय मार्कॉव मॉडल मानव व्यवहार को विभिन्न संवर्गों में वर्गीकृत करने के लिए लागू किए जा सकते हैं। उदाहरण के लिए, एक व्यक्ति की स्थान की जैसी कुछ सरल अवलोकनों को व्याख्या किया जा सकता है क्योंकी पता लगा सके कि व्यक्ति कौन सी कार्यवाही या गतिविधि कर रहा है। हायरार्किकल हिडन मार्कॉव मॉडल<ref name="HHMM">{{cite journal |first1=S. |last1=Fine |first2=Y. |last2=Singer |title=The hierarchical hidden markov model: Analysis and applications |journal=Machine Learning |volume=32 |issue=1 |pages=41–62 |year=1998 |doi=10.1023/A:1007469218079|doi-access=free }}</ref> और अवस्थात्मक हिडन मार्कॉव मॉडल<ref name="AHMM">{{cite journal |first1=H. H. |last1=Bui |first2=S. |last2=Venkatesh |first3=G. |last3=West |url=https://www.jair.org/index.php/jair/article/view/10316 |title=अमूर्त छिपे हुए मार्कोव मॉडल में नीति की मान्यता|journal=Journal of Artificial Intelligence Research |volume=17 |pages=451–499 |year=2002 |doi=10.1613/jair.839|doi-access=free }}</ref> दो प्रकार के पदावलीय मार्कॉव मॉडल हैं। दोनों का उपयोग व्यवहार मान्यता<ref name="HierarchicalLearningAndPlanningInPOMDPs">{{cite thesis |first=G. |last=Theocharous |url=http://dl.acm.org/citation.cfm?id=936140 |title=आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं में पदानुक्रमित शिक्षा और योजना|type=PhD |publisher=Michigan State University |year=2002}}</ref> के लिए किया गया है और मॉडल में विभिन्न संवर्गों के बीच शर्ताधारित निर्भरता स्तरों में कुछ शर्ताधारित स्वतंत्रता गुणांकों की वजह से तेजी से सीखने और अनुमान लगाने की सुविधा होती है।<ref name="AHMM" /><ref name="RecognitionOfHumanActivityThroughHierarchicalStochasticLearning">{{cite book |first1=S. |last1=Luhr |first2=H. H. |last2=Bui |first3=S. |last3=Venkatesh |first4=G. A. W. |last4=West |chapter-url=http://dl.acm.org/citation.cfm?id=826390 |chapter=Recognition of Human Activity through Hierarchical Stochastic Learning |title=PERCOM '03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications |pages=416–422 |year=2003 |doi=10.1109/PERCOM.2003.1192766|isbn=978-0-7695-1893-0 |citeseerx=10.1.1.323.928 |s2cid=13938580 }}</ref> | |||
== सहनशील मार्कॉव मॉडल == | |||
एक सहनशील मार्कॉव मॉडल (टीएमएम) एक संभावनात्मक गणितात्मक मार्कॉव श्रृंखला मॉडल होता है।<ref name="TMMs">{{cite book |first1=D. |last1=Pratas |first2=M. |last2=Hosseini |first3=A. J. |last3=Pinho |chapter=Substitutional tolerant Markov models for relative compression of DNA sequences |title=PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal |pages=265–272 |year=2017 |doi=10.1007/978-3-319-60816-7_32 |isbn=978-3-319-60815-0}}</ref> इसमें प्राथमिकता देता है कि पिछले प्रतीक को मान्य होने के बदले मान्य होने वाले प्रतीक को सबसे संभावित माना जाए। एक टीएमएम तीन विभिन्न प्रकृतियों का मॉडल बना सकता है: प्रतिस्थापन, जोड़न या हटाना। सफल अनुप्रयोगों को डीएनए सरणियों के संक्षिप्त करने में सक्षमता से अभिप्रेत किया गया है।<ref name="TMMs" /><ref name="GECO">{{cite book |first1=D. |last1=Pratas |first2=A. J. |last2=Pinho |first3=P. J. S. G. |last3=Ferreira |chapter=Efficient compression of genomic sequences |title=Data Compression Conference (DCC), 2016 |pages=231–240 |publisher=IEEE |year=2016 |doi=10.1109/DCC.2016.60|isbn=978-1-5090-1853-6 |s2cid=14230416 }}</ref> | |||
== | |||
एक | |||
== मार्कोव-श्रृंखला पूर्वानुमान मॉडल == | == मार्कोव-श्रृंखला पूर्वानुमान मॉडल == | ||
मार्कोव श्रृंखला वर्गीकरण मॉडेलों का उपयोग कई विषयों के लिए पूर्वानुमान विधियों के रूप में किया गया है, जैसे मूल्य रुझानों<ref name="SLS">{{cite journal |first1=E.G. |last1=de Souza e Silva |first2=L.F.L. |last2=Legey |first3=E.A. |last3=de Souza e Silva |url=https://www.sciencedirect.com/science/article/pii/S0140988310001271 |title=तरंगों और छिपे हुए मार्कोव मॉडल का उपयोग करके तेल की कीमत के रुझान का पूर्वानुमान|journal=Energy Economics |volume=32 |year=2010}}</ref> पवन ऊर्जा<ref name="CGLT">{{cite journal |first1=A |last1=Carpinone |first2=M |last2=Giorgio |first3=R. |last3=Langella |first4=A. |last4=Testa |title=बहुत कम अवधि के पवन ऊर्जा पूर्वानुमान के लिए मार्कोव श्रृंखला मॉडलिंग|journal=Electric Power Systems Research |volume=122 |pages=152–158 |year=2015|doi=10.1016/j.epsr.2014.12.025 |doi-access=free }}</ref> और [[सौर विकिरण]][<ref name="MMW">{{cite journal |first1=J. |last1=Munkhammar |first2=D.W. |last2=van der Meer |first3=J. |last3=Widén |title=मार्कोव-श्रृंखला मिश्रण वितरण मॉडल का उपयोग करते हुए उच्च-रिज़ॉल्यूशन स्पष्ट आकाश सूचकांक समय-श्रृंखला का संभावित पूर्वानुमान|journal= Solar Energy |volume=184 |pages=688–695 |year=2019|doi=10.1016/j.solener.2019.04.014 |s2cid=146076100 }}</ref> इत्यादि। मार्कोव श्रृंखला पूर्वानुमान मॉडल विभिन्न सेटिंग्स का उपयोग करते हैं, समय-श्रृंखला को वर्गीकृत करने से<ref name="CGLT" /> लेकर वेवलेट के साथ छिपे हुए मार्कोव मॉडल<ref name="SLS" /> और मार्कोव श्रृंखला मिश्रण वितरण मॉडल ((एमसीएम) तक होता हैं।<ref name="MMW" /> | |||
== यह भी देखें == | == यह भी देखें == | ||
* मार्कोव | * मार्कोव श्रृंखला मोंटे कार्लो | ||
* [[मार्कोव कंबल]] | * [[मार्कोव कंबल|मार्कोव ब्लैंकेट]] | ||
* [[एंड्री मार्कोव]] | * [[एंड्री मार्कोव]] | ||
* [[चर-क्रम मार्कोव मॉडल]] | * [[चर-क्रम मार्कोव मॉडल]] | ||
Revision as of 12:22, 11 June 2023
प्रायिकता सिद्धांत के अनुसार,, एक मार्कोव मॉडल एक स्थोचास्टिक मॉडल होता है जिसका उपयोग गणितीय मॉडल छद्म-यादृच्छिक रूप से परिवर्तित प्रणाली के लिए किया जाता है।[1] जिसका उपयोग सुदृढ़ता से परिवर्तित हुए प्रणालियों का मॉडलिंग करने के लिए किया जाता है। इसमें माना जाता है कि भविष्य की स्थितियाँ केवल वर्तमान स्थिति पर निर्भर करती हैं, और उससे पहले हुए घटनाओं पर नहीं (इसका मतलब है कि यह मार्कोव विशेषता को मानता है)।सामान्यतः, यह पूर्वानुमानित मॉडल के साथ तर्क और गणना को संभव नहीं बनाने वाले स्थिति में संभवता सुनिश्चित करता है। इसलिए, पूर्वानुमानित मॉडलिंग और प्रायिक भविष्यवाणी के क्षेत्रों में, एक दिए गए मॉडल को मार्कॉव विशेषता प्रदर्शित करने की इच्छा होती है।
परिचय
विभिन्न परिस्थितियों में चार सामान्य मार्कॉव मॉडल होते हैं, जो यह निर्भर करते हैं कि क्या प्रत्येक अनुक्रमिक स्थिति देखनी योग्य है या नहीं हैं, और क्या प्रणाली को देखने के आधार पर समायोजित किया जाना है।
| प्रणाली की स्थिति पूर्णतः देखने योग्य | प्रणाली की स्थिति आंशिक रूप से देखने योग्य | |
|---|---|---|
| स्वयंसंचालित प्रणाली | मार्कोव श्रृंखला | छिपा हुआ मार्कॉव मॉडल |
| प्रणाली का नियंत्रिण | मार्कोव निर्णय प्रक्रिया | आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया |
मार्कोव चेन
मार्कोव श्रृंखला सबसे सरल मार्कोव मॉडल है। यह एक प्रणाली की स्थिति को एक यादृच्छिक चर के साथ मॉडल करता है जो समय के साथ परिवर्तित होता है।[1]इस संदर्भ में, मार्कोव विशेषता बताती है कि इस चर के लिए वितरण केवल पिछली स्थिति के वितरण पर निर्भर करता है। मार्कोव श्रृंखला का एक उदाहरण मार्कॉव श्रृंखला मोंटे कार्लो है, जो मार्कोव विशेषता का उपयोग यह प्रमाणित करने के लिए करता है कि यादृच्छिक चलने के लिए एक विशेष विधि संयुक्त वितरण से प्रारूप करती है।
प्रच्छन्न मार्कोव मॉडल
एक प्रच्छन्न मार्कोव मॉडल एक मार्कॉव श्रृंखला होता है जिसमें स्थिति केवल आंशिक रूप से देखने योग्य या ध्वनिप्रदर्शन के साथ देखने योग्य होती है। दूसरे शब्दों में, अवलोकन प्रणाली की स्थिति से संबंधित होते हैं, परंतु सामान्यतः वे स्थिति को सटीकता से निर्धारित करने के लिए पर्याप्त नहीं होते हैं।प्रच्छन्न मार्कॉव मॉडल के लिए कई जाने-माने एल्गोरिदम होते हैं। उदाहरण के लिए, दी गई अवलोकन अनुक्रम के लिए, विटरबी एल्गोरिदम सबसे संभावित सम्बंधित स्थितियों के अनुक्रम की गणना करेगा, फॉरवर्ड एल्गोरिदम अवलोकन अनुक्रम की प्रायिकता की गणना करेगा, और बाम-वेल्च एल्गोरिदमप्रच्छन्न मार्कॉव मॉडल की प्रारंभिक प्रायिकताओं, संक्रमण फलन, और अवलोकन फलन का आकलन करेगा।
वाणी संज्ञान में एक सामान्य उपयोग होता है, जहां अवलोकित डेटा वाणी ऑडियो तरंग होती है और प्रच्छन्न स्थिति बोली गई पाठ होती है। इस उदाहरण में, विटरबी एल्गोरिद्म वाक् ऑडियो दिए जाने पर बोले गए शब्दों का सबसे संभावित अनुक्रम ढूंढता है।
मार्कोव निर्णय प्रक्रिया
एक मार्कोव निर्णय प्रक्रिया एक मार्कोव श्रृंखला है जिसमें स्थिति परिवर्तन वर्तमान स्थिति और प्रणाली पर लागू किया जाने वाले एक कार्रवाई वेक्टर पर निर्भर करते । सामान्यतः, एक मार्कॉव निर्णय प्रक्रिया का उपयोग किया जाता है कि आपेक्षिक प्रतिफलों के संबंध में किसी उपयोगिता को अधिकतम करने के लिए कार्रवाई की नीति की गणना करता है।
आंशिक रूप से देखने योग्य मार्कोव निर्णय प्रक्रिया
एक पीओएमडीपी (पीओएमडीपी) एक मार्कोव निर्णय प्रक्रिया है जिसमें प्रणाली की स्थिति केवल आंशिक रूप से देखी जाती है। पीओएमडीपी को NP पूर्ण के रूप में जाना जाता है, परंतु वर्तमान की सन्निकटन तकनीकों ने उन्हें विभिन्न प्रकार के अनुप्रयोगों के लिए उपयोगी बना दिया है, जैसे ये सरल एजेंटों या रोबोटों को नियंत्रित करता हैं।[2]
मार्कोव यादृच्छिक क्षेत्र
एक मार्कोव यादृच्छिक क्षेत्र, या मार्कॉव नेटवर्क, एकल सांयोजन में एक मार्कॉव श्रृंखला का एक सामान्यीकरण माना जा सकता है। एक मार्कॉव श्रृंखला में, स्थिति केवल पिछली स्थिति पर समय के आधार पर निर्भर करती है, जबकि एक मार्कोव यादृच्छिक क्षेत्र में, प्रत्येक स्थिति किसी भी बहुदिशाओं में अपने पड़ोसियों पर निर्भर करती है। एक मार्कोव यादृच्छिक क्षेत्र को एक फ़ील्ड या रैंडम चर का यथार्थरूप से दृश्यमान किया जा सकता है, जहां प्रत्येक रैंडम चर का वितरण संबंधित पड़ोसी चरों पर निर्भर करता है जिनसे वह जुड़ा हुआ होता है। अधिक विशेष रूप से, ग्राफ में किसी भी यादृच्छिक चर के लिए संयुक्त वितरण उस ग्राफ में सभी यादृच्छिक चर के सभी क्लिक्स के "क्लिक पॉटेंशियल" के गुणांक का गुणाकार के रूप में गणना की जा सकती है। किसी समस्या को मार्कोव यादृच्छिक क्षेत्र के रूप में मॉडलिंग करना उपयोगी होता है क्योंकि इससे संकल्पित होता है कि ग्राफ में प्रत्येक नोड पर संयुक्त वितरण इसी तरीके से गणना की जा सकती है।
श्रेणीबद्ध मार्कोव मॉडल
पदावलीय मार्कॉव मॉडल मानव व्यवहार को विभिन्न संवर्गों में वर्गीकृत करने के लिए लागू किए जा सकते हैं। उदाहरण के लिए, एक व्यक्ति की स्थान की जैसी कुछ सरल अवलोकनों को व्याख्या किया जा सकता है क्योंकी पता लगा सके कि व्यक्ति कौन सी कार्यवाही या गतिविधि कर रहा है। हायरार्किकल हिडन मार्कॉव मॉडल[3] और अवस्थात्मक हिडन मार्कॉव मॉडल[4] दो प्रकार के पदावलीय मार्कॉव मॉडल हैं। दोनों का उपयोग व्यवहार मान्यता[5] के लिए किया गया है और मॉडल में विभिन्न संवर्गों के बीच शर्ताधारित निर्भरता स्तरों में कुछ शर्ताधारित स्वतंत्रता गुणांकों की वजह से तेजी से सीखने और अनुमान लगाने की सुविधा होती है।[4][6]
सहनशील मार्कॉव मॉडल
एक सहनशील मार्कॉव मॉडल (टीएमएम) एक संभावनात्मक गणितात्मक मार्कॉव श्रृंखला मॉडल होता है।[7] इसमें प्राथमिकता देता है कि पिछले प्रतीक को मान्य होने के बदले मान्य होने वाले प्रतीक को सबसे संभावित माना जाए। एक टीएमएम तीन विभिन्न प्रकृतियों का मॉडल बना सकता है: प्रतिस्थापन, जोड़न या हटाना। सफल अनुप्रयोगों को डीएनए सरणियों के संक्षिप्त करने में सक्षमता से अभिप्रेत किया गया है।[7][8]
मार्कोव-श्रृंखला पूर्वानुमान मॉडल
मार्कोव श्रृंखला वर्गीकरण मॉडेलों का उपयोग कई विषयों के लिए पूर्वानुमान विधियों के रूप में किया गया है, जैसे मूल्य रुझानों[9] पवन ऊर्जा[10] और सौर विकिरण[[11] इत्यादि। मार्कोव श्रृंखला पूर्वानुमान मॉडल विभिन्न सेटिंग्स का उपयोग करते हैं, समय-श्रृंखला को वर्गीकृत करने से[10] लेकर वेवलेट के साथ छिपे हुए मार्कोव मॉडल[9] और मार्कोव श्रृंखला मिश्रण वितरण मॉडल ((एमसीएम) तक होता हैं।[11]
यह भी देखें
- मार्कोव श्रृंखला मोंटे कार्लो
- मार्कोव ब्लैंकेट
- एंड्री मार्कोव
- चर-क्रम मार्कोव मॉडल
संदर्भ
- ↑ 1.0 1.1 Gagniuc, Paul A. (2017). Markov Chains: From Theory to Implementation and Experimentation. USA, NJ: John Wiley & Sons. pp. 1–256. ISBN 978-1-119-38755-8.
- ↑ Kaelbling, L. P.; Littman, M. L.; Cassandra, A. R. (1998). "Planning and acting in partially observable stochastic domains". Artificial Intelligence. 101 (1–2): 99–134. doi:10.1016/S0004-3702(98)00023-X. ISSN 0004-3702.
- ↑ Fine, S.; Singer, Y. (1998). "The hierarchical hidden markov model: Analysis and applications". Machine Learning. 32 (1): 41–62. doi:10.1023/A:1007469218079.
- ↑ 4.0 4.1 Bui, H. H.; Venkatesh, S.; West, G. (2002). "अमूर्त छिपे हुए मार्कोव मॉडल में नीति की मान्यता". Journal of Artificial Intelligence Research. 17: 451–499. doi:10.1613/jair.839.
- ↑ Theocharous, G. (2002). आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं में पदानुक्रमित शिक्षा और योजना (PhD). Michigan State University.
- ↑ Luhr, S.; Bui, H. H.; Venkatesh, S.; West, G. A. W. (2003). "Recognition of Human Activity through Hierarchical Stochastic Learning". PERCOM '03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications. pp. 416–422. CiteSeerX 10.1.1.323.928. doi:10.1109/PERCOM.2003.1192766. ISBN 978-0-7695-1893-0. S2CID 13938580.
- ↑ 7.0 7.1 Pratas, D.; Hosseini, M.; Pinho, A. J. (2017). "Substitutional tolerant Markov models for relative compression of DNA sequences". PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal. pp. 265–272. doi:10.1007/978-3-319-60816-7_32. ISBN 978-3-319-60815-0.
- ↑ Pratas, D.; Pinho, A. J.; Ferreira, P. J. S. G. (2016). "Efficient compression of genomic sequences". Data Compression Conference (DCC), 2016. IEEE. pp. 231–240. doi:10.1109/DCC.2016.60. ISBN 978-1-5090-1853-6. S2CID 14230416.
- ↑ 9.0 9.1 de Souza e Silva, E.G.; Legey, L.F.L.; de Souza e Silva, E.A. (2010). "तरंगों और छिपे हुए मार्कोव मॉडल का उपयोग करके तेल की कीमत के रुझान का पूर्वानुमान". Energy Economics. 32.
- ↑ 10.0 10.1 Carpinone, A; Giorgio, M; Langella, R.; Testa, A. (2015). "बहुत कम अवधि के पवन ऊर्जा पूर्वानुमान के लिए मार्कोव श्रृंखला मॉडलिंग". Electric Power Systems Research. 122: 152–158. doi:10.1016/j.epsr.2014.12.025.
- ↑ 11.0 11.1 Munkhammar, J.; van der Meer, D.W.; Widén, J. (2019). "मार्कोव-श्रृंखला मिश्रण वितरण मॉडल का उपयोग करते हुए उच्च-रिज़ॉल्यूशन स्पष्ट आकाश सूचकांक समय-श्रृंखला का संभावित पूर्वानुमान". Solar Energy. 184: 688–695. doi:10.1016/j.solener.2019.04.014. S2CID 146076100.
