न्यूनतम संदेश लंबाई: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
 
(4 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{short description|Formal information theory restatement of Occam's Razor}}
{{short description|Formal information theory restatement of Occam's Razor}}
'''न्यूनतम संदेश लंबाई (एमएमएल)''' सांख्यिकीय मॉडल तुलना और चयन के लिए बायेसियन सूचना-सैद्धांतिक विधि है।<ref>{{Cite book|title=न्यूनतम संदेश लंबाई द्वारा सांख्यिकीय और आगमनात्मक अनुमान|last=Wallace, C. S. (Christopher S.), -2004.|date=2005|publisher=Springer|isbn=9780387237954|location=New York|oclc=62889003}}</ref> यह ओकाम के रेजर का औपचारिक [[सूचना सिद्धांत]] पुनर्कथन प्रदान करता है: यहां तक ​​​​कि जब मॉडल देखे गए डेटा के लिए फिट-स्पष्टता के माप के समान होते हैं, तो डेटा की सबसे संक्षिप्त व्याख्या उत्पन्न करने वाले के सही होने की अधिक संभावना होती है (जहां स्पष्टीकरण में सम्मिलित होता है) मॉडल का विवरण, उसके बाद बताए गए मॉडल का उपयोग करके डेटा का [[दोषरहित संपीड़न]] एमएमएल का आविष्कार [[क्रिस वालेस (कंप्यूटर वैज्ञानिक)]] द्वारा किया गया था, जो पहली बार सेमिनल पेपर वर्गीकरण के लिए सूचना माप में दिखाई दिया था।<ref>{{Cite journal|last1=Wallace|first1=C. S.|last2=Boulton|first2=D. M.|date=1968-08-01|title=वर्गीकरण के लिए एक सूचना उपाय|journal=The Computer Journal|language=en|volume=11|issue=2|pages=185–194|doi=10.1093/comjnl/11.2.185|issn=0010-4620|doi-access=free}}</ref> एमएमएल का उद्देश्य केवल सैद्धांतिक निर्माण नहीं है, किन्तु ऐसी तकनीक के रूप में है जिसे व्यवहार में प्रयुक्त किया जा सकता है।<ref>{{Cite book|title=ओखम के रेजर कोडिंग।|last=Allison, Lloyd.|date=2019|publisher=Springer|isbn=978-3030094881|oclc=1083131091}}</ref> यह [[कोलमोगोरोव जटिलता]] की संबंधित अवधारणा से इस विधि में भिन्न है कि इसमें डेटा को मॉडल करने के लिए [[ट्यूरिंग पूर्णता]] या ट्यूरिंग-पूर्ण भाषा के उपयोग की आवश्यकता नहीं होती है।<ref name=":0">{{Cite journal|last1=Wallace|first1=C. S.|last2=Dowe|first2=D. L.|date=1999-01-01|title=न्यूनतम संदेश लंबाई और कोलमोगोरोव जटिलता|url=https://academic.oup.com/comjnl/article/42/4/270/558949|journal=The Computer Journal|language=en|volume=42|issue=4|pages=270–283|doi=10.1093/comjnl/42.4.270|issn=0010-4620}}</ref>
'''न्यूनतम संदेश लंबाई (एमएमएल)''' सांख्यिकीय मॉडल तुलना और चयन के लिए बायेसियन सूचना-सैद्धांतिक विधि है।<ref>{{Cite book|title=न्यूनतम संदेश लंबाई द्वारा सांख्यिकीय और आगमनात्मक अनुमान|last=Wallace, C. S. (Christopher S.), -2004.|date=2005|publisher=Springer|isbn=9780387237954|location=New York|oclc=62889003}}</ref> यह ओकाम के रेजर का औपचारिक [[सूचना सिद्धांत]] पुनर्कथन प्रदान करता है: यहां तक ​​​​कि जब मॉडल देखे गए डेटा के लिए फिट-स्पष्टता के माप के समान होते हैं, इस प्रकार डेटा की सबसे संक्षिप्त व्याख्या उत्पन्न करने वाले के सही होने की अधिक संभावना होती है (जहां स्पष्टीकरण में सम्मिलित होता है) मॉडल का विवरण, उसके बाद बताए गए मॉडल का उपयोग करके डेटा का [[दोषरहित संपीड़न]] एमएमएल का आविष्कार [[क्रिस वालेस (कंप्यूटर वैज्ञानिक)]] द्वारा किया गया था, जो पहली बार सेमिनल पेपर वर्गीकरण के लिए सूचना माप में दिखाई दिया था।<ref>{{Cite journal|last1=Wallace|first1=C. S.|last2=Boulton|first2=D. M.|date=1968-08-01|title=वर्गीकरण के लिए एक सूचना उपाय|journal=The Computer Journal|language=en|volume=11|issue=2|pages=185–194|doi=10.1093/comjnl/11.2.185|issn=0010-4620|doi-access=free}}</ref> इस प्रकार एमएमएल का उद्देश्य केवल सैद्धांतिक निर्माण नहीं है, किन्तु ऐसी तकनीक के रूप में है जिसे व्यवहार में प्रयुक्त किया जा सकता है।<ref>{{Cite book|title=ओखम के रेजर कोडिंग।|last=Allison, Lloyd.|date=2019|publisher=Springer|isbn=978-3030094881|oclc=1083131091}}</ref> यह [[कोलमोगोरोव जटिलता]] की संबंधित अवधारणा से इस विधि में भिन्न है कि इसमें डेटा को मॉडल करने के लिए [[ट्यूरिंग पूर्णता]] या ट्यूरिंग-पूर्ण भाषा के उपयोग की आवश्यकता नहीं होती है।<ref name=":0">{{Cite journal|last1=Wallace|first1=C. S.|last2=Dowe|first2=D. L.|date=1999-01-01|title=न्यूनतम संदेश लंबाई और कोलमोगोरोव जटिलता|url=https://academic.oup.com/comjnl/article/42/4/270/558949|journal=The Computer Journal|language=en|volume=42|issue=4|pages=270–283|doi=10.1093/comjnl/42.4.270|issn=0010-4620}}</ref>
==परिभाषा==
==परिभाषा                                                                     ==
क्लाउड ई. शैनन की [[संचार का एक गणितीय सिद्धांत|संचार का गणितीय सिद्धांत]] (1948) में कहा गया है कि इष्टतम कोड में, किसी घटना की संदेश लंबाई (बाइनरी में) <math>E</math>, <math>\operatorname{length}(E)</math>, जहाँ <math>E</math> संभावना है, इस प्रकार <math>P(E)</math> द्वारा <math>\operatorname{length}(E) = -\log_2(P(E))</math> दिया गया है .
क्लाउड ई. शैनन की [[संचार का एक गणितीय सिद्धांत|संचार का गणितीय सिद्धांत]] (1948) में कहा गया है कि इष्टतम कोड में, किसी घटना की संदेश लंबाई (बाइनरी में) <math>E</math>, <math>\operatorname{length}(E)</math>, जहाँ <math>E</math> संभावना है, इस प्रकार <math>P(E)</math> द्वारा <math>\operatorname{length}(E) = -\log_2(P(E))</math> दिया गया है .


Line 63: Line 63:
*[https://web.archive.org/web/20170706095733/https://www.cs.helsinki.fi/u/floreen/sem/mikko.ps mikko.ps]: Short introductory slides by Mikko Koivisto in Helsinki
*[https://web.archive.org/web/20170706095733/https://www.cs.helsinki.fi/u/floreen/sem/mikko.ps mikko.ps]: Short introductory slides by Mikko Koivisto in Helsinki
*[[Akaike information criterion]] ([[Akaike information criterion|AIC]]) method of [[model selection]], and a [http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#DoweGardnerOppy2007 comparison] with MML: {{cite journal|first1=D.L.|last1=Dowe|first2=S.|last2=Gardner|first3=G.|last3=Oppy|title=Bayes not Bust! Why Simplicity is no Problem for Bayesians|journal=Br. J. Philos. Sci.|volume=58|issue=4|date=Dec 2007|pages=709–754|doi=10.1093/bjps/axm033}}
*[[Akaike information criterion]] ([[Akaike information criterion|AIC]]) method of [[model selection]], and a [http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#DoweGardnerOppy2007 comparison] with MML: {{cite journal|first1=D.L.|last1=Dowe|first2=S.|last2=Gardner|first3=G.|last3=Oppy|title=Bayes not Bust! Why Simplicity is no Problem for Bayesians|journal=Br. J. Philos. Sci.|volume=58|issue=4|date=Dec 2007|pages=709–754|doi=10.1093/bjps/axm033}}
[[Category: एल्गोरिथम सूचना सिद्धांत]]


 
[[Category:All articles with dead external links]]
 
[[Category:Articles with dead external links from May 2021]]
[[Category: Machine Translated Page]]
[[Category:CS1 English-language sources (en)]]
[[Category:CS1 maint]]
[[Category:Created On 07/07/2023]]
[[Category:Created On 07/07/2023]]
[[Category:Lua-based templates]]
[[Category:Machine Translated Page]]
[[Category:Pages with script errors]]
[[Category:Templates Vigyan Ready]]
[[Category:Templates that add a tracking category]]
[[Category:Templates that generate short descriptions]]
[[Category:Templates using TemplateData]]
[[Category:एल्गोरिथम सूचना सिद्धांत]]

Latest revision as of 12:40, 14 July 2023

न्यूनतम संदेश लंबाई (एमएमएल) सांख्यिकीय मॉडल तुलना और चयन के लिए बायेसियन सूचना-सैद्धांतिक विधि है।[1] यह ओकाम के रेजर का औपचारिक सूचना सिद्धांत पुनर्कथन प्रदान करता है: यहां तक ​​​​कि जब मॉडल देखे गए डेटा के लिए फिट-स्पष्टता के माप के समान होते हैं, इस प्रकार डेटा की सबसे संक्षिप्त व्याख्या उत्पन्न करने वाले के सही होने की अधिक संभावना होती है (जहां स्पष्टीकरण में सम्मिलित होता है) मॉडल का विवरण, उसके बाद बताए गए मॉडल का उपयोग करके डेटा का दोषरहित संपीड़न एमएमएल का आविष्कार क्रिस वालेस (कंप्यूटर वैज्ञानिक) द्वारा किया गया था, जो पहली बार सेमिनल पेपर वर्गीकरण के लिए सूचना माप में दिखाई दिया था।[2] इस प्रकार एमएमएल का उद्देश्य केवल सैद्धांतिक निर्माण नहीं है, किन्तु ऐसी तकनीक के रूप में है जिसे व्यवहार में प्रयुक्त किया जा सकता है।[3] यह कोलमोगोरोव जटिलता की संबंधित अवधारणा से इस विधि में भिन्न है कि इसमें डेटा को मॉडल करने के लिए ट्यूरिंग पूर्णता या ट्यूरिंग-पूर्ण भाषा के उपयोग की आवश्यकता नहीं होती है।[4]

परिभाषा

क्लाउड ई. शैनन की संचार का गणितीय सिद्धांत (1948) में कहा गया है कि इष्टतम कोड में, किसी घटना की संदेश लंबाई (बाइनरी में) , , जहाँ संभावना है, इस प्रकार द्वारा दिया गया है .

बेयस प्रमेय बताता है कि (परिवर्तनीय) परिकल्पना की संभावना निश्चित प्रमाण दिये के लिए आनुपातिक है , जो, सशर्त संभाव्यता की परिभाषा के अनुसार, के समान है . हम ऐसी उच्चतम पश्च संभाव्यता वाला मॉडल (परिकल्पना) चाहते हैं। मान लीजिए कि हम संदेश को एनकोड करते हैं जो मॉडल और डेटा दोनों को संयुक्त रूप से दर्शाता (वर्णन) करता है। तब से , सबसे संभावित मॉडल में ऐसा संदेश सबसे छोटा होता है। संदेश दो भागों में विभाजित है: . पहला भाग मॉडल को ही एन्कोड करता है। दूसरे भाग में जानकारी होती है (उदाहरण के लिए, मापदंड के मान, या प्रारंभिक स्थितियां इत्यादि) जो मॉडल द्वारा संसाधित होने पर, देखे गए डेटा को आउटपुट करती है।

एमएमएल स्वाभाविक रूप से और स्पष्ट रूप से फिट की अच्छाई के लिए मॉडल जटिलता का व्यापार करता है। अधिक जटिल मॉडल को बताने में अधिक समय लगता है (पहला भाग लंबा) किन्तु संभवतः डेटा को उत्तम विधि से फिट करता है (छोटा दूसरा भाग)। इसलिए, एमएमएल मीट्रिक जटिल मॉडल का चयन नहीं करेगा जब तक कि वह मॉडल स्वयं के लिए भुगतान न करे।

निरंतर-मूल्यवान मापदंड

किसी मॉडल के लंबे होने का कारण यह हो सकता है कि इसके विभिन्न मापदंडों को अधिक स्पष्टता से बताया गया है, इस प्रकार अधिक अंकों के प्रसारण की आवश्यकता होती है। एमएमएल की अधिकांश शक्ति किसी मॉडल में मापदंडों को कितनी स्पष्टता से बताने के प्रबंधन और विभिन्न प्रकार के अनुमानों से प्राप्त होती है जो व्यवहार में इसे संभव बनाते हैं। इससे उपयोगी रूप से तुलना करना संभव हो जाता है, उदाहरण के लिए, मॉडल जिसमें कई मापदंड अस्पष्ट रूप से बताए गए हैं, उस मॉडल के विरुद्ध कम मापदंड अधिक स्पष्ट रूप से बताए गए हैं।

एमएमएल की मुख्य विशेषताएं

  • एमएमएल का उपयोग विभिन्न संरचना के मॉडल की तुलना करने के लिए किया जा सकता है। उदाहरण के लिए, इसका प्रारंभिक अनुप्रयोग कक्षाओं की इष्टतम संख्या के साथ मिश्रण मॉडल खोजने में था। मिश्रण मॉडल में अतिरिक्त कक्षाएं जोड़ने से डेटा को सदैव अधिक स्पष्टता के साथ फिट किया जा सकता है, किन्तु एमएमएल के अनुसार इसे उन कक्षाओं को परिभाषित करने वाले मापदंडों को एन्कोड करने के लिए आवश्यक अतिरिक्त बिट्स के विरुद्ध मापा जाना चाहिए।
  • एमएमएल बायेसियन मॉडल तुलना की विधि है। यह प्रत्येक मॉडल को अंक देता है।
  • एमएमएल स्केल-अपरिवर्तनीय और सांख्यिकीय रूप से अपरिवर्तनीय है। कई बायेसियन चयन विधियों के विपरीत, एमएमएल को इसकी परवाह नहीं है कि आप लंबाई मापने से आयतन में या कार्टेशियन निर्देशांक से ध्रुवीय निर्देशांक में बदलते हैं।
  • एमएमएल सांख्यिकीय रूप से सुसंगत है। जैसी समस्याओं के लिए CITEREFDoweWallace1997 नेमैन-स्कॉट (1948) समस्या या कारक विश्लेषण जहां प्रति मापदंड डेटा की मात्रा ऊपर सीमित है, एमएमएल सांख्यिकीय स्थिरता के साथ सभी मापदंडों का अनुमान लगा सकता है।
  • एमएमएल माप की स्पष्टता के लिए उत्तरदायी है। यह फिशर जानकारी का उपयोग करता है (वालेस-फ्रीमैन 1987 सन्निकटन में, या अन्य हाइपर-वॉल्यूम में) CITEREFWallace_(posthumous)2005 निरंतर मापदंडों को इष्टतम रूप से अलग करने के लिए इसलिए संभाव्यता घनत्व नहीं पश्च भाग सदैव संभाव्यता है, ।
  • एमएमएल 1968 से उपयोग में है। एमएमएल कोडिंग योजनाएं कई वितरणों और कई प्रकार के मशीन सीखने वालों के लिए विकसित की गई हैं, जिनमें अप्रशिक्षित वर्गीकरण, निर्णय वृक्ष और ग्राफ, डीएनए अनुक्रम, बायेसियन नेटवर्क, तंत्रिका नेटवर्क (अब तक केवल परत) सम्मिलित हैं। , इमेज संपीड़न, इमेज और फलन विभाजन, आदि।

यह भी देखें

संदर्भ

  1. Wallace, C. S. (Christopher S.), -2004. (2005). न्यूनतम संदेश लंबाई द्वारा सांख्यिकीय और आगमनात्मक अनुमान. New York: Springer. ISBN 9780387237954. OCLC 62889003.{{cite book}}: CS1 maint: multiple names: authors list (link)
  2. Wallace, C. S.; Boulton, D. M. (1968-08-01). "वर्गीकरण के लिए एक सूचना उपाय". The Computer Journal (in English). 11 (2): 185–194. doi:10.1093/comjnl/11.2.185. ISSN 0010-4620.
  3. Allison, Lloyd. (2019). ओखम के रेजर कोडिंग।. Springer. ISBN 978-3030094881. OCLC 1083131091.
  4. 4.0 4.1 Wallace, C. S.; Dowe, D. L. (1999-01-01). "न्यूनतम संदेश लंबाई और कोलमोगोरोव जटिलता". The Computer Journal (in English). 42 (4): 270–283. doi:10.1093/comjnl/42.4.270. ISSN 0010-4620.

बाहरी संबंध

Original Publication:

Books:

Related Links: