एंट्रॉपी कोडिंग

सूचना सिद्धांत में, एक एंट्रॉपी कोडिंग (या एंट्रॉपी एन्कोडिंग) कोई हानि रहित संपीड़न विधि है जो क्लॉड शैनन | शैनन के स्रोत कोडिंग प्रमेय द्वारा घोषित निचली सीमा तक पहुंचने का प्रयास करती है, जिसमें कहा गया है कि किसी भी दोषरहित डेटा संपीड़न विधि में अपेक्षित कोड लंबाई अधिक या बराबर होनी चाहिए। स्रोत की एन्ट्रापी के लिए। अधिक सटीक रूप से, स्रोत कोडिंग प्रमेय बताता है कि किसी भी स्रोत वितरण के लिए, अपेक्षित कोड लंबाई संतुष्ट करती है $\operatorname {E} _{x\sim P}[\ell (d(x))]\geq \operatorname {E} _{x\sim P}[-\log _{b}(P(x))]$, कहाँ $\ell$ एक कोड शब्द में प्रतीकों की संख्या है, $d$ कोडिंग समारोह है, $b$ आउटपुट कोड और बनाने के लिए उपयोग किए जाने वाले प्रतीकों की संख्या है $P$ स्रोत प्रतीक की संभावना है। एक एंट्रॉपी कोडिंग इस निचली सीमा तक पहुंचने का प्रयास करती है।

हफ़मैन कोडिंग और अंकगणितीय कोडिंग दो सबसे आम एन्ट्रॉपी कोडिंग तकनीकें हैं। <रेफरी नाम = हफमैन 1952 पीपी। 1098-1101>Huffman, David (1952). "न्यूनतम अतिरेक कोड के निर्माण के लिए एक विधि". Proceedings of the IRE. Institute of Electrical and Electronics Engineers (IEEE). 40 (9): 1098–1101. doi:10.1109/jrproc.1952.273898. ISSN 0096-8390.</ref> यदि डेटा स्ट्रीम की अनुमानित एंट्रॉपी विशेषताओं को पहले से जाना जाता है (विशेष रूप से सिग्नल संपीड़न के लिए), एक सरल स्थिर कोड उपयोगी हो सकता है। इन स्टैटिक कोड में यूनिवर्सल कोड (डेटा कंप्रेशन) (जैसे एलियास गामा कोडिंग या फाइबोनैचि कोडिंग) और गोलोम्ब कोडिंग (जैसे यूनरी कोडिंग या चावल कोडिंग ) शामिल हैं।

2014 के बाद से, डेटा कंप्रेशर्स ने एन्ट्रापी कोडिंग तकनीकों के असममित अंक प्रणाली परिवार का उपयोग करना शुरू कर दिया है, जो हफ़मैन कोडिंग के समान प्रसंस्करण लागत के साथ अंकगणितीय कोडिंग के संपीड़न अनुपात के संयोजन की अनुमति देता है।

समानता के उपाय के रूप में एंट्रॉपी

डिजिटल डेटा को संपीड़ित करने के तरीके के रूप में एंट्रॉपी कोडिंग का उपयोग करने के अलावा, आकड़ों का प्रवाह और डेटा के पहले से मौजूद वर्गों के बीच समानता माप की मात्रा को मापने के लिए एंट्रॉपी एन्कोडर का भी उपयोग किया जा सकता है। यह डेटा के प्रत्येक वर्ग के लिए एन्ट्रॉपी कोडर/कंप्रेसर उत्पन्न करके किया जाता है; अज्ञात डेटा तब प्रत्येक कंप्रेसर को असम्पीडित डेटा खिलाकर सांख्यिकीय वर्गीकरण होता है और देखते हैं कि कौन सा कंप्रेसर उच्चतम संपीड़न उत्पन्न करता है। सबसे अच्छा संपीड़न वाला सांकेतिक शब्दों में बदलनेवाला संभवतः उस डेटा पर प्रशिक्षित कोडर है जो अज्ञात डेटा के समान था।

यह भी देखें

• अंकगणित कोडिंग
• असममित अंक प्रणाली (ANS)
• संदर्भ-अनुकूली बाइनरी अंकगणितीय कोडिंग (सीएबीएसी)
• हफ़मैन कोडिंग
• रेंज कोडिंग

बाहरी संबंध

• Information Theory, Inference, and Learning Algorithms, by David MacKay (2003), gives an introduction to Shannon theory and data compression, including the Huffman coding and arithmetic coding.
• Source Coding, by T. Wiegand and H. Schwarz (2011).