एंट्रॉपी कोडिंग

सूचना सिद्धांत में, एक एन्ट्रॉपी कोडन (या एंट्रॉपी विकोडन) कोई हानि रहित संपीड़न विधि है जो शैनन के स्रोत कोडन प्रमेय द्वारा घोषित निचली सीमा तक पहुंचने का प्रयास करती है, जो बताता है कि किसी भी हानिरहित डेटा संपीड़न विधि में अपेक्षित कोड लंबाई स्रोत की एन्ट्रापी से अधिक या बराबर होनी चाहिए।

अधिक यथार्थ रूप से, स्रोत कोडन प्रमेय बताता है कि किसी भी स्रोत वितरण के लिए, अपेक्षित कोड लंबाई $\operatorname {E} _{x\sim P}[\ell (d(x))]\geq \operatorname {E} _{x\sim P}[-\log _{b}(P(x))]$ को संतुष्ट करती है, जहां $\ell$ कोड शब्द में प्रतीकों की संख्या है, $d$ कोडन फलन है, $b$ निर्गम कोड बनाने के लिए उपयोग किए जाने वाले प्रतीकों की संख्या है और $P$ स्रोत प्रतीक की प्रायिकता है। एक एन्ट्रॉपी कोडन इस निचली सीमा तक पहुंचने का प्रयास करती है।

हफ़मैन कोडन और अंकगणितीय कोडन दो सबसे सामान्य एन्ट्रॉपी कोडन तकनीकें हैं।

<रेफरी नाम = हफमैन 1952 पीपी। 1098-1101>Huffman, David (1952). "न्यूनतम अतिरेक कोड के निर्माण के लिए एक विधि". Proceedings of the IRE. Institute of Electrical and Electronics Engineers (IEEE). 40 (9): 1098–1101. doi:10.1109/jrproc.1952.273898. ISSN 0096-8390.</ref>

यदि डेटा स्ट्रीम की अनुमानित एंट्रॉपी विशेषताओं को पहले से जाना जाता है (विशेष रूप से संकेत संपीड़न के लिए), एक सरल स्थिर कोड उपयोगी हो सकता है। इन स्थैतिक कोड में सार्वभौमिक कोड (डेटा संपीडन) (जैसे एलियास गामा कोडन या फाइबोनैचि कोडन) और गोलोम्ब कोडन (जैसे यूनरी कोडन या गोलोम्ब कोडन) सम्मिलित हैं।

2014 के बाद से, डेटा संपीडन ने एन्ट्रापी कोडन तकनीकों के असममित अंक प्रणाली वर्ग का उपयोग करना प्रारम्भ कर दिया है, जो हफ़मैन कोडन के समान प्रसंस्करण लागत के साथ अंकगणितीय कोडन के संपीड़न अनुपात के संयोजन की अनुमति देते है।

समानता के उपाय के रूप में एंट्रॉपी

अंकीय डेटा को संपीड़ित करने की विधि के रूप में एन्ट्रॉपी कोडन का उपयोग करने के अतिरिक्त, आकड़ों का प्रवाह और डेटा के पहले से स्थित वर्गों के बीच समानता माप की मात्रा को मापने के लिए एंट्रॉपी कोडक का भी उपयोग किया जा सकता है। यह डेटा के प्रत्येक वर्ग के लिए एन्ट्रॉपी कोडक/ संपीड़क उत्पन्न करके किया जाता है; अज्ञात डेटा तब प्रत्येक संपीड़क को असम्पीडित डेटा भरण कर सांख्यिकीय वर्गीकरण होता है और देखते हैं कि कौन सा संपीड़क उच्चतम संपीड़न उत्पन्न करता है। सबसे ठीक संपीड़न वाला सांकेतिक शब्दों में बदलनेवाला संभवतः उस डेटा पर प्रशिक्षित कोडक है जो अज्ञात डेटा के समान था।

यह भी देखें

• अंकगणित कोडन
• असममित अंक प्रणाली (एएनएस)
• संदर्भ-अनुकूली द्विआधारी अंकगणितीय कोडन (सीएबीएसी)
• हफ़मैन कोडन
• श्रेणी कोडन

बाहरी संबंध

• Information Theory, Inference, and Learning Algorithms, by David MacKay (2003), gives an introduction to Shannon theory and data compression, including the Huffman coding and arithmetic coding.
• Source Coding, by T. Wiegand and H. Schwarz (2011).