विरल शब्दकोश अधिगम

स्पार्स डिक्शनरी लर्निंग (स्पार्स कोडिंग या एसडीएल के रूप में भी जाना जाता है) एक प्रतिनिधित्व सीखने की विधि है जिसका उद्देश्य बुनियादी तत्वों के साथ-साथ उन मूल तत्वों के रैखिक संयोजन के रूप में इनपुट डेटा का विरल मैट्रिक्स प्रतिनिधित्व ढूंढना है। इन तत्वों को परमाणु कहा जाता है और वे एक शब्दकोश बनाते हैं। शब्दकोश में परमाणुओं को ऑर्थोगोनल आधार पर होना आवश्यक नहीं है, और वे एक अति-पूर्ण फैले हुए सेट हो सकते हैं। यह समस्या सेटअप दर्शाए जा रहे सिग्नलों की आयामीता को देखे जा रहे सिग्नलों में से एक से अधिक होने की अनुमति भी देता है। उपरोक्त दो गुणों के कारण प्रतीत होता है कि निरर्थक परमाणु एक ही सिग्नल के कई प्रतिनिधित्व की अनुमति देते हैं, लेकिन प्रतिनिधित्व की विरलता और लचीलेपन में सुधार भी प्रदान करते हैं।

विरल शब्दकोश सीखने के सबसे महत्वपूर्ण अनुप्रयोगों में से एक संपीड़ित संवेदन या डिटेक्शन सिद्धांत के क्षेत्र में है। संपीड़ित संवेदन में, एक उच्च-आयामी संकेत को केवल कुछ रैखिक मापों के साथ पुनर्प्राप्त किया जा सकता है, बशर्ते कि संकेत विरल या लगभग विरल हो। चूंकि सभी सिग्नल इस विरलता की स्थिति को संतुष्ट नहीं करते हैं, इसलिए उस सिग्नल का विरल प्रतिनिधित्व ढूंढना बहुत महत्वपूर्ण है जैसे तरंगिका परिवर्तन या रास्टराइज्ड मैट्रिक्स की दिशात्मक ढाल। एक बार एक मैट्रिक्स या उच्च आयामी वेक्टर को एक विरल स्थान पर स्थानांतरित कर दिया जाता है, आधार खोज, CoSaMP जैसे विभिन्न पुनर्प्राप्ति एल्गोरिदम या तेज़ गैर-पुनरावृत्त एल्गोरिदम सिग्नल को पुनर्प्राप्त करने के लिए उपयोग किया जा सकता है।

शब्दकोश सीखने का एक प्रमुख सिद्धांत यह है कि शब्दकोश का अनुमान इनपुट डेटा से लगाया जाना चाहिए। विरल शब्दकोश सीखने के तरीकों का उद्भव इस तथ्य से प्रेरित था कि संकेत आगे बढ़ाना में व्यक्ति आमतौर पर यथासंभव कम घटकों का उपयोग करके इनपुट डेटा का प्रतिनिधित्व करना चाहता है। इस दृष्टिकोण से पहले सामान्य अभ्यास पूर्वनिर्धारित शब्दकोशों (जैसे फूरियर रूपांतरण या वेवलेट ट्रांसफॉर्म ट्रांसफॉर्म) का उपयोग करना था। हालाँकि, कुछ मामलों में एक शब्दकोश जिसे इनपुट डेटा को फिट करने के लिए प्रशिक्षित किया जाता है, विरलता में काफी सुधार कर सकता है, जिसमें डेटा अपघटन, संपीड़न और विश्लेषण में अनुप्रयोग होते हैं और इसका उपयोग छवि शोर में कमी और छवि वर्गीकरण, वीडियो और ऑडियो सिग्नल प्रोसेसिंग के क्षेत्र में किया गया है। विरलता और अतिपूर्ण शब्दकोशों का छवि संपीड़न, छवि संलयन और इनपेंटिंग में व्यापक अनुप्रयोग है।

डिक्शनरी लर्निंग द्वारा इमेज डीनोइज़िंग

समस्या कथन

इनपुट डेटासेट दिया गया $X=[x_{1},...,x_{K}],x_{i}\in \mathbb {R} ^{d}$ हम एक शब्दकोश खोजना चाहते हैं $\mathbf {D} \in \mathbb {R} ^{d\times n}:D=[d_{1},...,d_{n}]$ और एक प्रतिनिधित्व $R=[r_{1},...,r_{K}],r_{i}\in \mathbb {R} ^{n}$ ऐसे कि दोनों $\|X-\mathbf {D} R\|_{F}^{2}$ कम से कम किया गया है और प्रतिनिधित्व $r_{i}$ काफी विरल हैं. इसे निम्नलिखित अनुकूलन समस्या के रूप में तैयार किया जा सकता है:

${\underset {\mathbf {D} \in {\mathcal {C}},r_{i}\in \mathbb {R} ^{n}}{\text{argmin}}}\sum _{i=1}^{K}\|x_{i}-\mathbf {D} r_{i}\|_{2}^{2}+\lambda \|r_{i}\|_{0}$, कहाँ ${\mathcal {C}}\equiv \{\mathbf {D} \in \mathbb {R} ^{d\times n}:\|d_{i}\|_{2}\leq 1\,\,\forall i=1,...,n\}$, $\lambda >0$

${\mathcal {C}}$ अंकुश लगाना आवश्यक है $\mathbf {D}$ ताकि इसके परमाणु मनमाने ढंग से कम (लेकिन गैर-शून्य) मूल्यों की अनुमति देकर मनमाने ढंग से उच्च मूल्यों तक न पहुंचें $r_{i}$.$\lambda$ विरलता और न्यूनीकरण त्रुटि के बीच व्यापार को नियंत्रित करता है।

उपरोक्त न्यूनतमकरण समस्या L0 मानदंड|ℓ के कारण उत्तल नहीं है₀- मानक और इस समस्या का समाधान एनपी-हार्ड है। कुछ मामलों में L1-मानदंड^{L1-मानदंड}L1-मानदंड|-मानदंड विरलता सुनिश्चित करने के लिए जाना जाता है और इसलिए उपरोक्त प्रत्येक चर के संबंध में एक उत्तल अनुकूलन समस्या बन जाती है $\mathbf {D}$ और $\mathbf {R}$ जब दूसरा स्थिर हो, लेकिन वह संयुक्त रूप से उत्तल न हो $(\mathbf {D} ,\mathbf {R} )$.

शब्दकोश के गुण

शब्दकोष $\mathbf {D}$ यदि ऊपर परिभाषित किया गया है तो वह अपूर्ण हो सकता है $n<d$ या मामले में अतिपूर्ण $n>d$ उत्तरार्द्ध एक विरल शब्दकोश सीखने की समस्या के लिए एक विशिष्ट धारणा है। संपूर्ण शब्दकोश का मामला प्रतिनिधित्वात्मक दृष्टिकोण से कोई सुधार प्रदान नहीं करता है और इसलिए इस पर विचार नहीं किया जाता है।

अपूर्ण शब्दकोश उस सेटअप का प्रतिनिधित्व करते हैं जिसमें वास्तविक इनपुट डेटा निम्न-आयामी स्थान में होता है। यह मामला आयामीता में कमी और प्रमुख घटक विश्लेषण जैसी तकनीकों से दृढ़ता से संबंधित है जिसके लिए परमाणुओं की आवश्यकता होती है $d_{1},...,d_{n}$ ऑर्थोगोनल होना. कुशल आयामीता में कमी के लिए इन उप-स्थानों का चुनाव महत्वपूर्ण है, लेकिन यह मामूली नहीं है। और शब्दकोश प्रतिनिधित्व के आधार पर आयामीता में कमी को डेटा विश्लेषण या वर्गीकरण जैसे विशिष्ट कार्यों को संबोधित करने के लिए बढ़ाया जा सकता है। हालाँकि, उनका मुख्य नकारात्मक पक्ष परमाणुओं की पसंद को सीमित करना है।

हालाँकि, अपूर्ण शब्दकोशों के लिए परमाणुओं को ऑर्थोगोनल होने की आवश्यकता नहीं होती है (उनके पास कभी भी आधार (रैखिक बीजगणित) नहीं होगा) इस प्रकार अधिक लचीले शब्दकोशों और समृद्ध डेटा प्रतिनिधित्व की अनुमति मिलती है।

एक पूर्ण शब्दकोश जो सिग्नल के विरल प्रतिनिधित्व की अनुमति देता है वह एक प्रसिद्ध ट्रांसफॉर्म मैट्रिक्स (वेवलेट्स ट्रांसफॉर्म, फूरियर ट्रांसफॉर्म) हो सकता है या इसे तैयार किया जा सकता है ताकि इसके तत्वों को इस तरह से बदला जा सके कि यह दिए गए सिग्नल को सबसे अच्छे तरीके से प्रस्तुत करता है। सीखे गए शब्दकोष पूर्वनिर्धारित परिवर्तन मैट्रिक्स की तुलना में विरल समाधान देने में सक्षम हैं।

एल्गोरिदम

जैसा कि ऊपर वर्णित अनुकूलन समस्या को शब्दकोश या विरल कोडिंग के संबंध में उत्तल समस्या के रूप में हल किया जा सकता है, जबकि दोनों में से एक को ठीक किया गया है, अधिकांश एल्गोरिदम एक और फिर दूसरे को पुनरावृत्त रूप से अपडेट करने के विचार पर आधारित हैं।

इष्टतम विरल कोडिंग खोजने की समस्या $R$ किसी दिए गए शब्दकोश के साथ $\mathbf {D}$ विरल सन्निकटन (या कभी-कभी केवल विरल कोडिंग समस्या) के रूप में जाना जाता है। इसे हल करने के लिए कई एल्गोरिदम विकसित किए गए हैं (जैसे मिलान खोज और लैस्सो (सांख्यिकी)) और नीचे वर्णित एल्गोरिदम में शामिल किए गए हैं।

इष्टतम दिशाओं की विधि (एमओडी)

इष्टतम दिशाओं की विधि (या एमओडी) विरल शब्दकोश सीखने की समस्या से निपटने के लिए शुरू की गई पहली विधियों में से एक थी। इसका मूल विचार प्रतिनिधित्व वेक्टर के गैर-शून्य घटकों की सीमित संख्या के अधीन न्यूनतमकरण समस्या को हल करना है:

$\min _{\mathbf {D} ,R}\{\|X-\mathbf {D} R\|_{F}^{2}\}\,\,{\text{s.t.}}\,\,\forall i\,\,\|r_{i}\|_{0}\leq T$ यहाँ, $F$ फ्रोबेनियस मानदंड को दर्शाता है। एमओडी मिलान खोज जैसी विधि का उपयोग करके विरल सन्निकटन प्राप्त करने और दी गई समस्या के विश्लेषणात्मक समाधान की गणना करके शब्दकोश को अद्यतन करने के बीच वैकल्पिक करता है। $\mathbf {D} =XR^{+}$ कहाँ $R^{+}$ एक मूर-पेनरोज़ छद्म व्युत्क्रम है|मूर-पेनरोज़ छद्म व्युत्क्रम। इस अपडेट के बाद $\mathbf {D}$ बाधाओं को फिट करने के लिए पुनः सामान्यीकृत किया जाता है और नई विरल कोडिंग फिर से प्राप्त की जाती है। प्रक्रिया को अभिसरण तक (या पर्याप्त रूप से छोटे अवशेष तक) दोहराया जाता है।

निम्न-आयामी इनपुट डेटा के लिए MOD एक बहुत ही कुशल तरीका साबित हुआ है $X$ एकाग्र होने के लिए बस कुछ पुनरावृत्तियों की आवश्यकता है। हालाँकि, मैट्रिक्स-इनवर्जन ऑपरेशन की उच्च जटिलता के कारण, उच्च-आयामी मामलों में छद्म व्युत्क्रम की गणना करना कई मामलों में कठिन है। इस कमी ने अन्य शब्दकोश सीखने के तरीकों के विकास को प्रेरित किया है।

के-एसवीडी

Main article: K-SVD

के-एसवीडी एक एल्गोरिथ्म है जो शब्दकोश के परमाणुओं को एक-एक करके अद्यतन करने के लिए इसके मूल में एकवचन मूल्य अपघटन करता है और मूल रूप से K- का अर्थ है क्लस्टरिंग |के-मीन्स का सामान्यीकरण है। यह लागू करता है कि इनपुट डेटा का प्रत्येक तत्व $x_{i}$ से अधिक नहीं के एक रैखिक संयोजन द्वारा एन्कोड किया गया है $T_{0}$ तत्व एक तरह से MOD दृष्टिकोण के समान हैं:

$\min _{\mathbf {D} ,R}\{\|X-\mathbf {D} R\|_{F}^{2}\}\,\,{\text{s.t.}}\,\,\forall i\,\,\|r_{i}\|_{0}\leq T_{0}$ इस एल्गोरिथम का सार सबसे पहले शब्दकोश को ठीक करना, सर्वोत्तम संभव खोजना है $R$ उपरोक्त बाधा के तहत (मिलान खोज#एक्सटेंशन का उपयोग करके) और फिर शब्दकोश के परमाणुओं को पुनरावृत्त रूप से अद्यतन करें $\mathbf {D}$ निम्नलिखित तरीके से:

$\|X-\mathbf {D} R\|_{F}^{2}=\left|X-\sum _{i=1}^{K}d_{i}x_{T}^{i}\right|_{F}^{2}=\|E_{k}-d_{k}x_{T}^{k}\|_{F}^{2}$ एल्गोरिथम के अगले चरणों में अवशिष्ट मैट्रिक्स का निम्न-रैंक सन्निकटन|रैंक-1 सन्निकटन शामिल है $E_{k}$, अद्यतन कर रहा है $d_{k}$ और विरलता को लागू करना $x_{k}$ अद्यतन के बाद. इस एल्गोरिदम को शब्दकोश सीखने के लिए मानक माना जाता है और इसका उपयोग विभिन्न अनुप्रयोगों में किया जाता है। हालाँकि, यह कमजोरियों को साझा करता है क्योंकि एमओडी केवल अपेक्षाकृत कम आयामीता वाले संकेतों के लिए कुशल है और स्थानीय न्यूनतम पर अटके रहने की संभावना है।

स्टोकेस्टिक ग्रेडिएंट डिसेंट

Main article: Stochastic gradient descent

इस समस्या को हल करने के लिए कोई पुनरावृत्त प्रक्षेपण के साथ व्यापक स्टोकेस्टिक ग्रेडिएंट डीसेंट विधि भी लागू कर सकता है। इस पद्धति का विचार पहले क्रम के स्टोकेस्टिक ग्रेडिएंट का उपयोग करके शब्दकोश को अद्यतन करना और इसे बाधा सेट पर प्रोजेक्ट करना है ${\mathcal {C}}$. i-वें पुनरावृत्ति पर होने वाला चरण इस अभिव्यक्ति द्वारा वर्णित है:

$\mathbf {D} _{i}={\text{proj}}_{\mathcal {C}}\left\{\mathbf {D} _{i-1}-\delta _{i}\nabla _{\mathbf {D} }\sum _{i\in S}\|x_{i}-\mathbf {D} r_{i}\|_{2}^{2}+\lambda \|r_{i}\|_{1}\right\}$, कहाँ $S$ का एक यादृच्छिक उपसमुच्चय है $\{1...K\}$ और $\delta _{i}$ एक क्रमिक कदम है.

लैग्रेंज दोहरी विधि

द्वंद्व (अनुकूलन) को हल करने पर आधारित एक एल्गोरिदम शब्दकोश को हल करने का एक कुशल तरीका प्रदान करता है जिसमें स्पार्सिटी फ़ंक्शन से प्रेरित कोई जटिलता नहीं होती है। निम्नलिखित लैग्रेंजियन पर विचार करें:

${\mathcal {L}}(\mathbf {D} ,\Lambda )={\text{tr}}\left((X-\mathbf {D} R)^{T}(X-\mathbf {D} R)\right)+\sum _{j=1}^{n}\lambda _{j}\left({\sum _{i=1}^{d}\mathbf {D} _{ij}^{2}-c}\right)$, कहाँ $c$ परमाणुओं के मानदंड पर एक बाधा है और $\lambda _{i}$ विकर्ण मैट्रिक्स बनाने वाले तथाकथित दोहरे चर हैं $\Lambda$.

न्यूनतमकरण के बाद हम लैग्रेंज दोहरे के लिए एक विश्लेषणात्मक अभिव्यक्ति प्रदान कर सकते हैं $\mathbf {D}$:

${\mathcal {D}}(\Lambda )=\min _{\mathbf {D} }{\mathcal {L}}(\mathbf {D} ,\Lambda )={\text{tr}}(X^{T}X-XR^{T}(RR^{T}+\Lambda )^{-1}(XR^{T})^{T}-c\Lambda )$.

अनुकूलन विधियों में से एक को दोहरे के मूल्य पर लागू करने के बाद (जैसे कि अनुकूलन में न्यूटन की विधि | न्यूटन की विधि या संयुग्मित ग्रेडिएंट विधि) हमें का मूल्य मिलता है $\mathbf {D}$:

$\mathbf {D} ^{T}=(RR^{T}+\Lambda )^{-1}(XR^{T})^{T}$ दोहरे चर की मात्रा के कारण इस समस्या को हल करना कम कम्प्यूटेशनल कठिन है $n$ मूल समस्या में चरों की मात्रा से कई गुना कम है।

लैसो

Main article: Lasso (statistics)

इस दृष्टिकोण में, अनुकूलन समस्या इस प्रकार तैयार की गई है:

$\min _{r\in \mathbb {R} ^{n}}\{\,\,\|r\|_{1}\}\,\,{\text{subject to}}\,\,\|X-\mathbf {D} R\|_{F}^{2}<\epsilon$, कहाँ $\epsilon$ LASSO के पुनर्निर्माण में अनुमत त्रुटि है।

इसका एक अनुमान मिलता है $r_{i}$ L1-मानदंड के अधीन न्यूनतम वर्ग त्रुटि को न्यूनतम करके^{L1-मानदंड}L1-मानदंड|-समाधान वेक्टर में मानक बाधा, इस प्रकार तैयार की गई है:

$\min _{r\in \mathbb {R} ^{n}}\,\,{\dfrac {1}{2}}\,\,\|X-\mathbf {D} r\|_{F}^{2}+\lambda \,\,\|r\|_{1}$, कहाँ $\lambda >0$ विरलता और पुनर्निर्माण त्रुटि के बीच व्यापार-बंद को नियंत्रित करता है। यह वैश्विक इष्टतम समाधान देता है. यह भी देखें स्पार्स कोडिंग के लिए ऑनलाइन शब्दकोश सीखना

पैरामीट्रिक प्रशिक्षण विधियाँ

पैरामीट्रिक प्रशिक्षण विधियों का उद्देश्य दोनों दुनियाओं के सर्वश्रेष्ठ को शामिल करना है - विश्लेषणात्मक रूप से निर्मित शब्दकोशों और सीखे गए शब्दकोशों का क्षेत्र। यह अधिक शक्तिशाली सामान्यीकृत शब्दकोशों के निर्माण की अनुमति देता है जिन्हें संभावित रूप से मनमाने आकार के संकेतों के मामलों पर लागू किया जा सकता है। उल्लेखनीय दृष्टिकोणों में शामिल हैं:

• अनुवाद-अपरिवर्तनीय शब्दकोश। ये शब्दकोष परिमित आकार के सिग्नल पैच के लिए निर्मित शब्दकोष से उत्पन्न परमाणुओं के अनुवादों से बने हैं। यह परिणामी शब्दकोश को मनमाने आकार के सिग्नल के लिए एक प्रतिनिधित्व प्रदान करने की अनुमति देता है।
• बहुस्तरीय शब्दकोश। यह विधि एक ऐसे शब्दकोश के निर्माण पर केंद्रित है जो विरलता में सुधार के लिए अलग-अलग पैमाने के शब्दकोशों से बना है।
• विरल शब्दकोश। यह विधि न केवल विरल प्रतिनिधित्व प्रदान करने पर केंद्रित है बल्कि एक विरल शब्दकोश का निर्माण भी करती है जिसे अभिव्यक्ति द्वारा लागू किया जाता है $\mathbf {D} =\mathbf {B} \mathbf {A}$ कहाँ $\mathbf {B}$ यह कुछ पूर्व-परिभाषित विश्लेषणात्मक शब्दकोष है जिसमें तीव्र गणना जैसे वांछनीय गुण हैं $\mathbf {A}$ एक विरल मैट्रिक्स है. इस तरह का सूत्रीकरण विरल दृष्टिकोणों के लचीलेपन के साथ विश्लेषणात्मक शब्दकोशों के तेजी से कार्यान्वयन को सीधे संयोजित करने की अनुमति देता है।

ऑनलाइन शब्दकोश सीखना (LASSO दृष्टिकोण)

विरल शब्दकोश सीखने के कई सामान्य दृष्टिकोण इस तथ्य पर निर्भर करते हैं कि संपूर्ण इनपुट डेटा $X$ (या कम से कम एक बड़ा पर्याप्त प्रशिक्षण डेटासेट) एल्गोरिथम के लिए उपलब्ध है। हालाँकि, वास्तविक दुनिया के परिदृश्य में ऐसा नहीं हो सकता है क्योंकि इनपुट डेटा का आकार इसे मेमोरी में फिट करने के लिए बहुत बड़ा हो सकता है। दूसरा मामला जहां यह धारणा नहीं बनाई जा सकती वह तब है जब इनपुट डेटा स्ट्रीम (कंप्यूटिंग) के रूप में आता है। ऐसे मामले ऑनलाइन मशीन लर्निंग के अध्ययन के क्षेत्र में हैं जो अनिवार्य रूप से नए डेटा बिंदुओं पर मॉडल को पुनरावृत्त रूप से अपडेट करने का सुझाव देता है $x$ उपलब्ध हो रहा है.

एक शब्दकोश को ऑनलाइन तरीके से निम्नलिखित तरीके से सीखा जा सकता है:

1. के लिए $t=1...T:$
2. एक नया नमूना बनाएं $x_{t}$
3. न्यूनतम-कोण प्रतिगमन का उपयोग करके एक विरल कोडिंग ढूंढें: $r_{t}={\underset {r\in \mathbb {R} ^{n}}{\text{argmin}}}\left({\frac {1}{2}}\|x_{t}-\mathbf {D} _{t-1}r\|+\lambda \|r\|_{1}\right)$
4. समन्वय वंश|ब्लॉक-कोऑर्डिनेट दृष्टिकोण का उपयोग करके शब्दकोश को अपडेट करें: $\mathbf {D} _{t}={\underset {\mathbf {D} \in {\mathcal {C}}}{\text{argmin}}}{\frac {1}{t}}\sum _{i=1}^{t}\left({\frac {1}{2}}\|x_{i}-\mathbf {D} r_{i}\|_{2}^{2}+\lambda \|r_{i}\|_{1}\right)$

यह विधि हमें धीरे-धीरे शब्दकोश को अपडेट करने की अनुमति देती है क्योंकि नया डेटा विरल प्रतिनिधित्व सीखने के लिए उपलब्ध हो जाता है और डेटासेट (जिसका आकार अक्सर बड़ा होता है) को संग्रहीत करने के लिए आवश्यक मेमोरी की मात्रा को काफी कम करने में मदद करता है।

अनुप्रयोग

शब्दकोश सीखने की रूपरेखा, अर्थात् डेटा से सीखे गए कुछ आधार तत्वों का उपयोग करके इनपुट सिग्नल का रैखिक अपघटन, ने विभिन्न छवि और वीडियो प्रसंस्करण कार्यों में अत्याधुनिक परिणाम प्राप्त किए हैं। इस तकनीक को वर्गीकरण समस्याओं पर इस तरह से लागू किया जा सकता है कि यदि हमने प्रत्येक वर्ग के लिए विशिष्ट शब्दकोश बनाए हैं, तो इनपुट सिग्नल को सबसे कम प्रतिनिधित्व के अनुरूप शब्दकोश ढूंढकर वर्गीकृत किया जा सकता है।

इसमें ऐसे गुण भी हैं जो सिग्नल को दर्शाने के लिए उपयोगी हैं क्योंकि आम तौर पर कोई इनपुट सिग्नल के सार्थक भाग को विरल तरीके से प्रस्तुत करने के लिए एक शब्दकोश सीख सकता है लेकिन इनपुट में शोर का विरल प्रतिनिधित्व बहुत कम होगा। विरल शब्दकोश शिक्षण को विभिन्न छवि, वीडियो और ऑडियो प्रसंस्करण कार्यों के साथ-साथ बनावट संश्लेषण पर सफलतापूर्वक लागू किया गया है और बिना पर्यवेक्षित क्लस्टरिंग। कंप्यूटर विज़न में बैग-ऑफ़-वर्ड्स मॉडल के साथ मूल्यांकन में|बैग-ऑफ़-वर्ड्स मॉडल, ऑब्जेक्ट श्रेणी पहचान कार्यों पर अन्य कोडिंग दृष्टिकोणों से बेहतर प्रदर्शन करने के लिए विरल कोडिंग को अनुभवजन्य रूप से पाया गया था।

चिकित्सा संकेतों का विस्तार से विश्लेषण करने के लिए शब्दकोश सीखने का उपयोग किया जाता है। ऐसे चिकित्सा संकेतों में इलेक्ट्रोएन्सेफलोग्राफी (ईईजी), इलेक्ट्रोकार्डियोग्राफी (ईसीजी), चुंबकीय अनुनाद इमेजिंग (एमआरआई), कार्यात्मक एमआरआई (एफएमआरआई), निरंतर ग्लूकोज मॉनिटर शामिल हैं। और अल्ट्रासाउंड कंप्यूटर टोमोग्राफी (यूएससीटी), जहां प्रत्येक सिग्नल का विश्लेषण करने के लिए विभिन्न मान्यताओं का उपयोग किया जाता है।

यह भी देखें

• विरल सन्निकटन
• विरल पीसीए
• के-एसवीडी
• मैट्रिक्स गुणनखंडन
• विरल कोडिंग