स्वतंत्र घटक विश्लेषण: Difference between revisions
No edit summary |
No edit summary |
||
(5 intermediate revisions by 3 users not shown) | |||
Line 1: | Line 1: | ||
{{Short description|Signal processing computational method}} | {{Short description|Signal processing computational method}} | ||
{{machine learning|Dimensionality reduction}} | {{machine learning|Dimensionality reduction}} | ||
[[ संकेत आगे बढ़ाना | | [[ संकेत आगे बढ़ाना |संकेतों को अग्रेषित]] करने के लिए '''स्वतंत्र घटक विश्लेषण''' (आईसीए) बहुभिन्नरूपी सांख्यिकी संकेत को योगात्मक उपघटकों में अलग करने के लिए कम्प्यूटरीकृत विधि है। इसका उपयोग यह मानकर किया जाता है कि अधिक से अधिक उपघटक गाऊसी प्रमेय का पालन करते है और यह कि उपघटक दूसरे से सांख्यिकीय रूप से स्वतंत्र हैं।<ref>{{cite web | url=http://research.ics.aalto.fi/ica/icademo/ | title=Independent Component Analysis: A Demo }}</ref> इस प्रकार आईसीए [[ अंधा स्रोत जुदाई |विचारहीन स्त्रोत विभाजन]] की विशेष स्थिति हैं। सामान्य उदाहरण अनुप्रयोग ध्वनियुक्त कमरे में व्यक्ति के भाषण को सुनने की कॉकटेल समूह की समस्या है।<ref>{{Cite journal|last=Hyvärinen|first=Aapo|date=2013|title=Independent component analysis: recent advances|journal=Philosophical Transactions: Mathematical, Physical and Engineering Sciences|volume=371|issue=1984|pages=20110534|issn=1364-503X|jstor=41739975|bibcode=2012RSPTA.37110534H|doi=10.1098/rsta.2011.0534|pmid=23277597|pmc=3538438}}</ref> | ||
== परिचय == | == परिचय == | ||
[[File:A-Local-Learning-Rule-for-Independent-Component-Analysis-srep28073-s3.ogv|300px|thumb|right|चार बेतरतीब ढंग से मिश्रित वीडियो पर | [[File:A-Local-Learning-Rule-for-Independent-Component-Analysis-srep28073-s3.ogv|300px|thumb|right|चार बेतरतीब ढंग से मिश्रित वीडियो पर आईसीए।<ref>{{cite journal|last1=Isomura|first1=Takuya|last2=Toyoizumi|first2=Taro|title=स्वतंत्र घटक विश्लेषण के लिए एक स्थानीय शिक्षण नियम|journal=Scientific Reports|volume=6|pages=28073|date=2016|doi=10.1038/srep28073|pmid=27323661|pmc=4914970|bibcode=2016NatSR...628073I}}</ref> शीर्ष: मूल स्रोत वीडियो हैं। मध्य एल्गोरिदम में इनपुट के रूप में उपयोग किए जाने वाले चार यादृच्छिक मिश्रण हैं। जो नीचे: पुनर्निर्मित वीडियो में देखा जा सकता हैं।]]स्वतंत्र घटक विश्लेषण बहुभिन्नरूपी संकेत को स्वतंत्र गैर-गाऊसी संकेतों में विघटित करने का प्रयास करता है। इस प्रकार उदाहरण के रूप में, ध्वनि सामान्यतः संकेत होता है जो इस प्रकार कई स्रोतों से संकेतों के प्रत्येक समय टी पर संख्यात्मक जोड़ से बना होता है। इस प्रकार प्रश्न यह है कि क्या इन योगदान स्रोतों को देखे गए कुल संकेत से अलग करना संभव है। इस प्रकार जब सांख्यिकीय स्वतंत्रता धारणा सही होती है, तो इस प्रकार मिश्रित संकेत का विचारहीन आईसीए पृथक्करण बहुत अच्छा परिणाम देता है। इस प्रकार इसका उपयोग उन संकेतों के लिए भी किया जाता है जिन्हें विश्लेषण उद्देश्यों के लिए मिश्रित करके उत्पन्न नहीं किया जाना चाहिए। | ||
कॉकटेल पार्टी की समस्या आईसीए का सरल अनुप्रयोग है, | कॉकटेल पार्टी की समस्या आईसीए का सरल अनुप्रयोग है, जहाँ अंतर्निहित संकेतों को कमरे में साथ बात करने वाले लोगों के नमूना डेटा से अलग किया जाता है। सामान्यतः इसके अतिरिक्त गूँजने की समस्या को सरल बना दिया जाता है। इस प्रकार ध्यान दें कि फ़िल्टर्ड और विलंबित संकेत आश्रित घटक की प्रति है, और इस प्रकार सांख्यिकीय स्वतंत्रता धारणा का उल्लंघन नहीं होता है। | ||
निर्माण के लिए वजन | इस प्रकार निर्माण के लिए वजन को संयोजित करना <math display="inline">M</math> से संकेतों का अवलोकन किया तथा <math display="inline">N</math> घटकों को में <math display="inline">M \times N</math> आव्यूह उपयोग किया जाता है। इस पर विचार करने वाली महत्वपूर्ण बात यह है कि यदि <math display="inline">N</math> स्रोत सम्मलित हैं, इस प्रकार कम से कम <math display="inline">N</math> मूल संकेतों को पुनर्प्राप्त करने के लिए अवलोकन उदाहरण के लिए माइक्रोफ़ोन यदि देखा गया संकेत ऑडियो की आवश्यकता होती है। इस प्रकार जब समान संख्या में अवलोकन और स्रोत संकेत होते हैं, तो (<math display="inline">M = N</math>) मिश्रण आव्यूह वर्गाकार होता है। इस प्रकार अनिर्धारित के अन्य स्थितियों (<math display="inline">M < N</math>) और अतिनिर्धारित (<math display="inline">M > N</math>) की जांच की गई है। | ||
यह | यह मिश्रित संकेतों का आईसीए पृथक्करण बहुत अच्छे परिणाम देता है, इस प्रकार यह दो धारणाओं और मिश्रण स्रोत संकेतों के तीन प्रभावों पर आधारित है। इस प्रकार इसकी दो धारणाएं हैं : | ||
# स्रोत संकेत दूसरे से स्वतंत्र हैं। | # स्रोत संकेत दूसरे से स्वतंत्र हैं। | ||
# प्रत्येक स्रोत | # प्रत्येक स्रोत संकेत के मान में गैर-गाऊसी वितरण होते हैं। | ||
स्रोत संकेतों को मिलाने के तीन प्रभाव: | स्रोत संकेतों को मिलाने के तीन प्रभाव: | ||
#स्वतंत्रता: धारणा 1 के अनुसार, स्रोत संकेत स्वतंत्र हैं; | #स्वतंत्रता: धारणा 1 के अनुसार, स्रोत संकेत स्वतंत्र हैं; चूंकि इस प्रकार उनके संकेत मिश्रण नहीं हैं। ऐसा इसलिए है क्योंकि संकेत मिश्रण समान स्रोत संकेत साझा करते हैं। | ||
# | #सामान्यत: इस प्रकार [[केंद्रीय सीमा प्रमेय]] के अनुसार, परिमित विचरण के साथ स्वतंत्र यादृच्छिक चर के योग का वितरण गॉसियन वितरण की ओर जाता है।<br />सरल शब्दों में कहें तो, दो स्वतंत्र यादृच्छिक चर के योग में सामान्यतः वितरण होता है जो इसके करीब होता है गॉसियन दो मूल चरों में से किसी की तुलना में उपयोग किया जाता हैं। यहां इस प्रकार हम प्रत्येक संकेत के मान को यादृच्छिक चर मानते हैं। | ||
#जटिलता: किसी भी | #जटिलता: किसी भी संकेत मिश्रण की अस्थायी जटिलता उसके सरलतम घटक स्रोत संकेत की तुलना में अधिक होती है। | ||
इस प्रकार इस सिद्धांत आईसीए की मौलिक स्थापना में योगदान करते हैं। इस प्रकार यदि मिश्रण के समुच्चय से निकाले गए संकेत स्वतंत्र हैं, और इस प्रकार गैर-गाऊसी हिस्टोग्राम हैं या कम जटिलता है, तो उन्हें स्रोत संकेत होना चाहिए।<ref name="Stone 2004">{{cite book|last=Stone|first=James V.|title=Independent component analysis : a tutorial introduction|year=2004|publisher=MIT Press|location=Cambridge, Massachusetts |isbn=978-0-262-69315-8}}</ref><ref>{{cite book|last1= Hyvärinen |first1=Aapo |last2=Karhunen |first2=Juha |last3=Oja |first3=Erkki |title=स्वतंत्र घटक विश्लेषण|year=2001|publisher=John Wiley & Sons|location=New York|isbn=978-0-471-22131-9|edition=1st}}</ref> | |||
== घटक स्वतंत्रता को परिभाषित करना == | == घटक स्वतंत्रता को परिभाषित करना == | ||
आईसीए अनुमानित घटकों की सांख्यिकीय स्वतंत्रता को अधिकतम करके स्वतंत्र घटकों | आईसीए अनुमानित घटकों की सांख्यिकीय स्वतंत्रता को अधिकतम करके स्वतंत्र घटकों का पता लगाता है, जिन्हें कारक, अव्यक्त चर या स्रोत भी कहा जाता है। इस प्रकार हम स्वतंत्रता के लिए प्रॉक्सी को परिभाषित करने के कई तरीकों में से चुन सकते हैं, और यह विकल्प आईसीए एल्गोरिथम के रूप को नियंत्रित करता है। इस प्रकार आईसीए के लिए स्वतंत्रता की दो व्यापक परिभाषाएँ हैं | ||
# [[आपसी जानकारी]] को कम करना | # [[आपसी जानकारी]] को कम करना | ||
# गैर-गौसियनिटी का अधिकतमकरण | # गैर-गौसियनिटी का अधिकतमकरण | ||
आईसीए एल्गोरिथम का मिनिमाइजेशन-ऑफ-म्युचुअल इंफॉर्मेशन (एमएमआई) | आईसीए एल्गोरिथम का मिनिमाइजेशन-ऑफ-म्युचुअल इंफॉर्मेशन (एमएमआई) समुच्चय कुल्बैक-लीब्लर डाइवर्जेंस या कुल्बैक-लीब्लर डाइवर्जेंस और अधिकतम एंट्रॉपी के सिद्धांत जैसे उपायों का उपयोग करता है। इस प्रकार [[केंद्रीय सीमा प्रमेय]] से प्रेरित आईसीए एल्गोरिदम का गैर-गौसियनिटी समुच्चय, [[कुकुदता]] और [[नाइनट्रॉपी]] का उपयोग करता है। | ||
आईसीए के लिए विशिष्ट एल्गोरिदम वास्तविक पुनरावृत्त एल्गोरिदम के लिए समस्या की जटिलता को सरल बनाने और कम करने के लिए केंद्रीकरण | आईसीए के लिए विशिष्ट एल्गोरिदम वास्तविक पुनरावृत्त एल्गोरिदम के लिए समस्या की जटिलता को सरल बनाने और कम करने के लिए केंद्रीकरण शून्य माध्य संकेत बनाने के लिए माध्य घटाना, श्वेत परिवर्तन सामान्यतः ईजेनवेल्यू अपघटन के साथ और पूर्वप्रक्रमण चरणों के रूप में [[आयाम में कमी]] का उपयोग करते हैं। इस प्रकार मुख्य घटक विश्लेषण या एकवचन मूल्य अपघटन के साथ श्वेतकरण और आयाम में कमी प्राप्त की जा सकती है। इस प्रकार श्वेतकरण यह सुनिश्चित करता है कि एल्गोरिदम चलाने से पहले सभी आयामों को समान रूप से प्राथमिकता माना जाता है। इस प्रकार आईसीए के लिए प्रसिद्ध एल्गोरिदम में [[infomax|इन्फो मैक्स]] , फास्टआईसीए, जेएडीई (आईसीए), और [[कर्नेल-स्वतंत्र घटक विश्लेषण]] सम्मलित हैं। सामान्यतः इस प्रकार आईसीए स्रोत संकेतों की वास्तविक संख्या, स्रोत संकेतों के विशिष्ट रूप से सही क्रम, और न ही स्रोत संकेतों के उचित स्केलिंग साइन सहित की पहचान नहीं कर सकता है। | ||
आईसीए | आईसीए संकेत पृथक्करण के लिए महत्वपूर्ण है और इसके कई व्यावहारिक अनुप्रयोग हैं। इस प्रकार यह डेटा के [[ तथ्यात्मक कोड |तथ्यात्मक कोड]] की खोज या यहां तक कि विशेष स्थितियों से निकटता से संबंधित है, अर्थात इस प्रकार प्रत्येक डेटा सदिश के इस सदिश के मान के लिए प्रतिनिधित्व करते हुए यह इस प्रकार परिणामी कोड को सदिश द्वारा विशिष्ट रूप से एन्कोड कोडिंग करता है। अपितु कोड घटक सांख्यिकीय रूप से स्वतंत्र हैं। | ||
== गणितीय परिभाषाएँ == | == गणितीय परिभाषाएँ == | ||
रैखिक स्वतंत्र घटक विश्लेषण को नीरव और | रैखिक स्वतंत्र घटक विश्लेषण को नीरव और ध्वनि वाले स्थितियों में विभाजित किया जा सकता है, जहाँ नीरव आईसीए ध्वनि आईसीए की विशेष स्थिति हैं। इस प्रकार नॉनलाइनियर आईसीए को अलग स्थितियों के रूप में माना जाना चाहिए। | ||
=== सामान्य परिभाषा === | === सामान्य परिभाषा === | ||
डेटा | डेटा <math>\boldsymbol{x}=(x_1,\ldots,x_m)^T</math>को देखे गए [[यादृच्छिक वेक्टर|यादृच्छिक सदिश]] द्वारा दर्शाया गया है और छिपे हुए घटक यादृच्छिक सदिश के रूप में <math>\boldsymbol{s}=(s_1,\ldots,s_n)^T.</math> कार्य देखे गए डेटा को बदलना है, इस प्रकार <math>\boldsymbol{x},</math> रैखिक स्थिर परिवर्तन <math>\boldsymbol{W}</math> का उपयोग करना जैसा <math>\boldsymbol{s} = \boldsymbol{W} \boldsymbol{x},</math> अधिकतम स्वतंत्र घटकों के सदिश में <math>\boldsymbol{s}</math> किसी कार्य द्वारा मापा जाता है <math>F(s_1,\ldots,s_n)</math> इंडिपेंडेंट के लिए उपयोग किये जाते हैं। | ||
=== जनरेटिव | === जनरेटिव प्रारूप === | ||
==== रैखिक नीरव आईसीए ==== | ==== रैखिक नीरव आईसीए ==== | ||
अवयव <math>x_i</math> देखे गए यादृच्छिक | अवयव <math>x_i</math> देखे गए यादृच्छिक सदिश की <math>\boldsymbol{x}=(x_1,\ldots,x_m)^T</math> स्वतंत्र घटकों के योग <math>s_k</math>, <math>k=1,\ldots,n</math> के रूप में उत्पन्न होते हैं: | ||
<math>x_i = a_{i,1} s_1 + \cdots + a_{i,k} s_k + \cdots + a_{i,n} s_n</math> | <math>x_i = a_{i,1} s_1 + \cdots + a_{i,k} s_k + \cdots + a_{i,n} s_n</math>मिश्रण भार द्वारा भारित <math>a_{i,k}</math> रहता हैं। | ||
मिश्रण भार द्वारा भारित <math>a_{i,k}</math> | |||
उसी जनरेटिव | उसी जनरेटिव प्रारूप को सदिश रूप <math>\boldsymbol{x}=\sum_{k=1}^{n} s_k \boldsymbol{a}_k</math> में लिखा जा सकता है, जहाँ यादृच्छिक सदिश <math>\boldsymbol{x}</math> आधार सदिश <math>\boldsymbol{a}_k=(\boldsymbol{a}_{1,k},\ldots,\boldsymbol{a}_{m,k})^T</math>द्वारा दर्शाया गया है। आधार सदिश <math>\boldsymbol{a}_k</math> मिक्सिंग आव्यूह के कॉलम <math>\boldsymbol{A}=(\boldsymbol{a}_1,\ldots,\boldsymbol{a}_n)</math> बनाएं और <math>\boldsymbol{x}=\boldsymbol{A} \boldsymbol{s}</math>, जहाँ <math>\boldsymbol{s}=(s_1,\ldots,s_n)^T</math> उत्पादक सूत्र के रूप में लिखा जा सकता है। | ||
इस प्रकार प्रारूप को देखते हुए <math>\boldsymbol{x}_1,\ldots,\boldsymbol{x}_N</math> यादृच्छिक सदिश का <math>\boldsymbol{x}</math>, कार्य दोनों मिश्रण <math>\boldsymbol{A}</math> आव्यूह और स्रोत <math>\boldsymbol{s}</math> का अनुमान लगाना है, इस प्रकार यह अनुकूल रूप से गणना करके किया जाता है <math>\boldsymbol{w}</math> सदिश और लागत फलन स्थापित करना जो या तो गणना की गैर-गौसियनिटी <math>s_k = \boldsymbol{w}^T \boldsymbol{x}</math> को अधिकतम करता है या इस प्रकार आपसी जानकारी को कम करता है। कुछ स्थितियों में, स्रोतों के संभाव्यता बंटन का प्राथमिक ज्ञान लागत फलन में उपयोग किया जा सकता है। | |||
मूल स्रोत <math>\boldsymbol{s}</math> देखे गए संकेतों को गुणा करके पुनर्प्राप्त किया जा सकता है <math>\boldsymbol{x}</math> मिश्रण | मूल स्रोत <math>\boldsymbol{s}</math> देखे गए संकेतों को गुणा करके पुनर्प्राप्त किया जा सकता है <math>\boldsymbol{x}</math> मिश्रण आव्यूह के व्युत्क्रम के साथ <math>\boldsymbol{W}=\boldsymbol{A}^{-1}</math> उपयोग किया जाता है, जिसे अनमिक्सिंग आव्यूह के रूप में भी जाना जाता है। यहाँ यह माना जाता है कि मिश्रण आव्यूह वर्ग (<math>n=m</math>) है। इस प्रकार यदि आधार सदिशों की संख्या प्रेक्षित सदिशों की विमा <math>n>m</math> से अधिक है, अपितु छद्म व्युत्क्रम के साथ अभी भी हल करने योग्य है। | ||
==== रैखिक | ==== रैखिक ध्वनि आईसीए ==== | ||
शून्य-माध्य और असंबद्ध गाऊसी | शून्य-माध्य और असंबद्ध गाऊसी ध्वनि की अतिरिक्त धारणा के साथ <math>n\sim N(0,\operatorname{diag}(\Sigma))</math>, आईसीए प्रारूप <math>\boldsymbol{x}=\boldsymbol{A} \boldsymbol{s}+n</math> रूप लेता है। | ||
==== अरैखिक आईसीए ==== | ==== अरैखिक आईसीए ==== | ||
स्रोतों के मिश्रण को रैखिक होने की आवश्यकता नहीं है। अरैखिक मिश्रण | स्रोतों के मिश्रण को रैखिक होने की आवश्यकता नहीं है। इस प्रकार अरैखिक मिश्रण फलन का उपयोग करना <math>f(\cdot|\theta)</math> मापदंडों के साथ <math>\theta</math> [[ अरेखीय आईसीए |अरेखीय आईसीए]] प्रारूप <math>x=f(s|\theta)+n</math> है। | ||
=== पहचान === | === पहचान === | ||
स्रोतों के क्रमपरिवर्तन और स्केलिंग तक स्वतंत्र घटकों की पहचान की जा सकती है। इस पहचान की आवश्यकता है कि: | स्रोतों के क्रमपरिवर्तन और स्केलिंग तक स्वतंत्र घटकों की पहचान की जा सकती है। इस प्रकार इस पहचान की आवश्यकता है कि: | ||
* अधिक से अधिक स्रोत <math>s_k</math> गाऊसी है, | * अधिक से अधिक स्रोत <math>s_k</math> गाऊसी है, | ||
* देखे गए मिश्रणों की संख्या, <math>m</math>, कम से कम अनुमानित घटकों की संख्या जितनी बड़ी होनी चाहिए <math>n</math>: <math>m \ge n</math>. यह मिश्रण | * देखे गए मिश्रणों की संख्या, <math>m</math>, कम से कम अनुमानित घटकों की संख्या जितनी बड़ी होनी चाहिए <math>n</math>: <math>m \ge n</math>. यह मिश्रण आव्यूह कहने के बराबर है <math>\boldsymbol{A}</math> इसके व्युत्क्रम के अस्तित्व के लिए पूर्ण [[रैंक (रैखिक बीजगणित)]] का होना चाहिए। | ||
== बाइनरी आईसीए == | == बाइनरी आईसीए == | ||
आईसीए का विशेष संस्करण बाइनरी आईसीए है जिसमें | आईसीए का विशेष संस्करण बाइनरी आईसीए है, जिसमें इस प्रकार संकेत स्रोत और मॉनिटर दोनों बाइनरी फॉर्म में हैं और मॉनिटर से अवलोकन बाइनरी स्वतंत्र स्रोतों के संयोजन मिश्रण हैं। समस्या को [[चिकित्सा निदान]], [[बहु-क्लस्टर असाइनमेंट]], [[नेटवर्क टोमोग्राफी]] और [[इंटरनेट संसाधन प्रबंधन]] सहित कई डोमेन में अनुप्रयोगों के लिए दिखाया गया था। | ||
होने देना <math>{x_1, x_2, \ldots, x_m}</math> से बाइनरी चर का | होने देना <math>{x_1, x_2, \ldots, x_m}</math> से बाइनरी चर का समुच्चय हो <math>m</math> मॉनिटर और <math>{y_1, y_2, \ldots, y_n}</math> से बाइनरी चर का समुच्चय हो <math>n</math> स्रोत है। इस प्रकार स्रोत-मॉनिटर कनेक्शन (अज्ञात) मिश्रण आव्यूह द्वारा <math display="inline">\boldsymbol{G}</math> दर्शाए जाते हैं, जहाँ <math>g_{ij} = 1</math> इंगित करता है, कि i-वें स्रोत से संकेत j-वें मॉनिटर द्वारा देखा जा सकता है। इस प्रकार सिस्टम निम्नानुसार काम करता है: किसी भी समय, यदि कोई स्रोत <math>i</math> सक्रिय है (<math>y_i=1</math>) और यह मॉनिटर से जुड़ा होता है <math>j</math> (<math>g_{ij}=1</math>) फिर मॉनिटर <math>j</math> कुछ गतिविधि देखेंगे (<math>x_j=1</math>) औपचारिक रूप से हमारे पास है: | ||
:<math> | :<math> | ||
x_i = \bigvee_{j=1}^n (g_{ij}\wedge y_j), i = 1, 2, \ldots, m, | x_i = \bigvee_{j=1}^n (g_{ij}\wedge y_j), i = 1, 2, \ldots, m, | ||
</math> | </math> | ||
जहाँ <math>\wedge</math> बूलियन और है <math>\vee</math> बूलियन OR है। ध्यान दें कि ध्वनि को स्पष्ट रूप से प्रतिरूपित नहीं किया जाता है, बल्कि इसे स्वतंत्र स्रोतों के रूप में माना जा सकता है। | |||
उपरोक्त समस्या को ह्यूरिस्टिक रूप से हल किया जा सकता है<ref name="Hyvärinen">जोहान हिमबर्गैंड आपो हाइवरिनन, [http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.11.8895 बाइनरी डेटा के लिए स्वतंत्र घटक विश्लेषण: एक प्रायोगिक अध्ययन], प्रोक। इंट। इंडिपेंडेंट कंपोनेंट एनालिसिस एंड ब्लाइंड सिग्नल सेपरेशन (ICA2001), सैन डिएगो, कैलिफ़ोर्निया, 2001 पर वर्कशॉप। </ रेफ> यह मानकर कि चर निरंतर हैं और मिक्सिंग मैट्रिक्स प्राप्त करने के लिए बाइनरी ऑब्जर्वेशन डेटा पर FastICA चला रहे हैं <math display="inline">\boldsymbol{G}</math> (वास्तविक मूल्य), फिर [[गोल संख्या]] तकनीकों को लागू करें <math display="inline">\boldsymbol{G}</math> बाइनरी मान प्राप्त करने के लिए। यह दृष्टिकोण अत्यधिक गलत परिणाम उत्पन्न करने के लिए दिखाया गया है।{{citation needed|date=October 2012}} | उपरोक्त समस्या को ह्यूरिस्टिक रूप से हल किया जा सकता है<ref name="Hyvärinen">जोहान हिमबर्गैंड आपो हाइवरिनन, [http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.11.8895 बाइनरी डेटा के लिए स्वतंत्र घटक विश्लेषण: एक प्रायोगिक अध्ययन], प्रोक। इंट। इंडिपेंडेंट कंपोनेंट एनालिसिस एंड ब्लाइंड सिग्नल सेपरेशन (ICA2001), सैन डिएगो, कैलिफ़ोर्निया, 2001 पर वर्कशॉप। </ रेफ> यह मानकर कि चर निरंतर हैं और मिक्सिंग मैट्रिक्स प्राप्त करने के लिए बाइनरी ऑब्जर्वेशन डेटा पर FastICA चला रहे हैं <math display="inline">\boldsymbol{G}</math> (वास्तविक मूल्य), फिर [[गोल संख्या]] तकनीकों को लागू करें <math display="inline">\boldsymbol{G}</math> बाइनरी मान प्राप्त करने के लिए। यह दृष्टिकोण अत्यधिक गलत परिणाम उत्पन्न करने के लिए दिखाया गया है।{{citation needed|date=October 2012}} | ||
एक अन्य विधि [[गतिशील प्रोग्रामिंग]] का उपयोग करना है: अवलोकन मैट्रिक्स को पुनरावर्ती रूप से तोड़ना <math display="inline">\boldsymbol{X}</math> इसके उप-मैट्रिसेस में और इन सब-मैट्रिसेस पर इंट्रेंस एल्गोरिथम चलाते हैं। मुख्य अवलोकन जो इस एल्गोरिथम की ओर ले जाता है वह उप-मैट्रिक्स है <math display="inline">\boldsymbol{X}^0</math> का <math display="inline">\boldsymbol{X}</math> कहाँ <math display="inline">x_{ij} = 0, \forall j</math> छिपे हुए घटकों के निष्पक्ष अवलोकन मैट्रिक्स से मेल खाती है जिनका संबंध नहीं है <math>i</math>-वें मॉनिटर। से प्रायोगिक परिणाम<nowiki><ref name="Huyna">Huy Nguyen and Rong Zheng, </nowiki>''[http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5753957 Binary Independent Component Analysis With or Mixtures]'', IEEE Transactions on Signal Processing, Vol. 59, Issue 7. (July 2011), pp. 3168–3181.</ref> दिखाएँ कि यह दृष्टिकोण मध्यम | एक अन्य विधि [[गतिशील प्रोग्रामिंग]] का उपयोग करना है: अवलोकन मैट्रिक्स को पुनरावर्ती रूप से तोड़ना <math display="inline">\boldsymbol{X}</math> इसके उप-मैट्रिसेस में और इन सब-मैट्रिसेस पर इंट्रेंस एल्गोरिथम चलाते हैं। मुख्य अवलोकन जो इस एल्गोरिथम की ओर ले जाता है वह उप-मैट्रिक्स है <math display="inline">\boldsymbol{X}^0</math> का <math display="inline">\boldsymbol{X}</math> कहाँ <math display="inline">x_{ij} = 0, \forall j</math> छिपे हुए घटकों के निष्पक्ष अवलोकन मैट्रिक्स से मेल खाती है जिनका संबंध नहीं है <math>i</math>-वें मॉनिटर। से प्रायोगिक परिणाम<nowiki><ref name="Huyna">Huy Nguyen and Rong Zheng, </nowiki>''[http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5753957 Binary Independent Component Analysis With or Mixtures]'', IEEE Transactions on Signal Processing, Vol. 59, Issue 7. (July 2011), pp. 3168–3181.</ref> दिखाएँ कि यह दृष्टिकोण मध्यम ध्वनि स्तरों के अनुसार सटीक है। | ||
सामान्यीकृत बाइनरी आईसीए ढांचा<ref name="Generalized Binary ICA">{{cite book|last1=Painsky|first1=Amichai|last2=Rosset|first2=Saharon|last3=Feder|first3=Meir|title=सामान्यीकृत बाइनरी स्वतंत्र घटक विश्लेषण|journal=IEEE International Symposium on Information Theory (ISIT), 2014|pages=1326–1330|doi=10.1109/ISIT.2014.6875048|year=2014|isbn=978-1-4799-5186-4|s2cid=18579555}}</ref> व्यापक समस्या सूत्रीकरण प्रस्तुत करता है जिसके लिए जनरेटिव | सामान्यीकृत बाइनरी आईसीए ढांचा<ref name="Generalized Binary ICA">{{cite book|last1=Painsky|first1=Amichai|last2=Rosset|first2=Saharon|last3=Feder|first3=Meir|title=सामान्यीकृत बाइनरी स्वतंत्र घटक विश्लेषण|journal=IEEE International Symposium on Information Theory (ISIT), 2014|pages=1326–1330|doi=10.1109/ISIT.2014.6875048|year=2014|isbn=978-1-4799-5186-4|s2cid=18579555}}</ref> व्यापक समस्या सूत्रीकरण प्रस्तुत करता है, जिसके लिए जनरेटिव प्रारूप पर किसी भी ज्ञान की आवश्यकता नहीं होती है। दूसरे शब्दों में, यह विधि किसी स्रोत को उसके स्वतंत्र घटकों के लिए जितना संभव हो सके, और इस प्रकार बिना किसी जानकारी को विघटित करने का प्रयास करती है, जिस प्रकार से इसे उत्पन्न किया गया था। यद्यपि यह समस्या अधिक जटिल दिखाई देती है, इसे शाखा और बाउंड सर्च ट्री एल्गोरिथम या सदिश के साथ आव्यूह के एकल गुणन के साथ कसकर ऊपरी सीमा के साथ सटीक रूप से हल किया जा सकता है। | ||
== | == विचारहीन स्त्रोत विभाजन के तरीके == | ||
=== [[प्रक्षेपण पीछा]] === | === [[प्रक्षेपण पीछा|प्रक्षेपण]] === | ||
संकेत मिश्रण में गॉसियन संभाव्यता घनत्व कार्य होते हैं, और स्रोत संकेतों में गैर-गाऊसी प्रायिकता घनत्व फलन होते हैं। इस प्रकार प्रत्येक स्रोत संकेत को वजन सदिश के आंतरिक उत्पाद और उन संकेत मिश्रणों को ले कर संकेत मिश्रणों के समुच्चय से निकाला जा सकता है जहाँ यह आंतरिक उत्पाद संकेत मिश्रणों का ऑर्थोगोनल प्रक्षेपण प्रदान करता है। शेष चुनौती इस प्रकार के वजन वाले सदिश को ढूंढ रही है। ऐसा करने के लिए प्रकार का तरीका प्रक्षेपण परस्यूट है।<ref name="James V. Stone 2004">James V. Stone(2004); "Independent Component Analysis: A Tutorial Introduction", The MIT Press Cambridge, Massachusetts, London, England; {{ISBN|0-262-69315-1}}</ref><ref>Kruskal, JB. 1969; "Toward a practical method which helps uncover the structure of a set of observations by finding the line transformation which optimizes a new "index of condensation", Pages 427–440 of: Milton, RC, & Nelder, JA (eds), Statistical computation; New York, Academic Press</ref> | |||
प्रक्षेपण | प्रक्षेपण समय में प्रक्षेपण की तलाश करता है जैसे कि निकाला गया संकेत जितना संभव हो उतना गैर-गाऊसी है। इस प्रकार यह आईसीए के विपरीत है, जो सामान्यतः एम संकेत मिश्रण से साथ एम संकेत निकालता है, जिसके लिए m × m अनमिक्सिंग आव्यूह का अनुमान लगाने की आवश्यकता होती है। इस प्रकार आईसीए पर प्रक्षेपण खोज का व्यावहारिक लाभ यह है कि यदि आवश्यक हो तो एम से कम संकेत निकाले जा सकते हैं, जहाँ प्रत्येक स्रोत संकेत को एम-एलिमेंट वेट सदिश का उपयोग करके एम संकेत मिश्रण से निकाला जाता है। | ||
इस प्रकार प्रक्षेपण खोज के उपयोग के साथ सही वज़न सदिश ढूंढकर हम कर्टोसिस का उपयोग एकाधिक स्रोत संकेत को पुनर्प्राप्त करने के लिए कर सकते हैं। | |||
परिमित प्रमाण के लिए संकेत के संभाव्यता घनत्व फलन के कर्टोसिस की गणना इस प्रकार की जाती है | |||
:<math> | :<math> | ||
K=\frac{\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^4]}{(\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^2])^2}-3 | K=\frac{\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^4]}{(\operatorname{E}[(\mathbf{y}-\mathbf{\overline{y}})^2])^2}-3 | ||
</math> | </math> | ||
जहाँ <math>\mathbf{\overline{y}}</math> का [[नमूना माध्य]] है <math>\mathbf{y}</math>, निकाले गए संकेत निरंतर 3 सुनिश्चित करता है कि गॉसियन संकेतों में शून्य कर्टोसिस है, सुपर-गाऊसी संकेतों में सकारात्मक कुर्तोसिस है, और उप-गाऊसी संकेतों में नकारात्मक कुर्तोसिस है। इस प्रकार भाजक <math>\mathbf{y}</math> का विचरण है और यह सुनिश्चित करता है कि मापा कर्टोसिस संकेत विचरण को ध्यान में रखता है। इस प्रकार प्रक्षेपण परस्यूट का लक्ष्य कर्टोसिस को अधिकतम करना है, और निकाले गए संकेत को यथासंभव गैर-सामान्य बनाना है। | |||
कर्टोसिस को गैर-सामान्यता के माप के रूप में उपयोग करते हुए, अब हम जांच कर सकते हैं कि | कर्टोसिस को गैर-सामान्यता के माप के रूप में उपयोग करते हुए, अब हम जांच कर सकते हैं कि संकेत का कर्टोसिस कैसे होता है <math>\mathbf{y} = \mathbf{w}^T \mathbf{x}</math> एम मिश्रण के समुच्चय से निकाला गया <math>\mathbf{x}=(x_1,x_2,\ldots,x_M)^T</math> वजन सदिश के रूप में भिन्न होता है, <math>\mathbf{w}</math> मूल के चारों ओर घुमाया जाता है। हमारी धारणा को देखते हुए कि प्रत्येक स्रोत संकेत देता है, <math>\mathbf{s}</math> सुपर-गाऊसी है जिसकी हम उम्मीद करेंगे: | ||
# निकाले गए | # निकाले गए संकेत का कर्टोसिस <math>\mathbf{y}</math> अधिकतम सटीक होना जब <math>\mathbf{y} = \mathbf{s}</math> हैं। | ||
# निकाले गए | # निकाले गए संकेत का कर्टोसिस <math>\mathbf{y}</math> अधिकतम कब होना है, <math>\mathbf{w}</math> अनुमानित अक्ष के लिए ओर्थोगोनल <math>S_1</math> या <math>S_2</math> है, क्योंकि इस प्रकार हम जानते हैं कि इष्टतम भार सदिश रूपांतरित अक्ष के लिए ओर्थोगोनल होना चाहिए <math>S_1</math> या <math>S_2</math> हैं। | ||
एकाधिक स्रोत मिश्रण संकेतों के लिए, हम संकेतों को पुनर्प्राप्त करने के लिए कर्टोसिस और [[ग्राम-श्मिट]] ऑर्थोगोनलाइज़ेशन (जीएसओ) का उपयोग कर सकते हैं। एम-डायमेंशनल स्पेस में एम | एकाधिक स्रोत मिश्रण संकेतों के लिए, इस प्रकार हम संकेतों को पुनर्प्राप्त करने के लिए कर्टोसिस और [[ग्राम-श्मिट]] ऑर्थोगोनलाइज़ेशन (जीएसओ) का उपयोग कर सकते हैं। एम-डायमेंशनल स्पेस में एम संकेत मिश्रण दिए जाने पर, जीएसओ इन डेटा पॉइंट्स को वेट सदिश का उपयोग करके (m-1) -डायमेंशनल स्पेस पर प्रोजेक्ट करता है। इस प्रकार हम जीएसओ के उपयोग से निकाले गए संकेतों की स्वतंत्रता की गारंटी दे सकते हैं। | ||
का सही मान ज्ञात करने के लिए <math>\mathbf{w}</math>, हम [[ ढतला हुआ वंश |ढतला हुआ वंश]] विधि का उपयोग कर सकते हैं। हम सबसे पहले डेटा को सफेद करते हैं, और | का सही मान ज्ञात करने के लिए <math>\mathbf{w}</math>, हम [[ ढतला हुआ वंश |ढतला हुआ वंश]] विधि का उपयोग कर सकते हैं। हम सबसे पहले डेटा को सफेद करते हैं, और <math>\mathbf{x}</math> नए मिश्रण में <math>\mathbf{z}</math> को रूपांतरित करता हैं, जिसका इकाई विचरण और <math>\mathbf{z}=(z_1,z_2,\ldots,z_M)^T</math>है, इस प्रक्रिया को <math>\mathbf{x}</math> मान पर अपघटन लागू करके प्राप्त किया जा सकता है , | ||
: <math>\mathbf{x} = \mathbf{U} \mathbf{D} \mathbf{V}^T</math> | : <math>\mathbf{x} = \mathbf{U} \mathbf{D} \mathbf{V}^T</math> | ||
प्रत्येक | प्रत्येक सदिश को पुनर्स्केल करना <math>U_i=U_i/\operatorname{E}(U_i^2)</math>, और जाने <math>\mathbf{z} = \mathbf{U}</math>. भारित सदिश द्वारा निकाला गया संकेत <math>\mathbf{w}</math> <math>\mathbf{y} = \mathbf{w}^T \mathbf{z}</math> है, यदि भार सदिश w की इकाई लंबाई है, तो y का प्रसरण भी 1 है, अर्थात <math>\operatorname{E}[(\mathbf{w}^T \mathbf{z})^2]=1</math>. कर्टोसिस को इस प्रकार लिखा जा सकता है: | ||
:<math> | :<math> | ||
Line 116: | Line 116: | ||
के लिए अद्यतन करने की प्रक्रिया <math>\mathbf{w}</math> है: | के लिए अद्यतन करने की प्रक्रिया <math>\mathbf{w}</math> है: | ||
:<math>\mathbf{w}_{new}=\mathbf{w}_{old}-\eta\operatorname{E}[\mathbf{z}(\mathbf{w}_{old}^T \mathbf{z})^3 ].</math> | :<math>\mathbf{w}_{new}=\mathbf{w}_{old}-\eta\operatorname{E}[\mathbf{z}(\mathbf{w}_{old}^T \mathbf{z})^3 ].</math> | ||
जहाँ <math>\eta</math> इसकी गारंटी देने के लिए छोटा स्थिरांक है <math>\mathbf{w}</math> इष्टतम समाधान में परिवर्तित हो जाता है। इस प्रकार प्रत्येक अद्यतन <math>\mathbf{w}_{new}=\frac{\mathbf{w}_{new}}{|\mathbf{w}_{new}|}</math> के बाद हम सामान्य करते हैं, और <math>\mathbf{w}_{old}=\mathbf{w}_{new}</math>समुच्चय करते हैं , और अद्यतन प्रक्रिया को अभिसरण तक दोहराएं जाते हैं। हम वेट सदिश को अपडेट करने के लिए दूसरे एल्गोरिदम <math>\mathbf{w}</math> का भी उपयोग कर सकते है। | |||
एक अन्य दृष्टिकोण नेगेंट्रॉपी का उपयोग कर रहा | कर्टोसिस के अतिरिक्त एक अन्य दृष्टिकोण नेगेंट्रॉपी का उपयोग कर रहा है।<ref name="comon94" /><ref>{{cite journal|last=Hyvärinen|first=Aapo|author2=Erkki Oja|title=Independent Component Analysis:Algorithms and Applications|journal=Neural Networks|year=2000|volume=13|issue=4–5|series=4-5|pages=411–430|doi=10.1016/s0893-6080(00)00026-5|pmid=10946390|citeseerx=10.1.1.79.7003|s2cid=11959218 }}</ref> इस प्रकार कर्टोसिस की तुलना में नेगेंट्रॉपी का उपयोग करना अधिक मजबूत तरीका है, क्योंकि इस प्रकार कुर्तोसिस आउटलेयर के प्रति बहुत संवेदनशील है। इस प्रकार गौसियन वितरण की महत्वपूर्ण संपत्ति पर नेगेंट्रॉपी विधियां आधारित हैं: इस प्रकार समान भिन्नता के सभी निरंतर यादृच्छिक चर के बीच गॉसियन वैरिएबल में सबसे बड़ा एंट्रॉपी है। यही कारण है कि हम सबसे अधिक नॉनगॉसियन चर खोजना चाहते हैं। इस प्रकार [[विभेदक एन्ट्रापी]] में साधारण प्रमाण पाया जा सकता है। | ||
:<math>J(x) = S(y) - S(x)\,</math> | :<math>J(x) = S(y) - S(x)\,</math> | ||
y x के समान सहप्रसरण | y x के समान सहप्रसरण आव्यूह का गॉसियन यादृच्छिक चर है | ||
:<math>S(x) = - \int p_x(u) \log p_x(u) du</math> | :<math>S(x) = - \int p_x(u) \log p_x(u) du</math> | ||
नेगेंट्रॉपी के लिए सन्निकटन है | नेगेंट्रॉपी के लिए सन्निकटन है | ||
:<math>J(x)=\frac{1}{12}(E(x^3))^2 + \frac{1}{48}(kurt(x))^2</math> कॉमन के मूल पत्रों में प्रमाण पाया जा सकता है | :<math>J(x)=\frac{1}{12}(E(x^3))^2 + \frac{1}{48}(kurt(x))^2</math> कॉमन के मूल पत्रों में प्रमाण पाया जा सकता है,<ref name=pc91/><ref name=comon94/> इस प्रकार इसे आपो हाइवरिनन, जुहा करहुनेन और [[एर्की ओजा]] द्वारा स्वतंत्र घटक विश्लेषण पुस्तक में पुन: प्रस्तुत किया गया है।<ref>{{cite book|first1=Aapo |last1=Hyvärinen |first2=Juha |last2=Karhunen |first3=Erkki |last3=Oja|title=स्वतंत्र घटक विश्लेषण|year=2001|publisher=Wiley|location=New York, NY |isbn=978-0-471-40540-5|edition=Reprint}}</ref> इस प्रकार यह सन्निकटन भी कर्टोसिस आउटलेर्स के प्रति संवेदनशीलता जैसी समस्या से ग्रस्त है। इस प्रकार अन्य दृष्टिकोण विकसित किए गए हैं।<ref>{{cite journal|last=Hyvärinen|first=Aapo|title=स्वतंत्र घटक विश्लेषण और प्रक्षेपण खोज के लिए अंतर एंट्रॉपी के नए अनुमान।|journal=Advances in Neural Information Processing Systems|year=1998|volume=10|pages=273–279}}</ref> :<math>J(y) = k_1(E(G_1(y)))^2 + k_2(E(G_2(y)) - E(G_2(v))^2</math> | ||
इसका विकल्प <math>G_1</math> और <math>G_2</math> हैं | |||
:<math>G_1 = \frac{1}{a_1}\log(\cosh(a_1u))</math> और <math>G_2 = -\exp(-\frac{u^2}{2})</math> | :<math>G_1 = \frac{1}{a_1}\log(\cosh(a_1u))</math> और <math>G_2 = -\exp(-\frac{u^2}{2})</math> | ||
=== इन्फोमैक्स पर आधारित === | |||
इन्फोमैक्स आईसीए<ref name="Bell-Sejnowski">Bell, A. J.; Sejnowski, T. J. (1995). "An Information-Maximization Approach to Blind Separation and Blind Deconvolution", Neural Computation, 7, 1129-1159</ref> अनिवार्य रूप से प्रक्षेपण खोज का बहुभिन्नरूपी, समानांतर संस्करण है। जबकि प्रक्षेपण परस्यूट एम संकेत मिश्रण के समुच्चय से बार में संकेत की श्रृंखला निकालता है, आईसीए समानांतर में एम संकेत निकालता है। इस प्रकार यह प्रक्षेपण खोज की तुलना में आईसीए को अधिक मजबूत बनाता है।<ref name="ReferenceA">James V. Stone (2004). "Independent Component Analysis: A Tutorial Introduction", The MIT Press | |||
Cambridge, Massachusetts, London, England; {{ISBN|0-262-69315-1}}</ref> | |||
प्रक्षेपण परस्यूट विधि निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए ग्राम-श्मिट ऑर्थोगोनलाइजेशन का उपयोग करती है, जबकि आईसीए निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए इन्फोमैक्स और अधिकतम संभावना अनुमान का उपयोग करती है। इस प्रकार निकाले गए संकेत की गैर-सामान्यता संकेत के लिए उपयुक्त प्रारूप, या पूर्व, निर्दिष्ट करके प्राप्त की जाती है। | |||
इन्फोमैक्स आईसीए< | इन्फोमैक्स पर आधारित आईसीए की प्रक्रिया संक्षेप में है: संकेत मिश्रण का समुच्चय दिया गया है, <math>\mathbf{x}</math> और समान स्वतंत्र प्रारूप [[संचयी वितरण कार्य]] का समुच्चय (cdfs) <math>g</math>, हम अनमिक्सिंग आव्यूह <math>\mathbf{W}</math> की खोज करते हैं जो संकेतों की संयुक्त एन्ट्रॉपी <math>\mathbf{Y}=g(\mathbf{y})</math> को अधिकतम करता है, जहाँ इस प्रकार <math>\mathbf{y}=\mathbf{Wx}</math> द्वारा निकाले गए संकेत <math>\mathbf{W}</math> हैं, इस प्रकार इष्टतम <math>\mathbf{W}</math>, संकेत <math>\mathbf{Y}</math> अधिकतम एन्ट्रापी है और इसलिए स्वतंत्र हैं, जो इस प्रकार सुनिश्चित करता है कि निकाले गए संकेत <math>\mathbf{y}=g^{-1}(\mathbf{Y})</math> स्वतंत्र भी हैं। इस प्रकार <math>g</math> उलटा कार्य और संकेत प्रारूप है। इस प्रकार ध्यान दें कि यदि स्रोत संकेत प्रारूप प्रायिकता घनत्व <math>p_s</math> कार्य करता है, इस प्रकार निकाले गए संकेत की प्रायिकता घनत्व फलन <math>p_{\mathbf{y}}</math> से मेल खाता है , इस प्रकार संयुक्त एन्ट्रापी को अधिकतम करना <math>Y</math> के बीच आपसी जानकारी की मात्रा को भी अधिकतम करता है, इस प्रकार <math>\mathbf{x}</math> और <math>\mathbf{Y}</math> इस कारण से, स्वतंत्र संकेतों को निकालने के लिए एंट्रॉपी का उपयोग करना इन्फोमैक्स के रूप में जाना जाता है। | ||
सदिश चर की एन्ट्रापी पर विचार करें <math>\mathbf{Y}=g(\mathbf{y})</math>, जहाँ <math>\mathbf{y}=\mathbf{Wx}</math> अनमिक्सिंग आव्यूह द्वारा निकाले गए संकेतों <math>\mathbf{W}</math> का समुच्चय है, इस प्रकार पीडीएफ के साथ वितरण से नमूना मूल्यों के सीमित समुच्चय के लिए <math>p_{\mathbf{y}}</math>, की एन्ट्रापी <math>\mathbf{Y}</math> अनुमान लगाया जा सकता है: | |||
:<math> | :<math> | ||
H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln p_{\mathbf{Y}}(\mathbf{Y}^t) | H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln p_{\mathbf{Y}}(\mathbf{Y}^t) | ||
</math> | </math> | ||
संयुक्त पीडीएफ <math>p_{\mathbf{Y}}</math> संयुक्त पीडीएफ से संबंधित | इस प्रकार संयुक्त पीडीएफ <math>p_{\mathbf{Y}}</math> संयुक्त पीडीएफ से संबंधित <math>p_{\mathbf{y}}</math> दिखाया जा सकता है, इस प्रकार बहुभिन्नरूपी रूप से निकाले गए संकेतों की: | ||
:<math> | :<math> | ||
p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|} | p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|} | ||
</math> | </math> | ||
जहाँ <math>\mathbf{J}=\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}</math> [[जैकबियन मैट्रिक्स|जैकबियन आव्यूह]] है। अपने पास <math>|\mathbf{J}|=g'(\mathbf{y})</math>, और <math>g'</math> स्रोत संकेतों के लिए माना गया पीडीएफ <math>g'=p_s</math>है , इसलिए, | |||
:<math> | :<math> | ||
p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|}=\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} | p_{\mathbf{Y}}(Y)=\frac{p_{\mathbf{y}}(\mathbf{y})}{|\frac{\partial\mathbf{Y}}{\partial \mathbf{y}}|}=\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} | ||
Line 153: | Line 152: | ||
H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} | H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{y}(\mathbf{y})}{p_\mathbf{s}(\mathbf{y})} | ||
</math> | </math> | ||
हम जानते हैं कि कब <math>p_{\mathbf{y}}=p_s</math>, <math>p_{\mathbf{Y}}</math> समान वितरण का है, और <math>H({\mathbf{Y}})</math> अधिकतम है। | हम जानते हैं कि कब <math>p_{\mathbf{y}}=p_s</math>, <math>p_{\mathbf{Y}}</math> समान वितरण का है, और <math>H({\mathbf{Y}})</math> अधिकतम है। | ||
:<math> | :<math> | ||
p_{\mathbf{y}}(\mathbf{y})=\frac{p_\mathbf{x}(\mathbf{x})}{|\frac{\partial\mathbf{y}}{\partial\mathbf{x}}|}=\frac{p_\mathbf{x}(\mathbf{x})}{|\mathbf{W}|} | p_{\mathbf{y}}(\mathbf{y})=\frac{p_\mathbf{x}(\mathbf{x})}{|\frac{\partial\mathbf{y}}{\partial\mathbf{x}}|}=\frac{p_\mathbf{x}(\mathbf{x})}{|\mathbf{W}|} | ||
</math> | </math> | ||
जहाँ <math>|\mathbf{W}|</math> अनमिक्सिंग आव्यूह के निर्धारक का निरपेक्ष मान <math>\mathbf{W}</math> है, इसलिए, | |||
:<math> | :<math> | ||
H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{x}(\mathbf{x}^t)}{|\mathbf{W}|p_\mathbf{s}(\mathbf{y}^t)} | H(\mathbf{Y})=-\frac{1}{N}\sum_{t=1}^N \ln\frac{p_\mathbf{x}(\mathbf{x}^t)}{|\mathbf{W}|p_\mathbf{s}(\mathbf{y}^t)} | ||
Line 165: | Line 164: | ||
H(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}|+H(\mathbf{x}) | H(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}|+H(\mathbf{x}) | ||
</math> | </math> | ||
तब से <math>H(\mathbf{x})=-\frac{1}{N}\sum_{t=1}^N\ln p_\mathbf{x}(\mathbf{x}^t)</math>, और अधिकतम | तब से <math>H(\mathbf{x})=-\frac{1}{N}\sum_{t=1}^N\ln p_\mathbf{x}(\mathbf{x}^t)</math>, और अधिकतम <math>H_{\mathbf{x}}</math> करना <math>\mathbf{W}</math> प्रभावित नहीं करता, इसलिए इस प्रकार हम फलन को अधिकतम कर सकते हैं | ||
:<math> | :<math> | ||
h(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}| | h(\mathbf{Y})=\frac{1}{N}\sum_{t=1}^N \ln p_\mathbf{s}(\mathbf{y}^t)+\ln|\mathbf{W}| | ||
</math> | </math> | ||
निकाले गए | इस प्रकार निकाले गए संकेत की स्वतंत्रता प्राप्त करने के लिए उपयोग किया जाता हैं । | ||
यदि | यदि प्रारूप संयुक्त पीडीएफ के एम सीमांत पीडीएफ़ हैं, इस प्रकार <math>p_{\mathbf{s}}</math> स्वतंत्र हैं और इस प्रकार स्रोत के संकेतों के लिए सामान्यतः सुपर-गॉसियन प्रारूप पीडीएफ <math>p_{\mathbf{s}}=(1-\tanh(\mathbf{s})^2)</math>का उपयोग करते हैं , तो हमारे पास हैं- | ||
:<math> | :<math> | ||
h(\mathbf{Y})=\frac{1}{N}\sum_{i=1}^M\sum_{t=1}^N \ln (1-\tanh(\mathbf{w_i^T x^t})^2)+\ln|\mathbf{W}| | h(\mathbf{Y})=\frac{1}{N}\sum_{i=1}^M\sum_{t=1}^N \ln (1-\tanh(\mathbf{w_i^T x^t})^2)+\ln|\mathbf{W}| | ||
</math> | </math> | ||
योग में, मनाया संकेत मिश्रण | योग में, मनाया संकेत मिश्रण <math>\mathbf{x}</math> दिया जाता हैं , निकाले गए संकेतों का संगत समुच्चय <math>\mathbf{y}</math> और स्रोत संकेत प्रारूप <math>p_{\mathbf{s}}=g'</math>, हम इष्टतम अनमिक्सिंग आव्यूह <math>\mathbf{W}</math> पा सकते हैं, और इस प्रकार निकाले गए संकेतों को स्वतंत्र और गैर-गाऊसी बनाते हैं। इस प्रकार प्रक्षेपण की स्थिति की प्रकार, हम अनमिक्सिंग आव्यूह का इष्टतम समाधान खोजने के लिए ग्रेडिएंट डिसेंट विधि का उपयोग कर सकते हैं। | ||
=== अधिकतम संभावना अनुमान के आधार पर === | === अधिकतम संभावना अनुमान के आधार पर === | ||
अधिकतम संभावना अनुमान (एमएलई) पैरामीटर मान खोजने के लिए मानक सांख्यिकीय उपकरण | अधिकतम संभावना अनुमान (एमएलई) पैरामीटर मान खोजने के लिए मानक सांख्यिकीय उपकरण उदाहरण के लिए अनमिक्सिंग आव्यूह <math>\mathbf{W}</math> है, जो इस प्रकार कुछ डेटा का सबसे अच्छा फिट प्रदान करते हैं (उदाहरण के लिए, निकाले गए संकेत <math>y</math>) किसी दिए गए प्रारूप के लिए उदाहरण के लिए, अनुमानित संयुक्त संभावना घनत्व फलन (पीडीएफ) <math>p_s</math> स्रोत संकेतों का होता है।<ref name="ReferenceA"/> | ||
एमएल | एमएल प्रारूप में पीडीएफ का विनिर्देश सम्मलित होता है, जो इस स्थितियों में पीडीएफ <math>p_s</math> है, इस प्रकार अज्ञात स्रोत संकेतों की <math>s</math>. एमएल आईसीए का उपयोग करना, उद्देश्य अनमिक्सिंग आव्यूह खोजना है जो निकाले गए संकेतों <math>y = \mathbf{W}x</math> को उत्पन्न करता है, इस प्रकार संयुक्त पीडीएफ के साथ जितना संभव हो उतना संयुक्त पीडीएफ के साथ <math>p_s</math> अज्ञात स्रोत संकेतों की <math>s</math> है। | ||
MLE | MLE इस धारणा पर आधारित है कि यदि प्रारूप <math>p_s</math> और प्रारूप पैरामीटर <math>\mathbf{A}</math> सही हैं तो इस प्रकार डेटा के लिए उच्च संभावना प्राप्त की जानी चाहिए <math>x</math> जो वास्तव में देखे गए थे। इसके विपरीत यदि <math>\mathbf{A}</math> सही पैरामीटर मानों से दूर है तो देखे गए डेटा की कम संभावना की उम्मीद की जाएगी। | ||
MLE का उपयोग करते हुए | MLE का उपयोग करते हुए हम प्रारूप पैरामीटर मानों के दिए गए समुच्चय के लिए प्रेक्षित डेटा की प्रायिकता कहते हैं, उदाहरण के लिए, pdf <math>p_s</math> और आव्यूह <math>\mathbf{A}</math> देखे गए डेटा को देखते हुए प्रारूप पैरामीटर मानों की संभावना है। | ||
हम संभावना | हम संभावना फलन <math>\mathbf{L(W)}</math> का <math>\mathbf{W}</math> को परिभाषित करते हैं: | ||
<math>\mathbf{ L(W)} = p_s (\mathbf{W}x)|\det \mathbf{W}|. </math> | <math>\mathbf{ L(W)} = p_s (\mathbf{W}x)|\det \mathbf{W}|. </math> | ||
यह प्रायिकता <math>x</math> घनत्व <math>s = \mathbf{W}x</math> के बराबर है। | |||
लॉग ''संभावना'' का उपयोग करना आम बात है, क्योंकि इसका मूल्यांकन करना | इस प्रकार, यदि हम <math>\mathbf{W}</math> खोजना चाहते हैं, यह देखे गए मिश्रणों को उत्पन्न करने की सबसे अधिक संभावना है, इस प्रकार <math>x</math> अज्ञात स्रोत संकेतों से <math>s</math> पीडीएफ के साथ <math>p_s</math> तो हमें केवल उसे <math>\mathbf{W}</math> खोजने की जरूरत है, जो संभावना को अधिकतम <math>\mathbf{L(W)}</math> करता है, इस प्रकार अनमिक्सिंग आव्यूह जो समीकरण को अधिकतम करता है, इस प्रकार इष्टतम अनमिक्सिंग आव्यूह के एमएलई के रूप में जाना जाता है। | ||
इस प्रकार लॉग ''संभावना'' का उपयोग करना आम बात है, क्योंकि इसका मूल्यांकन करना सरल है। जैसा कि लघुगणक मोनोटोनिक फलन <math>\mathbf{W}</math> है, जो कार्य को अधिकतम करता है <math>\mathbf{L(W)}</math> इसके लघुगणक <math>\ln \mathbf{L(W)}</math> को भी अधिकतम करता है, यह हमें उपरोक्त समीकरण का लघुगणक लेने की अनुमति देता है, जो इस प्रकार लॉग संभावना फलन उत्पन्न करता है | |||
<math>\ln \mathbf{L(W)} =\sum_{i}\sum_{t} \ln p_s(w^T_ix_t) + N\ln|\det \mathbf{W}|</math> | <math>\ln \mathbf{L(W)} =\sum_{i}\sum_{t} \ln p_s(w^T_ix_t) + N\ln|\det \mathbf{W}|</math> | ||
यदि हम स्रोत संकेतों के लिए | |||
यदि हम स्रोत संकेतों के लिए सामान्यतः उपयोग किए जाने वाले उच्च-कर्टोसिस प्रारूप पीडीएफ को <math>p_s = (1-\tanh(s)^2)</math>प्रतिस्थापित करते हैं तो हमारे पास हैं | |||
<math>\ln \mathbf{L(W)} ={1 \over N}\sum_{i}^{M} \sum_{t}^{N}\ln(1-\tanh(w^T_i x_t )^2) + \ln |\det \mathbf{W}|</math> | <math>\ln \mathbf{L(W)} ={1 \over N}\sum_{i}^{M} \sum_{t}^{N}\ln(1-\tanh(w^T_i x_t )^2) + \ln |\det \mathbf{W}|</math> | ||
यह | |||
यह आव्यूह <math>\mathbf{W}</math> जो इस फलन को अधिकतम करता है, इस प्रकार ''अधिकतम संभावना अनुमान'' है। | |||
== इतिहास और पृष्ठभूमि == | == इतिहास और पृष्ठभूमि == | ||
स्वतंत्र घटक विश्लेषण के लिए प्रारंभिक सामान्य रूपरेखा 1984 से जेनी हेरॉल्ट और बर्नार्ड | स्वतंत्र घटक विश्लेषण के लिए प्रारंभिक सामान्य रूपरेखा 1984 से जेनी हेरॉल्ट और बर्नार्ड द्वारा प्रस्तुत की गई थी,<ref>{{cite journal | last1 = Hérault | first1 = J. | last2 = Ans | first2 = B. | year = 1984 | title = Réseau de neurones à synapses modifiables : Décodage de messages sensoriels composites par apprentissage non supervisé et permanent | journal = Comptes Rendus de l'Académie des Sciences, Série III | volume = 299 | pages = 525–528 }}</ref> इस प्रकार 1985 और 1986 में क्रिश्चियन जटन द्वारा और विकसित किया गया,<ref>Ans, B., Hérault, J., & Jutten, C. (1985). Architectures neuromimétiques adaptatives : Détection de primitives. ''Cognitiva 85'' (Vol. 2, pp. 593-597). Paris: CESTA.</ref><ref>Hérault, J., Jutten, C., & Ans, B. (1985). Détection de grandeurs primitives dans un message composite par une architecture de calcul neuromimétique en apprentissage non supervisé. ''Proceedings of the 10th Workshop Traitement du signal et ses applications'' (Vol. 2, pp. 1017-1022). Nice (France): GRETSI.</ref><ref>Hérault, J., & Jutten, C. (1986). Space or time adaptive signal processing by neural networks models. ''Intern. Conf. on Neural Networks for Computing'' (pp. 206-211). Snowbird (Utah, USA).</ref> और 1991 में पियरे कोमोन द्वारा परिष्कृत,<ref name="pc91">P.Comon, Independent Component Analysis, Workshop on Higher-Order Statistics, July 1991, republished in J-L. Lacoume, editor, Higher Order Statistics, pp. 29-38. Elsevier, Amsterdam, London, 1992. [https://hal.archives-ouvertes.fr/hal-00346684 HAL link]</ref> और 1994 के अपने पेपर में लोकप्रिय हुआ।<ref name="comon94">Pierre Comon (1994) Independent component analysis, a new concept? http://www.ece.ucsb.edu/wcsl/courses/ECE594/594C_F10Madhow/comon94.pdf</ref> इस प्रकार 1995 में, टोनी बेल और [[टेरी सेजनोव्स्की]] ने इन्फोमैक्सपर आधारित तेज़ और कुशल आईसीए एल्गोरिथम प्रस्तुत किया, जो इस प्रकार 1987 में राल्फ लिंस्कर द्वारा प्रस्तुत किया गया सिद्धांत था। | ||
साहित्य में कई एल्गोरिदम उपलब्ध हैं जो आईसीए करते हैं। औद्योगिक अनुप्रयोगों सहित बड़े पैमाने पर | साहित्य में कई एल्गोरिदम उपलब्ध हैं जो आईसीए करते हैं। इस प्रकार औद्योगिक अनुप्रयोगों सहित बड़े पैमाने पर उपयोग किया जाने वाला फास्टिका एल्गोरिथम है, जिसे हावरिनन और ओजा द्वारा विकसित किया गया है, जो इस प्रकार लागत कार्य के रूप में नेगेंट्रॉपी का उपयोग करता है।<ref>{{Cite journal|last1=Hyvärinen|first1=A.|last2=Oja|first2=E.|date=2000-06-01|title=Independent component analysis: algorithms and applications|url=https://www.sciencedirect.com/science/article/pii/S0893608000000265|journal=Neural Networks|language=en|volume=13|issue=4|pages=411–430|doi=10.1016/S0893-6080(00)00026-5|pmid=10946390 |s2cid=11959218 |issn=0893-6080}}</ref> इस प्रकार अन्य उदाहरण नेत्रहीन स्रोत पृथक्करण से संबंधित हैं, जहाँ इस प्रकार अधिक सामान्य दृष्टिकोण का उपयोग किया जाता है। इस प्रकार उदाहरण के लिए, कोई स्वतंत्रता धारणा को छोड़ सकता है और इस प्रकार पारस्परिक रूप से सहसंबद्ध संकेतों को अलग कर सकता है, इस प्रकार सांख्यिकीय रूप से निर्भर संकेत विकसित किया गया है। इस प्रकार सेप होचरेइटर और जुरगेन श्मिटहुबर ने दिखाया कि [[नियमितीकरण (गणित)]] (1999) के उप-उत्पाद के रूप में गैर-रैखिक आईसीए या स्रोत पृथक्करण कैसे प्राप्त किया जाए।<ref name="HochreiterSchmidhuber1999">{{cite journal|last1=Hochreiter|first1=Sepp|last2=Schmidhuber|first2=Jürgen|title=LOCOCODE के माध्यम से फ़ीचर एक्सट्रैक्शन|journal=Neural Computation|volume=11|issue=3|year=1999|pages=679–714|issn=0899-7667|doi=10.1162/089976699300016629 |pmid=10085426|s2cid=1642107|url=ftp://ftp.idsia.ch/pub/juergen/lococode.pdf |access-date=24 February 2018 }}</ref> इस प्रकार इस पद्धति को स्वतंत्र स्रोतों की संख्या के बारे में प्राथमिक ज्ञान की आवश्यकता नहीं है। | ||
== अनुप्रयोग == | == अनुप्रयोग == | ||
आईसीए को गैर-भौतिक संकेतों का विश्लेषण करने के लिए बढ़ाया जा सकता है। उदाहरण के लिए, आईसीए को समाचार सूची संग्रहों के बैग पर चर्चा के विषयों को खोजने के लिए लागू किया गया है। | आईसीए को गैर-भौतिक संकेतों का विश्लेषण करने के लिए बढ़ाया जा सकता है। इस प्रकार उदाहरण के लिए, आईसीए को समाचार सूची संग्रहों के बैग पर चर्चा के विषयों को खोजने के लिए लागू किया गया है। | ||
कुछ आईसीए आवेदन नीचे सूचीबद्ध हैं:<ref name="Stone 2004"/> | कुछ आईसीए आवेदन नीचे सूचीबद्ध हैं:<ref name="Stone 2004"/> | ||
[[File:Independent component analysis in EEGLAB.png|thumb|[[EEGLAB]] में स्वतंत्र घटक विश्लेषण]]* न्यूरॉन्स की ऑप्टिकल इमेजिंग<ref>{{cite journal|last=Brown|first=GD|author2=Yamada,S |author3=Sejnowski, TJ |title=तंत्रिका कॉकटेल पार्टी में स्वतंत्र घटक विश्लेषण|journal=Trends in Neurosciences|year=2001|volume=24|pages=54–63|doi=10.1016/s0166-2236(00)01683-0|pmid=11163888|issue=1|s2cid=511254}}</ref> * न्यूरोनल स्पाइक सॉर्टिंग<ref>{{cite journal|last=Lewicki|first=MS|s2cid=10290908|title=Areview of methods for spike sorting: detection and classification of neural action potentials|journal=Network: Computation in Neural Systems|year=1998|volume=9|issue=4|pages=53–78|doi=10.1088/0954-898X_9_4_001}}</ref> * चेहरा पहचान<ref>{{cite book|last=Barlett|first=MS|title=अप्रशिक्षित शिक्षण द्वारा चेहरा छवि विश्लेषण|year=2001|publisher=Kluwer International Series on Engineering and Computer Science|location=Boston}}</ref> * प्राथमिक दृश्य न्यूरॉन्स के ग्रहणशील क्षेत्रों की | [[File:Independent component analysis in EEGLAB.png|thumb|[[EEGLAB]] में स्वतंत्र घटक विश्लेषण]]* न्यूरॉन्स की ऑप्टिकल इमेजिंग<ref>{{cite journal|last=Brown|first=GD|author2=Yamada,S |author3=Sejnowski, TJ |title=तंत्रिका कॉकटेल पार्टी में स्वतंत्र घटक विश्लेषण|journal=Trends in Neurosciences|year=2001|volume=24|pages=54–63|doi=10.1016/s0166-2236(00)01683-0|pmid=11163888|issue=1|s2cid=511254}}</ref> * न्यूरोनल स्पाइक सॉर्टिंग<ref>{{cite journal|last=Lewicki|first=MS|s2cid=10290908|title=Areview of methods for spike sorting: detection and classification of neural action potentials|journal=Network: Computation in Neural Systems|year=1998|volume=9|issue=4|pages=53–78|doi=10.1088/0954-898X_9_4_001}}</ref> * चेहरा पहचान<ref>{{cite book|last=Barlett|first=MS|title=अप्रशिक्षित शिक्षण द्वारा चेहरा छवि विश्लेषण|year=2001|publisher=Kluwer International Series on Engineering and Computer Science|location=Boston}}</ref> * प्राथमिक दृश्य न्यूरॉन्स के ग्रहणशील क्षेत्रों की प्रारूपिंग<ref>{{cite journal|last=Bell|first=AJ|author2=Sejnowski, TJ|title=प्राकृतिक दृश्यों के स्वतंत्र घटक एज फिल्टर हैं|journal=Vision Research|year=1997|volume=37|issue=23|pages=3327–3338|doi=10.1016/s0042-6989(97)00121-1|pmid=9425547|pmc=2882863}}</ref> * शेयर बाजार की कीमतों <ref>{{cite journal|last=Back|first=AD|author2=Weigend, AS|title=स्टॉक रिटर्न से संरचना निकालने के लिए स्वतंत्र घटक विश्लेषण का पहला प्रयोग|journal=International Journal of Neural Systems|year=1997|volume=8|issue=4|pages=473–484|pmid=9730022|doi=10.1142/s0129065797000458|s2cid=872703|url=http://archive.nyu.edu/handle/2451/14180 }}</ref> * मोबाइल फोन संचार<ref>{{cite book|last=Hyvarinen|first=A, Karhunen,J & Oja,E|title=स्वतंत्र घटक विश्लेषण|year=2001a|publisher=John Wiley and Sons|location=New York}}</ref> * टमाटर के पकने का रंग आधारित पता लगाना आवश्यक होता हैं।<ref>{{cite journal|last=Polder|first=G|author2=van der Heijen, FWAM|title=स्वतंत्र घटक विश्लेषण का उपयोग करके टमाटर की वर्णक्रमीय छवियों में यौगिक वितरण का अनुमान|journal=Austrian Computer Society|year=2003|pages=57–64}}</ref> | ||
* [[ईईजी]] डेटा से आंखों की झपकी जैसी कलाकृतियों को हटाना।<ref>{{cite journal|last=Delorme|first=A|author2=Sejnowski, T|author3=Makeig, S|title=उच्च-क्रम के आँकड़ों और स्वतंत्र घटक विश्लेषण का उपयोग करके ईईजी डेटा में कलाकृतियों की बढ़ी हुई पहचान|journal=NeuroImage|year=2007|pages=1443–1449|doi=10.1016/j.neuroimage.2006.11.004|volume=34|issue=4|pmid=17188898|pmc=2895624}}</ref> | * [[ईईजी]] डेटा से आंखों की झपकी जैसी कलाकृतियों को हटाना।<ref>{{cite journal|last=Delorme|first=A|author2=Sejnowski, T|author3=Makeig, S|title=उच्च-क्रम के आँकड़ों और स्वतंत्र घटक विश्लेषण का उपयोग करके ईईजी डेटा में कलाकृतियों की बढ़ी हुई पहचान|journal=NeuroImage|year=2007|pages=1443–1449|doi=10.1016/j.neuroimage.2006.11.004|volume=34|issue=4|pmid=17188898|pmc=2895624}}</ref> | ||
* ईईजी का उपयोग करके निर्णय लेने की भविष्यवाणी | * ईईजी का उपयोग करके निर्णय लेने की भविष्यवाणी करना।<ref>{{cite journal|last=Douglas|first=P |title=स्वतंत्र घटक सुविधाओं का उपयोग करके ईईजी और एफएमआरआई डेटा से विश्वास निर्णय लेने का एकल परीक्षण डिकोडिंग|journal=Frontiers in Human Neuroscience|year=2013|volume=7 |pages=392|doi=10.3389/fnhum.2013.00392|pmid=23914164 | pmc=3728485|doi-access=free }}</ref> | ||
* एकल कोशिका (जीव विज्ञान) आरएनए-अनुक्रमण प्रयोगों में समय के साथ जीन अभिव्यक्ति में परिवर्तन का | * एकल कोशिका (जीव विज्ञान) आरएनए-अनुक्रमण प्रयोगों में समय के साथ जीन अभिव्यक्ति में परिवर्तन का विश्लेषण<ref>{{cite journal|last=Trapnell|first=C|author2=Cacchiarelli, D|author3=Grimsby, J|title=एकल कोशिकाओं के स्यूडोटेम्पोरल ऑर्डर द्वारा सेल भाग्य निर्णयों की गतिशीलता और नियामकों का पता चलता है|journal=Nature Biotechnology|year=2014|pages=381–386|doi=10.1038/nbt.2859|volume=32|issue=4|pmid=24658644|pmc=4122333}}</ref> | ||
* मस्तिष्क की रेस्टिंग अवस्था fMRI का अध्ययन।<ref name="Kiviniemi2003">{{Cite journal|title = गैर नियतात्मक fMRI संकेत स्रोतों का स्वतंत्र घटक विश्लेषण|journal = NeuroImage|date = 2003|pmid = 12814576|pages = 253–260|volume =19|issue = 2|doi = 10.1016/S1053-8119(03)00097-1|first1 = Vesa J.|last1 = Kiviniemi|first2 = Juha-Heikki|last2 = Kantola|first3 = Jukka|last3 = Jauhiainen|first4 = Aapo|last4 = Hyvärinen|first5 = Osmo|last5 = Tervonen|s2cid = 17110486}}</ref> | * मस्तिष्क की रेस्टिंग अवस्था fMRI का अध्ययन।<ref name="Kiviniemi2003">{{Cite journal|title = गैर नियतात्मक fMRI संकेत स्रोतों का स्वतंत्र घटक विश्लेषण|journal = NeuroImage|date = 2003|pmid = 12814576|pages = 253–260|volume =19|issue = 2|doi = 10.1016/S1053-8119(03)00097-1|first1 = Vesa J.|last1 = Kiviniemi|first2 = Juha-Heikki|last2 = Kantola|first3 = Jukka|last3 = Jauhiainen|first4 = Aapo|last4 = Hyvärinen|first5 = Osmo|last5 = Tervonen|s2cid = 17110486}}</ref> | ||
* खगोल विज्ञान और ब्रह्मांड विज्ञान<ref>{{Cite journal|last1=Wang|first1=Jingying|last2=Xu|first2=Haiguang|last3=Gu|first3=Junhua|last4=An|first4=Tao|last5=Cui|first5=Haijuan|last6=Li|first6=Jianxun|last7=Zhang|first7=Zhongli|last8=Zheng|first8=Qian|last9=Wu|first9=Xiang-Ping|date=2010-11-01|title=How to Identify and Separate Bright Galaxy Clusters from the Low-frequency Radio Sky?|journal=The Astrophysical Journal|volume=723|issue=1|pages=620–633|doi=10.1088/0004-637X/723/1/620|arxiv=1008.3391|bibcode=2010ApJ...723..620W|issn=0004-637X|doi-access=free}}</ref> | * खगोल विज्ञान और ब्रह्मांड विज्ञान<ref>{{Cite journal|last1=Wang|first1=Jingying|last2=Xu|first2=Haiguang|last3=Gu|first3=Junhua|last4=An|first4=Tao|last5=Cui|first5=Haijuan|last6=Li|first6=Jianxun|last7=Zhang|first7=Zhongli|last8=Zheng|first8=Qian|last9=Wu|first9=Xiang-Ping|date=2010-11-01|title=How to Identify and Separate Bright Galaxy Clusters from the Low-frequency Radio Sky?|journal=The Astrophysical Journal|volume=723|issue=1|pages=620–633|doi=10.1088/0004-637X/723/1/620|arxiv=1008.3391|bibcode=2010ApJ...723..620W|issn=0004-637X|doi-access=free}}</ref> | ||
Line 227: | Line 229: | ||
* [[एसएएस भाषा]] प्रोसी आईसीए | * [[एसएएस भाषा]] प्रोसी आईसीए | ||
* स्किकिट-लर्न पायथन कार्यान्वयन [https://[[scikit-learn]].org/stable/modules/generated/sklearn.decomposition. | * स्किकिट-लर्न पायथन कार्यान्वयन [https://[[scikit-learn]].org/stable/modules/generated/sklearn.decomposition.Fastica.html sklearn.decomposition.Fastica] | ||
== यह भी देखें == | == यह भी देखें == | ||
{{Portal|Mathematics}} | {{Portal|Mathematics}} | ||
{{colbegin}} | {{colbegin}} | ||
* [[ | * [[विचारहीन डेकनवल्शन]] | ||
* [[कारक विश्लेषण]] | * [[कारक विश्लेषण]] | ||
* [[हिल्बर्ट स्पेक्ट्रम]] | * [[हिल्बर्ट स्पेक्ट्रम]] | ||
* [[मूर्ति प्रोद्योगिकी]] | * [[मूर्ति प्रोद्योगिकी]] | ||
* गैर- | * गैर-ऋणात्मक आव्यूह गुणनखंड, गैर-ऋणात्मक मैट्रिक्स गुणनखंडन (NMF) | ||
* गैर रेखीय आयामीता में कमी | * गैर रेखीय आयामीता में कमी | ||
* प्रोजेक्शन | * प्रोजेक्शन | ||
* [[वेरिमैक्स रोटेशन]] | * [[वेरिमैक्स रोटेशन]] | ||
{{colend}} | {{colend}} | ||
Line 248: | Line 250: | ||
==संदर्भ== | ==संदर्भ== | ||
* Comon, Pierre (1994): [http://mlsp.cs.cmu.edu/courses/fall2012/lectures/ICA.pdf "Independent Component Analysis: a new concept?"], ''Signal Processing'', 36(3):287–314 (The original paper describing the concept of | * Comon, Pierre (1994): [http://mlsp.cs.cmu.edu/courses/fall2012/lectures/ICA.pdf "Independent Component Analysis: a new concept?"], ''Signal Processing'', 36(3):287–314 (The original paper describing the concept of आईसीए) | ||
* Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): ''[http://www.cis.hut.fi/projects/ica/book/ Independent Component Analysis]'', New York: Wiley, {{ISBN|978-0-471-40540-5}} ( [http://www.cis.hut.fi/projects/ica/book/intro.pdf Introductory chapter] ) | * Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): ''[http://www.cis.hut.fi/projects/ica/book/ Independent Component Analysis]'', New York: Wiley, {{ISBN|978-0-471-40540-5}} ( [http://www.cis.hut.fi/projects/ica/book/intro.pdf Introductory chapter] ) | ||
* Hyvärinen, A.; Oja, E. (2000): [http://www.cs.helsinki.fi/u/ahyvarin/papers/NN00new.pdf "Independent Component Analysis: Algorithms and Application"], ''Neural Networks'', 13(4-5):411-430. (Technical but pedagogical introduction). | * Hyvärinen, A.; Oja, E. (2000): [http://www.cs.helsinki.fi/u/ahyvarin/papers/NN00new.pdf "Independent Component Analysis: Algorithms and Application"], ''Neural Networks'', 13(4-5):411-430. (Technical but pedagogical introduction). | ||
Line 260: | Line 262: | ||
* [http://www.cis.hut.fi/aapo/papers/IJCNN99_tutorialweb/IJCNN99_tutorial3.html Independent Component Analysis: A Tutorial] by Aapo Hyvärinen | * [http://www.cis.hut.fi/aapo/papers/IJCNN99_tutorialweb/IJCNN99_tutorial3.html Independent Component Analysis: A Tutorial] by Aapo Hyvärinen | ||
* [https://arxiv.org/abs/1404.2986 A Tutorial on Independent Component Analysis] | * [https://arxiv.org/abs/1404.2986 A Tutorial on Independent Component Analysis] | ||
* [http://www.cis.hut.fi/projects/ica/fastica/ | * [http://www.cis.hut.fi/projects/ica/fastica/ Fastआईसीए as a package for Matlab, in R language, C++] | ||
* [https://web.archive.org/web/20060630205321/http://www.bsp.brain.riken.go.jp/ICALAB/ | * [https://web.archive.org/web/20060630205321/http://www.bsp.brain.riken.go.jp/ICALAB/ आईसीएLAB Toolboxes] for Matlab, developed at [[RIKEN]] | ||
* [http://nic.uoregon.edu/projects/hipersat/index.php High Performance Signal Analysis Toolkit] provides C++ implementations of | * [http://nic.uoregon.edu/projects/hipersat/index.php High Performance Signal Analysis Toolkit] provides C++ implementations of Fastआईसीए and Infomax | ||
* [https://web.archive.org/web/20070613191045/http://isp.imm.dtu.dk/toolbox/ | * [https://web.archive.org/web/20070613191045/http://isp.imm.dtu.dk/toolbox/ आईसीए toolbox] Matlab tools for आईसीए with Bell-Sejnowski, Molgedey-Schuster and mean field आईसीए. Developed at DTU. | ||
* [http://www.cis.hut.fi/projects/ica/cocktail/cocktail_en.cgi Demonstration of the cocktail party problem] | * [http://www.cis.hut.fi/projects/ica/cocktail/cocktail_en.cgi Demonstration of the cocktail party problem] | ||
* [http://sccn.ucsd.edu/eeglab/ EEGLAB Toolbox] | * [http://sccn.ucsd.edu/eeglab/ EEGLAB Toolbox] आईसीए of [[electroencephalogram|EEG]] for Matlab, developed at UCSD. | ||
* [http://sccn.ucsd.edu/fmrlab/ FMRLAB Toolbox] | * [http://sccn.ucsd.edu/fmrlab/ FMRLAB Toolbox] आईसीए of [[fMRI]] for Matlab, developed at UCSD | ||
* [https://fsl.fmrib.ox.ac.uk/fsl/fslwiki/MELODIC MELODIC], part of the [[FMRIB Software Library]]. | * [https://fsl.fmrib.ox.ac.uk/fsl/fslwiki/MELODIC MELODIC], part of the [[FMRIB Software Library]]. | ||
* [http://brandon-merkl.blogspot.com/2005/12/independent-component-analysis.html Discussion of | * [http://brandon-merkl.blogspot.com/2005/12/independent-component-analysis.html Discussion of आईसीए used in a biomedical shape-representation context] | ||
* [http://mdp-toolkit.sourceforge.net/ | * [http://mdp-toolkit.sourceforge.net/ Fastआईसीए, CuBआईसीए, JADE and TDSEP algorithm for Python and more...] | ||
* [http://icatb.sourceforge.net/ Group | * [http://icatb.sourceforge.net/ Group आईसीए Toolbox and Fusion आईसीए Toolbox] | ||
* [http://www.nbtwiki.net/doku.php?id=tutorial:compute_independent_component_analysis Tutorial: Using | * [http://www.nbtwiki.net/doku.php?id=tutorial:compute_independent_component_analysis Tutorial: Using आईसीए for cleaning EEG signals] | ||
[[Category: | [[Category:All articles with unsourced statements]] | ||
[[Category:Articles with unsourced statements from October 2012]] | |||
[[Category:CS1 English-language sources (en)]] | |||
[[Category:Created On 08/06/2023]] | [[Category:Created On 08/06/2023]] | ||
[[Category:Lua-based templates]] | |||
[[Category:Machine Translated Page]] | |||
[[Category:Multi-column templates]] | |||
[[Category:Pages using div col with small parameter]] | |||
[[Category:Pages with empty portal template]] | |||
[[Category:Pages with script errors]] | |||
[[Category:Portal templates with redlinked portals]] | |||
[[Category:Templates Translated in Hindi]] | |||
[[Category:Templates Vigyan Ready]] | |||
[[Category:Templates that add a tracking category]] | |||
[[Category:Templates that generate short descriptions]] | |||
[[Category:Templates using TemplateData]] | |||
[[Category:Templates using under-protected Lua modules]] | |||
[[Category:Wikipedia fully protected templates|Div col]] | |||
[[Category:आयाम में कमी]] | |||
[[Category:संकेत अनुमान]] |
Latest revision as of 10:56, 1 July 2023
Part of a series on |
Machine learning and data mining |
---|
संकेतों को अग्रेषित करने के लिए स्वतंत्र घटक विश्लेषण (आईसीए) बहुभिन्नरूपी सांख्यिकी संकेत को योगात्मक उपघटकों में अलग करने के लिए कम्प्यूटरीकृत विधि है। इसका उपयोग यह मानकर किया जाता है कि अधिक से अधिक उपघटक गाऊसी प्रमेय का पालन करते है और यह कि उपघटक दूसरे से सांख्यिकीय रूप से स्वतंत्र हैं।[1] इस प्रकार आईसीए विचारहीन स्त्रोत विभाजन की विशेष स्थिति हैं। सामान्य उदाहरण अनुप्रयोग ध्वनियुक्त कमरे में व्यक्ति के भाषण को सुनने की कॉकटेल समूह की समस्या है।[2]
परिचय
स्वतंत्र घटक विश्लेषण बहुभिन्नरूपी संकेत को स्वतंत्र गैर-गाऊसी संकेतों में विघटित करने का प्रयास करता है। इस प्रकार उदाहरण के रूप में, ध्वनि सामान्यतः संकेत होता है जो इस प्रकार कई स्रोतों से संकेतों के प्रत्येक समय टी पर संख्यात्मक जोड़ से बना होता है। इस प्रकार प्रश्न यह है कि क्या इन योगदान स्रोतों को देखे गए कुल संकेत से अलग करना संभव है। इस प्रकार जब सांख्यिकीय स्वतंत्रता धारणा सही होती है, तो इस प्रकार मिश्रित संकेत का विचारहीन आईसीए पृथक्करण बहुत अच्छा परिणाम देता है। इस प्रकार इसका उपयोग उन संकेतों के लिए भी किया जाता है जिन्हें विश्लेषण उद्देश्यों के लिए मिश्रित करके उत्पन्न नहीं किया जाना चाहिए।
कॉकटेल पार्टी की समस्या आईसीए का सरल अनुप्रयोग है, जहाँ अंतर्निहित संकेतों को कमरे में साथ बात करने वाले लोगों के नमूना डेटा से अलग किया जाता है। सामान्यतः इसके अतिरिक्त गूँजने की समस्या को सरल बना दिया जाता है। इस प्रकार ध्यान दें कि फ़िल्टर्ड और विलंबित संकेत आश्रित घटक की प्रति है, और इस प्रकार सांख्यिकीय स्वतंत्रता धारणा का उल्लंघन नहीं होता है।
इस प्रकार निर्माण के लिए वजन को संयोजित करना से संकेतों का अवलोकन किया तथा घटकों को में आव्यूह उपयोग किया जाता है। इस पर विचार करने वाली महत्वपूर्ण बात यह है कि यदि स्रोत सम्मलित हैं, इस प्रकार कम से कम मूल संकेतों को पुनर्प्राप्त करने के लिए अवलोकन उदाहरण के लिए माइक्रोफ़ोन यदि देखा गया संकेत ऑडियो की आवश्यकता होती है। इस प्रकार जब समान संख्या में अवलोकन और स्रोत संकेत होते हैं, तो () मिश्रण आव्यूह वर्गाकार होता है। इस प्रकार अनिर्धारित के अन्य स्थितियों () और अतिनिर्धारित () की जांच की गई है।
यह मिश्रित संकेतों का आईसीए पृथक्करण बहुत अच्छे परिणाम देता है, इस प्रकार यह दो धारणाओं और मिश्रण स्रोत संकेतों के तीन प्रभावों पर आधारित है। इस प्रकार इसकी दो धारणाएं हैं :
- स्रोत संकेत दूसरे से स्वतंत्र हैं।
- प्रत्येक स्रोत संकेत के मान में गैर-गाऊसी वितरण होते हैं।
स्रोत संकेतों को मिलाने के तीन प्रभाव:
- स्वतंत्रता: धारणा 1 के अनुसार, स्रोत संकेत स्वतंत्र हैं; चूंकि इस प्रकार उनके संकेत मिश्रण नहीं हैं। ऐसा इसलिए है क्योंकि संकेत मिश्रण समान स्रोत संकेत साझा करते हैं।
- सामान्यत: इस प्रकार केंद्रीय सीमा प्रमेय के अनुसार, परिमित विचरण के साथ स्वतंत्र यादृच्छिक चर के योग का वितरण गॉसियन वितरण की ओर जाता है।
सरल शब्दों में कहें तो, दो स्वतंत्र यादृच्छिक चर के योग में सामान्यतः वितरण होता है जो इसके करीब होता है गॉसियन दो मूल चरों में से किसी की तुलना में उपयोग किया जाता हैं। यहां इस प्रकार हम प्रत्येक संकेत के मान को यादृच्छिक चर मानते हैं। - जटिलता: किसी भी संकेत मिश्रण की अस्थायी जटिलता उसके सरलतम घटक स्रोत संकेत की तुलना में अधिक होती है।
इस प्रकार इस सिद्धांत आईसीए की मौलिक स्थापना में योगदान करते हैं। इस प्रकार यदि मिश्रण के समुच्चय से निकाले गए संकेत स्वतंत्र हैं, और इस प्रकार गैर-गाऊसी हिस्टोग्राम हैं या कम जटिलता है, तो उन्हें स्रोत संकेत होना चाहिए।[4][5]
घटक स्वतंत्रता को परिभाषित करना
आईसीए अनुमानित घटकों की सांख्यिकीय स्वतंत्रता को अधिकतम करके स्वतंत्र घटकों का पता लगाता है, जिन्हें कारक, अव्यक्त चर या स्रोत भी कहा जाता है। इस प्रकार हम स्वतंत्रता के लिए प्रॉक्सी को परिभाषित करने के कई तरीकों में से चुन सकते हैं, और यह विकल्प आईसीए एल्गोरिथम के रूप को नियंत्रित करता है। इस प्रकार आईसीए के लिए स्वतंत्रता की दो व्यापक परिभाषाएँ हैं
- आपसी जानकारी को कम करना
- गैर-गौसियनिटी का अधिकतमकरण
आईसीए एल्गोरिथम का मिनिमाइजेशन-ऑफ-म्युचुअल इंफॉर्मेशन (एमएमआई) समुच्चय कुल्बैक-लीब्लर डाइवर्जेंस या कुल्बैक-लीब्लर डाइवर्जेंस और अधिकतम एंट्रॉपी के सिद्धांत जैसे उपायों का उपयोग करता है। इस प्रकार केंद्रीय सीमा प्रमेय से प्रेरित आईसीए एल्गोरिदम का गैर-गौसियनिटी समुच्चय, कुकुदता और नाइनट्रॉपी का उपयोग करता है।
आईसीए के लिए विशिष्ट एल्गोरिदम वास्तविक पुनरावृत्त एल्गोरिदम के लिए समस्या की जटिलता को सरल बनाने और कम करने के लिए केंद्रीकरण शून्य माध्य संकेत बनाने के लिए माध्य घटाना, श्वेत परिवर्तन सामान्यतः ईजेनवेल्यू अपघटन के साथ और पूर्वप्रक्रमण चरणों के रूप में आयाम में कमी का उपयोग करते हैं। इस प्रकार मुख्य घटक विश्लेषण या एकवचन मूल्य अपघटन के साथ श्वेतकरण और आयाम में कमी प्राप्त की जा सकती है। इस प्रकार श्वेतकरण यह सुनिश्चित करता है कि एल्गोरिदम चलाने से पहले सभी आयामों को समान रूप से प्राथमिकता माना जाता है। इस प्रकार आईसीए के लिए प्रसिद्ध एल्गोरिदम में इन्फो मैक्स , फास्टआईसीए, जेएडीई (आईसीए), और कर्नेल-स्वतंत्र घटक विश्लेषण सम्मलित हैं। सामान्यतः इस प्रकार आईसीए स्रोत संकेतों की वास्तविक संख्या, स्रोत संकेतों के विशिष्ट रूप से सही क्रम, और न ही स्रोत संकेतों के उचित स्केलिंग साइन सहित की पहचान नहीं कर सकता है।
आईसीए संकेत पृथक्करण के लिए महत्वपूर्ण है और इसके कई व्यावहारिक अनुप्रयोग हैं। इस प्रकार यह डेटा के तथ्यात्मक कोड की खोज या यहां तक कि विशेष स्थितियों से निकटता से संबंधित है, अर्थात इस प्रकार प्रत्येक डेटा सदिश के इस सदिश के मान के लिए प्रतिनिधित्व करते हुए यह इस प्रकार परिणामी कोड को सदिश द्वारा विशिष्ट रूप से एन्कोड कोडिंग करता है। अपितु कोड घटक सांख्यिकीय रूप से स्वतंत्र हैं।
गणितीय परिभाषाएँ
रैखिक स्वतंत्र घटक विश्लेषण को नीरव और ध्वनि वाले स्थितियों में विभाजित किया जा सकता है, जहाँ नीरव आईसीए ध्वनि आईसीए की विशेष स्थिति हैं। इस प्रकार नॉनलाइनियर आईसीए को अलग स्थितियों के रूप में माना जाना चाहिए।
सामान्य परिभाषा
डेटा को देखे गए यादृच्छिक सदिश द्वारा दर्शाया गया है और छिपे हुए घटक यादृच्छिक सदिश के रूप में कार्य देखे गए डेटा को बदलना है, इस प्रकार रैखिक स्थिर परिवर्तन का उपयोग करना जैसा अधिकतम स्वतंत्र घटकों के सदिश में किसी कार्य द्वारा मापा जाता है इंडिपेंडेंट के लिए उपयोग किये जाते हैं।
जनरेटिव प्रारूप
रैखिक नीरव आईसीए
अवयव देखे गए यादृच्छिक सदिश की स्वतंत्र घटकों के योग , के रूप में उत्पन्न होते हैं:
मिश्रण भार द्वारा भारित रहता हैं।
उसी जनरेटिव प्रारूप को सदिश रूप में लिखा जा सकता है, जहाँ यादृच्छिक सदिश आधार सदिश द्वारा दर्शाया गया है। आधार सदिश मिक्सिंग आव्यूह के कॉलम बनाएं और , जहाँ उत्पादक सूत्र के रूप में लिखा जा सकता है।
इस प्रकार प्रारूप को देखते हुए यादृच्छिक सदिश का , कार्य दोनों मिश्रण आव्यूह और स्रोत का अनुमान लगाना है, इस प्रकार यह अनुकूल रूप से गणना करके किया जाता है सदिश और लागत फलन स्थापित करना जो या तो गणना की गैर-गौसियनिटी को अधिकतम करता है या इस प्रकार आपसी जानकारी को कम करता है। कुछ स्थितियों में, स्रोतों के संभाव्यता बंटन का प्राथमिक ज्ञान लागत फलन में उपयोग किया जा सकता है।
मूल स्रोत देखे गए संकेतों को गुणा करके पुनर्प्राप्त किया जा सकता है मिश्रण आव्यूह के व्युत्क्रम के साथ उपयोग किया जाता है, जिसे अनमिक्सिंग आव्यूह के रूप में भी जाना जाता है। यहाँ यह माना जाता है कि मिश्रण आव्यूह वर्ग () है। इस प्रकार यदि आधार सदिशों की संख्या प्रेक्षित सदिशों की विमा से अधिक है, अपितु छद्म व्युत्क्रम के साथ अभी भी हल करने योग्य है।
रैखिक ध्वनि आईसीए
शून्य-माध्य और असंबद्ध गाऊसी ध्वनि की अतिरिक्त धारणा के साथ , आईसीए प्रारूप रूप लेता है।
अरैखिक आईसीए
स्रोतों के मिश्रण को रैखिक होने की आवश्यकता नहीं है। इस प्रकार अरैखिक मिश्रण फलन का उपयोग करना मापदंडों के साथ अरेखीय आईसीए प्रारूप है।
पहचान
स्रोतों के क्रमपरिवर्तन और स्केलिंग तक स्वतंत्र घटकों की पहचान की जा सकती है। इस प्रकार इस पहचान की आवश्यकता है कि:
- अधिक से अधिक स्रोत गाऊसी है,
- देखे गए मिश्रणों की संख्या, , कम से कम अनुमानित घटकों की संख्या जितनी बड़ी होनी चाहिए : . यह मिश्रण आव्यूह कहने के बराबर है इसके व्युत्क्रम के अस्तित्व के लिए पूर्ण रैंक (रैखिक बीजगणित) का होना चाहिए।
बाइनरी आईसीए
आईसीए का विशेष संस्करण बाइनरी आईसीए है, जिसमें इस प्रकार संकेत स्रोत और मॉनिटर दोनों बाइनरी फॉर्म में हैं और मॉनिटर से अवलोकन बाइनरी स्वतंत्र स्रोतों के संयोजन मिश्रण हैं। समस्या को चिकित्सा निदान, बहु-क्लस्टर असाइनमेंट, नेटवर्क टोमोग्राफी और इंटरनेट संसाधन प्रबंधन सहित कई डोमेन में अनुप्रयोगों के लिए दिखाया गया था।
होने देना से बाइनरी चर का समुच्चय हो मॉनिटर और से बाइनरी चर का समुच्चय हो स्रोत है। इस प्रकार स्रोत-मॉनिटर कनेक्शन (अज्ञात) मिश्रण आव्यूह द्वारा दर्शाए जाते हैं, जहाँ इंगित करता है, कि i-वें स्रोत से संकेत j-वें मॉनिटर द्वारा देखा जा सकता है। इस प्रकार सिस्टम निम्नानुसार काम करता है: किसी भी समय, यदि कोई स्रोत सक्रिय है () और यह मॉनिटर से जुड़ा होता है () फिर मॉनिटर कुछ गतिविधि देखेंगे () औपचारिक रूप से हमारे पास है:
जहाँ बूलियन और है बूलियन OR है। ध्यान दें कि ध्वनि को स्पष्ट रूप से प्रतिरूपित नहीं किया जाता है, बल्कि इसे स्वतंत्र स्रोतों के रूप में माना जा सकता है।
उपरोक्त समस्या को ह्यूरिस्टिक रूप से हल किया जा सकता है[6] दिखाएँ कि यह दृष्टिकोण मध्यम ध्वनि स्तरों के अनुसार सटीक है।
सामान्यीकृत बाइनरी आईसीए ढांचा[7] व्यापक समस्या सूत्रीकरण प्रस्तुत करता है, जिसके लिए जनरेटिव प्रारूप पर किसी भी ज्ञान की आवश्यकता नहीं होती है। दूसरे शब्दों में, यह विधि किसी स्रोत को उसके स्वतंत्र घटकों के लिए जितना संभव हो सके, और इस प्रकार बिना किसी जानकारी को विघटित करने का प्रयास करती है, जिस प्रकार से इसे उत्पन्न किया गया था। यद्यपि यह समस्या अधिक जटिल दिखाई देती है, इसे शाखा और बाउंड सर्च ट्री एल्गोरिथम या सदिश के साथ आव्यूह के एकल गुणन के साथ कसकर ऊपरी सीमा के साथ सटीक रूप से हल किया जा सकता है।
विचारहीन स्त्रोत विभाजन के तरीके
प्रक्षेपण
संकेत मिश्रण में गॉसियन संभाव्यता घनत्व कार्य होते हैं, और स्रोत संकेतों में गैर-गाऊसी प्रायिकता घनत्व फलन होते हैं। इस प्रकार प्रत्येक स्रोत संकेत को वजन सदिश के आंतरिक उत्पाद और उन संकेत मिश्रणों को ले कर संकेत मिश्रणों के समुच्चय से निकाला जा सकता है जहाँ यह आंतरिक उत्पाद संकेत मिश्रणों का ऑर्थोगोनल प्रक्षेपण प्रदान करता है। शेष चुनौती इस प्रकार के वजन वाले सदिश को ढूंढ रही है। ऐसा करने के लिए प्रकार का तरीका प्रक्षेपण परस्यूट है।[8][9]
प्रक्षेपण समय में प्रक्षेपण की तलाश करता है जैसे कि निकाला गया संकेत जितना संभव हो उतना गैर-गाऊसी है। इस प्रकार यह आईसीए के विपरीत है, जो सामान्यतः एम संकेत मिश्रण से साथ एम संकेत निकालता है, जिसके लिए m × m अनमिक्सिंग आव्यूह का अनुमान लगाने की आवश्यकता होती है। इस प्रकार आईसीए पर प्रक्षेपण खोज का व्यावहारिक लाभ यह है कि यदि आवश्यक हो तो एम से कम संकेत निकाले जा सकते हैं, जहाँ प्रत्येक स्रोत संकेत को एम-एलिमेंट वेट सदिश का उपयोग करके एम संकेत मिश्रण से निकाला जाता है।
इस प्रकार प्रक्षेपण खोज के उपयोग के साथ सही वज़न सदिश ढूंढकर हम कर्टोसिस का उपयोग एकाधिक स्रोत संकेत को पुनर्प्राप्त करने के लिए कर सकते हैं।
परिमित प्रमाण के लिए संकेत के संभाव्यता घनत्व फलन के कर्टोसिस की गणना इस प्रकार की जाती है
जहाँ का नमूना माध्य है , निकाले गए संकेत निरंतर 3 सुनिश्चित करता है कि गॉसियन संकेतों में शून्य कर्टोसिस है, सुपर-गाऊसी संकेतों में सकारात्मक कुर्तोसिस है, और उप-गाऊसी संकेतों में नकारात्मक कुर्तोसिस है। इस प्रकार भाजक का विचरण है और यह सुनिश्चित करता है कि मापा कर्टोसिस संकेत विचरण को ध्यान में रखता है। इस प्रकार प्रक्षेपण परस्यूट का लक्ष्य कर्टोसिस को अधिकतम करना है, और निकाले गए संकेत को यथासंभव गैर-सामान्य बनाना है।
कर्टोसिस को गैर-सामान्यता के माप के रूप में उपयोग करते हुए, अब हम जांच कर सकते हैं कि संकेत का कर्टोसिस कैसे होता है एम मिश्रण के समुच्चय से निकाला गया वजन सदिश के रूप में भिन्न होता है, मूल के चारों ओर घुमाया जाता है। हमारी धारणा को देखते हुए कि प्रत्येक स्रोत संकेत देता है, सुपर-गाऊसी है जिसकी हम उम्मीद करेंगे:
- निकाले गए संकेत का कर्टोसिस अधिकतम सटीक होना जब हैं।
- निकाले गए संकेत का कर्टोसिस अधिकतम कब होना है, अनुमानित अक्ष के लिए ओर्थोगोनल या है, क्योंकि इस प्रकार हम जानते हैं कि इष्टतम भार सदिश रूपांतरित अक्ष के लिए ओर्थोगोनल होना चाहिए या हैं।
एकाधिक स्रोत मिश्रण संकेतों के लिए, इस प्रकार हम संकेतों को पुनर्प्राप्त करने के लिए कर्टोसिस और ग्राम-श्मिट ऑर्थोगोनलाइज़ेशन (जीएसओ) का उपयोग कर सकते हैं। एम-डायमेंशनल स्पेस में एम संकेत मिश्रण दिए जाने पर, जीएसओ इन डेटा पॉइंट्स को वेट सदिश का उपयोग करके (m-1) -डायमेंशनल स्पेस पर प्रोजेक्ट करता है। इस प्रकार हम जीएसओ के उपयोग से निकाले गए संकेतों की स्वतंत्रता की गारंटी दे सकते हैं।
का सही मान ज्ञात करने के लिए , हम ढतला हुआ वंश विधि का उपयोग कर सकते हैं। हम सबसे पहले डेटा को सफेद करते हैं, और नए मिश्रण में को रूपांतरित करता हैं, जिसका इकाई विचरण और है, इस प्रक्रिया को मान पर अपघटन लागू करके प्राप्त किया जा सकता है ,
प्रत्येक सदिश को पुनर्स्केल करना , और जाने . भारित सदिश द्वारा निकाला गया संकेत है, यदि भार सदिश w की इकाई लंबाई है, तो y का प्रसरण भी 1 है, अर्थात . कर्टोसिस को इस प्रकार लिखा जा सकता है:
के लिए अद्यतन करने की प्रक्रिया है:
जहाँ इसकी गारंटी देने के लिए छोटा स्थिरांक है इष्टतम समाधान में परिवर्तित हो जाता है। इस प्रकार प्रत्येक अद्यतन के बाद हम सामान्य करते हैं, और समुच्चय करते हैं , और अद्यतन प्रक्रिया को अभिसरण तक दोहराएं जाते हैं। हम वेट सदिश को अपडेट करने के लिए दूसरे एल्गोरिदम का भी उपयोग कर सकते है।
कर्टोसिस के अतिरिक्त एक अन्य दृष्टिकोण नेगेंट्रॉपी का उपयोग कर रहा है।[10][11] इस प्रकार कर्टोसिस की तुलना में नेगेंट्रॉपी का उपयोग करना अधिक मजबूत तरीका है, क्योंकि इस प्रकार कुर्तोसिस आउटलेयर के प्रति बहुत संवेदनशील है। इस प्रकार गौसियन वितरण की महत्वपूर्ण संपत्ति पर नेगेंट्रॉपी विधियां आधारित हैं: इस प्रकार समान भिन्नता के सभी निरंतर यादृच्छिक चर के बीच गॉसियन वैरिएबल में सबसे बड़ा एंट्रॉपी है। यही कारण है कि हम सबसे अधिक नॉनगॉसियन चर खोजना चाहते हैं। इस प्रकार विभेदक एन्ट्रापी में साधारण प्रमाण पाया जा सकता है।
y x के समान सहप्रसरण आव्यूह का गॉसियन यादृच्छिक चर है
नेगेंट्रॉपी के लिए सन्निकटन है
- कॉमन के मूल पत्रों में प्रमाण पाया जा सकता है,[12][10] इस प्रकार इसे आपो हाइवरिनन, जुहा करहुनेन और एर्की ओजा द्वारा स्वतंत्र घटक विश्लेषण पुस्तक में पुन: प्रस्तुत किया गया है।[13] इस प्रकार यह सन्निकटन भी कर्टोसिस आउटलेर्स के प्रति संवेदनशीलता जैसी समस्या से ग्रस्त है। इस प्रकार अन्य दृष्टिकोण विकसित किए गए हैं।[14] :
इसका विकल्प और हैं
- और
इन्फोमैक्स पर आधारित
इन्फोमैक्स आईसीए[15] अनिवार्य रूप से प्रक्षेपण खोज का बहुभिन्नरूपी, समानांतर संस्करण है। जबकि प्रक्षेपण परस्यूट एम संकेत मिश्रण के समुच्चय से बार में संकेत की श्रृंखला निकालता है, आईसीए समानांतर में एम संकेत निकालता है। इस प्रकार यह प्रक्षेपण खोज की तुलना में आईसीए को अधिक मजबूत बनाता है।[16]
प्रक्षेपण परस्यूट विधि निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए ग्राम-श्मिट ऑर्थोगोनलाइजेशन का उपयोग करती है, जबकि आईसीए निकाले गए संकेत की स्वतंत्रता सुनिश्चित करने के लिए इन्फोमैक्स और अधिकतम संभावना अनुमान का उपयोग करती है। इस प्रकार निकाले गए संकेत की गैर-सामान्यता संकेत के लिए उपयुक्त प्रारूप, या पूर्व, निर्दिष्ट करके प्राप्त की जाती है।
इन्फोमैक्स पर आधारित आईसीए की प्रक्रिया संक्षेप में है: संकेत मिश्रण का समुच्चय दिया गया है, और समान स्वतंत्र प्रारूप संचयी वितरण कार्य का समुच्चय (cdfs) , हम अनमिक्सिंग आव्यूह की खोज करते हैं जो संकेतों की संयुक्त एन्ट्रॉपी को अधिकतम करता है, जहाँ इस प्रकार द्वारा निकाले गए संकेत हैं, इस प्रकार इष्टतम , संकेत अधिकतम एन्ट्रापी है और इसलिए स्वतंत्र हैं, जो इस प्रकार सुनिश्चित करता है कि निकाले गए संकेत स्वतंत्र भी हैं। इस प्रकार उलटा कार्य और संकेत प्रारूप है। इस प्रकार ध्यान दें कि यदि स्रोत संकेत प्रारूप प्रायिकता घनत्व कार्य करता है, इस प्रकार निकाले गए संकेत की प्रायिकता घनत्व फलन से मेल खाता है , इस प्रकार संयुक्त एन्ट्रापी को अधिकतम करना के बीच आपसी जानकारी की मात्रा को भी अधिकतम करता है, इस प्रकार और इस कारण से, स्वतंत्र संकेतों को निकालने के लिए एंट्रॉपी का उपयोग करना इन्फोमैक्स के रूप में जाना जाता है।
सदिश चर की एन्ट्रापी पर विचार करें , जहाँ अनमिक्सिंग आव्यूह द्वारा निकाले गए संकेतों का समुच्चय है, इस प्रकार पीडीएफ के साथ वितरण से नमूना मूल्यों के सीमित समुच्चय के लिए , की एन्ट्रापी अनुमान लगाया जा सकता है:
इस प्रकार संयुक्त पीडीएफ संयुक्त पीडीएफ से संबंधित दिखाया जा सकता है, इस प्रकार बहुभिन्नरूपी रूप से निकाले गए संकेतों की:
जहाँ जैकबियन आव्यूह है। अपने पास , और स्रोत संकेतों के लिए माना गया पीडीएफ है , इसलिए,
इसलिए,
हम जानते हैं कि कब , समान वितरण का है, और अधिकतम है।
जहाँ अनमिक्सिंग आव्यूह के निर्धारक का निरपेक्ष मान है, इसलिए,
इसलिए,
तब से , और अधिकतम करना प्रभावित नहीं करता, इसलिए इस प्रकार हम फलन को अधिकतम कर सकते हैं
इस प्रकार निकाले गए संकेत की स्वतंत्रता प्राप्त करने के लिए उपयोग किया जाता हैं ।
यदि प्रारूप संयुक्त पीडीएफ के एम सीमांत पीडीएफ़ हैं, इस प्रकार स्वतंत्र हैं और इस प्रकार स्रोत के संकेतों के लिए सामान्यतः सुपर-गॉसियन प्रारूप पीडीएफ का उपयोग करते हैं , तो हमारे पास हैं-
योग में, मनाया संकेत मिश्रण दिया जाता हैं , निकाले गए संकेतों का संगत समुच्चय और स्रोत संकेत प्रारूप , हम इष्टतम अनमिक्सिंग आव्यूह पा सकते हैं, और इस प्रकार निकाले गए संकेतों को स्वतंत्र और गैर-गाऊसी बनाते हैं। इस प्रकार प्रक्षेपण की स्थिति की प्रकार, हम अनमिक्सिंग आव्यूह का इष्टतम समाधान खोजने के लिए ग्रेडिएंट डिसेंट विधि का उपयोग कर सकते हैं।
अधिकतम संभावना अनुमान के आधार पर
अधिकतम संभावना अनुमान (एमएलई) पैरामीटर मान खोजने के लिए मानक सांख्यिकीय उपकरण उदाहरण के लिए अनमिक्सिंग आव्यूह है, जो इस प्रकार कुछ डेटा का सबसे अच्छा फिट प्रदान करते हैं (उदाहरण के लिए, निकाले गए संकेत ) किसी दिए गए प्रारूप के लिए उदाहरण के लिए, अनुमानित संयुक्त संभावना घनत्व फलन (पीडीएफ) स्रोत संकेतों का होता है।[16]
एमएल प्रारूप में पीडीएफ का विनिर्देश सम्मलित होता है, जो इस स्थितियों में पीडीएफ है, इस प्रकार अज्ञात स्रोत संकेतों की . एमएल आईसीए का उपयोग करना, उद्देश्य अनमिक्सिंग आव्यूह खोजना है जो निकाले गए संकेतों को उत्पन्न करता है, इस प्रकार संयुक्त पीडीएफ के साथ जितना संभव हो उतना संयुक्त पीडीएफ के साथ अज्ञात स्रोत संकेतों की है।
MLE इस धारणा पर आधारित है कि यदि प्रारूप और प्रारूप पैरामीटर सही हैं तो इस प्रकार डेटा के लिए उच्च संभावना प्राप्त की जानी चाहिए जो वास्तव में देखे गए थे। इसके विपरीत यदि सही पैरामीटर मानों से दूर है तो देखे गए डेटा की कम संभावना की उम्मीद की जाएगी।
MLE का उपयोग करते हुए हम प्रारूप पैरामीटर मानों के दिए गए समुच्चय के लिए प्रेक्षित डेटा की प्रायिकता कहते हैं, उदाहरण के लिए, pdf और आव्यूह देखे गए डेटा को देखते हुए प्रारूप पैरामीटर मानों की संभावना है।
हम संभावना फलन का को परिभाषित करते हैं:
यह प्रायिकता घनत्व के बराबर है।
इस प्रकार, यदि हम खोजना चाहते हैं, यह देखे गए मिश्रणों को उत्पन्न करने की सबसे अधिक संभावना है, इस प्रकार अज्ञात स्रोत संकेतों से पीडीएफ के साथ तो हमें केवल उसे खोजने की जरूरत है, जो संभावना को अधिकतम करता है, इस प्रकार अनमिक्सिंग आव्यूह जो समीकरण को अधिकतम करता है, इस प्रकार इष्टतम अनमिक्सिंग आव्यूह के एमएलई के रूप में जाना जाता है।
इस प्रकार लॉग संभावना का उपयोग करना आम बात है, क्योंकि इसका मूल्यांकन करना सरल है। जैसा कि लघुगणक मोनोटोनिक फलन है, जो कार्य को अधिकतम करता है इसके लघुगणक को भी अधिकतम करता है, यह हमें उपरोक्त समीकरण का लघुगणक लेने की अनुमति देता है, जो इस प्रकार लॉग संभावना फलन उत्पन्न करता है
यदि हम स्रोत संकेतों के लिए सामान्यतः उपयोग किए जाने वाले उच्च-कर्टोसिस प्रारूप पीडीएफ को प्रतिस्थापित करते हैं तो हमारे पास हैं
यह आव्यूह जो इस फलन को अधिकतम करता है, इस प्रकार अधिकतम संभावना अनुमान है।
इतिहास और पृष्ठभूमि
स्वतंत्र घटक विश्लेषण के लिए प्रारंभिक सामान्य रूपरेखा 1984 से जेनी हेरॉल्ट और बर्नार्ड द्वारा प्रस्तुत की गई थी,[17] इस प्रकार 1985 और 1986 में क्रिश्चियन जटन द्वारा और विकसित किया गया,[18][19][20] और 1991 में पियरे कोमोन द्वारा परिष्कृत,[12] और 1994 के अपने पेपर में लोकप्रिय हुआ।[10] इस प्रकार 1995 में, टोनी बेल और टेरी सेजनोव्स्की ने इन्फोमैक्सपर आधारित तेज़ और कुशल आईसीए एल्गोरिथम प्रस्तुत किया, जो इस प्रकार 1987 में राल्फ लिंस्कर द्वारा प्रस्तुत किया गया सिद्धांत था।
साहित्य में कई एल्गोरिदम उपलब्ध हैं जो आईसीए करते हैं। इस प्रकार औद्योगिक अनुप्रयोगों सहित बड़े पैमाने पर उपयोग किया जाने वाला फास्टिका एल्गोरिथम है, जिसे हावरिनन और ओजा द्वारा विकसित किया गया है, जो इस प्रकार लागत कार्य के रूप में नेगेंट्रॉपी का उपयोग करता है।[21] इस प्रकार अन्य उदाहरण नेत्रहीन स्रोत पृथक्करण से संबंधित हैं, जहाँ इस प्रकार अधिक सामान्य दृष्टिकोण का उपयोग किया जाता है। इस प्रकार उदाहरण के लिए, कोई स्वतंत्रता धारणा को छोड़ सकता है और इस प्रकार पारस्परिक रूप से सहसंबद्ध संकेतों को अलग कर सकता है, इस प्रकार सांख्यिकीय रूप से निर्भर संकेत विकसित किया गया है। इस प्रकार सेप होचरेइटर और जुरगेन श्मिटहुबर ने दिखाया कि नियमितीकरण (गणित) (1999) के उप-उत्पाद के रूप में गैर-रैखिक आईसीए या स्रोत पृथक्करण कैसे प्राप्त किया जाए।[22] इस प्रकार इस पद्धति को स्वतंत्र स्रोतों की संख्या के बारे में प्राथमिक ज्ञान की आवश्यकता नहीं है।
अनुप्रयोग
आईसीए को गैर-भौतिक संकेतों का विश्लेषण करने के लिए बढ़ाया जा सकता है। इस प्रकार उदाहरण के लिए, आईसीए को समाचार सूची संग्रहों के बैग पर चर्चा के विषयों को खोजने के लिए लागू किया गया है।
कुछ आईसीए आवेदन नीचे सूचीबद्ध हैं:[4]
* न्यूरॉन्स की ऑप्टिकल इमेजिंग[23] * न्यूरोनल स्पाइक सॉर्टिंग[24] * चेहरा पहचान[25] * प्राथमिक दृश्य न्यूरॉन्स के ग्रहणशील क्षेत्रों की प्रारूपिंग[26] * शेयर बाजार की कीमतों [27] * मोबाइल फोन संचार[28] * टमाटर के पकने का रंग आधारित पता लगाना आवश्यक होता हैं।[29]
- ईईजी डेटा से आंखों की झपकी जैसी कलाकृतियों को हटाना।[30]
- ईईजी का उपयोग करके निर्णय लेने की भविष्यवाणी करना।[31]
- एकल कोशिका (जीव विज्ञान) आरएनए-अनुक्रमण प्रयोगों में समय के साथ जीन अभिव्यक्ति में परिवर्तन का विश्लेषण[32]
- मस्तिष्क की रेस्टिंग अवस्था fMRI का अध्ययन।[33]
- खगोल विज्ञान और ब्रह्मांड विज्ञान[34]
- वित्त[35]
उपलब्धता
आईसीए निम्नलिखित सॉफ्टवेयर के माध्यम से लागू किया जा सकता है:
- एसएएस भाषा प्रोसी आईसीए
- स्किकिट-लर्न पायथन कार्यान्वयन [https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.Fastica.html sklearn.decomposition.Fastica]
यह भी देखें
- विचारहीन डेकनवल्शन
- कारक विश्लेषण
- हिल्बर्ट स्पेक्ट्रम
- मूर्ति प्रोद्योगिकी
- गैर-ऋणात्मक आव्यूह गुणनखंड, गैर-ऋणात्मक मैट्रिक्स गुणनखंडन (NMF)
- गैर रेखीय आयामीता में कमी
- प्रोजेक्शन
- वेरिमैक्स रोटेशन
टिप्पणियाँ
- ↑ "Independent Component Analysis: A Demo".
- ↑ Hyvärinen, Aapo (2013). "Independent component analysis: recent advances". Philosophical Transactions: Mathematical, Physical and Engineering Sciences. 371 (1984): 20110534. Bibcode:2012RSPTA.37110534H. doi:10.1098/rsta.2011.0534. ISSN 1364-503X. JSTOR 41739975. PMC 3538438. PMID 23277597.
- ↑ Isomura, Takuya; Toyoizumi, Taro (2016). "स्वतंत्र घटक विश्लेषण के लिए एक स्थानीय शिक्षण नियम". Scientific Reports. 6: 28073. Bibcode:2016NatSR...628073I. doi:10.1038/srep28073. PMC 4914970. PMID 27323661.
- ↑ 4.0 4.1 Stone, James V. (2004). Independent component analysis : a tutorial introduction. Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-69315-8.
- ↑ Hyvärinen, Aapo; Karhunen, Juha; Oja, Erkki (2001). स्वतंत्र घटक विश्लेषण (1st ed.). New York: John Wiley & Sons. ISBN 978-0-471-22131-9.
- ↑ जोहान हिमबर्गैंड आपो हाइवरिनन, बाइनरी डेटा के लिए स्वतंत्र घटक विश्लेषण: एक प्रायोगिक अध्ययन, प्रोक। इंट। इंडिपेंडेंट कंपोनेंट एनालिसिस एंड ब्लाइंड सिग्नल सेपरेशन (ICA2001), सैन डिएगो, कैलिफ़ोर्निया, 2001 पर वर्कशॉप। </ रेफ> यह मानकर कि चर निरंतर हैं और मिक्सिंग मैट्रिक्स प्राप्त करने के लिए बाइनरी ऑब्जर्वेशन डेटा पर FastICA चला रहे हैं (वास्तविक मूल्य), फिर गोल संख्या तकनीकों को लागू करें बाइनरी मान प्राप्त करने के लिए। यह दृष्टिकोण अत्यधिक गलत परिणाम उत्पन्न करने के लिए दिखाया गया है।[citation needed] एक अन्य विधि गतिशील प्रोग्रामिंग का उपयोग करना है: अवलोकन मैट्रिक्स को पुनरावर्ती रूप से तोड़ना इसके उप-मैट्रिसेस में और इन सब-मैट्रिसेस पर इंट्रेंस एल्गोरिथम चलाते हैं। मुख्य अवलोकन जो इस एल्गोरिथम की ओर ले जाता है वह उप-मैट्रिक्स है का कहाँ छिपे हुए घटकों के निष्पक्ष अवलोकन मैट्रिक्स से मेल खाती है जिनका संबंध नहीं है -वें मॉनिटर। से प्रायोगिक परिणाम<ref name="Huyna">Huy Nguyen and Rong Zheng, Binary Independent Component Analysis With or Mixtures, IEEE Transactions on Signal Processing, Vol. 59, Issue 7. (July 2011), pp. 3168–3181.
- ↑ Painsky, Amichai; Rosset, Saharon; Feder, Meir (2014). सामान्यीकृत बाइनरी स्वतंत्र घटक विश्लेषण. pp. 1326–1330. doi:10.1109/ISIT.2014.6875048. ISBN 978-1-4799-5186-4. S2CID 18579555.
{{cite book}}
:|journal=
ignored (help) - ↑ James V. Stone(2004); "Independent Component Analysis: A Tutorial Introduction", The MIT Press Cambridge, Massachusetts, London, England; ISBN 0-262-69315-1
- ↑ Kruskal, JB. 1969; "Toward a practical method which helps uncover the structure of a set of observations by finding the line transformation which optimizes a new "index of condensation", Pages 427–440 of: Milton, RC, & Nelder, JA (eds), Statistical computation; New York, Academic Press
- ↑ 10.0 10.1 10.2 Pierre Comon (1994) Independent component analysis, a new concept? http://www.ece.ucsb.edu/wcsl/courses/ECE594/594C_F10Madhow/comon94.pdf
- ↑ Hyvärinen, Aapo; Erkki Oja (2000). "Independent Component Analysis:Algorithms and Applications". Neural Networks. 4-5. 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003. doi:10.1016/s0893-6080(00)00026-5. PMID 10946390. S2CID 11959218.
- ↑ 12.0 12.1 P.Comon, Independent Component Analysis, Workshop on Higher-Order Statistics, July 1991, republished in J-L. Lacoume, editor, Higher Order Statistics, pp. 29-38. Elsevier, Amsterdam, London, 1992. HAL link
- ↑ Hyvärinen, Aapo; Karhunen, Juha; Oja, Erkki (2001). स्वतंत्र घटक विश्लेषण (Reprint ed.). New York, NY: Wiley. ISBN 978-0-471-40540-5.
- ↑ Hyvärinen, Aapo (1998). "स्वतंत्र घटक विश्लेषण और प्रक्षेपण खोज के लिए अंतर एंट्रॉपी के नए अनुमान।". Advances in Neural Information Processing Systems. 10: 273–279.
- ↑ Bell, A. J.; Sejnowski, T. J. (1995). "An Information-Maximization Approach to Blind Separation and Blind Deconvolution", Neural Computation, 7, 1129-1159
- ↑ 16.0 16.1 James V. Stone (2004). "Independent Component Analysis: A Tutorial Introduction", The MIT Press Cambridge, Massachusetts, London, England; ISBN 0-262-69315-1
- ↑ Hérault, J.; Ans, B. (1984). "Réseau de neurones à synapses modifiables : Décodage de messages sensoriels composites par apprentissage non supervisé et permanent". Comptes Rendus de l'Académie des Sciences, Série III. 299: 525–528.
- ↑ Ans, B., Hérault, J., & Jutten, C. (1985). Architectures neuromimétiques adaptatives : Détection de primitives. Cognitiva 85 (Vol. 2, pp. 593-597). Paris: CESTA.
- ↑ Hérault, J., Jutten, C., & Ans, B. (1985). Détection de grandeurs primitives dans un message composite par une architecture de calcul neuromimétique en apprentissage non supervisé. Proceedings of the 10th Workshop Traitement du signal et ses applications (Vol. 2, pp. 1017-1022). Nice (France): GRETSI.
- ↑ Hérault, J., & Jutten, C. (1986). Space or time adaptive signal processing by neural networks models. Intern. Conf. on Neural Networks for Computing (pp. 206-211). Snowbird (Utah, USA).
- ↑ Hyvärinen, A.; Oja, E. (2000-06-01). "Independent component analysis: algorithms and applications". Neural Networks (in English). 13 (4): 411–430. doi:10.1016/S0893-6080(00)00026-5. ISSN 0893-6080. PMID 10946390. S2CID 11959218.
- ↑ Hochreiter, Sepp; Schmidhuber, Jürgen (1999). "LOCOCODE के माध्यम से फ़ीचर एक्सट्रैक्शन" (PDF). Neural Computation. 11 (3): 679–714. doi:10.1162/089976699300016629. ISSN 0899-7667. PMID 10085426. S2CID 1642107. Retrieved 24 February 2018.
- ↑ Brown, GD; Yamada,S; Sejnowski, TJ (2001). "तंत्रिका कॉकटेल पार्टी में स्वतंत्र घटक विश्लेषण". Trends in Neurosciences. 24 (1): 54–63. doi:10.1016/s0166-2236(00)01683-0. PMID 11163888. S2CID 511254.
- ↑ Lewicki, MS (1998). "Areview of methods for spike sorting: detection and classification of neural action potentials". Network: Computation in Neural Systems. 9 (4): 53–78. doi:10.1088/0954-898X_9_4_001. S2CID 10290908.
- ↑ Barlett, MS (2001). अप्रशिक्षित शिक्षण द्वारा चेहरा छवि विश्लेषण. Boston: Kluwer International Series on Engineering and Computer Science.
- ↑ Bell, AJ; Sejnowski, TJ (1997). "प्राकृतिक दृश्यों के स्वतंत्र घटक एज फिल्टर हैं". Vision Research. 37 (23): 3327–3338. doi:10.1016/s0042-6989(97)00121-1. PMC 2882863. PMID 9425547.
- ↑ Back, AD; Weigend, AS (1997). "स्टॉक रिटर्न से संरचना निकालने के लिए स्वतंत्र घटक विश्लेषण का पहला प्रयोग". International Journal of Neural Systems. 8 (4): 473–484. doi:10.1142/s0129065797000458. PMID 9730022. S2CID 872703.
- ↑ Hyvarinen, A, Karhunen,J & Oja,E (2001a). स्वतंत्र घटक विश्लेषण. New York: John Wiley and Sons.
{{cite book}}
: CS1 maint: multiple names: authors list (link) - ↑ Polder, G; van der Heijen, FWAM (2003). "स्वतंत्र घटक विश्लेषण का उपयोग करके टमाटर की वर्णक्रमीय छवियों में यौगिक वितरण का अनुमान". Austrian Computer Society: 57–64.
- ↑ Delorme, A; Sejnowski, T; Makeig, S (2007). "उच्च-क्रम के आँकड़ों और स्वतंत्र घटक विश्लेषण का उपयोग करके ईईजी डेटा में कलाकृतियों की बढ़ी हुई पहचान". NeuroImage. 34 (4): 1443–1449. doi:10.1016/j.neuroimage.2006.11.004. PMC 2895624. PMID 17188898.
- ↑ Douglas, P (2013). "स्वतंत्र घटक सुविधाओं का उपयोग करके ईईजी और एफएमआरआई डेटा से विश्वास निर्णय लेने का एकल परीक्षण डिकोडिंग". Frontiers in Human Neuroscience. 7: 392. doi:10.3389/fnhum.2013.00392. PMC 3728485. PMID 23914164.
- ↑ Trapnell, C; Cacchiarelli, D; Grimsby, J (2014). "एकल कोशिकाओं के स्यूडोटेम्पोरल ऑर्डर द्वारा सेल भाग्य निर्णयों की गतिशीलता और नियामकों का पता चलता है". Nature Biotechnology. 32 (4): 381–386. doi:10.1038/nbt.2859. PMC 4122333. PMID 24658644.
- ↑ Kiviniemi, Vesa J.; Kantola, Juha-Heikki; Jauhiainen, Jukka; Hyvärinen, Aapo; Tervonen, Osmo (2003). "गैर नियतात्मक fMRI संकेत स्रोतों का स्वतंत्र घटक विश्लेषण". NeuroImage. 19 (2): 253–260. doi:10.1016/S1053-8119(03)00097-1. PMID 12814576. S2CID 17110486.
- ↑ Wang, Jingying; Xu, Haiguang; Gu, Junhua; An, Tao; Cui, Haijuan; Li, Jianxun; Zhang, Zhongli; Zheng, Qian; Wu, Xiang-Ping (2010-11-01). "How to Identify and Separate Bright Galaxy Clusters from the Low-frequency Radio Sky?". The Astrophysical Journal. 723 (1): 620–633. arXiv:1008.3391. Bibcode:2010ApJ...723..620W. doi:10.1088/0004-637X/723/1/620. ISSN 0004-637X.
- ↑ Moraux, Franck; Villa, Christophe (2003). "The dynamics of the term structure of interest rates: an Independent Component Analysis". Connectionist Approaches in Economics and Management Sciences. Advances in Computational Management Science. 6: 215–232. doi:10.1007/978-1-4757-3722-6_11. ISBN 978-1-4757-3722-6.
संदर्भ
- Comon, Pierre (1994): "Independent Component Analysis: a new concept?", Signal Processing, 36(3):287–314 (The original paper describing the concept of आईसीए)
- Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): Independent Component Analysis, New York: Wiley, ISBN 978-0-471-40540-5 ( Introductory chapter )
- Hyvärinen, A.; Oja, E. (2000): "Independent Component Analysis: Algorithms and Application", Neural Networks, 13(4-5):411-430. (Technical but pedagogical introduction).
- Comon, P.; Jutten C., (2010): Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press, Oxford UK. ISBN 978-0-12-374726-6
- Lee, T.-W. (1998): Independent component analysis: Theory and applications, Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7
- Acharyya, Ranjan (2008): A New Approach for Blind Source Separation of Convolutive Sources - Wavelet Based Separation Using Shrinkage Function ISBN 3-639-07797-0 ISBN 978-3639077971 (this book focuses on unsupervised learning with Blind Source Separation)
बाहरी संबंध
- What is independent component analysis? by Aapo Hyvärinen
- Independent Component Analysis: A Tutorial by Aapo Hyvärinen
- A Tutorial on Independent Component Analysis
- Fastआईसीए as a package for Matlab, in R language, C++
- आईसीएLAB Toolboxes for Matlab, developed at RIKEN
- High Performance Signal Analysis Toolkit provides C++ implementations of Fastआईसीए and Infomax
- आईसीए toolbox Matlab tools for आईसीए with Bell-Sejnowski, Molgedey-Schuster and mean field आईसीए. Developed at DTU.
- Demonstration of the cocktail party problem
- EEGLAB Toolbox आईसीए of EEG for Matlab, developed at UCSD.
- FMRLAB Toolbox आईसीए of fMRI for Matlab, developed at UCSD
- MELODIC, part of the FMRIB Software Library.
- Discussion of आईसीए used in a biomedical shape-representation context
- Fastआईसीए, CuBआईसीए, JADE and TDSEP algorithm for Python and more...
- Group आईसीए Toolbox and Fusion आईसीए Toolbox
- Tutorial: Using आईसीए for cleaning EEG signals