अपर्यवेक्षित अधिगम

अनपर्यवेक्षित अध्ययन उन कलन विधि को संदर्भित करता है जो बिना लेबल वाले आँकड़े से पैटर्न सीखते हैं।

पर्यवेक्षित शिक्षण के विपरीत, जहां मॉडल निविष्ट को लक्ष्य बहिर्गत में मानचित्र करना सीखते हैं (उदाहरण के लिए बिल्ली या मछली के रूप में लेबल की गई छवियां), बिना पर्यवेक्षित तरीके निविष्ट आँकड़े का संक्षिप्त प्रतिनिधित्व सीखते हैं, जिसका उपयोग आँकड़े अन्वेषण या विश्लेषण या नए उत्पन्न करने के लिए किया जा सकता है आंकड़े। पर्यवेक्षण वर्णक्रम में अन्य स्तर सुदृढीकरण शिक्षण हैं जहां यंत्र को मार्गदर्शन के रूप में केवल एक प्रदर्शन अंक दिया जाता है, और अर्ध-पर्यवेक्षित शिक्षण जहां प्रशिक्षण आँकड़े का केवल एक भाग लेबल किया जाता है।

तन्त्रिका जाल

कार्य बनाम विधियाँ

किसी कार्य के लिए पर्यवेक्षित बनाम अपर्यवेक्षित तरीकों को नियोजित करने की प्रवृत्ति। कार्य के नाम वृत्त की सीमाओं को फैलाना जानबूझकर किया गया है। यह दर्शाता है कि अपर्यवेक्षित तरीकों को नियोजित करने वाले कल्पनाशील कार्यों (बाएं) का शास्त्रीय विभाजन आज की सीखने की योजनाओं में धुंधला हो गया है।

तन्त्रिका जाल कार्यों को प्रायः भेदभावपूर्ण (मान्यता) या उत्पादक (कल्पना) के रूप में वर्गीकृत किया जाता है। प्रायः परन्तु सदैव नहीं, भेदभावपूर्ण कार्यों में पर्यवेक्षित तरीकों का उपयोग किया जाता है और जेनरेटर कार्यों में बिना पर्यवेक्षित तरीकों का उपयोग किया जाता है (वेन आरेख देखें); हालाँकि, अलगाव बहुत धुंधला है। उदाहरण के लिए, वस्तु पहचान पर्यवेक्षित शिक्षण को बढ़ावा देती है परन्तु बिना पर्यवेक्षित शिक्षण भी वस्तुओं को समूहों में विभाजित कर सकता है। इसके अतिरिक्त, जैसे-जैसे प्रगति आगे बढ़ती है, कुछ कार्य दोनों तरीकों का उपयोग करते हैं, और कुछ कार्य एक से दूसरे की ओर झूलते रहते हैं। उदाहरण के लिए, छवि पहचान का प्रारंभ अत्यधिक निगरानी के साथ हुई, परन्तु बिना पर्यवेक्षित पूर्व-प्रशिक्षण को नियोजित करने से यह संकरित हो गई, और फिर डिल्यूशन_(न्यूरल_संजाल्स), रेक्टिफायर_(न्यूरल_संजाल्स), और अधिगम_रेट के आगमन के साथ फिर से पर्यवेक्षण की ओर बढ़ गई।

प्रशिक्षण

सीखने के चरण के पर्यन्त, एक अप्रशिक्षित संजाल दिए गए आँकड़े की नकल करने की कोशिश करता है और खुद को सही करने के लिए अपने नकल किए गए बहिर्गत में त्रुटि का उपयोग करता है (अर्थात अपने वजन और पूर्वाग्रहों को ठीक करता है)। कभी-कभी त्रुटि को गलत बहिर्गत होने की कम संभावना के रूप में व्यक्त किया जाता है, या इसे संजाल में अस्थिर उच्च ऊर्जा स्थिति के रूप में व्यक्त किया जा सकता है।

पर्यवेक्षित तरीकों के पश्चप्रचार के प्रमुख उपयोग के विपरीत, अनसुपरवाइज्ड अधिगम अन्य तरीकों को भी नियोजित करता है जिनमें सम्मिलित हैं: होपफील्ड अधिगम नियम, बोल्ट्जमैन अधिगम नियम, कंट्रास्टिव डाइवर्जेंस, जागो-नींद एल्गोरिथ्म, वेरिएशनल अनुमान, अधिकतम संभावना, अधिकतम ए पोस्टीरियोरी, गिब्स सैंपलिंग और बैकप्रोपेगेटिंग। पुनर्निर्माण त्रुटियाँ या छिपी हुई स्थिति का पुनर्मूल्यांकन। अधिक विवरण के लिए नीचे दी गई तालिका देखें।

ऊर्जा

एक ऊर्जा क्रिया किसी संजाल की सक्रियण स्थिति का एक स्थूल माप है। बोल्ट्ज़मैन यंत्रों में, यह लागत क्रिया की भूमिका निभाता है। भौतिकी के साथ यह सादृश्य कण गति की सूक्ष्म संभावनाओं से गैस की स्थूल ऊर्जा के लुडविग बोल्ट्जमैन के विश्लेषण से प्रेरित है। $p\propto e^{-E/kT}$, जहां k बोल्ट्जमैन स्थिरांक है और T तापमान है। Restricted_Boltzmann_machine संजाल में संबंध है $p=e^{-E}/Z$,कहाँ $p$ और $E$ प्रत्येक संभावित सक्रियण पैटर्न में भिन्नता होती है और $\textstyle {Z=\sum _{\scriptscriptstyle {\text{All Patterns}}}e^{-E({\text{pattern}})}}$. अधिक स्पष्ट करने के लिए, $p(a)=e^{-E(a)}/Z$, कहाँ $a$ सभी न्यूरॉन्स (दृश्यमान और छिपे हुए) का एक सक्रियण पैटर्न है। इसलिए, प्रारंभिक तन्त्रिका जाल का नाम बोल्ट्ज़मैन यंत्र है। पॉल स्मोलेंस्की कॉल करता है $-E\,$ सद्भाव. एक संजाल कम ऊर्जा चाहता है जो उच्च सद्भाव है।

संजाल

यह तालिका विभिन्न गैर-पर्यवेक्षित संजालों के कनेक्शन आरेख दिखाती है, जिनका विवरण संजाल की तुलना अनुभाग में दिया जाएगा। वृत्त न्यूरॉन्स हैं और उनके मध्य के किनारे कनेक्शन भार हैं। जैसे-जैसे संजाल डिज़ाइन परिवर्तित करता है, नई क्षमताओं को सक्षम करने के लिए सुविधाएँ जोड़ी जाती हैं या सीखने को तेज़ बनाने के लिए हटा दी जाती हैं। उदाहरण के लिए, मजबूत बहिर्गत की अनुमति देने के लिए न्यूरॉन्स नियतात्मक (हॉपफील्ड) और स्टोकेस्टिक (बोल्ट्ज़मैन) के मध्य परिवर्तित करते हैं, सीखने में तेजी लाने के लिए एक परत (आरबीएम) के भीतर वजन हटा दिया जाता है, या कनेक्शन को असममित (हेल्महोल्ट्ज़) बनने की अनुमति दी जाती है।

हॉपफ़ील्ड	बोल्ट्ज़मैन	आरबीएम	स्टैक्ड बोल्ट्ज़मैन
एकल स्व-जुड़ी परत के साथ लोहे में चुंबकीय डोमेन पर आधारित एक संजाल। इसका उपयोग कंटेंट एड्रेसेबल मेमोरी के रूप में किया जा सकता है।	संजाल को 2 परतों (छिपे हुए बनाम दृश्यमान) में विभाजित किया गया है, परन्तु फिर भी सममित 2-तरफ़ा वज़न का उपयोग किया जाता है। बोल्ट्ज़मैन के थर्मोडायनामिक्स के बाद, व्यक्तिगत संभावनाएं स्थूल ऊर्जा को जन्म देती हैं।	प्रतिबंधित बोल्ट्ज़मैन यंत्र। यह एक बोल्ट्ज़मैन यंत्र है जहां विश्लेषण को सुव्यवस्थित बनाने के लिए एक परत के भीतर पार्श्व कनेक्शन निषिद्ध है।	इस संजाल में छिपी हुई विशेषताओं के पदानुक्रम को एनकोड करने के लिए कई आरबीएम हैं। एक आरबीएम को प्रशिक्षित करने के बाद, एक और नीली छिपी हुई परत (बाएं आरबीएम देखें) जोड़ी जाती है, और शीर्ष 2 परतों को लाल और नीले आरबीएम के रूप में प्रशिक्षित किया जाता है। इस प्रकार आरबीएम की मध्य परतें छिपी या दृश्यमान के रूप में कार्य करती हैं, यह इस बात पर निर्भर करता है कि यह किस प्रशिक्षण चरण में है।

Helmholtz	Autoencoder	VAE
Instead of the bidirectional symmetric connection of the stacked Boltzmann machines, we have separate one-way connections to form a loop. It does both generation and discrimination.	A feed forward network that aims to find a good middle layer representation of its input world. This network is deterministic, so it's not as robust as its successor the VAE.	Applies Variational Inference to the Autoencoder. The middle layer is a set of means & variances for Gaussian distributions. The stochastic nature allows for more robust imagination than the deterministic autoencoder.

लोगों के नाम वाले संजाल में से केवल होपफ़ील्ड ने सीधे तन्त्रिका जाल के साथ काम किया। बोल्ट्ज़मैन और हेल्महोल्ट्ज़ कृत्रिम तन्त्रिका जाल से पहले आए थे, परन्तु भौतिकी और शरीर विज्ञान में उनके काम ने इस्तेमाल की जाने वाली विश्लेषणात्मक विधियों को प्रेरित किया।

इतिहास

1969	Perceptrons by Minsky & Papert shows a perceptron without hidden layers fails on XOR
1970s	(approximate dates) First AI winter
1974	Ising magnetic model proposed by WA Little for cognition
1980	Fukushima introduces the neocognitron, which is later called a convolution neural network. It is mostly used in SL, but deserves a mention here.
1982	Ising variant Hopfield net described as CAMs and classifiers by John Hopfield.
1983	Ising variant Boltzmann machine with probabilistic neurons described by Hinton & Sejnowski following Sherington & Kirkpatrick's 1975 work.
1986	Paul Smolensky publishes Harmony Theory, which is an RBM with practically the same Boltzmann energy function. Smolensky did not give a practical training scheme. Hinton did in mid-2000s
1995	Schmidthuber introduces the LSTM neuron for languages.
1995	Dayan & Hinton introduces Helmholtz machine
1995-2005	(approximate dates) Second AI winter
2013	Kingma, Rezende, & co. introduced Variational Autoencoders as Bayesian graphical probability network, with neural nets as components.

विशिष्ट संजाल

यहां, हम चुनिंदा संजाल की कुछ विशेषताओं पर प्रकाश डालते हैं। प्रत्येक का विवरण नीचे तुलना तालिका में दिया गया है।

Hopfield Network

लौहचुम्बकत्व ने हॉपफील्ड नेटवर्क को प्रेरित किया। एक न्यूरॉन ऊपर और नीचे द्विआधारी चुंबकीय क्षणों के साथ एक लौह डोमेन से मेल खाता है, और तंत्रिका कनेक्शन एक दूसरे पर डोमेन के प्रभाव से मेल खाते हैं। सममित कनेक्शन वैश्विक ऊर्जा निर्माण को सक्षम बनाते हैं। अनुमान के दौरान नेटवर्क मानक सक्रियण चरण फ़ंक्शन का उपयोग करके प्रत्येक स्थिति को अपडेट करता है। सममित भार और सही ऊर्जा कार्य एक स्थिर सक्रियण पैटर्न के अभिसरण की गारंटी देते हैं। असममित भार का विश्लेषण करना कठिन है। हॉपफील्ड नेट का उपयोग कंटेंट एड्रेसेबल मेमोरीज़ (सीएएम) के रूप में किया जाता है।

Boltzmann Machine

ये स्टोकेस्टिक हॉपफील्ड नेट हैं। उनका राज्य मान इस पीडीएफ से निम्नानुसार नमूना लिया गया है: मान लीजिए कि एक बाइनरी न्यूरॉन बर्नौली संभावना पी (1) = 1/3 के साथ सक्रिय होता है और पी (0) = 2/3 के साथ आराम करता है। इसमें से एक नमूना एक समान रूप से वितरित यादृच्छिक संख्या y लेकर, और इसे उल्टे संचयी वितरण फ़ंक्शन में प्लग करके, जो इस मामले में 2/3 पर थ्रेशोल्ड चरण फ़ंक्शन है। व्युत्क्रम फलन = { 0 यदि x <= 2/3, 1 यदि x > 2/3 }

Sigmoid Belief Net

1992 में रैडफोर्ड नील द्वारा प्रस्तुत, यह नेटवर्क संभाव्य ग्राफिकल मॉडल से लेकर तंत्रिका नेटवर्क तक के विचारों को लागू करता है। एक महत्वपूर्ण अंतर यह है कि ग्राफिकल मॉडल में नोड्स के पूर्व-निर्धारित अर्थ होते हैं, जबकि बिलीफ नेट न्यूरॉन्स की विशेषताएं प्रशिक्षण के बाद निर्धारित की जाती हैं। नेटवर्क बाइनरी स्टोकेस्टिक न्यूरॉन्स से बना एक विरल रूप से जुड़ा हुआ निर्देशित एसाइक्लिक ग्राफ है। सीखने का नियम p(X) पर अधिकतम संभावना से आता है: Δw_ij $\propto$ s_j * (s_i - p_i), जहां p_i = 1 / ( 1 + e^{weighted inputs into neuron i} ). s_j's are activations from an unbiased sample of the posterior distribution and this is problematic due to the Explaining Away problem raised by Judea Perl. Variational Bayesian methods uses a surrogate posterior and blatantly disregard this complexity.

Deep Belief Network

Introduced by Hinton, this network is a hybrid of RBM and Sigmoid Belief Network. The top 2 layers is an RBM and the second layer downwards form a sigmoid belief network. One trains it by the stacked RBM method and then throw away the recognition weights below the top RBM. As of 2009, 3-4 layers seems to be the optimal depth.

Helmholtz machine

These are early inspirations for the Variational Auto Encoders. It's 2 networks combined into one—forward weights operates recognition and backward weights implements imagination. It is perhaps the first network to do both. Helmholtz did not work in machine learning but he inspired the view of "statistical inference engine whose function is to infer probable causes of sensory input" (3). the stochastic binary neuron outputs a probability that its state is 0 or 1. The data input is normally not considered a layer, but in the Helmholtz machine generation mode, the data layer receives input from the middle layer has separate weights for this purpose, so it is considered a layer. Hence this network has 3 layers.

Variational autoencoder

These are inspired by Helmholtz machines and combines probability network with neural networks. An Autoencoder is a 3-layer CAM network, where the middle layer is supposed to be some internal representation of input patterns. The encoder neural network is a probability distribution q_φ(z given x) and the decoder network is p_θ(x given z). The weights are named phi & theta rather than W and V as in Helmholtz—a cosmetic difference. These 2 networks here can be fully connected, or use another NN scheme.

संजाल की तुलना

	Hopfield	Boltzmann	RBM	Stacked RBM	Helmholtz	Autoencoder	VAE
Usage & notables	सीएएम, ट्रैवलिंग सेल्समैन समस्या	सीएएम. कनेक्शन की स्वतंत्रता इस नेटवर्क का विश्लेषण करना कठिन बना देती है।	पैटर्न मान्यता। एमएनआईएसटी अंक और भाषण में उपयोग किया जाता है।	मान्यता एवं कल्पना. बिना पर्यवेक्षित पूर्व-प्रशिक्षण और/या पर्यवेक्षित फाइन ट्यूनिंग के साथ प्रशिक्षित।	कल्पना, नकल	भाषा: रचनात्मक लेखन, अनुवाद। दृष्टि: धुंधली छवियों को बढ़ाना	यथार्थवादी डेटा उत्पन्न करें
Neuron	नियतात्मक द्विआधारी अवस्था. सक्रियण = { 0 (या -1) यदि x ऋणात्मक है, 1 अन्यथा }	स्टोकेस्टिक बाइनरी हॉपफील्ड न्यूरॉन	← समान (2000 के दशक के मध्य में वास्तविक-मूल्य तक विस्तारित)	← समान	← समान	language: LSTM. vision: local receptive fields. usually real valued relu activation.	middle layer neurons encode means & variances for Gaussians. In run mode (inference), the output of the middle layer are sampled values from the Gaussians.
Connections	1-layer with symmetric weights. No self-connections.	2-layers. 1-hidden & 1-visible. symmetric weights.	← same. no lateral connections within a layer.	top layer is undirected, symmetric. other layers are 2-way, asymmetric.	3-layers: asymmetric weights. 2 networks combined into 1.	3-layers. The input is considered a layer even though it has no inbound weights. recurrent layers for NLP. feedforward convolutions for vision. input & output have the same neuron counts.	3-layers: input, encoder, distribution sampler decoder. the sampler is not considered a layer (e)
Inference & energy	Energy is given by Gibbs probability measure :$E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}}{s_{i}}$	← same	← same		minimize KL divergence	inference is only feed-forward. previous UL networks ran forwards AND backwards	minimize error = reconstruction error - KLD
Training	Δwij = si*sj, for +1/-1 neuron	Δwij = e*(pij - p'ij). यह KLD को न्यूनतम करने से प्राप्त हुआ है। ई = सीखने की दर, पी' = अनुमानित और पी = वास्तविक वितरण.	Δwij = e*( < vi hj >data - < vi hj >equilibrium ). यह गिब्स सैंपलिंग के साथ विरोधाभासी विचलन का एक रूप है। "<>" अपेक्षाएं हैं।	← समान। एक समय में 1-परत को प्रशिक्षित करें। 3-सेगमेंट पास के साथ अनुमानित संतुलन स्थिति। कोई पिछला प्रसार नहीं.	जागो-नींद 2 चरण का प्रशिक्षण	पुनर्निर्माण त्रुटि को वापस प्रचारित करें	बैकप्रॉप के लिए छिपी हुई स्थिति को दोबारा मापें
Strength	भौतिक प्रणालियों से मिलता-जुलता है इसलिए यह उनके समीकरणों को प्राप्त करता है	← समान छिपे हुए न्यूरॉन्स बाहरी दुनिया के आंतरिक प्रतिनिधित्व के रूप में कार्य करते हैं	बोल्ट्ज़मैन मशीनों की तुलना में तेज़ और अधिक व्यावहारिक प्रशिक्षण योजना	तेजी से ट्रेन. सुविधाओं की श्रेणीबद्ध परत देता है	हल्का शारीरिक. सूचना सिद्धांत और सांख्यिकीय यांत्रिकी के साथ विश्लेषण योग्य
Weakness		पार्श्व कनेक्शन के कारण प्रशिक्षित करना कठिन है	संतुलन के लिए बहुत अधिक पुनरावृत्तियों की आवश्यकता होती है	पूर्णांक और वास्तविक-मूल्यवान न्यूरॉन्स अधिक जटिल हैं।

हेब्बियन अधिगम, एआरटी, एसओएम
तन्त्रिका जाल के अध्ययन में अपर्यवेक्षित शिक्षण का शास्त्रीय उदाहरण डोनाल्ड हेब्ब का सिद्धांत है, अर्थात, न्यूरॉन्स जो एक साथ तार से आग लगाते हैं।हेब्बियन सीखने में, किसी त्रुटि के बावजूद कनेक्शन को मजबूत किया जाता है, परन्तु यह विशेष रूप से दो न्यूरॉन्स के मध्य कार्रवाई क्षमता के मध्य संयोग का एक कार्य है।एक समान संस्करण जो सिनैप्टिक भार को संशोधित करता है वह एक्शन पोटेंशिअल (स्पाइक-टाइमिंग-निर्भर प्लास्टिसिटी या एसटीडीपी) के मध्य के समय को ध्यान में रखता है। हेब्बियन अधिगम को पैटर्न पहचान और अनुभवात्मक शिक्षा जैसे संज्ञानात्मक कार्यों की एक श्रृंखला को रेखांकित करने के लिए परिकल्पित किया गया है।

कृत्रिम तन्त्रिका जाल मॉडल के मध्य, स्व-संगठित मानचित्र (एसओएम) और अनुकूली अनुनाद सिद्धांत (एआरटी) का उपयोग आमतौर पर बिना पर्यवेक्षित शिक्षण कलन विधि में किया जाता है। एसओएम एक स्थलाकृतिक संगठन है जिसमें मानचित्र में आस-पास के स्थान समान गुणों वाले निविष्ट का प्रतिनिधित्व करते हैं। एआरटी मॉडल समस्या के आकार के साथ समूहों की संख्या को अलग-अलग करने की अनुमति देता है और उपयोगकर्ता को सतर्कता पैरामीटर नामक उपयोगकर्ता-परिभाषित स्थिरांक के माध्यम से समान क्लस्टर के सदस्यों के मध्य समानता की डिग्री को नियंत्रित करने देता है। एआरटी संजाल का उपयोग कई पैटर्न पहचान कार्यों के लिए किया जाता है, जैसे स्वचालित लक्ष्य पहचान और भूकंपीय सिग्नल प्रोसेसिंग।

संभाव्य विधियाँ

बिना पर्यवेक्षित शिक्षण में उपयोग की जाने वाली दो मुख्य विधियाँ प्रधान घटक विश्लेषण और क्लस्टर विश्लेषण हैं। क्लस्टर विश्लेषण का उपयोग बिना पर्यवेक्षित शिक्षण में कलन विधि संबंधों को एक्सट्रपलेशन करने के लिए साझा विशेषताओं वाले आँकड़ेसेट को समूह या खंड में करने के लिए किया जाता है।क्लस्टर विश्लेषण यंत्र अधिगम की एक शाखा है जो उस आँकड़े को समूहित करती है जिसे लेबल, वर्गीकृत या वर्गीकृत नहीं किया गया है। फीडबैक पर प्रतिक्रिया देने के बजाय, क्लस्टर विश्लेषण आँकड़े में समानताओं की पहचान करता है और आँकड़े के प्रत्येक नए टुकड़े में ऐसी समानताओं की उपस्थिति या अनुपस्थिति के आधार पर प्रतिक्रिया करता है। यह दृष्टिकोण उन असंगत आँकड़े बिंदुओं का पता लगाने में मदद करता है जो किसी भी समूह में फिट नहीं होते हैं।

अपर्यवेक्षित शिक्षण का एक केंद्रीय अनुप्रयोग सांख्यिकी में घनत्व अनुमान के क्षेत्र में है,हालाँकि बिना पर्यवेक्षित शिक्षण में आँकड़े सुविधाओं का सारांश और व्याख्या करने वाले कई अन्य डोमेन सम्मिलित हैं। इसकी तुलना पर्यवेक्षित शिक्षण से यह कहकर की जा सकती है कि जबकि पर्यवेक्षित शिक्षण का उद्देश्य निविष्ट आँकड़े के लेबल पर सशर्त संभाव्यता वितरण का अनुमान लगाना है; अप्रशिक्षित शिक्षण का उद्देश्य एक प्राथमिक संभाव्यता वितरण का अनुमान लगाना है।

दृष्टिकोण

बिना पर्यवेक्षित शिक्षण में उपयोग किए जाने वाले कुछ सबसे आम कलन विधि में सम्मिलित हैं: (1) क्लस्टरिंग, (2) विसंगति का पता लगाना, (3) अव्यक्त चर मॉडल सीखने के लिए दृष्टिकोण। प्रत्येक दृष्टिकोण निम्नानुसार कई विधियों का उपयोग करता है:

• आँकड़े क्लस्टरिंग विधियों में सम्मिलित हैं: पदानुक्रमित क्लस्टरिंग,k-मतलब,मिश्रण मॉडल, डीबीएससीएएन, और प्रकाशिकी एल्गोरिथ्म
• विसंगति का पता लगाने के तरीकों में सम्मिलित हैं: स्थानीय बाहरी कारक, और अलगाव वन
• अव्यक्त चर मॉडल सीखने के लिए दृष्टिकोण जैसे कि अपेक्षा-अधिकतमकरण एल्गोरिथ्म (ईएम), क्षणों की विधि (सांख्यिकी), और ब्लाइंड सिग्नल पृथक्करण तकनीक (प्रमुख घटक विश्लेषण, स्वतंत्र घटक विश्लेषणगैर-नकारात्मक मैट्रिक्स गुणनखंडन फैक्टराइजेशन, एकवचन मूल्य अपघटन)

क्षणों की विधि

बिना पर्यवेक्षित शिक्षण के लिए सांख्यिकीय दृष्टिकोणों में से एक क्षणों की विधि (सांख्यिकी) है। क्षणों की विधि में, मॉडल में अज्ञात पैरामीटर (रुचि के) एक या अधिक यादृच्छिक चर के क्षणों से संबंधित होते हैं, और इस प्रकार, इन अज्ञात मापदंडों का अनुमान क्षणों को देखते हुए लगाया जा सकता है। क्षणों का अनुमान आमतौर पर अनुभवजन्य रूप से नमूनों से लगाया जाता है। मूल क्षण प्रथम और द्वितीय क्रम के क्षण हैं। एक यादृच्छिक वेक्टर के लिए, पहले क्रम का क्षण माध्य वेक्टर है, और दूसरे क्रम का क्षण सहप्रसरण मैट्रिक्स है (जब माध्य शून्य है)। उच्च क्रम के क्षणों को आमतौर पर टेंसर का उपयोग करके दर्शाया जाता है जो कि बहु-आयामी सरणियों के रूप में उच्च क्रम सहप्रसरण आव्यूह का सामान्यीकरण है।

विशेष रूप से, अव्यक्त चर मॉडल के मापदंडों को सीखने में क्षणों की विधि को प्रभावी दिखाया गया है। अव्यक्त चर मॉडल सांख्यिकीय मॉडल हैं जहां देखे गए चर के अतिरिक्त, अव्यक्त चर का एक सेट भी मौजूद होता है जो नहीं देखा जाता है। अर्थ अधिगम में अव्यक्त चर मॉडल का एक अत्यधिक व्यावहारिक उदाहरण विषय मॉडलिंग है जो दस्तावेज़ के विषय (अव्यक्त चर) के आधार पर दस्तावेज़ में शब्द (अवलोकित चर) उत्पन्न करने के लिए एक सांख्यिकीय मॉडल है। विषय मॉडलिंग में, दस्तावेज़ का विषय परिवर्तित करने पर दस्तावेज़ में शब्द विभिन्न सांख्यिकीय मापदंडों के अनुसार उत्पन्न होते हैं। यह दिखाया गया है कि क्षणों की विधि (टेंसर अपघटन तकनीक) कुछ मान्यताओं के तहत अव्यक्त चर मॉडल के एक बड़े वर्ग के मापदंडों को लगातार पुनर्प्राप्त करती है।

एक्सपेक्टेशन-मैक्सिमाइजेशन कलन विधि (ईएम) भी अव्यक्त चर मॉडल सीखने के लिए सबसे व्यावहारिक तरीकों में से एक है। हालाँकि, यह स्थानीय ऑप्टिमा में फंस सकता है, और यह गारंटी नहीं है कि कलन विधि मॉडल के वास्तविक अज्ञात मापदंडों में परिवर्तित हो जाएगा। इसके विपरीत, क्षणों की विधि के लिए, कुछ शर्तों के तहत वैश्विक अभिसरण की गारंटी दी जाती है।

यह भी देखें

• स्वचालित यंत्र अधिगम
• क्लस्टर विश्लेषण
• असंगति का पता लगाये
• अपेक्षा-अधिकतमीकरण एल्गोरिथ्म
• जनरेटिव स्थलाकृतिक मानचित्र
• मेटा-अधिगम (कंप्यूटर विज्ञान)
• बहुभिन्नरूपी विश्लेषण
• रेडियल आधार क्रिया संजाल
• कमजोर पर्यवेक्षण

अग्रिम पठन

• Bousquet, O.; von Luxburg, U.; Raetsch, G., eds. (2004). Advanced Lectures on Machine Learning. Springer. ISBN 978-3540231226.
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2001). "Unsupervised Learning and Clustering". Pattern classification (2nd ed.). Wiley. ISBN 0-471-05669-3.
• Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). "Unsupervised Learning". The Elements of Statistical Learning: Data mining, Inference, and Prediction. Springer. pp. 485–586. doi:10.1007/978-0-387-84858-7_14. ISBN 978-0-387-84857-0.
• Hinton, Geoffrey; Sejnowski, Terrence J., eds. (1999). Unsupervised Learning: Foundations of Neural Computation. MIT Press. ISBN 0-262-58168-X.