जनरेटिव मॉडल

This article is about generative models in the context of statistical classification. For generative models of Markov decision processes, see Markov decision process § Simulator models. For Generative Modelling Language (GML) in computer graphics and generative computer programming, see Generative Modelling Language. For Generative Artificial Intelligence (Generative A.I.) models/systems, see Generative artificial intelligence.

सांख्यिकीय वर्गीकरण में, दो मुख्य दृष्टिकोणों को जनरेटिव दृष्टिकोण और भेदभावपूर्ण दृष्टिकोण कहा जाता है। सांख्यिकीय मॉडलिंग की डिग्री में भिन्न, विभिन्न दृष्टिकोणों द्वारा ये गणना वर्गीकरण नियम। शब्दावली असंगत है, लेकिन निम्नलिखित तीन प्रमुख प्रकारों को प्रतिष्ठित किया जा सकता है Jebara (2004):

1. एक जनरेटिव मॉडल संयुक्त संभाव्यता वितरण का एक सांख्यिकीय मॉडल है $P(X,Y)$ दिए गए नमूदार चर X और लक्ष्य चर Y पर;
2. एक विवेकशील मॉडल सशर्त संभाव्यता का एक मॉडल है $P(Y\mid X=x)$ लक्ष्य Y का, एक अवलोकन x दिया गया; और
3. संभाव्यता मॉडल का उपयोग किए बिना गणना किए गए क्लासिफायर को भी भेदभावपूर्ण के रूप में शिथिल रूप से संदर्भित किया जाता है।

इन अंतिम दो वर्गों के बीच भेद लगातार नहीं किया जाता है; Jebara (2004) इन तीन वर्गों को जनरेटिव लर्निंग, कंडीशनल लर्निंग और डिस्क्रिमिनेटिव लर्निंग के रूप में संदर्भित करता है, लेकिन Ng & Jordan (2002) केवल दो वर्गों को अलग करता है, उन्हें जनरेटिव क्लासिफायरियर (संयुक्त वितरण) और भेदभावपूर्ण क्लासिफायरियर (सशर्त वितरण या कोई वितरण नहीं) कहते हैं, बाद के दो वर्गों के बीच अंतर नहीं करते। समान रूप से, एक जनरेटिव मॉडल पर आधारित एक क्लासिफायरियर एक जनरेटिव क्लासिफायरियर है, जबकि एक भेदभावपूर्ण मॉडल पर आधारित एक क्लासिफायर एक भेदभावपूर्ण क्लासिफायरियर है, हालांकि यह शब्द रैखिक वर्गीकारक को भी संदर्भित करता है जो एक मॉडल पर आधारित नहीं हैं।

प्रत्येक के मानक उदाहरण, जो सभी रेखीय वर्गीकारक हैं, हैं:

• जनरेटिव क्लासिफायरियर:
  • भोले बेयस वर्गीकारक और
  • रैखिक विभेदक विश्लेषण
• भेदभावपूर्ण मॉडल:
  • संभार तन्त्र परावर्तन

वर्गीकरण के लिए आवेदन में, एक अवलोकन x से एक लेबल y (या लेबल पर संभाव्यता वितरण) में जाना चाहता है। संभाव्यता वितरण ("'वितरण-मुक्त वर्गीकारक) का उपयोग किए बिना, कोई भी इसकी सीधे गणना कर सकता है; एक अवलोकन दिए जाने पर एक लेबल की संभावना का अनुमान लगाया जा सकता है, $P(Y|X=x)$ (भेदभावपूर्ण मॉडल), और उस पर आधार वर्गीकरण; या कोई संयुक्त वितरण का अनुमान लगा सकता है $P(X,Y)$ (जेनेरेटिव मॉडल), उस से सशर्त संभाव्यता की गणना करें $P(Y|X=x)$, और उसके बाद उस पर आधार वर्गीकरण। ये तेजी से अप्रत्यक्ष हैं, लेकिन तेजी से संभाव्य हैं, अधिक डोमेन ज्ञान और संभाव्यता सिद्धांत को लागू करने की अनुमति देते हैं। व्यवहार में विशेष समस्या के आधार पर विभिन्न दृष्टिकोणों का उपयोग किया जाता है, और संकर कई दृष्टिकोणों की ताकत को जोड़ सकते हैं।

परिभाषा

एक वैकल्पिक विभाजन इन्हें सममित रूप से परिभाषित करता है:

• एक जनरेटिव मॉडल अवलोकनीय 'एक्स' की सशर्त संभावना का एक मॉडल है, जिसे लक्ष्य 'वाई' दिया गया है, प्रतीकात्मक रूप से, $P(X\mid Y=y)$
• एक भेदभावपूर्ण मॉडल लक्ष्य 'वाई' की सशर्त संभावना का एक मॉडल है, जिसे एक अवलोकन 'एक्स' दिया गया है, प्रतीकात्मक रूप से, $P(Y\mid X=x)$

सटीक परिभाषा के बावजूद, शब्दावली संवैधानिक है क्योंकि एक जनरेटिव मॉडल का उपयोग यादृच्छिक उदाहरण (परिणाम (संभाव्यता)) उत्पन्न करने के लिए किया जा सकता है, या तो एक अवलोकन और लक्ष्य $(x,y)$, या एक प्रेक्षण x का लक्ष्य मान y दिया गया है,जबकि एक विवेकशील मॉडल या भेदभावपूर्ण क्लासिफायरियर (बिना मॉडल के) का उपयोग लक्ष्य चर Y के मान को विभेदित करने के लिए किया जा सकता है, एक अवलोकन x दिया गया है।विक्ट: डिस्क्रिमिनेट (अंतर) और विक्ट: क्लासिफाई के बीच का अंतर सूक्ष्म है, और इन्हें लगातार अलग नहीं किया जाता है। (भेदभाव वर्गीकरण के बराबर होने पर शब्द भेदभावपूर्ण क्लासिफायरियर शब्द बन जाता है।)

जनरेटिव मॉडल शब्द का उपयोग उन मॉडलों का वर्णन करने के लिए भी किया जाता है जो आउटपुट वेरिएबल्स के उदाहरणों को ऐसे तरीके से उत्पन्न करते हैं जिनका इनपुट चर के संभावित नमूनों पर संभाव्यता वितरण से कोई स्पष्ट संबंध नहीं है। जनरेटिव प्रतिकूल नेटवर्क, जनरेटिव मॉडल के इस वर्ग के उदाहरण हैं, और मुख्य रूप से संभावित इनपुट के लिए विशेष आउटपुट की समानता से आंका जाता है। ऐसे मॉडल क्लासिफायर नहीं होते हैं।

मॉडलों के बीच संबंध

वर्गीकरण के लिए आवेदन में, अवलोकन योग्य एक्स अक्सर एक निरंतर चर होता है, लक्ष्य वाई आम तौर पर एक असतत चर होता है जिसमें लेबल का एक परिमित सेट होता है, और सशर्त संभाव्यता $P(Y\mid X)$ एक (गैर-नियतात्मक) लक्ष्य समारोह के रूप में भी व्याख्या की जा सकती है $f\colon X\to Y$, X को इनपुट और Y को आउटपुट के रूप में मानते हुए।

लेबल के एक सीमित सेट को देखते हुए, जनरेटिव मॉडल की दो परिभाषाएँ निकट से संबंधित हैं। सशर्त वितरण का एक मॉडल $P(X\mid Y=y)$ प्रत्येक लेबल के वितरण का एक मॉडल है, और संयुक्त वितरण का मॉडल लेबल मूल्यों के वितरण के मॉडल के बराबर है $P(Y)$, साथ में एक लेबल दिए गए प्रेक्षणों के वितरण के साथ, $P(X\mid Y)$; प्रतीकात्मक रूप से, $P(X,Y)=P(X\mid Y)P(Y).$ इस प्रकार, जबकि संयुक्त संभाव्यता वितरण का एक मॉडल लेबल के वितरण के मॉडल की तुलना में अधिक जानकारीपूर्ण है (लेकिन उनकी सापेक्ष आवृत्तियों के बिना), यह एक अपेक्षाकृत छोटा कदम है, इसलिए ये हमेशा अलग नहीं होते हैं।

संयुक्त वितरण के एक मॉडल को देखते हुए, $P(X,Y)$व्यक्तिगत चर के वितरण की गणना सीमांत वितरण के रूप में की जा सकती है $P(X)=\sum _{y}P(X,Y=y)$ और $P(Y)=\int _{x}P(Y,X=x)$ (X को निरंतर मानते हुए, इसलिए इसे एकीकृत करना, और Y को असतत के रूप में, इसलिए इसके ऊपर योग करना), और या तो सशर्त वितरण की गणना सशर्त संभाव्यता की परिभाषा से की जा सकती है: $P(X\mid Y)=P(X,Y)/P(Y)$ और $P(Y\mid X)=P(X,Y)/P(X)$.

एक सशर्त संभाव्यता के एक मॉडल को देखते हुए, और चर X और Y के लिए अनुमानित संभाव्यता वितरण, निरूपित $P(X)$ और $P(Y)$, बेयस के नियम का उपयोग करके विपरीत सशर्त संभाव्यता का अनुमान लगाया जा सकता है:

$P(X\mid Y)P(Y)=P(Y\mid X)P(X).$

उदाहरण के लिए, के लिए एक जनरेटिव मॉडल दिया $P(X\mid Y)$, कोई अनुमान लगा सकता है:

$P(Y\mid X)=P(X\mid Y)P(Y)/P(X),$

और के लिए एक भेदभावपूर्ण मॉडल दिया $P(Y\mid X)$, कोई अनुमान लगा सकता है:

$P(X\mid Y)=P(Y\mid X)P(X)/P(Y).$

ध्यान दें कि बेयस का नियम (दूसरे के संदर्भ में एक सशर्त संभाव्यता की गणना) और सशर्त संभावना की परिभाषा (संयुक्त वितरण के संदर्भ में सशर्त संभावना की गणना) को अक्सर साथ ही साथ जोड़ा जाता है।

भेदभावपूर्ण वर्गीकरणकर्ताओं के साथ तुलना करें

एक जनरेटिव एल्गोरिथम मॉडल करता है कि सिग्नल को वर्गीकृत करने के लिए डेटा कैसे उत्पन्न किया गया था। यह सवाल पूछता है: मेरी पीढ़ी की धारणाओं के आधार पर, किस श्रेणी में इस संकेत को उत्पन्न करने की सबसे अधिक संभावना है? एक विवेकशील एल्गोरिथ्म इस बात की परवाह नहीं करता है कि डेटा कैसे उत्पन्न हुआ था, यह केवल दिए गए सिग्नल को वर्गीकृत करता है। तो, विवेकशील एल्गोरिदम सीखने की कोशिश करते हैं $p(y|x)$ सीधे डेटा से और फिर डेटा को वर्गीकृत करने का प्रयास करें। दूसरी ओर, जनरेटिव एल्गोरिदम सीखने की कोशिश करते हैं $p(x,y)$ जिसे रूपांतरित किया जा सकता है $p(y|x)$ बाद में डेटा को वर्गीकृत करने के लिए। जनरेटिव एल्गोरिदम के फायदों में से एक यह है कि आप इसका उपयोग कर सकते हैं $p(x,y)$ मौजूदा डेटा के समान नया डेटा उत्पन्न करने के लिए। दूसरी ओर, यह साबित हो गया है कि कुछ भेदभावपूर्ण एल्गोरिदम वर्गीकरण कार्यों में कुछ जनरेटिव एल्गोरिदम की तुलना में बेहतर प्रदर्शन करते हैं। इस तथ्य के बावजूद कि भेदभावपूर्ण मॉडल को देखे गए चर के वितरण को मॉडल करने की आवश्यकता नहीं है, वे आम तौर पर देखे गए और लक्षित चर के बीच जटिल संबंधों को व्यक्त नहीं कर सकते हैं। लेकिन सामान्य तौर पर, वे आवश्यक रूप से वर्गीकरण (मशीन लर्निंग) और प्रतिगमन विश्लेषण कार्यों में जनरेटिव मॉडल से बेहतर प्रदर्शन नहीं करते हैं। दो वर्गों को एक ही प्रक्रिया के पूरक या भिन्न विचारों के रूप में देखा जाता है।

दीप जनरेटिव मॉडल

गहरी शिक्षा के उदय के साथ, विधियों का एक नया परिवार, जिसे गहन जनरेटिव मॉडल (डीजीएम) कहा जाता है, जनरेटिव मॉडल और गहरे तंत्रिका नेटवर्क के संयोजन के माध्यम से बनता है। तंत्रिका नेटवर्क के पैमाने में वृद्धि आम तौर पर प्रशिक्षण डेटा के पैमाने में वृद्धि के साथ होती है, जिनमें से दोनों अच्छे प्रदर्शन के लिए आवश्यक हैं। लोकप्रिय DGM में Autoencoder#Variational Autoencoder (VAE) (VAE), जनरेटिव एडवरसैरियल नेटवर्क (GANs), और ऑटो-रिग्रेसिव मॉडल शामिल हैं। हाल ही में, बहुत बड़े गहरे जनरेटिव मॉडल बनाने का चलन रहा है।उदाहरण के लिए, GPT-3 और इसके पूर्ववर्ती GPT-2, ऑटो-रिग्रेसिव न्यूरल लैंग्वेज मॉडल हैं जिनमें अरबों पैरामीटर होते हैं, BigGAN और वीक्यू-वीएई जिनका उपयोग छवि निर्माण के लिए किया जाता है जिसमें सैकड़ों लाखों पैरामीटर हो सकते हैं, और ज्यूकबॉक्स संगीत ऑडियो के लिए एक बहुत बड़ा जनरेटिव मॉडल है जिसमें अरबों पैरामीटर शामिल हैं।

प्रकार

जनरेटिव मॉडल

जनरेटिव मॉडल के प्रकार हैं:

• गाऊसी मिश्रण मॉडल (और अन्य प्रकार के मिश्रण मॉडल)
• छिपा हुआ मार्कोव मॉडल
• स्टोकेस्टिक संदर्भ-मुक्त व्याकरण | संभाव्य संदर्भ-मुक्त व्याकरण
• बायेसियन नेटवर्क (जैसे Naive Bayes, Autoregressive model)
• औसत एक-निर्भरता आकलनकर्ता
• अव्यक्त डिरिचलेट आवंटन
• बोल्ट्जमैन मशीन (जैसे प्रतिबंधित बोल्ट्जमैन मशीन, गहरा विश्वास नेटवर्क)
• Autoencoder#Variational autoencoder (VAE)
• जनरेटिव प्रतिकूल नेटवर्क
• प्रवाह आधारित जनरेटिव मॉडल
• ऊर्जा आधारित मॉडल
• प्रसार मॉडल

यदि देखा गया डेटा सही मायने में जनरेटिव मॉडल से नमूना लिया गया है, तो जनरेटिव मॉडल के पैरामीटर को अधिकतम संभावना अनुमान में फ़िट करना एक सामान्य तरीका है। हालांकि, चूंकि अधिकांश सांख्यिकीय मॉडल वास्तविक वितरण के लिए केवल अनुमान हैं, यदि मॉडल का अनुप्रयोग दूसरों के ज्ञात मूल्यों पर सशर्त चर के सबसेट के बारे में अनुमान लगाना है, तो यह तर्क दिया जा सकता है कि सन्निकटन हल करने के लिए आवश्यक से अधिक अनुमान लगाता है। हाथ में समस्या। ऐसे मामलों में, विवेकपूर्ण मॉडल (नीचे देखें) का उपयोग करके सशर्त घनत्व कार्यों को सीधे मॉडल करना अधिक सटीक हो सकता है, हालांकि एप्लिकेशन-विशिष्ट विवरण अंततः निर्धारित करेंगे कि किसी विशेष मामले में कौन सा दृष्टिकोण सबसे उपयुक्त है।

भेदभावपूर्ण मॉडल

• k-निकटतम पड़ोसी एल्गोरिथम
• संभार तन्त्र परावर्तन
• समर्थन वेक्टर मशीन
• निर्णय ट्री लर्निंग
• यादृच्छिक वन
• अधिकतम-एन्ट्रॉपी मार्कोव मॉडल
• सशर्त यादृच्छिक क्षेत्र

उदाहरण

सरल उदाहरण

मान लीजिए इनपुट डेटा है $x\in \{1,2\}$, के लिए लेबल का सेट $x$ है $y\in \{0,1\}$, और निम्नलिखित 4 डेटा बिंदु हैं: $(x,y)=\{(1,0),(1,1),(2,0),(2,0)\}$ उपरोक्त डेटा के लिए, संयुक्त संभाव्यता वितरण का अनुमान लगाना $p(x,y)$ अनुभवजन्य माप से निम्नलिखित होगा:

	$y=0$	$y=1$
$x=1$	$1/4$	$1/4$
$x=2$	$2/4$	$0$

जबकि $p(y|x)$ निम्नलिखित होगा:

	$y=0$	$y=1$
$x=1$	$1/2$	$1/2$
$x=2$	$1$	$0$

पाठ पीढ़ी

Shannon (1948) एक उदाहरण देता है जिसमें अंग्रेजी शब्द जोड़े की आवृत्तियों की एक तालिका का उपयोग प्रतिनिधित्व के साथ शुरू होने वाले वाक्य को उत्पन्न करने के लिए किया जाता है और तेजी से एक अच्छा है; जो कि उचित अंग्रेजी नहीं है, लेकिन जो तालिका को शब्द जोड़े से शब्द त्रिक आदि में स्थानांतरित करने के रूप में तेजी से इसका अनुमान लगाएगा।

यह भी देखें

• भेदभावपूर्ण मॉडल
• ग्राफिकल मॉडल

बाहरी संबंध

• Shannon, C. E. (1948). "A Mathematical Theory of Communication" (PDF). Bell System Technical Journal. 27 (July, October): 379–423, 623–656. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429.
• Mitchell, Tom M. (2015). "3. Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression" (PDF). Machine Learning.
• Ng, Andrew Y.; Jordan, Michael I. (2002). "On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes" (PDF). Advances in Neural Information Processing Systems.
• Jebara, Tony (2004). Machine Learning: Discriminative and Generative. The Springer International Series in Engineering and Computer Science. Kluwer Academic (Springer). ISBN 978-1-4020-7647-3.
• Jebara, Tony (2002). Discriminative, generative, and imitative learning (PhD). Massachusetts Institute of Technology. hdl:1721.1/8323., (mirror, mirror), published as book (above)
• Code accompanying the book (Tomczak, Jakub (2022). Deep Generative Modeling. Cham: Springer. p. 197. doi:10.1007/978-3-030-93158-2. ISBN 978-3-030-93157-5. S2CID 246946335.): "Introductory examples". GitHub. Retrieved October 21, 2022.