जनरेटिव मॉडल

This article is about सांख्यिकीय वर्गीकरण के संदर्भ में सामान्य मॉडल. For [मार्कोव निर्णय प्रक्रियाओं] के जेनेरिक मॉडल], see मार्कोव निर्णय प्रक्रिया § सिम्युलेटर मॉडल. For कंप्यूटर ग्राफिक्स और जेनरेटिव कंप्यूटर प्रोग्रामिंग में जेनेरिक मॉडलिंग भाषा (जीएमएल), see पीढ़ीदार मॉडलिंग भाषा. For जेनेरिक आर्टिफिशियल इंटेलिजेंस (जेनरेटिव ए.आई.) मॉडल/प्रणाली, see उदार कृत्रिम बुद्धि.

सांख्यिकीय वर्गीकरण में, दो मुख्य दृष्टिकोणों को जनरेटिव दृष्टिकोण और भेदभावपूर्ण दृष्टिकोण कहा जाता है। सांख्यिकीय मॉडल की डिग्री में भिन्न, विभिन्न दृष्टिकोणों द्वारा ये गणना वर्गीकरण नियम शब्दावली असंगत है, लेकिन निम्नलिखित तीन प्रमुख प्रकारों को प्रतिष्ठित किया जा सकता है लेकिन जेबरा (2004) के बाद

1. जनरेटिव मॉडल संयुक्त संभाव्यता वितरण का सांख्यिकीय मॉडल है $P(X,Y)$ दिए गए नमूदार चर X और लक्ष्य चर Y पर;
2. विवेकशील मॉडल सशर्त संभाव्यता का मॉडल है $P(Y\mid X=x)$ लक्ष्य Y का, अवलोकन x दिया गया; और
3. संभाव्यता मॉडल का उपयोग किए बिना गणना किए गए वर्गीकृत को भी भेदभावपूर्ण के रूप में शिथिल रूप से संदर्भित किया जाता है।

इन अंतिम दो वर्गों के बीच भेद निरंतर नहीं किया जाता है; जेबरा (2004) इन तीन वर्गों को जनरेटिव लर्निंग, कंडीशनल लर्निंग और भेदभावपूर्ण लर्निंग के रूप में संदर्भित करता है, लेकिन एनजी & जॉर्डन (2002) केवल दो वर्गों को अलग करता है, उन्हें जनरेटिव वर्गीकरणकर्ता (संयुक्त वितरण) और भेदभावपूर्ण वर्गीकरणकर्ता (सशर्त वितरण या कोई वितरण नहीं) कहते हैं, बाद के दो वर्गों के बीच अंतर नहीं करते। समान रूप से, जनरेटिव मॉडल पर आधारित वर्गीकरणकर्ता जनरेटिव वर्गीकरणकर्ता है, जबकि भेदभावपूर्ण मॉडल पर आधारित वर्गीकरणकर्ता भेदभावपूर्ण वर्गीकरणकर्ता है, चूँकि यह शब्द रैखिक वर्गीकारक को भी संदर्भित करता है जो मॉडल पर आधारित नहीं हैं।

प्रत्येक के मानक उदाहरण, जो सभी रेखीय वर्गीकारक हैं, हैं:

• जनरेटिव वर्गीकरणकर्ता:
  • भोले बेयस वर्गीकारक और
  • रैखिक विभेदक विश्लेषण
• भेदभावपूर्ण मॉडल:
  • संभार तन्त्र परावर्तन

वर्गीकरण के लिए आवेदन में, अवलोकन x से लेबल y (या लेबल पर संभाव्यता वितरण) में जाना चाहता है। संभाव्यता वितरण ("'वितरण-मुक्त वर्गीकारक) का उपयोग किए बिना, कोई भी इसकी सीधे गणना कर सकता है; अवलोकन दिए जाने पर लेबल की संभावना का अनुमान लगाया जा सकता है, $P(Y|X=x)$ (भेदभावपूर्ण मॉडल), और उस पर आधार वर्गीकरण; या कोई संयुक्त वितरण का अनुमान लगा सकता है $P(X,Y)$ (जेनेरेटिव मॉडल), उस से सशर्त संभाव्यता की गणना करें $P(Y|X=x)$, और उसके बाद उस पर आधार वर्गीकरण। ये तेजी से अप्रत्यक्ष हैं, लेकिन तेजी से संभाव्य हैं, अधिक डोमेन ज्ञान और संभाव्यता सिद्धांत को प्रयुक्त करने की अनुमति देते हैं। व्यवहार में विशेष समस्या के आधार पर विभिन्न दृष्टिकोणों का उपयोग किया जाता है, और संकर कई दृष्टिकोणों की ताकत को जोड़ सकते हैं।

परिभाषा

वैकल्पिक विभाजन इन्हें सममित रूप से परिभाषित करता है:

• जनरेटिव मॉडल अवलोकनीय 'X' की सशर्त संभावना का मॉडल है, जिसे लक्ष्य 'Y' दिया गया है, प्रतीकात्मक रूप से, $P(X\mid Y=y)$
• भेदभावपूर्ण मॉडल लक्ष्य 'Y' की सशर्त संभावना का मॉडल है, जिसे अवलोकन 'X' दिया गया है, प्रतीकात्मक रूप से, $P(Y\mid X=x)$

सही परिभाषा के अतिरिक्त, शब्दावली संवैधानिक है क्योंकि जनरेटिव मॉडल का उपयोग यादृच्छिक उदाहरण (परिणाम (संभाव्यता)) उत्पन्न करने के लिए किया जा सकता है, या तो अवलोकन और लक्ष्य $(x,y)$, या प्रेक्षण x का लक्ष्य मान y दिया गया है, जबकि विवेकशील मॉडल या भेदभावपूर्ण वर्गीकरणकर्ता (बिना मॉडल के) का उपयोग लक्ष्य चर Y के मान को विभेदित करने के लिए किया जा सकता है, अवलोकन x दिया गया है। विक्ट: डिस्क्रिमिनेट (अंतर) और विक्ट: क्लासिफाई के बीच का अंतर सूक्ष्म है, और इन्हें निरंतर अलग नहीं किया जाता है। (भेदभाव वर्गीकरण के बराबर होने पर शब्द भेदभावपूर्ण वर्गीकरणकर्ता शब्द बन जाता है।)

जनरेटिव मॉडल शब्द का उपयोग उन मॉडलों का वर्णन करने के लिए भी किया जाता है जो आउटपुट वेरिएबल्स के उदाहरणों को ऐसे विधि से उत्पन्न करते हैं जिनका इनपुट चर के संभावित नमूनों पर संभाव्यता वितरण से कोई स्पष्ट संबंध नहीं है। जनरेटिव प्रतिकूल नेटवर्क, जनरेटिव मॉडल के इस वर्ग के उदाहरण हैं, और मुख्य रूप से संभावित इनपुट के लिए विशेष आउटपुट की समानता से आंका जाता है। ऐसे मॉडल वर्गीकरणकर्ता नहीं होते हैं।

मॉडलों के बीच संबंध

वर्गीकरण के लिए आवेदन में, अवलोकन योग्य X अधिकांशतः निरंतर चर होता है, लक्ष्य Y सामान्यतः असतत चर होता है जिसमें लेबल का परिमित समुच्चय होता है, और सशर्त संभाव्यता $P(Y\mid X)$ (गैर-नियतात्मक) लक्ष्य फलन के रूप में भी व्याख्या की जा सकती है $f\colon X\to Y$, X को इनपुट और Y को आउटपुट के रूप में मानते हुए।

लेबल के सीमित समुच्चय को देखते हुए, जनरेटिव मॉडल की दो परिभाषाएँ निकट से संबंधित हैं। सशर्त वितरण का मॉडल $P(X\mid Y=y)$ प्रत्येक लेबल के वितरण का मॉडल है, और संयुक्त वितरण का मॉडल लेबल मूल्यों के वितरण के मॉडल के बराबर है $P(Y)$, साथ में लेबल दिए गए प्रेक्षणों के वितरण के साथ, $P(X\mid Y)$; प्रतीकात्मक रूप से, $P(X,Y)=P(X\mid Y)P(Y).$ इस प्रकार, जबकि संयुक्त संभाव्यता वितरण का मॉडल लेबल के वितरण के मॉडल की तुलना में अधिक जानकारीपूर्ण है (लेकिन उनकी सापेक्ष आवृत्तियों के बिना), यह अपेक्षाकृत छोटा कदम है, इसलिए ये हमेशा अलग नहीं होते हैं।

संयुक्त वितरण के मॉडल को देखते हुए, $P(X,Y)$व्यक्तिगत चर के वितरण की गणना सीमांत वितरण के रूप में की जा सकती है। $P(X)=\sum _{y}P(X,Y=y)$ और $P(Y)=\int _{x}P(Y,X=x)$ (X को निरंतर मानते हुए, इसलिए इसे एकीकृत करना, और Y को असतत के रूप में, इसलिए इसके ऊपर योग करना), और या तो सशर्त वितरण की गणना सशर्त संभाव्यता की परिभाषा से की जा सकती है: $P(X\mid Y)=P(X,Y)/P(Y)$ और $P(Y\mid X)=P(X,Y)/P(X)$.

सशर्त संभाव्यता के मॉडल को देखते हुए, और चर X और Y के लिए अनुमानित संभाव्यता वितरण, निरूपित $P(X)$ और $P(Y)$, बेयस के नियम का उपयोग करके विपरीत सशर्त संभाव्यता का अनुमान लगाया जा सकता है:

$P(X\mid Y)P(Y)=P(Y\mid X)P(X).$

उदाहरण के लिए, के लिए जनरेटिव मॉडल दिया $P(X\mid Y)$, कोई अनुमान लगा सकता है:

$P(Y\mid X)=P(X\mid Y)P(Y)/P(X),$

और के लिए भेदभावपूर्ण मॉडल दिया $P(Y\mid X)$, कोई अनुमान लगा सकता है:

$P(X\mid Y)=P(Y\mid X)P(X)/P(Y).$

ध्यान दें कि बेयस का नियम (दूसरे के संदर्भ में सशर्त संभाव्यता की गणना) और सशर्त संभावना की परिभाषा (संयुक्त वितरण के संदर्भ में सशर्त संभावना की गणना) को अधिकांशतः साथ ही साथ जोड़ा जाता है।

भेदभावपूर्ण वर्गीकरणकर्ताओं के साथ तुलना करें

जनरेटिव एल्गोरिथम मॉडल करता है कि सिग्नल को वर्गीकृत करने के लिए डेटा कैसे उत्पन्न किया गया था। यह सवाल पूछता है: मेरी पीढ़ी की धारणाओं के आधार पर, किस श्रेणी में इस संकेत को उत्पन्न करने की सबसे अधिक संभावना है? विवेकशील कलन विधि इस बात की परवाह नहीं करता है कि डेटा कैसे उत्पन्न हुआ था, यह केवल दिए गए सिग्नल को वर्गीकृत करता है। तो, विवेकशील कलन विधि सीखने की कोशिश करते हैं $p(y|x)$ सीधे डेटा से और फिर डेटा को वर्गीकृत करने का प्रयास करें। दूसरी ओर, जनरेटिव कलन विधि सीखने की कोशिश करते हैं $p(x,y)$ जिसे रूपांतरित किया जा सकता है $p(y|x)$ बाद में डेटा को वर्गीकृत करने के लिए। जनरेटिव कलन विधि के लाभों में से एक यह है कि आप इसका उपयोग कर सकते हैं $p(x,y)$ उपस्थित डेटा के समान नया डेटा उत्पन्न करने के लिए। दूसरी ओर, यह सिद्ध हो गया है कि कुछ भेदभावपूर्ण कलन विधि वर्गीकरण कार्यों में कुछ जनरेटिव कलन विधि की तुलना में अच्छा प्रदर्शन करते हैं।

इस तथ्य के अतिरिक्त कि भेदभावपूर्ण मॉडल को देखे गए चर के वितरण को मॉडल करने की आवश्यकता नहीं है, वे सामान्यतः देखे गए और लक्षित चर के बीच जटिल संबंधों को व्यक्त नहीं कर सकते हैं। लेकिन सामान्यतः, वे आवश्यक रूप से वर्गीकरण (मशीन लर्निंग) और प्रतिगमन विश्लेषण कार्यों में जनरेटिव मॉडल से अच्छा प्रदर्शन नहीं करते हैं। दो वर्गों को एक ही प्रक्रिया के पूरक या भिन्न विचारों के रूप में देखा जाता है।

दीप जनरेटिव मॉडल

गहरी शिक्षा के उदय के साथ, विधियों का नया परिवार, जिसे गहन जनरेटिव मॉडल (डीजीएम) कहा जाता है, जनरेटिव मॉडल और गहरे तंत्रिका नेटवर्क के संयोजन के माध्यम से बनता है। तंत्रिका नेटवर्क के पैमाने में वृद्धि सामान्यतः प्रशिक्षण डेटा के पैमाने में वृद्धि के साथ होती है, जिनमें से दोनों अच्छे प्रदर्शन के लिए आवश्यक हैं।

लोकप्रिय डीजीएम में ऑटोएन्कोडर वेरिएशनल ऑटोएन्कोडर (वीएई) (वीएई), जनरेटिव एडवरसैरियल नेटवर्क (GANs), और ऑटो-रिग्रेसिव मॉडल सम्मिलित हैं। हाल ही में, बहुत बड़े गहरे जनरेटिव मॉडल बनाने का चलन रहा है। उदाहरण के लिए, GPT-3 और इसके पूर्ववर्ती GPT-2, ऑटो-रिग्रेसिव न्यूरल भाषा मॉडल हैं जिनमें अरबों पैरामीटर होते हैं, BigGAN और VQ-VAE जिनका उपयोग छवि निर्माण के लिए किया जाता है जिसमें सैकड़ों लाखों पैरामीटर हो सकते हैं, और ज्यूकबॉक्स संगीत ऑडियो के लिए बहुत बड़ा जनरेटिव मॉडल है जिसमें अरबों पैरामीटर सम्मिलित हैं।

प्रकार

जनरेटिव मॉडल

जनरेटिव मॉडल के प्रकार हैं:

• गाऊसी मिश्रण मॉडल (और अन्य प्रकार के मिश्रण मॉडल)
• छिपा हुआ मार्कोव मॉडल
• स्टोकेस्टिक संदर्भ-मुक्त व्याकरण संभाव्य संदर्भ-मुक्त व्याकरण
• बायेसियन नेटवर्क (जैसे नैवी बेयस, ऑटोरेग्रेसिव मॉडल)
• औसत एक-निर्भरता आकलनकर्ता
• अव्यक्त डिरिचलेट आवंटन
• बोल्ट्जमैन मशीन (जैसे प्रतिबंधित बोल्ट्जमैन मशीन, गहरा विश्वास नेटवर्क)
• ऑटोएन्कोडर वेरिएशनल ऑटोएन्कोडर (वीएई)
• जनरेटिव प्रतिकूल नेटवर्क
• प्रवाह आधारित जनरेटिव मॉडल
• ऊर्जा आधारित मॉडल
• प्रसार मॉडल

यदि देखा गया डेटा सही मायने में जनरेटिव मॉडल से नमूना लिया गया है, तो जनरेटिव मॉडल के पैरामीटर को अधिकतम संभावना अनुमान में फ़िट करना सामान्य विधि है।, चूंकि अधिकांश सांख्यिकीय मॉडल वास्तविक वितरण के लिए केवल अनुमान हैं, यदि मॉडल का अनुप्रयोग दूसरों के ज्ञात मूल्यों पर सशर्त चर के सबसमुच्चय के बारे में अनुमान लगाना है, तो यह तर्क दिया जा सकता है कि सन्निकटन हल करने के लिए आवश्यक से अधिक अनुमान लगाता है। हाथ में समस्या। ऐसे स्थितियों में, विवेकपूर्ण मॉडल (नीचे देखें) का उपयोग करके सशर्त घनत्व कार्यों को सीधे मॉडल करना अधिक सही हो सकता है, चूँकि एप्लिकेशन-विशिष्ट विवरण अंततः निर्धारित करेंगे कि किसी विशेष स्थितियों में कौन सा दृष्टिकोण सबसे उपयुक्त है।

भेदभावपूर्ण मॉडल

• k-निकटतम पड़ोसी एल्गोरिथम
• संभार तन्त्र परावर्तन
• समर्थन वेक्टर मशीन
• निर्णय ट्री लर्निंग
• यादृच्छिक वन
• अधिकतम-एन्ट्रॉपी मार्कोव मॉडल
• सशर्त यादृच्छिक क्षेत्र

उदाहरण

सरल उदाहरण

मान लीजिए इनपुट डेटा है $x\in \{1,2\}$, के लिए लेबल का समुच्चय $x$ है $y\in \{0,1\}$, और निम्नलिखित 4 डेटा बिंदु हैं:

$(x,y)=\{(1,0),(1,1),(2,0),(2,0)\}$

उपरोक्त डेटा के लिए, संयुक्त संभाव्यता वितरण का अनुमान लगाना $p(x,y)$ अनुभवजन्य माप से निम्नलिखित होगा:

	$y=0$	$y=1$
$x=1$	$1/4$	$1/4$
$x=2$	$2/4$	$0$

जबकि $p(y|x)$ निम्नलिखित होगा:

	$y=0$	$y=1$
$x=1$	$1/2$	$1/2$
$x=2$	$1$	$0$

पाठ पीढ़ी

शैनन (1948) उदाहरण देता है जिसमें अंग्रेजी शब्द जोड़े की आवृत्तियों की तालिका का उपयोग प्रतिनिधित्व के साथ प्रारंभ होने वाले वाक्य को उत्पन्न करने के लिए किया जाता है और तेजी से अच्छा है; जो कि उचित अंग्रेजी नहीं है, लेकिन जो तालिका को शब्द जोड़े से शब्द त्रिक आदि में स्थानांतरित करने के रूप में तेजी से इसका अनुमान लगाएगा।

यह भी देखें

• भेदभावपूर्ण मॉडल
• ग्राफिकल मॉडल

बाहरी संबंध

• Shannon, C. E. (1948). "A Mathematical Theory of Communication" (PDF). Bell System Technical Journal. 27 (July, October): 379–423, 623–656. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429.
• Mitchell, Tom M. (2015). "3. Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression" (PDF). Machine Learning.
• Ng, Andrew Y.; Jordan, Michael I. (2002). "On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes" (PDF). Advances in Neural Information Processing Systems.
• Jebara, Tony (2004). Machine Learning: Discriminative and Generative. The Springer International Series in Engineering and Computer Science. Kluwer Academic (Springer). ISBN 978-1-4020-7647-3.
• Jebara, Tony (2002). Discriminative, generative, and imitative learning (PhD). Massachusetts Institute of Technology. hdl:1721.1/8323., (mirror, mirror), published as book (above)
• Code accompanying the book (Tomczak, Jakub (2022). Deep Generative Modeling. Cham: Springer. p. 197. doi:10.1007/978-3-030-93158-2. ISBN 978-3-030-93157-5. S2CID 246946335.): "Introductory examples". GitHub. Retrieved October 21, 2022.