सामान्यीकृत रैखिक मॉडल

सांख्यिकी में, एक सामान्यीकृत रेखीय मॉडल (जीएलएम) साधारण रेखीय प्रतिगमन का एक नमन्शील व्यापकीकरण है। जीएलएम रैखिक प्रतिगमन को 'लिंक फ़ंक्शन' के माध्यम से प्रतिक्रिया चर से संबंधित होने की अनुमति देकर और प्रत्येक माप के विचरण के परिमाण को उसके अनुमानित मूल्य का एक कार्य होने की अनुमति देकर सामान्यीकृत करता है।

जॉन नेल्डर और रॉबर्ट वेडरबर्न द्वारा रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन और पॉइसन प्रतिगमन सहित कई अन्य सांख्यिकीय मॉडल को एकीकृत करने के तरीके के रूप में सामान्यीकृत रैखिक मॉडल सूत्रित किए गए थे।^[1] उन्होंने मॉडल मापदंडों के अधिकतम संभाविता आकलन (एमएलई) के लिए पुनरावृत्त रूप से न्यूनतम वर्ग विधि का प्रस्ताव दिया। अनेक सांख्यिकीय अभिकलन संकुल (कंप्यूटिंग पैकेज) पर डिफ़ॉल्ट विधि है इसलिए अधिकतम संभाविता आकलन लोकप्रिय बना हुआ है। बायेसियन प्रतिगमन और विचरण-स्थिरीकरण परिवर्तन प्रतिक्रियाओं के लिए न्यूनतम वर्ग अन्वायोजन सहित अन्य दृष्टिकोण विकसित किए गए हैं।

अन्तर्ज्ञान

साधारण रेखीय प्रतिगमन प्रेक्षित मानों (भविष्यवक्ताओं) के एक सेट के रैखिक संयोजन के रूप में दी गई अज्ञात मात्रा (प्रतिक्रिया चर, एक यादृच्छिक चर) के अपेक्षित मूल्य की भविष्यवाणी करता है। इसका तात्पर्य है कि भविष्यवक्ता में निरंतर परिवर्तन से प्रतिक्रिया चर (यानी एक रैखिक-प्रतिक्रिया मॉडल) में निरंतर परिवर्तन होता है। यह उचित है जब प्रतिक्रिया चर भिन्न हो सकता है, एक अच्छे सन्निकटन के लिए, अनिश्चित रूप से किसी भी दिशा में, या अधिक आम तौर पर किसी भी मात्रा के लिए जो केवल भविष्य कहनेवाला चर में भिन्नता की तुलना में अपेक्षाकृत कम राशि से भिन्न होता है, उदा। मानव ऊंचाई।

हालाँकि, ये धारणाएँ कुछ प्रकार के प्रतिक्रिया चर के लिए अनुपयुक्त हैं। उदाहरण के लिए, ऐसे मामलों में जहां प्रतिक्रिया चर हमेशा सकारात्मक होने की उम्मीद की जाती है और एक विस्तृत श्रृंखला में बदलती रहती है, निरंतर इनपुट परिवर्तनों से ज्यामितीय रूप से (अर्थात घातीय रूप से) भिन्नता होती है, बजाय निरंतर भिन्न होने के, आउटपुट में परिवर्तन होता है। एक उदाहरण के रूप में, मान लीजिए कि एक रेखीय भविष्यवाणी मॉडल कुछ डेटा (शायद मुख्य रूप से बड़े समुद्र तटों से खींचा गया) से सीखता है कि 10 डिग्री तापमान में कमी से समुद्र तट पर 1,000 कम logit आएंगे। यह मॉडल विभिन्न आकार के समुद्र तटों पर अच्छी तरह से सामान्यीकृत होने की संभावना नहीं है। अधिक विशेष रूप से, समस्या यह है कि यदि आप समुद्र तट के लिए 10 की तापमान गिरावट के साथ नई उपस्थिति की भविष्यवाणी करने के लिए मॉडल का उपयोग करते हैं जो नियमित रूप से 50 समुद्र तट प्राप्त करता है, तो आप -950 के एक असंभव उपस्थिति मूल्य की भविष्यवाणी करेंगे। तार्किक रूप से, एक अधिक यथार्थवादी मॉडल इसके बजाय बढ़ी हुई समुद्र तट की उपस्थिति की निरंतर दर की भविष्यवाणी करेगा (उदाहरण के लिए 10 डिग्री की वृद्धि से समुद्र तट की उपस्थिति दोगुनी हो जाती है, और 10 डिग्री की गिरावट उपस्थिति में कमी की ओर ले जाती है)। इस तरह के एक मॉडल को एक घातीय-प्रतिक्रिया मॉडल (या लॉग-लीनियर मॉडल कहा जाता है, क्योंकि प्रतिक्रिया के लघुगणक को रैखिक रूप से भिन्न होने की भविष्यवाणी की जाती है)।

इसी तरह, एक मॉडल जो हां/नहीं विकल्प (एक बर्नौली वितरण) बनाने की संभावना की भविष्यवाणी करता है, रैखिक-प्रतिक्रिया मॉडल के रूप में भी कम उपयुक्त है, क्योंकि संभावनाएं दोनों सिरों पर बंधी हैं (वे 0 और 1 के बीच होनी चाहिए)। उदाहरण के लिए, एक मॉडल की कल्पना करें जो किसी दिए गए व्यक्ति के समुद्र तट पर तापमान के कार्य के रूप में जाने की संभावना की भविष्यवाणी करता है। उदाहरण के लिए, एक उचित मॉडल भविष्यवाणी कर सकता है कि 10 डिग्री में बदलाव से किसी व्यक्ति के समुद्र तट पर जाने की संभावना दो गुना अधिक या कम हो जाती है। लेकिन संभाव्यता के मामले में दुगनी संभावना का क्या मतलब है? इसका शाब्दिक अर्थ संभाव्यता मान को दोगुना करना नहीं हो सकता (उदाहरण के लिए 50% 100% हो जाता है, 75% 150% हो जाता है, आदि)। बल्कि, यह ऑड्स अनुपात है जो दोगुना हो रहा है: 2:1 ऑड्स से, 4:1 ऑड्स से, 8:1 ऑड्स, आदि। ऐसा मॉडल लॉग-ऑड्स या लॉजिस्टिक रिग्रेशन मॉडल है।

सामान्यीकृत रेखीय मॉडल इन सभी स्थितियों को प्रतिक्रिया चर के लिए अनुमति देकर कवर करते हैं, जिसमें मनमाना वितरण होता है (सामान्य वितरण के बजाय), और प्रतिक्रिया चर के एक मनमाना कार्य के लिए (लिंक फ़ंक्शन) भविष्यवाणियों के साथ रैखिक रूप से भिन्न होता है (यह मानने के बजाय कि प्रतिक्रिया स्वयं रैखिक रूप से भिन्न होनी चाहिए)। उदाहरण के लिए, समुद्र तट पर उपस्थित लोगों की अनुमानित संख्या के ऊपर के मामले को आमतौर पर पॉइसन वितरण और एक लॉग लिंक के साथ तैयार किया जाएगा, जबकि समुद्र तट उपस्थिति की अनुमानित संभावना के मामले को आमतौर पर बर्नौली वितरण (या द्विपद वितरण, बिल्कुल के आधार पर) के साथ तैयार किया जाएगा। समस्या को कैसे व्यक्त किया जाता है) और एक लॉग-ऑड्स (या लॉगिट) लिंक फ़ंक्शन।

सिंहावलोकन

एक सामान्यीकृत रैखिक मॉडल (जीएलएम) में निर्भर चर के प्रत्येक परिणाम Y को एक घातीय परिवार में एक विशेष वितरण से उत्पन्न माना जाता है, प्रायिकता वितरण का एक बड़ा वर्ग जिसमें सामान्य वितरण, द्विपद वितरण, पॉइसन वितरण और गामा सम्मिलित होते हैं। वितरण का माध्य μ, स्वतंत्र चर X पर निर्भर करता है, इसके माध्यम से:

\operatorname {E} (\mathbf {Y} |\mathbf {X} )={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})

जहां E(Y|X) X पर सशर्त Y का अपेक्षित मान है; Xβ रैखिक प्राग्सूचक है, अज्ञात पैरामीटर्स का एक रैखिक संयोजन β; g लिंक फ़ंक्शन है।

इस ढांचे में, विचरण आमतौर पर माध्य का एक कार्य, V है:

\operatorname {Var} (\mathbf {Y} |\mathbf {X} )=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).

यह सुविधाजनक है अगर वी वितरण के एक घातीय परिवार से आता है, लेकिन यह हो सकता है कि भिन्नता अनुमानित मूल्य का एक कार्य है।

अज्ञात पैरामीटर, β, आमतौर पर अधिकतम संभावना, अधिकतम अर्ध-संभावना, या बायेसियन प्रायिकता तकनीकों के साथ अनुमान लगाया जाता है।

मॉडल घटक

जीएलएम में तीन तत्व होते हैं:

1. मॉडलिंग

Y

के लिए उनमें से एक विशेष वितरण जिन्हें संभाव्यता वितरण के घातीय परिवार माना जाता है,

2. एक रैखिक प्राग्सूचक

\eta =X\beta

, और

3. एक शृंखला बंध फलन

g

ऐसा है कि

\operatorname {E} (Y\mid X)=\mu =g^{-1}(\eta )

.

संभाव्यता वितरण

वितरणों का एक अतिफैला हुआ घातीय परिवार एक घातीय परिवार और वितरण के घातीय फैलाव मॉडल का एक सामान्यीकरण है और इसमें संभाव्यता वितरण के उन परिवारों को शामिल किया गया है, जिनके द्वारा परिचालित किया गया है ${\boldsymbol {\theta }}$ और $\tau$ , जिसका घनत्व फलन f (या प्रायिकता द्रव्यमान फलन, असतत वितरण के मामले में) के रूप में व्यक्त किया जा सकता है

f_{Y}(\mathbf {y} \mid {\boldsymbol {\theta }},\tau )=h(\mathbf {y} ,\tau )\exp \left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (\mathbf {y} )-A({\boldsymbol {\theta }})}{d(\tau )}}\right).\,\!

फैलाव पैरामीटर, $\tau$ , आमतौर पर जाना जाता है और आमतौर पर वितरण के विचरण से संबंधित होता है। कार्य $h(\mathbf {y} ,\tau )$ , $\mathbf {b} ({\boldsymbol {\theta }})$ , $\mathbf {T} (\mathbf {y} )$ , $A({\boldsymbol {\theta }})$ , और $d(\tau )$ ज्ञात हैं। इस परिवार में कई सामान्य वितरण हैं, जिनमें सामान्य, घातीय, गामा, पोइसन, बर्नौली और (परीक्षणों की निश्चित संख्या के लिए) द्विपद, बहुपद और ऋणात्मक द्विपद शामिल हैं।

अदिश के लिए $\mathbf {y}$ और ${\boldsymbol {\theta }}$ (निरूपित $y$ और $\theta$ इस मामले में), यह कम हो जाता है

f_{Y}(y\mid \theta ,\tau )=h(y,\tau )\exp \left({\frac {b(\theta )T(y)-A(\theta )}{d(\tau )}}\right).\,\!

${\boldsymbol {\theta }}$ वितरण के माध्य से संबंधित है। अगर $\mathbf {b} ({\boldsymbol {\theta }})$ पहचान कार्य है, तो वितरण को विहित रूप (या प्राकृतिक रूप) में कहा जाता है। ध्यान दें कि किसी भी वितरण को पुनर्लेखन द्वारा विहित रूप में परिवर्तित किया जा सकता है ${\boldsymbol {\theta }}$ जैसा ${\boldsymbol {\theta }}'$ और फिर परिवर्तन लागू करना ${\boldsymbol {\theta }}=\mathbf {b} ({\boldsymbol {\theta }}')$ . कनवर्ट करना हमेशा संभव होता है $A({\boldsymbol {\theta }})$ नए parametrization के संदर्भ में, भले ही $\mathbf {b} ({\boldsymbol {\theta }}')$ एक-से-एक कार्य नहीं है; घातीय परिवारों पर पृष्ठ में टिप्पणियाँ देखें। अगर, इसके अलावा, $\mathbf {T} (\mathbf {y} )$ पहचान है और $\tau$ जाना जाता है, तो ${\boldsymbol {\theta }}$ कैनोनिकल पैरामीटर (या प्राकृतिक पैरामीटर) कहा जाता है और यह माध्य से संबंधित है

{\boldsymbol {\mu }}=\operatorname {E} (\mathbf {y} )=\nabla A({\boldsymbol {\theta }}).\,\!

अदिश के लिए $\mathbf {y}$ और ${\boldsymbol {\theta }}$ , यह कम हो जाता है

\mu =\operatorname {E} (y)=A'(\theta ).

इस परिदृश्य के तहत, वितरण के विचरण को दिखाया जा सकता है^[2]

\operatorname {Var} (\mathbf {y} )=\nabla ^{2}A({\boldsymbol {\theta }})d(\tau ).\,\!

अदिश के लिए $\mathbf {y}$ और ${\boldsymbol {\theta }}$ , यह कम हो जाता है

\operatorname {Var} (y)=A''(\theta )d(\tau ).\,\!

रैखिक भविष्यवक्ता

रैखिक भविष्यवक्ता वह मात्रा है जो मॉडल में स्वतंत्र चर के बारे में जानकारी शामिल करती है। प्रतीक η (ग्रीक वर्णमाला Eta (अक्षर) ) एक रेखीय भविष्यवक्ता को दर्शाता है। यह लिंक फ़ंक्शन के माध्यम से डेटा के अपेक्षित मान से संबंधित है।

η को अज्ञात पैरामीटर 'β' के रैखिक संयोजनों (इस प्रकार, रैखिक ) के रूप में व्यक्त किया जाता है। रैखिक संयोजन के गुणांकों को स्वतंत्र चर 'X' के मैट्रिक्स के रूप में दर्शाया जाता है। η इस प्रकार व्यक्त किया जा सकता है

\eta =\mathbf {X} {\boldsymbol {\beta }}.\,

लिंक समारोह

लिंक फ़ंक्शन रैखिक भविष्यवक्ता और वितरण फ़ंक्शन के अपेक्षित मान के बीच संबंध प्रदान करता है। कई सामान्य रूप से उपयोग किए जाने वाले लिंक फ़ंक्शन हैं, और उनकी पसंद को कई विचारों से सूचित किया जाता है। हमेशा एक अच्छी तरह से परिभाषित कैनोनिकल लिंक फ़ंक्शन होता है जो प्रतिक्रिया के घनत्व फ़ंक्शन के घातांक से प्राप्त होता है। हालाँकि, कुछ मामलों में यह समझ में आता है कि लिंक फ़ंक्शन के फ़ंक्शन के डोमेन को वितरण फ़ंक्शन के माध्य के फ़ंक्शन की सीमा से मिलान करने का प्रयास करें, या एल्गोरिथम उद्देश्यों के लिए एक गैर-कैनोनिकल लिंक फ़ंक्शन का उपयोग करें, उदाहरण के लिए प्रोबिट मॉडल # गिब्स नमूनाकरण।

कैननिकल पैरामीटर के साथ वितरण फ़ंक्शन का उपयोग करते समय $\theta$ , कैनोनिकल लिंक फ़ंक्शन वह फ़ंक्शन है जो व्यक्त करता है $\theta$ के अनुसार $\mu$ , अर्थात। $\theta =b(\mu )$ . सबसे आम वितरण के लिए, माध्य $\mu$ वितरण के घनत्व समारोह के मानक रूप में मापदंडों में से एक है, और फिर $b(\mu )$ जैसा कि ऊपर परिभाषित किया गया है, वह फ़ंक्शन है जो घनत्व फ़ंक्शन को उसके विहित रूप में मैप करता है। कैननिकल लिंक फ़ंक्शन का उपयोग करते समय, $b(\mu )=\theta =\mathbf {X} {\boldsymbol {\beta }}$ , अनुमति अनुसार $\mathbf {X} ^{\rm {T}}\mathbf {Y}$ के लिए एक पर्याप्तता (सांख्यिकी) होना ${\boldsymbol {\beta }}$ .

निम्नलिखित आम उपयोग में कई घातीय-पारिवारिक वितरणों की एक तालिका है और वे डेटा जो आमतौर पर उपयोग किए जाते हैं, साथ ही विहित लिंक फ़ंक्शंस और उनके व्युत्क्रम (कभी-कभी माध्य फ़ंक्शन के रूप में संदर्भित होते हैं, जैसा कि यहां किया गया है)।

Common distributions with typical uses and canonical link functions
Distribution	Support of distribution	Typical uses	Link name	Link function, $\mathbf {X} {\boldsymbol {\beta }}=g(\mu )\,\!$	Mean function
Normal	real: $(-\infty ,+\infty )$	Linear-response data	Identity	$\mathbf {X} {\boldsymbol {\beta }}=\mu \,\!$	$\mu =\mathbf {X} {\boldsymbol {\beta }}\,\!$
Exponential	real: $(0,+\infty )$	Exponential-response data, scale parameters	Negative inverse	$\mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-1}\,\!$	$\mu =-(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!$
Gamma	real: $(0,+\infty )$	Exponential-response data, scale parameters	Negative inverse	$\mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-1}\,\!$	$\mu =-(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!$
Inverse Gaussian	real: $(0,+\infty )$		Inverse squared	$\mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!$	$\mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!$
Poisson	integer: $0,1,2,\ldots$	count of occurrences in fixed amount of time/space	Log	$\mathbf {X} {\boldsymbol {\beta }}=\ln(\mu )\,\!$	$\mu =\exp(\mathbf {X} {\boldsymbol {\beta }})\,\!$
Bernoulli	integer: $\{0,1\}$	outcome of single yes/no occurrence	Logit	$\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!$	$\mu ={\frac {\exp(\mathbf {X} {\boldsymbol {\beta }})}{1+\exp(\mathbf {X} {\boldsymbol {\beta }})}}={\frac {1}{1+\exp(-\mathbf {X} {\boldsymbol {\beta }})}}\,\!$
Binomial	integer: $0,1,\ldots ,N$	count of # of "yes" occurrences out of N yes/no occurrences		$\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{n-\mu }}\right)\,\!$
Categorical	integer: $[0,K)$	outcome of single K-way occurrence		$\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!$
Categorical	K-vector of integer: $[0,1]$ , where exactly one element in the vector has the value 1	outcome of single K-way occurrence
Multinomial	K-vector of integer: $[0,N]$	count of occurrences of different types (1 .. K) out of N total K-way occurrences

घातीय और गामा वितरण के मामले में, कैनोनिकल लिंक फ़ंक्शन का डोमेन माध्य की अनुमत सीमा के समान नहीं है। विशेष रूप से, रैखिक भविष्यवक्ता सकारात्मक हो सकता है, जो एक असंभव नकारात्मक माध्य देगा। संभावना को अधिकतम करते समय, इससे बचने के लिए सावधानी बरतनी चाहिए। एक विकल्प एक गैर-प्रामाणिक लिंक फ़ंक्शन का उपयोग करना है।

बर्नौली, द्विपद, श्रेणीबद्ध और बहुपद वितरण के मामले में, वितरण का समर्थन उसी प्रकार का डेटा नहीं है जैसा कि पैरामीटर की भविष्यवाणी की जा रही है। इन सभी मामलों में, अनुमानित पैरामीटर एक या अधिक संभावनाएँ हैं, यानी सीमा में वास्तविक संख्याएँ $[0,1]$ . परिणामी मॉडल को लॉजिस्टिक रिग्रेशन (या बहुराष्ट्रीय रसद प्रतिगमन के रूप में जाना जाता है, जिसमें बाइनरी वैल्यू के बजाय के-वे की भविष्यवाणी की जा रही है)।

Bernoulli और द्विपद वितरण के लिए, पैरामीटर एक एकल संभावना है, जो एक घटना के घटित होने की संभावना को दर्शाता है। बर्नौली अभी भी सामान्यीकृत रैखिक मॉडल की बुनियादी स्थिति को संतुष्ट करता है, भले ही एक परिणाम हमेशा या तो 0 या 1 होगा, फिर भी अपेक्षित मूल्य एक वास्तविक-मूल्यवान प्रायिकता होगी, यानी हां (या) की घटना की संभावना 1) परिणाम। इसी तरह, एक द्विपद वितरण में, अपेक्षित मूल्य एनपी है, यानी हाँ परिणामों का अपेक्षित अनुपात भविष्यवाणी की जाने वाली संभावना होगी।

श्रेणीबद्ध और बहुराष्ट्रीय वितरण के लिए, भविष्यवाणी की जाने वाली पैरामीटर संभावनाओं का एक के-वेक्टर है, आगे प्रतिबंध के साथ कि सभी संभावनाओं को 1 तक जोड़ा जाना चाहिए। प्रत्येक संभावना के संभावित मूल्यों में से एक की घटना की संभावना को इंगित करती है। बहुराष्ट्रीय वितरण के लिए, और श्रेणीबद्ध वितरण के सदिश रूप के लिए, सदिश के तत्वों के अपेक्षित मूल्यों को द्विपद और बर्नौली वितरण के समान अनुमानित संभावनाओं से संबंधित किया जा सकता है।

फिटिंग

अधिकतम संभावना

अधिकतम संभावना का अनुमान पुनरावृत्त रूप से कम से कम वर्ग एल्गोरिदम या अनुकूलन में न्यूटन की विधि का उपयोग करके पाया जा सकता है। फॉर्म के अपडेट के साथ न्यूटन की विधि:

{\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {J}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),

कहाँ ${\mathcal {J}}({\boldsymbol {\beta }}^{(t)})$ देखी गई जानकारी (हेसियन मैट्रिक्स का नकारात्मक) है और $u({\boldsymbol {\beta }}^{(t)})$ स्कोर (सांख्यिकी) है; या एक स्कोरिंग एल्गोरिथम | फिशर की स्कोरिंग विधि:

{\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {I}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),

कहाँ ${\mathcal {I}}({\boldsymbol {\beta }}^{(t)})$ फिशर सूचना मैट्रिक्स है। ध्यान दें कि यदि कैनोनिकल लिंक फ़ंक्शन का उपयोग किया जाता है, तो वे समान होते हैं।^[3]

बायेसियन तरीके

सामान्य तौर पर, पश्च वितरण बंद-रूप अभिव्यक्ति में नहीं पाया जा सकता है और इसलिए इसका अनुमान लगाया जाना चाहिए, आमतौर पर लाप्लास सन्निकटन या कुछ प्रकार की मार्कोव चेन मोंटे कार्लो विधि जैसे गिब्स नमूनाकरण का उपयोग करना।

उदाहरण

सामान्य रैखिक मॉडल

भ्रम का एक संभावित बिंदु सामान्यीकृत रैखिक मॉडल और सामान्य रैखिक मॉडल, दो व्यापक सांख्यिकीय मॉडल के बीच अंतर के साथ करना है। सह-प्रवर्तक जॉन नेल्डर ने इस शब्दावली पर खेद व्यक्त किया है।^[4] सामान्य रेखीय मॉडल को सामान्यीकृत रेखीय मॉडल के एक विशेष मामले के रूप में देखा जा सकता है जिसमें पहचान लिंक और सामान्य रूप से वितरित प्रतिक्रियाएं होती हैं। जैसा कि ब्याज के सबसे सटीक परिणाम केवल सामान्य रेखीय मॉडल के लिए प्राप्त होते हैं, सामान्य रेखीय मॉडल कुछ हद तक ऐतिहासिक विकास से गुजरा है। गैर-पहचान लिंक वाले सामान्यीकृत रैखिक मॉडल के परिणाम स्पर्शोन्मुख हैं (बड़े नमूनों के साथ अच्छी तरह से काम करने की प्रवृत्ति)।

रेखीय प्रतिगमन

सामान्यीकृत रैखिक मॉडल का एक सरल, बहुत महत्वपूर्ण उदाहरण (सामान्य रैखिक मॉडल का एक उदाहरण भी) रैखिक प्रतिगमन है। रेखीय प्रतिगमन में, गॉस-मार्कोव प्रमेय द्वारा न्यूनतम-वर्ग अनुमानक का उपयोग उचित है, जो यह नहीं मानता है कि वितरण सामान्य है।

हालांकि, सामान्यीकृत रैखिक मॉडल के परिप्रेक्ष्य से, यह मान लेना उपयोगी है कि वितरण फ़ंक्शन निरंतर विचरण के साथ सामान्य वितरण है और लिंक फ़ंक्शन पहचान है, जो विचरण ज्ञात होने पर विहित लिंक है। इन मान्यताओं के तहत, न्यूनतम-वर्ग अनुमानक को अधिकतम-संभावना पैरामीटर अनुमान के रूप में प्राप्त किया जाता है।

सामान्य वितरण के लिए, सामान्यीकृत रैखिक मॉडल में अधिकतम-संभावना अनुमानों के लिए एक बंद-रूप अभिव्यक्ति अभिव्यक्ति है, जो सुविधाजनक है। अधिकांश अन्य जीएलएम में क्लोज्ड-फॉर्म एक्सप्रेशन अनुमानों का अभाव है।

बाइनरी डेटा

जब प्रतिक्रिया डेटा, वाई, द्विआधारी होते हैं (केवल मान 0 और 1 लेते हैं), वितरण फ़ंक्शन को आम तौर पर बर्नौली वितरण और μ की व्याख्या के लिए चुना जाता है_i तब Y की प्रायिकता, p, है_i मान एक ले रहा है।

द्विपद कार्यों के लिए कई लोकप्रिय लिंक कार्य हैं।

लॉग इन लिंक फ़ंक्शन

सबसे विशिष्ट लिंक फ़ंक्शन कैनोनिकल लॉगिट लिंक है:

g(p)=\ln \left({p \over 1-p}\right).

इस सेटअप के साथ जीएलएम लॉजिस्टिक रिग्रेशन मॉडल (या लॉगिट मॉडल) हैं।

प्रतिलोम संचयी बंटन फलन के लोकप्रिय विकल्प के रूप में प्रोबिट लिंक फंक्शन

वैकल्पिक रूप से, किसी भी निरंतर संचयी वितरण समारोह (सीडीएफ) के व्युत्क्रम को लिंक के लिए इस्तेमाल किया जा सकता है क्योंकि सीडीएफ की सीमा है $[0,1]$ , द्विपद माध्य की सीमा। सामान्य वितरण#संचयी वितरण फ़ंक्शन $\Phi$ एक लोकप्रिय विकल्प है और प्रोबिट मॉडल देता है। इसकी कड़ी है

g(p)=\Phi ^{-1}(p).\,\!

प्रोबिट मॉडल के उपयोग का कारण यह है कि एक सामान्य सीडीएफ (जो सभी मापदंडों के समतुल्य स्केलिंग के माध्यम से अवशोषित किया जा सकता है) के लिए इनपुट चर का एक निरंतर स्केलिंग एक फ़ंक्शन उत्पन्न करता है जो व्यावहारिक रूप से लॉगिट फ़ंक्शन के समान है, लेकिन प्रोबिट लॉग मॉडल की तुलना में कुछ स्थितियों में मॉडल अधिक ट्रैक्टेबल होते हैं। (एक बायेसियन सेटिंग में जिसमें सामान्य रूप से वितरित पूर्व वितरण को मापदंडों पर रखा जाता है, सामान्य पुरोहितों और सामान्य सीडीएफ लिंक फ़ंक्शन के बीच संबंध का अर्थ है कि गिब्स नमूने का उपयोग करके एक प्रोबिट मॉडल की गणना की जा सकती है, जबकि एक लॉगिट मॉडल आमतौर पर नहीं हो सकता है।)

पूरक लॉग-लॉग (क्लॉगलॉग)

पूरक लॉग-लॉग फ़ंक्शन का भी उपयोग किया जा सकता है:

g(p)=\log(-\log(1-p)).

यह लिंक फ़ंक्शन असममित है और अक्सर लॉग और प्रोबिट लिंक फ़ंक्शंस से भिन्न परिणाम देगा।^[5] क्लॉलॉग मॉडल उन अनुप्रयोगों से मेल खाता है जहां हम शून्य घटनाओं (जैसे, दोष) या एक या अधिक का निरीक्षण करते हैं, जहां प्वासों वितरण का पालन करने के लिए घटनाओं की संख्या मान ली जाती है।^[6] पोइसन धारणा का मतलब है

\Pr(0)=\exp(-\mu ),

जहां μ एक सकारात्मक संख्या है जो घटनाओं की अपेक्षित संख्या को दर्शाती है। यदि पी कम से कम एक घटना के साथ टिप्पणियों के अनुपात का प्रतिनिधित्व करता है, तो इसका पूरक

(1-p)=\Pr(0)=\exp(-\mu ),

और तब

(-\log(1-p))=\mu .

एक रैखिक मॉडल को संपूर्ण वास्तविक रेखा पर मान लेने के लिए प्रतिक्रिया चर की आवश्यकता होती है। चूँकि μ सकारात्मक होना चाहिए, हम इसे लघुगणक लेकर लागू कर सकते हैं, और log(μ) को एक रैखिक मॉडल बना सकते हैं। यह क्लॉलॉग परिवर्तन पैदा करता है

\log(-\log(1-p))=\log(\mu ).

पहचान की कड़ी

पहचान लिंक g(p) = p का उपयोग कभी-कभी द्विपद डेटा के लिए एक रेखीय संभाव्यता मॉडल प्राप्त करने के लिए भी किया जाता है। हालाँकि, पहचान लिंक शून्य से कम या एक से अधिक की निरर्थक संभावनाओं का अनुमान लगा सकता है। इसे क्लॉलॉग, प्रोबिट या लॉगिट (या किसी व्युत्क्रम संचयी वितरण फ़ंक्शन) जैसे परिवर्तन का उपयोग करके टाला जा सकता है। पहचान लिंक का एक प्राथमिक गुण यह है कि इसे रेखीय गणित का उपयोग करके अनुमान लगाया जा सकता है - और अन्य मानक लिंक फ़ंक्शन पी = 0.5 के पास पहचान लिंक से लगभग रैखिक मेल खाते हैं।

विचरण समारोह

के लिए विचरण समारोहquasibinomial डेटा है:

\operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!

जहां फैलाव पैरामीटर τ द्विपद वितरण के लिए बिल्कुल 1 है। दरअसल, मानक द्विपद संभावना τ को छोड़ देती है। जब यह मौजूद होता है, तो मॉडल को अर्ध-संभावना कहा जाता है, और संशोधित संभावना को अर्ध-संभावना कहा जाता है, क्योंकि यह आम तौर पर संभाव्यता वितरण के किसी भी वास्तविक परिवार से संबंधित संभावना नहीं है। यदि τ 1 से अधिक है, तो कहा जाता है कि मॉडल अतिफैलाव प्रदर्शित करता है।

बहुपद प्रतिगमन

प्रतिक्रिया के रूप में एक बहुराष्ट्रीय वितरण की अनुमति देने के लिए द्विपद मामले को आसानी से बढ़ाया जा सकता है (साथ ही, सीमित कुल के साथ गणना के लिए एक सामान्यीकृत रैखिक मॉडल)। यह आमतौर पर दो तरीकों से किया जाता है:

आदेशित प्रतिक्रिया

यदि प्रतिक्रिया चर क्रमिक डेटा है, तो कोई फॉर्म के मॉडल फ़ंक्शन में फिट हो सकता है:

g(\mu _{m})=\eta _{m}=\beta _{0}+X_{1}\beta _{1}+\cdots +X_{p}\beta _{p}+\gamma _{2}+\cdots +\gamma _{m}=\eta _{1}+\gamma _{2}+\cdots +\gamma _{m}{\text{ where }}\mu _{m}=\operatorname {P} (Y\leq m).\,

m > 2 के लिए। अलग-अलग लिंक g ऑर्डर्ड लॉग्स या ऑर्डर किए गए प्रोबिट मॉडल जैसे क्रमिक प्रतिगमन मॉडल की ओर ले जाते हैं।

अव्यवस्थित प्रतिक्रिया

यदि प्रतिक्रिया चर माप का स्तर # नाममात्र स्तर है, या डेटा एक आदेशित मॉडल की धारणाओं को पूरा नहीं करता है, तो कोई निम्न रूप का मॉडल फिट कर सकता है:

g(\mu _{m})=\eta _{m}=\beta _{m,0}+X_{1}\beta _{m,1}+\cdots +X_{p}\beta _{m,p}{\text{ where }}\mu _{m}=\mathrm {P} (Y=m\mid Y\in \{1,m\}).\,

m > 2 के लिए। विभिन्न लिंक g बहुराष्ट्रीय लॉगिट या बहुराष्ट्रीय प्रोबिट मॉडल की ओर ले जाते हैं। ये आदेशित प्रतिक्रिया मॉडल की तुलना में अधिक सामान्य हैं, और अधिक पैरामीटर अनुमानित हैं।

डेटा गिनें

सामान्यीकृत रेखीय मॉडलों के एक अन्य उदाहरण में पोइसन प्रतिगमन शामिल है, जो मॉडल पॉइसन वितरण का उपयोग करके डेटा की गणना करते हैं। लिंक आमतौर पर लघुगणक, विहित लिंक है।

विचरण फलन माध्य के समानुपाती होता है

\operatorname {var} (Y_{i})=\tau \mu _{i},\,

जहां फैलाव पैरामीटर τ आमतौर पर ठीक एक पर तय किया जाता है। जब यह नहीं होता है, तो परिणामी अर्ध-संभावना मॉडल को अक्सर अतिफैलाव या अर्ध-पॉइसन के साथ पॉइसन के रूप में वर्णित किया जाता है।

विस्तारण (एक्सटेंशन)

सहसंबद्ध या संकुल डेटा

मानक जीएलएम मानता है कि अवलोकन असंबद्ध हैं। अवलोकनों के बीच सहसंबंध की अनुमति देने के लिए एक्सटेंशन विकसित किए गए हैं, उदाहरण के लिए अनुदैर्ध्य अध्ययन और क्लस्टर डिज़ाइन में होता है:

सामान्यीकृत अनुमान समीकरण (जीईई) सहसंबंधों की उत्पत्ति के लिए स्पष्ट संभाव्यता मॉडल के उपयोग के बिना अवलोकनों के बीच सहसंबंध की अनुमति देते हैं, इसलिए कोई स्पष्ट संभावना नहीं है। वे तब उपयुक्त होते हैं जब यादृच्छिक प्रभाव और उनके प्रसरण अंतर्निहित रुचि के नहीं होते हैं, क्योंकि वे इसकी उत्पत्ति की व्याख्या किए बिना सहसंबंध की अनुमति देते हैं। प्रतिगमन मापदंडों के बजाय जनसंख्या पर औसत प्रतिक्रिया (जनसंख्या-औसत प्रभाव) का अनुमान लगाने पर ध्यान केंद्रित किया जाता है जो किसी दिए गए व्यक्ति पर एक्स के एक या अधिक घटकों को बदलने के प्रभाव की भविष्यवाणी को सक्षम करेगा। जीईई आमतौर पर ह्यूबर-व्हाइट मानक त्रुटियों के संयोजन में उपयोग किया जाता है।^[7]^[8]
[[सामान्यीकृत रैखिक मिश्रित मॉडल]] (जीएलएमएम) जीएलएम का एक विस्तार है जिसमें रैखिक भविष्यवक्ता में यादृच्छिक प्रभाव शामिल हैं, जो एक स्पष्ट संभावना मॉडल देता है जो सहसंबंधों की उत्पत्ति की व्याख्या करता है। परिणामी विषय-विशिष्ट पैरामीटर अनुमान तब उपयुक्त होते हैं जब किसी व्यक्ति पर X के एक या अधिक घटकों को बदलने के प्रभाव का अनुमान लगाने पर ध्यान केंद्रित किया जाता है। जीएलएमएम को बहुस्तरीय मॉडल और मिश्रित मॉडल भी कहा जाता है। सामान्य तौर पर, GLMMs को फिट करना GEEs को फिट करने की तुलना में कम्प्यूटेशनल रूप से अधिक जटिल और गहन है।

सामान्यीकृत योगात्मक मॉडल

सामान्यीकृत योगात्मक मॉडल (GAMs) GLMs का एक और विस्तार है जिसमें रैखिक भविष्यवक्ता η सहसंयोजक 'X' में रैखिक होने के लिए प्रतिबंधित नहीं है, लेकिन x पर लागू चौरसाई का योग है_iएस:

\eta =\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots \,\!

चौरसाई कार्य f_iआंकड़ों से अनुमान लगाया गया है। सामान्य तौर पर इसके लिए बड़ी संख्या में डेटा बिंदुओं की आवश्यकता होती है और यह कम्प्यूटेशनल रूप से गहन है।^[9]^[10]

यह भी देखें

संदर्भ

उद्धरण

↑ Nelder, John; Wedderburn, Robert (1972). "सामान्यीकृत रैखिक मॉडल". Journal of the Royal Statistical Society. Series A (General). Blackwell Publishing. 135 (3): 370–384. doi:10.2307/2344614. JSTOR 2344614. S2CID 14154576.
↑ McCullagh & Nelder 1989, Chapter 2.
↑ McCullagh & Nelder 1989, p. 43.
↑ Senn, Stephen (2003). "जॉन नेल्डर के साथ बातचीत". Statistical Science. 18 (1): 118–131. doi:10.1214/ss/1056397489. मुझे संदेह है कि हमें इसके लिए कुछ और फैंसी नाम मिलना चाहिए था जो अटक गया होगा और सामान्य रैखिक मॉडल के साथ भ्रमित नहीं होगा, हालांकि सामान्य और सामान्यीकृत काफी समान नहीं हैं। मैं देख सकता हूं कि क्यों कुछ और सोचना बेहतर होता।
↑ "Complementary Log-log Model" (PDF).
↑ "Which Link Function — Logit, Probit, or Cloglog?". Bayesium Analytics (in English). 2015-08-14. Retrieved 2019-03-17.
↑ Zeger, Scott L.; Liang, Kung-Yee; Albert, Paul S. (1988). "Models for Longitudinal Data: A Generalized Estimating Equation Approach". Biometrics. International Biometric Society. 44 (4): 1049–1060. doi:10.2307/2531734. JSTOR 2531734. PMID 3233245.
↑ Hardin, James; Hilbe, Joseph (2003). सामान्यीकृत अनुमान समीकरण. London, England: Chapman and Hall/CRC. ISBN 1-58488-307-3.
↑ Hastie & Tibshirani 1990.
↑ Wood 2006.

ग्रन्थसूची

Hastie, T. J.; Tibshirani, R. J. (1990). Generalized Additive Models. Chapman & Hall/CRC. ISBN 978-0-412-34390-2.
Madsen, Henrik; Thyregod, Poul (2011). Introduction to General and Generalized Linear Models. Chapman & Hall/CRCC. ISBN 978-1-4200-9155-7.
McCullagh, Peter; Nelder, John (1989). Generalized Linear Models (2nd ed.). Boca Raton, FL: Chapman and Hall/CRC. ISBN 0-412-31760-5.
Wood, Simon (2006). Generalized Additive Models: An Introduction with R. Chapman & Hall/CRC. ISBN 1-58488-474-6.

अग्रिम पठन

Dunn, P.K.; Smyth, G.K. (2018). Generalized Linear Models With Examples in R. New York: Springer. doi:10.1007/978-1-4419-0118-7. ISBN 978-1-4419-0118-7.
Dobson, A.J.; Barnett, A.G. (2008). Introduction to Generalized Linear Models (3rd ed.). Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-165-0.
Hardin, James; Hilbe, Joseph (2007). Generalized Linear Models and Extensions (2nd ed.). College Station: Stata Press. ISBN 978-1-59718-014-6.

बाहरी संबंध

Media related to Generalized linear models at Wikimedia Commons

[1] Nelder, John; Wedderburn, Robert (1972). "सामान्यीकृत रैखिक मॉडल". Journal of the Royal Statistical Society. Series A (General). Blackwell Publishing. 135 (3): 370–384. doi:10.2307/2344614. JSTOR 2344614. S2CID 14154576.

[2] McCullagh & Nelder 1989, Chapter 2.

[FOOTNOTEMcCullaghNelder198943-3] McCullagh & Nelder 1989, p. 43.

[4] Senn, Stephen (2003). "जॉन नेल्डर के साथ बातचीत". Statistical Science. 18 (1): 118–131. doi:10.1214/ss/1056397489. मुझे संदेह है कि हमें इसके लिए कुछ और फैंसी नाम मिलना चाहिए था जो अटक गया होगा और सामान्य रैखिक मॉडल के साथ भ्रमित नहीं होगा, हालांकि सामान्य और सामान्यीकृत काफी समान नहीं हैं। मैं देख सकता हूं कि क्यों कुछ और सोचना बेहतर होता।

[5] "Complementary Log-log Model" (PDF).

[6] "Which Link Function — Logit, Probit, or Cloglog?". Bayesium Analytics (in English). 2015-08-14. Retrieved 2019-03-17.

[7] Zeger, Scott L.; Liang, Kung-Yee; Albert, Paul S. (1988). "Models for Longitudinal Data: A Generalized Estimating Equation Approach". Biometrics. International Biometric Society. 44 (4): 1049–1060. doi:10.2307/2531734. JSTOR 2531734. PMID 3233245.

[8] Hardin, James; Hilbe, Joseph (2003). सामान्यीकृत अनुमान समीकरण. London, England: Chapman and Hall/CRC. ISBN 1-58488-307-3.

[FOOTNOTEHastieTibshirani1990-9] Hastie & Tibshirani 1990.

[FOOTNOTEWood2006-10] Wood 2006.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

Anonymous

Search