प्रक्षेपण अनुसरण प्रतिगमन: Difference between revisions

From Vigyanwiki
(Created page with "{{no footnotes|date=November 2010}} सांख्यिकी में, प्रोजेक्शन परस्यूट रिग्रेशन (पीपीआर)...")
 
No edit summary
 
(13 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{no footnotes|date=November 2010}}
सांख्यिकी में, '''प्रोजेक्शन अनुसरण प्रतिगमन''' (पीपीआर) जेरोम एच. फ्रीडमैन और [[वर्नर स्टुट्ज़ल]] द्वारा विकसित [[सांख्यिकीय मॉडल]] है जोकी [[ योगात्मक मॉडल |योगात्मक मॉडल]] का विस्तार है। इस प्रकार यह मॉडल एडिटिव मॉडल को इस तरह से अनुकूलित करता है कि यह इन व्याख्यात्मक वेरिएबल पर स्मूथिंग फलन प्रस्तुत करने से प्रथम व्याख्यात्मक वेरिएबल के [[डेटा मैट्रिक्स (बहुभिन्नरूपी आँकड़े)|डेटा आव्यूह (बहुभिन्नरूपी आँकड़े)]] को इष्टतम दिशा में दर्शाता है। 


सांख्यिकी में, प्रोजेक्शन परस्यूट रिग्रेशन (पीपीआर) जेरोम एच. फ्रीडमैन और [[वर्नर स्टुट्ज़ल]] द्वारा विकसित एक [[सांख्यिकीय मॉडल]] है जो [[ योगात्मक मॉडल ]] का विस्तार है। यह मॉडल एडिटिव मॉडल को इस तरह से अनुकूलित करता है कि यह इन व्याख्यात्मक चरों पर स्मूथिंग फ़ंक्शंस लागू करने से पहले व्याख्यात्मक चर के [[डेटा मैट्रिक्स (बहुभिन्नरूपी आँकड़े)]] को इष्टतम दिशा में प्रोजेक्ट करता है।
इस प्रकार से मॉडल में [[रिज फ़ंक्शन|रिज फलन]] के [[रैखिक संयोजन]] सम्मिलित किया गया हैं: और व्याख्यात्मक वेरिएबल के रैखिक संयोजनों के गैर-रेखीय परिवर्तन। मूल मॉडल रूप लेता है।


== मॉडल सिंहावलोकन ==
:<math>y_i=\beta_0 + \sum_{j=1}^r f_j (\beta_j^{\mathrm{T}}x_i) + \varepsilon_i ,</math>
मॉडल में [[रिज फ़ंक्शन]] के [[रैखिक संयोजन]] शामिल हैं: व्याख्यात्मक चर के रैखिक संयोजनों के गैर-रेखीय परिवर्तन। मूल मॉडल रूप लेता है
जहाँ ''x<sub>i</sub>'' [[डिज़ाइन मैट्रिक्स|डिज़ाइन आव्यूह]] की 1 × ''p'' पंक्ति है जिसमें उदाहरण के लिए ''i, y<sub>i</sub>'' जैसे व्याख्यात्मक वेरिएबल सम्मिलित होते हैं ''1 × 1'' पूर्वानुमान है, {''β<sub>j</sub>''} ''r'' सदिश का संग्रह है (प्रत्येक लंबाई ''p'' का इकाई सदिश ) जिसमें अज्ञात पैरामीटर सम्मिलित हैं, {''f<sub>j</sub>''} आर का संग्रह है जो प्रारंभ में अज्ञात सुचारू फलन है जो ''ℝ → ℝ'' से मैप होता है, और ''r'' हाइपरपैरामीटर है। ''r'' के लिए अच्छे मान क्रॉस-वैलिडेशन (सांख्यिकी) क्रॉस-वैलिडेशन या फॉरवर्ड स्टेज-वार रणनीति के माध्यम से निर्धारित किए जा सकते हैं जो तब रुक जाता है जब मॉडल फिट में महत्वपूर्ण सुधार नहीं किया जा सकता है। जैसे-जैसे r अनंत तक पहुंचता है और फलन के उचित समुच्चय के साथ {''f<sub>j</sub>''} पीपीआर मॉडल [[सार्वभौमिक अनुमानक]] है, क्योंकि यह ℝ<sup>''p''</sup>.में किसी भी निरंतर फलन का अनुमान लगा सकता है।


:<math>y_i=\beta_0 + \sum_{j=1}^r f_j (\beta_j^{\mathrm{T}}x_i) + \varepsilon_i ,</math>
== मॉडल अनुमान ==
कहां एक्स<sub>i</sub>[[डिज़ाइन मैट्रिक्स]] की एक 1 × p पंक्ति है जिसमें उदाहरण के लिए i, y जैसे व्याख्यात्मक चर शामिल हैं<sub>i</sub>1 × 1 भविष्यवाणी है, {β<sub>j</sub>} आर वैक्टर का एक संग्रह है (प्रत्येक लंबाई पी का एक इकाई वेक्टर) जिसमें अज्ञात पैरामीटर शामिल हैं, {एफ<sub>j</sub>} आर का एक संग्रह है जो शुरू में अज्ञात सुचारू फ़ंक्शन है जो ℝ → ℝ से मैप होता है, और आर एक हाइपरपैरामीटर है। आर के लिए अच्छे मान क्रॉस-वैलिडेशन (सांख्यिकी) | क्रॉस-वैलिडेशन या फॉरवर्ड स्टेज-वार रणनीति के माध्यम से निर्धारित किए जा सकते हैं जो तब रुक जाता है जब मॉडल फिट में महत्वपूर्ण सुधार नहीं किया जा सकता है। जैसे-जैसे r अनंत तक पहुंचता है और कार्यों के उचित सेट के साथ {f<sub>j</sub>}, पीपीआर मॉडल एक [[सार्वभौमिक अनुमानक]] है, क्योंकि यह ℝ में किसी भी निरंतर फ़ंक्शन का अनुमान लगा सकता है<sup>प</sup>.
डेटा के किसी दिए गए समुच्चय के लिए <math>\{(y_i ,x_i )\}_{i=1}^{n}</math>, लक्ष्य त्रुटि फलन को कम करना है।  


== मॉडल अनुमान ==
:<math>\min_{f_j, \beta_j} S=\sum_{i=1}^n \left[ y_i - \sum_{j=1}^r f_j (\beta_j^{\mathrm{T}} x_i) \right]^2</math>  
डेटा के किसी दिए गए सेट के लिए <math>\{(y_i ,x_i )\}_{i=1}^{n}</math>, लक्ष्य त्रुटि फ़ंक्शन को कम करना है
फलन <math>f_j</math> और सदिश <math>\beta_j</math>. सभी चरों को साथ हल करने की कोई विधि उपस्तिथ नहीं है, किन्तु इसे [[वैकल्पिक अनुकूलन]] के माध्यम से हल किया जा सकता है। सबसे प्रथम , प्रत्येक <math>(f_j, \beta_j)</math> पर व्यक्तिगत रूप से विचार करें व्यक्तिगत रूप से जोड़ी: अन्य सभी मापदंडों को तय होने दें, और अवशिष्ट खोजें, आउटपुट का विचरण उन अन्य मापदंडों द्वारा ध्यान में नहीं रखा गया है, जिनके द्वारा दिया गया है।


:<math>\min_{f_j, \beta_j} S=\sum_{i=1}^n \left[ y_i - \sum_{j=1}^r f_j (\beta_j^{\mathrm{T}} x_i) \right]^2</math>
:<math>r_i = y_i - \sum_{l \ne j} f_l (\beta_l^{\mathrm{T}} x_i)</math>  
कार्यों के ऊपर <math>f_j</math> और वैक्टर <math>\beta_j</math>. सभी चरों को एक साथ हल करने की कोई विधि मौजूद नहीं है, लेकिन इसे [[वैकल्पिक अनुकूलन]] के माध्यम से हल किया जा सकता है। सबसे पहले, प्रत्येक पर विचार करें <math>(f_j, \beta_j)</math> व्यक्तिगत रूप से जोड़ी: अन्य सभी मापदंडों को तय होने दें, और एक अवशिष्ट खोजें, आउटपुट का विचरण उन अन्य मापदंडों के हिसाब से नहीं है, जो दिए गए हैं
त्रुटि फलन को न्यूनतम करने का फलन अब हल करने तक कम हो गया है।


:<math>r_i = y_i - \sum_{l \ne j} f_l (\beta_l^{\mathrm{T}} x_i)</math>
:<math>\min_{f_j, \beta_j} S'=\sum_{i=1}^n \left[ r_i - f_j(\beta_j^{\mathrm{T}} x_i) \right]^2</math>:
त्रुटि फ़ंक्शन को न्यूनतम करने का कार्य अब हल करने तक कम हो गया है
अतः प्रत्येक ''j'' के लिए बारी-बारी से। सामान्यतः नया <math>(f_j, \beta_j)</math> जोड़े को आगे चरण-वार विधि से मॉडल में जोड़ा जाता है। 


:<math>\min_{f_j, \beta_j} S'=\sum_{i=1}^n \left[ r_i - f_j(\beta_j^{\mathrm{T}} x_i) \right]^2</math>
इस प्रकार से तरफ नई फिट-जोड़ियों को [[बैकफ़िटिंग एल्गोरिदम]] नामक एल्गोरिदम द्वारा निर्धारित करने के बाद प्रथम से फिट जोड़े को दोबारा समायोजित किया जा सकता है, जिसमें पिछली जोड़ी पर पुनर्विचार करना था , शेष जोड़े को दोबारा गणना करना, अन्य जोड़े कैसे परिवर्तित गए हैं, उस नए के लिए खाते में फिर से फिट करना सम्मिलित है जानकारी है , और फिर सभी फिट-जोड़ियों के माध्यम से इस प्रकार से तब तक साइकिल चलाना जब तक पैरामीटर एकाग्र न हो जाएं। इस प्रकार से इस प्रक्रिया के परिणामस्वरूप सामान्यतः मॉडल तैयार होता है जोकी कम फिट-जोड़ियों के साथ उत्तम प्रदर्शन करता है, चूंकि इसे प्रशिक्षित करने में अधिक समय लगता है, और सामान्यतः बैकफिटिंग को छोड़कर और मॉडल में अधिक फिट जोड़कर (आर बढ़ाकर) समान प्रदर्शन प्राप्त करना संभव है।
प्रत्येक j के लिए बारी-बारी से। आम तौर पर नया <math>(f_j, \beta_j)</math> जोड़े को आगे चरण-वार फैशन में मॉडल में जोड़ा जाता है।


<ब्लॉककोट>एक तरफ: नई फिट-जोड़ियों को [[बैकफ़िटिंग एल्गोरिदम]] नामक एल्गोरिदम द्वारा निर्धारित करने के बाद पहले से फिट जोड़े को दोबारा समायोजित किया जा सकता है, जिसमें पिछली जोड़ी पर पुनर्विचार करना, शेष जोड़े को दोबारा गणना करना, अन्य जोड़े कैसे बदल गए हैं, उस नए के लिए खाते में फिर से फिट करना शामिल है जानकारी, और फिर सभी फिट-जोड़ियों के माध्यम से इस तरह से तब तक साइकिल चलाना जब तक पैरामीटर एकाग्र न हो जाएं। इस प्रक्रिया के परिणामस्वरूप आम तौर पर एक मॉडल तैयार होता है जो कम फिट-जोड़ियों के साथ बेहतर प्रदर्शन करता है, हालांकि इसे प्रशिक्षित करने में अधिक समय लगता है, और आमतौर पर बैकफिटिंग को छोड़कर और मॉडल में अधिक फिट जोड़कर (आर बढ़ाकर) समान प्रदर्शन प्राप्त करना संभव है।< /ब्लॉककोट>
माना की <math>(f_j, \beta_j)</math> जोड़ी को निर्धारित करने के लिए सरलीकृत त्रुटि फलन को हल करना वैकल्पिक अनुकूलन के साथ किया जा सकता है, जहां पहले <math>X</math> को ''1D'' स्थान में प्रोजेक्ट करने के लिए एक यादृच्छिक <math>\beta_j</math> का उपयोग किया जाता है, और फिर उस प्रक्षेपण और अवशेषों के मध्य संबंध का वर्णन करने के लिए इष्टतम <math>f_j</math> पाया जाता है। आपकी रुचिकर स्कैटर प्लॉट प्रतिगमन विधि है । तो यदि <math>f_j</math> को स्थिर रखा जाता है, यह मानते हुए कि <math>f_j</math> एक बार विभेदित हो जाता है, इष्टतम अद्यतन भार <math>\beta_j</math> को [[गॉस-न्यूटन एल्गोरिथम]] विधि के माध्यम से पाया जा सकता है - एक अर्ध-न्यूटन विधि जिसमें दूसरे व्युत्पन्न को सम्मिलित करने वाले हेसियन के भाग को छोड़ दिया जाता है। इसे प्राप्त करने के लिए सबसे प्रथम [[टेलर श्रृंखला]] <math>f_j(\beta_j^{T}x_i) \approx f_j(\beta_{j,old}^{T}x_i) + \dot{f_j}(\beta_{j,old}^{T}x_i)(\beta_j^{T}x_i - \beta_{j,old}^{T}x_i)</math> ने विस्तार किया, सरलीकृत त्रुटि फलन में उपयोग होता है


निर्धारित करने के लिए सरलीकृत त्रुटि फ़ंक्शन को हल करना <math>(f_j, \beta_j)</math> जोड़ी को वैकल्पिक अनुकूलन के साथ किया जा सकता है, जहां पहले एक यादृच्छिक <math>\beta_j</math> प्रोजेक्ट करने के लिए उपयोग किया जाता है <math>X</math> 1D स्थान में, और फिर इष्टतम <math>f_j</math> आपके पसंदीदा स्कैटर प्लॉट प्रतिगमन विधि के माध्यम से उस प्रक्षेपण और अवशेषों के बीच संबंध का वर्णन करने के लिए पाया गया है। तो अगर <math>f_j</math> यह मानते हुए स्थिर रखा गया है <math>f_j</math> एक बार विभेदित होने पर, इष्टतम अद्यतन भार <math>\beta_j</math> [[गॉस-न्यूटन एल्गोरिथम]] के माध्यम से पाया जा सकता है | गॉस-न्यूटन विधि - एक अर्ध-न्यूटन विधि जिसमें दूसरे व्युत्पन्न से जुड़े हेसियन के हिस्से को छोड़ दिया जाता है। इसे प्राप्त करने के लिए, पहली [[टेलर श्रृंखला]] <math>f_j(\beta_j^{T}x_i) \approx f_j(\beta_{j,old}^{T}x_i) + \dot{f_j}(\beta_{j,old}^{T}x_i)(\beta_j^{T}x_i - \beta_{j,old}^{T}x_i)</math>, फिर विस्तार को सरलीकृत त्रुटि फ़ंक्शन में वापस प्लग करें <math>S'</math> और इसे फॉर्म में रखने के लिए कुछ बीजगणितीय हेरफेर करें
फलन <math>S'</math> और इसे फॉर्म में रखने के लिए कुछ बीजगणितीय हेरफेर करें


:<math> \min_{\beta_j} S' \approx \sum_{i=1}^n \underbrace{\dot{f_j}(\beta_{j,old}^{T}x_i)^2}_w \Bigg[\bigg(\underbrace{\beta_{j,old}^{T}x_i + \frac{r_i - f_j(\beta_{j,old}^{T}x_i)}{\dot{f_j}(\beta_{j,old}^{T}x_i)}}_{\hat{b}}\bigg) - \beta_j^{T}x_i \Bigg]^2</math>
:<math> \min_{\beta_j} S' \approx \sum_{i=1}^n \underbrace{\dot{f_j}(\beta_{j,old}^{T}x_i)^2}_w \Bigg[\bigg(\underbrace{\beta_{j,old}^{T}x_i + \frac{r_i - f_j(\beta_{j,old}^{T}x_i)}{\dot{f_j}(\beta_{j,old}^{T}x_i)}}_{\hat{b}}\bigg) - \beta_j^{T}x_i \Bigg]^2</math>  
यह एक [[भारित न्यूनतम वर्ग]] समस्या है। यदि हम सभी भारों को हल करें <math>w</math> और उन्हें एक विकर्ण मैट्रिक्स में रखें <math>W</math>, सभी नए लक्ष्यों को ढेर करें <math>\hat{b}</math> एक वेक्टर में, और पूर्ण डेटा मैट्रिक्स का उपयोग करें <math>X</math> एक उदाहरण के बजाय <math>x_i</math>, फिर इष्टतम <math>\beta_j</math> बंद प्रपत्र द्वारा दिया गया है
यह [[भारित न्यूनतम वर्ग]] समस्या है। यदि हम सभी भारों को हल करें <math>w</math> और उन्हें विकर्ण आव्यूह में रखें <math>W</math>, सभी नए लक्ष्यों <math>\hat{b}</math> को एक सदिश में, ढेर करें और पूर्ण डेटा आव्यूह का उपयोग करें एकल उदाहरण <math>x_i</math> के अतिरिक्त पूर्ण डेटा आव्यूह <math>X</math> का उपयोग करें, फिर इष्टतम <math>\beta_j</math> संवर्त-फॉर्म द्वारा दिया गया है.


:<math>\underset{\beta_j}{\operatorname{arg\,min}} \Big\|\vec{\hat{b}} - X\beta_j \Big\|_{W}^2 = (X^{\mathrm{T}} WX)^{-1} X^{\mathrm{T}} W \vec{\hat{b}}</math>
:<math>\underset{\beta_j}{\operatorname{arg\,min}} \Big\|\vec{\hat{b}} - X\beta_j \Big\|_{W}^2 = (X^{\mathrm{T}} WX)^{-1} X^{\mathrm{T}} W \vec{\hat{b}}</math>  
इस अद्यतन का प्रयोग करें <math>\beta_j</math> का एक नया प्रक्षेपण खोजने के लिए <math>X</math> और फिर से फिट करें <math>f_j</math> नए स्कैटर प्लॉट के लिए। फिर उस नये का उपयोग करें <math>f_j</math> अद्यतन करने के लिए <math>\beta_j</math> उपरोक्त को हल करके, और इस वैकल्पिक प्रक्रिया को तब तक जारी रखें <math>(f_j, \beta_j)</math> जुटता है.
<math>X</math> का नया प्रक्षेपण खोजने और <math>f_j</math> को नए स्कैटर प्लॉट में दोबारा फिट करने के लिए इस अद्यतन <math>\beta_j</math> का उपयोग करें। फिर उपरोक्त को हल करके <math>\beta_j</math> को अद्यतन करने के लिए उस नए <math>f_j</math> का उपयोग करें, और इस वैकल्पिक प्रक्रिया को तब तक जारी रखें जब तक कि <math>(f_j, \beta_j)</math> अभिसरण न हो जाए.  


यह दिखाया गया है कि अभिसरण दर, पूर्वाग्रह और विचरण के अनुमान से प्रभावित होते हैं  <math>\beta_j</math> और <math>f_j</math>.
यह दिखाया गया है कि अभिसरण दर, पूर्वाग्रह और विचरण <math>\beta_j</math> और <math>f_j</math>. के अनुमान से प्रभावित होते हैं। 


==चर्चा==
==विचार-विमर्श ==
पीपीआर मॉडल एक बुनियादी एडिटिव मॉडल का रूप लेता है लेकिन अतिरिक्त के साथ <math>\beta_j</math> घटक, तो प्रत्येक <math>f_j</math> के स्कैटर प्लॉट में फिट बैठता है <math>\beta_j^{T}X^T</math> स्वयं कच्चे इनपुट का उपयोग करने के बजाय प्रशिक्षण के दौरान अवशिष्ट (अस्पष्टीकृत भिन्नता) बनाम। यह प्रत्येक को खोजने की समस्या को रोकता है <math>f_j</math> निम्न आयाम तक, इसे सामान्य न्यूनतम वर्ग या स्पलाइन फिटिंग विधियों के साथ हल करने योग्य बनाना और प्रशिक्षण के दौरान आयाम के अभिशाप को दूर करना। क्योंकि <math>f_j</math> के प्रक्षेपण से लिया गया है <math>X</math>, परिणाम प्रक्षेपण आयाम के लिए एक रिज ऑर्थोगोनल जैसा दिखता है <math>\{f_j\}</math> अक्सर रिज फ़ंक्शंस कहा जाता है। दिशानिर्देश <math>\beta_j</math> उनके संबंधित रिज कार्यों के फिट को अनुकूलित करने के लिए चुना जाता है।
इस प्रकार पीपीआर मॉडल एक मूलभूत एडिटिव मॉडल का रूप लेता है किन्तु अतिरिक्त <math>\beta_j</math> घटक के साथ, इसलिए प्रत्येक <math>f_j</math> कच्चे इनपुट का उपयोग करने के अतिरिक्त प्रशिक्षण के समय <math>\beta_j^{T}X^T</math> बनाम अवशिष्ट (अस्पष्टीकृत भिन्नता) के स्कैटर प्लॉट में फिट बैठता है। यह प्रत्येक <math>f_j</math> को निम्न आयाम में खोजने की समस्या को रोकता है, इसे सामान्य न्यूनतम वर्ग या स्पलाइन फिटिंग विधियों के साथ हल करने योग्य बनाता है और प्रशिक्षण के समय आयामीता के अभिशाप को दूर करता है। क्योंकि <math>f_j</math> को <math>X</math>, के प्रक्षेपण से लिया गया है, परिणाम प्रक्षेपण आयाम के लिए "रिज" ऑर्थोगोनल जैसा दिखता है, इसलिए <math>\{f_j\}</math> को सदैव "रिज फलन " कहा जाता है। दिशा <math>\beta_j</math> को उनके संबंधित रिज फलन के फिट को अनुकूलित करने के लिए चुना जाता है।


ध्यान दें कि क्योंकि पीपीआर डेटा के अनुमानों को फिट करने का प्रयास करता है, इसलिए फिट किए गए मॉडल की समग्र रूप से व्याख्या करना मुश्किल हो सकता है, क्योंकि प्रत्येक इनपुट चर का हिसाब जटिल और बहुआयामी तरीके से किया गया है। यह मॉडल को डेटा को समझने की तुलना में भविष्यवाणी के लिए अधिक उपयोगी बना सकता है, हालांकि व्यक्तिगत रिज फ़ंक्शंस की कल्पना करना और इस बात पर विचार करना कि मॉडल किन अनुमानों की खोज कर रहा है, कुछ अंतर्दृष्टि प्राप्त कर सकते हैं।
इस प्रकार से ध्यान दें कि क्योंकि पीपीआर डेटा के अनुमानों को फिट करने का प्रयास करता है, इसलिए फिट किए गए मॉडल की समग्र रूप से व्याख्या करना कठिन हो सकता है, क्योंकि प्रत्येक इनपुट वेरिएबल का गणना जटिल और बहुआयामी विधि से किया गया है। यह मॉडल को डेटा को समझने की तुलना में पूर्वानुमान के लिए अधिक उपयोगी बना सकता है, चूंकि व्यक्तिगत रिज फलन की कल्पना करना और इस बात पर विचार करना कि मॉडल किन अनुमानों की खोज कर रहा है, कुछ अंतर्दृष्टि प्राप्त कर सकते हैं।


== पीपीआर आकलन के लाभ ==
== पीपीआर आकलन के लाभ ==
*यह उनके बहुभिन्नरूपी रूप के बजाय यूनीवेरिएट रिग्रेशन फ़ंक्शंस का उपयोग करता है, इस प्रकार आयामीता के अभिशाप से प्रभावी ढंग से निपटता है
*यह उनके बहुभिन्नरूपी रूप के अतिरिक्त यूनीवेरिएट रिग्रेशन फलन का उपयोग करता है, इस प्रकार आयामीता के अभिशाप से प्रभावी रूप से निपटता है।
*यूनिवेरिएट रिग्रेशन सरल और कुशल अनुमान की अनुमति देता है
*यूनिवेरिएट रिग्रेशन सरल और कुशल अनुमान की अनुमति देता है।
*[[सामान्यीकृत योगात्मक मॉडल]] के सापेक्ष, पीपीआर कार्यों के अधिक समृद्ध वर्ग का अनुमान लगा सकता है
*[[सामान्यीकृत योगात्मक मॉडल]] के सापेक्ष, पीपीआर फलन के अधिक समृद्ध वर्ग का अनुमान लगा सकता है।
*स्थानीय औसत तरीकों (जैसे कि के-निकटतम पड़ोसियों) के विपरीत, पीपीआर कम व्याख्यात्मक शक्ति वाले चर को अनदेखा कर सकता है।
*स्थानीय औसत विधि (जैसे कि के-निकटतम) के विपरीत, पीपीआर कम व्याख्यात्मक सशक्त वाले वेरिएबल को अनदेखा कर सकता है।


== पीपीआर आकलन के नुकसान ==
== पीपीआर आकलन के हानि ==
*पीपीआर को अनुमान लगाने के लिए एम-आयामी पैरामीटर स्थान की जांच करने की आवश्यकता होती है <math>\beta_j</math>.
*पीपीआर को अनुमान लगाने के लिए एम-आयामी पैरामीटर स्थान <math>\beta_j</math> की जांच करने की आवश्यकता होती है.  
*इसके लिए स्मूथिंग पैरामीटर का चयन करना होगा <math>f_j</math>.
*इसके लिए स्मूथिंग पैरामीटर <math>f_j</math> का चयन करना होगा.  
*मॉडल की व्याख्या करना अक्सर कठिन होता है
*मॉडल की व्याख्या करना सदैव कठिन होता है।


== पीपीआर का विस्तार ==
== पीपीआर का विस्तार ==
*रेडियल फ़ंक्शन, हार्मोनिक फ़ंक्शन और एडिटिव फ़ंक्शन जैसे वैकल्पिक स्मूथर्स का सुझाव दिया गया है और उनका प्रदर्शन उपयोग किए गए डेटा सेट के आधार पर भिन्न होता है।
*रेडियल फलन , हार्मोनिक फलन और एडिटिव फलन जैसे वैकल्पिक स्मूथर्स का सुझाव दिया गया है और उनका प्रदर्शन उपयोग किए गए डेटा समुच्चय के आधार पर भिन्न होता है।  
*वैकल्पिक अनुकूलन मानदंड का भी उपयोग किया गया है, जैसे मानक निरपेक्ष विचलन और माध्य निरपेक्ष विचलन।
*वैकल्पिक अनुकूलन मानदंड का भी उपयोग किया गया है, जैसे मानक निरपेक्ष विचलन और माध्य निरपेक्ष विचलन है ।
*गणना को सरल बनाने के लिए साधारण न्यूनतम वर्गों का उपयोग किया जा सकता है क्योंकि अक्सर डेटा में मजबूत गैर-रैखिकताएं नहीं होती हैं।
*गणना को सरल बनाने के लिए साधारण न्यूनतम वर्गों का उपयोग किया जा सकता है क्योंकि सदैव डेटा में कठोर गैर-रैखिकताएं नहीं होती हैं।  
*पीपीआर के लिए दिशा वैक्टर चुनने के लिए स्लाइस्ड इनवर्स रिग्रेशन (एसआईआर) का उपयोग किया गया है।
*पीपीआर के लिए दिशा सदिश चुनने के लिए स्लाइस्ड इनवर्स रिग्रेशन (एसआईआर) का उपयोग किया गया है।
*सामान्यीकृत पीपीआर नियमित पीपीआर को पुनरावृत्त रूप से पुनः भारित न्यूनतम वर्ग (आईआरएलएस) और बाइनरी डेटा का अनुमान लगाने के लिए एक [[लिंक फ़ंक्शन]] के साथ जोड़ता है।
*सामान्यीकृत पीपीआर नियमित पीपीआर को पुनरावृत्त रूप से पुनः भारित न्यूनतम वर्ग (आईआरएलएस) और बाइनरी डेटा का अनुमान लगाने के लिए [[लिंक फ़ंक्शन|लिंक फलन]] के साथ जोड़ता है।  


== पीपीआर बनाम तंत्रिका नेटवर्क (एनएन) ==
== पीपीआर बनाम तंत्रिका नेटवर्क (एनएन) ==
दोनों प्रक्षेपण प्रतिगमन प्रतिगमन और एक छिपी हुई परत के साथ पूरी तरह से जुड़े हुए तंत्रिका नेटवर्क एक आयामी हाइपरप्लेन पर इनपुट वेक्टर को प्रोजेक्ट करते हैं और फिर इनपुट चर के एक गैर-रेखीय परिवर्तन को लागू करते हैं जो फिर एक रैखिक फैशन में जोड़े जाते हैं। इस प्रकार दोनों आयामीता के अभिशाप को दूर करने के लिए समान कदमों का पालन करते हैं। मुख्य अंतर यह है कि कार्य <math>f_j </math> पीपीआर में फिट किया जाना इनपुट चर के प्रत्येक संयोजन के लिए अलग-अलग हो सकता है और एक समय में एक का अनुमान लगाया जाता है और फिर वजन के साथ अद्यतन किया जाता है, जबकि एनएन में ये सभी पहले से निर्दिष्ट होते हैं और एक साथ अनुमानित होते हैं।
इस प्रकार से दोनों प्रक्षेपण प्रतिगमन और छिपी हुई परत के साथ पूर्ण रूप से जुड़े हुए तंत्रिका नेटवर्क आयामी हाइपरप्लेन पर इनपुट सदिश को प्रोजेक्ट करते हैं और फिर इनपुट वेरिएबल के गैर-रेखीय परिवर्तन को प्रस्तुत करते हैं जो फिर रैखिक मॉडल में जोड़े जाते हैं। इस प्रकार दोनों आयामीता के अभिशाप को दूर करने के लिए समान कदमों का पालन करते हैं। मुख्य अंतर यह है कि फलन <math>f_j </math> पीपीआर में फिट किया जाना इनपुट वेरिएबल के प्रत्येक संयोजन के लिए अलग-अलग हो सकता है और समय में का अनुमान लगाया जाता है और फिर वजन के साथ अद्यतन किया जाता है, जबकि एनएन में ये सभी प्रथम से निर्दिष्ट होते हैं और साथ अनुमानित होते हैं।


इस प्रकार, पीपीआर अनुमान में पीपीआर में चर के परिवर्तन डेटा संचालित होते हैं जबकि एकल-परत तंत्रिका नेटवर्क में ये परिवर्तन तय होते हैं।
इस प्रकार, पीपीआर अनुमान में पीपीआर में वेरिएबल के परिवर्तन डेटा संचालित होते हैं जबकि एकल-परत तंत्रिका नेटवर्क में ये परिवर्तन तय होते हैं।


==यह भी देखें==
==यह भी देखें ==
*प्रक्षेपण अनुसरण
*प्रक्षेपण अनुसरण  


== संदर्भ ==
== संदर्भ ==
<!--- See [[Wikipedia:Footnotes]] on how to create references using <ref></ref> tags which will then appear here automatically -->
{{Reflist}}
{{Reflist}}
*Friedman, J.H. and Stuetzle, W. (1981) [http://inspirehep.net/record/152302/files/slac-pub-2466.pdf Projection Pursuit Regression]. Journal of the American Statistical Association, 76, 817–823.
*Friedman, J.H. and Stuetzle, W. (1981) [http://inspirehep.net/record/152302/files/slac-pub-2466.pdf Projection Pursuit Regression]. Journal of the American Statistical Association, 76, 817–823.
Line 73: Line 71:
*Klinke, S. and Grassmann, J. (2000) ‘Projection Pursuit Regression’ in Smoothing and Regression: Approaches, Computation and Application. Ed. Schimek, M.G.. Wiley Interscience.
*Klinke, S. and Grassmann, J. (2000) ‘Projection Pursuit Regression’ in Smoothing and Regression: Approaches, Computation and Application. Ed. Schimek, M.G.. Wiley Interscience.
*Lingjarde, O. C. and Liestol, K. (1998) [https://www.researchgate.net/profile/Ole_Lingjaerde/publication/262216996_Generalized_projection_pursuit_regression/links/545b9d500cf249070a7a7815/Generalized-projection-pursuit-regression Generalized Projection Pursuit Regression]. SIAM Journal of Scientific Computing, 20, 844–857.
*Lingjarde, O. C. and Liestol, K. (1998) [https://www.researchgate.net/profile/Ole_Lingjaerde/publication/262216996_Generalized_projection_pursuit_regression/links/545b9d500cf249070a7a7815/Generalized-projection-pursuit-regression Generalized Projection Pursuit Regression]. SIAM Journal of Scientific Computing, 20, 844–857.
[[Category: प्रतिगमन विश्लेषण]]


[[Category: Machine Translated Page]]
[[Category:Created On 07/07/2023]]
[[Category:Created On 07/07/2023]]
[[Category:Machine Translated Page]]
[[Category:Pages with script errors]]
[[Category:Templates Vigyan Ready]]
[[Category:प्रतिगमन विश्लेषण]]

Latest revision as of 09:47, 26 July 2023

सांख्यिकी में, प्रोजेक्शन अनुसरण प्रतिगमन (पीपीआर) जेरोम एच. फ्रीडमैन और वर्नर स्टुट्ज़ल द्वारा विकसित सांख्यिकीय मॉडल है जोकी योगात्मक मॉडल का विस्तार है। इस प्रकार यह मॉडल एडिटिव मॉडल को इस तरह से अनुकूलित करता है कि यह इन व्याख्यात्मक वेरिएबल पर स्मूथिंग फलन प्रस्तुत करने से प्रथम व्याख्यात्मक वेरिएबल के डेटा आव्यूह (बहुभिन्नरूपी आँकड़े) को इष्टतम दिशा में दर्शाता है।

इस प्रकार से मॉडल में रिज फलन के रैखिक संयोजन सम्मिलित किया गया हैं: और व्याख्यात्मक वेरिएबल के रैखिक संयोजनों के गैर-रेखीय परिवर्तन। मूल मॉडल रूप लेता है।

जहाँ xi डिज़ाइन आव्यूह की 1 × p पंक्ति है जिसमें उदाहरण के लिए i, yi जैसे व्याख्यात्मक वेरिएबल सम्मिलित होते हैं 1 × 1 पूर्वानुमान है, {βj} r सदिश का संग्रह है (प्रत्येक लंबाई p का इकाई सदिश ) जिसमें अज्ञात पैरामीटर सम्मिलित हैं, {fj} आर का संग्रह है जो प्रारंभ में अज्ञात सुचारू फलन है जो ℝ → ℝ से मैप होता है, और r हाइपरपैरामीटर है। r के लिए अच्छे मान क्रॉस-वैलिडेशन (सांख्यिकी) क्रॉस-वैलिडेशन या फॉरवर्ड स्टेज-वार रणनीति के माध्यम से निर्धारित किए जा सकते हैं जो तब रुक जाता है जब मॉडल फिट में महत्वपूर्ण सुधार नहीं किया जा सकता है। जैसे-जैसे r अनंत तक पहुंचता है और फलन के उचित समुच्चय के साथ {fj} पीपीआर मॉडल सार्वभौमिक अनुमानक है, क्योंकि यह ℝp.में किसी भी निरंतर फलन का अनुमान लगा सकता है।

मॉडल अनुमान

डेटा के किसी दिए गए समुच्चय के लिए , लक्ष्य त्रुटि फलन को कम करना है।

फलन और सदिश . सभी चरों को साथ हल करने की कोई विधि उपस्तिथ नहीं है, किन्तु इसे वैकल्पिक अनुकूलन के माध्यम से हल किया जा सकता है। सबसे प्रथम , प्रत्येक पर व्यक्तिगत रूप से विचार करें व्यक्तिगत रूप से जोड़ी: अन्य सभी मापदंडों को तय होने दें, और अवशिष्ट खोजें, आउटपुट का विचरण उन अन्य मापदंडों द्वारा ध्यान में नहीं रखा गया है, जिनके द्वारा दिया गया है।

त्रुटि फलन को न्यूनतम करने का फलन अब हल करने तक कम हो गया है।

:

अतः प्रत्येक j के लिए बारी-बारी से। सामान्यतः नया जोड़े को आगे चरण-वार विधि से मॉडल में जोड़ा जाता है।

इस प्रकार से तरफ नई फिट-जोड़ियों को बैकफ़िटिंग एल्गोरिदम नामक एल्गोरिदम द्वारा निर्धारित करने के बाद प्रथम से फिट जोड़े को दोबारा समायोजित किया जा सकता है, जिसमें पिछली जोड़ी पर पुनर्विचार करना था , शेष जोड़े को दोबारा गणना करना, अन्य जोड़े कैसे परिवर्तित गए हैं, उस नए के लिए खाते में फिर से फिट करना सम्मिलित है जानकारी है , और फिर सभी फिट-जोड़ियों के माध्यम से इस प्रकार से तब तक साइकिल चलाना जब तक पैरामीटर एकाग्र न हो जाएं। इस प्रकार से इस प्रक्रिया के परिणामस्वरूप सामान्यतः मॉडल तैयार होता है जोकी कम फिट-जोड़ियों के साथ उत्तम प्रदर्शन करता है, चूंकि इसे प्रशिक्षित करने में अधिक समय लगता है, और सामान्यतः बैकफिटिंग को छोड़कर और मॉडल में अधिक फिट जोड़कर (आर बढ़ाकर) समान प्रदर्शन प्राप्त करना संभव है।

माना की जोड़ी को निर्धारित करने के लिए सरलीकृत त्रुटि फलन को हल करना वैकल्पिक अनुकूलन के साथ किया जा सकता है, जहां पहले को 1D स्थान में प्रोजेक्ट करने के लिए एक यादृच्छिक का उपयोग किया जाता है, और फिर उस प्रक्षेपण और अवशेषों के मध्य संबंध का वर्णन करने के लिए इष्टतम पाया जाता है। आपकी रुचिकर स्कैटर प्लॉट प्रतिगमन विधि है । तो यदि को स्थिर रखा जाता है, यह मानते हुए कि एक बार विभेदित हो जाता है, इष्टतम अद्यतन भार को गॉस-न्यूटन एल्गोरिथम विधि के माध्यम से पाया जा सकता है - एक अर्ध-न्यूटन विधि जिसमें दूसरे व्युत्पन्न को सम्मिलित करने वाले हेसियन के भाग को छोड़ दिया जाता है। इसे प्राप्त करने के लिए सबसे प्रथम टेलर श्रृंखला ने विस्तार किया, सरलीकृत त्रुटि फलन में उपयोग होता है

फलन और इसे फॉर्म में रखने के लिए कुछ बीजगणितीय हेरफेर करें.

यह भारित न्यूनतम वर्ग समस्या है। यदि हम सभी भारों को हल करें और उन्हें विकर्ण आव्यूह में रखें , सभी नए लक्ष्यों को एक सदिश में, ढेर करें और पूर्ण डेटा आव्यूह का उपयोग करें एकल उदाहरण के अतिरिक्त पूर्ण डेटा आव्यूह का उपयोग करें, फिर इष्टतम संवर्त-फॉर्म द्वारा दिया गया है.

का नया प्रक्षेपण खोजने और को नए स्कैटर प्लॉट में दोबारा फिट करने के लिए इस अद्यतन का उपयोग करें। फिर उपरोक्त को हल करके को अद्यतन करने के लिए उस नए का उपयोग करें, और इस वैकल्पिक प्रक्रिया को तब तक जारी रखें जब तक कि अभिसरण न हो जाए.

यह दिखाया गया है कि अभिसरण दर, पूर्वाग्रह और विचरण और . के अनुमान से प्रभावित होते हैं।

विचार-विमर्श

इस प्रकार पीपीआर मॉडल एक मूलभूत एडिटिव मॉडल का रूप लेता है किन्तु अतिरिक्त घटक के साथ, इसलिए प्रत्येक कच्चे इनपुट का उपयोग करने के अतिरिक्त प्रशिक्षण के समय बनाम अवशिष्ट (अस्पष्टीकृत भिन्नता) के स्कैटर प्लॉट में फिट बैठता है। यह प्रत्येक को निम्न आयाम में खोजने की समस्या को रोकता है, इसे सामान्य न्यूनतम वर्ग या स्पलाइन फिटिंग विधियों के साथ हल करने योग्य बनाता है और प्रशिक्षण के समय आयामीता के अभिशाप को दूर करता है। क्योंकि को , के प्रक्षेपण से लिया गया है, परिणाम प्रक्षेपण आयाम के लिए "रिज" ऑर्थोगोनल जैसा दिखता है, इसलिए को सदैव "रिज फलन " कहा जाता है। दिशा को उनके संबंधित रिज फलन के फिट को अनुकूलित करने के लिए चुना जाता है।

इस प्रकार से ध्यान दें कि क्योंकि पीपीआर डेटा के अनुमानों को फिट करने का प्रयास करता है, इसलिए फिट किए गए मॉडल की समग्र रूप से व्याख्या करना कठिन हो सकता है, क्योंकि प्रत्येक इनपुट वेरिएबल का गणना जटिल और बहुआयामी विधि से किया गया है। यह मॉडल को डेटा को समझने की तुलना में पूर्वानुमान के लिए अधिक उपयोगी बना सकता है, चूंकि व्यक्तिगत रिज फलन की कल्पना करना और इस बात पर विचार करना कि मॉडल किन अनुमानों की खोज कर रहा है, कुछ अंतर्दृष्टि प्राप्त कर सकते हैं।

पीपीआर आकलन के लाभ

  • यह उनके बहुभिन्नरूपी रूप के अतिरिक्त यूनीवेरिएट रिग्रेशन फलन का उपयोग करता है, इस प्रकार आयामीता के अभिशाप से प्रभावी रूप से निपटता है।
  • यूनिवेरिएट रिग्रेशन सरल और कुशल अनुमान की अनुमति देता है।
  • सामान्यीकृत योगात्मक मॉडल के सापेक्ष, पीपीआर फलन के अधिक समृद्ध वर्ग का अनुमान लगा सकता है।
  • स्थानीय औसत विधि (जैसे कि के-निकटतम) के विपरीत, पीपीआर कम व्याख्यात्मक सशक्त वाले वेरिएबल को अनदेखा कर सकता है।

पीपीआर आकलन के हानि

  • पीपीआर को अनुमान लगाने के लिए एम-आयामी पैरामीटर स्थान की जांच करने की आवश्यकता होती है.
  • इसके लिए स्मूथिंग पैरामीटर का चयन करना होगा.
  • मॉडल की व्याख्या करना सदैव कठिन होता है।

पीपीआर का विस्तार

  • रेडियल फलन , हार्मोनिक फलन और एडिटिव फलन जैसे वैकल्पिक स्मूथर्स का सुझाव दिया गया है और उनका प्रदर्शन उपयोग किए गए डेटा समुच्चय के आधार पर भिन्न होता है।
  • वैकल्पिक अनुकूलन मानदंड का भी उपयोग किया गया है, जैसे मानक निरपेक्ष विचलन और माध्य निरपेक्ष विचलन है ।
  • गणना को सरल बनाने के लिए साधारण न्यूनतम वर्गों का उपयोग किया जा सकता है क्योंकि सदैव डेटा में कठोर गैर-रैखिकताएं नहीं होती हैं।
  • पीपीआर के लिए दिशा सदिश चुनने के लिए स्लाइस्ड इनवर्स रिग्रेशन (एसआईआर) का उपयोग किया गया है।
  • सामान्यीकृत पीपीआर नियमित पीपीआर को पुनरावृत्त रूप से पुनः भारित न्यूनतम वर्ग (आईआरएलएस) और बाइनरी डेटा का अनुमान लगाने के लिए लिंक फलन के साथ जोड़ता है।

पीपीआर बनाम तंत्रिका नेटवर्क (एनएन)

इस प्रकार से दोनों प्रक्षेपण प्रतिगमन और छिपी हुई परत के साथ पूर्ण रूप से जुड़े हुए तंत्रिका नेटवर्क आयामी हाइपरप्लेन पर इनपुट सदिश को प्रोजेक्ट करते हैं और फिर इनपुट वेरिएबल के गैर-रेखीय परिवर्तन को प्रस्तुत करते हैं जो फिर रैखिक मॉडल में जोड़े जाते हैं। इस प्रकार दोनों आयामीता के अभिशाप को दूर करने के लिए समान कदमों का पालन करते हैं। मुख्य अंतर यह है कि फलन पीपीआर में फिट किया जाना इनपुट वेरिएबल के प्रत्येक संयोजन के लिए अलग-अलग हो सकता है और समय में का अनुमान लगाया जाता है और फिर वजन के साथ अद्यतन किया जाता है, जबकि एनएन में ये सभी प्रथम से निर्दिष्ट होते हैं और साथ अनुमानित होते हैं।

इस प्रकार, पीपीआर अनुमान में पीपीआर में वेरिएबल के परिवर्तन डेटा संचालित होते हैं जबकि एकल-परत तंत्रिका नेटवर्क में ये परिवर्तन तय होते हैं।

यह भी देखें

  • प्रक्षेपण अनुसरण

संदर्भ

  • Friedman, J.H. and Stuetzle, W. (1981) Projection Pursuit Regression. Journal of the American Statistical Association, 76, 817–823.
  • Hand, D., Mannila, H. and Smyth, P, (2001) Principles of Data Mining. MIT Press. ISBN 0-262-08290-X
  • Hall, P. (1988) Estimating the direction in which a data set is the most interesting, Probab. Theory Related Fields, 80, 51–77.
  • Hastie, T. J., Tibshirani, R. J. and Friedman, J.H. (2009). The Elements of Statistical Learning: Data Mining, Inference and Prediction. Springer. ISBN 978-0-387-84857-0
  • Klinke, S. and Grassmann, J. (2000) ‘Projection Pursuit Regression’ in Smoothing and Regression: Approaches, Computation and Application. Ed. Schimek, M.G.. Wiley Interscience.
  • Lingjarde, O. C. and Liestol, K. (1998) Generalized Projection Pursuit Regression. SIAM Journal of Scientific Computing, 20, 844–857.