प्रक्षेपण अनुसरण प्रतिगमन

सांख्यिकी में, प्रोजेक्शन अनुसरण प्रतिगमन (पीपीआर) जेरोम एच. फ्रीडमैन और वर्नर स्टुट्ज़ल द्वारा विकसित सांख्यिकीय मॉडल है जोकी योगात्मक मॉडल का विस्तार है। इस प्रकार यह मॉडल एडिटिव मॉडल को इस तरह से अनुकूलित करता है कि यह इन व्याख्यात्मक वेरिएबल पर स्मूथिंग फलन प्रस्तुत करने से प्रथम व्याख्यात्मक वेरिएबल के डेटा मैट्रिक्स (बहुभिन्नरूपी आँकड़े) को इष्टतम दिशा में दर्शाता है।

इस प्रकार से मॉडल में रिज फलन के रैखिक संयोजन सम्मिलित किया गया हैं: और व्याख्यात्मक वेरिएबल के रैखिक संयोजनों के गैर-रेखीय परिवर्तन। मूल मॉडल रूप लेता है।

$y_{i}=\beta _{0}+\sum _{j=1}^{r}f_{j}(\beta _{j}^{\mathrm {T} }x_{i})+\varepsilon _{i},$

जहाँ x_i डिज़ाइन मैट्रिक्स की 1 × p पंक्ति है जिसमें उदाहरण के लिए i, y_i जैसे व्याख्यात्मक वेरिएबल सम्मिलित हैं 1 × 1 भविष्यवाणी है, {β_j} r वैक्टर का संग्रह है (प्रत्येक लंबाई p का इकाई वेक्टर) जिसमें अज्ञात पैरामीटर सम्मिलित हैं, {f_j} आर का संग्रह है जो शुरू में अज्ञात सुचारू फलन है जो ℝ → ℝ से मैप होता है, और r हाइपरपैरामीटर है। आर के लिए अच्छे मान क्रॉस-वैलिडेशन (सांख्यिकी) क्रॉस-वैलिडेशन या फॉरवर्ड स्टेज-वार रणनीति के माध्यम से निर्धारित किए जा सकते हैं जो तब रुक जाता है जब मॉडल फिट में महत्वपूर्ण सुधार नहीं किया जा सकता है। जैसे-जैसे r अनंत तक पहुंचता है और फलन के उचित समुच्चय के साथ {f_j} पीपीआर मॉडल सार्वभौमिक अनुमानक है, क्योंकि यह ℝ^p.में किसी भी निरंतर फलन का अनुमान लगा सकता है।

मॉडल अनुमान

डेटा के किसी दिए गए समुच्चय के लिए $\{(y_{i},x_{i})\}_{i=1}^{n}$, लक्ष्य त्रुटि फलन को कम करना है।

$\min _{f_{j},\beta _{j}}S=\sum _{i=1}^{n}\left[y_{i}-\sum _{j=1}^{r}f_{j}(\beta _{j}^{\mathrm {T} }x_{i})\right]^{2}$

फलन $f_{j}$ और वैक्टर $\beta _{j}$. सभी चरों को साथ हल करने की कोई विधि मौजूद नहीं है, किन्तु इसे वैकल्पिक अनुकूलन के माध्यम से हल किया जा सकता है। सबसे प्रथम , प्रत्येक $(f_{j},\beta _{j})$ पर व्यक्तिगत रूप से विचार करें व्यक्तिगत रूप से जोड़ी: अन्य सभी मापदंडों को तय होने दें, और अवशिष्ट खोजें, आउटपुट का विचरण उन अन्य मापदंडों द्वारा ध्यान में नहीं रखा गया है, जिनके द्वारा दिया गया है।

$r_{i}=y_{i}-\sum _{l\neq j}f_{l}(\beta _{l}^{\mathrm {T} }x_{i})$

त्रुटि फलन को न्यूनतम करने का फलन अब हल करने तक कम हो गया है।

$\min _{f_{j},\beta _{j}}S'=\sum _{i=1}^{n}\left[r_{i}-f_{j}(\beta _{j}^{\mathrm {T} }x_{i})\right]^{2}$:

अतः प्रत्येक j के लिए बारी-बारी से। सामान्यतः नया $(f_{j},\beta _{j})$ जोड़े को आगे चरण-वार विधि से मॉडल में जोड़ा जाता है।

इस प्रकार से तरफ नई फिट-जोड़ियों को बैकफ़िटिंग एल्गोरिदम नामक एल्गोरिदम द्वारा निर्धारित करने के बाद प्रथम से फिट जोड़े को दोबारा समायोजित किया जा सकता है, जिसमें पिछली जोड़ी पर पुनर्विचार करना, शेष जोड़े को दोबारा गणना करना, अन्य जोड़े कैसे परिवर्तित गए हैं, उस नए के लिए खाते में फिर से फिट करना सम्मिलित है जानकारी, और फिर सभी फिट-जोड़ियों के माध्यम से इस प्रकार से तब तक साइकिल चलाना जब तक पैरामीटर एकाग्र न हो जाएं। इस प्रकार से इस प्रक्रिया के परिणामस्वरूप सामान्यतः मॉडल तैयार होता है जोकी कम फिट-जोड़ियों के साथ उत्तम प्रदर्शन करता है, चूंकि इसे प्रशिक्षित करने में अधिक समय लगता है, और सामान्यतः बैकफिटिंग को छोड़कर और मॉडल में अधिक फिट जोड़कर (आर बढ़ाकर) समान प्रदर्शन प्राप्त करना संभव है।

$(f_{j},\beta _{j})$ जोड़ी को निर्धारित करने के लिए सरलीकृत त्रुटि फलन को हल करना वैकल्पिक अनुकूलन के साथ किया जा सकता है, जहां पहले $X$ को 1D स्थान में प्रोजेक्ट करने के लिए एक यादृच्छिक $\beta _{j}$ का उपयोग किया जाता है, और फिर उस प्रक्षेपण और अवशेषों के मध्य संबंध का वर्णन करने के लिए इष्टतम $f_{j}$ पाया जाता है। आपकी पसंदीदा स्कैटर प्लॉट प्रतिगमन विधि। तो यदि $f_{j}$ को स्थिर रखा जाता है, यह मानते हुए कि $f_{j}$ एक बार विभेदित हो जाता है, इष्टतम अद्यतन भार $\beta _{j}$ को गॉस-न्यूटन एल्गोरिथम विधि के माध्यम से पाया जा सकता है - एक अर्ध-न्यूटन विधि जिसमें दूसरे व्युत्पन्न को शामिल करने वाले हेसियन के हिस्से को छोड़ दिया जाता है। इसे प्राप्त करने के लिए सबसे प्रथम टेलर श्रृंखला $f_{j}(\beta _{j}^{T}x_{i})\approx f_{j}(\beta _{j,old}^{T}x_{i})+{\dot {f_{j}}}(\beta _{j,old}^{T}x_{i})(\beta _{j}^{T}x_{i}-\beta _{j,old}^{T}x_{i})$ ने विस्तार किया, सरलीकृत त्रुटि फलन में

फलन $S'$ और इसे फॉर्म में रखने के लिए कुछ बीजगणितीय हेरफेर करें.

$\min _{\beta _{j}}S'\approx \sum _{i=1}^{n}\underbrace {{\dot {f_{j}}}(\beta _{j,old}^{T}x_{i})^{2}} _{w}{\Bigg [}{\bigg (}\underbrace {\beta _{j,old}^{T}x_{i}+{\frac {r_{i}-f_{j}(\beta _{j,old}^{T}x_{i})}{{\dot {f_{j}}}(\beta _{j,old}^{T}x_{i})}}} _{\hat {b}}{\bigg )}-\beta _{j}^{T}x_{i}{\Bigg ]}^{2}$

यह भारित न्यूनतम वर्ग समस्या है। यदि हम सभी भारों को हल करें $w$ और उन्हें विकर्ण मैट्रिक्स में रखें $W$, सभी नए लक्ष्यों ${\hat {b}}$ को एक वेक्टर में, ढेर करें और पूर्ण डेटा मैट्रिक्स का उपयोग करें एकल उदाहरण $x_{i}$ के अतिरिक्त पूर्ण डेटा मैट्रिक्स $X$ का उपयोग करें, फिर इष्टतम $\beta _{j}$ संवर्त-फॉर्म द्वारा दिया गया है.

${\underset {\beta _{j}}{\operatorname {arg\,min} }}{\Big \|}{\vec {\hat {b}}}-X\beta _{j}{\Big \|}_{W}^{2}=(X^{\mathrm {T} }WX)^{-1}X^{\mathrm {T} }W{\vec {\hat {b}}}$

$X$ का नया प्रक्षेपण खोजने और $f_{j}$ को नए स्कैटर प्लॉट में दोबारा फिट करने के लिए इस अद्यतन $\beta _{j}$ का उपयोग करें। फिर उपरोक्त को हल करके $\beta _{j}$ को अद्यतन करने के लिए उस नए $f_{j}$ का उपयोग करें, और इस वैकल्पिक प्रक्रिया को तब तक जारी रखें जब तक कि $(f_{j},\beta _{j})$ अभिसरण न हो जाए.

यह दिखाया गया है कि अभिसरण दर, पूर्वाग्रह और विचरण $\beta _{j}$ और $f_{j}$. के अनुमान से प्रभावित होते हैं।

विचार-विमर्श

इस प्रकार पीपीआर मॉडल एक मूलभूत एडिटिव मॉडल का रूप लेता है लेकिन अतिरिक्त $\beta _{j}$ घटक के साथ, इसलिए प्रत्येक $f_{j}$ कच्चे इनपुट का उपयोग करने के बजाय प्रशिक्षण के समय $\beta _{j}^{T}X^{T}$ बनाम अवशिष्ट (अस्पष्टीकृत भिन्नता) के स्कैटर प्लॉट में फिट बैठता है। यह प्रत्येक $f_{j}$ को निम्न आयाम में खोजने की समस्या को रोकता है, इसे सामान्य न्यूनतम वर्ग या स्पलाइन फिटिंग विधियों के साथ हल करने योग्य बनाता है और प्रशिक्षण के समय आयामीता के अभिशाप को दूर करता है। क्योंकि $f_{j}$ को $X$, के प्रक्षेपण से लिया गया है, परिणाम प्रक्षेपण आयाम के लिए "रिज" ऑर्थोगोनल जैसा दिखता है, इसलिए $\{f_{j}\}$ को सदैव "रिज फलन " कहा जाता है। दिशा $\beta _{j}$ को उनके संबंधित रिज फलन के फिट को अनुकूलित करने के लिए चुना जाता है।

इस प्रकार से ध्यान दें कि क्योंकि पीपीआर डेटा के अनुमानों को फिट करने का प्रयास करता है, इसलिए फिट किए गए मॉडल की समग्र रूप से व्याख्या करना कठिन हो सकता है, क्योंकि प्रत्येक इनपुट वेरिएबल का हिसाब जटिल और बहुआयामी विधि से किया गया है। यह मॉडल को डेटा को समझने की तुलना में भविष्यवाणी के लिए अधिक उपयोगी बना सकता है, चूंकि व्यक्तिगत रिज फलन की कल्पना करना और इस बात पर विचार करना कि मॉडल किन अनुमानों की खोज कर रहा है, कुछ अंतर्दृष्टि प्राप्त कर सकते हैं।

पीपीआर आकलन के लाभ

• यह उनके बहुभिन्नरूपी रूप के अतिरिक्त यूनीवेरिएट रिग्रेशन फलन का उपयोग करता है, इस प्रकार आयामीता के अभिशाप से प्रभावी ढंग से निपटता है।
• यूनिवेरिएट रिग्रेशन सरल और कुशल अनुमान की अनुमति देता है।
• सामान्यीकृत योगात्मक मॉडल के सापेक्ष, पीपीआर फलन के अधिक समृद्ध वर्ग का अनुमान लगा सकता है।
• स्थानीय औसत विधि (जैसे कि के-निकटतम पड़ोसियों) के विपरीत, पीपीआर कम व्याख्यात्मक शक्ति वाले वेरिएबल को अनदेखा कर सकता है।

पीपीआर आकलन के हानि

• पीपीआर को अनुमान लगाने के लिए एम-आयामी पैरामीटर स्थान $\beta _{j}$ की जांच करने की आवश्यकता होती है.
• इसके लिए स्मूथिंग पैरामीटर $f_{j}$ का चयन करना होगा.
• मॉडल की व्याख्या करना सदैव कठिन होता है।

पीपीआर का विस्तार

• रेडियल फलन , हार्मोनिक फलन और एडिटिव फलन जैसे वैकल्पिक स्मूथर्स का सुझाव दिया गया है और उनका प्रदर्शन उपयोग किए गए डेटा समुच्चय के आधार पर भिन्न होता है।
• वैकल्पिक अनुकूलन मानदंड का भी उपयोग किया गया है, जैसे मानक निरपेक्ष विचलन और माध्य निरपेक्ष विचलन।
• गणना को सरल बनाने के लिए साधारण न्यूनतम वर्गों का उपयोग किया जा सकता है क्योंकि सदैव डेटा में कठोर गैर-रैखिकताएं नहीं होती हैं।
• पीपीआर के लिए दिशा वैक्टर चुनने के लिए स्लाइस्ड इनवर्स रिग्रेशन (एसआईआर) का उपयोग किया गया है।
• सामान्यीकृत पीपीआर नियमित पीपीआर को पुनरावृत्त रूप से पुनः भारित न्यूनतम वर्ग (आईआरएलएस) और बाइनरी डेटा का अनुमान लगाने के लिए लिंक फलन के साथ जोड़ता है।

पीपीआर बनाम तंत्रिका नेटवर्क (एनएन)

इस प्रकार से दोनों प्रक्षेपण प्रतिगमन और छिपी हुई परत के साथ पूर्ण रूप से जुड़े हुए तंत्रिका नेटवर्क आयामी हाइपरप्लेन पर इनपुट वेक्टर को प्रोजेक्ट करते हैं और फिर इनपुट वेरिएबल के गैर-रेखीय परिवर्तन को प्रस्तुत करते हैं जो फिर रैखिक मॉडल में जोड़े जाते हैं। इस प्रकार दोनों आयामीता के अभिशाप को दूर करने के लिए समान कदमों का पालन करते हैं। मुख्य अंतर यह है कि फलन $f_{j}$ पीपीआर में फिट किया जाना इनपुट वेरिएबल के प्रत्येक संयोजन के लिए अलग-अलग हो सकता है और समय में का अनुमान लगाया जाता है और फिर वजन के साथ अद्यतन किया जाता है, जबकि एनएन में ये सभी प्रथम से निर्दिष्ट होते हैं और साथ अनुमानित होते हैं।

इस प्रकार, पीपीआर अनुमान में पीपीआर में वेरिएबल के परिवर्तन डेटा संचालित होते हैं जबकि एकल-परत तंत्रिका नेटवर्क में ये परिवर्तन तय होते हैं।

यह भी देखें

• प्रक्षेपण अनुसरण

संदर्भ

• Friedman, J.H. and Stuetzle, W. (1981) Projection Pursuit Regression. Journal of the American Statistical Association, 76, 817–823.
• Hand, D., Mannila, H. and Smyth, P, (2001) Principles of Data Mining. MIT Press. ISBN 0-262-08290-X
• Hall, P. (1988) Estimating the direction in which a data set is the most interesting, Probab. Theory Related Fields, 80, 51–77.
• Hastie, T. J., Tibshirani, R. J. and Friedman, J.H. (2009). The Elements of Statistical Learning: Data Mining, Inference and Prediction. Springer. ISBN 978-0-387-84857-0
• Klinke, S. and Grassmann, J. (2000) ‘Projection Pursuit Regression’ in Smoothing and Regression: Approaches, Computation and Application. Ed. Schimek, M.G.. Wiley Interscience.
• Lingjarde, O. C. and Liestol, K. (1998) Generalized Projection Pursuit Regression. SIAM Journal of Scientific Computing, 20, 844–857.