एरर-इन-वैरिएबल मॉडल

आँकड़ों में, एरर-इन-वैरिएबल मॉडल या माप त्रुटि मॉडल प्रतिगमन मॉडल हैं जो स्वतंत्र चर में माप त्रुटियों के लिए खाते हैं। इसके विपरीत, मानक प्रतिगमन मॉडल मानते हैं कि उन प्रतिगमनकर्ताओं को यथार्थ रूप से मापा गया है, या त्रुटि के बिना मनाया गया है; जैसे, वे मॉडल मात्र निर्भर चर, या प्रतिक्रियाओं में त्रुटियों के लिए खाते हैं।

एरर-इन-वैरिएबल मॉडल में प्रतिगमन अनुमानों की एक श्रृंखला द्वारा प्रतिगमन तनुता (या क्षीणन पूर्वाग्रह) का चित्रण। दो प्रतिगमन रेखाएँ (लाल) रैखिक प्रतिगमन संभावनाओं की सीमा को बाध्य करती हैं। उथला ढलान तब प्राप्त होता है जब स्वतंत्र चर (या भविष्यवक्ता) भुज (एक्स-अक्ष) पर होता है। तीव्र ढलान तब प्राप्त होता है जब स्वतंत्र चर कोटि (y-अक्ष) पर होता है। परिपाटी से, x-अक्ष पर स्वतंत्र चर के साथ, उथला ढलान प्राप्त होता है। हरे रंग की संदर्भ रेखाएँ प्रत्येक धुरी के साथ मनमाने डिब्बे के भीतर औसत होती हैं। ध्यान दें कि तेज हरे और लाल प्रतिगमन अनुमान y-अक्ष चर में छोटी त्रुटियों के साथ अधिक संगत हैं।

ऐसी स्थिति में जब कुछ रजिस्टरों को त्रुटियों के साथ मापा गया है, मानक धारणा के आधार पर अनुमान निरंतर अनुमानक अनुमानों की ओर जाता है, जिसका अर्थ है कि पैरामीटर अनुमान बहुत बड़े प्रतिदर्शों में भी सत्य मानों की ओर नहीं जाते हैं। सरल रेखीय प्रतिगमन के लिए प्रभाव गुणांक का कम अनुमान है, जिसे क्षीणन पूर्वाग्रह के रूप में जाना जाता है। अरैखिक प्रतिरूपण में पूर्वाग्रह की दिशा अधिक जटिल होने की संभावना है।

प्रेरक उदाहरण

प्रपत्र

$y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t}\,,\quad t=1,\ldots ,T,$

के एक साधारण रेखीय प्रतिगमन मॉडल पर विचार करें जहां $x_{t}^{*}$ सत्य परन्तु अव्यक्त चर को दर्शाता है। इसके अतिरिक्त हम इस मान को एक त्रुटि के साथ देखते हैं:

$x_{t}=x_{t}^{*}+\eta _{t}\,$

जहां माप त्रुटि $\eta _{t}$ को वास्तविक मान $x_{t}^{*}$ से स्वतंत्र माना जाता है।

यदि $y_{t}$पर बस प्रतिगमन किया जाता है $x_{t}$ (सरल रेखीय प्रतिगमन देखें), तो ढलान गुणांक के लिए अनुमानक

${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\,,$

है, जो प्रतिदर्श आकार के रूप में अभिसरण करता है $T$ बिना सीमा के बढ़ता है:

${\hat {\beta }}\xrightarrow {p} {\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}={\frac {\beta \sigma _{x^{*}}^{2}}{\sigma _{x^{*}}^{2}+\sigma _{\eta }^{2}}}={\frac {\beta }{1+\sigma _{\eta }^{2}/\sigma _{x^{*}}^{2}}}\,.$

प्रसरण गैर-ऋणात्मक होते हैं, इसलिए सीमा में अनुमान $\beta$ के वास्तविक मान की तुलना में परिमाण में छोटा होता है, एक प्रभाव जिसे सांख्यिकीविद् क्षीणन या प्रतिगमन तनुता कहते हैं। इस प्रकार 'अनुभवहीन ' कम से कम वर्ग अनुमानक इस व्यवस्था में सुसंगत अनुमानक है। यद्यपि, अनुमानक $y$ दिए गए $x$ के सर्वश्रेष्ठ रैखिक भविष्यवक्ता के लिए आवश्यक पैरामीटर का एक सुसंगत अनुमानक है: कुछ अनुप्रयोगों में यह वही हो सकता है जो 'सत्य' प्रतिगमन गुणांक के अनुमान के अतिरिक्त आवश्यक हो, यद्यपि यह मान लिया जाएगा कि $x^{*}$ देखने में त्रुटियों का विचलन स्थिर रहता है। यह तुरंत ऊपर उद्धृत परिणाम से सीधे आता है, और तथ्य यह है कि $y_{t}$ से संबंधित प्रतिगमन गुणांक वस्तुतः मनाया गया $x_{t}$, एक साधारण रेखीय प्रतिगमन में,

$\beta _{x}={\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}$ द्वारा दिया जाता है।

यह गुणांक है, $\beta$ के अतिरिक्त, जो एक देखे गए $x$ के आधार पर $y$ के भविष्यवक्ता के निर्माण के लिए आवश्यक होगा जो शोर के अधीन है।

यह तर्क दिया जा सकता है कि लगभग सभी वर्तमान डेटा समूह में विभिन्न प्रकृति और परिमाण की त्रुटियां होती हैं, जिससे कि क्षीणन पूर्वाग्रह बहुत बार-बार होता है (यद्यपि बहुभिन्नरूपी प्रतिगमन में पूर्वाग्रह की दिशा अस्पष्ट है)। जेरी हॉसमैन इसे अर्थमिति के लोहे के नियम के रूप में देखते हैं: अनुमान का परिमाण सामान्यतः अपेक्षा से छोटा होता है।

विशिष्टता

सामान्यतः माप त्रुटि मॉडल को अव्यक्त चर मॉडल दृष्टिकोण का उपयोग करके वर्णित किया जाता है। यदि $y$ प्रतिक्रिया चर है और $x$ प्रतिगमनकर्ताओं के देखे गए मान हैं, तो यह माना जाता है कि कुछ अव्यक्त चर $y^{*}$ और $x^{*}$स्थित हैं जो मॉडल के "सत्य " फलन (गणित) $g(\cdot )$ का अनुसरण करते हैं, और ऐसी देखी गई मात्राएँ उनके शोर अवलोकन हैं:

${\begin{cases}y^{*}=g(x^{*}\!,w\,|\,\theta ),\\y=y^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}$

जहां $\theta$ मॉडल का पैरामीटर है और $w$ वे प्रतिगामी हैं जिन्हें त्रुटि-मुक्त माना जाता है (उदाहरण के लिए जब रैखिक प्रतिगमन में एक अवरोधन होता है, तो स्थिरांक से संबंधित प्रतिगामी में निश्चित रूप से कोई माप त्रुटि नहीं होती है)। विशिष्टताओं के आधार पर इन त्रुटि रहित रजिस्टरों के साथ अलग से व्यवहार किया जा सकता है या नहीं भी किया जा सकता है; बाद की स्थिति में यह मात्र माना जाता है कि $\eta$ के विचरण आव्यूह में संबंधित प्रविष्टियाँ शून्य हैं।

चर $y$, $x$, $w$ सभी देखे गए हैं, जिसका अर्थ है कि सांख्यिकीविद के समीप $n$ सांख्यिकीय इकाइयों $\left\{y_{i},x_{i},w_{i}\right\}_{i=1,\dots ,n}$ का डेटा समूह है जो ऊपर वर्णित डेटा संग्रह का पालन करता है; यद्यपि अव्यक्त चर $x^{*}$, $y^{*}$, $\varepsilon$, और $\eta$ नहीं देखे गए हैं।

यह विनिर्देश सभी वर्तमान त्रुटियों-में-चर मॉडल को शामिल नहीं करता है। उदाहरण के लिए उनमें से कुछ कार्य करते हैं $g(\cdot )$ गैर-पैरामीट्रिक आँकड़े हो सकते हैं | गैर-पैरामीट्रिक या अर्ध-पैरामीट्रिक। अन्य दृष्टिकोण बीच के संबंध को मॉडल करते हैं $y^{*}$ और $x^{*}$ कार्यात्मक के अतिरिक्त वितरणात्मक के रूप में, यही वे मानते हैं $y^{*}$ सशर्त रूप से $x^{*}$ एक निश्चित (सामान्यतः पैरामीट्रिक) वितरण का अनुसरण करता है।

शब्दावली और धारणाएं

• मनाया चर $x$ मेनिफेस्ट, संकेतक, या प्रॉक्सी (सांख्यिकी) कहा जा सकता है।
• अप्राप्य चर $x^{*}$ अव्यक्त या सत्य चर कहा जा सकता है। इसे या तो एक अज्ञात स्थिरांक के रूप में माना जा सकता है (जिस स्थिति में मॉडल को एक कार्यात्मक मॉडल कहा जाता है), या एक यादृच्छिक चर (तदनुसार एक संरचनात्मक मॉडल) के रूप में।
• माप त्रुटि के बीच संबंध $\eta$ और अव्यक्त चर $x^{*}$ अलग-अलग तरीकों से मॉडलिंग की जा सकती है:
  • शास्त्रीय त्रुटियां: $\eta \perp x^{*}$ त्रुटियां अव्यक्त चर की स्वतंत्रता (संभाव्यता सिद्धांत) हैं। यह सबसे सामान्य धारणा है, इसका तात्पर्य है कि मापने वाले उपकरण द्वारा त्रुटियां पेश की जाती हैं और उनका परिमाण मापे जाने वाले मान पर निर्भर नहीं करता है।
  • माध्य-स्वतंत्रता: $\operatorname {E} [\eta |x^{*}]\,=\,0,$ त्रुटियाँ अव्यक्त प्रतिगामी के प्रत्येक मान के लिए माध्य-शून्य हैं। यह शास्त्रीय की तुलना में कम प्रतिबंधात्मक धारणा है, क्योंकि यह माप त्रुटियों में विषमलैंगिकता या अन्य प्रभावों की उपस्थिति की अनुमति देता है।
  • बर्कसन त्रुटि मॉडल | बर्कसन की त्रुटियां: $\eta \,\perp \,x,$ त्रुटियाँ देखे गए प्रतिगामी x से स्वतंत्र हैं। इस धारणा की बहुत सीमित प्रयोज्यता है। एक उदाहरण राउंड-ऑफ त्रुटियां हैं: उदाहरण के लिए यदि किसी व्यक्ति की age* एक सतत और असतत चर है, जबकि मनाया गया age को अगले सबसे छोटे पूर्णांक तक छोटा कर दिया जाता है, फिर ट्रंकेशन त्रुटि देखी गई age से लगभग स्वतंत्र होती है। एक और संभावना निश्चित डिजाइन प्रयोग के साथ है: उदाहरण के लिए यदि कोई वैज्ञानिक समय के एक निश्चित पूर्व निर्धारित क्षण पर माप करने का निर्णय लेता है $x$, साया टी $x=10s$, तब वास्तविक माप किसी अन्य मान पर हो सकता है $x^{*}$ (उदाहरण के लिए उसके परिमित प्रतिक्रिया समय के कारण) और ऐसी माप त्रुटि सामान्यतः प्रतिगामी के देखे गए मान से स्वतंत्र होगी।
  • गलत वर्गीकरण त्रुटियां: डमी चर (सांख्यिकी) के लिए प्रयुक्त विशेष मामला। यदि $x^{*}$ एक निश्चित घटना या स्थिति का सूचक है (जैसे कि व्यक्ति पुरुष/महिला है, कुछ चिकित्सा उपचार दिया गया है/नहीं, आदि), तो ऐसे प्रतिगामी में माप त्रुटि टाइप I और टाइप II त्रुटियों के समान गलत वर्गीकरण के अनुरूप होगी सांख्यिकीय परीक्षण में। इस स्थिति में त्रुटि $\eta$ मात्र 3 संभावित मान ले सकते हैं, और इसका वितरण सशर्त है $x^{*}$ दो मापदंडों के साथ मॉडलिंग की जाती है: $\alpha =\operatorname {Pr} [\eta =-1|x^{*}=1]$, और $\beta =\operatorname {Pr} [\eta =1|x^{*}=0]$। पहचान के लिए आवश्यक शर्त यह है कि $\alpha +\beta <1$यानी गलत वर्गीकरण बार-बार नहीं होना चाहिए। (इस विचार को दो से अधिक संभावित मानों वाले असतत चरों के लिए सामान्यीकृत किया जा सकता है।)

रैखिक मॉडल

रैखिक त्रुटियों-में-चर मॉडल का पहले अध्ययन किया गया था, शायद इसलिए कि रैखिक मॉडल इतने व्यापक रूप से उपयोग किए गए थे और वे गैर-रैखिक वाले की तुलना में आसान हैं। मानक साधारण न्यूनतम वर्ग प्रतिगमन (OLS) के विपरीत, चर प्रतिगमन (EiV) में त्रुटियों को सरल से बहुभिन्नरूपी स्थिति में विस्तारित करना सीधा नहीं है।

सरल रैखिक मॉडल

प्रेरणा अनुभाग में सरल रैखिक त्रुटियों-में-चर मॉडल पहले से ही प्रस्तुत किया गया था:

${\begin{cases}y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t},\end{cases}}$

जहाँ सभी चर अदिश (गणित) हैं। यहाँ α और β ब्याज के पैरामीटर हैं, जबकि σ_εऔर पी_η-त्रुटि शर्तों के मानक विचलन-उपद्रव पैरामीटर हैं। वास्तविक प्रतिगामी x* को एक यादृच्छिक चर (संरचनात्मक मॉडल) के रूप में माना जाता है, माप त्रुटि η (क्लासिक धारणा) से स्वतंत्र।

यह मॉडल दो मामलों में पहचाना जा सकता है: (1) या तो अव्यक्त प्रतिगामी x* सामान्य वितरण नहीं है, (2) या x* का सामान्य वितरण है, परन्तु न तो ε_tन ही एच_tएक सामान्य वितरण से विभाज्य हैं। यही है, पैरामीटर α, β डेटा समूह से निरंतर अनुमान लगाया जा सकता है $\scriptstyle (x_{t},\,y_{t})_{t=1}^{T}$ बिना किसी अतिरिक्त जानकारी के, बशर्ते अव्यक्त प्रतिगामी गाऊसी नहीं है।

इस पहचान योग्य परिणाम के स्थापित होने से पहले, सांख्यिकीविदों ने यह मानकर अधिकतम संभावना तकनीक लागू करने का प्रयास किया कि सभी चर सामान्य हैं, और फिर निष्कर्ष निकाला कि मॉडल की पहचान नहीं की गई है। सुझाया गया उपाय यह मानना ​​था कि मॉडल के कुछ पैरामीटर ज्ञात हैं या बाहरी स्रोत से अनुमान लगाया जा सकता है। इस तरह के आकलन के तरीकों में शामिल हैं

• डेमिंग प्रतिगमन - मानता है कि अनुपात δ = σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >ε/σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η जाना जाता है। यह उदाहरण के लिए उपयुक्त हो सकता है जब y और x दोनों में त्रुटियाँ माप के कारण होती हैं, और माप उपकरणों या प्रक्रियाओं की सटीकता ज्ञात होती है। मामला जब δ = 1 को ऑर्थोगोनल प्रतिगमन के रूप में भी जाना जाता है।
• ज्ञात विश्वसनीयता (सांख्यिकी) के साथ प्रतिगमन λ = σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.6em >∗</उप>/ ( σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</ उप> + σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.6em >∗</उप>), जहां σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.6em >∗</उप> का प्रसरण है अव्यक्त प्रतिगामी। इस तरह के दृष्टिकोण उदाहरण के लिए लागू हो सकते हैं जब एक ही इकाई के दोहराए गए माप उपलब्ध हों, या जब स्वतंत्र अध्ययन से विश्वसनीयता अनुपात ज्ञात हो। इस स्थिति में ढलान का सुसंगत अनुमान λ द्वारा विभाजित न्यूनतम वर्ग अनुमान के बराबर है।
• ज्ञात σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</उप> के साथ प्रतिगमन तब हो सकता है जब x में त्रुटियों का स्रोत ज्ञात हो और उनके प्रसरण की गणना की जा सके। इसमें राउंडिंग एरर, या मापने वाले उपकरण द्वारा पेश की गई त्रुटियां शामिल हो सकती हैं। जब σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</उप> ज्ञात हो जाता है तो हम विश्वसनीयता अनुपात की गणना λ = ( σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.4em >x<) के रूप में कर सकते हैं /उप> − σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</उप>) / σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.4em>x</उप> और समस्या को कम करें पिछले मामले के लिए।

नए आकलन के तरीके जो मॉडल के कुछ मापदंडों के ज्ञान को नहीं मानते हैं, उनमें शामिल हैं

• Method of moments — the GMM estimator based on the third- (or higher-) order joint cumulants of observable variables. The slope coefficient can be estimated from

  ${\hat {\beta }}={\frac {{\hat {K}}(n_{1},n_{2}+1)}{{\hat {K}}(n_{1}+1,n_{2})}},\quad n_{1},n_{2}>0,$

  where (n₁,n₂) are such that K(n₁+1,n₂) — the joint cumulant of (x,y) — is not zero. In the case when the third central moment of the latent regressor x* is non-zero, the formula reduces to

  ${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})^{2}}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}(y_{t}-{\bar {y}})}}\ .$

• Instrumental variables — a regression which requires that certain additional data variables z, called instruments, were available. These variables should be uncorrelated with the errors in the equation for the dependent (outcome) variable (valid), and they should also be correlated (relevant) with the true regressors x*. If such variables can be found then the estimator takes form
  ${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(z_{t}-{\bar {z}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(z_{t}-{\bar {z}})(x_{t}-{\bar {x}})}}\ .$

बहुभिन्नरूपी रैखिक मॉडल

बहुभिन्नरूपी मॉडल बिल्कुल साधारण रैखिक मॉडल जैसा दिखता है, मात्र इस बार β, η_t, एक्स_t और x*_t k×1 सदिश हैं।

${\begin{cases}y_{t}=\alpha +\beta 'x_{t}^{*}+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t}.\end{cases}}$

स्थिति में जब (ε_t, द_t) संयुक्त रूप से सामान्य है, पैरामीटर β की पहचान नहीं की जाती है यदि और मात्र यदि कोई गैर-एकवचन k×k ब्लॉक आव्यूह [a A] है, जहां a k×1 वेक्टर है जैसे कि a′x* सामान्य रूप से और स्वतंत्र रूप से वितरित किया जाता है एक्स *। स्थिति में जब ε_t, द_t1,..., द_tk पारस्परिक रूप से स्वतंत्र हैं, पैरामीटर β की पहचान नहीं की जाती है यदि और मात्र यदि उपरोक्त शर्तों के अतिरिक्त कुछ त्रुटियां दो स्वतंत्र चर के योग के रूप में लिखी जा सकती हैं जिनमें से एक सामान्य है। बहुभिन्नरूपी रेखीय मॉडल के लिए कुछ आकलन विधियाँ हैं

• Total least squares is an extension of Deming regression to the multivariable setting. When all the k+1 components of the vector (ε,η) have equal variances and are independent, this is equivalent to running the orthogonal regression of y on the vector x — that is, the regression which minimizes the sum of squared distances between points (y_t,x_t) and the k-dimensional hyperplane of "best fit".
• The method of moments estimator can be constructed based on the moment conditions E[z_t·(y_t − α − β'x_t)] = 0, where the (5k+3)-dimensional vector of instruments z_t is defined as

  where $\circ$ designates the Hadamard product of matrices, and variables x_t, y_t have been preliminarily de-meaned. The authors of the method suggest to use Fuller's modified IV estimator.
  

  This method can be extended to use moments higher than the third order, if necessary, and to accommodate variables measured without error.
• The instrumental variables approach requires us to find additional data variables z_t that serve as instruments for the mismeasured regressors x_t. This method is the simplest from the implementation point of view, however its disadvantage is that it requires collecting additional data, which may be costly or even impossible. When the instruments can be found, the estimator takes standard form

  ${\hat {\beta }}={\big (}X'Z(Z'Z)^{-1}Z'X{\big )}^{-1}X'Z(Z'Z)^{-1}Z'y.$

गैर रेखीय मॉडल

एक सामान्य गैर-रैखिक माप त्रुटि मॉडल बनता है

${\begin{cases}y_{t}=g(x_{t}^{*})+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t}.\end{cases}}$

यहाँ फलन g पैरामीट्रिक या गैर-पैरामीट्रिक हो सकता है। जब फ़ंक्शन जी पैरामीट्रिक होता है तो इसे जी (एक्स *, β) के रूप में लिखा जाएगा।

एक सामान्य वेक्टर-मानवान प्रतिगामी x* के लिए मॉडल की पहचान के लिए शर्तें ज्ञात नहीं हैं। यद्यपि स्केलर x* की स्थिति में मॉडल की पहचान तब तक की जाती है जब तक कि फ़ंक्शन g लॉग-एक्सपोनेंशियल फॉर्म का न हो

$g(x^{*})=a+b\ln {\big (}e^{cx^{*}}+d{\big )}$

और अव्यक्त प्रतिगामी x* का घनत्व है

$f_{x^{*}}(x)={\begin{cases}Ae^{-Be^{Cx}+CDx}(e^{Cx}+E)^{-F},&{\text{if}}\ d>0\\Ae^{-Bx^{2}+Cx}&{\text{if}}\ d=0\end{cases}}$

जहां स्थिरांक A,B,C,D,E,F a,b,c,d पर निर्भर हो सकते हैं।

इस आशावादी परिणाम के बावजूद, अब तक बिना किसी बाहरी जानकारी के गैर-रैखिक त्रुटियों-में-चर मॉडल का अनुमान लगाने के लिए कोई तरीका स्थित नहीं है। यद्यपि ऐसी कई तकनीकें हैं जो कुछ अतिरिक्त डेटा का उपयोग करती हैं: या तो उपकरण चर, या बार-बार अवलोकन।

वाद्य चर विधियाँ

• Newey's simulated moments method for parametric models — requires that there is an additional set of observed predictor variables z_t, such that the true regressor can be expressed as

  $x_{t}^{*}=\pi _{0}'z_{t}+\sigma _{0}\zeta _{t},$

  where π₀ and σ₀ are (unknown) constant matrices, and ζ_t ⊥ z_t. The coefficient π₀ can be estimated using standard least squares regression of x on z. The distribution of ζ_t is unknown, however we can model it as belonging to a flexible parametric family — the Edgeworth series:

  $f_{\zeta }(v;\,\gamma )=\phi (v)\,\textstyle \sum _{j=1}^{J}\!\gamma _{j}v^{j}$

  where ϕ is the standard normal distribution.

  Simulated moments can be computed using the importance sampling algorithm: first we generate several random variables {v_ts ~ ϕ, s = 1,…,S, t = 1,…,T} from the standard normal distribution, then we compute the moments at t-th observation as

  $m_{t}(\theta )=A(z_{t}){\frac {1}{S}}\sum _{s=1}^{S}H(x_{t},y_{t},z_{t},v_{ts};\theta )\sum _{j=1}^{J}\!\gamma _{j}v_{ts}^{j},$

  where θ = (β, σ, γ), A is just some function of the instrumental variables z, and H is a two-component vector of moments

  ${\begin{aligned}&H_{1}(x_{t},y_{t},z_{t},v_{ts};\theta )=y_{t}-g({\hat {\pi }}'z_{t}+\sigma v_{ts},\beta ),\\&H_{2}(x_{t},y_{t},z_{t},v_{ts};\theta )=z_{t}y_{t}-({\hat {\pi }}'z_{t}+\sigma v_{ts})g({\hat {\pi }}'z_{t}+\sigma v_{ts},\beta )\end{aligned}}$

  With moment functions m_t one can apply standard GMM technique to estimate the unknown parameter θ.

दोहराए गए अवलोकन

इस दृष्टिकोण में प्रतिगामी x* के दो (या शायद अधिक) बार-बार अवलोकन उपलब्ध हैं। दोनों अवलोकनों में अपनी माप त्रुटियां होती हैं, यद्यपि उन त्रुटियों को स्वतंत्र होने की आवश्यकता होती है:

${\begin{cases}x_{1t}=x_{t}^{*}+\eta _{1t},\\x_{2t}=x_{t}^{*}+\eta _{2t},\end{cases}}$

जहाँ x* ⊥ η₁ ⊥ एच₂। चर एच₁, द₂ समान रूप से वितरित करने की आवश्यकता नहीं है (यद्यपि यदि वे अनुमानक की दक्षता में थोड़ा सुधार कर सकते हैं)। मात्र इन दो प्रेक्षणों के साथ कोटलार्स्की की विसंक्रमण तकनीक का प्रयोग करके x* के घनत्व फलन का निरंतर अनुमान लगाना संभव है।

• Li's conditional density method for parametric models. The regression equation can be written in terms of the observable variables as

  $\operatorname {E} [\,y_{t}|x_{t}\,]=\int g(x_{t}^{*},\beta )f_{x^{*}|x}(x_{t}^{*}|x_{t})dx_{t}^{*},$

  where it would be possible to compute the integral if we knew the conditional density function ƒ_x*|x. If this function could be known or estimated, then the problem turns into standard non-linear regression, which can be estimated for example using the NLLS method.
  Assuming for simplicity that η₁, η₂ are identically distributed, this conditional density can be computed as

  ${\hat {f}}_{x^{*}|x}(x^{*}|x)={\frac {{\hat {f}}_{x^{*}}(x^{*})}{{\hat {f}}_{x}(x)}}\prod _{j=1}^{k}{\hat {f}}_{\eta _{j}}{\big (}x_{j}-x_{j}^{*}{\big )},$

  where with slight abuse of notation x_j denotes the j-th component of a vector.
  All densities in this formula can be estimated using inversion of the empirical characteristic functions. In particular,

  ${\hat {f}}_{x}(x)={\frac {1}{(2\pi )^{k}}}\int _{-C}^{C}\cdots \int _{-C}^{C}e^{-iu'x}{\hat {\varphi }}_{x}(u)du.$