एरर-इन-वैरिएबल मॉडल

डेटा में, एरर-इन-वैरिएबल मॉडल या माप त्रुटि मॉडल प्रतिगमन मॉडल हैं जो स्वतंत्र चर में माप त्रुटियों के लिए खाते हैं। इसके विपरीत, मानक प्रतिगमन मॉडल मानते हैं कि उन प्रतिगमनकर्ताओं को यथार्थ रूप से मापा गया है, या त्रुटि के बिना प्रेक्षित किया गया है; जैसे, वे मॉडल मात्र निर्भर चर, या प्रतिक्रियाओं में त्रुटियों के लिए खाते हैं।

एरर-इन-वैरिएबल मॉडल में प्रतिगमन अनुमानों की एक श्रृंखला द्वारा प्रतिगमन तनुता(या क्षीणन पूर्वाग्रह) का चित्रण। दो प्रतिगमन रेखाएँ(लाल) रैखिक प्रतिगमन संभावनाओं की सीमा को बाध्य करती हैं। अल्पकोणीय प्रवणता तब प्राप्त होती है जब स्वतंत्र चर(या भविष्यवक्ता) भुज(x-अक्ष) पर होती है। तीव्र प्रवणता तब प्राप्त होती है जब स्वतंत्र चर कोटि(y-अक्ष) पर होती है। परंपरा से, x-अक्ष पर स्वतंत्र चर के साथ, अल्पकोणीय प्रवणता प्राप्त होती है। हरे रंग की संदर्भ रेखाएँ प्रत्येक धुरी के साथ यादृच्छिक डिब्बे के भीतर औसत होती हैं। ध्यान दें कि तीव्र हरे और लाल प्रतिगमन अनुमान y-अक्ष चर में छोटी त्रुटियों के साथ अधिक संगत हैं।

ऐसी स्थिति में जब कुछ रजिस्टरों को त्रुटियों के साथ मापा गया है, मानक धारणा के आधार पर अनुमान निरंतर अनुमानक अनुमानों की ओर जाता है, जिसका अर्थ है कि पैरामीटर अनुमान बहुत बड़े प्रतिदर्शों में भी सत्य मानों की ओर नहीं जाते हैं। सरल रेखीय प्रतिगमन के लिए प्रभाव गुणांक का कम अनुमान है, जिसे क्षीणन पूर्वाग्रह के रूप में जाना जाता है। अरैखिक प्रतिरूपण में पूर्वाग्रह की दिशा अधिक जटिल होने की संभावना है।

प्रेरक उदाहरण

रूप

$y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t}\,,\quad t=1,\ldots ,T,$

के एक साधारण रेखीय प्रतिगमन मॉडल पर विचार करें जहां $x_{t}^{*}$ सत्य परन्तु अव्यक्त चर को दर्शाता है। इसके अतिरिक्त हम इस मान को एक त्रुटि के साथ प्रेक्षित करते हैं:

$x_{t}=x_{t}^{*}+\eta _{t}\,$

जहां माप त्रुटि $\eta _{t}$ को वास्तविक मान $x_{t}^{*}$ से स्वतंत्र माना जाता है।

यदि $y_{t}$पर मात्र प्रतिगमन किया जाता है $x_{t}$(सरल रेखीय प्रतिगमन देखें), तो प्रवणता गुणांक के लिए अनुमानक

${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\,,$

है, जो प्रतिदर्श आकार के रूप में अभिसरण करता है $T$ बिना सीमा के बढ़ता है:

${\hat {\beta }}\xrightarrow {p} {\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}={\frac {\beta \sigma _{x^{*}}^{2}}{\sigma _{x^{*}}^{2}+\sigma _{\eta }^{2}}}={\frac {\beta }{1+\sigma _{\eta }^{2}/\sigma _{x^{*}}^{2}}}\,.$

प्रसरण गैर-ऋणात्मक होते हैं, इसलिए सीमा में अनुमान $\beta$ के वास्तविक मान की तुलना में परिमाण में छोटा होता है, एक प्रभाव जिसे सांख्यिकीविद् क्षीणन या प्रतिगमन तनुता कहते हैं। इस प्रकार 'अनुभवहीन ' कम से कम वर्ग अनुमानक इस व्यवस्था में सुसंगत अनुमानक है। यद्यपि, अनुमानक $y$ दिए गए $x$ के सर्वश्रेष्ठ रैखिक भविष्यवक्ता के लिए आवश्यक पैरामीटर का एक सुसंगत अनुमानक है: कुछ अनुप्रयोगों में यह वही हो सकता है जो 'सत्य' प्रतिगमन गुणांक के अनुमान के अतिरिक्त आवश्यक हो, यद्यपि यह मान लिया जाएगा कि $x^{*}$ प्रेक्षित करने में त्रुटियों का विचलन स्थिर रहता है। यह तुरंत ऊपर उद्धृत परिणाम से सीधे आता है, और तथ्य यह है कि $y_{t}$ से संबंधित प्रतिगमन गुणांक वस्तुतः प्रेक्षित किया गया $x_{t}$, एक साधारण रेखीय प्रतिगमन में,

$\beta _{x}={\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}$ द्वारा दिया जाता है।

यह गुणांक है, $\beta$ के अतिरिक्त, जो एक प्रेक्षित $x$ के आधार पर $y$ के भविष्यवक्ता के निर्माण के लिए आवश्यक होगा जो शोर के अधीन है।

यह तर्क दिया जा सकता है कि लगभग सभी वर्तमान डेटा समूह में विभिन्न प्रकृति और परिमाण की त्रुटियां होती हैं, जिससे कि क्षीणन पूर्वाग्रह बहुत बार-बार होता है(यद्यपि बहुभिन्नरूपी प्रतिगमन में पूर्वाग्रह की दिशा अस्पष्ट है)। जेरी हॉसमैन इसे अर्थमिति के लोहे के नियम के रूप में प्रेक्षित करते हैं: अनुमान का परिमाण सामान्यतः अपेक्षा से छोटा होता है।

विशिष्टता

सामान्यतः माप त्रुटि मॉडल को अव्यक्त चर मॉडल दृष्टिकोण का उपयोग करके वर्णित किया जाता है। यदि $y$ प्रतिक्रिया चर है और $x$ प्रतिगमनकर्ताओं के प्रेक्षित मान हैं, तो यह माना जाता है कि कुछ अव्यक्त चर $y^{*}$ और $x^{*}$स्थित हैं जो मॉडल के "सत्य " फलन(गणित) $g(\cdot )$ का अनुसरण करते हैं, और ऐसी प्रेक्षित मात्राएँ उनके शोर अवलोकन हैं:

${\begin{cases}y^{*}=g(x^{*}\!,w\,|\,\theta ),\\y=y^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}$

जहां $\theta$ मॉडल का पैरामीटर है और $w$ वे प्रतिगामी हैं जिन्हें त्रुटि-मुक्त माना जाता है(उदाहरण के लिए जब रैखिक प्रतिगमन में एक अवरोधन होता है, तो स्थिरांक से संबंधित प्रतिगामी में निश्चित रूप से कोई माप त्रुटि नहीं होती है)। विशिष्टताओं के आधार पर इन त्रुटि रहित रजिस्टरों के साथ अलग से व्यवहार किया जा सकता है या नहीं भी किया जा सकता है; बाद की स्थिति में यह मात्र माना जाता है कि $\eta$ के प्रसरण आव्यूह में संबंधित प्रविष्टियाँ शून्य हैं।

चर $y$, $x$, $w$ सभी प्रेक्षित हैं, जिसका अर्थ है कि सांख्यिकीविद के समीप $n$ सांख्यिकीय इकाइयों $\left\{y_{i},x_{i},w_{i}\right\}_{i=1,\dots ,n}$ का डेटा समूह है जो ऊपर वर्णित डेटा संग्रह का पालन करता है; यद्यपि अव्यक्त चर $x^{*}$, $y^{*}$, $\varepsilon$, और $\eta$ नहीं प्रेक्षित हैं।

यह विनिर्देश सभी वर्तमान त्रुटियों-में-चर मॉडल को सम्मिलित नहीं करता है। उदाहरण के लिए उनमें से कुछ में फलन$g(\cdot )$ गैर-पैरामीट्रिक या अर्ध-पैरामीट्रिक डेटा हो सकते हैं। अन्य दृष्टिकोण कार्यात्मक के अतिरिक्त वितरणात्मक के रूप में $y^{*}$ और $x^{*}$ के बीच संबंध को मॉडल करते हैं, अर्थात वे मानते हैं कि $y^{*}$ सप्रतिबन्ध $x^{*}$ पर एक निश्चित(सामान्यतः पैरामीट्रिक) वितरण का अनुसरण करता है।

शब्दावली और धारणाएं

• प्रेक्षित चर $x$ को प्रकट, संकेतक, या प्रॉक्सी(सांख्यिकी) चर कहा जा सकता है।
• अप्रेक्षित चर $x^{*}$ अव्यक्त या सत्य चर कहा जा सकता है। इसे या तो एक अज्ञात स्थिरांक के रूप में माना जा सकता है(जिस स्थिति में मॉडल को एक कार्यात्मक मॉडल कहा जाता है), या एक यादृच्छिक चर(तदनुसार एक संरचनात्मक मॉडल) के रूप में।
• माप त्रुटि के बीच संबंध $\eta$ और अव्यक्त चर $x^{*}$ अलग-अलग विधियों से मॉडलिंग की जा सकती है:
  • शास्त्रीय त्रुटियां: $\eta \perp x^{*}$ त्रुटियां अव्यक्त चर की स्वतंत्रता(संभाव्यता सिद्धांत) हैं। यह सबसे सामान्य धारणा है, इसका तात्पर्य है कि मापने वाले उपकरण द्वारा त्रुटियां प्रस्तुत की जाती हैं और उनका परिमाण मापे जाने वाले मान पर निर्भर नहीं करता है।
  • माध्य-स्वतंत्रता: $\operatorname {E} [\eta |x^{*}]\,=\,0,$ त्रुटियाँ अव्यक्त प्रतिगामी के प्रत्येक मान के लिए माध्य-शून्य हैं। यह शास्त्रीय की तुलना में कम प्रतिबंधात्मक धारणा है, क्योंकि यह माप त्रुटियों में विषम विचालिता या अन्य प्रभावों की उपस्थिति की अनुमति देता है।
  • बर्कसन की त्रुटियां: $\eta \,\perp \,x,$ त्रुटियाँ प्रेक्षित प्रतिगामी x से स्वतंत्र हैं। इस धारणा की बहुत सीमित प्रयोज्यता है। एक उदाहरण निकटन त्रुटियां हैं: उदाहरण के लिए यदि किसी व्यक्ति की आयु* एक सतत और असतत चर है, जबकि प्रेक्षित किए गए आयु को अगले सबसे छोटे पूर्णांक तक छोटा कर दिया जाता है, फिर छिन्नन त्रुटि प्रेक्षित की गई आयु से लगभग स्वतंत्र होती है। एक अन्य संभावना निश्चित डिजाइन प्रयोग के साथ है: उदाहरण के लिए यदि कोई वैज्ञानिक समय $x$ के एक निश्चित पूर्व निर्धारित क्षण पर माप करने का निर्णय लेता है, तो $x=10s$ पर कहें, तो वास्तविक माप $x^{*}$ के किसी अन्य मान पर हो सकता है(उदाहरण के कारण उसके परिमित प्रतिक्रिया समय के लिए) और ऐसी माप त्रुटि सामान्यतः प्रतिगामी के प्रेक्षित मान से स्वतंत्र होगी।
  • सदोष वर्गीकरण त्रुटियां: प्रतिरूपी चर(सांख्यिकी) के लिए प्रयुक्त विशेष स्थिति। यदि $x^{*}$ एक निश्चित घटना या स्थिति का सूचक है(जैसे कि व्यक्ति पुरुष/महिला है, कुछ चिकित्सा उपचार दिया गया है/नहीं, आदि), तो ऐसे प्रतिगामी में माप त्रुटि प्रकार I और प्रकार II त्रुटियों के समान सदोष वर्गीकरण के अनुरूप होगी सांख्यिकीय परीक्षण में। इस स्थिति में त्रुटि $\eta$ मात्र 3 संभावित मान हो सकते हैं, और $x^{*}$ पर इसके सप्रतिबन्ध वितरण को दो मापदंडों के साथ तैयार किया गया है: $\alpha =\operatorname {Pr} [\eta =-1|x^{*}=1]$, और $\beta =\operatorname {Pr} [\eta =1|x^{*}=0]$। पहचान के लिए आवश्यक प्रतिबन्ध यह है कि $\alpha +\beta <1$ अर्थात सदोष वर्गीकरण बार-बार नहीं होना चाहिए। (इस विचार को दो से अधिक संभावित मानों वाले असतत चरों के लिए सामान्यीकृत किया जा सकता है।)

रैखिक मॉडल

रैखिक त्रुटियों-में-चर मॉडल का पूर्व अध्ययन किया गया था, संभवतया इसलिए कि रैखिक मॉडल इतने व्यापक रूप से उपयोग किए गए थे और वे गैर-रैखिक वाले की तुलना में सरल हैं। मानक साधारण न्यूनतम वर्ग प्रतिगमन(ओएलएस) के विपरीत, चर प्रतिगमन(ईआईवी) में त्रुटियों को सरल से बहुभिन्नरूपी स्थिति में विस्तारित करना सीधा नहीं है।

सरल रैखिक मॉडल

प्रेरणा अनुभाग में सरल रैखिक त्रुटियों-में-चर मॉडल पूर्व से ही प्रस्तुत किया गया था:

${\begin{cases}y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t},\end{cases}}$

जहाँ सभी चर अदिश(गणित) हैं। यहाँ α और β ब्याज के पैरामीटर हैं, जबकि σ_εऔर σ_η- त्रुटि प्रतिबन्ध के मानक विचलन- बाध्य पैरामीटर हैं। माप त्रुटि η(शास्त्रीय धारणा) से स्वतंत्र वास्तविक प्रतिगामी x* को एक यादृच्छिक चर(संरचनात्मक मॉडल) के रूप में माना जाता है।

यह मॉडल दो स्थितियों में पहचाना जा सकता है:(1) या तो अव्यक्त प्रतिगामी x* सामान्य वितरण नहीं है, (2) या x* का सामान्य वितरण है, परन्तु सामान्य वितरण से न तो ε_t और न ही η_t विभाज्य हैं। अर्थात, पैरामीटर α, β को बिना किसी अतिरिक्त जानकारी के डेटा समूह $\scriptstyle (x_{t},\,y_{t})_{t=1}^{T}$ से निरंतर अनुमान लगाया जा सकता है, बिना किसी अतिरिक्त जानकारी के, प्रविहित अव्यक्त प्रतिगामी गाऊसी नहीं है।

इस पहचान योग्य परिणाम के स्थापित होने से पूर्व, सांख्यिकीविदों ने यह मानकर अधिकतम संभावना तकनीक लागू करने का प्रयास किया कि सभी चर सामान्य हैं, और फिर निष्कर्ष निकाला कि मॉडल की पहचान नहीं की गई है। सुझाया गया उपाय यह मानना ​​था कि मॉडल के कुछ पैरामीटर ज्ञात हैं या बाहरी स्रोत से अनुमान लगाया जा सकता है। इस प्रकार के आकलन के विधियों में सम्मिलित हैं

• डेमिंग प्रतिगमन - मानते है कि अनुपात δ = σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >ε/σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η ज्ञात है। यह उदाहरण के लिए उपयुक्त हो सकता है जब y और x दोनों में त्रुटियाँ माप के कारण होती हैं, और माप उपकरणों या प्रक्रियाओं की यथार्थता ज्ञात होती है। स्थिति जब δ = 1 को लंबकोणीय प्रतिगमन के रूप में भी जाना जाता है।
• ज्ञात विश्वसनीयता(सांख्यिकी) के साथ प्रतिगमन λ = σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.6em >∗</उप>/(σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</ उप> + σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.6em >∗</उप>), जहां σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.6em >∗</उप> अव्यक्त प्रतिगामी का प्रसरण है। इस प्रकार के दृष्टिकोण उदाहरण के लिए लागू हो सकते हैं जब एक ही इकाई के पुनरावर्ती माप उपलब्ध हों, या जब स्वतंत्र अध्ययन से विश्वसनीयता अनुपात ज्ञात हो। इस स्थिति में प्रवणता का सुसंगत अनुमान λ द्वारा विभाजित न्यूनतम वर्ग अनुमान के बराबर है।
• ज्ञात σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</उप> के साथ प्रतिगमन तब हो सकता है जब x में त्रुटियों का स्रोत ज्ञात हो और उनके प्रसरण की गणना की जा सके। इसमें निकटन त्रुटि, या मापने वाले उपकरण द्वारा प्रस्तुत की गई त्रुटियां सम्मिलित हो सकती हैं। जब σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</उप> ज्ञात हो जाता है तो हम विश्वसनीयता अनुपात की गणना λ =(σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.4em >x<) के रूप में कर सकते हैं और समस्या को पूर्व स्थिति में कम कर सकते हैं। /उप> − σ²<उप शैली= स्थिति:सापेक्ष;बाएं:-.4em >η</उप>) / σ²<उप शैली= स्थिति: सापेक्ष;बाएं:-.4em>x</उप> ।

नवीन आकलन की विधियां जो मॉडल के कुछ मापदंडों के ज्ञान को नहीं मानते हैं, उनमें सम्मिलित हैं

• Method of moments — the GMM estimator based on the third- (or higher-) order joint cumulants of observable variables. The slope coefficient can be estimated from

  ${\hat {\beta }}={\frac {{\hat {K}}(n_{1},n_{2}+1)}{{\hat {K}}(n_{1}+1,n_{2})}},\quad n_{1},n_{2}>0,$

  where (n₁,n₂) are such that K(n₁+1,n₂) — the joint cumulant of (x,y) — is not zero. In the case when the third central moment of the latent regressor x* is non-zero, the formula reduces to

  ${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})^{2}}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}(y_{t}-{\bar {y}})}}\ .$

• Instrumental variables — a regression which requires that certain additional data variables z, called instruments, were available. These variables should be uncorrelated with the errors in the equation for the dependent (outcome) variable (valid), and they should also be correlated (relevant) with the true regressors x*. If such variables can be found then the estimator takes form
  ${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(z_{t}-{\bar {z}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(z_{t}-{\bar {z}})(x_{t}-{\bar {x}})}}\ .$

बहुभिन्नरूपी रैखिक मॉडल

बहुभिन्नरूपी मॉडल पूर्ण रूप से साधारण रैखिक मॉडल जैसा दिखता है, मात्र इस बार β, η_t, x_t और x*_t k×1 सदिश हैं।

${\begin{cases}y_{t}=\alpha +\beta 'x_{t}^{*}+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t}.\end{cases}}$

इस स्थिति में जब(ε_t, η_t) संयुक्त रूप से सामान्य है, पैरामीटर β की पहचान नहीं की जाती है यदि और मात्र यदि कोई गैर-विलक्षण k×k ब्लॉक आव्यूह [a A] है, जहां a k×1 सदिश है जैसे कि a′x* A'x* सामान्य रूप से और स्वतंत्र रूप से वितरित किया जाता है। स्थिति में जब ε_t, η_t1,..., η_tk पारस्परिक रूप से स्वतंत्र हैं, पैरामीटर β की पहचान नहीं की जाती है यदि और मात्र यदि उपरोक्त प्रतिबन्ध के अतिरिक्त कुछ त्रुटियां दो स्वतंत्र चर के योग के रूप में लिखी जा सकती हैं जिनमें से एक सामान्य है।

बहुभिन्नरूपी रेखीय मॉडल के लिए कुछ आकलन विधियाँ हैं

• कुल न्यूनतम वर्ग is an extension of Deming regression to the multivariable setting. When all the k+1 components of the vector (ε,η) have equal variances and are independent, this is equivalent to running the orthogonal regression of y on the vector x — that is, the regression which minimizes the sum of squared distances between points (y_t,x_t) and the k-dimensional hyperplane of "best fit".
• The method of moments estimator can be constructed based on the moment conditions E[z_t·(y_t − α − β'x_t)] = 0, where the (5k+3)-dimensional vector of instruments z_t is defined as

  where $\circ$ designates the Hadamard product of matrices, and variables x_t, y_t have been preliminarily de-meaned. The authors of the method suggest to use Fuller's modified IV estimator.
  

  This method can be extended to use moments higher than the third order, if necessary, and to accommodate variables measured without error.
• The instrumental variables approach requires us to find additional data variables z_t that serve as instruments for the mismeasured regressors x_t. This method is the simplest from the implementation point of view, however its disadvantage is that it requires collecting additional data, which may be costly or even impossible. When the instruments can be found, the estimator takes standard form

  ${\hat {\beta }}={\big (}X'Z(Z'Z)^{-1}Z'X{\big )}^{-1}X'Z(Z'Z)^{-1}Z'y.$

गैर रेखीय मॉडल

एक सामान्य गैर-रैखिक माप त्रुटि मॉडल बनता है

${\begin{cases}y_{t}=g(x_{t}^{*})+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t}.\end{cases}}$

यहाँ फलन g पैरामीट्रिक या गैर-पैरामीट्रिक हो सकता है। जब फलन g पैरामीट्रिक होता है तो इसे g(x*, β) के रूप में लिखा जाएगा।

एक सामान्य सदिश-मानित प्रतिगामी x* के लिए मॉडल की पहचान के लिए प्रतिबन्ध ज्ञात नहीं हैं। यद्यपि अदिश x* की स्थिति में मॉडल की पहचान तब तक की जाती है जब तक कि फलन g लॉग-घातीय रूप का न हो

$g(x^{*})=a+b\ln {\big (}e^{cx^{*}}+d{\big )}$

और अव्यक्त प्रतिगामी x* का घनत्व है

$f_{x^{*}}(x)={\begin{cases}Ae^{-Be^{Cx}+CDx}(e^{Cx}+E)^{-F},&{\text{if}}\ d>0\\Ae^{-Bx^{2}+Cx}&{\text{if}}\ d=0\end{cases}}$

जहां स्थिरांक A,B,C,D,E,F a,b,c,d पर निर्भर हो सकते हैं।

इस आशावादी परिणाम के अतिरिक्त, अब तक बिना किसी बाहरी जानकारी के गैर-रैखिक त्रुटियों-में-चर मॉडल का अनुमान लगाने के लिए कोई विधि स्थित नहीं है। यद्यपि ऐसी कई तकनीकें हैं जो कुछ अतिरिक्त डेटा का उपयोग करती हैं: या तो उपकरण चर, या बार-बार अवलोकन।

यंत्रीय चर विधियाँ

• Newey's simulated moments method for parametric models — requires that there is an additional set of observed predictor variables z_t, such that the true regressor can be expressed as

  $x_{t}^{*}=\pi _{0}'z_{t}+\sigma _{0}\zeta _{t},$

  where π₀ and σ₀ are (unknown) constant matrices, and ζ_t ⊥ z_t. The coefficient π₀ can be estimated using standard least squares regression of x on z. The distribution of ζ_t is unknown, however we can model it as belonging to a flexible parametric family — the Edgeworth series:

  $f_{\zeta }(v;\,\gamma )=\phi (v)\,\textstyle \sum _{j=1}^{J}\!\gamma _{j}v^{j}$

  where ϕ is the standard normal distribution.

  Simulated moments can be computed using the importance sampling algorithm: first we generate several random variables {v_ts ~ ϕ, s = 1,…,S, t = 1,…,T} from the standard normal distribution, then we compute the moments at t-th observation as

  $m_{t}(\theta )=A(z_{t}){\frac {1}{S}}\sum _{s=1}^{S}H(x_{t},y_{t},z_{t},v_{ts};\theta )\sum _{j=1}^{J}\!\gamma _{j}v_{ts}^{j},$

  where θ = (β, σ, γ), A is just some function of the instrumental variables z, and H is a two-component vector of moments

  ${\begin{aligned}&H_{1}(x_{t},y_{t},z_{t},v_{ts};\theta )=y_{t}-g({\hat {\pi }}'z_{t}+\sigma v_{ts},\beta ),\\&H_{2}(x_{t},y_{t},z_{t},v_{ts};\theta )=z_{t}y_{t}-({\hat {\pi }}'z_{t}+\sigma v_{ts})g({\hat {\pi }}'z_{t}+\sigma v_{ts},\beta )\end{aligned}}$

  With moment functions m_t one can apply standard GMM technique to estimate the unknown parameter θ.

पुनरावर्ती अवलोकन

इस दृष्टिकोण में प्रतिगामी x* के दो(या संभवतया अधिक) बार-बार अवलोकन उपलब्ध हैं। दोनों अवलोकनों में अपनी माप त्रुटियां होती हैं, यद्यपि उन त्रुटियों को स्वतंत्र होने की आवश्यकता होती है:

${\begin{cases}x_{1t}=x_{t}^{*}+\eta _{1t},\\x_{2t}=x_{t}^{*}+\eta _{2t},\end{cases}}$

जहाँ x* ⊥ η₁ ⊥ η₂। चर η₁, η₂ समान रूप से वितरित करने की आवश्यकता नहीं है(यद्यपि यदि वे अनुमानक की दक्षता में थोड़ा सुधार कर सकते हैं)। मात्र इन दो प्रेक्षणों के साथ कोटलार्स्की की विसंक्रमण तकनीक का प्रयोग करके x* के घनत्व फलन का निरंतर अनुमान लगाना संभव है।

• Li's conditional density method for parametric models. The regression equation can be written in terms of the observable variables as

  $\operatorname {E} [\,y_{t}|x_{t}\,]=\int g(x_{t}^{*},\beta )f_{x^{*}|x}(x_{t}^{*}|x_{t})dx_{t}^{*},$

  where it would be possible to compute the integral if we knew the conditional density function ƒ_x*|x. If this function could be known or estimated, then the problem turns into standard non-linear regression, which can be estimated for example using the NLLS method.
  Assuming for simplicity that η₁, η₂ are identically distributed, this conditional density can be computed as

  ${\hat {f}}_{x^{*}|x}(x^{*}|x)={\frac {{\hat {f}}_{x^{*}}(x^{*})}{{\hat {f}}_{x}(x)}}\prod _{j=1}^{k}{\hat {f}}_{\eta _{j}}{\big (}x_{j}-x_{j}^{*}{\big )},$

  where with slight abuse of notation x_j denotes the j-th component of a vector.
  All densities in this formula can be estimated using inversion of the empirical characteristic functions. In particular,

  ${\hat {f}}_{x}(x)={\frac {1}{(2\pi )^{k}}}\int _{-C}^{C}\cdots \int _{-C}^{C}e^{-iu'x}{\hat {\varphi }}_{x}(u)du.$