View source for अधिकतम संभावना अनुमान

{{Short description|Method of estimating the parameters of a statistical model, given observations}}
{{About|सांख्यिकीय तकनीकें|कंप्यूटर डेटा संचयन |आंशिक-प्रतिक्रिया अधिकतम-संभावना}}

आंकड़ों में, अधिकतम संभावना अनुमान (एमएलई) [[अनुमान सिद्धांत]] की विधि है, जो कुछ देखे गए डेटा को देखते हुए अनुमानित संभाव्यता वितरण का [[सांख्यिकीय पैरामीटर|सांख्यिकीय मापदंड]] है। यह [[गणितीय अनुकूलन]] द्वारा संभावना फलन द्वारा प्राप्त किया जाता है जिससे अनुमानित [[सांख्यिकीय मॉडल]] के अनुसार, प्राप्ति (संभावना) अधिक संभावित होते है । [[पैरामीटर स्थान|मापदंड समिष्ट]] में वह बिंदु अनुमान जो संभावना फलन को अधिकतम करता है, अधिकतम संभावना अनुमान कहलाता है।<ref>{{cite book |last=Rossi |first=Richard J. |title=Mathematical Statistics : An Introduction to Likelihood Based Inference |location=New York |publisher=John Wiley & Sons |year=2018 |isbn=978-1-118-77104-4 |page=227 }}</ref> इस प्रकार अधिकतम संभावना का तर्क सहज और नम्य दोनों है, और इस प्रकार से यह विधि सांख्यिकीय अनुमान का प्रमुख साधन बन गई है।<ref>{{cite book |first1=David F. |last1=Hendry |author-link=David Forbes Hendry |first2=Bent |last2=Nielsen |title=Econometric Modeling: A Likelihood Approach |location=Princeton |publisher=Princeton University Press |year=2007 |isbn=978-0-691-13128-3 }}</ref><ref>{{cite book |first1=Raymond L. |last1=Chambers |first2=David G. |last2=Steel |first3=Suojin |last3=Wang |first4=Alan |last4=Welsh |title=नमूना सर्वेक्षण के लिए अधिकतम संभावना अनुमान|location=Boca Raton |publisher=CRC Press |year=2012 |isbn=978-1-58488-632-7 }}</ref><ref>{{cite book |first1=Michael Don |last1=Ward |author-link=Michael D. Ward |first2=John S. |last2=Ahlquist |title=Maximum Likelihood for Social Science : Strategies for Analysis |location=New York |publisher=Cambridge University Press |year=2018 |isbn=978-1-107-18582-1 }}</ref>

यदि संभाव्यता फलन अवकलनीय फलन है, तो मैक्सिमा खोजने के लिए [[व्युत्पन्न परीक्षण]] क्रियान्वित किया जा सकता है। इस प्रकार कुछ स्तिथि में, संभावना फलन की प्रथम-क्रम स्थितियों को विश्लेषणात्मक रूप से हल किया जा सकता है; उदाहरण के लिए, [[रेखीय प्रतिगमन]] मॉडल के लिए सामान्य न्यूनतम वर्ग अनुमानक संभावना को अधिकतम करता है जब यादृच्छिक त्रुटियों को समान विचरण के साथ [[सामान्य वितरण]] वितरण माना जाता है।<ref>{{cite book |last1=Press |first1=W.H. |last2=Flannery |first2=B.P. |last3=Teukolsky |first3=S.A. |last4=Vetterling |first4=W.T. |chapter=Least Squares as a Maximum Likelihood Estimator |title=Numerical Recipes in FORTRAN: The Art of Scientific Computing |edition=2nd |location=Cambridge |publisher=Cambridge University Press |pages=651–655 |year=1992 |isbn=0-521-43064-X |chapter-url=https://books.google.com/books?id=gn_4mpdN9WkC&pg=PA651 }}</ref>

अतः [[बायेसियन अनुमान]] के परिप्रेक्ष्य से, एमएलई सामान्यतः अधिकतम पोस्टीरियर अनुमान के समान है | इस प्रकार [[समान वितरण (निरंतर)|साधारण वितरण (निरंतर)]] [[पूर्व संभावना]] (या अनंत के मानक विचलन के साथ सामान्य वितरण पूर्व वितरण) के साथ अधिकतम पोस्टीरियर (एमएपी) अनुमान के समान है । किन्तु फ़्रीक्वेंटिस्ट अनुमान में, एमएलई चरम अनुमानक का विशेष स्तिथि है, जिसमें उद्देश्य फलन की संभावना है।

== सिद्धांत ==

हम अज्ञात [[संयुक्त संभाव्यता वितरण]] से यादृच्छिक [[नमूना (सांख्यिकी)|प्रतिरूप (सांख्यिकी)]] के रूप में अवलोकनों के समुच्चय को मॉडल करते हैं, इस प्रकार जिसे सांख्यिकीय मापदंडों के समुच्चय के रूप में व्यक्त किया जाता है। अधिकतम संभावना अनुमान का लक्ष्य उन मापदंडों को निर्धारित करना है जिनके लिए देखे गए डेटा में सबसे अधिक संयुक्त संभावना है। हम संयुक्त वितरण को नियंत्रित करने वाले मापदंडों को सदिश <math>\; \theta = \left[ \theta_{1},\, \theta_2,\, \ldots,\, \theta_k \right]^{\mathsf{T}} \;</math> के रूप में लिखते हैं इस प्रकार जिससे यह वितरण [[पैरामीट्रिक परिवार|पैरामीट्रिक वर्ग]] के अंतर्गत आ जाए <math>\; \{ f(\cdot\,;\theta) \mid \theta \in \Theta \} \;,</math> जहाँ <math>\, \Theta \,</math> मापदंड समिष्ट कहा जाता है, जो की [[ यूक्लिडियन स्थान |यूक्लिडियन समिष्ट]] का परिमित-आयामी उपसमुच्चय है। देखे गए डेटा प्रतिरूप पर संयुक्त घनत्व का मूल्यांकन करना <math>\; \mathbf{y} = (y_1, y_2, \ldots, y_n) \;</math> वास्तविक-मूल्यवान फलन देता है,
:<math>\mathcal{L}_{n}(\theta) = \mathcal{L}_{n}(\theta; \mathbf{y}) = f_{n}(\mathbf{y}; \theta) \;,</math>
जिसे संभाव्यता फलन कहा जाता है। [[स्वतंत्र और समान रूप से वितरित यादृच्छिक चर|स्वतंत्र और समान रूप से वितरित यादृच्छिक वरिएबल]]   के लिए, <math>f_{n}(\mathbf{y}; \theta)</math> अविभाज्य संभाव्यता घनत्व फलन का उत्पाद होगा:
:<math>f_{n}(\mathbf{y}; \theta) =  \prod_{k=1}^n \, f_k^\mathsf{univar}(y_k; \theta) ~.</math>
अधिकतम संभावना अनुमान का लक्ष्य मॉडल मापदंड के मानों को दर्शाता है जो मापदंड समिष्ट पर संभावना फलन को अधिकतम करते हैं,<ref name=":0">{{cite journal |last = Myung |first = I.J. |year = 2003 |title = अधिकतम संभावना अनुमान पर ट्यूटोरियल|journal = [[Journal of Mathematical Psychology]] |volume=47 |issue=1 |pages=90–100 |doi = 10.1016/S0022-2496(02)00028-7 }}</ref> जब:
:<math>\hat{\theta} = \underset{\theta\in\Theta}{\operatorname{arg\;max}}\,\mathcal{L}_{n}(\theta\,;\mathbf{y}) ~.</math>
सहज रूप से, यह उन मापदंड मानों का चयन करता है जो देखे गए डेटा को सबसे अधिक संभावित बनाते हैं। विशिष्ट मूल्य <math>~ \hat{\theta} = \hat{\theta}_{n}(\mathbf{y}) \in \Theta ~</math> यह संभावना फलन को अधिकतम करता है अधिकतम संभावना <math>\, \mathcal{L}_{n} \,</math>अनुमान कहा जाता है. इसके अतिरिक्त , यदि फलन <math>\; \hat{\theta}_{n} : \mathbb{R}^{n} \to \Theta \;</math> इसलिए परिभाषित मापन योग्य कार्य है, तो इसे अधिकतम संभावना अनुमानक कहा जाता है। यह सामान्यतः प्रतिरूप समिष्ट पर परिभाषित फलन है, अर्थात किसी दिए गए प्रतिरूप को इसके तर्क के रूप में लेता है। इस प्रकार इसके अस्तित्व के लिए आवश्यकता और पर्याप्तता की नियम यह है कि संभावना फलन मापदंड समिष्ट <math>\, \Theta \,</math> पर निरंतर कार्य करता है वह [[ सघन स्थान |सघन समिष्ट]] है।<ref>{{cite book |first1=Christian |last1=Gourieroux |first2=Alain |last2=Monfort |year=1995 |title=सांख्यिकी और अर्थमिति मॉडल|publisher=Cambridge University Press |isbn=0-521-40551-3 |page=[https://archive.org/details/statisticseconom00gour_434/page/n172 161] |url=https://archive.org/details/statisticseconom00gour_434 |url-access=limited}}</ref> संवृत समुच्चय <math>\, \Theta \,</math> के लिए संभावना फलन सर्वोच्च मूल्य तक पहुंचे बिना भी बढ़ सकता है।

वास्तव में , संभावना फलन के [[प्राकृतिक]] लघुगणक के साथ कार्य करना अधिकांशतः सुविधाजनक होता है, जिसे लॉग-संभावना कहा जाता है:
: <math>
  \ell(\theta\,;\mathbf{y}) =  \ln \mathcal{L}_{n}(\theta\,;\mathbf{y}) ~.
  </math>
चूंकि लघुगणक [[मोनोटोनिक फ़ंक्शन|मोनोटोनिक फलन]] है, अधिकतम <math>\; \ell(\theta\,;\mathbf{y}) \;</math> के समान मान <math>\theta</math> पर होता है जैसा कि अधिकतम <math>\, \mathcal{L}_{n} ~.</math> होता है <ref>{{cite book |first=Edward J. |last=Kane |year=1968 |title=आर्थिक सांख्यिकी और अर्थमिति|location=New York, NY |publisher=Harper & Row |page=[https://archive.org/details/economicstatisti00kane/page/n200 179] |url=https://archive.org/details/economicstatisti00kane |url-access=registration}}</ref> इस प्रकार यदि <math>\ell(\theta\,;\mathbf{y})</math> में <math>\, \Theta \,,</math> में भिन्न है अधिकतम (या न्यूनतम) की घटना के लिए व्युत्पन्न परीक्षण हैं
:<math>\frac{\partial \ell}{\partial \theta_{1}} = 0, \quad \frac{\partial \ell}{\partial \theta_{2}} = 0, \quad \ldots, \quad \frac{\partial \ell}{\partial \theta_{k}} = 0 ~,</math>
संभाव्यता समीकरण के रूप में जाना जाता है। कुछ मॉडलों के लिए, इन समीकरणों <math>\, \widehat{\theta\,} \,,</math> को स्पष्ट रूप से हल किया जा सकता है किन्तु सामान्यतः अधिकतमीकरण समस्या का कोई विवृत-रूप समाधान ज्ञात या उपलब्ध नहीं है, और एमएलई केवल गणितीय अनुकूलन के माध्यम से पाया जा सकता है। और समस्या यह है कि परिमित प्रतिरूपों में, संभावना समीकरणों के लिए फलन के एकाधिक शून्य उपस्तिथ हो सकते हैं।<ref>{{cite book |first1=Christoper G. |last1=Small |first2=Jinfang |last2=Wang |year=2003 |chapter=Working with roots |title=अरेखीय आकलन समीकरणों के लिए संख्यात्मक तरीके|publisher=Oxford University Press |isbn=0-19-850688-0 |pages=74–124 |chapter-url=https://books.google.com/books?id=hMrwQVllY5AC&pg=PA74 }}</ref> क्या पहचानी गई जड़ <math>\, \widehat{\theta\,} \,</math> संभावना समीकरण वास्तव में (स्थानीय) अधिकतम है या नहीं यह इस बात पर निर्भर करता है कि दूसरे क्रम के आंशिक और क्रॉस-आंशिक डेरिवेटिव का आव्युह , तथाकथित [[ हेस्सियन मैट्रिक्स |हेस्सियन आव्युह]] 

:<math>\mathbf{H}\left(\widehat{\theta\,}\right) = \begin{bmatrix} \left. \frac{\partial^2 \ell}{\partial \theta_1^2} \right|_{\theta=\widehat{\theta\,}} & \left. \frac{\partial^2 \ell}{\partial \theta_1 \, \partial \theta_2} \right|_{\theta=\widehat{\theta\,}} & \dots & \left. \frac{\partial^2 \ell}{\partial \theta_1 \, \partial \theta_k} \right|_{\theta=\widehat{\theta\,}} \\ \left. \frac{\partial^2 \ell}{\partial \theta_2 \, \partial \theta_1} \right|_{\theta=\widehat{\theta\,}} & \left. \frac{\partial^2 \ell}{\partial \theta_2^2} \right|_{\theta=\widehat{\theta\,}} & \dots & \left. \frac{\partial^2 \ell}{\partial \theta_2 \, \partial \theta_k} \right|_{\theta=\widehat{\theta\,}} \\ \vdots & \vdots & \ddots & \vdots \\ \left. \frac{\partial^2 \ell}{\partial \theta_k \, \partial \theta_1} \right|_{\theta=\widehat{\theta\,}} & \left. \frac{\partial^2 \ell}{\partial \theta_k \, \partial \theta_2} \right|_{\theta=\widehat{\theta\,}} & \dots & \left. \frac{\partial^2 \ell}{\partial \theta_k^2} \right|_{\theta=\widehat{\theta\,}} \end{bmatrix} ~,</math>
इस प्रकार <math>\widehat{\theta\,}</math> पर ऋणात्मक अर्ध-निश्चित है , क्योंकि यह स्थानीय अवतल फलन को इंगित करता है। सुविधाजनक रूप से, अधिकांश सामान्य संभाव्यता वितरण विशेष रूप से [[घातीय परिवार|घातीय वर्ग]] - लघुगणकीय रूप से अवतल फलन हैं।<ref>
{{cite book
 |first1=Robert E. |last1=Kass
 |first2=Paul W. |last2=Vos
 |year=1997
 |title=Geometrical Foundations of Asymptotic Inference
 |page=14
 |location=New York, NY
 |publisher=John Wiley & Sons
 |isbn=0-471-82668-5
 |url=https://books.google.com/books?id=e43EAIfUPCwC&pg=PA14
}}
</ref><ref>
{{cite web
 |first=Alecos |last=Papadopoulos
 |date=25 September 2013
 |title=Why we always put log() before the joint pdf when we use MLE (Maximum likelihood Estimation)?
 |website=[[Stack Exchange]]
 |url=https://stats.stackexchange.com/q/70975
}}
</ref>
=== प्रतिबंधित मापदंड समिष्ट ===
{{Distinguish|प्रतिबंधित अधिकतम संभावना}}

जबकि संभावना फलन का डोमेन मापदंड समिष्ट सामान्यतः यूक्लिडियन समिष्ट का परिमित-आयामी उपसमुच्चय है, इस प्रकार अतिरिक्त [[प्रतिबंध (गणित)]] को कभी-कभी अनुमान प्रक्रिया में सम्मिलित करने की आवश्यकता होती है। मापदंड समिष्ट को इस प्रकार व्यक्त किया जा सकता है
:<math>\Theta = \left\{ \theta : \theta \in \mathbb{R}^{k},\; h(\theta) = 0 \right\} ~,</math>
जहाँ <math>\; h(\theta) = \left[ h_{1}(\theta), h_{2}(\theta), \ldots, h_{r}(\theta) \right] \;</math> [[वेक्टर-मूल्यवान फ़ंक्शन|सदिश-मूल्यवान फलन]] मैपिंग <math>\, \mathbb{R}^{k} \,</math> में <math>\; \mathbb{R}^{r} ~.</math> है '''सही मापदंड का अनुमान लगाना''' <math>\theta</math> से संबंधित <math>\Theta</math> तो , वास्तविक स्तिथि के रूप में, [[बाधा (गणित)]] के अधीन अधिकतम संभावना फलन <math>~h(\theta) = 0 ~.</math> को दर्शाता है 

सैद्धांतिक रूप से, इस [[विवश अनुकूलन]] समस्या का सबसे स्वाभाविक दृष्टिकोण प्रतिस्थापन की विधि है, जो प्रतिबंधों को दर्शाता है <math>\; h_{1}, h_{2}, \ldots, h_{r} \;</math> समुच्चय के लिए <math>\; h_{1}, h_{2}, \ldots, h_{r}, h_{r+1}, \ldots, h_{k} \;</math> इस तरह से कि <math>\; h^{\ast} = \left[ h_{1}, h_{2}, \ldots, h_{k} \right] \;</math> से [[एक-से-एक कार्य|एक-से- कार्य]] है <math>\mathbb{R}^{k}</math> स्वयं के लिए, और सेटिंग द्वारा संभावना फलन को पुन: मापें <math>\; \phi_{i} = h_{i}(\theta_{1}, \theta_{2}, \ldots, \theta_{k}) ~.</math><ref name="Silvey p79">{{cite book |first=S. D. |last=Silvey |year=1975 |title=सांख्यिकीय निष्कर्ष|location=London, UK |publisher=Chapman and Hall |isbn=0-412-13820-4 |page=79 |url=https://books.google.com/books?id=qIKLejbVMf4C&pg=PA79 }}</ref> अधिकतम संभावना अनुमानक की समानता के कारण, एमएलई के गुण प्रतिबंधित अनुमानों पर भी क्रियान्वित होते हैं।<ref>{{cite document |first=David |last=Olive |year=2004 |title=Does the MLE maximize the likelihood? |url=http://lagrange.math.siu.edu/Olive/simle.pdf }}</ref> उदाहरण के लिए, [[बहुभिन्नरूपी सामान्य वितरण]] में सहप्रसरण आव्युह <math>\, \Sigma \,</math> [[सकारात्मक-निश्चित मैट्रिक्स|धनात्मक-निश्चित आव्युह]] होना चाहिए | धनात्मक-निश्चित; प्रतिस्थापित करके यह प्रतिबंध <math>\; \Sigma = \Gamma^{\mathsf{T}} \Gamma \;,</math> लगाया जा सकता है जहाँ <math>\Gamma</math> वास्तविक [[ऊपरी त्रिकोणीय मैट्रिक्स|ऊपरी त्रिकोणीय आव्युह]] है और <math>\Gamma^{\mathsf{T}}</math> इसका स्थानांतरण है.<ref>{{cite journal |first=Daniel P. |last=Schwallie |year=1985 |title=सकारात्मक निश्चित अधिकतम संभावना सहप्रसरण अनुमानक|journal=Economics Letters |volume=17 |issue=1–2 |pages=115–117 |doi=10.1016/0165-1765(85)90139-9 }}</ref>

वास्तव में , प्रतिबंध सामान्यतः लैग्रेंज की विधि का उपयोग करके लगाए जाते हैं, जो ऊपर परिभाषित बाधाओं को देखते हुए, प्रतिबंधित संभावना समीकरणों की ओर ले जाता है।
:<math>\frac{\partial \ell}{\partial \theta} - \frac{\partial h(\theta)^\mathsf{T}}{\partial \theta} \lambda = 0</math> 
:और <math>h(\theta) = 0 \;,</math> जहाँ <math>~ \lambda = \left[ \lambda_{1}, \lambda_{2}, \ldots, \lambda_{r}\right]^\mathsf{T} ~</math> [[लैग्रेंज गुणक]] का कॉलम-सदिश है और <math>\; \frac{\partial h(\theta)^\mathsf{T}}{\partial \theta} \;</math> है आंशिक व्युत्पन्नों का {{mvar|k × r}} [[जैकोबियन मैट्रिक्स|जैकोबियन आव्युह]] ।<ref name="Silvey p79" />स्वाभाविक रूप से, यदि बाधाएं अधिकतम पर बाध्यकारी नहीं हैं, तो लैग्रेंज गुणक शून्य होना चाहिए।<ref>{{cite book |first=Jan R. |last=Magnus |year=2017 |title=अर्थमिति के सिद्धांत का परिचय|location=Amsterdam |publisher=VU University Press |pages=64–65 |isbn=978-90-8659-766-6}}</ref> यह बदले में बाधा की वैधता के सांख्यिकीय परीक्षण की अनुमति देता है, जिसे [[लैग्रेंज गुणक परीक्षण]] के रूप में जाना जाता है।

== गुण ==
अधिकतम संभावना अनुमानक चरम अनुमानक है जो θ के फलन के रूप में, उद्देश्य फलन <math>\widehat{\ell\,}(\theta\,;x)</math> को अधिकतम करके प्राप्त किया जाता है। . यदि डेटा [[स्वतंत्र और समान रूप से वितरित]] है, तो हमारे पास है
: <math>
    \widehat{\ell\,}(\theta\,;x)=\frac1n \sum_{i=1}^n \ln f(x_i\mid\theta),
  </math>
यह अपेक्षित लॉग-संभावना <math>\ell(\theta) = \operatorname{\mathbb E}[\, \ln f(x_i\mid\theta) \,]</math> का प्रतिरूप एनालॉग है , जहां इस अपेक्षा को वास्तविक घनत्व के संबंध में लिया जाता है।

अधिकतम-संभावना अनुमानकों के पास परिमित प्रतिरूपों के लिए कोई इष्टतम गुण नहीं हैं, इस अर्थ में कि (जब परिमित प्रतिरूपों पर मूल्यांकन किया जाता है) अन्य अनुमानकों के पास वास्तविक मापदंड-मूल्य के आसपास अधिक एकाग्रता हो सकती है।<ref>{{harvtxt |Pfanzagl |1994 |p=206 }}</ref> चूंकि , अन्य अनुमान विधियों की तरह, अधिकतम संभावना अनुमान में कई आकर्षक एसिम्प्टोटिक सिद्धांत (सांख्यिकी) होते हैं: जैसे-जैसे प्रतिरूप आकार अनंत तक बढ़ता है, अधिकतम संभावना अनुमानकों के अनुक्रम में ये गुण होते हैं:
* [[एक अनुमानक की स्थिरता|अनुमानक की स्थिरता]]: एमएलई का अनुक्रम अनुमान लगाए जा रहे मूल्य की संभावना में परिवर्तित हो जाता है।
*[[अपरिवर्तनीय अनुमानक]]: यदि <math>
    \hat{\theta}
  </math>, <math>
    \theta
  </math>के लिए अधिकतम संभावना अनुमानक है और यदि <math>
    g(\theta)
  </math>, <math>
    \theta
  </math> का कोई परिवर्तन है तो <math>
    \alpha = g(\theta )
  </math> के लिए अधिकतम संभावना अनुमानक <math>
    \hat{\alpha} = g(\hat{\theta} )
  </math> है। इस संपत्ति को सामान्यतः कार्यात्मक [[समतुल्य मानचित्र]] के रूप में जाना जाता है। अपरिवर्तनीय गुण मनमाना परिवर्तन <math>g</math> के लिए मान्य है, चूंकि यदि <math>g</math> एक-से-एक परिवर्तनों तक सीमित है तो प्रमाण सरल हो जाता है।
* [[कुशल अनुमानक]], अर्थात जब प्रतिरूप आकार अनंत तक जाता है तो यह क्रैमर-राव निचली सीमा को प्राप्त करता है। इसका कारण यह है कि किसी भी सुसंगत अनुमानक के पास एमएलई (या इस सीमा को प्राप्त करने वाले अन्य अनुमानकों) की तुलना में कम एसिम्प्टोटिक माध्य वर्ग त्रुटि नहीं है, जिसका अर्थ यह भी है कि एमएलई में स्थानीय एसिम्प्टोटिक सामान्यता है।
* पूर्वाग्रह के सुधार के बाद दूसरे क्रम की दक्षता है ।

=== एकरूपता  ===
नीचे उल्लिखित नियम   के अनुसार, अधिकतम संभावना [[सुसंगत अनुमानक]] है। एकरूपता का अर्थ है कि यदि डेटा <math>f(\cdot\,;\theta_0)</math> द्वारा उत्पन्न किया गया था और हमारे पास पर्याप्त संख्या में अवलोकन ''n'' हैं, तो मनमानी सटीकता के साथ ''θ''<sub>0</sub> का मान ज्ञात करना संभव है। गणितीय शब्दों में इसका अर्थ यह है कि जैसे ही ''n'' अनंत तक जाता है, अनुमानक <math>\widehat{\theta\,}</math> संभाव्यता में अपने वास्तविक मान में परिवर्तित हो जाता है:
: <math>
    \widehat{\theta\,}_\mathrm{mle}\ \xrightarrow{\text{p}}\ \theta_0.
</math>
थोड़ी जटिल परिस्थितियों में, अनुमानक [[लगभग निश्चित अभिसरण]] (या दृढ़ता से) अभिसरण करता है:
: <math>
    \widehat{\theta\,}_\mathrm{mle}\ \xrightarrow{\text{a.s.}}\ \theta_0.
</math>
वास्तविक अनुप्रयोगों में, डेटा कभी भी <math>f(\cdot\,;\theta_0)</math> द्वारा उत्पन्न नहीं होता है . किन्तु <math>f(\cdot\,;\theta_0)</math>, डेटा द्वारा उत्पन्न प्रक्रिया का मॉडल है, जो अधिकांशतः आदर्श रूप में होता है। आंकड़ों में यह आम कहावत है कि सभी मॉडल गलत हैं। इस प्रकार, वास्तविक अनुप्रयोगों में सच्ची स्थिरता नहीं होती है। फिर भी, स्थिरता को अधिकांशतः अनुमानकर्ता के लिए वांछनीय गुण माना जाता है।

एकरूपता स्थापित करने के लिए निम्नलिखित स्थितियाँ पर्याप्त हैं।<ref>By Theorem 2.5 in {{cite book
  | last1 = Newey | first1 = Whitney K.
  | last2 = McFadden | first2 = Daniel | author-link2 = Daniel McFadden
  | chapter = Chapter 36: Large sample estimation and hypothesis testing
  | editor1-first= Robert | editor1-last=Engle | editor2-first=Dan | editor2-last=McFadden
  | title = Handbook of Econometrics, Vol.4
  | year = 1994
  | publisher = Elsevier Science
  | pages = 2111–2245
  | isbn=978-0-444-88766-5
  }}</ref>
{{ordered list
|1= [[Identifiability|Identification]] of the model:
: <math>
    \theta \neq \theta_0 \quad \Leftrightarrow \quad f(\cdot\mid\theta)\neq f(\cdot\mid\theta_0).
  </math>
In other words, different parameter values ''θ'' correspond to different distributions within the model. If this condition did not hold, there would be some value ''θ''<sub>1</sub> such that ''θ''<sub>0</sub> and ''θ''<sub>1</sub> generate an identical distribution of the observable data. Then we would not be able to distinguish between these two parameters even with an infinite amount of data—these parameters would have been [[observational equivalence|observationally equivalent]]. <br />
The identification condition is absolutely necessary for the ML estimator to be consistent. When this condition holds, the limiting likelihood function ''ℓ''(''θ''{{!}}·) has unique global maximum at ''θ''<sub>0</sub>.

|2= Compactness: the parameter space Θ of the model is [[compact set|compact]].
[[File:Ee noncompactness.svg|240px|right]]
The identification condition establishes that the log-likelihood has a unique global maximum. Compactness implies that the likelihood cannot approach the maximum value arbitrarily close at some other point (as demonstrated for example in the picture on the right).

Compactness is only a sufficient condition and not a necessary condition. Compactness can be replaced by some other conditions, such as:
{{unordered list
| both [[Concave function|concavity]] of the log-likelihood function and compactness of some (nonempty) upper [[level set]]s of the log-likelihood function, or
| existence of a compact [[Neighbourhood (mathematics)|neighborhood]] {{mvar|N}} of {{mvar|θ}}<sub>0</sub> such that outside of {{mvar|N}} the log-likelihood function is less than the maximum by at least some {{nowrap|{{mvar|ε}} > 0}}.
}}
|3= Continuity: the function {{math| ln ''f''(''x''&nbsp;{{!}}&nbsp;''θ'')}} is continuous in {{mvar|θ}} for almost all values of {{mvar|x}}:
: <math>
    \operatorname{\mathbb P} \Bigl[\; \ln f(x\mid\theta) \;\in\; C^0(\Theta) \;\Bigr] = 1.
  </math>
The continuity here can be replaced with a slightly weaker condition of [[upper semi-continuous|upper semi-continuity]].

|4= Dominance: there exists {{math|''D''(''x'')}} integrable with respect to the distribution {{math|''f''(''x''&nbsp;{{!}}&nbsp;''θ''<sub>0</sub>)}} such that
: <math>
    \Bigl|\ln f(x\mid\theta)\Bigr| < D(x) \quad \text{ for all } \theta\in\Theta.
  </math>

By the [[uniform law of large numbers]], the dominance condition together with continuity establish the uniform convergence in probability of the log-likelihood:
: <math>
    \sup_{\theta\in\Theta} \left|\widehat{\ell\,}(\theta\mid x) - \ell(\theta)\,\right|\ \xrightarrow{\text{p}}\ 0.
  </math>
}}

प्रभुत्व की स्थिति को आई.आई.डी. के स्तिथि में नियोजित किया जा सकता है। इस प्रकार अवलोकन. गैर-आई.आई.डी. में स्थिति में, संभाव्यता में एकसमान अभिसरण को यह दिखाकर जांचा जा सकता है कि अनुक्रम <math>\widehat{\ell\,}(\theta\mid x)</math> [[स्टोकेस्टिक समसामयिकता|स्टोकेस्टिक]] रूप से समविरंतर है। यदि कोई यह प्रदर्शित करना चाहता है कि एमएल अनुमानक <math>\widehat{\theta\,}</math>लगभग निश्चित रूप से <math>\widehat{\theta\,}</math> θ पर आ जाता है, इस प्रकार समान अभिसरण की एक जटिल   स्थिति लगभग निश्चित रूप से क्रियान्वित करनी होगी:
: <math>
    \sup_{\theta\in\Theta} \left\|\;\widehat{\ell\,}(\theta\mid x) - \ell(\theta)\;\right\| \ \xrightarrow{\text{a.s.}}\ 0.
  </math>
इसके अतिरिक्त, यदि (जैसा कि ऊपर माना गया है) डेटा <math>f(\cdot\,;\theta_0)</math> द्वारा उत्पन्न किया गया था , फिर कुछ नियम   के अनुसार, यह भी दिखाया जा सकता है कि अधिकतम संभावना अनुमानक सामान्य वितरण में [[वितरण में अभिसरण]] करता है। विशेष रूप से है ,<ref name=":1">By Theorem 3.3 in {{cite book
  | last1 = Newey | first1 = Whitney K.
  | last2 = McFadden | first2 = Daniel | author-link2 = Daniel McFadden
  | chapter = Chapter 36: Large sample estimation and hypothesis testing
  | editor1-first= Robert | editor1-last=Engle | editor2-first=Dan | editor2-last=McFadden
  | title = Handbook of Econometrics, Vol.4
  | year = 1994
  | publisher = Elsevier Science
  | pages = 2111–2245
  | isbn=978-0-444-88766-5
  }}</ref>
: <math>
    \sqrt{n}\left(\widehat{\theta\,}_\mathrm{mle} - \theta_0\right)\ \xrightarrow{d}\ \mathcal{N}\left(0,\, I^{-1}\right)
  </math>
जहाँ {{math|''I''}} [[फिशर जानकारी|फिशर सूचना]] है.

=== कार्यात्मक अपरिवर्तन ===
अधिकतम संभावना अनुमानक मापदंड मान का चयन करता है जो देखे गए डेटा को अधिक उच्च संभावित संभावना (या निरंतर स्तिथि में संभाव्यता घनत्व) देता है। इस प्रकार यदि मापदंड में कई घटक सम्मिलित हैं, तो हम उनके अलग-अलग अधिकतम संभावना अनुमानकों को पूर्ण मापदंड के एमएलई के संबंधित घटक के रूप में परिभाषित करते हैं। इसके अनुरूप, यदि <math>\theta</math>, <math>\widehat{\theta\,}</math> के लिए एमएलई है और यदि <math>g(\theta)</math>, 0 का कोई परिवर्तन है तो <math>\alpha=g(\theta)</math> के लिए एमएलई परिभाषा के अनुसार है<ref>{{cite book |first=Shelemyahu |last=Zacks |title=सांख्यिकीय अनुमान का सिद्धांत|location=New York |publisher=John Wiley & Sons |year=1971 |isbn=0-471-98103-6 |page=223 }}</ref>
:<math>\widehat{\alpha} = g(\,\widehat{\theta\,}\,). \,</math>
यह तथाकथित संभावना फलन या प्रोफ़ाइल संभावना को अधिकतम करता है:

:<math>\bar{L}(\alpha) = \sup_{\theta: \alpha = g(\theta)} L(\theta). \, </math>
डेटा के कुछ परिवर्तनों के संबंध में एमएलई भी समतुल्य है। यदि <math>y=g(x)</math> जहाँ <math>g</math> से है और अनुमान लगाए जाने वाले मापदंडों पर निर्भर नहीं है, तो घनत्व फलन संतुष्ट होते हैं

:<math>f_Y(y) = \frac{f_X(x)}{|g'(x)|} </math>
:
और इसलिए <math>X</math> और <math>Y</math> के लिए संभाव्यता फलन केवल एक कारक से भिन्न होते हैं जो मॉडल मापदंडों पर निर्भर नहीं करता है।

उदाहरण के लिए, लॉग-सामान्य वितरण के एमएलई मापदंड डेटा के लघुगणक में फिट किए गए सामान्य वितरण के समान हैं।

=== दक्षता ===
जैसा कि ऊपर माना गया है, यदि डेटा उत्पन्न किया गया था <math>~f(\cdot\,;\theta_0)~,</math> फिर कुछ नियम   के अनुसार, यह भी दिखाया जा सकता है कि अधिकतम संभावना अनुमानक सामान्य वितरण में वितरण में अभिसरण करता है। यह है {{sqrt|''n''&nbsp;}}-सुसंगत और स्पर्शोन्मुख रूप से कुशल, जिसका अर्थ है कि यह क्रैमर-राव सीमा तक पहुंचता है। विशेष रूप से,<ref name=":1"/>

: <math>
    \sqrt{n\,} \, \left( \widehat{\theta\,}_\text{mle} - \theta_0 \right)\ \ \xrightarrow{d}\ \ \mathcal{N} \left( 0,\ \mathcal{I}^{-1} \right) ~,
  </math>
जहाँ <math>~\mathcal{I}~</math> [[फिशर सूचना मैट्रिक्स|फिशर सूचना आव्युह]] है:
: <math>
    \mathcal{I}_{jk} = \operatorname{\mathbb E} \, \biggl[ \; -{ \frac{\partial^2\ln f_{\theta_0}(X_t)}{\partial\theta_j\,\partial\theta_k } } 
             \; \biggr] ~.
  </math>
विशेष रूप से, इसका कारण है कि अधिकतम संभावना अनुमानक का पूर्वाग्रह क्रम तक शून्य के समान {{sfrac|1|{{sqrt|{{mvar|n}}&nbsp;}}}} है .

=== पूर्वाग्रह के लिए सुधार के बाद दूसरे क्रम की दक्षता ===
चूंकि , जब हम इस अनुमानक के वितरण के [[एजवर्थ विस्तार]] में उच्च-क्रम की नियम   पर विचार करते हैं, तो यह पता चलता है कि {{math|''θ''<sub>mle</sub>}} आदेश का पूर्वाग्रह {{frac|1|{{mvar|n}}}} है . यह पूर्वाग्रह (घटकवार) के समान है <ref>See formula&nbsp;20 in
{{cite journal
  | last1 = Cox | first1 = David R. | author-link1=David R. Cox
  | last2 = Snell | first2 = E. Joyce | author-link2 = Joyce Snell
  | title = A general definition of residuals
  | year = 1968
  | journal = [[Journal of the Royal Statistical Society, Series B]]
  | pages = 248–275
  | jstor = 2984505
  | volume=30
  | issue = 2
}}
</ref>
:<math>
    b_h \; \equiv \; \operatorname{\mathbb E} \biggl[ \; \left( \widehat\theta_\mathrm{mle} - \theta_0 \right)_h \; \biggr]
       \; = \; \frac{1}{\,n\,} \, \sum_{i, j, k = 1}^m \; \mathcal{I}^{h i} \; \mathcal{I}^{j k} \left( \frac{1}{\,2\,} \, K_{i j k} \; + \; J_{j,i k} \right)
  </math>
जहाँ <math>\mathcal{I}^{j k}</math> (सुपरस्क्रिप्ट के साथ) व्युत्क्रम फिशर सूचना आव्युह के (जे,के)-वें घटक <math>\mathcal{I}^{-1}</math> को दर्शाता है , और

:<math>
     \frac{1}{\,2\,} \, K_{i j k} \; + \; J_{j,i k} \; = \; \operatorname{\mathbb E}\,\biggl[\;
             \frac12 \frac{\partial^3 \ln f_{\theta_0}(X_t)}{\partial\theta_i\;\partial\theta_j\;\partial\theta_k} +
             \frac{\;\partial\ln f_{\theta_0}(X_t)\;}{\partial\theta_j}\,\frac{\;\partial^2\ln f_{\theta_0}(X_t)\;}{\partial\theta_i \, \partial\theta_k}
             \; \biggr] ~ .
  </math>
इन सूत्रों का उपयोग करके अधिकतम संभावना अनुमानक के दूसरे क्रम के पूर्वाग्रह का अनुमान लगाना संभव है, और इसे घटाकर उस पूर्वाग्रह को सही करना संभव है:
: <math>
    \widehat{\theta\,}^*_\text{mle} = \widehat{\theta\,}_\text{mle} - \widehat{b\,} ~ .
  </math>
यह अनुमानक आदेश की नियम   के प्रति निष्पक्ष है {{sfrac|1|&thinsp;{{mvar|n}}&thinsp;}}, और इसे पूर्वाग्रह-संशोधित अधिकतम संभावना अनुमानक कहा जाता है।

यह पूर्वाग्रह-सुधारित अनुमानक है {{em|दूसरे क्रम का कुशल}} (कम से कम घुमावदार घातीय वर्ग के अन्दर), जिसका अर्थ है कि ऑर्डर की नियम   तक, सभी दूसरे क्रम के पूर्वाग्रह-सुधारित अनुमानकों के बीच इसमें न्यूनतम माध्य वर्ग त्रुटि {{sfrac|1|&thinsp;{{mvar|n}}<sup>2</sup>&thinsp;}} है . इस प्रक्रिया को जारी रखना संभव है, अर्थात तीसरे क्रम के पूर्वाग्रह-सुधार शब्द को प्राप्त करना, इत्यादि। चूंकि , अधिकतम संभावना अनुमानक तीसरे क्रम का कुशल नहीं है।<ref>
{{cite journal
 |last    = Kano
 |first   = Yutaka
 |title   = Third-order efficiency implies fourth-order efficiency
 |year    = 1996
 |journal = Journal of the Japan Statistical Society
 |volume  = 26  |pages = 101–117
 |doi     = 10.14490/jjss1995.26.101
 |doi-access= free
 }}
</ref>
=== बायेसियन अनुमान से संबंध ===
अधिकतम संभावना अनुमानक अधिकतम पोस्टीरियर [[बायेसियन अनुमानक]] के साथ मेल खाता है, इस प्रकार जिसे मापदंड समिष्ट पर समान वितरण (निरंतर) पूर्व संभावना दी गई है। वास्तव में, अधिकतम पश्चवर्ती अनुमान मापदंड {{mvar|θ}} है जो की संभावना को अधिकतम करता है इस प्रकार {{mvar|θ}} बेयस प्रमेय द्वारा दिया गया डेटा दिया गया है:

: <math>
    \operatorname{\mathbb P}(\theta\mid x_1,x_2,\ldots,x_n) = \frac{f(x_1,x_2,\ldots,x_n\mid\theta)\operatorname{\mathbb P}(\theta)}{\operatorname{\mathbb P}(x_1,x_2,\ldots,x_n)}
  </math>
जहाँ <math>\operatorname{\mathbb P}(\theta)</math> मापदंड के लिए पूर्व वितरण है {{mvar|θ}} और जहाँ <math>\operatorname{\mathbb P}(x_1,x_2,\ldots,x_n)</math> सभी मापदंडों पर औसत डेटा की संभावना है। चूँकि प्रत्येक स्वतंत्र है {{mvar|θ}}, बायेसियन अनुमानक <math>f(x_1,x_2,\ldots,x_n\mid\theta)\operatorname{\mathbb P}(\theta)</math> अधिकतम करके प्राप्त किया जाता है इसके संबंध में {{mvar|θ}}. यदि हम आगे यह मान लें कि पूर्व <math>\operatorname{\mathbb P}(\theta)</math> समान वितरण है, बायेसियन अनुमानक संभावना फलन को अधिकतम <math>f(x_1,x_2,\ldots,x_n\mid\theta)</math> करके प्राप्त किया जाता है . इस प्रकार बायेसियन अनुमानक समान पूर्व वितरण के लिए अधिकतम संभावना अनुमानक <math>\operatorname{\mathbb P}(\theta)</math> के साथ मेल खाता है .

==== बेयस निर्णय सिद्धांत में अधिकतम-संभावना अनुमान का अनुप्रयोग ====
[[ यंत्र अधिगम | यंत्र अधिगम]] में कई वास्तविक अनुप्रयोगों में, अधिकतम संभावना अनुमान का उपयोग मापदंड अनुमान के मॉडल के रूप में किया जाता है।

बायेसियन निर्णय सिद्धांत क्लासिफायरियर को डिजाइन करने के बारे में है जो कुल अपेक्षित कठिन परिस्थिति को कम करता है, इस प्रकार जब विभिन्न निर्णयों से जुड़ी निवेश (हानि फलन ) समान होती है, तो क्लासिफायरियर पूरे वितरण पर त्रुटि को कम कर रहा है।<ref>{{cite web |last=Christensen |first=Henrikt I. |title=पैटर्न मान्यता|publisher=Georgia Tech |series=Bayesian Decision Theory - CS 7616 |url=https://www.cc.gatech.edu/~hic/CS7616/pdf/lecture2.pdf |type=lecture}}</ref> इस प्रकार, बेयस निर्णय नियम के रूप में कहा गया है
: माना <math>\;w_1\;</math> यदि <math>~\operatorname{\mathbb P}(w_1|x) \; > \; \operatorname{\mathbb P}(w_2|x)~;~</math><math>\;w_2\;</math> अन्यथा निर्णय करें जहाँ <math>\;w_1\,, w_2\;</math> विभिन्न वर्गों की पूर्वानुमान हैं। इस प्रकार त्रुटि को न्यूनतम करने के दृष्टिकोण से इसे इस प्रकार भी कहा जा सकता है
:<math>w = \underset{ w }{\operatorname{arg\;max}} \; \int_{-\infty}^\infty \operatorname{\mathbb P}(\text{ error}\mid x)\operatorname{\mathbb P}(x)\,\operatorname{d}x~</math>
जहाँ 
:<math>\operatorname{\mathbb P}(\text{ error}\mid x) = \operatorname{\mathbb P}(w_1\mid x)~</math>
यदि हम निर्णय <math>\;w_2\;</math> और <math>\;\operatorname{\mathbb P}(\text{ error}\mid x) = \operatorname{\mathbb P}(w_2\mid x)\;</math> लेते हैं यदि हम <math>\;w_1\;.</math> निर्णय लेते हैं बेयस प्रमेय को क्रियान्वित करके
:<math>\operatorname{\mathbb P}(w_i \mid x) = \frac{\operatorname{\mathbb P}(x \mid w_i) \operatorname{\mathbb P}(w_i)}{\operatorname{\mathbb P}(x)}</math>,
और यदि हम आगे शून्य-या- हानि फलन मानते हैं, जो सभी त्रुटियों के लिए ही हानि है, तो बेयस निर्णय नियम को इस प्रकार पुन: तैयार किया जा सकता है:
:<math>h_\text{Bayes} = \underset{ w }{\operatorname{arg\;max}} \, \bigl[\, \operatorname{\mathbb P}(x\mid w)\,\operatorname{\mathbb P}(w) \,\bigr]\;,</math>
जहाँ <math>h_\text{Bayes}</math> पूर्वानुमान है और <math>\;\operatorname{\mathbb P}(w)\;</math> पूर्व संभावना है.

=== कुल्बैक-लीबलर विचलन और क्रॉस एन्ट्रॉपी को न्यूनतम करने से संबंध ===
जो संभावना <math>\hat \theta</math> को अधिकतम करता है वह असम्बद्ध रूप से खोजने <math>\hat \theta</math> के समान है यह संभाव्यता वितरण (<math>Q_{\hat \theta}</math>) को परिभाषित करता है इस प्रकार जिसकी कुलबैक-लीबलर विचलन के संदर्भ में, वास्तविक संभाव्यता वितरण से न्यूनतम दूरी है, जिससे हमारा डेटा उत्पन्न हुआ था (अर्थात ,<math>P_{\theta_0}</math> द्वारा उत्पन्न) <ref>cmplx96 (https://stats.stackexchange.com/users/177679/cmplx96), Kullback–Leibler divergence, URL (version: 2017-11-18): https://stats.stackexchange.com/q/314472 (at the youtube video, look at minutes 13 to 25)</ref> आदर्श दुनिया में, p और क्यू ही हैं (और केवल चीज अज्ञात है <math>\theta</math> जो p को परिभाषित करता है), किन्तु तथापि वे नहीं हैं और जिस मॉडल का हम उपयोग करते हैं वह गलत निर्दिष्ट है, फिर भी एमएलई हमें निकटतम वितरण देगा (मॉडल क्यू के प्रतिबंध के अन्दर जो निर्भर करता है) <math>\hat \theta</math>) वास्तविक वितरण <math>P_{\theta_0}</math> के लिए है .<ref>[https://web.stanford.edu/class/stats200/Lecture16.pdf Introduction to Statistical Inference | Stanford (Lecture 16 — MLE under model misspecification)]</ref>

{| role="presentation" class="wikitable mw-collapsible mw-collapsed"
| '''Proof.'''
|-
|
For simplicity of notation, let's assume that P=Q. Let there be ''n'' [[i.i.d]] data samples <math>\mathbf{y} = (y_1, y_2, \ldots, y_n)</math> from some probability <math>y \sim P_{\theta_0}</math>, that we try to estimate by finding <math>\hat \theta</math> that will maximize the likelihood using <math>P_{\theta}</math>, then:
:<math>\begin{align}
\hat \theta &= \underset{\theta}{\operatorname{arg\,max}}\, L_{P_{\theta}}(\mathbf{y}) = \underset{\theta}{\operatorname{arg\,max}}\, P_{\theta} (\mathbf{y}) = \underset{\theta}{\operatorname{arg\,max}}\, P (\mathbf{y} \mid  \theta)\\
 &= \underset{\theta}{\operatorname{arg\,max}}\, \prod_{i=1}^n P (y_i \mid \theta) = \underset{\theta}{\operatorname{arg\,max}}\, \sum_{i=1}^n \log P (y_i \mid \theta) \\
 &= \underset{\theta}{\operatorname{arg\,max}}\, \left( \sum_{i=1}^n \log P (y_i \mid \theta) - \sum_{i=1}^n \log P (y_i \mid \theta_0) \right) = \underset{\theta}{\operatorname{arg\,max}}\,  \sum_{i=1}^n \left( \log P (y_i \mid \theta) - \log P (y_i \mid \theta_0) \right) \\
 &=  \underset{\theta}{\operatorname{arg\,max}}\,  \sum_{i=1}^n \log\frac{P (y_i \mid  \theta)}{P (y_i \mid  \theta_0)} = \underset{\theta}{\operatorname{arg\,min}}\,  \sum_{i=1}^n \log \frac{P (y_i \mid  \theta_0)}{P (y_i \mid  \theta)}
  = \underset{\theta}{\operatorname{arg\,min}}\,  \frac{1}{n} \sum_{i=1}^n  \log \frac{P (y_i \mid  \theta_0)}{P (y_i \mid  \theta)} \\
 &= \underset{\theta}{\operatorname{arg\,min}}\,  \frac{1}{n} \sum_{i=1}^n  h_{\theta}(y_i)  \quad \underset{n\to\infty}{\longrightarrow} \quad \underset{\theta}{\operatorname{arg\,min}}\,  E [ h_{\theta}(y) ]  \\
 &=\underset{\theta}{\operatorname{arg\,min}}\,  \int  P_{\theta_0}(y) h_\theta(y) dy  =  \underset{\theta}{\operatorname{arg\,min}}\,  \int  P_{\theta_0}(y) \log \frac{P (y \mid  \theta_0)}{P (y \mid  \theta)}  dy\\
 &= \underset{\theta}{\operatorname{arg\,min}}\,  D_\text{KL}(P_{\theta_0} \parallel P_{\theta}) 
\end{align}</math>

Where <math>h_{\theta}(x) = \log \frac{P (x \mid \theta_0)}{P (x \mid \theta)}</math>. Using ''h'' helps see how we are using the [[law of large numbers]] to move from the average of ''h''(''x'') to the [[expectancy]] of it using the [[law of the unconscious statistician]]. The first several transitions have to do with laws of [[logarithm]] and that finding <math>\hat \theta</math> that maximizes some function will also be the one that maximizes some monotonic transformation of that function (i.e.: adding/multiplying by a constant).
|}
चूंकि कुल्बैक-लीबलर विचलन क्रॉस एन्ट्रॉपी केवल एन्ट्रॉपी (सूचना सिद्धांत) है शैनन की एन्ट्रॉपी प्लस केएल विचलन, और एन्ट्रॉपी के बाद से <math>P_{\theta_0}</math> स्थिर है, तो एमएलई भी असम्बद्ध रूप से क्रॉस एन्ट्रापी को कम कर रहा है।<ref>Sycorax says Reinstate Monica (https://stats.stackexchange.com/users/22311/sycorax-says-reinstate-monica), the relationship between maximizing the likelihood and minimizing the cross-entropy, URL (version: 2019-11-06): https://stats.stackexchange.com/q/364237</ref>
== उदाहरण ==

=== असतत समान वितरण ===
{{Main|जर्मन टैंक समस्या}}

ऐसे स्तिथि पर विचार करें जहां 1 से n तक क्रमांकित n टिकट बॉक्स में रखे गए हैं और जिसको यादृच्छिक रूप से चुना गया है ([[समान वितरण (अलग)]] देखें); इस प्रकार, प्रतिरूप आकार 1 है। यदि n अज्ञात है, तो अधिकतम संभावना अनुमानक <math>\widehat{n}</math> है निकाले गए टिकट पर n का अंक m है। इस प्रकार (n<m के लिए संभावना 0 है, {{frac|1|''n''}} n ≥ m के लिए, और यह सबसे बड़ा है जब n = m। ध्यान दें कि n की अधिकतम संभावना का अनुमान संभावित मानों की सीमा के मध्य में कहीं होने के अतिरिक्त संभावित मानों {m,m +1,...} के निचले छोर पर होता है, जिसके परिणामस्वरूप कम पूर्वाग्रह होगा।) निकाले गए टिकट पर संख्या एम का [[अपेक्षित मूल्य]], और इसलिए अपेक्षित मूल्य <math>\widehat{n}</math>, (n+1)/2 है। परिणामस्वरूप, 1 के प्रतिरूप आकार के साथ, n के लिए अधिकतम संभावना अनुमानक व्यवस्थित रूप से n को (n − 1)/2 से कम प्राप्त होता है।

=== असतत वितरण, परिमित मापदंड समिष्ट ===
मान लीजिए कि कोई यह निर्धारित करना चाहता है कि [[अनुचित सिक्का|अन्यायपूर्ण सिक्का]] कितना पक्षपातपूर्ण है। हेड' p उछालने की प्रायिकता को कॉल करें। फिर लक्ष्य p निर्धारित करना बन जाता है।

मान लीजिए कि सिक्के को 80 बार उछाला गया है: अर्थात प्रतिरूप x<sub>1</sub>= H, x<sub>2</sub>= T, ..., x<sub>80</sub>= T जैसा कुछ हो सकता है, और विपरीत और विपरीत H की संख्या की गिनती देखी जाती है।

हेड उछालने की प्रायिकता 1 − p है (इसलिए यहाँ p θ ऊपर है)। मान लीजिए कि परिणाम 49 चित और 31 ‍सामने और ‍हेड है, और मान लीजिए कि सिक्का बॉक्स से लिया गया है जिसमें तीन सिक्के हैं: जो प्रायिकता p ={{frac|1|3}} के साथ चित देता है , वह जो प्रायिकता p={{frac|1|2}} के साथ शीर्ष देता है और दूसरा जो प्रायिकता p={{frac|2|3}} के साथ शीर्ष देता है. इस प्रकार सिक्कों ने अपना लेबल खो दिया है, इसलिए यह अज्ञात है कि यह कौन सा था। अधिकतम संभावना अनुमान का उपयोग करके, देखे गए डेटा को देखते हुए, जिस सिक्के की संभावना सबसे अधिक है, उसे पाया जा सकता है। 80 के समान प्रतिरूप आकार के साथ [[द्विपद वितरण]] के संभाव्यता द्रव्यमान फलन का उपयोग करके, संख्या सफलताएं 49 के समान होती हैं किन्तु p (सफलता की संभावना) के विभिन्न मूल्यों के लिए, संभावना फलन (नीचे परिभाषित) तीन मानों में से लेता है:

:<math>
\begin{align}
\operatorname{\mathbb P}\bigl[\;\mathrm{H} = 49 \mid p=\tfrac{1}{3}\;\bigr] & = \binom{80}{49}(\tfrac{1}{3})^{49}(1-\tfrac{1}{3})^{31} \approx 0.000, \\[6pt]
\operatorname{\mathbb P}\bigl[\;\mathrm{H} = 49 \mid p=\tfrac{1}{2}\;\bigr] & = \binom{80}{49}(\tfrac{1}{2})^{49}(1-\tfrac{1}{2})^{31} \approx 0.012, \\[6pt]
\operatorname{\mathbb P}\bigl[\;\mathrm{H} = 49 \mid p=\tfrac{2}{3}\;\bigr] & = \binom{80}{49}(\tfrac{2}{3})^{49}(1-\tfrac{2}{3})^{31} \approx 0.054~.
\end{align}
</math>
संभावना तब अधिकतम होती है जब {{mvar|p}} = {{frac|2|3}}, और इसलिए यह इसके {{mvar|p}} लिए अधिकतम संभावना अनुमान है.

=== असतत वितरण, सतत मापदंड समिष्ट ===
अब मान लीजिए कि सिक्का ही था किन्तु है {{mvar|p}} कोई भी मूल्य हो सकता था {{nowrap| 0 ≤ {{mvar|p}} ≤ 1 .}} संभावना फलन को अधिकतम किया जाना है
:<math>
L(p) = f_D(\mathrm{H} = 49 \mid p) = \binom{80}{49} p^{49}(1 - p)^{31}~,
</math>
और अधिकतमीकरण सभी संभावित मूल्यों {{nowrap|0 ≤ {{mvar|p}} ≤ 1 .}} से अधिक है 

[[File:MLfunctionbinomial-en.svg|thumb|200px|द्विपद प्रक्रिया के आनुपातिक मान के लिए संभावना फलन ({{mvar|n}} = 10)]]इस फलन को अधिकतम करने का विधि इसके संबंध {{mvar|p}} और शून्य पर सेटिंग में व्युत्पन्न है:

:<math>
\begin{align}
0 & = \frac{\partial}{\partial p} \left( \binom{80}{49} p^{49}(1-p)^{31} \right)~, \\[8pt]
0 & = 49 p^{48}(1-p)^{31} - 31 p^{49}(1-p)^{30} \\[8pt]
  & = p^{48}(1-p)^{30}\left[ 49 (1-p) - 31 p \right]  \\[8pt]
  & = p^{48}(1-p)^{30}\left[ 49 - 80 p \right]~.
\end{align}
</math>
यह तीन पदों का गुणनफल है। पहला पद 0 है जब {{mvar|p}} = 0. दूसरा 0 है जब {{mvar|p}}=1. तीसरा शून्य है जब {{mvar|p}} = {{frac|49|80}}. संभावना को अधिकतम करने वाला समाधान स्पष्ट रूप से है {{mvar|p}} = {{frac|49|80}} (तब से {{mvar|p}}=0 और {{mvar|p}} = 0 की संभावना में 1 परिणाम)। इस प्रकार के लिए अधिकतम संभावना अनुमानक {{mvar|p}} ={{frac|49|80}} है .

जैसे किसी अक्षर को प्रतिस्थापित करके इस परिणाम को सरलता से सामान्यीकृत किया जा सकता है इस प्रकार {{mvar|s}} 49 के समिष्ट पर हमारे [[बर्नौली परीक्षण]] की 'सफलताओं' की देखी गई संख्या का प्रतिनिधित्व करने के लिए, और पत्र जैसे {{mvar|n}} बर्नौली परीक्षणों की संख्या को दर्शाने के लिए 80 के समिष्ट पर बिल्कुल वैसी ही गणना {{frac|{{mvar|s}}|{{mvar|n}}}} से परिणाम मिलता है जो किसी भी अनुक्रम {{mvar|n}} बर्नौली परीक्षणों के परिणामस्वरूप {{mvar|s}} 'सफलताएँ के लिए अधिकतम संभावना अनुमानक है'।

=== सतत वितरण, सतत मापदंड समिष्ट ===
सामान्य वितरण के लिए <math>\mathcal{N}(\mu, \sigma^2)</math> जिसमें संभाव्यता घनत्व फलन है

:<math>f(x\mid \mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}\ }
                               \exp\left(-\frac {(x-\mu)^2}{2\sigma^2} \right), </math>
प्रतिरूप के लिए संगत संभाव्यता घनत्व फलन {{mvar|n}} [[स्वतंत्र रूप से समान रूप से वितरित]] सामान्य यादृच्छिक वरिएबल (संभावना) है

:<math>f(x_1,\ldots,x_n \mid \mu,\sigma^2) = \prod_{i=1}^n f( x_i\mid  \mu, \sigma^2) = \left( \frac{1}{2\pi\sigma^2} \right)^{n/2} \exp\left( -\frac{ \sum_{i=1}^n (x_i-\mu)^2}{2\sigma^2}\right).</math>
वितरण के इस वर्ग के दो मापदंड {{math|''θ''&nbsp;{{=}} (''μ'',&nbsp;''σ'')}} हैं: ; इसलिए हम संभावना <math>\mathcal{L} (\mu,\sigma^2) = f(x_1,\ldots,x_n \mid \mu, \sigma^2)</math> को अधिकतम करते हैं, दोनों मापदंडों पर साथ, या यदि संभव हो तो, व्यक्तिगत रूप से प्रयोग किया जाता है।

चूँकि प्राकृतिक लघुगणक फलन स्वयं सतत कार्य है जो संभावना की सीमा (सांख्यिकी) पर सख्ती से बढ़ने वाला कार्य है, इस प्रकार जो मान संभावना को अधिकतम करते हैं, वे इसके लघुगणक को भी अधिकतम करेंगे (लॉग-संभावना स्वयं सख्ती से बढ़ नहीं रही है)। लॉग-संभावना को इस प्रकार लिखा जा सकता है:

:<math>
   \log\Bigl( \mathcal{L} (\mu,\sigma^2)\Bigr) = -\frac{\,n\,}{2} \log(2\pi\sigma^2)
   - \frac{1}{2\sigma^2} \sum_{i=1}^n (\,x_i-\mu\,)^2
</math>
(नोट: लॉग-संभावना [[सूचना एन्ट्रापी]] और फिशर सूचना से निकटता से संबंधित है।)

अब हम इस लॉग-संभावना के डेरिवेटिव की गणना निम्नानुसार करते हैं।

:<math>
\begin{align}
0 & = \frac{\partial}{\partial \mu} \log\Bigl( \mathcal{L} (\mu,\sigma^2)\Bigr) =
 0 - \frac{\;-2 n(\bar{x}-\mu)\;}{2\sigma^2}.
\end{align}
</math>
जहाँ <math> \bar{x} </math> [[नमूना माध्य|प्रतिरूप माध्य]] है. इसका समाधान इसके द्वारा किया जाता है

:<math>\widehat\mu = \bar{x} = \sum^n_{i=1} \frac{\,x_i\,}{n}. </math>
यह वास्तव में कार्य की अधिकतम सीमा है, क्योंकि यह इसमें एकमात्र महत्वपूर्ण मोड़ {{mvar|μ}} है और दूसरा व्युत्पन्न बिल्कुल शून्य से कम है। इसका अपेक्षित मान मापदंड {{mvar|μ}} के समान है दिए गए वितरण का उपयोग करते है,

:<math>\operatorname{\mathbb E}\bigl[\;\widehat\mu\;\bigr] = \mu, \, </math>
जिसका अर्थ है कि अधिकतम संभावना अनुमानक <math>\widehat\mu</math> निष्पक्ष है.

इसी प्रकार हम लॉग-संभावना के संबंध {{mvar|σ}} और शून्य के समान में अंतर करते हैं :

:<math>
\begin{align}
0 & = \frac{\partial}{\partial \sigma} \log\Bigl( \mathcal{L} (\mu,\sigma^2)\Bigr) = -\frac{\,n\,}{\sigma} 
   + \frac{1}{\sigma^3} \sum_{i=1}^{n} (\,x_i-\mu\,)^2.
\end{align}
</math>
जिसका समाधान किया गया है

:<math>\widehat\sigma^2 = \frac{1}{n} \sum_{i=1}^n(x_i-\mu)^2.</math>
अनुमान <math>\mu = \widehat\mu</math> सम्मिलित करते है हमने प्राप्त

:<math>\widehat\sigma^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 = \frac{1}{n}\sum_{i=1}^n x_i^2 -\frac{1}{n^2}\sum_{i=1}^n\sum_{j=1}^n x_i x_j.</math>
इसके अपेक्षित मूल्य की गणना करने के लिए, शून्य-माध्य यादृच्छिक वरिएबल   ([[सांख्यिकीय त्रुटि]]) के संदर्भ में अभिव्यक्ति को फिर <math>\delta_i \equiv \mu - x_i</math> से लिखना सुविधाजनक है . इन वेरिएबल्स में अनुमान व्यक्त करने से प्राप्ति होती है

: <math>\widehat\sigma^2 = \frac{1}{n} \sum_{i=1}^n (\mu - \delta_i)^2 -\frac{1}{n^2}\sum_{i=1}^n\sum_{j=1}^n (\mu - \delta_i)(\mu - \delta_j).</math>
उपरोक्त अभिव्यक्ति को सरल बनाते हुए, तथ्यों <math>\operatorname{\mathbb E}\bigl[\;\delta_i\;\bigr] = 0 </math> और <math>\operatorname{E}\bigl[\;\delta_i^2\;\bigr] = \sigma^2 </math> का उपयोग करते हुए , हमें प्राप्त करने की अनुमति देता है

:<math>\operatorname{\mathbb E}\bigl[\;\widehat\sigma^2\;\bigr]= \frac{\,n-1\,}{n}\sigma^2.</math>
इसका कारण यह है कि अनुमानक <math>\widehat\sigma^2</math> के लिए पक्षपाती <math>\sigma^2</math> है . वो भी दिखाया जा सकता है इस प्रकार <math>\widehat\sigma</math> के लिए पक्षपाती <math>\sigma</math> है , किन्तु वह दोनों <math>\widehat\sigma^2</math> और <math>\widehat\sigma</math> सुसंगत है।

औपचारिक रूप से हम कहते हैं कि अधिकतम संभावना अनुमानक <math>\theta=(\mu,\sigma^2)</math> है

:<math>\widehat{\theta\,} = \left(\widehat{\mu},\widehat{\sigma}^2\right).</math>
इस स्तिथि में एमएलई को व्यक्तिगत रूप से प्राप्त किया जा सकता है। सामान्यतः यह स्तिथि नहीं हो सकता है, और एमएलई को साथ प्राप्त करता है।

सामान्य लॉग-संभावना अपने अधिकतम स्तर पर विशेष रूप से सरल रूप लेती है:

:<math>
   \log\Bigl( \mathcal{L}(\widehat\mu,\widehat\sigma)\Bigr) = \frac{\,-n\;\;}{2} \bigl(\,\log(2\pi\widehat\sigma^2) +1\,\bigr)
</math>
यह अधिकतम लॉग-संभावना अधिक सामान्य न्यूनतम वर्गों के लिए समान दिखाई जा सकती है, यहां तक कि गैर-रेखीय न्यूनतम वर्गों के लिए भी इसका उपयोग अधिकांशतः संभावना-आधारित अनुमानित आत्मबल [[विश्वास अंतराल|अंतराल]] और [[आत्मविश्वास क्षेत्र|आत्मबल क्षेत्र]] को निर्धारित करने में किया जाता है, जो सामान्यतः ऊपर चर्चा की गई स्पर्शोन्मुख सामान्यता का उपयोग करने वालों की तुलना में अधिक स्पष्ट होते हैं।

== गैर-स्वतंत्र वरिएबल  ==
ऐसा हो सकता है कि वरिएबल   सहसंबंधित हों, अर्थात स्वतंत्र न हों। दो यादृच्छिक वरिएबल   <math>y_1</math> और <math>y_2</math> केवल तभी स्वतंत्र होते हैं जब उनका संयुक्त संभाव्यता घनत्व फलन व्यक्तिगत संभाव्यता घनत्व कार्यों का उत्पाद होता है, अर्थात ।

:<math>f(y_1,y_2)=f(y_1)f(y_2)\,</math>
मान लीजिए कि कोई यादृच्छिक वरिएबल   से ऑर्डर-एन गॉसियन सदिश <math>(y_1,\ldots,y_n)</math> बनाता है , जहां प्रत्येक वरिएबल <math>(\mu_1, \ldots, \mu_n)</math> के साधन दिए गए हैं . इसके अतिरिक्त , मान लीजिए कि सहप्रसरण आव्युह को इसके <math>\mathit\Sigma</math> द्वारा निरूपित किया जाता है . इन n यादृच्छिक चरों का संयुक्त संभाव्यता घनत्व फलन तब दिए गए बहुभिन्नरूपी सामान्य वितरण का अनुसरण करता है:

:<math>f(y_1,\ldots,y_n)=\frac{1}{(2\pi)^{n/2}\sqrt{\det(\mathit\Sigma)}} \exp\left( -\frac{1}{2} \left[y_1-\mu_1,\ldots,y_n-\mu_n\right]\mathit\Sigma^{-1}     \left[y_1-\mu_1,\ldots,y_n-\mu_n\right]^\mathrm{T} \right)</math>
[[द्विचर विश्लेषण]] स्तिथि में, संयुक्त संभाव्यता घनत्व फलन इस प्रकार दिया गया है:

:<math> f(y_1,y_2) = \frac{1}{2\pi \sigma_{1} \sigma_2 \sqrt{1-\rho^2}} \exp\left[ -\frac{1}{2(1-\rho^2)} \left(\frac{(y_1-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(y_1-\mu_1)(y_2-\mu_2)}{\sigma_1\sigma_2} + \frac{(y_2-\mu_2)^2}{\sigma_2^2}\right) \right] </math>
इस और अन्य स्तिथि में जहां संयुक्त घनत्व फलन उपस्तिथ है, संभावना फलन को इस घनत्व का उपयोग करते हुए अधिकतम संभावना सिद्धांत अनुभाग में उपरोक्त के रूप में परिभाषित किया गया है।

=== उदाहरण ===
इस प्रकार <math>X_1,\ X_2,\ldots,\ X_m</math> सेलों/बक्सों में गिनती 1 से मी तक होती है; प्रत्येक बॉक्स की अलग संभावना होती है (बक्से के बड़े या छोटे होने के बारे में सोचें) और हम गिरने वाली गेंदों की संख्या <math>n</math> तय करते हैं :. प्रत्येक डिब्बे <math>x_1+x_2+\cdots+x_m=n</math> की प्रायिकता <math>p_i</math> है , बाधा के साथ: <math>p_1+p_2+\cdots+p_m=1</math>. यह ऐसा स्तिथि है जिसमें <math>X_i</math> s स्वतंत्र नहीं हैं, सदिश की संयुक्त संभावना <math>x_1,\ x_2,\ldots,x_m</math> बहुपद कहा जाता है और इसका रूप है:

: <math>f(x_1,x_2,\ldots,x_m\mid p_1,p_2,\ldots,p_m)=\frac{n!}{\prod x_i!}\prod p_i^{x_i}= \binom{n}{x_1,x_2,\ldots,x_m} p_1^{x_1} p_2^{x_2} \cdots p_m^{x_m}</math>
अन्य सभी बक्सों से अलग लिया गया प्रत्येक बक्सा द्विपद है और यह उसका विस्तार है।

इसकी लॉग-संभावना है:

: <math>\ell(p_1,p_2,\ldots,p_m)=\log n!-\sum_{i=1}^m \log x_i!+\sum_{i=1}^m x_i\log p_i</math>
बाधा को ध्यान में रखना होगा और लैग्रेंज मल्टीप्लायरों का उपयोग करना होता है:

: <math>L(p_1,p_2,\ldots,p_m,\lambda)=\ell(p_1,p_2,\ldots,p_m)+\lambda\left(1-\sum_{i=1}^m p_i\right)</math>
सभी व्युत्पन्नों को 0 मानकर, सबसे स्वाभाविक अनुमान प्राप्त किया जाता है

: <math>\hat{p}_i=\frac{x_i}{n}</math>
लॉग संभावना को अधिकतम करना, बाधाओं के साथ और बिना, विवृत रूप में अघुलनशील समस्या हो सकती है, तो हमें पुनरावृत्त प्रक्रियाओं का उपयोग करता है।

== पुनरावृत्त प्रक्रियाएं ==
विशेष स्तिथि को छोड़कर, संभाव्यता समीकरण
:<math>\frac{\partial \ell(\theta;\mathbf{y})}{\partial \theta} = 0</math>
किसी अनुमानक के लिए स्पष्ट रूप से <math>\widehat{\theta} = \widehat{\theta}(\mathbf{y})</math> हल नहीं किया जा सकता है . इसके अतिरिक्त, उन्हें पुनरावृत्त विधि से हल करने की आवश्यकता है: प्रारंभिक अनुमान से प्रारंभ करना <math>\theta</math> <math>\widehat{\theta}_{1}</math>, कोई अभिसरण अनुक्रम <math>\left\{ \widehat{\theta}_{r} \right\}</math> प्राप्त करना चाहता है . इस प्रकार की [[अनुकूलन समस्या]] के लिए कई विधियाँ उपलब्ध हैं,<ref>
{{cite book
 |first=R. |last=Fletcher
 |year=1987
 |title=Practical Methods of Optimization
 |location=New York, NY
 |publisher=John Wiley & Sons
 |edition=Second
 |isbn=0-471-91547-5
 |url=https://archive.org/details/practicalmethods0000flet
 |url-access=registration
}}
</ref><ref>
{{cite book
 |first1=Jorge |last1=Nocedal |author-link=Jorge Nocedal
 |first2=Stephen J. |last2=Wright
 |year=2006
 |title=Numerical Optimization
 |location=New York, NY
 |publisher=Springer
 |edition=Second
 |isbn=0-387-30303-0
}}
</ref> किन्तु सबसे अधिक उपयोग किए जाने वाले फॉर्म के अपडेटिंग सूत्र पर आधारित एल्गोरिदम हैं
:<math>\widehat{\theta}_{r+1} = \widehat{\theta}_{r} + \eta_{r} \mathbf{d}_r\left(\widehat{\theta}\right)</math>
जहां सदिश <math>\mathbf{d}_{r}\left(\widehat{\theta}\right)</math> <var>r</var>वें चरण की [[अवतरण दिशा]] और अदिश <math>\eta_{r}</math> को इंगित करता है चरण की लंबाई कैप्चर करता है,<ref>{{cite book |first=Carlos |last=Daganzo |title=Multinomial Probit : The Theory and its Application to Demand Forecasting |location=New York |publisher=Academic Press |year=1979 |isbn=0-12-201150-3 |pages=61–78 }}</ref><ref>{{cite book |first1=William |last1=Gould |first2=Jeffrey |last2=Pitblado |first3=Brian |last3=Poi |title=स्टाटा के साथ अधिकतम संभावना अनुमान|location=College Station |publisher=Stata Press |year=2010 |edition=Fourth |isbn=978-1-59718-078-8 |pages=13–20 }}</ref> [[सीखने की दर]] के रूप में भी जाना जाता है।<ref>{{cite book |first=Kevin P. |last=Murphy |title=Machine Learning: A Probabilistic Perspective |location=Cambridge |publisher=MIT Press |year=2012 |isbn=978-0-262-01802-9 |page=247 |url=https://books.google.com/books?id=NZP6AQAAQBAJ&pg=PA247 }}</ref>
=== [[ ढतला हुआ वंश | ढतला हुआ वंश]] विधि ===
(नोट: यहां यह अधिकतमीकरण समस्या है, इसलिए ग्रेडिएंट से पहले का चिह्न फ़्लिप किया गया है)

:<math>\eta_r\in \R^+</math> यह अभिसरण के लिए काफी छोटा है और <math>\mathbf{d}_r\left(\widehat{\theta}\right) = \nabla\ell\left(\widehat{\theta}_r;\mathbf{y}\right)</math>
ग्रेडिएंट डिसेंट विधि के लिए rवें पुनरावृत्ति पर ग्रेडिएंट की गणना करने की आवश्यकता होती है, किन्तु दूसरे क्रम के व्युत्पन्न के व्युत्क्रम, अर्थात , हेसियन आव्युह की गणना करने की आवश्यकता नहीं होती है। इसलिए, यह न्यूटन-रेफसन विधि की तुलना में कम्प्यूटेशनल रूप से तेज़ है।

=== न्यूटन की विधि|न्यूटन-रेफसन विधि ===
:<math>\eta_r = 1</math> और <math>\mathbf{d}_r\left(\widehat{\theta}\right) = -\mathbf{H}^{-1}_r\left(\widehat{\theta}\right) \mathbf{s}_r\left(\widehat{\theta}\right)</math>
जहाँ <math>\mathbf{s}_{r}(\widehat{\theta})</math> [[स्कोर (सांख्यिकी)]] है और <math>\mathbf{H}^{-1}_r \left(\widehat{\theta}\right)</math> लॉग-संभावना फलन के हेसियन आव्युह का व्युत्क्रमणीय आव्युह है, दोनों ने <var>r</var>वें पुनरावृत्ति का मूल्यांकन किया था।<ref>{{cite book |first=Takeshi |last=Amemiya |author-link=Takeshi Amemiya |title=उन्नत अर्थमिति|location=Cambridge |publisher=Harvard University Press |year=1985 |isbn=0-674-00560-0 |pages=[https://archive.org/details/advancedeconomet00amem/page/137 137–138] |url=https://archive.org/details/advancedeconomet00amem/page/137 }}</ref><ref>{{cite book |first=Denis |last=Sargan |author-link=Denis Sargan |chapter=Methods of Numerical Optimization |title=उन्नत अर्थमिति सिद्धांत पर व्याख्यान नोट्स|location=Oxford |publisher=Basil Blackwell |year=1988 |isbn=0-631-14956-2 |pages=161–169 }}</ref> किन्तु क्योंकि हेसियन आव्युह की गणना कम्प्यूटेशनल जटिलता है, इसलिए कई विकल्प प्रस्तावित किए गए हैं। लोकप्रिय बर्नड्ट-हॉल-हौसमैन एल्गोरिदम अपेक्षित ग्रेडिएंट के [[बाहरी उत्पाद]] के साथ हेसियन का अनुमान लगाता है, जैसे कि

:<math>\mathbf{d}_r\left(\widehat{\theta}\right) = - \left[ \frac{1}{n} \sum_{t=1}^n \frac{\partial \ell(\theta;\mathbf{y})}{\partial \theta} \left( \frac{\partial \ell(\theta;\mathbf{y})}{\partial \theta} \right)^{\mathsf{T}} \right]^{-1} \mathbf{s}_r \left(\widehat{\theta}\right)</math>
=== [[अर्ध-न्यूटन विधि]]याँ ===
अन्य अर्ध-न्यूटन विधियाँ हेसियन आव्युह का सन्निकटन देने के लिए अधिक विस्तृत सेकेंट अपडेट का उपयोग करती हैं।

==== डेविडन-फ्लेचर-पॉवेल सूत्र ====
डीएफपी सूत्र ऐसा समाधान खोजता है जो सममित, धनात्मक-निश्चित और दूसरे क्रम के व्युत्पन्न के वर्तमान अनुमानित मूल्य के सबसे निकटहै:
: <math>\mathbf{H}_{k+1} =
  \left(I - \gamma_k y_k s_k^\mathsf{T}\right) \mathbf{H}_k \left(I - \gamma_k s_k y_k^\mathsf{T}\right) + \gamma_k y_k y_k^\mathsf{T},
</math>
जहाँ 

: <math>y_k = \nabla\ell(x_k + s_k) - \nabla\ell(x_k),</math>
: <math>\gamma_k = \frac{1}{y_k^T s_k},</math>
: <math>s_k = x_{k+1} - x_k.</math>
==== ब्रोयडेन-फ्लेचर-गोल्डफार्ब-शैनो एल्गोरिथ्म ====
बीएफजीएस समाधान भी देता है जो सममित और धनात्मक-निश्चित है:

: <math>B_{k+1} = B_k + \frac{y_k y_k^\mathsf{T}}{y_k^\mathsf{T} s_k} - \frac{B_k s_k s_k^\mathsf{T} B_k^\mathsf{T}}{s_k^\mathsf{T} B_k s_k}\ ,</math>
जहाँ 

: <math>y_k = \nabla\ell(x_k + s_k) - \nabla\ell(x_k),</math>
: <math>s_k = x_{k+1} - x_k.</math>
बीएफजीएस पद्धति के अभिसरण की गारंटी नहीं है जब तक कि फलन में इष्टतम के निकटद्विघात [[टेलर विस्तार]] नही होता है। चूंकि , गैर-सुचारू अनुकूलन उदाहरणों के लिए भी बीएफजीएस का प्रदर्शन स्वीकार्य हो सकता है

==== स्कोरिंग एल्गोरिदम या फिशर का स्कोरिंग ====
अन्य लोकप्रिय विधि हेसियन <math>\mathcal{I}(\theta) = \operatorname{\mathbb E}\left[\mathbf{H}_r \left(\widehat{\theta}\right)\right]</math> को फिशर सूचना आव्युह से बदलना है, हमें फिशर स्कोरिंग एल्गोरिदम दे रहा है। यह प्रक्रिया [[सामान्यीकृत रैखिक मॉडल]] जैसे कई विधियों के आकलन में मानक है।

चूँकि लोकप्रिय, अर्ध-न्यूटन विधियां [[स्थिर बिंदु]] पर परिवर्तित हो सकती हैं जो आवश्यक नहीं कि स्थानीय या वैश्विक अधिकतम हो सकता था,<ref>See theorem 10.1 in
{{cite book
 |first=Mordecai |last=Avriel
 |year=1976
 |title=Nonlinear Programming: Analysis and Methods
 |pages=293–294
 |location=Englewood Cliffs, NJ
 |publisher=Prentice-Hall
 |isbn=9780486432274
 |url=https://books.google.com/books?id=byF4Xb1QbvMC&pg=PA293
}}
</ref> किन्तु स्थानीय न्यूनतम या काठी बिंदु इसलिए, संभावना समीकरणों के प्राप्त समाधान की वैधता का आकलन करना महत्वपूर्ण है, यह सत्यापित करके कि समाधान पर मूल्यांकन किया गया हेसियन, [[नकारात्मक निश्चित|ऋणात्मक निश्चित]] और अच्छी तरह से वातानुकूलित दोनों है।<ref>
{{cite book
 |first1=Philip E. |last1=Gill
 |first2=Walter |last2=Murray
 |first3=Margaret H. |last3=Wright |author-link3=Margaret H. Wright
 |year=1981
 |title=Practical Optimization
 |location=London, UK
 |publisher=Academic Press
 |pages=[https://archive.org/details/practicaloptimiz00gill/page/n329 312]–313
 |isbn=0-12-283950-1
 |url=https://archive.org/details/practicaloptimiz00gill
 |url-access=limited
}}
</ref>
== इतिहास ==
[[File:Youngronaldfisher2.JPG|thumb|right|1913 में [[रोनाल्ड फिशर]]]]अधिकतम संभावना के प्रारंभिक उपयोगकर्ता [[कार्ल फ्रेडरिक गॉस]], [[पियरे-साइमन लाप्लास]], थोरवाल्ड एन. थीले और [[फ्रांसिस य्सिड्रो एडगेवर्थ]] थे।<ref>
{{cite journal
  | doi = 10.2307/2339293
  | last = Edgeworth | first = Francis Y. | author-link = Francis Ysidro Edgeworth
  | title = On the probable errors of frequency-constants
  |date=Sep 1908
  | ref= CITEREFEdgeworthSeptember_1908
  | journal = Journal of the Royal Statistical Society
  | volume = 71 | issue = 3
  | pages = 499–512
  | jstor = 2339293
  | url = https://zenodo.org/record/1449468 }}</ref><ref>{{cite journal
  | doi = 10.2307/2339378
  | last = Edgeworth | first = Francis Y.
  | title = On the probable errors of frequency-constants
  |date=Dec 1908
  | ref= CITEREFEdgeworthDecember_1908
  | journal = Journal of the Royal Statistical Society
  | volume = 71 | issue = 4
  | pages = 651–678
  | jstor = 2339378
  | url = https://zenodo.org/record/1449468
}}
</ref> चूंकि ,इस प्रकार इसका व्यापक उपयोग 1912 और 1922 के बीच बढ़ गया जब रोनाल्ड फिशर ने पक्षसमर्थन किया था, व्यापक रूप से लोकप्रिय बनाया था, और अधिकतम-संभावना अनुमान का सावधानीपूर्वक विश्लेषण किया था ([[गणितीय प्रमाण]] पर निरर्थक प्रयासों के साथ)।<ref name="Pfanzagl">
{{cite book
 |last1=Pfanzagl |first1=Johann
 |last2=Hamböker |first2=R.
 |year=1994
 |title=Parametric Statistical Theory
 |publisher=[[Walter de Gruyter]]
 |isbn=978-3-11-013863-4
 |pages=207–208
}}</ref>
अधिकतम-संभावना अनुमान अंततः 1938 में सैमुअल एस. विल्क्स द्वारा प्रकाशित प्रमाण में [[अनुमानी]] औचित्य से आगे निकल गया था, जिसे अब विल्क्स प्रमेय कहा जाता है।<ref>{{cite journal |last=Wilks |first=S.S. |year=1938 |title=मिश्रित परिकल्पनाओं के परीक्षण के लिए संभावना अनुपात का बड़ा-नमूना वितरण|journal=[[Annals of Mathematical Statistics]] |volume=9 |pages=60–62 |doi=10.1214/aoms/1177732360 |doi-access=free}}</ref> प्रमेय से पता चलता है कि कई स्वतंत्र अवलोकनों से अनुमानों के लिए संभावना मानों के लघुगणक में त्रुटि असममित रूप से ची-वर्ग वितरण है | इस प्रकार χ<sup>2</sup>-वितरित, जो मापदंडों के किसी भी अनुमान के आसपास विश्वास क्षेत्र के सुविधाजनक निर्धारण को सक्षम बनाता है। इस प्रकार विल्क्स के प्रमाण का एकमात्र कठिन भाग फिशर सूचना आव्युह के अपेक्षित मूल्य पर निर्भर करता है, जो फिशर द्वारा सिद्ध प्रमेय द्वारा प्रदान किया जाता है।<ref>
{{cite book
 |last=Owen |first=Art B.
 |year=2001
 |title=Empirical Likelihood
 |place=London, UK; Boca Raton, FL
 |publisher=Chapman & Hall; CRC Press
 |isbn=978-1584880714
}}
</ref> विल्क्स ने जीवन भर प्रमेय की व्यापकता में सुधार करना जारी रखा था , उनका सबसे सामान्य प्रमाण 1962 में प्रकाशित हुआ था ।<ref>
{{cite book
 |last=Wilks |first=Samuel S.
 |year=1962
 |title=Mathematical Statistics
 |place=New York, NY
 |publisher=John Wiley & Sons
 |isbn=978-0471946502
}}
</ref> इस प्रकार अधिकतम संभावना अनुमान के विकास की समीक्षाएँ कई लेखकों द्वारा प्रदान की गई हैं।<ref>
{{cite journal
  | doi = 10.1214/aos/1176343456
  | last = Savage | first = Leonard J. | author-link = Leonard J. Savage
  | title = On rereading R.A. Fisher
  | year = 1976
  | journal = The Annals of Statistics
  | volume = 4 | issue = 3
  | pages = 441–500
  | jstor = 2958221
  | doi-access = free
}}
</ref><ref>
{{cite journal
  | doi = 10.1214/aos/1176343457
  | last = Pratt | first = John W.
  | title = F. Y. Edgeworth and R. A. Fisher on the efficiency of maximum likelihood estimation
  | year = 1976
  | journal = The Annals of Statistics
  | volume = 4 | issue = 3
  | pages = 501–514
  | jstor = 2958222
  | doi-access = free
}}
</ref><ref>
{{cite journal
  | doi = 10.2307/2344804
  | last = Stigler | first = Stephen M. | author-link = Stephen M. Stigler
  | title = Francis Ysidro Edgeworth, statistician
  | year = 1978
  | journal = Journal of the Royal Statistical Society, Series A
  | volume = 141 | issue = 3
  | pages = 287–322
  | jstor = 2344804
  }}
</ref><ref>
{{cite book
  | last = Stigler  | first = Stephen M.
  | title = The history of statistics: the measurement of uncertainty before 1900
  | year = 1986
  | publisher = Harvard University Press
  | isbn = 978-0-674-40340-6
  | url = https://archive.org/details/historyofstatist00stig
}}
</ref><ref>
{{cite book
  | last = Stigler | first = Stephen M.
  | title = Statistics on the table: the history of statistical concepts and methods
  | year = 1999
  | publisher = Harvard University Press
  | isbn = 978-0-674-83601-3
  }}</ref><ref>{{cite book
  | last = Hald | first = Anders | author-link=Anders Hald
  | title = A history of mathematical statistics from 1750 to 1930
  | year = 1998
  | publisher = Wiley
  | location = New York, NY
  | isbn = 978-0-471-17912-2
  }}
</ref><ref>
{{cite journal
  | last = Hald | first = Anders
  | title = On the history of maximum likelihood in relation to inverse probability and least squares
  | year = 1999
  | journal = Statistical Science
  | volume = 14 | issue = 2
  | pages =214–222
  | jstor = 2676741
  | doi=10.1214/ss/1009212248
  | url = http://projecteuclid.org/download/pdf_1/euclid.ss/1009212248
  | doi-access = free
}}
</ref><ref>
{{cite journal
  | last = Aldrich | first = John
  | title = R.A. Fisher and the making of maximum likelihood 1912–1922
  | year = 1997
  | journal = Statistical Science
  | volume = 12 | issue = 3
  | pages = 162–176
  | doi = 10.1214/ss/1030037906
  | mr = 1617519
  | doi-access = free
}}
</ref>
== यह भी देखें{{Portal|Mathematics}}==
===संबंधित अवधारणाएँ===
* अकाइक सूचना मानदंड: एमएलई पर आधारित सांख्यिकीय मॉडल की तुलना करने के लिए मानदंड
* चरम अनुमानक: आकलनकर्ताओं का अधिक सामान्य वर्ग जिसमें एमएलई सम्मिलित है
* फिशर सूचना : सूचना आव्युह , एमएल अनुमानों के सहप्रसरण आव्युह से इसका संबंध
* माध्य वर्ग त्रुटि: वितरण मापदंड का अनुमानक कितना 'अच्छा' है इसका माप (वह अधिकतम संभावना अनुमानक हो या कोई अन्य अनुमानक)
* [[RANSAC|आरएएनसैक]]: गणितीय मॉडल के दिए गए डेटा के मापदंडों का अनुमान लगाने की विधि जिसमें [[बाहरी कारकों के कारण]] सम्मिलित हैं
* राव-ब्लैकवेल प्रमेय: सर्वोत्तम संभव निष्पक्ष अनुमानक खोजने के लिए प्रक्रिया उत्पन्न करता है (न्यूनतम माध्य वर्ग त्रुटि होने के अर्थ में); एमएलई अधिकांशतः प्रक्रिया के लिए अच्छी प्रारंभ होता है
* संभावना-अनुपात परीक्षण#एसिम्प्टोटिक वितरण: विल्क्स प्रमेय या विल्क्स प्रमेय: एकल प्रतिरूप से सूचना का उपयोग करके, जनसंख्या के मापदंड मानों के लिए लगभग समान रूप से संभावित अनुमानों के क्षेत्र के आकार और आकार का अनुमान लगाने का साधन प्रदान करता है।

=== अन्य अनुमान विधियाँ ===
* [[क्षणों की सामान्यीकृत विधि]]: अधिकतम संभावना अनुमान में संभावना समीकरण से संबंधित विधियाँ
* [[एम-आकलनकर्ता]]: सशक्त आंकड़ों में प्रयुक्त दृष्टिकोण
* अधिकतम पोस्टीरियरी (एमएपी) अनुमानक: जब पूर्व ज्ञान का अनुमान लगाया जाता है तो अनुमानकों की गणना करने के विधि में अंतर के लिए
* [[अधिकतम अंतर अनुमान]]: संबंधित विधि जो कई स्थितियों में अधिक सशक्त है
* [[अधिकतम एन्ट्रापी का सिद्धांत]]
* [[क्षणों की विधि (सांख्यिकी)]]: वितरण के मापदंडों को खोजने के लिए और लोकप्रिय विधि है
* समर्थन की विधि, अधिकतम संभावना तकनीक का रूपांतर
* [[न्यूनतम-दूरी का अनुमान]]
* [[पैनल डेटा के लिए आंशिक संभावना विधियाँ]]
* [[अर्ध-अधिकतम संभावना]] अनुमानक: एमएलई अनुमानक जो गलत निर्दिष्ट है, किन्तु फिर भी सुसंगत है
* प्रतिबंधित अधिकतम संभावना: डेटा के परिवर्तित समुच्चय से गणना की गई संभावना फलन का उपयोग करके भिन्नता प्राप्त होती है

== संदर्भ ==
{{reflist}}
== अग्रिम पठन ==
* {{cite book
 |first=J.S. |last=Cramer |author-link=Mars Cramer
 |year=1986
 |title=Econometric Applications of Maximum Likelihood Methods
 |location=New York, NY
 |publisher=Cambridge University Press
 |isbn=0-521-25317-9
 |url=https://archive.org/details/econometricappli0000cram
}}
* {{cite book
 |first=Scott R. |last=Eliason
 |year=1993
 |title=Maximum Likelihood Estimation : Logic and Practice
 |location=Newbury Park |publisher=Sage
 |isbn=0-8039-4107-2
}}	
* {{cite book
 |last=King |first=Gary |author-link=Gary King (political scientist)
 |year=1989
 |title=Unifying Political Methodology : the Likehood Theory of Statistical Inference
 |publisher=Cambridge University Press
 |isbn=0-521-36697-6
}}
* {{cite journal
 |last=Le Cam |first=Lucien |author-link=Lucien Le Cam
 |year=1990
 |title=Maximum likelihood : An Introduction
 |journal=ISI Review
 |volume=58 |issue=2 |pages=153–171
 |doi=10.2307/1403464 |jstor=1403464
}}
* {{cite book
 |first=Jan R. |last=Magnus
 |year=2017
 |chapter=Maximum Likelihood
 |title=Introduction to the Theory of Econometrics
 |pages=53–68
 |location=Amsterdam, NL
 |publisher=VU University Press
 |isbn=978-90-8659-766-6
}}
* {{cite book
 | last= Millar | first= Russell B.
 | year= 2011
 | title=Maximum Likelihood Estimation and Inference
 | publisher= Wiley
 | location=Hoboken, NJ
 | isbn=978-0-470-09482-2
}}
* {{cite book
 |first=Andrew |last=Pickles
 |year=1986
 |title=An Introduction to Likelihood Analysis
 |location=Norwich
 |publisher=W. H. Hutchins & Sons
 |isbn=0-86094-190-6
 |url-access=registration
 |url=https://archive.org/details/introductiontoli0000pick
}}
* {{cite book
 |first=Thomas A. |last=Severini
 |year=2000
 |title=Likelihood Methods in Statistics
 |location=New York, NY
 |publisher=Oxford University Press
 |isbn=0-19-850650-3
}}
* {{cite book
 |first1=Michael D. |last1=Ward |author-link=Michael D. Ward
 |first2=John S. |last2=Ahlquist
 |year=2018
 |title=Maximum Likelihood for Social Science : Strategies for Analysis
 |publisher=Cambridge University Press
 |isbn=978-1-316-63682-4
}}
== बाहरी संबंध ==
* Tilevik, Andreas (2022). [https://www.youtube.com/watch?v=bhTIpGtWtzQ Maximum likelihood vs least squares in linear regression] (video)
* {{springer |title=Maximum-likelihood method |id=p/m063100}}
* {{cite web |url=http://statgen.iop.kcl.ac.uk/bgim/mle/sslike_1.html |title=Maximum Likelihood Estimation |first=S. |last=Purcell }} 
* {{cite web |first1=Thomas |last1=Sargent |author-link=Thomas J. Sargent |first2=John |last2=Stachurski |title=Maximum Likelihood Estimation |work=Quantitative Economics with [[Python (programming language)|Python]] |url= https://intro.quantecon.org/mle.html }}
* {{cite web |first1=Ott |last1=Toomet |first2=Arne |last2=Henningsen |title=maxLik: A package for maximum likelihood estimation in R |url=https://cran.r-project.org/package=maxLik |date=2019-05-19 }}
* {{cite web |first=Lawrence M. |last=Lesser |title='MLE' song lyrics |year=2007 |website=math.utep.edu |publisher=University of Texas |place=El&nbsp;Paso, TX |department=Mathematical Sciences / College of Science |url=http://www.math.utep.edu/Faculty/lesser/MLE.html |url-status=live |access-date=2021-03-06}}

{{DEFAULTSORT:Maximum likelihood}}

[[Category:Articles with hatnote templates targeting a nonexistent page|Maximum likelihood]]
[[Category:CS1 errors|Maximum likelihood]]
[[Category:CS1 maint|Maximum likelihood]]
[[Category:Created On 06/07/2023|Maximum likelihood]]
[[Category:Lua-based templates|Maximum likelihood]]
[[Category:Machine Translated Page|Maximum likelihood]]
[[Category:Pages with empty portal template|Maximum likelihood]]
[[Category:Pages with maths render errors|Maximum likelihood]]
[[Category:Pages with script errors|Maximum likelihood]]
[[Category:Portal templates with redlinked portals|Maximum likelihood]]
[[Category:Short description with empty Wikidata description|Maximum likelihood]]
[[Category:Templates Vigyan Ready|Maximum likelihood]]
[[Category:Templates that add a tracking category|Maximum likelihood]]
[[Category:Templates that generate short descriptions|Maximum likelihood]]
[[Category:Templates using TemplateData|Maximum likelihood]]
[[Category:अधिकतम संभावना अनुमान| अधिकतम संभावना अनुमान]]
[[Category:एम-आकलनकर्ता|Maximum likelihood]]
[[Category:संभाव्यता वितरण फिटिंग|Maximum likelihood]]