बृहत् विचलन सिद्धांत

संभाव्यता सिद्धांत में, बड़े विचलन का सिद्धांत संभाव्यता वितरण के अनुक्रमों की दूरस्थ पूंछों के असममित व्यवहार से संबंधित है। कुछ सिद्धांत की मौलिक विचार व्यापकता की दिशा में जो लाप्लास के पूर्वक हैं, उनकी स्थापना बीमा गणित के साथ हुई, विशेषकर क्रैमर और लुंडबर्ग के साथ संराशि सिद्धांत के साथ। एक समृद्धिकृत बड़े विचलन सिद्धांत का समर्पित स्वरूपीकरण 1966 में वाराधन के एक पेपर में विकसित हुआ था। बड़े विचलन सिद्धांत ने मापों की समर्थन की आवधारणाओं को स्वरूपीकृत किया और संभावना मापों के संघटन की धारणा को व्यापकता से महसूस कराया।

मोटे तौर पर कहें तो, बड़े विचलन का सिद्धांत कुछ प्रकार की चरम या पूंछ वाली घटनाओं की संभाव्यता उपायों की तेजी से गिरावट से संबंधित है।

परिचयात्मक उदाहरण

एक प्रारंभिक उदाहरण

एक निष्पक्ष सिक्के को स्वतंत्र रूप से उछालने के क्रम पर विचार करें। संभावित परिणाम हेड या टेल हो सकते हैं। आइए i-वें परीक्षण के संभावित परिणाम को $X_{i}$, से निरूपित करें, जहां हम हेड को 1 और टेल को 0 के रूप में एन्कोड करते हैं। अब $N$ परीक्षणों के बाद $M_{N}$ को औसत मान दर्शाते हैं, अर्थात्

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$.

तब $M_{N}$ 0 और 1 के बीच होता है। बड़ी संख्या के नियम से यह पता चलता है कि जैसे-जैसे N बढ़ता है, $M_{N}$ का वितरण $0.5=\operatorname {E} [X]$ में परिवर्तित हो जाता है (एक सिक्के को उछालने का अपेक्षित मूल्य)।

इसके अलावा, केंद्रीय सीमा प्रमेय के अनुसार, यह इस प्रकार है कि $M_{N}$ लगभग सामान्य रूप से बड़े $N$ के लिए वितरित किया जाता है। केंद्रीय सीमा सिद्धांत $M_{N}$ के व्यवहार के बारे में कानून की तुलना में अधिक विस्तृत जानकारी प्रदान कर सकता है। उदाहरण के लिए, हम लगभग $M_{N}$, $P(M_{N}>x)$, की एक टेल प्रायिकता पा सकते हैं, कि $N$ के निश्चित मान के लिए $M_{N}$, $x$,से बड़ा है।हालाँकि, यदि $x$, $\operatorname {E} [X_{i}]$से दूर है तो केंद्रीय सीमा प्रमेय द्वारा सन्निकटन सटीक नहीं हो सकता है जब तक कि $N$ पर्याप्त रूप से बड़ा न हो। इसके अलावा, यह $N\to \infty$ के रूप में पूंछ संभावनाओं के अभिसरण के बारे में जानकारी प्रदान नहीं करता है। हालांकि, बड़े विचलन सिद्धांत ऐसी समस्याओं के लिए उत्तर प्रदान कर सकता है।

आइये इस कथन को और अधिक सटीक बनाते हैं। किसी दिए गए मान $0.5<x<1$, के लिए, आइए हम पूँछ संभाव्यता $P(M_{N}>x)$. की गणना करें। परिभाषित करें

$I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}$.

ध्यान दें कि फ़ंक्शन $I(x)$ एक उत्तल, गैर-नकारात्मक फ़ंक्शन है जो $x={\tfrac {1}{2}}$ पर शून्य है और जैसे-जैसे $x$, $1$ के करीब पहुंचता है बढ़ता जाता है। यह $p={\tfrac {1}{2}}$; के साथ बर्नौली एन्ट्रापी का नकारात्मक है; यह सिक्का उछालने के लिए उपयुक्त है, यह बर्नौली परीक्षण पर लागू एसिम्प्टोटिक समविभाजन गुण से पता चलता है। फिर चेर्नॉफ़ की असमानता से, यह दिखाया जा सकता है कि $P(M_{N}>x)<\exp(-NI(x))$। यह सीमा काफी तीव्र है, इस अर्थ में कि $I(x)$ को बड़ी संख्या से प्रतिस्थापित नहीं किया जा सकता है जो सभी सकारात्मक $N$ के लिए एक सख्त असमानता उत्पन्न करेगा। (हालाँकि, घातांकीय सीमा को अभी भी $1/{\sqrt {N}}$; के क्रम पर एक उपघातीय कारक द्वारा कम किया जा सकता है; यह बर्नौली वितरण में प्रदर्शित द्विपद गुणांक पर लागू स्टर्लिंग सन्निकटन से होता है।) इसलिए, हम निम्नलिखित परिणाम प्राप्त करते हैं:

$P(M_{N}>x)\approx \exp(-NI(x))$.

संभावना $P(M_{N}>x)$ x पर निर्भर दर पर तेजी से $N\to \infty$ के रूप में घट जाती है। यह सूत्र आई.आई.डी. के नमूना माध्य की किसी भी पूंछ संभावना का अनुमान लगाता है। नमूनों की संख्या बढ़ने पर यह परिवर्तनशील हो जाता है और अपना अभिसरण देता है।

स्वतंत्र यादृच्छिक चर के योग के लिए बड़े विचलन

Main article: Cramér's theorem (large deviations)

सिक्का उछालने के उपरोक्त उदाहरण में हमने स्पष्ट रूप से मान लिया है कि प्रत्येक उछाल एक स्वतंत्र परीक्षण है, और हेड या टेल आने की संभावना हमेशा समान होती है।

मान लीजिए $X,X_{1},X_{2},\ldots$ स्वतंत्र और समान रूप से वितरित (i.i.d.) यादृच्छिक चर हैं जिनका सामान्य वितरण एक निश्चित वृद्धि की स्थिति को संतुष्ट करता है। फिर निम्नलिखित सीमा मौजूद है:

$\lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)$.

यहाँ

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$,

पहले जैसा।

फ़ंक्शन $I(\cdot )$ को "रेट फ़ंक्शन" या "क्रैमर फ़ंक्शन" या कभी-कभी "एंट्रॉपी फ़ंक्शन" कहा जाता है।

उपर्युक्त सीमा का अर्थ है कि बड़े $N$ के लिए,

$P(M_{N}>x)\approx \exp[-NI(x)]$,

जो कि बड़े विचलन सिद्धांत का मूल परिणाम है।

यदि हम $X$ का संभाव्यता वितरण जानते हैं, तो दर फलन के लिए एक स्पष्ट अभिव्यक्ति प्राप्त की जा सकती है। यह लीजेंड्रे-फेन्चेल परिवर्तन द्वारा दिया गया है,

$I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]$,

कहाँ

$\lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]$

को क्यूम्युलेंट जेनरेटिंग फ़ंक्शन (सीजीएफ) कहा जाता है और $\operatorname {E}$ गणितीय अपेक्षा को दर्शाता है।

यदि $X$ एक सामान्य वितरण का अनुसरण करता है, तो दर फ़ंक्शन सामान्य वितरण के माध्य पर अपने शीर्ष के साथ एक परवलय बन जाता है।

यदि $\{X_{i}\}$ एक इरेड्यूसिबल और एपेरियोडिक मार्कोव श्रृंखला है, तो ऊपर बताए गए मूल बड़े विचलन परिणाम का प्रकार धारण किया जा सकता है।

स्वतंत्र यादृच्छिक चर के योग के लिए मध्यम विचलन

पिछले उदाहरण ने घटना $[M_{N}>x]$ की संभाव्यता को नियंत्रित किया, अर्थात, कॉम्पैक्ट सेट $[-x,x]$ पर $M_{N}$ के नियम की एकाग्रता। कुछ अनुक्रम $a_{N}\to 0$ के लिए घटना $[M_{N}>xa_{N}]$ की प्रायिकता को नियंत्रित करना भी संभव है। निम्नलिखित एक मध्यम विचलन सिद्धांत का एक उदाहरण है:

Theorem — Let $X_{1},X_{2},\dots$ be a sequence of centered i.i.d variables with finite variance $\sigma ^{2}$ such that $\forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty$. Define $M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}$. Then for any sequence $1\ll a_{N}\ll {\sqrt {N}}$:

$\lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}$

विशेष रूप से, सीमा मामला $a_{N}={\sqrt {N}}$ केंद्रीय सीमा प्रमेय है.

औपचारिक परिभाषा

पोलिश स्थान दिया गया ${\mathcal {X}}$ होने देना $\{\mathbb {P} _{N}\}$ बोरेल बीजगणित संभाव्यता उपायों का एक क्रम बनें ${\mathcal {X}}$, होने देना $\{a_{N}\}$ सकारात्मक वास्तविक संख्याओं का ऐसा अनुक्रम बनें $\lim _{N}a_{N}=\infty$, और अंत में जाने दो $I:{\mathcal {X}}\to [0,\infty ]$ निम्न अर्ध-निरंतर क्रियाशील बनें ${\mathcal {X}}.$ क्रम $\{\mathbb {P} _{N}\}$ ऐसा कहा जाता है कि यह गति के साथ एक बड़े विचलन सिद्धांत को संतुष्ट करता है $\{a_{n}\}$ और दर $I$ यदि, और केवल यदि, प्रत्येक बोरेल मापने योग्य सेट के लिए $E\subset {\mathcal {X}}$,

$-\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)$,

कहाँ ${\overline {E}}$ और $E^{\circ }$ क्रमशः समापन (टोपोलॉजी) और आंतरिक (टोपोलॉजी) को निरूपित करें $E$.

संक्षिप्त इतिहास

बड़े विचलनों से संबंधित पहले कठोर परिणाम स्वीडिश गणितज्ञ हेराल्ड क्रैमर के कारण हैं, जिन्होंने उन्हें बीमा व्यवसाय के मॉडल के लिए लागू किया था। बिन्दु से एक बीमा कंपनी की नजर में, कमाई प्रति माह एक स्थिर दर (मासिक प्रीमियम) पर होती है लेकिन दावे बेतरतीब ढंग से आते हैं। कंपनी को एक निश्चित अवधि (अधिमानतः कई महीनों) में सफल होने के लिए, कुल कमाई कुल दावे से अधिक होनी चाहिए। इस प्रकार प्रीमियम का अनुमान लगाने के लिए आपको निम्नलिखित प्रश्न पूछना होगा: हमें प्रीमियम के रूप में क्या चुनना चाहिए $q$ ऐसे कि खत्म $N$ महीनों में कुल दावा $C=\Sigma X_{i}$ से कम होना चाहिए $Nq$?" यह स्पष्ट रूप से वही प्रश्न है जो बड़े विचलन सिद्धांत द्वारा पूछा गया है। क्रैमर ने आई.आई.डी. के लिए इस प्रश्न का समाधान दिया। यादृच्छिक चर, जहां दर फ़ंक्शन को शक्ति श्रृंखला के रूप में व्यक्त किया जाता है।

महत्वपूर्ण प्रगति करने वाले गणितज्ञों की एक बहुत ही अधूरी सूची में एलेक्सी ज़िनोविविच पेत्रोव शामिल होंगे, सनोव का प्रमेय, एस.आर.एस. वरदान (जिन्होंने सिद्धांत में अपने योगदान के लिए एबेल पुरस्कार जीता है), डी. रुएल, ऑस्कर लैनफोर्ड|ओ.ई. लैनफोर्ड, अमीर डेम्बो, और ओफ़र ओलिव।

अनुप्रयोग

संभाव्य मॉडल से जानकारी इकट्ठा करने के लिए बड़े विचलन के सिद्धांतों को प्रभावी ढंग से लागू किया जा सकता है। इस प्रकार, बड़े विचलन का सिद्धांत सूचना सिद्धांत और जोखिम प्रबंधन में अपना अनुप्रयोग पाता है। भौतिकी में, बड़े विचलन सिद्धांत का सबसे प्रसिद्ध अनुप्रयोग ऊष्मप्रवैगिकी और सांख्यिकीय यांत्रिकी (दर फ़ंक्शन के साथ एन्ट्रापी से संबंधित संबंध में) में उत्पन्न होता है।

बड़े विचलन और एन्ट्रापी

Main article: asymptotic equipartition property

दर फ़ंक्शन सांख्यिकीय यांत्रिकी में एन्ट्रापी से संबंधित है। इसे अनुमानतः निम्नलिखित प्रकार से देखा जा सकता है। सांख्यिकीय यांत्रिकी में एक विशेष मैक्रो-स्टेट की एन्ट्रापी सूक्ष्म-स्टेट्स की संख्या से संबंधित होती है जो इस मैक्रो-स्टेट से मेल खाती है। हमारे सिक्के उछालने के उदाहरण में माध्य मान $M_{N}$ एक विशेष मैक्रो-स्टेट को नामित कर सकता है। और चित और पट का विशेष क्रम जो एक विशेष मान को जन्म देता है $M_{N}$ एक विशेष सूक्ष्म अवस्था का गठन करता है। मोटे तौर पर कहें तो एक मैक्रो-स्टेट जिसमें अधिक संख्या में माइक्रो-स्टेट्स होते हैं, जो इसे जन्म देते हैं, में उच्च एन्ट्रापी होती है। और उच्च एन्ट्रापी वाले राज्य के वास्तविक प्रयोगों में साकार होने की संभावना अधिक होती है। 1/2 के माध्य मान वाले मैक्रो-स्टेट (जितने हेड उतने टेल) में सबसे अधिक संख्या में माइक्रो-स्टेट्स होते हैं जो इसे जन्म देते हैं और यह वास्तव में उच्चतम एन्ट्रापी वाला राज्य है। और अधिकांश व्यावहारिक स्थितियों में हम वास्तव में बड़ी संख्या में परीक्षणों के लिए इस मैक्रो-स्टेट को प्राप्त करेंगे। दूसरी ओर दर फ़ंक्शन किसी विशेष मैक्रो-स्टेट की उपस्थिति की संभावना को मापता है। दर फ़ंक्शन जितना छोटा होगा, मैक्रो-स्टेट प्रदर्शित होने की संभावना उतनी ही अधिक होगी। हमारे सिक्का उछालने में 1/2 के बराबर माध्य मान के लिए दर फ़ंक्शन का मान शून्य है। इस तरह कोई दर फ़ंक्शन को एन्ट्रापी के नकारात्मक के रूप में देख सकता है।

बड़े विचलन सिद्धांत में दर फ़ंक्शन और कुल्बैक-लीबलर विचलन के बीच एक संबंध है, यह संबंध सनोव के प्रमेय द्वारा स्थापित किया गया है (सनोव देखें)और नोवाक, चौ. 14.5).

एक विशेष मामले में, बड़े विचलन ग्रोमोव-हॉसडॉर्फ़ अभिसरण | ग्रोमोव-हॉसडॉर्फ़ सीमा की अवधारणा से निकटता से संबंधित हैं।

यह भी देखें

• बड़ा विचलन सिद्धांत
• क्रैमर का बड़ा विचलन प्रमेय
• चेर्नॉफ़ की असमानता
• सनोव का प्रमेय
• संकुचन सिद्धांत (बड़े विचलन सिद्धांत), बड़े विचलन सिद्धांतों को कैसे मापते हैं, इसका एक परिणाम
• फ़्रीडलिन-वेंटज़ेल प्रमेय, इटो प्रसार के लिए एक बड़ा विचलन सिद्धांत
• पौराणिक परिवर्तन, पहनावा तुल्यता इस परिवर्तन पर आधारित है।
• लाप्लास सिद्धांत (बड़े विचलन सिद्धांत), आर में एक बड़े विचलन सिद्धांत^घ
• लाप्लास की विधि
• शिल्डर का प्रमेय, एक प्रकार कि गति के लिए एक बड़ा विचलन सिद्धांत
• वर्धन की लेम्मा
• चरम मूल्य सिद्धांत
• गाऊसी यादृच्छिक कार्यों का बड़ा विचलन

ग्रन्थसूची

• Special invited paper: Large deviations by S. R. S. Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi:10.1214/07-AOP348
• A basic introduction to large deviations: Theory, applications, simulations, Hugo Touchette, arXiv:1106.4146.
• Entropy, Large Deviations and Statistical Mechanics by R.S. Ellis, Springer Publication. ISBN 3-540-29059-1
• Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall ISBN 0-412-06311-5
• Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer ISBN 0-387-98406-2
• Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer ISBN 0-387-98362-7
• "Large Deviations for Two Dimensional Navier-Stokes Equation with Multiplicative Noise", S. S. Sritharan and P. Sundar, Stochastic Processes and Their Applications, Vol. 116 (2006) 1636–1659.[2]
• "Large Deviations for the Stochastic Shell Model of Turbulence", U. Manna, S. S. Sritharan and P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), no. 4, 493–521.[3]