बृहत् विचलन सिद्धांत

संभाव्यता सिद्धांत में, बड़े विचलन का सिद्धांत संभाव्यता वितरण के अनुक्रमों की दूरस्थ पूंछों के स्पर्शोन्मुख व्यवहार से संबंधित है। जबकि सिद्धांत के कुछ बुनियादी विचारों का पता पियरे-साइमन लाप्लास से लगाया जा सकता है, औपचारिकता बीमा गणित के साथ शुरू हुई, अर्थात् हेराल्ड क्रैमर | क्रैमर और फिलिप लुंडबर्ग के साथ बर्बाद सिद्धांत। बड़े विचलन सिद्धांत का एक एकीकृत औपचारिकीकरण 1966 में एस. आर. श्रीनिवास वर्धन के एक पेपर में विकसित किया गया था। बड़े विचलन सिद्धांत उपायों की एकाग्रता के अनुमानी विचारों को औपचारिक बनाता है और उपायों के अभिसरण #यादृच्छिक चर के कमजोर अभिसरण की धारणा को व्यापक रूप से सामान्यीकृत करता है।

मोटे तौर पर कहें तो, बड़े विचलन का सिद्धांत कुछ प्रकार की चरम या पूंछ वाली घटनाओं की संभाव्यता उपायों की तेजी से गिरावट से संबंधित है।

परिचयात्मक उदाहरण

एक प्रारंभिक उदाहरण

एक निष्पक्ष सिक्के को स्वतंत्र रूप से उछालने के क्रम पर विचार करें। संभावित परिणाम चित या पट हो सकते हैं। आइए हम i-वें परीक्षण के संभावित परिणाम को निरूपित करें $X_{i}$, जहां हम हेड को 1 और टेल को 0 के रूप में एन्कोड करते हैं। अब चलिए $M_{N}$ बाद में माध्य मान निरूपित करें $N$ परीक्षण, अर्थात्

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$.

तब $M_{N}$ 0 और 1 के बीच स्थित है। बड़ी संख्या के नियम से यह पता चलता है कि जैसे-जैसे N बढ़ता है, का वितरण होता है $M_{N}$ में एकत्रित हो जाता है $0.5=\operatorname {E} [X]$ (एक सिक्का उछालने का अपेक्षित मूल्य)।

इसके अलावा, केंद्रीय सीमा प्रमेय के अनुसार, यह इसका अनुसरण करता है $M_{N}$ लगभग सामान्य रूप से बड़े पैमाने पर वितरित किया जाता है $N$. केंद्रीय सीमा प्रमेय के व्यवहार के बारे में अधिक विस्तृत जानकारी प्रदान कर सकता है $M_{N}$ बड़ी संख्या के नियम की तुलना में. उदाहरण के लिए, हम लगभग एक पूँछ संभावना ज्ञात कर सकते हैं $M_{N}$, $P(M_{N}>x)$, वह $M_{N}$ से बड़ा है $x$, के एक निश्चित मान के लिए $N$. हालाँकि, केंद्रीय सीमा प्रमेय द्वारा अनुमान सटीक नहीं हो सकता है यदि $x$ दूर से है $\operatorname {E} [X_{i}]$ जब तक $N$ पर्याप्त रूप से बड़ा है. इसके अलावा, यह पूंछ संभावनाओं के अभिसरण के बारे में जानकारी प्रदान नहीं करता है $N\to \infty$. हालाँकि, बड़ा विचलन सिद्धांत ऐसी समस्याओं का उत्तर प्रदान कर सकता है।

आइए इस कथन को और अधिक सटीक बनाएं। किसी दिए गए मान के लिए $0.5<x<1$,आइए हम पूँछ संभाव्यता की गणना करें $P(M_{N}>x)$. परिभाषित करना

$I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}$.

ध्यान दें कि फ़ंक्शन $I(x)$ एक उत्तल, अऋणात्मक फलन है जिसका मान शून्य है $x={\tfrac {1}{2}}$ और के रूप में बढ़ता है $x$ दृष्टिकोण $1$. यह बर्नौली एन्ट्रापी का नकारात्मक है $p={\tfrac {1}{2}}$; यह सिक्का उछालने के लिए उपयुक्त है, यह बर्नौली परीक्षण पर लागू स्पर्शोन्मुख समविभाजन गुण से पता चलता है। फिर चेरनॉफ़ की असमानता से यह दिखाया जा सकता है $P(M_{N}>x)<\exp(-NI(x))$. यह बंधन इस अर्थ में काफी तीव्र है $I(x)$ इसे बड़ी संख्या से प्रतिस्थापित नहीं किया जा सकता है जिससे सभी सकारात्मक के लिए सख्त असमानता उत्पन्न होगी $N$. (हालाँकि, घातीय सीमा को अभी भी एक उप-घातीय कारक द्वारा कम किया जा सकता है $1/{\sqrt {N}}$; यह बर्नौली वितरण में प्रदर्शित होने वाले द्विपद गुणांक पर लागू स्टर्लिंग सन्निकटन से अनुसरण करता है।) इसलिए, हम निम्नलिखित परिणाम प्राप्त करते हैं:

$P(M_{N}>x)\approx \exp(-NI(x))$.

संभावना $P(M_{N}>x)$ के रूप में तेजी से क्षय होता है $N\to \infty$ x पर निर्भर दर पर। यह सूत्र i.i.d. के नमूना माध्य की किसी भी अंतिम संभावना का अनुमान लगाता है। नमूनों की संख्या बढ़ने पर यह परिवर्तनशील हो जाता है और अपना अभिसरण देता है।

स्वतंत्र यादृच्छिक चर के योग के लिए बड़े विचलन

Main article: Cramér's theorem (large deviations)

सिक्का उछालने के उपरोक्त उदाहरण में हमने स्पष्ट रूप से मान लिया है कि प्रत्येक उछाल एक है स्वतंत्र परीक्षण, और हेड या टेल आने की संभावना हमेशा समान होती है।

होने देना $X,X_{1},X_{2},\ldots$ आई.आई.डी. हो (i.i.d.) यादृच्छिक चर जिनका सामान्य वितरण एक निश्चित विकास स्थिति को संतुष्ट करता है। फिर निम्नलिखित सीमा मौजूद है:

$\lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)$.

यहाँ

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$,

पहले जैसा।

समारोह $I(\cdot )$ इसे दर समारोह या क्रैमर फ़ंक्शन या कभी-कभी एन्ट्रॉपी फ़ंक्शन कहा जाता है।

उपर्युक्त सीमा का अर्थ है कि बड़े के लिए $N$,

$P(M_{N}>x)\approx \exp[-NI(x)]$,

जो बड़े विचलन सिद्धांत का मूल परिणाम है। यदि हम संभाव्यता वितरण जानते हैं $X$, दर फ़ंक्शन के लिए एक स्पष्ट अभिव्यक्ति प्राप्त की जा सकती है। यह लेजेंड्रे-फेन्चेल परिवर्तन द्वारा दिया गया है,

$I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]$,

कहाँ

$\lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]$

संचयी जनरेटिंग फ़ंक्शन (सीजीएफ) कहा जाता है और $\operatorname {E}$ गणितीय अपेक्षा को दर्शाता है।

अगर $X$ सामान्य वितरण का अनुसरण करते हुए, दर फ़ंक्शन सामान्य वितरण के माध्य पर अपने शीर्ष के साथ एक परवलय बन जाता है।

अगर $\{X_{i}\}$ एक इरेड्यूसिबल और एपेरियोडिक मार्कोव श्रृंखला है, जो ऊपर बताए गए बुनियादी बड़े विचलन परिणाम का प्रकार हो सकता है।

स्वतंत्र यादृच्छिक चर के योग के लिए मध्यम विचलन

पिछले उदाहरण ने घटना की संभावना को नियंत्रित किया $[M_{N}>x]$, अर्थात्, के नियम की एकाग्रता $M_{N}$ कॉम्पैक्ट सेट पर $[-x,x]$. घटना की संभावना को नियंत्रित करना भी संभव है $[M_{N}>xa_{N}]$ कुछ अनुक्रम के लिए $a_{N}\to 0$. निम्नलिखित मध्यम विचलन सिद्धांत का एक उदाहरण है:

Theorem — Let $X_{1},X_{2},\dots$ be a sequence of centered i.i.d variables with finite variance $\sigma ^{2}$ such that $\forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty$. Define $M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}$. Then for any sequence $1\ll a_{N}\ll {\sqrt {N}}$:

$\lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}$

विशेष रूप से, सीमा मामला $a_{N}={\sqrt {N}}$ केंद्रीय सीमा प्रमेय है.

औपचारिक परिभाषा

पोलिश स्थान दिया गया ${\mathcal {X}}$ होने देना $\{\mathbb {P} _{N}\}$ बोरेल बीजगणित संभाव्यता उपायों का एक क्रम बनें ${\mathcal {X}}$, होने देना $\{a_{N}\}$ सकारात्मक वास्तविक संख्याओं का ऐसा अनुक्रम बनें $\lim _{N}a_{N}=\infty$, और अंत में जाने दो $I:{\mathcal {X}}\to [0,\infty ]$ निम्न अर्ध-निरंतर क्रियाशील बनें ${\mathcal {X}}.$ क्रम $\{\mathbb {P} _{N}\}$ ऐसा कहा जाता है कि यह गति के साथ एक बड़े विचलन सिद्धांत को संतुष्ट करता है $\{a_{n}\}$ और दर $I$ यदि, और केवल यदि, प्रत्येक बोरेल मापने योग्य सेट के लिए $E\subset {\mathcal {X}}$,

$-\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)$,

कहाँ ${\overline {E}}$ और $E^{\circ }$ क्रमशः समापन (टोपोलॉजी) और आंतरिक (टोपोलॉजी) को निरूपित करें $E$.

संक्षिप्त इतिहास

बड़े विचलनों से संबंधित पहले कठोर परिणाम स्वीडिश गणितज्ञ हेराल्ड क्रैमर के कारण हैं, जिन्होंने उन्हें बीमा व्यवसाय के मॉडल के लिए लागू किया था। बिन्दु से एक बीमा कंपनी की नजर में, कमाई प्रति माह एक स्थिर दर (मासिक प्रीमियम) पर होती है लेकिन दावे बेतरतीब ढंग से आते हैं। कंपनी को एक निश्चित अवधि (अधिमानतः कई महीनों) में सफल होने के लिए, कुल कमाई कुल दावे से अधिक होनी चाहिए। इस प्रकार प्रीमियम का अनुमान लगाने के लिए आपको निम्नलिखित प्रश्न पूछना होगा: हमें प्रीमियम के रूप में क्या चुनना चाहिए $q$ ऐसे कि खत्म $N$ महीनों में कुल दावा $C=\Sigma X_{i}$ से कम होना चाहिए $Nq$?" यह स्पष्ट रूप से वही प्रश्न है जो बड़े विचलन सिद्धांत द्वारा पूछा गया है। क्रैमर ने आई.आई.डी. के लिए इस प्रश्न का समाधान दिया। यादृच्छिक चर, जहां दर फ़ंक्शन को शक्ति श्रृंखला के रूप में व्यक्त किया जाता है।

महत्वपूर्ण प्रगति करने वाले गणितज्ञों की एक बहुत ही अधूरी सूची में एलेक्सी ज़िनोविविच पेत्रोव शामिल होंगे, सनोव का प्रमेय, एस.आर.एस. वरदान (जिन्होंने सिद्धांत में अपने योगदान के लिए एबेल पुरस्कार जीता है), डी. रुएल, ऑस्कर लैनफोर्ड|ओ.ई. लैनफोर्ड, अमीर डेम्बो, और ओफ़र ओलिव।

अनुप्रयोग

संभाव्य मॉडल से जानकारी इकट्ठा करने के लिए बड़े विचलन के सिद्धांतों को प्रभावी ढंग से लागू किया जा सकता है। इस प्रकार, बड़े विचलन का सिद्धांत सूचना सिद्धांत और जोखिम प्रबंधन में अपना अनुप्रयोग पाता है। भौतिकी में, बड़े विचलन सिद्धांत का सबसे प्रसिद्ध अनुप्रयोग ऊष्मप्रवैगिकी और सांख्यिकीय यांत्रिकी (दर फ़ंक्शन के साथ एन्ट्रापी से संबंधित संबंध में) में उत्पन्न होता है।

बड़े विचलन और एन्ट्रापी

Main article: asymptotic equipartition property

दर फ़ंक्शन सांख्यिकीय यांत्रिकी में एन्ट्रापी से संबंधित है। इसे अनुमानतः निम्नलिखित प्रकार से देखा जा सकता है। सांख्यिकीय यांत्रिकी में एक विशेष मैक्रो-स्टेट की एन्ट्रापी सूक्ष्म-स्टेट्स की संख्या से संबंधित होती है जो इस मैक्रो-स्टेट से मेल खाती है। हमारे सिक्के उछालने के उदाहरण में माध्य मान $M_{N}$ एक विशेष मैक्रो-स्टेट को नामित कर सकता है। और चित और पट का विशेष क्रम जो एक विशेष मान को जन्म देता है $M_{N}$ एक विशेष सूक्ष्म अवस्था का गठन करता है। मोटे तौर पर कहें तो एक मैक्रो-स्टेट जिसमें अधिक संख्या में माइक्रो-स्टेट्स होते हैं, जो इसे जन्म देते हैं, में उच्च एन्ट्रापी होती है। और उच्च एन्ट्रापी वाले राज्य के वास्तविक प्रयोगों में साकार होने की संभावना अधिक होती है। 1/2 के माध्य मान वाले मैक्रो-स्टेट (जितने हेड उतने टेल) में सबसे अधिक संख्या में माइक्रो-स्टेट्स होते हैं जो इसे जन्म देते हैं और यह वास्तव में उच्चतम एन्ट्रापी वाला राज्य है। और अधिकांश व्यावहारिक स्थितियों में हम वास्तव में बड़ी संख्या में परीक्षणों के लिए इस मैक्रो-स्टेट को प्राप्त करेंगे। दूसरी ओर दर फ़ंक्शन किसी विशेष मैक्रो-स्टेट की उपस्थिति की संभावना को मापता है। दर फ़ंक्शन जितना छोटा होगा, मैक्रो-स्टेट प्रदर्शित होने की संभावना उतनी ही अधिक होगी। हमारे सिक्का उछालने में 1/2 के बराबर माध्य मान के लिए दर फ़ंक्शन का मान शून्य है। इस तरह कोई दर फ़ंक्शन को एन्ट्रापी के नकारात्मक के रूप में देख सकता है।

बड़े विचलन सिद्धांत में दर फ़ंक्शन और कुल्बैक-लीबलर विचलन के बीच एक संबंध है, यह संबंध सनोव के प्रमेय द्वारा स्थापित किया गया है (सनोव देखें)और नोवाक, चौ. 14.5).

एक विशेष मामले में, बड़े विचलन ग्रोमोव-हॉसडॉर्फ़ अभिसरण | ग्रोमोव-हॉसडॉर्फ़ सीमा की अवधारणा से निकटता से संबंधित हैं।

यह भी देखें

• बड़ा विचलन सिद्धांत
• क्रैमर का बड़ा विचलन प्रमेय
• चेर्नॉफ़ की असमानता
• सनोव का प्रमेय
• संकुचन सिद्धांत (बड़े विचलन सिद्धांत), बड़े विचलन सिद्धांतों को कैसे मापते हैं, इसका एक परिणाम
• फ़्रीडलिन-वेंटज़ेल प्रमेय, इटो प्रसार के लिए एक बड़ा विचलन सिद्धांत
• पौराणिक परिवर्तन, पहनावा तुल्यता इस परिवर्तन पर आधारित है।
• लाप्लास सिद्धांत (बड़े विचलन सिद्धांत), आर में एक बड़े विचलन सिद्धांत^घ
• लाप्लास की विधि
• शिल्डर का प्रमेय, एक प्रकार कि गति के लिए एक बड़ा विचलन सिद्धांत
• वर्धन की लेम्मा
• चरम मूल्य सिद्धांत
• गाऊसी यादृच्छिक कार्यों का बड़ा विचलन

ग्रन्थसूची

• Special invited paper: Large deviations by S. R. S. Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi:10.1214/07-AOP348
• A basic introduction to large deviations: Theory, applications, simulations, Hugo Touchette, arXiv:1106.4146.
• Entropy, Large Deviations and Statistical Mechanics by R.S. Ellis, Springer Publication. ISBN 3-540-29059-1
• Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall ISBN 0-412-06311-5
• Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer ISBN 0-387-98406-2
• Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer ISBN 0-387-98362-7
• "Large Deviations for Two Dimensional Navier-Stokes Equation with Multiplicative Noise", S. S. Sritharan and P. Sundar, Stochastic Processes and Their Applications, Vol. 116 (2006) 1636–1659.[2]
• "Large Deviations for the Stochastic Shell Model of Turbulence", U. Manna, S. S. Sritharan and P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), no. 4, 493–521.[3]