स्वतंत्र और समान रूप से वितरित यादृच्छिक चर

संभाव्यता सिद्धांत और सांख्यिकी में, यादृच्छिक चर का एक संग्रह स्वतंत्र और समान रूप से वितरित होता है यदि प्रत्येक यादृच्छिक चर में अन्य के समान संभावना वितरण होता है और सभी परस्पर स्वतंत्रता (संभावना सिद्धांत) होते हैं। इस संपत्ति को सामान्यतः आई.आई.डी., आईआईडी, या आईआईडी के रूप में संक्षिप्त किया जाता है। आईआईडी को पहली बार सांख्यिकी में परिभाषित किया गया था और डेटा माइनिंग और सिग्नल प्रोसेसिंग जैसे विभिन्न क्षेत्रों में इसका उपयोग होता है।

परिचय

सांख्यिकी सामान्यतः यादृच्छिक नमूनों से संबंधित होती है। एक यादृच्छिक नमूने को उन वस्तुओं के समूह के रूप में माना जा सकता है जिन्हें यादृच्छिक रूप से चुना जाता है। अधिक औपचारिक रूप से, यह स्वतंत्र, समान रूप से वितरित (आईआईडी) यादृच्छिक डेटा बिंदुओं का एक क्रम है।

दूसरे शब्दों में, यादृच्छिक नमूना और आईआईडी शब्द मूल रूप से एक ही हैं। आँकड़ों में, यादृच्छिक नमूना विशिष्ट शब्दावली है, किन्तु संभाव्यता में आईआईडी कहना अधिक सामान्य है।

• 'समान रूप से वितरित' का अर्थ है कि कोई समग्र प्रवृत्ति नहीं है - वितरण में उतार-चढ़ाव नहीं होता है और नमूने में सभी आइटम समान संभाव्यता वितरण से लिए जाते हैं।
• 'स्वतंत्र' का अर्थ है कि नमूना आइटम सभी स्वतंत्र घटनाएँ हैं। दूसरे शब्दों में, वे किसी भी तरह से एक दूसरे से जुड़े नहीं हैं; एक चर के मान का ज्ञान दूसरे चर के मान के बारे में कोई जानकारी नहीं देता है और इसके विपरीत।
• आईआईडी चरों को समान रूप से वितरित करने के लिए यह आवश्यक नहीं है। आईआईडी होने के लिए केवल यह आवश्यक है कि उन सभी का एक दूसरे के समान वितरण हो, और उस वितरण से स्वतंत्र रूप से चुने गए हों, भले ही उनका वितरण कितना भी समान या गैर-समान क्यों न हो।

आवेदन

स्वतंत्र और समान रूप से वितरित यादृच्छिक चर अधिकांशतः एक धारणा के रूप में उपयोग किए जाते हैं, जो अंतर्निहित गणित को सरल बनाने की प्रवृत्ति रखता है। सांख्यिकीय मॉडलिंग के व्यावहारिक अनुप्रयोगों में, चूंकि, धारणा यथार्थवादी हो भी सकती है और नहीं भी।

आई.आई.डी. धारणा का उपयोग केंद्रीय सीमा प्रमेय में भी किया जाता है, जिसमें कहा गया है कि आई.आई.डी. के योग (या औसत) का प्रायिकता वितरण परिमित भिन्नता वाले चर सामान्य वितरण की ओर अग्रसर होते हैं।

अधिकांशतः आई.आई.डी. धारणा यादृच्छिक चर के अनुक्रम के संदर्भ में उत्पन्न होती है। तब स्वतंत्र और समान रूप से वितरित का तात्पर्य है कि अनुक्रम में एक तत्व यादृच्छिक चर से स्वतंत्र है जो इससे पहले आया था। इस तरह एक आई.आई.डी. अनुक्रम एक मार्कोव अनुक्रम से अलग है, जहां एनवें यादृच्छिक चर के लिए संभाव्यता वितरण अनुक्रम में पिछले यादृच्छिक चर का एक कार्य है (पहले क्रम मार्कोव अनुक्रम के लिए)। एक आई.आई.डी. अनुक्रम नमूना स्थान या घटना स्थान के सभी तत्वों के लिए संभावनाओं को समान नहीं होना चाहिए। उदाहरण के लिए, बार-बार भरे हुए पासे को फेंकने से परिणाम पक्षपाती होने के बावजूद आई.आई.डी. अनुक्रम उत्पन्न होगा।

सिग्नल प्रोसेसिंग और इमेज प्रोसेसिंग में परिवर्तन की धारणा आई.आई.डी. तात्पर्य दो विशिष्टताओं से है, "आईडी" भाग और "आई" भाग:

पहचान- समय अक्ष पर संकेत स्तर संतुलित होना चाहिए।

आई - सिग्नल स्पेक्ट्रम को चपटा होना चाहिए, यानी फ़िल्टरिंग (जैसे डीकोनोवोल्यूशन) द्वारा एक सफेद शोर सिग्नल (यानी एक संकेत जहां सभी आवृत्तियों समान रूप से मौजूद हैं) में परिवर्तित किया जाना चाहिए।

परिभाषा

दो यादृच्छिक चर के लिए परिभाषा

मान लीजिए कि यादृच्छिक चर $X$ और $Y$ मूल्यों को ग्रहण करने के लिए परिभाषित किया गया है $I\subseteq \mathbb {R}$. होने देना $F_{X}(x)=\operatorname {P} (X\leq x)$ और $F_{Y}(y)=\operatorname {P} (Y\leq y)$ के संचयी वितरण कार्य हो $X$ और $Y$, क्रमशः, और उनके संयुक्त संभाव्यता वितरण को निरूपित करें $F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)$.

दो यादृच्छिक चर $X$ और $Y$ यदि और केवल यदि समान रूप से वितरित किए जाते हैं $F_{X}(x)=F_{Y}(x)\,\forall x\in I$.

दो यादृच्छिक चर $X$ और $Y$ स्वतंत्र हैं यदि और केवल यदि $F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\,\forall x,y\in I$. (आगे देखें.)

दो यादृच्छिक चर $X$ और $Y$ आई.आई.डी हैं यदि वे स्वतंत्र और समान रूप से वितरित हैं, अर्थात यदि और केवल यदि

${\begin{aligned}&F_{X}(x)=F_{Y}(x)\,&\forall x\in I\\&F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\,&\forall x,y\in I\end{aligned}}$

(Eq.1)

दो से अधिक यादृच्छिक चर के लिए परिभाषा

परिभाषा स्वाभाविक रूप से दो से अधिक यादृच्छिक चर तक फैली हुई है। हम कहते हैं $n$ यादृच्छिक चर $X_{1},\ldots ,X_{n}$ आई.आई.डी हैं यदि वे स्वतंत्र हैं (आगे देखें ) और समान रूप से वितरित, अर्थात यदि और केवल यदि

${\begin{aligned}&F_{X_{1}}(x)=F_{X_{k}}(x)\,&\forall k\in \{1,\ldots ,n\}{\text{ and }}\forall x\in I\\&F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\,&\forall x_{1},\ldots ,x_{n}\in I\end{aligned}}$

(Eq.2)

कहाँ $F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})$ के संयुक्त संचयी वितरण समारोह को दर्शाता है $X_{1},\ldots ,X_{n}$.

स्वतंत्रता की परिभाषा

प्रायिकता सिद्धांत में, दो घटनाएँ, ${\textstyle \color {red}A}$ और ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, को स्वतंत्र कहा जाता है यदि और केवल यदि ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}\ \mathrm {and} \ {\color {green}B})=P({\color {red}A})P({\color {green}B})}$. निम्नांकित में, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}{\color {green}B})}$ के लिए छोटा है ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}\ \mathrm {and} \ {\color {green}B})}$.

मान लीजिए प्रयोग की दो घटनाएँ हैं, ${\textstyle \color {red}A}$ और ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$. यदि ${\textstyle P({\color {red}A})>0}$, संभावना है ${\textstyle P({\color {green}B}|{\color {red}A})}$. सामान्यतः, की घटना ${\textstyle \color {red}A}$ की संभावना पर प्रभाव पड़ता है ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, जिसे सशर्त संभाव्यता कहा जाता है, और केवल जब घटना होती है ${\textstyle \color {red}A}$ होने पर कोई प्रभाव नहीं पड़ता है ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, वहाँ है ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {green}B}|{\color {red}A})=P({\color {green}B})}$.

नोट: यदि ${\textstyle P({\color {red}A})>0}$ और ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {Green}B})>0}$, तब ${\textstyle \color {red}A}$ और ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$ पारस्परिक रूप से स्वतंत्र हैं जिन्हें एक ही समय में पारस्परिक रूप से असंगत के साथ स्थापित नहीं किया जा सकता है; अर्थात्, स्वतंत्रता संगत होनी चाहिए और पारस्परिक बहिष्कार संबंधित होना चाहिए।

कल्पना करना ${\textstyle \color {red}A}$, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, और ${\textstyle \definecolor {blue}{rgb}{0,0,1}\color {blue}C}$ तीन घटनाएँ हैं। यदि ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}{\color {green}B})=P({\color {red}A})P({\color {green}B})}$, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\definecolor {blue}{rgb}{0,0,1}\definecolor {Blue}{rgb}{0,0,1}P({\color {green}B}{\color {blue}C})=P({\color {green}B})P({\color {blue}C})}$, ${\textstyle \definecolor {blue}{rgb}{0,0,1}P({\color {red}A}{\color {blue}C})=P({\color {red}A})P({\color {blue}C})}$, और ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\definecolor {blue}{rgb}{0,0,1}\definecolor {Blue}{rgb}{0,0,1}P({\color {red}A}{\color {green}B}{\color {blue}C})=P({\color {red}A})P({\color {green}B})P({\color {blue}C})}$ संतुष्ट हैं, तो घटनाएँ ${\textstyle \color {red}A}$, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, और ${\textstyle \definecolor {blue}{rgb}{0,0,1}\color {blue}C}$ परस्पर स्वतंत्र हैं।

एक अधिक सामान्य परिभाषा है ${\textstyle n}$ आयोजन, ${\textstyle {\color {red}A}_{1},{\color {red}A}_{2},\ldots ,{\color {red}A}_{n}}$. यदि किसी के लिए उत्पाद घटनाओं की संभावनाएं ${\textstyle 2,3,\ldots ,n}$ घटनाएँ प्रत्येक घटना की संभावनाओं के उत्पाद के बराबर होती हैं, फिर घटनाएँ ${\textstyle {\color {red}A}_{1},{\color {red}A}_{2},\ldots ,{\color {red}A}_{n}}$ एक दूसरे से स्वतंत्र हैं।

उदाहरण

उदाहरण 1

उचित या अनुचित रूलेट व्हील के घुमावों के परिणामों का क्रम आई.आई.डी. इसका एक निहितार्थ यह है कि यदि रूलेट गेंद लाल रंग पर गिरती है, उदाहरण के लिए, एक पंक्ति में 20 बार, अगली स्पिन किसी भी अन्य स्पिन की तुलना में काली होने की अधिक या कम संभावना नहीं है (जुआरी का भ्रम देखें)।

फेयर या लोडेड डाइस रोल का क्रम आई.आई.डी.

निष्पक्ष या अनुचित सिक्के के पलटने का क्रम आई.आई.डी. है।

संकेत आगे बढ़ाना और मूर्ति प्रोद्योगिकी में परिवर्तन की धारणा आई.आई.डी. तात्पर्य दो विशिष्टताओं से है, आई.डी. भाग और मैं भाग:

(i.d.) संकेत स्तर समय अक्ष पर संतुलित होना चाहिए;

(i।) सिग्नल स्पेक्ट्रम को चपटा होना चाहिए, अर्थात फ़िल्टरिंग (जैसे डिकॉनवोल्यूशन) द्वारा एक सफेद शोर सिग्नल (अर्थात एक संकेत जहां सभी आवृत्तियों समान रूप से उपस्तिथ हैं) में परिवर्तित किया जाना चाहिए।

उदाहरण 2

एक सिक्के को 10 बार उछालें और रिकॉर्ड करें कि सिक्का कितनी बार सिर पर गिरा।

1. स्वतंत्र - लैंडिंग का प्रत्येक परिणाम दूसरे परिणाम को प्रभावित नहीं करेगा, जिसका अर्थ है कि 10 परिणाम एक दूसरे से स्वतंत्र हैं।
2. समान रूप से वितरित - यदि सिक्का एक सजातीय सामग्री है, तो हर बार हेड आने की संभावना 0.5 है, जिसका अर्थ है कि हर बार संभावना समान है।

उदाहरण 3

एक पासे को 10 बार घुमाएँ और रिकॉर्ड करें कि कितनी बार परिणाम 1 आया।

1. स्वतंत्र - डाइस का प्रत्येक परिणाम अगले परिणाम को प्रभावित नहीं करेगा, जिसका अर्थ है कि 10 परिणाम एक दूसरे से स्वतंत्र हैं।
2. समान रूप से वितरित - यदि पासा एक सजातीय सामग्री है, तो हर बार संख्या 1 की संभावना 1/6 है, जिसका अर्थ है कि संभावना हर बार समान है।

उदाहरण 4

52 कार्ड वाले कार्ड के मानक डेक से एक कार्ड चुनें, फिर कार्ड को वापस डेक में रखें। इसे 52 बार दोहराएं। दिखाई देने वाले राजा की संख्या रिकॉर्ड करें

1. स्वतंत्र - कार्ड का प्रत्येक परिणाम अगले परिणाम को प्रभावित नहीं करेगा, जिसका अर्थ है कि 52 परिणाम एक दूसरे से स्वतंत्र हैं।
2. समान रूप से वितरित - इसमें से एक कार्ड निकालने के बाद, हर बार बादशाह की प्रायिकता 4/52 होती है, जिसका अर्थ है कि हर बार प्रायिकता समान होती है।

सामान्यीकरण

कई परिणाम जो पहली बार इस धारणा के अनुसार सिद्ध हुए थे कि यादृच्छिक चर i.i.d हैं। कमजोर वितरण धारणा के अनुसार भी सही सिद्ध करना हुए हैं।

विनिमेय यादृच्छिक चर

सबसे सामान्य धारणा जो आई.आई.डी. के मुख्य गुणों को साझा करती है। चर विनिमेय यादृच्छिक चर हैं, जो ब्रूनो डी फिनेची द्वारा प्रस्तुत किए गए हैं। विनिमेयता का मतलब है कि चूंकि चर स्वतंत्र नहीं हो सकते हैं, भविष्य वाले पिछले वाले की तरह व्यवहार करते हैं - औपचारिक रूप से, परिमित अनुक्रम का कोई भी मूल्य उतना ही संभव है जितना कि उन मूल्यों का कोई क्रमपरिवर्तन - सममित समूह के अनुसार संयुक्त संभाव्यता वितरण अपरिवर्तनीय है।

यह एक उपयोगी सामान्यीकरण प्रदान करता है - उदाहरण के लिए, प्रतिस्थापन के बिना नमूना लेना स्वतंत्र नहीं है, किन्तु विनिमय योग्य है।

लेवी प्रक्रिया

स्टोचैस्टिक कैलकुलस में, आई.आई.डी. चरों को असतत समय लेवी प्रक्रिया के रूप में माना जाता है: प्रत्येक चर यह बताता है कि एक समय से दूसरे में कितना परिवर्तन होता है। उदाहरण के लिए, Bernoulli परीक्षणों के अनुक्रम की व्याख्या Bernoulli प्रक्रिया के रूप में की जाती है। निरंतर समय लेवी प्रक्रियाओं को सम्मिलित करने के लिए इसे सामान्यीकृत किया जा सकता है, और कई लेवी प्रक्रियाओं को i.i.d की सीमा के रूप में देखा जा सकता है। चर-उदाहरण के लिए, वीनर प्रक्रिया बर्नौली प्रक्रिया की सीमा है।

मशीन लर्निंग में

मशीन लर्निंग तेजी से, अधिक त्रुटिहीन परिणाम देने के लिए वर्तमान में बड़ी मात्रा में डेटा का उपयोग करता है। इसलिए, हमें समग्र प्रतिनिधित्व के साथ ऐतिहासिक डेटा का उपयोग करने की आवश्यकता है। यदि प्राप्त डेटा समग्र स्थिति का प्रतिनिधित्व नहीं करता है, तो नियमों को गलत या गलत तरीके से सारांशित किया जाएगा।

आई.आई.डी. परिकल्पना, प्रशिक्षण नमूने में व्यक्तिगत स्थितियोंकी संख्या बहुत कम हो सकती है।

यह धारणा गणितीय रूप से गणना करने के लिए अधिकतमकरण को बहुत आसान बनाती है। गणित में स्वतंत्र और समान वितरण की धारणा को देखते हुए अनुकूलन समस्याओं में संभावना कार्य की गणना सरल हो जाती है। स्वतंत्रता की मान्यता के कारण, संभावना फलन को इस प्रकार लिखा जा सकता है

$l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )$

देखी गई घटना की संभावना को अधिकतम करने के लिए, लॉग फ़ंक्शन लें और पैरामीटर θ को अधिकतम करें। अर्थात गणना करने के लिए:

$\mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))$

कहाँ

$\log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))$

कंप्यूटर कई योगों की गणना करने के लिए बहुत कुशल है, किन्तु यह गुणन की गणना करने में कुशल नहीं है। कम्प्यूटेशनल दक्षता में वृद्धि के लिए यह सरलीकरण मुख्य कारण है। और यह लॉग ट्रांसफ़ॉर्मेशन भी अधिकतम करने की प्रक्रिया में है, कई घातीय कार्यों को रैखिक कार्यों में बदल रहा है।

दो कारणों से, व्यावहारिक अनुप्रयोगों में केंद्रीय सीमा प्रमेय का उपयोग करना आसान है।

1. यदि नमूना अधिक जटिल गैर-गाऊसी वितरण से आता है, यह अच्छी तरह से अनुमानित भी हो सकता है। क्योंकि इसे केंद्रीय सीमा प्रमेय से गॉसियन वितरण तक सरल बनाया जा सकता है। बड़ी संख्या में देखे जाने योग्य नमूनों के लिए, कई यादृच्छिक चरों के योग का लगभग सामान्य वितरण होगा।
2. दूसरा कारण यह है कि मॉडल की त्रुटिहीनता मॉडल इकाई की सादगी और प्रतिनिधि शक्ति के साथ-साथ डेटा की गुणवत्ता पर निर्भर करती है। क्योंकि इकाई की सरलता से व्याख्या करना और पैमाना बनाना आसान हो जाता है, और इकाई से प्रतिनिधि शक्ति + पैमाना मॉडल की त्रुटिहीनता में सुधार करता है। एक गहरे तंत्रिका नेटवर्क की तरह, प्रत्येक न्यूरॉन बहुत सरल है, किन्तु मॉडल की त्रुटिहीनता में सुधार के लिए अधिक जटिल सुविधाओं का प्रतिनिधित्व करने के लिए परत दर परत मजबूत प्रतिनिधि शक्ति है।

यह भी देखें

• डी फिनेटी की प्रमेय
• जोड़ीदार स्वतंत्रता
• केंद्रीय सीमा प्रमेय

अग्रिम पठन

• Casella, George; Berger, Roger L. (2002), Statistical Inference, Duxbury Advanced Series