अपसरण (सांख्यिकी): Difference between revisions

Revision as of 13:20, 28 April 2023

सूचना ज्यामिति में, विचलन एक प्रकार की सांख्यिकीय दूरी है: एक युग्मक फलन जो एक संभाव्यता वितरण से दूसरे सांख्यिकीय बहुविध पर अलगाव को स्थापित करता है।

सबसे सरल विचलन यूक्लिडियन दूरी (एसईडी) है, और विचलन को एसईडी के सामान्यीकरण के रूप में देखा जा सकता है। अन्य सबसे महत्वपूर्ण विचलन सापेक्ष एन्ट्रॉपी (कुल्बैक-लीब्लर विचलन, केएल विचलन) है, जो सूचना सिद्धांत के लिए केंद्रीय है। कई अन्य विशिष्ट विचलन और विचलन के वर्ग हैं, विशेष रूप से f-विचलन और न विचलन (देखें § उदाहरण).

परिभाषा

एक अलग करने योग्य बहुविध $M$ आयाम का $n$ दिया गया^{[lower-alpha 1]}, $M$ पर विचलन एक $C^{2}$ -फलन $D:M\times M\to [0,\infty )$ है जो निम्नलिखित को संतुष्ट करता है:^[1]^[2]

$D(p,q)\geq 0$ सभी $p,q\in M$ के लिए (गैर-नकारात्मकता),
$D(p,q)=0$ यदि और केवल यदि $p=q$ (सकारात्मकता),
हर बिंदु $p\in M$ , $D(p,p+dp)$ पर अत्यल्प विस्थापनों के लिए धनात्मक-निश्चित द्विघात रूप $dp$ से $p$ है।

सांख्यिकी के अनुप्रयोगों में, बहुविध $M$ सामान्यतः एक प्राचलिक परिवार के मापदंडों का स्थान होता है।

अवस्था 3 का अर्थ है $D$ स्पर्शरेखा स्थान $T_{p}M$ पर हर $p\in M$ के लिए एक आंतरिक उत्पाद को परिभाषित करता है। चूँकि $D$ , $M$ पर $C^{2}$ है, यह $M$ पर एक रिमेंनियन मेट्रिक $g$ को परिभाषित करता है।

स्थानीय रूप से $p\in M$ , हम निर्देशांक $x$ के साथ एक स्थानीय समन्वय मानचित्र बना सकते हैं , तो विचलन निम्न है

D(x(p),x(p)+dx)=\textstyle {\frac {1}{2}}dx^{T}g_{p}(x)dx+O(|dx|^{3})

जहाँ

g_{p}(x)

आकार

n\times n

का एक आव्यूह है। यह बिंदु

p

पर रिमेंनियन मात्रिक निर्देशांक

x

में व्यक्त किया गया है।

स्थिति 3 के आयामी विश्लेषण से पता चलता है कि विचलन में वर्ग दूरी का आयाम है।^[3]

द्वैत विचलन $D^{*}$ निम्न रूप में परिभाषित किया जाता है

D^{*}(p,q)=D(q,p).

जब हम $D$ को $D^{*}$ के विपरीत करना चाहते हैं, तो हम $D$ को प्रारंभिक विचलन के रूप में संदर्भित करते हैं।

किसी विचलन $D$ को देखते हुए, इसके सममित संस्करण को इसके दोहरे विचलन के साथ औसत करके प्राप्त किया जाता है:^[3]

D_{S}(p,q)=\textstyle {\frac {1}{2}}{\big (}D(p,q)+D(q,p){\big )}.

अन्य समान अवधारणाओं से अंतर

मात्रिक (गणित) के विपरीत, अपसरण को सममित होने की आवश्यकता नहीं है, और विषमता अनुप्रयोगों में महत्वपूर्ण है।^[3] तद्नुसार, प्रायः p और q के बीच के स्थान पर p या p से q के विचलन को असमान रूप से संदर्भित किया जाता है। दूसरे, अपसरण वर्ग दूरी का सामान्यीकरण करते हैं, रेखीय दूरी का नहीं, और इस प्रकार त्रिकोण असमानता को संतुष्ट नहीं करते हैं, लेकिन कुछ अपसरण (जैसे कि ब्रेगमैन अपसरण) पाइथागोरस प्रमेय के सामान्यीकरण को संतुष्ट करते हैं।

सामान्य आँकड़ों और संभाव्यता में, विचलन सामान्यतः किसी भी प्रकार के कार्य $D(p,q)$ को संदर्भित करता है, जहाँ $p,q$ संभाव्यता वितरण या विचाराधीन अन्य वस्तुएं हैं, जैसे कि स्तिथि 1, 2 संतुष्ट हैं। सूचना ज्यामिति में प्रयुक्त विचलन के लिए स्तिथि 3 आवश्यक है।

एक उदाहरण के रूप में, संभाव्यता उपायों की कुल भिन्नता दूरी, सामान्यतः इस्तेमाल किया जाने वाला सांख्यिकीय विचलन, स्थिति 3 को संतुष्ट नहीं करता है।

चिन्हांकन

विचलन के लिए संकेतन क्षेत्रों के बीच महत्वपूर्ण रूप से भिन्न होता है, हालांकि कुछ परंपराएं हैं।

भिन्नता को सामान्यतः एक बड़े अक्षर 'डी' के साथ नोट किया जाता है, जैसा कि में है $D(x,y)$ , उन्हें मात्रिक दूरियों से अलग करने के लिए, जिन्हें लोअरकेस 'डी' के साथ नोट किया गया है। जब कई भिन्नता उपयोग में होते हैं, तो वे सामान्यतः सबस्क्रिप्ट के साथ अलग-अलग होते हैं, जैसे कि $D_{\text{KL}}$ कुल्बैक-लीब्लर अपसरण (KL अपसरण) के लिए होते हैं।

प्रायः मापदंडों के बीच एक अलग विभाजक का उपयोग विशेष रूप से विषमता पर जोर देने के लिए किया जाता है। सूचना सिद्धांत में, सामान्यतः एक युग्म स्तंभ $D(p\parallel q)$ का उपयोग किया जाता है; यह समान है, लेकिन सशर्त संभाव्यता के लिए संकेतन $P(A|B)$ से अलग है, और सापेक्ष एन्ट्रॉपी के रूप में विचलन को सापेक्ष माप के रूप में व्याख्या करने पर जोर देता है; केएल विचलन के लिए यह अंकन सामान्य है। इसके स्थान पर एक कोलन का उपयोग किया जा सकता है,^{[lower-alpha 2]} जैसे $D(p:q)$ ; यह दो वितरणों का समर्थन करने वाली सापेक्ष जानकारी को महत्त्व देता है।

मापदंडों के लिए अंकन भी भिन्न होता है। $P,Q$ प्रायिकता वितरण के रूप में मापदंडों की व्याख्या करता है, जबकि $p,q$ या $x,y$ अंतरिक्ष में बिंदुओं के रूप में उनकी ज्यामितीय रूप से व्याख्या करता है, और $\mu _{1},\mu _{2}$ या $m_{1},m_{2}$ उन्हें उपायों के रूप में व्याख्या करता है।

ज्यामितीय गुण

भिन्नता के कई गुणों को प्राप्त किया जा सकता है यदि हम S को एक सांख्यिकीय बहुविध तक सीमित करते हैं, जिसका अर्थ है कि इसे परिमित-आयामी समन्वय प्रणाली θ के साथ प्राचलीकरण किया जा सकता है, ताकि वितरण के लिए p ∈ S हम p = p(θ) लिख सकते हैं।

एक जोड़ी अंक p, q ∈ S के लिए निर्देशांक θ_p और θ_q के साथ, D(p, q) के आंशिक व्युत्पन्न शब्द को निरूपित करें

{\begin{aligned}D((\partial _{i})_{p},q)\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}D(p,q),\\D((\partial _{i}\partial _{j})_{p},(\partial _{k})_{q})\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}{\tfrac {\partial }{\partial \theta _{p}^{j}}}{\tfrac {\partial }{\partial \theta _{q}^{k}}}D(p,q),\ \ \mathrm {etc.} \end{aligned}}

अब हम इन कार्यों को एक विकर्ण p = q तक सीमित करते हैं, और निम्न को निरूपित करें ^[4]

{\begin{aligned}D[\partial _{i},\cdot ]\ &:\ p\mapsto D((\partial _{i})_{p},p),\\D[\partial _{i},\partial _{j}]\ &:\ p\mapsto D((\partial _{i})_{p},(\partial _{j})_{p}),\ \ \mathrm {etc.} \end{aligned}}

परिभाषा के अनुसार, फलन D(p, q) को न्यूनतम किया जाता है p = q, और इसलिए

{\begin{aligned}&D[\partial _{i},\cdot ]=D[\cdot ,\partial _{i}]=0,\\&D[\partial _{i}\partial _{j},\cdot ]=D[\cdot ,\partial _{i}\partial _{j}]=-D[\partial _{i},\partial _{j}]\ \equiv \ g_{ij}^{(D)},\end{aligned}}

जहां आव्यूह g^(D) सकारात्मक अर्ध-निश्चित आव्यूह है | सकारात्मक अर्ध-निश्चित है और बहुविध S पर एक अद्वितीय रिमेंनियन मात्रिक परिभाषित करता है।

भिन्नता डी (·, ·) भी संयोजन-मुक्त सजातीय संयोजन के एक अद्वितीय मरोड़ को परिभाषित करता है ∇^{(डी) </ sup> गुणांक के साथ}

\Gamma _{ij,k}^{(D)}=-D[\partial _{i}\partial _{j},\partial _{k}],

और इस संयोजन के लिए दोहरी संबंध संयोजन ∇* दोहरी विचलन डी* द्वारा उत्पन्न होता है।

इस प्रकार, एक विचलन डी (·, ·) एक सांख्यिकीय बहुविध पर एक अद्वितीय द्वैतवादी संरचना (g^(D), ∇^(D), ∇^(D*)) उत्पन्न करता है। इसका विलोम भी सत्य है: प्रत्येक मरोड़-मुक्त द्वैतवादी संरचना एक सांख्यिकीय बहुविध पर कुछ विश्व स्तर पर परिभाषित विचलन फलन से प्रेरित होती है (जो कि अद्वितीय होने की आवश्यकता नहीं है)। उदाहरण के लिए, जब D एक f-विचलन है कुछ फलन ƒ(·) के लिए, तो यह रीमैनियन मात्रिक उत्पन्न करता है g(Df) = c·g और संयोजन ∇(Df) = ∇(α), जहां g कैनोनिकल फिशर सूचना मात्रिक है, ∇(ए) α-संयोजन है, c = ƒ′′(1), और α = 3 + 2ƒ′′′(1)/ƒ′′(1)।

उदाहरण

दो सबसे महत्वपूर्ण विचलन सापेक्ष एंट्रॉपी (कुल्बैक-लीब्लर विचलन, केएल विचलन) हैं, जो सूचना सिद्धांत और आंकड़ों के लिए केंद्रीय है, और स्क्वायर यूक्लिडियन दूरी (एसईडी)। अधिकतम एंट्रॉपी और कम से कम वर्गों के सिद्धांत के माध्यम से, विशेष रूप से लॉजिस्टिक प्रतिगमन और रैखिक प्रतिगमन में, इन दो भिन्नताओं को कम करना मुख्य तरीका है कि रैखिक प्रतिलोम समस्या हल हो जाती है।^[5]

अपसरण के दो सबसे महत्वपूर्ण वर्ग हैं एफ-अपसरण और ब्रैगमैन अपसरण; हालाँकि, साहित्य में अन्य प्रकार के विचलन कार्यों का भी सामना करना पड़ता है। कुल्बैक-लीब्लर विचलन एकमात्र विचलन है जो एक एफ-विचलन और ब्रैगमैन विचलन दोनों है;^[6] चुकता यूक्लिडियन विचलन एक ब्रेगमैन विचलन है (फलन के अनुरूप $x^{2}$ ), लेकिन f-विचलन नहीं है।

f विचलन

उत्तल कार्य $f:[0,\infty )\to (-\infty ,\infty ]$ ऐसे दिया गया है कि $f(0)=\lim _{t\to 0^{+}}f(t),f(1)=0$ , $f$ द्वारा उत्पन्न एफ-विचलन निम्न रूप में परिभाषित किया जाता है

D_{f}(p,q)=\int p(x)f{\bigg (}{\frac {q(x)}{p(x)}}{\bigg )}dx

कुलबैक-लीब्लर विचलन:	$D_{\mathrm {KL} }(p,q)=\int p(x)\ln \left({\frac {p(x)}{q(x)}}\right)dx$
रुंडित हेलिंगर दूरी:	$H^{2}(p,\,q)=2\int {\Big (}{\sqrt {p(x)}}-{\sqrt {q(x)}}\,{\Big )}^{2}dx$
जेन्सेन–शान्नोन विचलन:	$D_{JS}(p,q)={\frac {1}{2}}\int (p(x)-q(x)){\big (}\ln p(x)-\ln q(x){\big )}dx$
α-विचलन	$D^{(\alpha )}(p,q)={\frac {4}{1-\alpha ^{2}}}{\bigg (}1-\int p(x)^{\frac {1-\alpha }{2}}q(x)^{\frac {1+\alpha }{2}}dx{\bigg )}$
ची रुंडित विचलन:	$D_{\chi ^{2}}(p,q)=\int {\frac {(p(x)-q(x))^{2}}{p(x)}}dx$
(α,β) उत्पाद विचलन^{[citation needed]}:	$D_{\alpha ,\beta }(p,q)={\frac {2}{(1-\alpha )(1-\beta )}}\int {\Big (}1-{\Big (}{\tfrac {q(x)}{p(x)}}{\Big )}^{\!\!{\frac {1-\alpha }{2}}}{\Big )}{\Big (}1-{\Big (}{\tfrac {q(x)}{p(x)}}{\Big )}^{\!\!{\frac {1-\beta }{2}}}{\Big )}p(x)dx$

ब्रैगमैन भिन्नता

ब्रैगमैन भिन्नता उत्तल सम्मुच्चय पर उत्तल कार्यों के अनुरूप हैं। एक दृढ़तः उत्तल कार्य दिया गया है, निरंतर भिन्न कार्य $F$ एक उत्तल सम्मुच्चय पर, जिसे ब्रैगमैन जनित्र के रूप में जाना जाता है, ब्रैगमैन अपसरण उत्तलता को मापता है: p पर मान के सन्निकटन के रूप में q से F के रैखिक सन्निकटन की त्रुटि निम्न है:

D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .

ब्रैगमैन विचलन के लिए दोहरी विचलन मूल विचलन के ब्रैगमैन जनित्र के उत्तल संयुग्म F* द्वारा उत्पन्न विचलन है। उदाहरण के लिए, यूक्लिडियन दूरी के वर्ग के लिए, जनित्र $x^{2}$ है, जबकि सापेक्ष एंट्रॉपी के लिए जनित्र ऋणात्मक एंट्रॉपी अभिलेख $x\log x$ है।

इतिहास

अपसरण शब्द का उपयोग - यह किस प्रकार के कार्यों को संदर्भित करता है, और विभिन्न सांख्यिकीय दूरियों को क्या कहा जाता है - समय के साथ महत्वपूर्ण रूप से भिन्न होता है, लेकिन सी. 2000 द्वारा सूचना ज्यामिति के भीतर, विशेष रूप से पाठ्यपुस्तक अमारी & नागाओका (2000) में वर्तमान उपयोग पर तय किया गया था .^[1]

एक सांख्यिकीय दूरी के लिए विचलन शब्द का उपयोग अनौपचारिक रूप से c. 1910 से c. 1940 से विभिन्न संदर्भों में किया गया था। इसका औपचारिक उपयोग कम से कम दिनांकित भट्टाचार्य (1943) है, उनके संभाव्यता वितरण द्वारा परिभाषित दो सांख्यिकीय आबादी के बीच विचलन के माप पर आख्यायुक्त है, जो भट्टाचार्य दूरी को परिभाषित करता है, और भट्टाचार्य (1946), दो बहुराष्ट्रीय आबादी के बीच विचलन के माप पर आख्यायुक्त है, जिसने भट्टाचार्य कोण को परिभाषित किया। कुलबैक & लीब्लर (1951) और पाठ्यपुस्तक कुलबैक (1959) में कुल्बैक-लीब्लर विचलन के लिए इसके उपयोग से यह शब्द लोकप्रिय हुआ। विचलन शब्द का प्रयोग सामान्यतः अली & सिल्वे (1966) सांख्यिकीय दूरियों के लिए किया जाता था। सांख्यिकीय दूरियों के पूर्व उपयोग अधिकारी & जोशी (1956) और कुलबैक (1959, pp. 6–7, 1.3 विचलन) के अनेक संदर्भ में दिए गए हैं।

कुलबैक & लीब्लर (1951) वस्तुतः सममित विचलन को संदर्भित करने के लिए विचलन का उपयोग किया गया था (यह फलन पहले से ही 1948 में हेरोल्ड जेफरीस द्वारा परिभाषित और उपयोग किया गया था^[7]), भेदभाव के लिए औसत जानकारी ... प्रति अवलोकन के रूप में असममित कार्य को व्यक्त करते हुए ,^[8] जबकि कुलबैक (1959) असममित कार्य को निर्देशित विचलन के रूप में संदर्भित करता है।^[9] अली & सिल्वे (1966) सामान्यतः इस तरह के एक फलन को विचलन के गुणांक के रूप में संदर्भित किया जाता है, और दिखाया गया है कि कई मौजूदा कार्यों को f-विचलन के रूप में व्यक्त किया जा सकता है, जेफरीस के फलन को जेफरीस के विचलन के उपाय (आज जेफरीस विचलन), और कुल्बैक-लीब्लर के असममित फलन (प्रत्येक दिशा में) कुलबैक और लीब्लर के भेदभावपूर्ण जानकारी के उपायों के रूप में (आज कुल्बैक-लीब्लर विचलन) संदर्भित किया गया है। ।^[10]

विचलन की सूचना ज्यामिति परिभाषा (इस लेख का विषय) को प्रारम्भ में अर्ध-दूरी सहित वैकल्पिक शब्दों द्वारा संदर्भित किया गया था अमारी (1982, p. 369) और कंट्रास्ट फलन एगुची (1985), हालांकि विचलन का उपयोग किया गया था अमारी (1985) के लिए $α$ -विचलन, और सामान्य वर्ग के लिए मानक बन गया है।^[1]^[2]

विचलन शब्द एक दूरी (मात्रिक) के विपरीत है, क्योंकि सममित विचलन त्रिभुज असमानता को संतुष्ट नहीं करता है।^[11] उदाहरण के लिए, ब्रैगमैन दूरी शब्द अभी भी पाया जाता है, लेकिन ब्रैगमैन अपसरण अब पसंद किया जाता है।

सांकेतिक रूप से, कुलबैक & लीब्लर (1951) ने उनके असममित कार्य को $I(1:2)$ निरूपित किया, जबकि अली & सिल्वे (1966) उनके कार्यों 'd' को $d\left(P_{1},P_{2}\right)$ के रूप में दर्शाता है।

यह भी देखें

सांख्यिकीय दूरी

↑ Throughout, we only require differentiability class C² (continuous with continuous first and second derivatives), since only second derivatives are required. In practice, commonly used statistical manifolds and divergences are infinitely differentiable ("smooth").
↑ A colon is used in Kullback & Leibler (1951, p. 80), where the KL divergence between measure $\mu _{1}$ and $\mu _{2}$ is written as $I(1:2)$ .

संदर्भ

↑ ^1.0 ^1.1 ^1.2 Amari & Nagaoka 2000, chapter 3.2.
↑ ^2.0 ^2.1 Amari 2016, p. 10, Definition 1.1.
↑ ^3.0 ^3.1 ^3.2 Amari 2016, p. 10.
↑ Eguchi (1992)
↑ Csiszar 1991.
↑ Jiao, Jiantao; Courtade, Thomas; No, Albert; Venkat, Kartik; Weissman, Tsachy (December 2014). "Information Measures: the Curious Case of the Binary Alphabet". IEEE Transactions on Information Theory. 60 (12): 7616–7626. arXiv:1404.6810. doi:10.1109/TIT.2014.2360184. ISSN 0018-9448.
↑ Jeffreys 1948, p. 158.
↑ Kullback & Leibler 1951, p. 80.
↑ Kullback 1959, p. 7.
↑ Ali & Silvey 1966, p. 139.
↑ Kullback 1959, p. 6.

ग्रन्थसूची

Adhikari, B. P.; Joshi, D. D. (1956). "Distance, discrimination et résumé exhaustif". Pub. Inst. Stat. Univ. Paris. 5: 57–74.
Amari, Shun-Ichi (1982). "Differential Geometry of Curved Exponential Families-Curvatures and Information Loss". The Annals of Statistics. 10 (2): 357–385. ISSN 0090-5364. JSTOR 2240672.
Amari, Shun-Ichi (1985). Differential-Geometrical Methods in Statistics. Lecture Notes in Statistics. Vol. 28. Springer-Verlag.
Amari, Shun-ichi; Nagaoka, Hiroshi (2000). Methods of information geometry. Oxford University Press. ISBN 0-8218-0531-2.
Amari, Shun-ichi (2016). Information Geometry and Its Applications. Applied Mathematical Sciences. Springer Japan. pp. XIII, 374. doi:10.1007/978-4-431-55978-8. ISBN 978-4-431-55977-1.
Bhattacharyya, A. (1946). "On a Measure of Divergence between Two Multinomial Populations". Sankhyā: The Indian Journal of Statistics (1933-1960). 7 (4): 401–406. ISSN 0036-4452. JSTOR 25047882.
Bhattacharyya, A. (1943). "On a measure of divergence between two statistical populations defined by their probability distributions". Bull. Calcutta Math. Soc. 35: 99–109.
Csiszar, Imre (1 December 1991). "Why Least Squares and Maximum Entropy? An Axiomatic Approach to Inference for Linear Inverse Problems". The Annals of Statistics. 19 (4). doi:10.1214/aos/1176348385.
Eguchi, Shinto (1985). "A differential geometric approach to statistical inference on the basis of contrast functionals". Hiroshima Mathematical Journal. 15 (2): 341–391. doi:10.32917/hmj/1206130775.
Eguchi, Shinto (1992). "Geometry of minimum contrast". Hiroshima Mathematical Journal. 22 (3): 631–647. doi:10.32917/hmj/1206128508.
Ali, S. M.; Silvey, S. D. (1966). "A General Class of Coefficients of Divergence of One Distribution from Another". Journal of the Royal Statistical Society. Series B (Methodological). 28 (1): 131–142. ISSN 0035-9246. JSTOR 2984279.
Jeffreys, Harold (1948). Theory of Probability (Second ed.). Oxford University Press.
Kullback, S.; Leibler, R.A. (1951). "On information and sufficiency". Annals of Mathematical Statistics. 22 (1): 79–86. doi:10.1214/aoms/1177729694. JSTOR 2236703. MR 0039968.
Kullback, S. (1959), Information Theory and Statistics, John Wiley & Sons. Republished by Dover Publications in 1968; reprinted in 1978: ISBN 0-8446-5625-9
Matumoto, Takao (1993). "Any statistical manifold has a contrast function — on the C³-functions taking the minimum at the diagonal of the product manifold". Hiroshima Mathematical Journal. 23 (2): 327–332. doi:10.32917/hmj/1206128255.

[1] Throughout, we only require differentiability class C² (continuous with continuous first and second derivatives), since only second derivatives are required. In practice, commonly used statistical manifolds and divergences are infinitely differentiable ("smooth").

[5] A colon is used in Kullback & Leibler (1951, p. 80), where the KL divergence between measure $\mu _{1}$ and $\mu _{2}$ is written as $I(1:2)$ .

[FOOTNOTEAmariNagaoka2000chapter_3.2-2] 1.0 ^1.1 ^1.2 Amari & Nagaoka 2000, chapter 3.2.

[FOOTNOTEAmari201610Definition_1.1-3] 2.0 ^2.1 Amari 2016, p. 10, Definition 1.1.

[FOOTNOTEAmari201610-4] 3.0 ^3.1 ^3.2 Amari 2016, p. 10.

[6] Eguchi (1992)

[FOOTNOTECsiszar1991-7] Csiszar 1991.

[:02-8] Jiao, Jiantao; Courtade, Thomas; No, Albert; Venkat, Kartik; Weissman, Tsachy (December 2014). "Information Measures: the Curious Case of the Binary Alphabet". IEEE Transactions on Information Theory. 60 (12): 7616–7626. arXiv:1404.6810. doi:10.1109/TIT.2014.2360184. ISSN 0018-9448.

[FOOTNOTEJeffreys1948158-9] Jeffreys 1948, p. 158.

[FOOTNOTEKullbackLeibler195180-10] Kullback & Leibler 1951, p. 80.

[FOOTNOTEKullback19597-11] Kullback 1959, p. 7.

[FOOTNOTEAliSilvey1966139-12] Ali & Silvey 1966, p. 139.

[FOOTNOTEKullback19596-13] Kullback 1959, p. 6.

[lower-alpha 1]

[1]

[2]

[3]

[lower-alpha 2]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

@@ Line 1: / Line 1: @@
-{{distinguish|Deviance (statistics)|Deviation (statistics)|discrepancy (disambiguation)#Statistics{{!}}Discrepancy (statistics)}}
+{{distinguish|पथांतरण (सांख्यिकी)|पथांतरण (सांख्यिकी)|भिन्नता (विसंदिग्धीकरण)#सांख्यिकी{{!}}भिन्नता (सांख्यिकी)}}
-[[सूचना ज्यामिति]] में, विचलन एक प्रकार की [[सांख्यिकीय दूरी]] है: एक [[बाइनरी फ़ंक्शन]] जो एक संभाव्यता वितरण से दूसरे [[सांख्यिकीय कई गुना]] पर अलगाव को स्थापित करता है।
+[[सूचना ज्यामिति]] में, विचलन एक प्रकार की [[सांख्यिकीय दूरी]] है: एक [[बाइनरी फ़ंक्शन|युग्मक फलन]] जो एक संभाव्यता वितरण से दूसरे [[सांख्यिकीय कई गुना|सांख्यिकीय बहुविध]] पर अलगाव को स्थापित करता है।
-सबसे सरल विचलन यूक्लिडियन दूरी (SED) है, और विचलन को SED के सामान्यीकरण के रूप में देखा जा सकता है। अन्य सबसे महत्वपूर्ण विचलन सापेक्ष एन्ट्रॉपी (कुल्बैक-लीब्लर विचलन, केएल विचलन) है, जो [[सूचना सिद्धांत]] के लिए केंद्रीय है। कई अन्य विशिष्ट विचलन और विचलन के वर्ग हैं, विशेष रूप से f-divergence|''f''-divergences और Bregman विचलन (देखें {{slink||Examples}}).
+सबसे सरल विचलन यूक्लिडियन दूरी (एसईडी) है, और विचलन को एसईडी के सामान्यीकरण के रूप में देखा जा सकता है। अन्य सबसे महत्वपूर्ण विचलन सापेक्ष एन्ट्रॉपी (कुल्बैक-लीब्लर विचलन, केएल विचलन) है, जो [[सूचना सिद्धांत]] के लिए केंद्रीय है। कई अन्य विशिष्ट विचलन और विचलन के वर्ग हैं, विशेष रूप से f-विचलन और न विचलन (देखें {{slink||उदाहरण}}).
 == परिभाषा ==
-एक [[अलग करने योग्य कई गुना]] दिया गया{{efn|Throughout, we only require [[differentiability class]] ''C''<sup>2</sup> (continuous with continuous first and second derivatives), since only second derivatives are required. In practice, commonly used statistical manifolds and divergences are infinitely differentiable ("smooth").}} <math>M</math> आयाम का <math>n</math>, पर एक अंतर <math>M</math> एक है <math>C^2</math>-समारोह <math>D: M\times M\to [0, \infty)</math> संतुष्टि देने वाला:{{sfn|Amari|Nagaoka|2000|loc=chapter 3.2}}{{sfn|Amari|2016|p=10|loc=Definition 1.1}}
+एक [[अलग करने योग्य कई गुना|अलग करने योग्य बहुविध]] <math>M</math> आयाम का <math>n</math> दिया गया{{efn|Throughout, we only require [[differentiability class]] ''C''<sup>2</sup> (continuous with continuous first and second derivatives), since only second derivatives are required. In practice, commonly used statistical manifolds and divergences are infinitely differentiable ("smooth").}}, <math>M</math> पर विचलन एक <math>C^2</math>-फलन <math>D: M\times M\to [0, \infty)</math> है जो निम्नलिखित को संतुष्ट करता है:{{sfn|Amari|Nagaoka|2000|loc=chapter 3.2}}{{sfn|Amari|2016|p=10|loc=Definition 1.1}}
-# <math>D(p, q) \geq 0</math> सभी के लिए <math>p, q \in M</math> (गैर-नकारात्मकता),
+# <math>D(p, q) \geq 0</math> सभी <math>p, q \in M</math> के लिए (गैर-नकारात्मकता),
-# <math>D(p, q) = 0</math> अगर और केवल अगर <math>p=q</math> (सकारात्मकता),
+# <math>D(p, q) = 0</math> यदि और केवल यदि <math>p=q</math> (सकारात्मकता),
-#हर मोड़ पर <math>p\in M</math>, <math>D(p, p+dp)</math> अत्यल्प विस्थापनों के लिए धनात्मक-निश्चित [[द्विघात रूप]] है <math>dp</math> से <math>p</math>.
+#हर बिंदु  <math>p\in M</math>, <math>D(p, p+dp)</math> पर अत्यल्प विस्थापनों के लिए धनात्मक-निश्चित [[द्विघात रूप]] <math>dp</math> से <math>p</math> है।
-सांख्यिकी के अनुप्रयोगों में, कई गुना <math>M</math> आमतौर पर एक [[पैरामीट्रिक परिवार]] के मापदंडों का स्थान होता है।
+सांख्यिकी के अनुप्रयोगों में, बहुविध <math>M</math> सामान्यतः एक [[पैरामीट्रिक परिवार|प्राचलिक परिवार]] के मापदंडों का स्थान होता है।
-शर्त 3 का मतलब है <math>D</math> स्पर्शरेखा स्थान पर एक आंतरिक उत्पाद को परिभाषित करता है <math>T_pM</math> हरएक के लिए <math>p\in M</math>. तब से <math>D</math> है <math>C^2</math> पर <math>M</math>, यह रिमेंनियन मीट्रिक को परिभाषित करता है <math>g</math> पर <math>M</math>.
+अवस्था 3 का अर्थ है <math>D</math> स्पर्शरेखा स्थान <math>T_pM</math> पर हर  <math>p\in M</math> के लिए एक आंतरिक उत्पाद को परिभाषित करता है। चूँकि <math>D</math>, <math>M</math> पर <math>C^2</math> है, यह <math>M</math> पर एक रिमेंनियन मेट्रिक <math>g</math> को परिभाषित करता है।
-स्थानीय रूप से <math>p\in M</math>, हम निर्देशांक के साथ एक स्थानीय [[समन्वय चार्ट]] बना सकते हैं <math>x</math>, तो विचलन है <math display="block">D(x(p), x(p) + dx) = \textstyle\frac{1}{2} dx^T g_p(x) dx + O(|dx|^3)</math>कहाँ <math>g_p(x)</math> आकार का एक मैट्रिक्स है <math>n\times n</math>. यह बिंदु पर रिमेंनियन मीट्रिक है <math>p</math> निर्देशांक में व्यक्त किया गया <math>x</math>.
+स्थानीय रूप से <math>p\in M</math>, हम निर्देशांक <math>x</math> के साथ एक स्थानीय [[समन्वय चार्ट|समन्वय मानचित्र]] बना सकते हैं , तो विचलन निम्न है <math display="block">D(x(p), x(p) + dx) = \textstyle\frac{1}{2} dx^T g_p(x) dx + O(|dx|^3)</math>जहाँ <math>g_p(x)</math> आकार <math>n\times n</math> का एक आव्यूह है। यह बिंदु <math>p</math> पर रिमेंनियन मात्रिक निर्देशांक <math>x</math> में व्यक्त किया गया है।
 स्थिति 3 के [[आयामी विश्लेषण]] से पता चलता है कि विचलन में वर्ग दूरी का आयाम है।{{sfn|Amari|2016|p=10}}
-द्वैत विचलन <math>D^*</math> परिभाषित किया जाता है
+द्वैत विचलन <math>D^*</math> निम्न रूप में परिभाषित किया जाता है
 : <math>D^*(p, q) = D(q, p).</math>
-जब हम इसके विपरीत करना चाहते हैं <math>D</math> ख़िलाफ़ <math>D^*</math>, हम सन्दर्भ देते है <math>D</math> प्राथमिक विचलन के रूप में।
+जब हम <math>D</math> को <math>D^*</math> के विपरीत करना चाहते हैं, तो हम <math>D</math> को प्रारंभिक विचलन के रूप में संदर्भित करते हैं।
-किसी विचलन को देखते हुए <math>D</math>, इसके सममित संस्करण को इसके दोहरे विचलन के साथ औसत करके प्राप्त किया जाता है:{{sfn|Amari|2016|p=10}}
+किसी विचलन <math>D</math> को देखते हुए, इसके सममित संस्करण को इसके दोहरे विचलन के साथ औसत करके प्राप्त किया जाता है:{{sfn|Amari|2016|p=10}}
 : <math>D_S(p, q) = \textstyle\frac{1}{2}\big(D(p,q) + D(q, p)\big).</math>
 === अन्य समान अवधारणाओं से अंतर ===
-[[मीट्रिक (गणित)]] के विपरीत, डाइवर्जेंस को सममित होने की आवश्यकता नहीं है, और विषमता अनुप्रयोगों में महत्वपूर्ण है।{{sfn|Amari|2016|p=10}} तद्नुसार, अक्सर p और q के बीच के बजाय p या p से q के विचलन को असमान रूप से संदर्भित किया जाता है। दूसरे, डाइवर्जेंस वर्ग दूरी का सामान्यीकरण करते हैं, रेखीय दूरी का नहीं, और इस प्रकार त्रिकोण असमानता को संतुष्ट नहीं करते हैं, लेकिन कुछ डाइवर्जेंस (जैसे कि ब्रेगमैन डाइवर्जेंस#गुण) [[पाइथागोरस प्रमेय]] के सामान्यीकरण को संतुष्ट करते हैं।
+[[मीट्रिक (गणित)|मात्रिक (गणित)]] के विपरीत, अपसरण को सममित होने की आवश्यकता नहीं है, और विषमता अनुप्रयोगों में महत्वपूर्ण है।{{sfn|Amari|2016|p=10}} तद्नुसार, प्रायः p और q के बीच के स्थान पर p या p से q के विचलन को असमान रूप से संदर्भित किया जाता है। दूसरे, अपसरण वर्ग दूरी का सामान्यीकरण करते हैं, रेखीय दूरी का नहीं, और इस प्रकार त्रिकोण असमानता को संतुष्ट नहीं करते हैं, लेकिन कुछ अपसरण (जैसे कि ब्रेगमैन अपसरण) [[पाइथागोरस प्रमेय]] के सामान्यीकरण को संतुष्ट करते हैं।
-सामान्य आँकड़ों और संभाव्यता में, विचलन आमतौर पर किसी भी प्रकार के कार्य को संदर्भित करता है <math>D(p, q)</math>, कहाँ <math>p, q</math> संभाव्यता वितरण या विचाराधीन अन्य वस्तुएं हैं, जैसे कि शर्तें 1, 2 संतुष्ट हैं। सूचना ज्यामिति में प्रयुक्त विचलन के लिए शर्त 3 आवश्यक है।
+सामान्य आँकड़ों और संभाव्यता में, विचलन सामान्यतः किसी भी प्रकार के कार्य <math>D(p, q)</math> को संदर्भित करता है, जहाँ <math>p, q</math> संभाव्यता वितरण या विचाराधीन अन्य वस्तुएं हैं, जैसे कि स्तिथि 1, 2 संतुष्ट हैं। सूचना ज्यामिति में प्रयुक्त विचलन के लिए स्तिथि 3 आवश्यक है।
-एक उदाहरण के रूप में, [[संभाव्यता उपायों की कुल भिन्नता दूरी]], आमतौर पर इस्तेमाल किया जाने वाला सांख्यिकीय विचलन, स्थिति 3 को संतुष्ट नहीं करता है।
+एक उदाहरण के रूप में, संभाव्यता उपायों की कुल भिन्नता दूरी, सामान्यतः इस्तेमाल किया जाने वाला सांख्यिकीय विचलन, स्थिति 3 को संतुष्ट नहीं करता है।
-== नोटेशन ==
+== चिन्हांकन ==
 विचलन के लिए संकेतन क्षेत्रों के बीच महत्वपूर्ण रूप से भिन्न होता है, हालांकि कुछ परंपराएं हैं।
-डायवर्जेंस को आमतौर पर एक अपरकेस 'डी' के साथ नोट किया जाता है, जैसा कि में है <math>D(x, y)</math>, उन्हें मीट्रिक दूरियों से अलग करने के लिए, जिन्हें लोअरकेस 'डी' के साथ नोट किया गया है। जब कई डायवर्जेंस उपयोग में होते हैं, तो वे आमतौर पर सबस्क्रिप्ट के साथ अलग-अलग होते हैं, जैसे कि <math>D_\text{KL}</math> कुल्बैक-लीब्लर डाइवर्जेंस (KL डाइवर्जेंस) के लिए।
+भिन्नता को सामान्यतः एक बड़े अक्षर 'डी' के साथ नोट किया जाता है, जैसा कि में है <math>D(x, y)</math>, उन्हें मात्रिक दूरियों से अलग करने के लिए, जिन्हें लोअरकेस 'डी' के साथ नोट किया गया है। जब कई भिन्नता उपयोग में होते हैं, तो वे सामान्यतः सबस्क्रिप्ट के साथ अलग-अलग होते हैं, जैसे कि <math>D_\text{KL}</math> कुल्बैक-लीब्लर अपसरण (KL अपसरण) के लिए होते हैं।
-अक्सर मापदंडों के बीच एक अलग विभाजक का उपयोग किया जाता है, विशेष रूप से विषमता पर जोर देने के लिए। सूचना सिद्धांत में, आमतौर पर एक डबल बार का उपयोग किया जाता है: <math>D(p \parallel q)</math>; यह समान है, लेकिन [[सशर्त संभाव्यता]] के लिए संकेतन से अलग है, <math>P(A | B)</math>, और सापेक्ष एन्ट्रॉपी के रूप में विचलन को सापेक्ष माप के रूप में व्याख्या करने पर जोर देता है; केएल विचलन के लिए यह अंकन सामान्य है। इसके बजाय एक कोलन का उपयोग किया जा सकता है,{{efn|A colon is used in {{harvtxt|Kullback|Leibler|1951|p=80}}, where the KL divergence between measure <math>\mu_1</math> and <math>\mu_2</math> is written as <math>I(1 : 2)</math>.}} जैसा <math>D(p : q)</math>; यह दो वितरणों का समर्थन करने वाली सापेक्ष जानकारी पर जोर देता है।
+प्रायः मापदंडों के बीच एक अलग विभाजक का उपयोग विशेष रूप से विषमता पर जोर देने के लिए किया जाता है। सूचना सिद्धांत में, सामान्यतः एक युग्म स्तंभ <math>D(p \parallel q)</math>का उपयोग किया जाता है; यह समान है, लेकिन [[सशर्त संभाव्यता]] के लिए संकेतन <math>P(A | B)</math> से अलग है, और सापेक्ष एन्ट्रॉपी के रूप में विचलन को सापेक्ष माप के रूप में व्याख्या करने पर जोर देता है; केएल विचलन के लिए यह अंकन सामान्य है। इसके स्थान पर एक कोलन का उपयोग किया जा सकता है,{{efn|A colon is used in {{harvtxt|Kullback|Leibler|1951|p=80}}, where the KL divergence between measure <math>\mu_1</math> and <math>\mu_2</math> is written as <math>I(1 : 2)</math>.}} जैसे <math>D(p : q)</math>; यह दो वितरणों का समर्थन करने वाली सापेक्ष जानकारी को महत्त्व देता है।
-मापदंडों के लिए अंकन भी भिन्न होता है। अपरकेस <math>P, Q</math> प्रायिकता वितरण के रूप में मापदंडों की व्याख्या करता है, जबकि लोअरकेस <math>p, q</math> या <math>x, y</math> अंतरिक्ष में बिंदुओं के रूप में उनकी ज्यामितीय रूप से व्याख्या करता है, और <math>\mu_1, \mu_2</math> या <math>m_1, m_2</math> उन्हें उपायों के रूप में व्याख्या करता है।
+मापदंडों के लिए अंकन भी भिन्न होता है। <math>P, Q</math> प्रायिकता वितरण के रूप में मापदंडों की व्याख्या करता है, जबकि  <math>p, q</math> या <math>x, y</math> अंतरिक्ष में बिंदुओं के रूप में उनकी ज्यामितीय रूप से व्याख्या करता है, और <math>\mu_1, \mu_2</math> या <math>m_1, m_2</math> उन्हें उपायों के रूप में व्याख्या करता है।
 == ज्यामितीय गुण ==
-{{further|Information geometry}}
+{{further|सूचना ज्यामिति}}
-डायवर्जेंस के कई गुणों को प्राप्त किया जा सकता है यदि हम एस को एक सांख्यिकीय कई गुना तक सीमित करते हैं, जिसका अर्थ है कि इसे परिमित-आयामी समन्वय प्रणाली θ के साथ पैरामीट्रिज किया जा सकता है, ताकि वितरण के लिए {{nowrap|''p'' ∈ ''S''}} हम लिख सकते हैं {{nowrap|1=''p'' = ''p''(''θ'')}}.
-एक जोड़ी अंक के लिए {{nowrap|''p'', ''q'' ∈ ''S''}} निर्देशांक θ के साथ<sub>''p''</sub> और θ<sub>''q''</sub>, डी (पी, क्यू) के आंशिक डेरिवेटिव को निरूपित करें
+भिन्नता के कई गुणों को प्राप्त किया जा सकता है यदि हम S को एक सांख्यिकीय बहुविध तक सीमित करते हैं, जिसका अर्थ है कि इसे परिमित-आयामी समन्वय प्रणाली θ के साथ प्राचलीकरण किया जा सकता है, ताकि वितरण के लिए {{nowrap|''p'' ∈ ''S''}} हम {{nowrap|1=''p'' = ''p''(''θ'')}} लिख सकते हैं।
+एक जोड़ी अंक {{nowrap|''p'', ''q'' ∈ ''S''}} के लिए निर्देशांक θ<sub>''p''</sub> और θ<sub>''q''</sub> के साथ, ''D''(''p'', ''q'') के आंशिक व्युत्पन्न शब्द को निरूपित करें
 : <math>\begin{align}
      D((\partial_i)_p, q) \ \ &\stackrel{\mathrm{def}}{=}\ \ \tfrac{\partial}{\partial\theta^i_p} D(p, q), \\
      D((\partial_i\partial_j)_p, (\partial_k)_q) \ \ &\stackrel{\mathrm{def}}{=}\ \ \tfrac{\partial}{\partial\theta^i_p} \tfrac{\partial}{\partial\theta^j_p}\tfrac{\partial}{\partial\theta^k_q}D(p, q), \ \ \mathrm{etc.}
    \end{align}</math>
-अब हम इन कार्यों को एक विकर्ण तक सीमित करते हैं {{nowrap|1=''p'' = ''q''}}, और निरूपित करें <ref>{{harvtxt|Eguchi|1992}}</ref>
+अब हम इन कार्यों को एक विकर्ण {{nowrap|1=''p'' = ''q''}} तक सीमित करते हैं, और निम्न को निरूपित करें <ref>{{harvtxt|Eguchi|1992}}</ref>
 : <math>\begin{align}
      D[\partial_i, \cdot]\ &:\ p \mapsto D((\partial_i)_p, p), \\
@@ Line 61: / Line 62: @@
      & D[\partial_i\partial_j, \cdot] = D[\cdot, \partial_i\partial_j] = -D[\partial_i, \partial_j] \ \equiv\ g_{ij}^{(D)},
    \end{align}</math>
-जहां मैट्रिक्स जी<sup>(D)</sup> सकारात्मक अर्ध-निश्चित मैट्रिक्स है | सकारात्मक अर्ध-निश्चित है और कई गुना एस पर एक अद्वितीय [[रिमेंनियन मीट्रिक]] परिभाषित करता है।
+जहां आव्यूह g<sup>(D)</sup> सकारात्मक अर्ध-निश्चित आव्यूह है | सकारात्मक अर्ध-निश्चित है और बहुविध S पर एक अद्वितीय [[रिमेंनियन मीट्रिक|रिमेंनियन मात्रिक]] परिभाषित करता है।
-डायवर्जेंस डी (·, ·) भी कनेक्शन-मुक्त [[affine कनेक्शन]] के एक अद्वितीय मरोड़ को परिभाषित करता है ∇<sup>(डी) </ sup> गुणांक के साथ
+भिन्नता डी (·, ·) भी संयोजन-मुक्त [[affine कनेक्शन|सजातीय संयोजन]] के एक अद्वितीय मरोड़ को परिभाषित करता है ∇<sup>(डी) </ sup> गुणांक के साथ
 : <math>
      \Gamma_{ij,k}^{(D)} = -D[\partial_i\partial_j, \partial_k],
    </math>
-और इस कनेक्शन के लिए दोहरी संबंध कनेक्शन ∇* दोहरी विचलन डी* द्वारा उत्पन्न होता है।
+और इस संयोजन के लिए दोहरी संबंध संयोजन ∇* दोहरी विचलन डी* द्वारा उत्पन्न होता है।
-इस प्रकार, एक विचलन डी (·, ·) एक सांख्यिकीय कई गुना पर एक अद्वितीय द्वैतवादी संरचना उत्पन्न करता है (जी<sup>(डी) ∇, ∇<sup>(डी) ∇, ∇<sup>(डी*)</sup>). इसका विलोम भी सत्य है: प्रत्येक मरोड़-मुक्त द्वैतवादी संरचना एक सांख्यिकीय कई गुना पर कुछ विश्व स्तर पर परिभाषित विचलन समारोह से प्रेरित होती है (जो कि अद्वितीय होने की आवश्यकता नहीं है)।<ref>{{harvtxt|Matumoto|1993}}</ref>
+इस प्रकार, एक विचलन डी (·, ·) एक सांख्यिकीय बहुविध पर एक अद्वितीय द्वैतवादी संरचना (''g''<sup>(''D'')</sup>, ∇<sup>(''D'')</sup>, ∇<sup>(''D''*)</sup>) उत्पन्न करता है। इसका विलोम भी सत्य है: प्रत्येक मरोड़-मुक्त द्वैतवादी संरचना एक सांख्यिकीय बहुविध पर कुछ विश्व स्तर पर परिभाषित विचलन फलन से प्रेरित होती है (जो कि अद्वितीय होने की आवश्यकता नहीं है)। उदाहरण के लिए, जब D एक f-विचलन है कुछ फलन ƒ(·) के लिए, तो यह रीमैनियन मात्रिक उत्पन्न करता है g(Df) = c·g और संयोजन ∇(Df) = ∇(α), जहां g कैनोनिकल फिशर सूचना मात्रिक है, ∇(ए) α-संयोजन है, c = ƒ′′(1), और α = 3 + 2ƒ′′′(1)/ƒ′′(1)।
-उदाहरण के लिए, जब D एक f-विचलन है<ref>{{cite journal
-| first1 = F. | last1 = Nielsen
-  | first2 = R. | last2 = Nock
-  | year = 2013
-  | title = On the Chi square and higher-order Chi distances for approximating f-divergences
-  | arxiv = 1309.3029
-  | doi=10.1109/LSP.2013.2288355
-  | volume=21
-  | journal=IEEE Signal Processing Letters
-  | pages=10–13}}
-</ref> कुछ फ़ंक्शन ƒ(·) के लिए, तो यह रीमैनियन मीट्रिक उत्पन्न करता है {{nowrap|1=''g''<sup>(''D''<sub>''f''</sub>)</sup> = ''c·g''}} और कनेक्शन {{nowrap|1=∇<sup>(''D''<sub>''f''</sub>)</sup> = ∇<sup>(''α'')</sup>}}, जहां g कैनोनिकल [[फिशर सूचना मीट्रिक]] है, ∇<sup>(ए)</sup> α-कनेक्शन है, {{nowrap|1=''c'' = ƒ′′(1)}}, और {{nowrap|1=''α'' = 3 + 2ƒ′′′(1)/ƒ′′(1)}}.
 == उदाहरण ==
-दो सबसे महत्वपूर्ण विचलन सापेक्ष एंट्रॉपी (कुल्बैक-लीब्लर विचलन, केएल विचलन) हैं, जो सूचना सिद्धांत और आंकड़ों के लिए केंद्रीय है, और स्क्वायर यूक्लिडियन दूरी (एसईडी)। अधिकतम एंट्रॉपी और [[कम से कम वर्गों]] के सिद्धांत के माध्यम से, विशेष रूप से लॉजिस्टिक प्रतिगमन और रैखिक प्रतिगमन में, इन दो भिन्नताओं को कम करना मुख्य तरीका है कि [[रैखिक उलटा समस्या]] हल हो जाती है।{{sfn|Csiszar|1991}}
+दो सबसे महत्वपूर्ण विचलन सापेक्ष एंट्रॉपी (कुल्बैक-लीब्लर विचलन, केएल विचलन) हैं, जो सूचना सिद्धांत और आंकड़ों के लिए केंद्रीय है, और स्क्वायर यूक्लिडियन दूरी (एसईडी)। अधिकतम एंट्रॉपी और [[कम से कम वर्गों]] के सिद्धांत के माध्यम से, विशेष रूप से लॉजिस्टिक प्रतिगमन और रैखिक प्रतिगमन में, इन दो भिन्नताओं को कम करना मुख्य तरीका है कि [[रैखिक उलटा समस्या|रैखिक प्रतिलोम समस्या]] हल हो जाती है।{{sfn|Csiszar|1991}}
-डाइवर्जेंस के दो सबसे महत्वपूर्ण वर्ग हैं एफ-डाइवर्जेंस|एफ-डाइवर्जेंस और ब्रैगमैन डाइवर्जेंस; हालाँकि, साहित्य में अन्य प्रकार के विचलन कार्यों का भी सामना करना पड़ता है। कुल्बैक-लीब्लर विचलन एकमात्र विचलन है जो एक एफ-विचलन और ब्रैगमैन विचलन दोनों है;<ref name=":02">{{Cite journal |last=Jiao |first=Jiantao |last2=Courtade |first2=Thomas |last3=No |first3=Albert |last4=Venkat |first4=Kartik |last5=Weissman |first5=Tsachy |date=December 2014 |title=Information Measures: the Curious Case of the Binary Alphabet |url=http://arxiv.org/abs/1404.6810 |journal=IEEE Transactions on Information Theory |volume=60 |issue=12 |pages=7616–7626 |doi=10.1109/TIT.2014.2360184 |issn=0018-9448|arxiv=1404.6810 }}</ref> चुकता यूक्लिडियन विचलन एक ब्रेगमैन विचलन है (फ़ंक्शन के अनुरूप {{tmath|x^2}}), लेकिन f-विचलन नहीं।
+अपसरण के दो सबसे महत्वपूर्ण वर्ग हैं एफ-अपसरण और ब्रैगमैन अपसरण; हालाँकि, साहित्य में अन्य प्रकार के विचलन कार्यों का भी सामना करना पड़ता है। कुल्बैक-लीब्लर विचलन एकमात्र विचलन है जो एक एफ-विचलन और ब्रैगमैन विचलन दोनों है;<ref name=":02">{{Cite journal |last=Jiao |first=Jiantao |last2=Courtade |first2=Thomas |last3=No |first3=Albert |last4=Venkat |first4=Kartik |last5=Weissman |first5=Tsachy |date=December 2014 |title=Information Measures: the Curious Case of the Binary Alphabet |url=http://arxiv.org/abs/1404.6810 |journal=IEEE Transactions on Information Theory |volume=60 |issue=12 |pages=7616–7626 |doi=10.1109/TIT.2014.2360184 |issn=0018-9448|arxiv=1404.6810 }}</ref> चुकता यूक्लिडियन विचलन एक ब्रेगमैन विचलन है (फलन के अनुरूप {{tmath|x^2}}), लेकिन f-विचलन नहीं है।
-=== एफ विचलन ===
+=== f विचलन ===
-{{Main|f-divergence}}
+{{Main|f विचलन}}
-उत्तल कार्य दिया गया <math>f:[0, \infty)\to (-\infty, \infty]</math> ऐसा है कि <math>f(0) = \lim_{t\to 0^+}f(t), f(1) = 0</math>, द्वारा उत्पन्न एफ-विचलन <math>f</math> परिभाषित किया जाता है
+उत्तल कार्य <math>f:[0, \infty)\to (-\infty, \infty]</math> ऐसे दिया गया है कि <math>f(0) = \lim_{t\to 0^+}f(t), f(1) = 0</math>, <math>f</math> द्वारा उत्पन्न एफ-विचलन निम्न रूप में परिभाषित किया जाता है
 : <math>
      D_f(p, q) = \int p(x)f\bigg(\frac{q(x)}{p(x)}\bigg) dx
    </math>
 {| class="wikitable"
-| [[Kullback–Leibler divergence]]:
+| [[Kullback–Leibler divergence|कुलबैक-लीब्लर विचलन]]:
 | <math>
      D_\mathrm{KL}(p, q) = \int p(x)\ln\left( \frac{p(x)}{q(x)}\right) dx
    </math>
 |-
-| squared [[Hellinger distance]]:
+| रुंडित [[Hellinger distance|हेलिंगर दूरी]]:
 | <math>
      H^2(p,\, q) = 2 \int \Big( \sqrt{p(x)} - \sqrt{q(x)}\, \Big)^2 dx
    </math>
 |-
-| [[Jensen–Shannon divergence]]:
+| [[Jensen–Shannon divergence|जेन्सेन–शान्नोन विचलन]]:
 | <math>
      D_{JS}(p, q) = \frac 1 2 \int (p(x) - q(x))\big( \ln p(x) - \ln q(x) \big) dx
    </math>
 |-
-| α-divergence
+| α-विचलन
 | <math>
      D^{(\alpha)}(p, q) = \frac{4}{1-\alpha^2}\bigg(1 - \int p(x)^\frac{1-\alpha}{2} q(x)^\frac{1+\alpha}{2} dx \bigg)
    </math>
 |-
-| [[chi-squared divergence]]:
+| [[chi-squared divergence|ची रुंडित विचलन]]:
 | <math>
      D_{\chi^2}(p, q) = \int \frac{(p(x) - q(x))^2}{p(x)} dx
    </math>
 |-
-| (''α'',''β'')-product divergence{{Citation needed|date=May 2022|reason=it is entirely nonobvious whether this is in fact convex. It looks convex when I plotted it for a few examples, but I can't see an obvious proof.}}:
+| (''α'',''β'') उत्पाद विचलन{{Citation needed|date=May 2022|reason=it is entirely nonobvious whether this is in fact convex. It looks convex when I plotted it for a few examples, but I can't see an obvious proof.}}:
 | <math>
      D_{\alpha,\beta}(p, q) = \frac{2}{(1-\alpha)(1-\beta)} \int
@@ Line 129: / Line 120: @@
-=== ब्रैगमैन डायवर्जेंस ===
+=== ब्रैगमैन भिन्नता ===
-{{Main|Bregman divergence}}
+{{Main|ब्रैगमैन भिन्नता}}
-ब्रैगमैन डायवर्जेंस उत्तल सेटों पर उत्तल कार्यों के अनुरूप हैं। एक कड़ाई से उत्तल कार्य दिया गया है, निरंतर भिन्न कार्य {{math|''F''}} एक [[उत्तल सेट]] पर, जिसे ब्रैगमैन जनरेटर के रूप में जाना जाता है, ब्रैगमैन डाइवर्जेंस उत्तलता को मापता है: के रैखिक सन्निकटन की त्रुटि {{math|''F''}} से {{math|''q''}} पर मान के सन्निकटन के रूप में {{math|''p''}}:
+ब्रैगमैन भिन्नता उत्तल सम्मुच्चय पर उत्तल कार्यों के अनुरूप हैं। एक दृढ़तः उत्तल कार्य दिया गया है, निरंतर भिन्न कार्य {{math|''F''}} एक [[उत्तल सेट|उत्तल सम्मुच्चय]] पर, जिसे ब्रैगमैन जनित्र के रूप में जाना जाता है, ब्रैगमैन अपसरण उत्तलता को मापता है: p पर मान के सन्निकटन के रूप में q से F के रैखिक सन्निकटन की त्रुटि निम्न है:
 :<math>D_F(p, q) = F(p)-F(q)-\langle \nabla F(q), p-q\rangle. </math>
-ब्रैगमैन विचलन के लिए दोहरी विचलन [[उत्तल संयुग्म]] द्वारा उत्पन्न विचलन है {{math|''F''<sup>*</sup>}मूल विचलन के ब्रेगमैन जनरेटर का }। उदाहरण के लिए, यूक्लिडियन दूरी के वर्ग के लिए, जनरेटर है {{tmath|x^2}}, जबकि सापेक्ष एन्ट्रापी के लिए जनरेटर ऋणात्मक एन्ट्रापी है {{tmath|x \log x}}.
+ब्रैगमैन विचलन के लिए दोहरी विचलन मूल विचलन के ब्रैगमैन जनित्र के उत्तल संयुग्म F* द्वारा उत्पन्न विचलन है। उदाहरण के लिए, यूक्लिडियन दूरी के वर्ग के लिए, जनित्र {{tmath|x^2}} है, जबकि सापेक्ष एंट्रॉपी के लिए जनित्र ऋणात्मक एंट्रॉपी अभिलेख  {{tmath|x \log x}} है।
 == इतिहास ==
-अपसरण शब्द का उपयोग - यह किस प्रकार के कार्यों को संदर्भित करता है, और विभिन्न सांख्यिकीय दूरियों को क्या कहा जाता है - समय के साथ महत्वपूर्ण रूप से भिन्न होता है, लेकिन सी द्वारा। 2000 सूचना ज्यामिति के भीतर, विशेष रूप से पाठ्यपुस्तक में वर्तमान उपयोग पर तय किया गया था {{harvtxt|Amari|Nagaoka|2000}}.{{sfn|Amari|Nagaoka|2000|loc=chapter 3.2}}
+अपसरण शब्द का उपयोग - यह किस प्रकार के कार्यों को संदर्भित करता है, और विभिन्न सांख्यिकीय दूरियों को क्या कहा जाता है - समय के साथ महत्वपूर्ण रूप से भिन्न होता है, लेकिन सी. 2000 द्वारा  सूचना ज्यामिति के भीतर, विशेष रूप से पाठ्यपुस्तक {{harvtxt|अमारी|नागाओका|2000}} में वर्तमान उपयोग पर तय किया गया था .{{sfn|Amari|Nagaoka|2000|loc=chapter 3.2}}
-एक सांख्यिकीय दूरी के लिए विचलन शब्द का उपयोग अनौपचारिक रूप से सी से विभिन्न संदर्भों में किया गया था। 1910 से सी। 1940. इसका औपचारिक उपयोग कम से कम दिनांकित है {{harvtxt|Bhattacharyya|1943}}, उनके संभाव्यता वितरण द्वारा परिभाषित दो सांख्यिकीय आबादी के बीच विचलन के माप पर हकदार है, जो [[भट्टाचार्य दूरी]] को परिभाषित करता है, और {{harvtxt|Bhattacharyya|1946}}, दो बहुराष्ट्रीय आबादी के बीच विचलन के माप पर हकदार, जिसने [[भट्टाचार्य कोण]] को परिभाषित किया। में कुल्बैक-लीब्लर विचलन के लिए इसके उपयोग से यह शब्द लोकप्रिय हुआ {{harvtxt|Kullback|Leibler|1951}} और पाठ्यपुस्तक में इसका उपयोग {{harvtxt|Kullback|1959}}. विचलन शब्द का प्रयोग आम तौर पर किया जाता था {{harvtxt|Ali|Silvey|1966}} सांख्यिकीय दूरियों के लिए। सांख्यिकीय दूरियों के पूर्व उपयोगों के अनेक संदर्भ में दिए गए हैं {{harvtxt|Adhikari|Joshi|1956}} और {{harvtxt|Kullback|1959|pp=6–7|loc=1.3 Divergence}}.
+एक सांख्यिकीय दूरी के लिए विचलन शब्द का उपयोग अनौपचारिक रूप से c. 1910 से c. 1940 से विभिन्न संदर्भों में किया गया था। इसका औपचारिक उपयोग कम से कम दिनांकित {{harvtxt|भट्टाचार्य|1943}} है, उनके संभाव्यता वितरण द्वारा परिभाषित दो सांख्यिकीय आबादी के बीच विचलन के माप पर आख्यायुक्त है, जो [[भट्टाचार्य दूरी]] को परिभाषित करता है, और {{harvtxt|भट्टाचार्य|1946}}, दो बहुराष्ट्रीय आबादी के बीच विचलन के माप पर आख्यायुक्त है, जिसने [[भट्टाचार्य कोण]] को परिभाषित किया।  {{harvtxt|कुलबैक|लीब्लर|1951}} और पाठ्यपुस्तक {{harvtxt|कुलबैक|1959}} में कुल्बैक-लीब्लर विचलन के लिए इसके उपयोग से यह शब्द लोकप्रिय हुआ। विचलन शब्द का प्रयोग सामान्यतः {{harvtxt|अली|सिल्वे|1966}} सांख्यिकीय दूरियों के लिए किया जाता था। सांख्यिकीय दूरियों के पूर्व उपयोग  {{harvtxt|अधिकारी|जोशी|1956}} और {{harvtxt|कुलबैक|1959|pp=6–7|loc=1.3 विचलन}} के अनेक संदर्भ में दिए गए हैं।
-{{harvtxt|Kullback|Leibler|1951}} वास्तव में सममित विचलन को संदर्भित करने के लिए विचलन का उपयोग किया गया था (यह फ़ंक्शन पहले से ही 1948 में [[हेरोल्ड जेफरीस]] द्वारा परिभाषित और उपयोग किया गया था{{sfn|Jeffreys|1948|p=158}}), भेदभाव के लिए औसत जानकारी के रूप में असममित कार्य का जिक्र करते हुए ... प्रति अवलोकन,{{sfn|Kullback|Leibler|1951|p=80}} जबकि {{harvtxt|Kullback|1959}} असममित कार्य को निर्देशित विचलन के रूप में संदर्भित करता है।{{sfn|Kullback|1959|p=7}} {{harvtxt|Ali|Silvey|1966}} आम तौर पर इस तरह के एक समारोह को विचलन के गुणांक के रूप में संदर्भित किया जाता है, और दिखाया गया है कि कई मौजूदा कार्यों को एफ-विचलन के रूप में व्यक्त किया जा सकता है, जेफरीस के समारोह को जेफरीस के विचलन के उपाय (आज जेफरीस विचलन), और कुल्बैक-लीब्लर के असममित समारोह के रूप में संदर्भित किया गया है। (प्रत्येक दिशा में) कुलबैक और लीब्लर के भेदभावपूर्ण जानकारी के उपायों के रूप में (आज कुल्बैक-लीब्लर विचलन)।{{sfn|Ali|Silvey|1966|p=139}}
+{{harvtxt|कुलबैक|लीब्लर|1951}} वस्तुतः सममित विचलन को संदर्भित करने के लिए विचलन का उपयोग किया गया था (यह फलन पहले से ही 1948 में [[हेरोल्ड जेफरीस]] द्वारा परिभाषित और उपयोग किया गया था{{sfn|Jeffreys|1948|p=158}}), भेदभाव के लिए औसत जानकारी ... प्रति अवलोकन के  रूप में असममित कार्य को व्यक्त करते हुए ,{{sfn|Kullback|Leibler|1951|p=80}} जबकि {{harvtxt|कुलबैक|1959}} असममित कार्य को निर्देशित विचलन के रूप में संदर्भित करता है।{{sfn|Kullback|1959|p=7}} {{harvtxt|अली|सिल्वे|1966}} सामान्यतः इस तरह के एक फलन को विचलन के गुणांक के रूप में संदर्भित किया जाता है, और दिखाया गया है कि कई मौजूदा कार्यों को f-विचलन के रूप में व्यक्त किया जा सकता है, जेफरीस के फलन को जेफरीस के विचलन के उपाय (आज जेफरीस विचलन), और कुल्बैक-लीब्लर के असममित फलन (प्रत्येक दिशा में) कुलबैक और लीब्लर के भेदभावपूर्ण जानकारी के उपायों के रूप में (आज कुल्बैक-लीब्लर विचलन) संदर्भित किया गया है। ।{{sfn|Ali|Silvey|1966|p=139}}
-विचलन की सूचना ज्यामिति परिभाषा (इस लेख का विषय) को शुरू में अर्ध-दूरी सहित वैकल्पिक शब्दों द्वारा संदर्भित किया गया था {{harvtxt|Amari|1982|p=369}} और कंट्रास्ट फ़ंक्शन {{harvtxt|Eguchi|1985}}, हालांकि विचलन का उपयोग किया गया था {{harvtxt|Amari|1985}} के लिए {{math|''α''}}-विचलन, और सामान्य वर्ग के लिए मानक बन गया है।{{sfn|Amari|Nagaoka|2000|loc=chapter 3.2}}{{sfn|Amari|2016|p=10|loc=Definition 1.1}}
+विचलन की सूचना ज्यामिति परिभाषा (इस लेख का विषय) को प्रारम्भ में अर्ध-दूरी सहित वैकल्पिक शब्दों द्वारा संदर्भित किया गया था {{harvtxt|अमारी|1982|p=369}} और कंट्रास्ट फलन {{harvtxt|एगुची|1985}}, हालांकि विचलन का उपयोग किया गया था {{harvtxt|अमारी|1985}} के लिए {{math|''α''}}-विचलन, और सामान्य वर्ग के लिए मानक बन गया है।{{sfn|Amari|Nagaoka|2000|loc=chapter 3.2}}{{sfn|Amari|2016|p=10|loc=Definition 1.1}}
-विचलन शब्द एक दूरी (मीट्रिक) के विपरीत है, क्योंकि सममित विचलन त्रिभुज असमानता को संतुष्ट नहीं करता है।{{sfn|Kullback|1959|p=6}} उदाहरण के लिए, ब्रैगमैन दूरी शब्द अभी भी पाया जाता है, लेकिन ब्रैगमैन डाइवर्जेंस अब पसंद किया जाता है।
+विचलन शब्द एक दूरी (मात्रिक) के विपरीत है, क्योंकि सममित विचलन त्रिभुज असमानता को संतुष्ट नहीं करता है।{{sfn|Kullback|1959|p=6}} उदाहरण के लिए, ब्रैगमैन दूरी शब्द अभी भी पाया जाता है, लेकिन ब्रैगमैन अपसरण अब पसंद किया जाता है।
-सांकेतिक रूप से, {{harvtxt|Kullback|Leibler|1951}} ने उनके असममित कार्य को निरूपित किया <math>I(1:2)</math>, जबकि {{harvtxt|Ali|Silvey|1966}} उनके कार्यों को लोअरकेस 'डी' के रूप में दर्शाता है <math>d\left(P_1, P_2\right)</math>.
+सांकेतिक रूप से, {{harvtxt|कुलबैक|लीब्लर|1951}} ने उनके असममित कार्य को <math>I(1:2)</math> निरूपित किया, जबकि {{harvtxt|अली|सिल्वे|1966}} उनके कार्यों  'd' को <math>d\left(P_1, P_2\right)</math>के रूप में दर्शाता है।
 == यह भी देखें ==

Anonymous

Search

अपसरण (सांख्यिकी): Difference between revisions

Namespaces

More

Page actions

Revision as of 13:20, 28 April 2023

Contents