स्कोरिंग नियम

कुछ सामान्य स्कोरिंग फलन से विभिन्न पूर्वानुमानों के अंतर्गत अपेक्षित स्कोर का विज़ुअलाइज़ेशन। धराशायी काली रेखा: भविष्यवक्ता का सच्चा विश्वास, लाल: रैखिक, नारंगी: गोलाकार, बैंगनी: द्विघात, हरा: लॉग।

निर्णय सिद्धांत में, एक स्कोरिंग नियम संभाव्य पूर्वानुमानों या पूर्वानुमानों के मूल्यांकन के लिए एक सारांश उपाय प्रदान करता है। यह उन कार्यों पर लागू होता है जिनमें पूर्वानुमानों घटनाओं के लिए संभावनाएँ निर्दिष्ट करती हैं, यानी कोई पूर्वानुमान के रूप में संभाव्यता वितरण $F$ जारी करता है। इसमें पारस्परिक रूप से विशिष्ट परिणामों या वर्गों के एक समुच्चय का संभाव्य वर्गीकरण सम्मिलित है।

दूसरी ओर, एक स्कोरिंग समुच्चय बिंदु पूर्वानुमानों के मूल्यांकन के लिए एक सारांश उपाय प्रदान करता है, यानी एक संपत्ति या फलनक (गणित) की पूर्वानुमान करता है $T(F)$, अपेक्षित मान या माध्यिका की तरह है।

स्कोरिंग नियम और स्कोरिंग समुच्चय को "लागत समुच्चय" या "हानि समुच्चय" के रूप में सोचा जा सकता है। उनका मूल्यांकन किसी दिए गए नमूने के अनुभवजन्य माध्य के रूप में किया जाता है, जिसे बस एक स्कोर कहा जाता है। इसके बाद यह निष्कर्ष निकालने के लिए कि कौन सा मॉडल सबसे अच्छा है, कई अलग-अलग पूर्वानुमानों या मॉडलों की तुलना की जा सकती है।

यदि कोई लागत उचित स्कोरिंग नियम के अनुपात में लगाई जाती है, तो न्यूनतम अपेक्षित लागत संभावनाओं के सही समुच्चय की रिपोर्टिंग से मेल खाती है। उचित स्कोरिंग नियमों का उपयोग मौसम विज्ञान, वित्त और पैटर्न वर्गीकरण में किया जाता है जहां एक भविष्यवक्ता या एल्गोरिदम परिष्कृत, कैलिब्रेटेड संभावनाओं (यानी सटीक संभावनाओं) को प्राप्त करने के लिए औसत स्कोर को कम करने का प्रयास करेगा।

परिभाषा

एक नमूना स्थान पर विचार करें $\Omega$, एक σ-बीजगणित ${\mathcal {A}}$ के उपसमुच्चय $\Omega$ और एक उत्तल वर्ग ${\mathcal {F}}$ संभाव्यता माप पर $(\Omega ,{\mathcal {A}})$ है। एक समुच्चय परिभाषित किया गया है $\Omega$ और विस्तारित वास्तविक रेखा में मान लेना, ${\overline {\mathbb {R} }}=[-\infty ,\infty ]$, यदि यह ${\mathcal {A}}$ के संबंध में मापने योग्य है तो ${\mathcal {F}}$-अर्ध-अभिन्न है और सभी $F\in {\mathcal {F}}$ के संबंध में अर्ध-अभिन्न है।

संभाव्य पूर्वानुमान

संभाव्य पूर्वानुमान कोई भी संभाव्यता माप है $F\in {\mathcal {F}}$.

स्कोरिंग नियम

स्कोरिंग नियम कोई भी विस्तारित वास्तविक-मूल्यवान समुच्चय है $\mathbf {S} :{\mathcal {F}}\times \Omega \rightarrow \mathbb {R}$ ऐसा है कि $\mathbf {S} (F,\cdot )$ है ${\mathcal {F}}$-सभी के लिए अर्ध-अभिन्न $F\in {\mathcal {F}}$. $\mathbf {S} (F,y)$ पूर्वानुमान होने पर हानि या दंड का प्रतिनिधित्व करता है $F\in {\mathcal {F}}$ जारी किया जाता है और अवलोकन किया जाता है $y\in \Omega$ मूर्त रूप देता है।

बिंदु पूर्वानुमान

एक बिंदु पूर्वानुमान एक फलनक है, अर्थात एक संभावित मान प्रतिचित्रण (समुच्चय-वैल्यू मैपिंग) $F\rightarrow T(F)\subseteq \Omega$.

स्कोरिंग समुच्चय

स्कोरिंग समुच्चय कोई भी वास्तविक-मूल्यवान समुच्चय है $S:\Omega \times \Omega \rightarrow \mathbb {R}$ जहाँ $S(x,y)$ बिंदु पूर्वानुमान होने पर हानि या दंड का प्रतिनिधित्व करता है $x\in \Omega$ जारी किया जाता है और अवलोकन किया जाता है $y\in \Omega$ मूर्त रूप देता है।

अभिविन्यास

स्कोरिंग नियम $\mathbf {S} (F,y)$ और स्कोरिंग कार्य $S(x,y)$ यदि न्यून (महत) मूल्यों का अर्थ अच्छा है तो ऋणात्मक (धनात्मक) उन्मुख होते हैं। यहां हम ऋणात्मक अभिविन्यास का पालन करते हैं, इसलिए हानि के साथ जुड़ाव है।

नमूना औसत स्कोर

एक नमूना दिया $y_{i},i=1\ldots n$ और संबंधित पूर्वानुमान $F_{i}$ या $x_{i}$ (उदाहरण के लिए एकल मॉडल से पूर्वानुमान), कोई औसत स्कोर की गणना करता है

${\bar {\mathbf {S} }}={\frac {1}{n}}\sum _{i}\mathbf {S} (F_{i},y_{i})$

या

${\bar {S}}={\frac {1}{n}}\sum _{i}S(x_{i},y_{i})$

औसत स्कोर का उपयोग विभिन्न पूर्वानुमानों या मॉडलों की तुलना और रैंक करने के लिए किया जाता है।

औचित्य और स्थिरता

अनुशासनपूर्वक से उचित स्कोरिंग नियम और सख्ती से सुसंगत स्कोरिंग समुच्चय अपेक्षित प्रतिफल को अधिकतम करके सत्यता से पूर्वानुमानों को प्रोत्साहित करते हैं: यदि किसी भविष्यवक्ता को प्रतिफल दिया जाता है $-\mathbf {S} (F,y)$ यदि $y$ अनुभव होता है (उदा. $y=rain$), तो उच्चतम अपेक्षित मूल्य प्रतिफल (न्यूनतम स्कोर) वास्तविक संभाव्यता वितरण की रिपोर्ट करके प्राप्त किया जाता है।

उचित स्कोरिंग नियम

हम नीचे अपेक्षित स्कोर के लिए लिखते हैं $Q\in {\mathcal {F}}$

$\mathbf {S} (F,Q)=\int \mathbf {S} (F,\omega )\mathrm {d} Q(\omega )$

एक स्कोरिंग नियम $\mathbf {S}$ के सापेक्ष उचित है ${\mathcal {F}}$ यदि (ऋणात्मक अभिविन्यास मानकर)

$\mathbf {S} (Q,Q)\leq \mathbf {S} (F,Q)$ सभी के लिए $F,Q\in {\mathcal {F}}$.

यह पूरी तरह से उचित है यदि उपरोक्त समीकरण समानता के साथ यदि और केवल यदि रखता है $F=Q$.

लगातार स्कोरिंग समुच्चय

एक स्कोरिंग समुच्चय $S$ फलनकता के लिए सुसंगत है $T$ वर्ग के सापेक्ष ${\mathcal {F}}$ यदि

$\operatorname {E} _{F}[S(t,Y)]\leq \operatorname {E} _{F}[S(x,Y)]$ सभी के लिए $F\in {\mathcal {F}}$, सभी $t\in T(F)$ और सभी $x\in \Omega$.

यदि यह सुसंगत है तो यह अनुशासनपूर्वक से सुसंगत है और उपरोक्त समीकरण में समानता का तात्पर्य यह है $x\in T(F)$.

स्कोरिंग नियमों का उदाहरण अनुप्रयोग

लघुगणकीय नियम

संभाव्य पूर्वानुमान का एक उदाहरण मौसम विज्ञान में है जहां एक मौसम पूर्वानुमानकर्ता अगले दिन बारिश की संभावना बता सकता है। कोई यह नोट कर सकता है कि लंबी अवधि में 25% संभावना कितनी बार उद्धृत की गई थी, और इसकी तुलना बारिश होने के वास्तविक अनुपात से की जा सकती है। यदि वास्तविक प्रतिशत बताई गई संभाव्यता से काफी भिन्न था तो हम कहते हैं कि भविष्यवक्ता खराब तरीके से कैलिब्रेट किया गया है। एक खराब कैलिब्रेटेड भविष्यवक्ता को बोनस प्रणाली द्वारा बेहतर प्रदर्शन करने के लिए प्रोत्साहित किया जा सकता है। एक उचित स्कोरिंग नियम के आसपास डिज़ाइन किया गया एक बोनस सिस्टम भविष्यवक्ता को उसकी व्यक्तिगत मान्यताओं के बराबर संभावनाओं की रिपोर्ट करने के लिए प्रोत्साहित करेगा।

द्विआधारी निर्णय के सरल मामले के अतिरिक्त, जैसे कि 'बारिश' या 'बारिश नहीं' की संभावनाएं निर्दिष्ट करना, स्कोरिंग नियमों का उपयोग कई वर्गों के लिए किया जा सकता है, जैसे 'बारिश', 'बर्फ', या 'स्पष्ट', या प्रति दिन बारिश की मात्रा जैसी निरंतर प्रतिक्रियाएँ है।

दाईं ओर की छवि स्कोरिंग नियम, लॉगरिदमिक स्कोरिंग नियम का एक उदाहरण दिखाती है, जो वास्तव में घटित घटना के लिए रिपोर्ट की गई संभावना के एक फ़ंक्शन के रूप में है। इस नियम का उपयोग करने का एक तरीका एक भविष्यवक्ता या एल्गोरिदम द्वारा निर्दिष्ट संभावना के आधार पर लागत के रूप में होगा, फिर यह देखने के लिए जांच करना होगा कि वास्तव में कौन सी घटना होती है।

उचित स्कोरिंग नियमों के उदाहरण

लघुगणक नियम का अपेक्षित मान, जब घटना 1 0.8 की संभावना के साथ घटित होने की उम्मीद है

स्कोरिंग नियमों की अनंत संख्या है, जिसमें अनुशासनपूर्वक से उचित स्कोरिंग नियमों के संपूर्ण पैरामीटरयुक्त परिवार सम्मिलित हैं। नीचे दिखाए गए केवल लोकप्रिय उदाहरण हैं।

श्रेणीबद्ध चर

एक श्रेणीबद्ध प्रतिक्रिया चर के लिए $m$ परस्पर अनन्य कार्यक्रम, $Y\in \Omega =\{1,\ldots ,m\}$, एक संभाव्य भविष्यवक्ता या एल्गोरिदम एक संभाव्यता सदिश लौटाएगा $\mathbf {r}$ प्रत्येक के लिए एक संभावना के साथ $m$ परिणाम है।

लघुगणकीय स्कोर

लॉगरिदमिक स्कोरिंग नियम एक स्थानीय सख्ती से उचित स्कोरिंग नियम है। यह आश्चर्य का ऋणात्मक पहलू भी है, जिसे प्रायः बायेसियन अनुमान में स्कोरिंग मानदंड के रूप में उपयोग किया जाता है; लक्ष्य अपेक्षित आश्चर्य को कम करना है। इस स्कोरिंग नियम का सूचना सिद्धांत में सशक्त आधार है।

$L(\mathbf {r} ,i)=\ln(r_{i})$

यहां, स्कोर की गणना वास्तविक परिणाम के लिए संभाव्यता अनुमान के लघुगणक के रूप में की जाती है। अर्थात्, 80% की पूर्वानुमान जो सही सिद्ध हुई उसे अंक प्राप्त होंगे ln(0.8) = −0.22. यही पूर्वानुमान विपरीत मामले में भी 20% संभावना बताती है, और इसलिए यदि पूर्वानुमान असत्य सिद्ध होता है, तो उसे 20% के आधार पर एक अंक प्राप्त होगा: ln(0.2) = −1.6. एक भविष्यवक्ता का लक्ष्य स्कोर को अधिकतम करना और स्कोर को यथासंभव बड़ा बनाना है, और −0.22 वास्तव में −1.6 से बड़ा है।

यदि कोई पूर्वानुमान की सत्यता या असत्यता को एक चर के रूप में मानता है x क्रमशः मान 1 या 0 के साथ, और संभाव्यता इस प्रकार व्यक्त की गई है p, तो कोई लघुगणकीय स्कोरिंग नियम को इस प्रकार लिख सकता है x ln(p) + (1 − x) ln(1 − p). ध्यान दें कि किसी भी लघुगणकीय आधार का उपयोग किया जा सकता है, क्योंकि रैखिक परिवर्तन के तहत सख्ती से उचित स्कोरिंग नियम सख्ती से उचित रहते हैं। वह है:

$L(\mathbf {r} ,i)=\log _{b}(r_{i})$

सभी के लिए पूर्णतः उचित है $b>1$.

बैरियर/द्विघात स्कोर

द्विघात स्कोरिंग नियम एक पूर्णतः उचित स्कोरिंग नियम है

$Q(\mathbf {r} ,i)=2r_{i}-\mathbf {r} \cdot \mathbf {r} =2r_{i}-\sum _{j=1}^{C}r_{j}^{2}$

जहाँ $r_{i}$ सही उत्तर को दी गई प्रायिकता है और $C$ कक्षाओं की संख्या है.

बैरियर स्कोर, मूल रूप से 1950 में ग्लेन डब्लू. ब्रियर द्वारा प्रस्तावित, द्विघात स्कोरिंग नियम से एफ़िन परिवर्तन द्वारा प्राप्त किया जा सकता है।

$B(\mathbf {r} ,i)=\sum _{j=1}^{C}(y_{j}-r_{j})^{2}$

जहाँ $y_{j}=1$ जब $j$वें घटना सही है और $y_{j}=0$ अन्यथा और $C$ कक्षाओं की संख्या है.

इन दोनों नियमों के बीच एक महत्वपूर्ण अंतर यह है कि एक भविष्यवक्ता को द्विघात स्कोर को अधिकतम करने का प्रयास करना चाहिए $Q$ फिर भी ब्रियर स्कोर को कम करें $B$. यह उनके बीच रैखिक परिवर्तन में एक ऋणात्मक संकेत के कारण है।

हाइवरिनेन स्कोरिंग नियम

हाइवेरिनन स्कोरिंग समुच्चय (घनत्व P का) द्वारा परिभाषित किया गया है

$s(p)=2\Delta _{y}\log p(y)+\|\nabla _{y}\log p(y)\|_{2}^{2}$

जहाँ $\Delta$ हेस्सियन आव्यूह ट्रेस (रैखिक बीजगणित) को दर्शाता है और $\nabla$ ग्रेडिएंट को दर्शाता है. इस स्कोरिंग नियम का उपयोग पैरामीटर अनुमान को कम्प्यूटेशनल रूप से सरल बनाने और स्वेच्छा से अस्पष्ट पूर्ववर्तियों के साथ बायेसियन मॉडल की तुलना को संबोधित करने के लिए किया जा सकता है। इसका उपयोग वर्तमान सूचना सिद्धांत से परे नई सूचना-सैद्धांतिक मात्राओं को पेश करने के लिए भी किया गया था।

गोलाकार स्कोर

गोलाकार स्कोरिंग नियम भी एक सख्ती से उचित स्कोरिंग नियम है

$S(\mathbf {r} ,i)={\frac {r_{i}}{\lVert \mathbf {r} \rVert }}={\frac {r_{i}}{\sqrt {r_{1}^{2}+\cdots +r_{c}^{2}}}}$

सतत चर

सतत रैंक संभाव्यता स्कोर

सतत रैंक संभाव्यता स्कोर (सीआरपीएस) मौसम विज्ञान में बहुत अधिक उपयोग किया जाने वाला एक उचित स्कोरिंग नियम है। इसे इस प्रकार परिभाषित किया गया है

$CRPS(F,y)=\int _{\mathbb {R} }(F(x)-\mathbb {1} (x\geq y))^{2}dx$

जहां एफ पूर्वानुमानित संचयी वितरण समुच्चय है और $y\in \mathbb {R}$ अवलोकन है.

उचित स्कोरिंग नियमों की व्याख्या

सभी उचित स्कोरिंग नियम सरल दो-वैकल्पिक निर्णय समस्याओं के एक समुच्चय में नुकसान के भारित योग (एक गैर-ऋणात्मक भार फलनक के साथ अभिन्न) के बराबर हैं जो संभाव्य पूर्वानुमान का उपयोग करते हैं, ऐसी प्रत्येक निर्णय समस्या में ली धनात्मक और ली ऋणात्मक निर्णयों के लिए संबंधित लागत मापदंडों का एक विशेष संयोजन होता है। एक कड़ाई से उचित स्कोरिंग नियम सभी संभावित निर्णय सीमाओं के लिए गैर-शून्य भारांक से मेल खाता है। कोई भी दिया गया उचित स्कोरिंग नियम निर्णय सीमा पर एक विशेष संभाव्यता वितरण के संबंध में अपेक्षित नुकसान के बराबर है; इस प्रकार स्कोरिंग नियम का चुनाव निर्णय समस्याओं के संभाव्यता वितरण के बारे में एक धारणा से मेल खाता है जिसके लिए अनुमानित संभावनाओं को अंततः नियोजित किया जाएगा, उदाहरण के लिए निर्णय सीमा की एक समान संभावना के अनुरूप द्विघात हानि (या ब्रियर) स्कोरिंग नियम शून्य और एक के बीच कहीं भी. वर्गीकरण सटीकता स्कोर (प्रतिशत सही प्रकार से वर्गीकृत), एक एकल-सीमा स्कोरिंग नियम जो शून्य या एक है जो इस पर निर्भर करता है कि अनुमानित संभावना 0.5 के उचित पक्ष पर है या नहीं, एक उचित स्कोरिंग नियम है लेकिन सख्ती से उचित स्कोरिंग नियम नहीं है क्योंकि यह है अनुकूलित (अपेक्षा में) न केवल वास्तविक संभाव्यता की पूर्वानुमान करके, बल्कि 0.5 के उसी पक्ष पर किसी भी संभाव्यता की वास्तविक संभाव्यता के रूप में पूर्वानुमान करके।

अनुशासनपूर्वक से उचित स्कोरिंग नियमों की तुलना

नीचे बाईं ओर द्विआधारी वर्गीकरण समस्या के लिए लघुगणक, द्विघात और गोलाकार स्कोरिंग नियमों की एक ग्राफिकल तुलना दिखाई गई है। एक्स-अक्ष उस घटना के लिए रिपोर्ट की गई संभावना को इंगित करता है जो वास्तव में घटित हुई थी।

यह ध्यान रखना महत्वपूर्ण है कि प्रत्येक स्कोर का अलग-अलग परिमाण और स्थान होता है। हालाँकि परिमाण का अंतर प्रासंगिक नहीं है क्योंकि एफ़िन ट्रांसफ़ॉर्मेशन के तहत स्कोर उचित रहता है। इसलिए, विभिन्न अंकों की तुलना करने के लिए उन्हें एक सामान्य पैमाने पर ले जाना आवश्यक है। सामान्यीकरण का एक उचित विकल्प दाईं ओर की तस्वीर में दिखाया गया है जहां सभी स्कोर बिंदुओं (0.5,0) और (1,1) को काटते हैं। यह सुनिश्चित करता है कि वे एक समान वितरण (0.5 प्रत्येक की दो संभावनाएं) के लिए 0 प्राप्त करते हैं, जो कि अक्सर बेसलाइन वितरण होता है, उसकी रिपोर्ट करने के लिए कोई लागत या इनाम नहीं दर्शाता है। नीचे दिए गए सभी सामान्यीकृत स्कोर भी 1 प्राप्त करते हैं जब वास्तविक वर्ग को 1 की संभावना दी जाती है।

लघुगणक (नीला), गोलाकार (हरा), और द्विघात (लाल) दिखाने वाले वास्तविक वर्ग के लिए द्विआधारी वर्गीकरण का स्कोर

लघुगणक (नीला), गोलाकार (हरा), और द्विघात (लाल) दिखाने वाले वास्तविक वर्ग के लिए द्विआधारी वर्गीकरण का सामान्यीकृत स्कोर

विशेषताएँ

एफ़िन परिवर्तन

एक सख्ती से उचित स्कोरिंग नियम, चाहे बाइनरी या मल्टीक्लास, एक एफ़िन परिवर्तन के बाद एक सख्ती से उचित स्कोरिंग नियम बना रहता है। अर्थात यदि $S(\mathbf {r} ,i)$ तो यह एक बिल्कुल उचित स्कोरिंग नियम है $a+bS(\mathbf {r} ,i)$ साथ $b\neq 0$ हालाँकि, यह भी एक अनुशासनपूर्वक से उचित स्कोरिंग नियम है $b<0$ फिर स्कोरिंग नियम का अनुकूलन अर्थ अधिकतमकरण और न्यूनतमकरण के बीच स्विच हो जाता है।

स्थान

एक उचित स्कोरिंग नियम को स्थानीय कहा जाता है यदि किसी विशिष्ट घटना की संभावना का अनुमान केवल उस घटना की संभावना पर निर्भर करता है। यह कथन अधिकांश विवरणों में अस्पष्ट है, लेकिन अधिकांश मामलों में, हम इसे इस प्रकार सोच सकते हैं कि किसी विशिष्ट घटना में स्कोरिंग समस्या का इष्टतम समाधान अवलोकन वितरण में सभी परिवर्तनों के लिए अपरिवर्तनीय है जो उस घटना की संभावना को अपरिवर्तित छोड़ देता है। सभी बाइनरी स्कोर स्थानीय होते हैं क्योंकि जो घटना घटित नहीं हुई, उसके लिए निर्दिष्ट संभावना निर्धारित की जाती है, इसलिए इसमें भिन्नता के लिए लचीलेपन की कोई डिग्री नहीं होती है।

लॉगरिदमिक स्कोरिंग नियम के एफ़िन फलन एक सीमित समुच्चय पर एकमात्र सख्ती से उचित स्थानीय स्कोरिंग नियम हैं जो बाइनरी नहीं है।

अपघटन

उचित स्कोरिंग नियम का अपेक्षित मूल्य $S$ इसे तीन घटकों के योग में विघटित किया जा सकता है, जिन्हें अनिश्चितता, विश्वसनीयता और संकल्प कहा जाता है, जो संभाव्य पूर्वानुमानों की विभिन्न विशेषताओं की विशेषता बताते हैं:

$E(S)=\mathrm {UNC} +\mathrm {REL} -\mathrm {RES} .$

यदि कोई स्कोर उचित और ऋणात्मक रूप से उन्मुख है (जैसे कि ब्रियर स्कोर), तो सभी तीन पद धनात्मक निश्चित हैं। अनिश्चितता घटक पूर्वानुमान के अपेक्षित स्कोर के बराबर है जो लगातार औसत घटना आवृत्ति की पूर्वानुमान करता है। विश्वसनीयता घटक खराब कैलिब्रेटेड पूर्वानुमानों को दंडित करता है, जिसमें अनुमानित संभावनाएं घटना आवृत्तियों के साथ मेल नहीं खाती हैं।

व्यक्तिगत घटकों के समीकरण विशेष स्कोरिंग नियम पर निर्भर करते हैं। ब्रियर स्कोर के लिए, वे द्वारा दिए गए हैं

$\mathrm {UNC} ={\bar {x}}(1-{\bar {x}})$

$\mathrm {REL} =E(p-\pi (p))^{2}$

$\mathrm {RES} =E(\pi (p)-{\bar {x}})^{2}$

जहाँ ${\bar {x}}$ द्विआधारी घटना के घटित होने की औसत संभावना है $x$, और $\pi (p)$ सशर्त घटना संभाव्यता दी गई है $p$, अर्थात। $\pi (p)=P(x=1\mid p)$

यह भी देखें

• सुसंगतता (दार्शनिक जुआ रणनीति)
• निर्णय नियम

बाहरी संबंध

• Video comparing spherical, quadratic and logarithmic scoring rules
• Local Proper Scoring Rules
• Scoring Rules and Decision Analysis Education
• Strictly Proper Scoring Rules
• Scoring Rules and uncertainty
• Damage Caused by Classification Accuracy and Other Discontinuous Improper Accuracy Scoring Rules