View source for सटीक और याद

{{Short description|Pattern recognition performance metrics}}
[[File:Precisionrecall.svg|thumb|350px|सटीक और याद]]प्रतिरूप अभिज्ञान, सूचना पुनर्प्राप्ति, वस्तु का पता लगाने और [[वर्गीकरण (मशीन लर्निंग)]], सटीक और याद प्रदर्शन मेट्रिक्स हैं जो संग्रह, कॉर्पस या नमूना स्थान ( संभाव्यता सिद्धांत) से प्राप्त डेटा पर लागू होते हैं।

परिशुद्धता (जिसे [[सकारात्मक भविष्य कहनेवाला मूल्य]] भी कहा जाता है) पुनर्प्राप्त उदाहरणों के बीच प्रासंगिक उदाहरणों का अंश है, जबकि याद (जिसे [[संवेदनशीलता और विशिष्टता]] के रूप में भी जाना जाता है) प्रासंगिक उदाहरणों का अंश है जो पुनर्प्राप्त किए गए थे। सटीकता और याद दोनों इसलिए [[प्रासंगिकता (सूचना पुनर्प्राप्ति)]] पर आधारित हैं। 

डिजिटल फोटोग्राफ में कुत्तों (प्रासंगिक तत्व) को पहचानने के लिए एक कंप्यूटर प्रोग्राम पर विचार करें। दस बिल्लियों और बारह कुत्तों वाली एक तस्वीर को संसाधित करने पर, कार्यक्रम आठ कुत्तों की पहचान करता है। कुत्तों के रूप में पहचाने जाने वाले आठ तत्वों में से केवल पांच वास्तव में कुत्ते (सच्चे सकारात्मक) हैं, जबकि अन्य तीन बिल्लियाँ (झूठे सकारात्मक) हैं। सात कुत्तों को छोड़ दिया गया (झूठे नकारात्मक), और सात बिल्लियों को सही ढंग से बाहर रखा गया (वास्तविक नकारात्मक)। कार्यक्रम की सटीकता तब 5/8 (वास्तविक सकारात्मक/चयनित तत्व) होती है जबकि इसकी याद 5/12 (वास्तविक सकारात्मक/प्रासंगिक तत्व) होती है।

जब एक [[खोज इंजन (कंप्यूटिंग)]] 30 पृष्ठ लौटाता है, जिनमें से केवल 20 प्रासंगिक होते हैं, जबकि 40 अतिरिक्त प्रासंगिक पृष्ठ वापस करने में विफल रहते हैं, तो इसकी सटीकता 20/30 = 2/3 होती है, जो हमें बताती है कि परिणाम कितने वैध हैं, जबकि इसकी याद 20/60 = 1/3 है, जो हमें बताती है कि परिणाम कितने पूर्ण हैं।

आँकड़ों से एक परिकल्पना-परीक्षण दृष्टिकोण अपनाना, जिसमें, इस मामले में, अशक्त परिकल्पना यह है कि दी गई वस्तु अप्रासंगिक है, अर्थात, कुत्ता नहीं, टाइप I और टाइप II त्रुटियों की अनुपस्थिति (अर्थात पूर्ण विशिष्टता और 100% प्रत्येक की संवेदनशीलता) क्रमशः पूर्ण परिशुद्धता (कोई झूठी सकारात्मक नहीं) और सही याद (कोई झूठी नकारात्मक नहीं) से मेल खाती है।

अधिक सामान्यतः, याद केवल टाइप II त्रुटि दर का पूरक है, अर्थात टाइप II त्रुटि दर का एक नकारात्मक है। सटीकता टाइप I त्रुटि दर से संबंधित है, लेकिन थोड़ा अधिक जटिल तरीके से, क्योंकि यह प्रासंगिक के प्रति अप्रासंगिक वस्तु को देखने के पूर्व वितरण पर भी निर्भर करता है।

उपरोक्त बिल्ली और कुत्ते के उदाहरण में 10 कुल बिल्लियों (वास्तविक नकारात्मक) में से 8 − 5 = 3  टाइप I त्रुटियां (गलत सकारात्मक) सम्मलित हैं, टाइप I त्रुटि दर 3/10 के लिए, और 12 − 5 = 7 टाइप II त्रुटियां सम्मलित हैं, टाइप II त्रुटि दर 7/12 के लिए। परिशुद्धता को गुणवत्ता के माप के रूप में देखा जा सकता है, और मात्रा के माप के रूप में याद किया जा सकता है।

उच्च परिशुद्धता का अर्थ है कि एक एल्गोरिथ्म अप्रासंगिक परिणामों की तुलना में अधिक प्रासंगिक परिणाम देता है, और उच्च याद का मतलब है कि एक एल्गोरिथ्म अधिकांश प्रासंगिक परिणाम देता है (चाहे अप्रासंगिक भी लौटाए गए हों या नहीं)।

== परिचय ==
सूचना पुनर्प्राप्ति में, उदाहरण एक प्रलेख हैं और इसका कार्य एक खोज शब्द दिए गए प्रासंगिक प्रलेख के एक सेट को वापस करना है। याद किसी खोज द्वारा प्राप्त प्रासंगिक प्रलेखो की संख्या को उपस्थिता प्रासंगिक प्रलेखो की कुल संख्या से विभाजित करने पर प्राप्त होने वाली प्रासंगिक प्रलेखो की संख्या है, जबकि सटीकता किसी खोज द्वारा प्राप्त किए गए प्रासंगिक प्रलेखो की संख्या को उस खोज द्वारा प्राप्त किए गए प्रलेखो की कुल संख्या से विभाजित करने पर प्राप्त होने वाली संख्या है।

एक वर्गीकरण (मशीन लर्निंग) कार्य में, एक वर्ग के लिए सटीकता सही सकारात्मक की संख्या (अर्थात सकारात्मक वर्ग से संबंधित के रूप में सही ढंग से लेबल की गई वस्तुओं की संख्या) को सकारात्मक वर्ग से संबंधित तत्वों की कुल संख्या से विभाजित किया जाता है ( अर्थात सही सकारात्मक और गलत सकारात्मक का योग, जो गलत तरीके से वर्ग से संबंधित वस्तु हैं)। इस संदर्भ में याद को वास्तविक सकारात्मकता की संख्या के रूप में परिभाषित किया गया है जो वास्तव में सकारात्मक वर्ग से संबंधित तत्वों की कुल संख्या से विभाजित है (अर्थात वास्तविक सकारात्मक और गलत नकारात्मक का योग, जो ऐसे वस्तु हैं जिन्हें सकारात्मक वर्ग से संबंधित के रूप में लेबल नहीं किया गया था)।

सूचना पुनर्प्राप्ति में, 1.0 के एक सटीक स्कोर का अर्थ है कि खोज द्वारा प्राप्त प्रत्येक परिणाम प्रासंगिक थे (लेकिन इस बारे में यह नहीं कहता है कि क्या सभी प्रासंगिक प्रलेख पुनर्प्राप्त किए गए थे) जबकि 1.0 के एक पूर्ण याद स्कोर का अर्थ है कि सभी प्रासंगिक प्रलेख खोज द्वारा प्राप्त किए गए थे (लेकिन यह नहीं कहता है कि कितने अप्रासंगिक प्रलेख भी पुनर्प्राप्त किए गए थे)।

वियोजन में उपयोग किए जाने पर सटीकता और याद विशेष रूप से उपयोगी मेट्रिक्स नहीं होते हैं। उदाहरण के लिए, हर एक विषय को केवल पुनः प्राप्त करके सही याद करना संभव है। इसी तरह, अत्यंत संभावित वस्तुओं की केवल बहुत कम संख्या का चयन करके लगभग पूर्ण सटीकता प्राप्त करना संभव है।

एक वर्गीकरण कार्य में, क्लास सी के लिए 1.0 के एक सटीक स्कोर का अर्थ है कि क्लास सी से संबंधित प्रत्येक वस्तु वास्तव में क्लास सी से संबंधित है (लेकिन क्लास सी से उन वस्तुओं की संख्या के बारे में कुछ नहीं कहता है जिन्हें सही ढंग से समस्तर नहीं किया गया था) जबकि 1.0 के याद का मतलब है कि क्लास सी के प्रत्येक वस्तुओं को क्लास सी से संबंधित के रूप में समस्तर किया गया था (लेकिन यह नहीं कहता है कि अन्य वर्गों की कितनी वस्तुओं को गलत तरीके से क्लास सी से संबंधित के रूप में भी समस्तर किया गया था)।

अधिकांशतः सटीक और याद के बीच एक विपरीत संबंध होता है, जहां दूसरे को कम करने की कीमत पर एक को बढ़ाना संभव होता है। ब्रेन सर्जरी ट्रेडऑफ़ का एक उदाहरण है। एक मस्तिष्क सर्जन पर विचार करें जो एक मरीज के मस्तिष्क से कैंसर के ट्यूमर को निकाल रहा है। सर्जन को सभी ट्यूमर कोशिकाओं को हटाने की जरूरत है क्योंकि शेष कैंसर कोशिकाएं ट्यूमर को पुन: उत्पन्न करेंगी। इसके विपरीत, सर्जन को मस्तिष्क की स्वस्थ कोशिकाओं को नहीं निकालना चाहिए क्योंकि इससे रोगी के मस्तिष्क का कार्य बाधित हो सकता है। सर्जन मस्तिष्क के उस क्षेत्र में अधिक उदार हो सकता है जिसे वह हटाता है यह सुनिश्चित करने के लिए कि उसने सभी कैंसर कोशिकाओं को निकाला है। यह निर्णय याद बढ़ाता है लेकिन सटीकता को कम करता है। दूसरी ओर, सर्जन मस्तिष्क की कोशिकाओं में अधिक अनुदार हो सकता है जिसे वह हटाता है यह सुनिश्चित करने के लिए कि वह केवल कैंसर कोशिकाओं को निकालता है। यह निर्णय सटीकता बढ़ाता है लेकिन याद को कम करता है। कहने का मतलब यह है कि अधिक याद करने से स्वस्थ कोशिकाओं (नकारात्मक परिणाम) को हटाने की संभावना बढ़ जाती है और सभी कैंसर कोशिकाओं (सकारात्मक परिणाम) को हटाने की संभावना बढ़ जाती है। अधिक सटीकता से स्वस्थ कोशिकाओं (सकारात्मक परिणाम) को हटाने की संभावना कम हो जाती है, लेकिन सभी कैंसर कोशिकाओं (नकारात्मक परिणाम) को हटाने की संभावना भी कम हो जाती है।

सामान्यतः सटीक और याद गणना की चर्चा पृथक्रकरण में नहीं की जाती है। इसके अतिरिक्त, या तो एक माप के मानों की दूसरे माप पर एक निश्चित स्तर के लिए तुलना की जाती है (उदाहरण के लिए 0.75 के याद स्तर पर सटीकता) या दोनों को एक ही माप में जोड़ा जाता है। उपायों के उदाहरण जो सटीक और याद का संयोजन हैं, एफ-माप  (परिशुद्धता और याद का भारित [[अनुकूल माध्य]]) हैं, या [[मैथ्यूज सहसंबंध गुणांक]], जो मौका-संशोधित प्रकार का एक ज्यामितीय माध्य है: [[प्रतिगमन गुणांक]] सूचितता (डेल्टापी') और [[Markedness|चिह्नितता]] (डेल्टापी)।<ref name="Powers2011">{{cite journal |first=David M W |last=Powers |date=2011 |title=Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation |journal=Journal of Machine Learning Technologies |volume=2 |issue=1 |pages=37–63 |url=http://www.flinders.edu.au/science_engineering/fms/School-CSEM/publications/tech_reps-research_artfcts/TRRA_2007.pdf |archive-url=https://web.archive.org/web/20191114213255/https://www.flinders.edu.au/science_engineering/fms/School-CSEM/publications/tech_reps-research_artfcts/TRRA_2007.pdf |archive-date=2019-11-14}}</ref><ref>{{cite journal |first1=P. |last1=Perruchet |first2=R. |last2=Peereman |year=2004 |title=शब्दांश प्रसंस्करण में वितरण संबंधी जानकारी का शोषण|journal=J. Neurolinguistics |volume=17 |issue=2–3 |pages=97–119 |doi=10.1016/s0911-6044(03)00059-9|s2cid=17104364 }}</ref> [[सटीकता (द्विआधारी वर्गीकरण)]] और व्युत्क्रम परिशुद्धता (पूर्वाग्रह द्वारा भारित) के भारित अंकगणितीय माध्य के साथ-साथ याद और व्युत्क्रम याद (प्रचलन द्वारा भारित) का भारित अंकगणितीय माध्य है।<ref name="Powers2011"/>व्युत्क्रम परिशुद्धता और व्युत्क्रम याद केवल व्युत्क्रम समस्या की शुद्धता और स्मरण है जहां सकारात्मक और नकारात्मक स्तर का आदान-प्रदान किया जाता है (वास्तविक कक्षाओं और भविष्यवाणी लेबल दोनों के लिए)। याद और व्युत्क्रम याद, या समकक्ष रूप से सही सकारात्मक दर और झूठी सकारात्मक दर, अधिकांशतः एक दूसरे के विरुद्ध रिसीवर ऑपरेटिंग विशेषता वक्र के रूप में प्लॉट किए जाते हैं और ऑपरेटिंग पॉइंट ट्रेडऑफ़ का पता लगाने के लिए एक सैद्धांतिक तंत्र प्रदान करते हैं। सूचना पुनर्प्राप्ति के बाहर, याद, सटीक और एफ-माप के आवेदन को त्रुटिपूर्ण माना जाता है क्योंकि वे आकस्मिक सारणी के वास्तविक नकारात्मक सेल की उपेक्षा करते हैं, और भविष्यवाणियों को पूर्वाग्रहित करके आसानी से उनका अदल-बदल किया जाता है।<ref name="Powers2011"/> पहली समस्या सटीकता (द्विआधारी वर्गीकरण) का उपयोग करके 'हल' की जाती है और दूसरी समस्या मौका घटक को छूट देकर और कोहेन कप्पा को फिर से सामान्य करके 'हल' की जाती है, लेकिन यह अब ग्राफिक रूप से ट्रेडऑफ़ का पता लगाने का अवसर नहीं देता है। चूंकि, सूचनात्मकता और चिह्नितता याद और सटीक के कप्पा-जैसे पुनर्सामान्यीकरण हैं,<ref>{{cite conference |first=David M. W. |last=Powers |date=2012 |title=कप्पा के साथ समस्या|book-title=Conference of the European Chapter of the Association for Computational Linguistics (EACL2012) Joint ROBUS-UNSUP Workshop|url=https://www.aclweb.org/anthology/E12-1035}}</ref> और उनके ज्यामितीय माध्य मैथ्यू सहसंबंध गुणांक इस प्रकार एक विवादित एफ-माप की तरह कार्य करते हैं।

== परिभाषा (सूचना पुनर्प्राप्ति संदर्भ) ==

सूचना पुनर्प्राप्ति संदर्भों में, सटीक और याद को पुनर्प्राप्त प्रलखो के एक सेट के संदर्भ में परिभाषित किया गया है (उदाहरण के लिए एक [[वेब खोज इंजन]] द्वारा एक क्वेरी के लिए तैयार किए गए दस्तावेजों की सूची) और प्रासंगिक प्रलखो का एक सेट (उदाहरण के लिए इंटरनेट पर सभी दस्तावेजों की सूची जो एक निश्चित विषय के लिए प्रासंगिक हैं) है,जैसे सीएफ [[प्रासंगिकता]]।<ref>* {{cite journal |title=Machine literature searching VIII. Operational criteria for designing information retrieval systems |journal=American Documentation |volume=6 |issue=2 |pages=93 |year=1955 |doi=10.1002/asi.5090060209|last1=Kent |first1=Allen |last2=Berry |first2=Madeline M. |last3=Luehrs, Jr. |first3=Fred U. |last4=Perry |first4=J.W. }}</ref>
=== प्रेसिजन ===

सूचना पुनर्प्राप्ति के क्षेत्र में, सटीक पुनर्प्राप्त प्रलखो का अंश है जो क्वेरी के लिए प्रासंगिक हैं:<math display="block"> \text{precision}=\frac{|\{\text{relevant documents}\}\cap\{\text{retrieved documents}\}|}{|\{\text{retrieved documents}\}|} </math>उदाहरण के लिए, प्रलेखो के एक सेट पर एक पाठ के खोज के लिए, सटीक परिणाम सभी लौटाए गए परिणामों की संख्या से विभाजित सही परिणामों की संख्या है।

परिशुद्धता सभी पुनर्प्राप्त प्रलखो को ध्यान में रखती है, लेकिन इसका मूल्यांकन किसी दिए गए कट-ऑफ रैंक पर भी किया जा सकता है, केवल तंत्र द्वारा दिए गए शीर्ष परिणामों पर विचार किया जा सकता है। इस माप को एन या पी@एन पर परिशुद्धता कहा जाता है।

याद के साथ परिशुद्धता का उपयोग किया जाता है, सभी प्रासंगिक प्रलेखो का प्रतिशत जो जाँच द्वारा लौटाया जाता है। प्रणाली के लिए एकल माप प्रदान करने के लिए कभी-कभी एफ1 गणना (या f-माप) में दो उपायों का एक साथ उपयोग किया जाता है।

ध्यान दें कि सूचना पुनर्प्राप्ति के क्षेत्र में "परिशुद्धता" का अर्थ और उपयोग विज्ञान और प्रौद्योगिकी की अन्य शाखाओं के भीतर सटीकता और सटीकता की परिभाषा से भिन्न है।

===स्मरण ===

सूचना पुनर्प्राप्ति में, याद प्रासंगिक प्रलेखो का वह अंश है जिसे सफलतापूर्वक पुनर्प्राप्त किया जाता है।

<math display="block"> \text{recall}=\frac{|\{\text{relevant documents}\}\cap\{\text{retrieved documents}\}|}{|\{\text{relevant documents}\}|} </math>
उदाहरण के लिए, प्रलेखो के एक सेट पर एक पाठ के खोज के लिए, याद सही परिणामों की संख्या को उन परिणामों की संख्या से विभाजित करना है जिन्हें लौटाया जाना चाहिए था।

बाइनरी वर्गीकरण में, याद को संवेदनशीलता कहा जाता है। इसे इस संभावना के रूप में देखा जा सकता है कि क्वेरी द्वारा एक प्रासंगिक प्रलेख को पुनः प्राप्त किया जाता है।

=== कनेक्शन ===
सटीक और याद की व्याख्या (अनुमानित) सशर्त संभावनाओं के रूप में की जा सकती है:

सटीक द्वारा दिया जाता है <math>P(C=P|\hat{C}=P)</math> जबकि याद इसके द्वारा दिया जाता है <math>P(\hat{C}=P|C=P)</math>,<ref>Information Retrieval Models, Thomas Roelleke, [[index.php?title=Special:BookSources/9783031023286|ISBN 9783031023286]], page 76, https://www.google.de/books/edition/Information_Retrieval_Models/YX9yEAAAQBAJ?hl=de&gbpv=1&pg=PA76&printsec=frontcover</ref> जहां <math>\hat{C}</math> अनुमानित वर्ग है और <math>C</math> वास्तविक वर्ग है। इसलिए, दोनों मात्राएँ बेयस प्रमेय द्वारा जुड़ी हुई हैं।

== परिभाषा (वर्गीकरण संदर्भ) ==
वर्गीकरण कार्यों के लिए, सच्चे सकारात्मक, सच्चे नकारात्मक, झूठे सकारात्मक और झूठे नकारात्मक शब्द (परिभाषाओं के लिए टाइप I और टाइप II त्रुटियां देखें) विश्वसनीय बाहरी निर्णयों के साथ परीक्षण के तहत वर्गीकरणकर्ता के परिणामों की समानता करें। शब्द सकारात्मक और नकारात्मक वर्गीकारक की भविष्यवाणी (कभी-कभी अपेक्षा के रूप में जाना जाता है) को संदर्भित करते हैं, और सत्य और गलत शब्द संदर्भित करते हैं कि क्या भविष्यवाणी बाहरी निर्णय (कभी-कभी अवलोकन के रूप में जाना जाता है) से मेल खाती है।

आइए हम कुछ स्थितियों के लिए P धनात्मक दृष्टांतों और N ऋणात्मक दृष्टांतों से एक प्रयोग परिभाषित करें। चार परिणामों को 2×2 [[आकस्मिक तालिका|आकस्मिक सारणी]] या भ्रम मैट्रिक्स में निम्नानुसार तैयार किया जा सकता है:

{{diagnostic testing diagram}}
{{Confusion matrix terms}}

<!--
{| border="0" align="center" style="text-align: center; background: #FFFFFF;"
|+
!
! colspan="2" style="background: #ddffdd;"|actual class <br/> (observation)
|-
!
|-----
|+
! rowspan="2" style="background: #ffdddd;"|predicted class <br/> (expectation)
| '''tp''' <br /> (true positive) <br/> Correct result
| '''fp''' <br /> (false positive) <br/> Unexpected result
|-bgcolor="#EFEFEF"
| '''fn''' <br /> (false negative) <br/> Missing result
| '''tn''' <br /> (true negative) <br/> Correct absence of result
|+
|}

-->
सटीक और याद को तब परिभाषित किया जाता है:<ref name="OlsonDelen">Olson, David L.; and Delen, Dursun (2008); ''Advanced Data Mining Techniques'', Springer, 1st edition (February 1, 2008), page 138, {{ISBN|3-540-76916-1}}</ref>

<math display="block">\begin{align}
  \text{Precision} &= \frac{tp}{tp + fp} \\
     \text{Recall} &= \frac{tp}{tp + fn} \,
\end{align}</math>
इस संदर्भ में याद को वास्तविक सकारात्मक दर या संवेदनशीलता और विशिष्टता के रूप में भी जाना जाता है, और सटीक को सकारात्मक भविष्य कहनेवाला मूल्य (पीपीवी) भी कहा जाता है; वर्गीकरण में उपयोग किए जाने वाले अन्य संबंधित उपायों में सही नकारात्मक दर और सटीकता (द्विआधारी वर्गीकरण) सम्मलित हैं।<ref name="OlsonDelen" />सही नकारात्मक दर को विशिष्टता भी कहा जाता है।<math display="block">\text{True negative rate} = \frac{tn}{tn + fp} \, </math>

== असंतुलित डेटा ==
<math display="block">\text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN} \, </math>
असंतुलित डेटा सेट के लिए सटीकता एक भ्रामक मीट्रिक हो सकती है। 95 ऋणात्मक और 5 धनात्मक मानों वाले एक प्रतिरूप पर विचार करें। इस स्थिति में सभी मूल्यों को नकारात्मक के रूप में वर्गीकृत करने से 0.95 सटीकता स्कोर मिलता है। ऐसे कई मेट्रिक्स हैं जो इस समस्या से ग्रस्त नहीं हैं। उदाहरण के लिए, संतुलित सटीकता<ref>{{Cite journal|last=Mower|first=Jeffrey P.|date=2005-04-12|title=PREP-Mt: predictive RNA editor for plant mitochondrial genes|journal=BMC Bioinformatics|volume=6|pages=96|doi=10.1186/1471-2105-6-96|issn=1471-2105|pmc=1087475|pmid=15826309}}</ref> (बीएसीसी) क्रमशः सकारात्मक और नकारात्मक प्रतिरूप की संख्या से वास्तविक सकारात्मक और वास्तविक नकारात्मक भविष्यवाणियों को सामान्य करती है, और उनके योग को दो से विभाजित करती है:<math display="block">\text{Balanced accuracy}= \frac{TPR + TNR}{2}\, </math>पिछले उदाहरण के लिए (95 नकारात्मक और 5 सकारात्मक प्रतिरूप), सभी को नकारात्मक के रूप में वर्गीकृत करने से 0.5 संतुलित सटीकता अंक मिलता है (अधिकतम बीएसीसी स्कोर एक है), जो एक संतुलित डेटा सेट में एक यादृच्छिक अनुमान के अपेक्षित मूल्य के बराबर है। संतुलित सटीकता एक मॉडल के लिए समग्र प्रदर्शन मीट्रिक के रूप में काम कर सकती है, भले ही डेटा में सही स्तर असंतुलित हों या नहीं, यह मानते हुए कि एफएन की लागत एफपी के समान है।

एक अन्य मीट्रिक अनुमानित सकारात्मक स्थिति दर (पीपीसीआर) है, जो फ़्लैग की गई कुल जनसंख्या के प्रतिशत की पहचान करती है। उदाहरण के लिए, एक खोज इंजन के लिए जो 1,000,000 प्रलेखो में से 30 परिणाम (पुनर्प्राप्त प्रलेख) लौटाता है, पीपीसीआर 0.003% है।<math display="block">\text{Predicted positive condition rate}=\frac{TP+FP}{TP+FP+TN+FN} \, </math>सैटो और रेहम्समीयर के अनुसार, असंतुलित डेटा पर बाइनरी क्लासिफायर का मूल्यांकन करते समय सटीक-याद प्लॉट आरओसी प्लॉट की तुलना में अधिक जानकारीपूर्ण होते हैं। ऐसे परिदृश्यों में, वर्गीकरण प्रदर्शन की विश्वसनीयता के बारे में निष्कर्ष के संबंध में आरओसी प्लॉट दिखने में भ्रामक हो सकते हैं।<ref>{{Cite journal|last1=Saito|first1=Takaya|last2=Rehmsmeier|first2=Marc|date=2015-03-04|editor-last=Brock|editor-first=Guy|title=असंतुलित डेटासेट पर बाइनरी क्लासिफायर का मूल्यांकन करते समय प्रेसिजन-रिकॉल प्लॉट आरओसी प्लॉट की तुलना में अधिक जानकारीपूर्ण है|journal=PLOS ONE|language=en|volume=10|issue=3|pages=e0118432|doi=10.1371/journal.pone.0118432|issn=1932-6203|pmc=4349800|pmid=25738806 |doi-access=free|bibcode=2015PLoSO..1018432S}}
*{{cite web |author=Suzanne Ekelund |date=March 2017 |title=Precision-recall curves – what are they and how are they used? |website=Acute Care Testing |url=https://acutecaretesting.org/en/articles/precision-recall-curves-what-are-they-and-how-are-they-used}}</ref>
उपरोक्त दृष्टिकोणों से भिन्न, यदि भ्रम मैट्रिक्स तत्वों को भारित करके असंतुलन स्केलिंग को सीधे लागू किया जाता है, तो असंतुलित डेटासेट के मामले में भी मानक मेट्रिक्स परिभाषाएँ अभी भी लागू होती हैं।<ref>{{cite journal |last1=Tripicchio |first1=Paolo |last2=Camacho-Gonzalez |first2=Gerardo |last3=D'Avella |first3=Salvatore |title=Welding defect detection: coping with artifacts in the production line |journal=The International Journal of Advanced Manufacturing Technology |date=2020 |volume=111 |issue=5 |pages=1659–1669 |doi=10.1007/s00170-020-06146-4 |s2cid=225136860 |url=https://link.springer.com/article/10.1007/s00170-020-06146-4}}</ref> वेटिंग प्रक्रिया भ्रम मैट्रिक्स तत्वों को प्रत्येक माना वर्ग के समर्थन सेट से संबंधित करती है।

== संभाव्य व्याख्या ==

कोई भी सटीकता की व्याख्या कर सकता है और अनुपात के रूप में नहीं बल्कि संभावनाओं के अनुमान के रूप में याद कर सकता है:<ref>Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, [http://cs-people.bu.edu/fcakir/papers/fastap_cvpr2019.pdf ''Deep Metric Learning to Rank''], In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.</ref>
* सटीकता अनुमानित संभावना है कि पुनर्प्राप्त प्रलेखो के पूल से यादृच्छिक रूप से चयनित प्रलेख प्रासंगिक है।
* याद अनुमानित संभावना है कि प्रासंगिक दस्तावेजों के पूल से बेतरतीब ढंग से चुने गए प्रलेख को पुनः प्राप्त किया जाता है।

एक और व्याख्या यह है कि लिंक प्रासंगिक लिंक की औसत संभावना है और याद कई संबंध पर औसत पूर्ण लिंक की औसत अनुमान है।

== एफ-माप ==
{{main article|F1 score}}
एक उपाय जो सटीक और याद को जोड़ती है, वह सटीक और याद का हार्मोनिक मतलब है, पारंपरिक एफ-माप या संतुलित एफ-स्कोर:<math display="block">F = 2 \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{ \mathrm{precision} + \mathrm{recall}}</math>जब वे करीब होते हैं तो यह माप लगभग दो का औसत होता है, और अधिक सामान्यतः हार्मोनिक माध्य होता है, जो दो संख्याओं के मामले में अंकगणितीय माध्य से विभाजित ज्यामितीय माध्य के वर्ग के साथ मेल खाता है। मूल्यांकन मीट्रिक के रूप में पूर्वाग्रह के कारण विशेष परिस्थितियों में एफ-स्कोर की आलोचना के कई कारण हो सकते हैं।<ref name="Powers2011" />इसे के नाम से भी जाना जाता है <math>F_1</math> उपाय, क्योंकि याद और सटीक समान रूप से भारित होते हैं।


यह जनरल का एक विशेष मामला है <math>F_\beta</math> उपाय (गैर-नकारात्मक वास्तविक मूल्यों के लिए<math>\beta</math>):<math display="block">F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall} }{ \beta^2 \cdot \mathrm{precision} + \mathrm{recall}}</math>दो अन्य सामान्यतः उपयोग किए जाते हैं <math>F</math> उपाय हैं <math>F_2</math> माप, जो वजन सटीकता से अधिक याद करते हैं, और <math>F_{0.5}</math> उपाय, जो याद की तुलना में सटीकता पर अधिक जोर देता है।


एफ-माप वैन रिज्सबर्गेन (1979) द्वारा प्राप्त किया गया था जिससे कि <math>F_\beta</math> "एक उपयोगकर्ता के संबंध में पुनर्प्राप्ति की प्रभावशीलता को मापता है जो संलग्न करता है <math>\beta</math> सटीकता के रूप में बार-बार याद करने का महत्व" है। यह वैन रिज्सबर्गेन के प्रभावशीलता माप पर आधारित है <math>E_{\alpha} = 1 - \frac{1}{\frac{\alpha}{P} + \frac{1-\alpha}{R}}</math>, दूसरा शब्द वजन के साथ सटीकता और याद का भारित हार्मोनिक माध्य है <math>(\alpha, 1-\alpha)</math>. उनका सम्बन्ध है <math>F_\beta = 1 - E_{\alpha}</math> कहाँ <math>\alpha=\frac{1}{1 + \beta^2}</math>.

== लक्ष्यों के रूप में सीमाएं ==
सूचना पुनर्प्राप्ति प्रणाली के प्रदर्शन मीट्रिक के लिए अन्य पैरामीटर और रणनीतियाँ हैं, जैसे कि [[आरओसी वक्र]] (एयूसी) के तहत क्षेत्र।<ref>Zygmunt Zając. What you wanted to know about AUC.  http://fastml.com/what-you-wanted-to-know-about-auc/</ref>
== यह भी देखें ==
* [[अनिश्चितता गुणांक]], जिसे प्रवीणता भी कहा जाता है
* संवेदनशीलता और विशिष्टता
* असमंजस का जाल
{{Machine learning evaluation metrics}}

== संदर्भ ==
{{Reflist}}
{{refbegin}}
* Baeza-Yates, Ricardo; Ribeiro-Neto, Berthier (1999). ''Modern Information Retrieval''. New York, NY: ACM Press, Addison-Wesley, Seiten 75 ff. {{ISBN|0-201-39829-X}}
* Hjørland, Birger (2010); ''The foundation of the concept of relevance'', Journal of the American Society for Information Science and Technology, 61(2), 217-237
* [[John Makhoul|Makhoul, John]]; Kubala, Francis; Schwartz, Richard; and Weischedel, Ralph (1999); [http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.27.4637 ''Performance measures for information extraction''], in ''Proceedings of DARPA Broadcast News Workshop, Herndon, VA, February 1999''
* van Rijsbergen, Cornelis Joost "Keith" (1979); ''Information Retrieval'', London, GB; Boston, MA: Butterworth, 2nd Edition, {{ISBN|0-408-70929-4}}
{{refend}}


== बाहरी संबंध ==
* [http://www.dcs.gla.ac.uk/Keith/Preface.html सूचना पुनर्प्राप्ति - सी.जे. वैन रिज्सबर्गेन 1979]
* [http://www.text-analytics101.com/2014/10/computing-precision-and-recall-for.html मल्टी-क्लास क्लासिफिकेशन प्रॉब्लम के लिए कंप्यूटिंग सटीक और याद]
[[Category: सूचना पुनर्प्राप्ति मूल्यांकन]] [[Category: सूचना विज्ञान]] [[Category: बायोइनफॉरमैटिक्स]] 

[[de:Beurteilung eines Klassifikators#Anwendung im Information Retrieval]]



[[Category: Machine Translated Page]]
[[Category:Created On 21/03/2023]]