एफ-स्कोर
द्विआधारी वर्गीकरण के सांख्यिकी विश्लेषण में, एफ-स्कोर या एफ-माप एक परीक्षण की शुद्धता_और_परिशुद्धता#इन_बाइनरी_वर्गीकरण का एक उपाय है। इसकी गणना परीक्षण की सटीकता (सूचना पुनर्प्राप्ति) और रिकॉल (सूचना पुनर्प्राप्ति) से की जाती है, जहां सटीक सही सकारात्मक परिणामों की संख्या को सभी सकारात्मक परिणामों की संख्या से विभाजित किया जाता है, जिसमें सही ढंग से पहचान नहीं की जाती है, और रिकॉल है सच्चे सकारात्मक परिणामों की संख्या को उन सभी नमूनों की संख्या से विभाजित किया जाता है जिन्हें सकारात्मक के रूप में पहचाना जाना चाहिए था। परिशुद्धता को सकारात्मक भविष्य कहनेवाला मूल्य के रूप में भी जाना जाता है, और डायग्नोस्टिक बाइनरी वर्गीकरण में रिकॉल को संवेदनशीलता_और_विशिष्टता के रूप में भी जाना जाता है।
एफ1स्कोर सटीक और रिकॉल का अनुकूल माध्य है। इस प्रकार यह सममित रूप से एक मीट्रिक में सटीक और रिकॉल दोनों का प्रतिनिधित्व करता है। अधिक सामान्य स्कोर अतिरिक्त भार लागू करता है, एक सटीकता का मूल्यांकन करता है या दूसरे से अधिक याद करता है।
एफ-स्कोर का उच्चतम संभव मान 1.0 है, जो सटीक सटीकता और रिकॉल का संकेत देता है, और न्यूनतम संभव मान 0 है, यदि सटीकता या रिकॉल शून्य है।
व्युत्पत्ति
माना जाता है कि एफ-माप का नाम वान रिज्सबर्गेन की किताब में एक अलग एफ फ़ंक्शन के नाम पर रखा गया था, जब चौथे संदेश समझ सम्मेलन (एमयूसी -4, 1992) में पेश किया गया था।[1]
परिभाषा
This section needs additional citations for verification. (December 2018) (Learn how and when to remove this template message) |
पारंपरिक एफ-माप या संतुलित एफ-स्कोर (एफ1 स्कोर) सुरीले माध्य # हार्मोनिक माध्य दो संख्याओं का सटीक और रिकॉल है:[2]
- .
एफβ स्कोर
एक अधिक सामान्य एफ स्कोर, , जो सकारात्मक वास्तविक कारक का उपयोग करता है , कहाँ ऐसा चुना जाता है कि रिकॉल पर विचार किया जाता है सटीकता जितना महत्वपूर्ण है, वह है:
- .
प्रकार I और प्रकार II त्रुटियों के संदर्भ में यह बन जाता है:
- .
के लिए आमतौर पर उपयोग किए जाने वाले दो मान 2 हैं, जिनका वजन सटीक से अधिक रिकॉल है, और 0.5 है, जिनका वजन सटीक से कम रिकॉल है।
एफ-माप इसलिए निकाला गया था संलग्न करने वाले उपयोगकर्ता के संबंध में पुनर्प्राप्ति की प्रभावशीलता को मापता है बार-बार याद करने का उतना ही महत्व जितना सटीकता से।[3] यह C. J. van Rijsbergen के प्रभावशीलता माप पर आधारित है
- .
उनका सम्बन्ध है कहाँ .
नैदानिक परीक्षण
यह बाइनरी वर्गीकरण के क्षेत्र से संबंधित है जहां रिकॉल को अक्सर संवेदनशीलता कहा जाता है।
Predicted condition | Sources: [4][5][6][7][8][9][10][11][12] | ||||
Total population = P + N |
Positive (PP) | Negative (PN) | Informedness, bookmaker informedness (BM) = TPR + TNR − 1 |
Prevalence threshold (PT) = | |
Positive (P) | True positive (TP), hit |
False negative (FN), type II error, miss, underestimation |
True positive rate (TPR), recall, sensitivity (SEN), probability of detection, hit rate, power = TP/P = 1 − FNR |
False negative rate (FNR), miss rate = FN/P = 1 − TPR | |
Negative (N) | False positive (FP), type I error, false alarm, overestimation |
True negative (TN), correct rejection |
False positive rate (FPR), probability of false alarm, [[evaluation measures (information retrieval)#Fall-out|fall-out]] = FP/N = 1 − TNR |
True negative rate (TNR), specificity (SPC), selectivity = TN/N = 1 − FPR | |
Prevalence = P/P + N |
Positive predictive value (PPV), precision = TP/PP = 1 − FDR |
False omission rate (FOR) = FN/PN = 1 − NPV |
Positive likelihood ratio (LR+) = TPR/FPR |
Negative likelihood ratio (LR−) = FNR/TNR | |
Accuracy (ACC) = TP + TN/P + N | False discovery rate (FDR) = FP/PP = 1 − PPV |
Negative predictive value (NPV) = TN/PN = 1 − FOR | Markedness (MK), deltaP (Δp) = PPV + NPV − 1 |
[[Diagnostic odds ratio|Diagnostic odds ratio]] (DOR) = LR+/LR− | |
Balanced accuracy (BA) = TPR + TNR/2 | F1 score = 2 PPV × TPR/PPV + TPR = 2 TP/2 TP + FP + FN |
Fowlkes–Mallows index (FM) = | Matthews correlation coefficient (MCC) = |
Threat score (TS), critical success index (CSI), Jaccard index = TP/TP + FN + FP |
वर्ग असंतुलन पर एफ-स्कोर की निर्भरता
प्रेसिजन-रिकॉल वक्र, और इस प्रकार स्कोर, स्पष्ट रूप से अनुपात पर निर्भर करता है
सकारात्मक से नकारात्मक परीक्षण मामलों की।[13]
इसका मतलब है कि की तुलना अलग-अलग वर्ग अनुपात के साथ अलग-अलग समस्याओं में एफ-स्कोर है समस्याग्रस्त। इस मुद्दे को हल करने का एक तरीका (उदाहरण देखें, सिब्लिनी एट अल, 2020[14] ) एक मानक वर्ग अनुपात का उपयोग करना है ऐसी तुलना करते समय।
अनुप्रयोग
वेब खोज, दस्तावेज़ वर्गीकरण और क्वेरी वर्गीकरण प्रदर्शन को मापने के लिए अक्सर एफ-स्कोर का उपयोग सूचना पुनर्प्राप्ति के क्षेत्र में किया जाता है।[15] पहले के कार्य मुख्य रूप से F पर केंद्रित थे1 स्कोर, लेकिन बड़े पैमाने पर खोज इंजनों के प्रसार के साथ, प्रदर्शन लक्ष्य या तो सटीक या रिकॉल पर अधिक जोर देने के लिए बदल गए[16] इसलिए व्यापक प्रयोग में देखा जाता है।
यंत्र अधिगम में भी एफ-स्कोर का उपयोग किया जाता है।[17] हालांकि, एफ-उपाय वास्तविक नकारात्मकताओं को ध्यान में नहीं रखते हैं, इसलिए बाइनरी क्लासिफायरियर के प्रदर्शन का आकलन करने के लिए मैथ्यूज सहसंबंध गुणांक, सूचना या कोहेन के कप्पा जैसे उपायों को प्राथमिकता दी जा सकती है।[18] प्राकृतिक भाषा प्रसंस्करण साहित्य में एफ-स्कोर का व्यापक रूप से उपयोग किया गया है,[19] जैसे नामित इकाई पहचान और शब्द विभाजन के मूल्यांकन में।
गुण
एफ1 स्कोर पुनर्प्राप्त वस्तुओं के सेट और प्रासंगिक वस्तुओं के सेट का पासा गुणांक है।[20]
आलोचना
डेविड हैंड (सांख्यिकीविद) और अन्य लोग एफ के व्यापक उपयोग की आलोचना करते हैं1 स्कोर क्योंकि यह सटीक और रिकॉल को समान महत्व देता है। व्यवहार में, विभिन्न प्रकार के गलत वर्गीकरणों की अलग-अलग लागतें होती हैं। दूसरे शब्दों में, सटीक और रिकॉल का सापेक्ष महत्व समस्या का एक पहलू है।[21] डेविड चिक्को और ग्यूसेप जुर्मन के अनुसार, एफ1 बाइनरी मूल्यांकन वर्गीकरण में मैथ्यूज सहसंबंध गुणांक|मैथ्यूज सहसंबंध गुणांक (एमसीसी) की तुलना में स्कोर कम सच्चा और सूचनात्मक है।[22] डेविड पॉवर्स ने बताया है कि एफ1 ट्रू नेगेटिव्स को अनदेखा करता है और इस तरह असंतुलित वर्गों के लिए भ्रामक है, जबकि कप्पा और सहसंबंध के उपाय सममित हैं और भविष्यवाणी की दोनों दिशाओं का आकलन करते हैं - क्लासिफायर ट्रू क्लास की भविष्यवाणी करता है और ट्रू क्लास क्लासिफायर भविष्यवाणी की भविष्यवाणी करता है, अलग-अलग मल्टीक्लास उपायों का प्रस्ताव करता है। दो दिशाएँ, यह देखते हुए कि उनका ज्यामितीय माध्य सहसंबंध है।[23] एफ की आलोचना का एक अन्य स्रोत1, इसकी समरूपता की कमी है। इसका अर्थ है कि जब डेटासेट लेबलिंग बदली जाती है तो इसका मान बदल सकता है - सकारात्मक नमूनों को नकारात्मक नाम दिया जाता है और इसके विपरीत। यह आलोचना पी P4-मीट्रिक परिभाषा से मिलती है, जिसे कभी-कभी एफ के सममित विस्तार के रूप में दर्शाया जाता है1.[24]
फाउलकेस-मैलो इंडेक्स से अंतर
जबकि एफ-माप रिकॉल और सटीक का हार्मोनिक माध्य है, फाउलकेस-मैलो इंडेक्स उनका ज्यामितीय माध्य है।[25]
बहु-श्रेणी वर्गीकरण का विस्तार
एफ-स्कोर का उपयोग दो से अधिक वर्गों (मल्टीक्लास वर्गीकरण) के साथ वर्गीकरण समस्याओं के मूल्यांकन के लिए भी किया जाता है। इस सेटअप में, माइक्रो-एवरेजिंग (वर्ग आवृत्ति द्वारा पक्षपाती) या मैक्रो-एवरेजिंग (सभी वर्गों को समान रूप से महत्वपूर्ण मानते हुए) द्वारा अंतिम स्कोर प्राप्त किया जाता है। मैक्रो-एवरेजिंग के लिए, आवेदकों द्वारा दो अलग-अलग फ़ार्मुलों का उपयोग किया गया है: एफ-स्कोर (अंकगणित) वर्ग-वार सटीक और रिकॉल साधन या वर्ग-वार एफ-स्कोर का अंकगणितीय माध्य, जहाँ बाद वाला अधिक वांछनीय गुण प्रदर्शित करता है।[26]
यह भी देखें
- ब्ल्यू
- असमंजस का जाल
- मूल्यांकन_ऑफ़_बाइनरी_क्लासिफायर#सिंगल_मेट्रिक्स
- उल्का
- एनआईएसटी (मीट्रिक)
- प्राप्तकर्ता परिचालन विशेषता
- रूज (मीट्रिक)
- अनिश्चितता गुणांक, उर्फ प्रवीणता
- शब्द त्रुटि दर
- खरगोश
संदर्भ
- ↑ Sasaki, Y. (2007). "The truth of the F-measure" (PDF).
- ↑ Aziz Taha, Abdel (2015). "Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool". BMC Medical Imaging. 15 (29): 1–28. doi:10.1186/s12880-015-0068-x. PMC 4533825. PMID 26263899.
- ↑ Van Rijsbergen, C. J. (1979). सूचना की पुनर्प्राप्ति (2nd ed.). Butterworth-Heinemann.
- ↑ Balayla, Jacques (2020). "Prevalence threshold (ϕe) and the geometry of screening curves". PLoS One. 15 (10). doi:10.1371/journal.pone.0240215.
- ↑ Fawcett, Tom (2006). "An Introduction to ROC Analysis" (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010.
- ↑ Piryonesi S. Madeh; El-Diraby Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems. 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512.
- ↑ Powers, David M. W. (2011). "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63.
- ↑ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
- ↑ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
- ↑ Chicco D, Jurman G (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
- ↑ Chicco D, Toetsch N, Jurman G (February 2021). "The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation". BioData Mining. 14 (13): 1-22. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
- ↑ Tharwat A. (August 2018). "Classification assessment methods". Applied Computing and Informatics. doi:10.1016/j.aci.2018.08.003.
- ↑ Brabec, Jan; Komárek, Tomáš; Franc, Vojtěch; Machlica, Lukáš (2020). "On model evaluation under non-constant class imbalance". International Conference on Computational Science. Springer. pp. 74–87. arXiv:2001.05571. doi:10.1007/978-3-030-50423-6_6.
- ↑ Siblini, W.; Fréry, J.; He-Guelton, L.; Oblé, F.; Wang, Y. Q. (2020). "Master your metrics with calibration". In M. Berthold; A. Feelders; G. Krempl (eds.). Advances in Intelligent Data Analysis XVIII. Springer. pp. 457–469. arXiv:1909.02827. doi:10.1007/978-3-030-44584-3_36.
- ↑ Beitzel., Steven M. (2006). वेब प्रश्नों को समझने और वर्गीकृत करने पर (Ph.D. thesis). IIT. CiteSeerX 10.1.1.127.634.
- ↑ X. Li; Y.-Y. Wang; A. Acero (July 2008). नियमित क्लिक ग्राफ़ से क्वेरी इंटेंट सीखना. Proceedings of the 31st SIGIR Conference. p. 339. doi:10.1145/1390334.1390393. ISBN 9781605581644. S2CID 8482989.
- ↑ See, e.g., the evaluation of the [1].
- ↑ Powers, David M. W (2015). "एफ-माप क्या नहीं मापता है". arXiv:1503.06410 [cs.IR].
- ↑ Derczynski, L. (2016). पूरकता, एफ-स्कोर और एनएलपी मूल्यांकन. Proceedings of the International Conference on Language Resources and Evaluation.
- ↑ Manning, Christopher (April 1, 2009). सूचना पुनर्प्राप्ति का एक परिचय (PDF). Exercise 8.7: Cambridge University Press. p. 200. Retrieved 18 July 2022.
{{cite book}}
: CS1 maint: location (link) - ↑ Hand, David. "रिकॉर्ड लिंकेज एल्गोरिदम के मूल्यांकन के लिए एफ-माप का उपयोग करने पर एक नोट - आयाम". app.dimensions.ai (in English). doi:10.1007/s11222-017-9746-6. hdl:10044/1/46235. S2CID 38782128. Retrieved 2018-12-08.
- ↑ Chicco D, Jurman G (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (6): 6. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
- ↑ Powers, David M W (2011). "Evaluation: From Precision, Recall and F-Score to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63. hdl:2328/27165.
- ↑ Sitarz, Mikolaj (2022). "F1 मीट्रिक का विस्तार, संभाव्य दृष्टिकोण". arXiv:2210.11997 [cs.LG].
- ↑ Tharwat A (August 2018). "Classification assessment methods". Applied Computing and Informatics. 17 (ahead-of-print): 168–192. doi:10.1016/j.aci.2018.08.003.
- ↑ J. Opitz; S. Burst (2019). "मैक्रो F1 और मैक्रो F1". arXiv:1911.03347 [stat.ML].