भ्रम मैट्रिक्स

From Vigyanwiki
Terminology and derivations
from a confusion matrix
condition positive (P)
the number of real positive cases in the data
condition negative (N)
the number of real negative cases in the data

true positive (TP)
A test result that correctly indicates the presence of a condition or characteristic
true negative (TN)
A test result that correctly indicates the absence of a condition or characteristic
false positive (FP)
A test result which wrongly indicates that a particular condition or attribute is present
false negative (FN)
A test result which wrongly indicates that a particular condition or attribute is absent

sensitivity, recall, hit rate, or true positive rate (TPR)
specificity, selectivity or true negative rate (TNR)
precision or positive predictive value (PPV)
negative predictive value (NPV)
miss rate or false negative rate (FNR)
fall-out or false positive rate (FPR)
false discovery rate (FDR)
false omission rate (FOR)
Positive likelihood ratio (LR+)
Negative likelihood ratio (LR-)
prevalence threshold (PT)
threat score (TS) or critical success index (CSI)

Prevalence
accuracy (ACC)
balanced accuracy (BA)
F1 score
is the harmonic mean of precision and sensitivity:
phi coefficient (φ or rφ) or Matthews correlation coefficient (MCC)
Fowlkes–Mallows index (FM)
informedness or bookmaker informedness (BM)
markedness (MK) or deltaP (Δp)
Diagnostic odds ratio (DOR)

Sources: Fawcett (2006),[1] Piryonesi and El-Diraby (2020),[2] Powers (2011),[3] Ting (2011),[4] CAWCR,[5] D. Chicco & G. Jurman (2020, 2021, 2023),[6][7][8] Tharwat (2018).[9] Balayla (2020)[10]

यंत्र अधिगम के क्षेत्र में और विशेष रूप से सांख्यिकीय वर्गीकरण की समस्या में, एक भ्रम मैट्रिक्स, जिसे त्रुटि मैट्रिक्स के रूप में भी जाना जाता है,[11] एक विशिष्ट तालिका (सूचना) लेआउट है जो एक एल्गोरिथ्म के प्रदर्शन के दृश्य की अनुमति देता है, सामान्यतः एक पर्यवेक्षित शिक्षण; बिना पर्यवेक्षित शिक्षण में इसे सामान्यतः मिलान मैट्रिक्स कहा जाता है।

मैट्रिक्स (गणित) की प्रत्येक पंक्ति एक वास्तविक वर्ग में उदाहरणों का प्रतिनिधित्व करती है जबकि प्रत्येक कॉलम एक अनुमानित वर्ग में उदाहरणों का प्रतिनिधित्व करता है, या इसके विपरीत - दोनों प्रकार साहित्य में पाए जाते हैं।[12] नाम इस तथ्य से उपजा है कि इससे यह देखना आसान हो जाता है कि क्या सिस्टम दो वर्गों को भ्रमित कर रहा है (यानी सामान्यतः एक को दूसरे के रूप में गलत लेबल करना)।

यह एक विशेष प्रकार की आकस्मिकता तालिका है, जिसमें दो आयाम ("वास्तविक"' और ''अनुमानित'') हैं, और दोनों आयामों में "वर्गों'' के समान सेट हैं (आयाम और वर्ग का प्रत्येक संयोजन आकस्मिकता तालिका में एक चर है)।

उदाहरण

12 व्यक्तियों का एक नमूना दिया गया है, जिनमें से 8 को कैंसर का निदान किया गया है और 4 जो कैंसर-मुक्त हैं, जहां कैंसर वाले व्यक्ति वर्ग 1 (पॉजिटिव) और गैर-कैंसर वाले व्यक्ति वर्ग 0 (ऋणात्मक) से संबंधित हैं, हम यह प्रदर्शित कर सकते हैं डेटा इस प्रकार है:

व्यक्तिगत संख्या 1 2 3 4 5 6 7 8 9 10 11 12
वास्तविक वर्गीकरण 1 1 1 1 1 1 1 1 0 0 0 0

मान लें कि हमारे पास एक क्लासिफायरियर है जो किसी तरह से कैंसर वाले और बिना कैंसर वाले व्यक्तियों के बीच अंतर करता है, हम 12 व्यक्तियों को ले सकते हैं और उन्हें क्लासिफायरियर के माध्यम से चला सकते हैं। इसके बाद क्लासिफायर 9 सटीक भविष्यवाणियां करता है और 3 को छोड़ देता है: कैंसर से पीड़ित 2 व्यक्तियों को कैंसर-मुक्त होने की गलत भविष्यवाणी की गई है (नमूना 1 और 2), और बिना कैंसर वाले 1 व्यक्ति को कैंसर होने की गलत भविष्यवाणी की गई है (नमूना 9)।

व्यक्तिगत संख्या 1 2 3 4 5 6 7 8 9 10 11 12
वास्तविक वर्गीकरण 1 1 1 1 1 1 1 1 0 0 0 0
अनुमानित वर्गीकरण 0 0 1 1 1 1 1 1 1 0 0 0

ध्यान दें, कि यदि हम वास्तविक वर्गीकरण सेट की तुलना अनुमानित वर्गीकरण सेट से करते हैं, तो 4 अलग-अलग परिणाम होते हैं जिनका परिणाम किसी विशेष कॉलम में हो सकता है। एक, यदि वास्तविक वर्गीकरण घनात्मक है और अनुमानित वर्गीकरण घनात्मक (1,1) है, तो इसे वास्तविक घनात्मक परिणाम कहा जाता है क्योंकि घनात्मक नमूने को वर्गीकरणकर्ता द्वारा सही ढंग से पहचाना गया था। दो, यदि वास्तविक वर्गीकरण घनात्मक है और अनुमानित वर्गीकरण ऋणात्मक (1,0) है, तो इसे गलत ऋणात्मक परिणाम कहा जाता है क्योंकि घनात्मक नमूने को वर्गीकरणकर्ता द्वारा गलत तरीके से ऋणात्मक के रूप में पहचाना जाता है। तीसरा, यदि वास्तविक वर्गीकरण ऋणात्मक है और अनुमानित वर्गीकरण घनात्मक (0,1) है, तो इसे गलत घनात्मक परिणाम कहा जाता है क्योंकि वर्गीकरणकर्ता द्वारा ऋणात्मक नमूने को गलत तरीके से घनात्मक के रूप में पहचाना जाता है। चौथा, यदि वास्तविक वर्गीकरण ऋणात्मक है और अनुमानित वर्गीकरण ऋणात्मक (0,0) है, तो इसे वास्तविक ऋणात्मक परिणाम कहा जाता है क्योंकि ऋणात्मक नमूना वर्गीकरणकर्ता द्वारा सही ढंग से पहचाना जाता है।

फिर हम वास्तविक और अनुमानित वर्गीकरणों के बीच तुलना कर सकते हैं और इस जानकारी को तालिका में जोड़ सकते हैं, जिससे सही परिणाम हरे रंग में दिखाई देंगे ताकि वे अधिक आसानी से पहचाने जा सकें।

व्यक्तिगत संख्या 1 2 3 4 5 6 7 8 9 10 11 12
वास्तविक वर्गीकरण 1 1 1 1 1 1 1 1 0 0 0 0
अनुमानित वर्गीकरण 0 0 1 1 1 1 1 1 1 0 0 0
Result FN FN TP TP TP TP TP TP FP TN TN TN

किसी भी बाइनरी भ्रम मैट्रिक्स के लिए टेम्पलेट घनात्मक और ऋणात्मक वर्गीकरण के साथ ऊपर चर्चा किए गए चार प्रकार के परिणामों (सच्चे घनात्मक, गलत ऋणात्मक, गलत घनात्मक और सच्चे ऋणात्मक) का उपयोग करता है। चार परिणामों को 2×2 भ्रम मैट्रिक्स में निम्नानुसार तैयार किया जा सकता है:

Predicted condition
Total population
= P + N
Positive (PP) Negative (PN)
Actual condition
Positive (P) True positive (TP)
False negative (FN)
Negative (N) False positive (FP)
True negative (TN)
Sources: [13][14][15][16][17][18][19][20]

डेटा को आसानी से अलग करने के लिए, उपरोक्त तीन डेटा तालिकाओं के रंग सम्मेलन को इस भ्रम मैट्रिक्स से मेल खाने के लिए चुना गया था।

अब, हम बस प्रत्येक प्रकार के परिणाम को जोड़ सकते हैं, टेम्पलेट में प्रतिस्थापित कर सकते हैं, और एक भ्रम मैट्रिक्स बना सकते हैं जो क्लासिफायरियर के परीक्षण के परिणामों को संक्षेप में सारांशित करेगा:

Predicted condition
Total

8 + 4 = 12

Cancer
7
Non-cancer
5
Actual condition
Cancer
8
6 2
Non-cancer
4
1 3

इस भ्रम मैट्रिक्स में, कैंसर वाले 8 नमूनों में से, सिस्टम ने निर्णय लिया कि 2 कैंसर-मुक्त थे, और बिना कैंसर वाले 4 नमूनों में से, यह भविष्यवाणी की गई कि 1 में कैंसर था। सभी सही भविष्यवाणियाँ तालिका के विकर्ण (हरे रंग में हाइलाइट) में स्थित हैं, इसलिए भविष्यवाणी त्रुटियों के लिए तालिका का निरीक्षण करना आसान है, क्योंकि विकर्ण के बाहर के मान उनका प्रतिनिधित्व करेंगे। भ्रम मैट्रिक्स की 2 पंक्तियों को जोड़कर, मूल डेटासेट में घनात्मक (पी) और ऋणात्मक (एन) नमूनों की कुल संख्या भी निकाली जा सकती है, यानी। और .

भ्रम की तालिका

भविष्य कहनेवाला विश्लेषण में, भ्रम की एक तालिका (कभी-कभी भ्रम मैट्रिक्स भी कहा जाता है) दो पंक्तियों और दो स्तंभों वाली एक तालिका होती है जो सच्ची घनात्मक, गलत ऋणात्मक, गलत घनात्मक की संख्या की रिपोर्ट करती है। , और सच्चे ऋणात्मक। यह केवल सही वर्गीकरण (सटीकता) के अनुपात को देखने की तुलना में अधिक विस्तृत विश्लेषण की अनुमति देता है। यदि डेटा सेट असंतुलित है तो सटीकता भ्रामक परिणाम देगी; अर्थात्, जब विभिन्न वर्गों में प्रेक्षणों की संख्या बहुत भिन्न होती है।

उदाहरण के लिए, यदि डेटा में 95 कैंसर नमूने और केवल 5 गैर-कैंसर नमूने थे, तो एक विशेष वर्गीकरणकर्ता सभी टिप्पणियों को कैंसर होने के रूप में वर्गीकृत कर सकता है। समग्र सटीकता 95% होगी, लेकिन अधिक विस्तार से क्लासिफायरियर में कैंसर वर्ग के लिए 100% मान्यता दर (संवेदनशीलता (परीक्षण)) होगी लेकिन गैर-कैंसर वर्ग के लिए 0% मान्यता दर होगी। ऐसे मामलों में F1 स्कोर और भी अधिक अविश्वसनीय है, और यहां 97.4% से अधिक का परिणाम मिलेगा, जबकि सूचना इस तरह के पूर्वाग्रह को दूर करती है और किसी भी प्रकार के अनुमान के लिए एक सूचित निर्णय की संभावना के रूप में 0 उत्पन्न करती है (यहां हमेशा कैंसर का अनुमान लगाया जाता है)।

डेविड चिक्को और ग्यूसेप जर्मन के अनुसार, भ्रम मैट्रिक्स का मूल्यांकन करने के लिए सबसे जानकारीपूर्ण मीट्रिक मैथ्यू सहसंबंध गुणांक है|मैथ्यू सहसंबंध गुणांक (एमसीसी)।[21] अन्य मेट्रिक्स को भ्रम मैट्रिक्स में शामिल किया जा सकता है, उनमें से प्रत्येक का अपना महत्व और उपयोग होता है।

Predicted condition Sources: [22][23][24][25][26][27][28][29][30]
Total population
= P + N
Positive (PP) Negative (PN) Informedness, bookmaker informedness (BM)
= TPR + TNR − 1
Prevalence threshold (PT)
=
Actual condition
Positive (P) True positive (TP),
hit
False negative (FN),
type II error, miss,
underestimation
True positive rate (TPR), recall, sensitivity (SEN), probability of detection, hit rate, power
= TP/P = 1 − FNR
False negative rate (FNR),
miss rate
= FN/P = 1 − TPR
Negative (N) False positive (FP),
type I error, false alarm,
overestimation
True negative (TN),
correct rejection
False positive rate (FPR),
probability of false alarm, [[evaluation measures (information retrieval)#Fall-out|fall-out]]
= FP/N = 1 − TNR
True negative rate (TNR),
specificity (SPC), selectivity
= TN/N = 1 − FPR
Prevalence
= P/P + N
Positive predictive value (PPV), precision
= TP/PP = 1 − FDR
False omission rate (FOR)
= FN/PN = 1 − NPV
Positive likelihood ratio (LR+)
= TPR/FPR
Negative likelihood ratio (LR−)
= FNR/TNR
Accuracy (ACC) = TP + TN/P + N False discovery rate (FDR)
= FP/PP = 1 − PPV
Negative predictive value (NPV) = TN/PN = 1 − FOR Markedness (MK), deltaP (Δp)
= PPV + NPV − 1
[[Diagnostic odds ratio|Diagnostic odds ratio]] (DOR) = LR+/LR−
Balanced accuracy (BA) = TPR + TNR/2 F1 score
= 2 PPV × TPR/PPV + TPR = 2 TP/2 TP + FP + FN
Fowlkes–Mallows index (FM) = Matthews correlation coefficient (MCC)
=
Threat score (TS), critical success index (CSI), Jaccard index = TP/TP + FN + FP

दो से अधिक श्रेणियों के साथ भ्रम की स्थिति

भ्रम मैट्रिक्स बाइनरी वर्गीकरण तक ही सीमित नहीं है और इसका उपयोग मल्टी-क्लास क्लासिफायर में भी किया जा सकता है।[31] ऊपर चर्चा की गई भ्रम की स्थिति में केवल दो स्थितियाँ हैं: घनात्मक और ऋणात्मक। उदाहरण के लिए, नीचे दी गई तालिका दो वक्ताओं के बीच व्हिसल्ड_लैंग्वेज#तकनीकों के संचार का सारांश प्रस्तुत करती है, स्पष्टता के लिए शून्य मान छोड़े गए हैं।[32]

Perceived
vowel
Vowel
produced
i e a o u
i 15 1
e 1 1
a 79 5
o 4 15 3
u 2 2

यह भी देखें

संदर्भ

  1. Fawcett, Tom (2006). "An Introduction to ROC Analysis" (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010.
  2. Piryonesi S. Madeh; El-Diraby Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems. 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512.
  3. Powers, David M. W. (2011). "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63.
  4. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
  5. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
  6. Chicco D.; Jurman G. (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
  7. Chicco D.; Toetsch N.; Jurman G. (February 2021). "The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation". BioData Mining. 14 (13): 1-22. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
  8. Chicco D.; Jurman G. (2023). "The Matthews correlation coefficient (MCC) should replace the ROC AUC as the standard metric for assessing binary classification". BioData Mining. 16 (1). doi:10.1186/s13040-023-00322-4. PMC 9938573.
  9. Tharwat A. (August 2018). "Classification assessment methods". Applied Computing and Informatics. doi:10.1016/j.aci.2018.08.003.
  10. Balayla, Jacques (2020). "Prevalence threshold (ϕe) and the geometry of screening curves". PLoS One. 15 (10). doi:10.1371/journal.pone.0240215.
  11. Stehman, Stephen V. (1997). "विषयगत वर्गीकरण सटीकता के उपायों का चयन और व्याख्या करना". Remote Sensing of Environment. 62 (1): 77–89. Bibcode:1997RSEnv..62...77S. doi:10.1016/S0034-4257(97)00083-7.
  12. Powers, David M. W. (2011). "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63. S2CID 55767944.
  13. Fawcett, Tom (2006). "An Introduction to ROC Analysis" (PDF). Pattern Recognition Letters. 27 (8): 861–874. Bibcode:2006PaReL..27..861F. doi:10.1016/j.patrec.2005.10.010. S2CID 2027090.
  14. Piryonesi S. Madeh; El-Diraby Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems. 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512. S2CID 213782055.
  15. Powers, David M. W. (2011). "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63.
  16. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
  17. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
  18. Chicco D, Jurman G (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
  19. Chicco D, Toetsch N, Jurman G (February 2021). "The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation". BioData Mining. 14 (13): 13. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
  20. Tharwat A. (August 2018). "Classification assessment methods". Applied Computing and Informatics. 17: 168–192. doi:10.1016/j.aci.2018.08.003.
  21. Chicco D., Jurman G. (January 2020). "एफ1 स्कोर की तुलना में मैथ्यूज सहसंबंध गुणांक (एमसीसी) के फायदे और बाइनरी वर्गीकरण मूल्यांकन में सटीकता". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.{{cite journal}}: CS1 maint: uses authors parameter (link)
  22. Balayla, Jacques (2020). "Prevalence threshold (ϕe) and the geometry of screening curves". PLoS One. 15 (10). doi:10.1371/journal.pone.0240215.
  23. Fawcett, Tom (2006). "An Introduction to ROC Analysis" (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010.
  24. Piryonesi S. Madeh; El-Diraby Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems. 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512.
  25. Powers, David M. W. (2011). "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63.
  26. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
  27. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
  28. Chicco D, Jurman G (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
  29. Chicco D, Toetsch N, Jurman G (February 2021). "The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation". BioData Mining. 14 (13): 1-22. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
  30. Tharwat A. (August 2018). "Classification assessment methods". Applied Computing and Informatics. doi:10.1016/j.aci.2018.08.003.
  31. Piryonesi S. Madeh; El-Diraby Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems. 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512. S2CID 213782055.
  32. Rialland, Annie (August 2005). "सीटी बजाने वाली भाषाओं के ध्वन्यात्मक और ध्वन्यात्मक पहलू". Phonology. 22 (2): 237–271. CiteSeerX 10.1.1.484.4384. doi:10.1017/S0952675705000552. S2CID 18615779.