भ्रम मैट्रिक्स

Terminology and derivations
from a confusion matrix

condition positive (P) the number of real positive cases in the data condition negative (N) the number of real negative cases in the data true positive (TP) A test result that correctly indicates the presence of a condition or characteristic true negative (TN) A test result that correctly indicates the absence of a condition or characteristic false positive (FP) A test result which wrongly indicates that a particular condition or attribute is present false negative (FN) A test result which wrongly indicates that a particular condition or attribute is absent sensitivity, recall, hit rate, or true positive rate (TPR) $\mathrm {TPR} ={\frac {\mathrm {TP} }{\mathrm {P} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} }}=1-\mathrm {FNR}$ specificity, selectivity or true negative rate (TNR) $\mathrm {TNR} ={\frac {\mathrm {TN} }{\mathrm {N} }}={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FP} }}=1-\mathrm {FPR}$ precision or positive predictive value (PPV) $\mathrm {PPV} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}=1-\mathrm {FDR}$ negative predictive value (NPV) $\mathrm {NPV} ={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FN} }}=1-\mathrm {FOR}$ miss rate or false negative rate (FNR) $\mathrm {FNR} ={\frac {\mathrm {FN} }{\mathrm {P} }}={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TP} }}=1-\mathrm {TPR}$ fall-out or false positive rate (FPR) $\mathrm {FPR} ={\frac {\mathrm {FP} }{\mathrm {N} }}={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TN} }}=1-\mathrm {TNR}$ false discovery rate (FDR) $\mathrm {FDR} ={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TP} }}=1-\mathrm {PPV}$ false omission rate (FOR) $\mathrm {FOR} ={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TN} }}=1-\mathrm {NPV}$ Positive likelihood ratio (LR+) $\mathrm {LR+} ={\frac {\mathrm {TPR} }{\mathrm {FPR} }}$ Negative likelihood ratio (LR-) $\mathrm {LR-} ={\frac {\mathrm {FNR} }{\mathrm {TNR} }}$ prevalence threshold (PT) $\mathrm {PT} ={\frac {\sqrt {\mathrm {FPR} }}{{\sqrt {\mathrm {TPR} }}+{\sqrt {\mathrm {FPR} }}}}$ threat score (TS) or critical success index (CSI) $\mathrm {TS} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} +\mathrm {FP} }}$ Prevalence ${\frac {\mathrm {P} }{\mathrm {P} +\mathrm {N} }}$ accuracy (ACC) $\mathrm {ACC} ={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {P} +\mathrm {N} }}={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {TP} +\mathrm {TN} +\mathrm {FP} +\mathrm {FN} }}$ balanced accuracy (BA) $\mathrm {BA} ={\frac {TPR+TNR}{2}}$ F1 score is the harmonic mean of precision and sensitivity: $\mathrm {F} _{1}=2\times {\frac {\mathrm {PPV} \times \mathrm {TPR} }{\mathrm {PPV} +\mathrm {TPR} }}={\frac {2\mathrm {TP} }{2\mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}$ phi coefficient (φ or rφ) or Matthews correlation coefficient (MCC) $\mathrm {MCC} ={\frac {\mathrm {TP} \times \mathrm {TN} -\mathrm {FP} \times \mathrm {FN} }{\sqrt {(\mathrm {TP} +\mathrm {FP} )(\mathrm {TP} +\mathrm {FN} )(\mathrm {TN} +\mathrm {FP} )(\mathrm {TN} +\mathrm {FN} )}}}$ Fowlkes–Mallows index (FM) $\mathrm {FM} ={\sqrt {{\frac {TP}{TP+FP}}\times {\frac {TP}{TP+FN}}}}={\sqrt {PPV\times TPR}}$ informedness or bookmaker informedness (BM) $\mathrm {BM} =\mathrm {TPR} +\mathrm {TNR} -1$ markedness (MK) or deltaP (Δp) $\mathrm {MK} =\mathrm {PPV} +\mathrm {NPV} -1$ Diagnostic odds ratio (DOR) $\mathrm {DOR} ={\frac {\mathrm {LR+} }{\mathrm {LR-} }}$ Sources: Fawcett (2006), Piryonesi and El-Diraby (2020), Powers (2011), Ting (2011), CAWCR, D. Chicco & G. Jurman (2020, 2021, 2023), Tharwat (2018). Balayla (2020)

यंत्र अधिगम के क्षेत्र में और विशेष रूप से सांख्यिकीय वर्गीकरण की समस्या में, एक भ्रम मैट्रिक्स, जिसे त्रुटि मैट्रिक्स के रूप में भी जाना जाता है, एक विशिष्ट तालिका (सूचना) लेआउट है जो एक एल्गोरिथ्म के प्रदर्शन के दृश्य की अनुमति देता है, सामान्यतः एक पर्यवेक्षित शिक्षण; बिना पर्यवेक्षित शिक्षण में इसे सामान्यतः मिलान मैट्रिक्स कहा जाता है।

मैट्रिक्स (गणित) की प्रत्येक पंक्ति एक वास्तविक वर्ग में उदाहरणों का प्रतिनिधित्व करती है जबकि प्रत्येक कॉलम एक अनुमानित वर्ग में उदाहरणों का प्रतिनिधित्व करता है, या इसके विपरीत - दोनों प्रकार साहित्य में पाए जाते हैं। नाम इस तथ्य से उपजा है कि इससे यह देखना आसान हो जाता है कि क्या सिस्टम दो वर्गों को भ्रमित कर रहा है (यानी सामान्यतः एक को दूसरे के रूप में गलत लेबल करना)।

यह एक विशेष प्रकार की आकस्मिकता तालिका है, जिसमें दो आयाम ("वास्तविक"' और ''अनुमानित'') हैं, और दोनों आयामों में "वर्गों'' के समान सेट हैं (आयाम और वर्ग का प्रत्येक संयोजन आकस्मिकता तालिका में एक चर है)।

उदाहरण

12 व्यक्तियों का एक नमूना दिया गया है, जिनमें से 8 को कैंसर का निदान किया गया है और 4 जो कैंसर-मुक्त हैं, जहां कैंसर वाले व्यक्ति वर्ग 1 (पॉजिटिव) और गैर-कैंसर वाले व्यक्ति वर्ग 0 (ऋणात्मक) से संबंधित हैं, हम यह प्रदर्शित कर सकते हैं डेटा इस प्रकार है:

व्यक्तिगत संख्या	1	2	3	4	5	6	7	8	9	10	11	12
वास्तविक वर्गीकरण	1	1	1	1	1	1	1	1	0	0	0	0

मान लें कि हमारे पास एक क्लासिफायरियर है जो किसी तरह से कैंसर वाले और बिना कैंसर वाले व्यक्तियों के बीच अंतर करता है, हम 12 व्यक्तियों को ले सकते हैं और उन्हें क्लासिफायरियर के माध्यम से चला सकते हैं। इसके बाद क्लासिफायर 9 सटीक भविष्यवाणियां करता है और 3 को छोड़ देता है: कैंसर से पीड़ित 2 व्यक्तियों को कैंसर-मुक्त होने की गलत भविष्यवाणी की गई है (नमूना 1 और 2), और बिना कैंसर वाले 1 व्यक्ति को कैंसर होने की गलत भविष्यवाणी की गई है (नमूना 9)।

व्यक्तिगत संख्या	1	2	3	4	5	6	7	8	9	10	11	12
वास्तविक वर्गीकरण	1	1	1	1	1	1	1	1	0	0	0	0
अनुमानित वर्गीकरण	0	0	1	1	1	1	1	1	1	0	0	0

ध्यान दें, कि यदि हम वास्तविक वर्गीकरण सेट की तुलना अनुमानित वर्गीकरण सेट से करते हैं, तो 4 अलग-अलग परिणाम होते हैं जिनका परिणाम किसी विशेष कॉलम में हो सकता है। एक, यदि वास्तविक वर्गीकरण घनात्मक है और अनुमानित वर्गीकरण घनात्मक (1,1) है, तो इसे वास्तविक घनात्मक परिणाम कहा जाता है क्योंकि घनात्मक नमूने को वर्गीकरणकर्ता द्वारा सही ढंग से पहचाना गया था। दो, यदि वास्तविक वर्गीकरण घनात्मक है और अनुमानित वर्गीकरण ऋणात्मक (1,0) है, तो इसे गलत ऋणात्मक परिणाम कहा जाता है क्योंकि घनात्मक नमूने को वर्गीकरणकर्ता द्वारा गलत तरीके से ऋणात्मक के रूप में पहचाना जाता है। तीसरा, यदि वास्तविक वर्गीकरण ऋणात्मक है और अनुमानित वर्गीकरण घनात्मक (0,1) है, तो इसे गलत घनात्मक परिणाम कहा जाता है क्योंकि वर्गीकरणकर्ता द्वारा ऋणात्मक नमूने को गलत तरीके से घनात्मक के रूप में पहचाना जाता है। चौथा, यदि वास्तविक वर्गीकरण ऋणात्मक है और अनुमानित वर्गीकरण ऋणात्मक (0,0) है, तो इसे वास्तविक ऋणात्मक परिणाम कहा जाता है क्योंकि ऋणात्मक नमूना वर्गीकरणकर्ता द्वारा सही ढंग से पहचाना जाता है।

फिर हम वास्तविक और अनुमानित वर्गीकरणों के बीच तुलना कर सकते हैं और इस जानकारी को तालिका में जोड़ सकते हैं, जिससे सही परिणाम हरे रंग में दिखाई देंगे ताकि वे अधिक आसानी से पहचाने जा सकें।

व्यक्तिगत संख्या	1	2	3	4	5	6	7	8	9	10	11	12
वास्तविक वर्गीकरण	1	1	1	1	1	1	1	1	0	0	0	0
अनुमानित वर्गीकरण	0	0	1	1	1	1	1	1	1	0	0	0
Result	FN	FN	TP	TP	TP	TP	TP	TP	FP	TN	TN	TN

किसी भी बाइनरी भ्रम मैट्रिक्स के लिए टेम्पलेट घनात्मक और ऋणात्मक वर्गीकरण के साथ ऊपर चर्चा किए गए चार प्रकार के परिणामों (सच्चे घनात्मक, गलत ऋणात्मक, गलत घनात्मक और सच्चे ऋणात्मक) का उपयोग करता है। चार परिणामों को 2×2 भ्रम मैट्रिक्स में निम्नानुसार तैयार किया जा सकता है:

		Predicted condition
	Total population = P + N	Positive (PP)	Negative (PN)
Actual condition	Positive (P)	True positive (TP)	False negative (FN)
	Negative (N)	False positive (FP)	True negative (TN)
Sources:

डेटा को आसानी से अलग करने के लिए, उपरोक्त तीन डेटा तालिकाओं के रंग सम्मेलन को इस भ्रम मैट्रिक्स से मेल खाने के लिए चुना गया था।

अब, हम बस प्रत्येक प्रकार के परिणाम को जोड़ सकते हैं, टेम्पलेट में प्रतिस्थापित कर सकते हैं, और एक भ्रम मैट्रिक्स बना सकते हैं जो क्लासिफायरियर के परीक्षण के परिणामों को संक्षेप में सारांशित करेगा:

		Predicted condition
	Total 8 + 4 = 12	Cancer 7	Non-cancer 5
Actual condition	Cancer 8	6	2
	Non-cancer 4	1	3

इस भ्रम मैट्रिक्स में, कैंसर वाले 8 नमूनों में से, सिस्टम ने निर्णय लिया कि 2 कैंसर-मुक्त थे, और बिना कैंसर वाले 4 नमूनों में से, यह भविष्यवाणी की गई कि 1 में कैंसर था। सभी सही भविष्यवाणियाँ तालिका के विकर्ण (हरे रंग में हाइलाइट) में स्थित हैं, इसलिए भविष्यवाणी त्रुटियों के लिए तालिका का निरीक्षण करना आसान है, क्योंकि विकर्ण के बाहर के मान उनका प्रतिनिधित्व करेंगे। भ्रम मैट्रिक्स की 2 पंक्तियों को जोड़कर, मूल डेटासेट में घनात्मक (पी) और ऋणात्मक (एन) नमूनों की कुल संख्या भी निकाली जा सकती है, यानी। $P=TP+FN$ और $N=FP+TN$.

भ्रम की तालिका

भविष्य कहनेवाला विश्लेषण में, भ्रम की एक तालिका (कभी-कभी भ्रम मैट्रिक्स भी कहा जाता है) दो पंक्तियों और दो स्तंभों वाली एक तालिका होती है जो सच्ची घनात्मक, गलत ऋणात्मक, गलत घनात्मक की संख्या की रिपोर्ट करती है। , और सच्चे ऋणात्मक। यह केवल सही वर्गीकरण (सटीकता) के अनुपात को देखने की तुलना में अधिक विस्तृत विश्लेषण की अनुमति देता है। यदि डेटा सेट असंतुलित है तो सटीकता भ्रामक परिणाम देगी; अर्थात्, जब विभिन्न वर्गों में प्रेक्षणों की संख्या बहुत भिन्न होती है।

उदाहरण के लिए, यदि डेटा में 95 कैंसर नमूने और केवल 5 गैर-कैंसर नमूने थे, तो एक विशेष वर्गीकरणकर्ता सभी टिप्पणियों को कैंसर होने के रूप में वर्गीकृत कर सकता है। समग्र सटीकता 95% होगी, लेकिन अधिक विस्तार से क्लासिफायरियर में कैंसर वर्ग के लिए 100% मान्यता दर (संवेदनशीलता (परीक्षण)) होगी लेकिन गैर-कैंसर वर्ग के लिए 0% मान्यता दर होगी। ऐसे मामलों में F1 स्कोर और भी अधिक अविश्वसनीय है, और यहां 97.4% से अधिक का परिणाम मिलेगा, जबकि सूचना इस तरह के पूर्वाग्रह को दूर करती है और किसी भी प्रकार के अनुमान के लिए एक सूचित निर्णय की संभावना के रूप में 0 उत्पन्न करती है (यहां हमेशा कैंसर का अनुमान लगाया जाता है)।

डेविड चिक्को और ग्यूसेप जर्मन के अनुसार, भ्रम मैट्रिक्स का मूल्यांकन करने के लिए सबसे जानकारीपूर्ण मीट्रिक मैथ्यू सहसंबंध गुणांक है|मैथ्यू सहसंबंध गुणांक (एमसीसी)। अन्य मेट्रिक्स को भ्रम मैट्रिक्स में शामिल किया जा सकता है, उनमें से प्रत्येक का अपना महत्व और उपयोग होता है।

		Predicted condition		Sources:
	Total population = P + N	Positive (PP)	Negative (PN)	Informedness, bookmaker informedness (BM) = TPR + TNR − 1	Prevalence threshold (PT) =${\mathsf {\tfrac {{\sqrt {{\text{TPR}}\times {\text{FPR}}}}-{\text{FPR}}}{{\text{TPR}}-{\text{FPR}}}}}$
Actual condition	Positive (P)	True positive (TP), hit	False negative (FN), type II error, miss, underestimation	True positive rate (TPR), recall, sensitivity (SEN), probability of detection, hit rate, power = TP/P = 1 − FNR	False negative rate (FNR), miss rate = FN/P = 1 − TPR
	Negative (N)	False positive (FP), type I error, false alarm, overestimation	True negative (TN), correct rejection	False positive rate (FPR), probability of false alarm, [[evaluation measures (information retrieval)#Fall-out|fall-out]] = FP/N = 1 − TNR	True negative rate (TNR), specificity (SPC), selectivity = TN/N = 1 − FPR
	Prevalence = P/P + N	Positive predictive value (PPV), precision = TP/PP = 1 − FDR	False omission rate (FOR) = FN/PN = 1 − NPV	Positive likelihood ratio (LR+) = TPR/FPR	Negative likelihood ratio (LR−) = FNR/TNR
	Accuracy (ACC) = TP + TN/P + N	False discovery rate (FDR) = FP/PP = 1 − PPV	Negative predictive value (NPV) = TN/PN = 1 − FOR	Markedness (MK), deltaP (Δp) = PPV + NPV − 1	[[Diagnostic odds ratio|Diagnostic odds ratio]] (DOR) = LR+/LR−
	Balanced accuracy (BA) = TPR + TNR/2	F1 score = 2 PPV × TPR/PPV + TPR = 2 TP/2 TP + FP + FN	Fowlkes–Mallows index (FM) = $\scriptstyle {\mathsf {\sqrt {{\text{PPV}}\times {\text{TPR}}}}}$	Matthews correlation coefficient (MCC) =$\scriptstyle {\mathsf {\sqrt {{\text{TPR}}\times {\text{TNR}}\times {\text{PPV}}\times {\text{NPV}}}}}$$\scriptstyle -{\mathsf {\sqrt {{\text{FNR}}\times {\text{FPR}}\times {\text{FOR}}\times {\text{FDR}}}}}$	Threat score (TS), critical success index (CSI), Jaccard index = TP/TP + FN + FP

दो से अधिक श्रेणियों के साथ भ्रम की स्थिति

भ्रम मैट्रिक्स बाइनरी वर्गीकरण तक ही सीमित नहीं है और इसका उपयोग मल्टी-क्लास क्लासिफायर में भी किया जा सकता है। ऊपर चर्चा की गई भ्रम की स्थिति में केवल दो स्थितियाँ हैं: घनात्मक और ऋणात्मक। उदाहरण के लिए, नीचे दी गई तालिका दो वक्ताओं के बीच व्हिसल्ड_लैंग्वेज#तकनीकों के संचार का सारांश प्रस्तुत करती है, स्पष्टता के लिए शून्य मान छोड़े गए हैं।

Perceived vowel Vowel produced	i	e	a	o	u
i	15		1
e	1		1
a			79	5
o			4	15	3
u				2	2

यह भी देखें

• घनात्मक और ऋणात्मक पूर्वानुमानित मूल्य