यूडेन का जे स्टेटिस्टिक: Difference between revisions
m (Sugatha moved page यूडेन का जे आँकड़ा to यूडेन का जे स्टेटिस्टिक without leaving a redirect) |
No edit summary |
||
| Line 9: | Line 9: | ||
:<math>J = \frac{\text{true positives}}{\text{true positives}+\text{false negatives}}+\frac{\text{true negatives}}{\text{true negatives}+\text{false positives}}-1</math> | :<math>J = \frac{\text{true positives}}{\text{true positives}+\text{false negatives}}+\frac{\text{true negatives}}{\text{true negatives}+\text{false positives}}-1</math> | ||
इंडेक्स (सूचकांक) का सुझाव 1950 में डब्ल्यू.जे. यूडेन द्वारा दिया गया था<ref name="Youden1950">{{cite journal |first1=W.J. |last1=Youden |year=1950 |author-link=William J. Youden| title=रेटिंग नैदानिक परीक्षणों के लिए सूचकांक|journal=Cancer|volume=3 |pages=32–35 |doi=10.1002/1097-0142(1950)3:1<32::aid-cncr2820030106>3.0.co;2-3|pmid=15405679 |doi-access=free }}</ref> एजो एक नैदानिक परीक्षण के प्रदर्शन को संक्षेप में प्रस्तुत करने का एक तरीका था, हालाँकि यह सूत्र पहले 1884 में सी.एस. पियर्स द्वारा विज्ञान में प्रकाशित किया गया था।<ref> {{cite journal |first1=C.S. |last1=Pierce |title=The numerical measure of the success of predictions |journal=Science |volume=4 |issue=93 |year=1884 |pages=453-454 |doi=10.1126/science.ns-4.93.453.b }}</ref> इसका मान -1 से 1 (समावेशी) तक होता है,<ref name="Youden1950" /> और इसका शून्य मान होता है जब एक नैदानिक परीक्षण बीमारी वाले और बिना रोग वाले समूहों के लिए समान अनुपात में | इंडेक्स (सूचकांक) का सुझाव 1950 में डब्ल्यू.जे. यूडेन द्वारा दिया गया था<ref name="Youden1950">{{cite journal |first1=W.J. |last1=Youden |year=1950 |author-link=William J. Youden| title=रेटिंग नैदानिक परीक्षणों के लिए सूचकांक|journal=Cancer|volume=3 |pages=32–35 |doi=10.1002/1097-0142(1950)3:1<32::aid-cncr2820030106>3.0.co;2-3|pmid=15405679 |doi-access=free }}</ref> एजो एक नैदानिक परीक्षण के प्रदर्शन को संक्षेप में प्रस्तुत करने का एक तरीका था, हालाँकि यह सूत्र पहले 1884 में सी.एस. पियर्स द्वारा विज्ञान में प्रकाशित किया गया था।<ref> {{cite journal |first1=C.S. |last1=Pierce |title=The numerical measure of the success of predictions |journal=Science |volume=4 |issue=93 |year=1884 |pages=453-454 |doi=10.1126/science.ns-4.93.453.b }}</ref> इसका मान -1 से 1 (समावेशी) तक होता है,<ref name="Youden1950" /> और इसका शून्य मान होता है जब एक नैदानिक परीक्षण बीमारी वाले और बिना रोग वाले समूहों के लिए समान अनुपात में घनात्मक परिणाम देता है, यानी परीक्षण अनुपयोगी है। 1 का मान इंगित करता है कि कोई त्रुटिपूर्ण घनात्मक या त्रुटिपूर्ण ऋणात्मक नहीं है, यानी परीक्षण एकदम सही है। इंडेक्स त्रुटिपूर्ण घनात्मक और त्रुटिपूर्ण नकारात्मक मानों को समान महत्व देता है, इसलिए इंडेक्स के समान मूल्य वाले सभी परीक्षण कुल त्रुटिपूर्ण वर्गीकृत परिणामों का समान अनुपात देते हैं। हालाँकि इस समीकरण से शून्य से कम का मान प्राप्त करना संभव है, उदाहरण के लिए वर्गीकरण से केवल त्रुटिपूर्ण घनात्मक और त्रुटिपूर्ण नकारात्मक परिणाम प्राप्त होते हैं, शून्य से कम का मान केवल यह दर्शाता है कि घनात्मक और नकारात्मक लेबल स्विच कर दिए गए हैं। लेबल को सही करने के बाद परिणाम 0 से 1 रेंज में होगा। | ||
[[File:ROC Curve Youden J.png|thumb|रिसीवर ऑपरेटिंग विशेषता वक्र का उदाहरण। ठोस लाल: आरओसी वक्र; धराशायी रेखा: संभावना स्तर; लंबवत रेखा (जे) आरओसी वक्र के लिए यूडेन इंडेक्स का अधिकतम मूल्य]]यूडेन इंडेक्स का उपयोग प्रायः रिसीवर ऑपरेटिंग विशेषता (आरओसी) विश्लेषण के संयोजन में किया जाता है।<ref name="Schisterman2005">{{cite journal |first1=E.F. |last1=Schisterman |first2=N.J. |last2=Perkins|first3=A. |last3=Liu |first4=H. |last4=Bondell|year=2005|title=एकत्रित रक्त नमूनों का उपयोग करके व्यक्तियों में भेदभाव करने के लिए इष्टतम कट-पॉइंट और इसके अनुरूप यूडेन इंडेक्स|journal=Epidemiology|volume=16 |issue=1 |pages=73–81 |doi=10.1097/01.ede.0000147512.81966.ba|pmid=15613948 }}</ref> इंडेक्स को आरओसी वक्र के सभी बिंदुओं के लिए परिभाषित किया गया है, और इंडेक्स के अधिकतम मूल्य का उपयोग इष्टतम कट-ऑफ बिंदु का चयन करने के लिए एक मानदंड के रूप में किया जा सकता है जब एक नैदानिक परीक्षण एक द्विभाजित परिणाम के बदले में एक संख्यात्मक परिणाम देता है। इंडेक्स को ग्राफिक रूप से मौका रेखा के ऊपर की ऊंचाई के रूप में दर्शाया जाता है, और यह एकल ऑपरेटिंग बिंदु द्वारा अंतरित वक्र के नीचे के क्षेत्र के बराबर भी होता है।<ref name="Powers2007" /> | [[File:ROC Curve Youden J.png|thumb|रिसीवर ऑपरेटिंग विशेषता वक्र का उदाहरण। ठोस लाल: आरओसी वक्र; धराशायी रेखा: संभावना स्तर; लंबवत रेखा (जे) आरओसी वक्र के लिए यूडेन इंडेक्स का अधिकतम मूल्य]]यूडेन इंडेक्स का उपयोग प्रायः रिसीवर ऑपरेटिंग विशेषता (आरओसी) विश्लेषण के संयोजन में किया जाता है।<ref name="Schisterman2005">{{cite journal |first1=E.F. |last1=Schisterman |first2=N.J. |last2=Perkins|first3=A. |last3=Liu |first4=H. |last4=Bondell|year=2005|title=एकत्रित रक्त नमूनों का उपयोग करके व्यक्तियों में भेदभाव करने के लिए इष्टतम कट-पॉइंट और इसके अनुरूप यूडेन इंडेक्स|journal=Epidemiology|volume=16 |issue=1 |pages=73–81 |doi=10.1097/01.ede.0000147512.81966.ba|pmid=15613948 }}</ref> इंडेक्स को आरओसी वक्र के सभी बिंदुओं के लिए परिभाषित किया गया है, और इंडेक्स के अधिकतम मूल्य का उपयोग इष्टतम कट-ऑफ बिंदु का चयन करने के लिए एक मानदंड के रूप में किया जा सकता है जब एक नैदानिक परीक्षण एक द्विभाजित परिणाम के बदले में एक संख्यात्मक परिणाम देता है। इंडेक्स को ग्राफिक रूप से मौका रेखा के ऊपर की ऊंचाई के रूप में दर्शाया जाता है, और यह एकल ऑपरेटिंग बिंदु द्वारा अंतरित वक्र के नीचे के क्षेत्र के बराबर भी होता है।<ref name="Powers2007" /> | ||
| Line 17: | Line 17: | ||
एकल इंडेक्स का उपयोग "साधारणतया अनुशंसित नहीं किया जाता है",<ref>Everitt B.S. (2002) The Cambridge Dictionary of Statistics. CUP {{isbn|0-521-81099-X}}</ref> लेकिन सूचना या यूडेन का इंडेक्स एक सूचित निर्णय की संभावना है (यादृच्छिक अनुमान के विपरीत) और सभी पूर्वानुमानों को ध्यान में रखता है।<ref name="Powers2007" /> | एकल इंडेक्स का उपयोग "साधारणतया अनुशंसित नहीं किया जाता है",<ref>Everitt B.S. (2002) The Cambridge Dictionary of Statistics. CUP {{isbn|0-521-81099-X}}</ref> लेकिन सूचना या यूडेन का इंडेक्स एक सूचित निर्णय की संभावना है (यादृच्छिक अनुमान के विपरीत) और सभी पूर्वानुमानों को ध्यान में रखता है।<ref name="Powers2007" /> | ||
सूचना पुनर्प्राप्ति से मूलभूत आँकड़ों का एक असंबंधित लेकिन साधारणतया प्रयोग किया जाने वाला संयोजन एफ-स्कोर है, जो रिकॉल और परिशुद्धता का एक (संभवतः भारित) हार्मोनिक माध्य है, जहां रिकॉल = संवेदनशीलता = वास्तविक | सूचना पुनर्प्राप्ति से मूलभूत आँकड़ों का एक असंबंधित लेकिन साधारणतया प्रयोग किया जाने वाला संयोजन एफ-स्कोर है, जो रिकॉल और परिशुद्धता का एक (संभवतः भारित) हार्मोनिक माध्य है, जहां रिकॉल = संवेदनशीलता = वास्तविक घनात्मक (रिकॉल = सेंसिटिविटी =ट्रू पॉजिटिव रेट) दर है, लेकिन विशिष्टता और परिशुद्धता पूरी तरह से अलग उपाय हैं। एफ-स्कोर, रिकॉल और परिशुद्धता की तरह, केवल तथाकथित घनात्मक पूर्वानुमानों पर विचार करता है, जिसमें रिकॉल सिर्फ घनात्मक वर्ग की पूर्वानुमान करने की संभावना है, परिशुद्धता एक घनात्मक पूर्वानुमान के सही होने की संभावना है, और एफ-स्कोर इन संभावनाओं को बराबर करता है। प्रभावी धारणा है कि घनात्मक लेबल और घनात्मक पूर्वानुमानों का वितरण और प्रसार समान होना चाहिए,<ref name="Powers2007" /> फ़्लिस के कप्पा की अंतर्निहित धारणा के समान है। यूडेन के जे, इनफॉर्मेडनेस, रिकॉल, प्रिसिजन और एफ-स्कोर आंतरिक रूप से अप्रत्यक्ष हैं, जिनका लक्ष्य किसी नियम, सिद्धांत या क्लासिफायरियर द्वारा प्रस्तावित दिशा में पूर्वानुमानों की कटौतीत्मक प्रभावशीलता का आकलन करना है। मार्कडनेस (डेल्टापी) यूडेन का जे है जिसका उपयोग रिवर्स या अपहरण दिशा का आकलन करने के लिए किया जाता है,<ref name="Powers2007" /><ref name="Powers2012" />और एसोसिएशन की मानवीय शिक्षा से अच्छी तरह मेल खाता है; नियम और अंधविश्वास, जैसा कि हम संभावित कार्य-कारण का मॉडल बनाते हैं;<ref name="Perruchet2004" /> जबकि सहसंबंध और कप्पा का मूल्यांकन द्विदिश रूप से किया जाता है। | ||
मैथ्यूज सहसंबंध गुणांक समस्या के प्रतिगमन गुणांक का ज्यामितीय माध्य है और दो गुना है, जहां मैथ्यूज सहसंबंध गुणांक के घटक प्रतिगमन गुणांक चिह्नित हैं (यूडेन के जे या डेल्टापी के विपरीत) और सूचना (यूडेन के जे या डेल्टापी') है। फ्लेस के कप्पा और कोहेन के कप्पा जैसे कप्पा आँकड़े सीमांत या पूर्व वितरण के बारे में विभिन्न धारणाओं के आधार पर अंतर-रेटर विश्वसनीयता की गणना करने के तरीके हैं और अन्य संदर्भों में सटीकता के लिए मौका-सही विकल्प के रूप में तेजी से उपयोग किए जाते हैं। उपयोग किया जाता है। फ्लिस का कप्पा, एफ-स्कोर की तरह, मानता है कि दोनों चर एक ही वितरण से तैयार किए गए हैं और इस प्रकार उनकी समान अपेक्षित व्यापकता है, जबकि कोहेन का कप्पा मानता है कि चर अलग-अलग वितरण से तैयार किए गए हैं और उम्मीद के एक मॉडल के संदर्भ में हैं यह मानता है कि सामान्यताएँ स्वतंत्र हैं।<ref name="Powers2012">{{cite conference |first=David M W |last=Powers |date=2012 |title=कप्पा के साथ समस्या|conference=Conference of the European Chapter of the Association for Computational Linguistics |pages=345–355 |hdl=2328/27160 }}</ref> | मैथ्यूज सहसंबंध गुणांक समस्या के प्रतिगमन गुणांक का ज्यामितीय माध्य है और दो गुना है, जहां मैथ्यूज सहसंबंध गुणांक के घटक प्रतिगमन गुणांक चिह्नित हैं (यूडेन के जे या डेल्टापी के विपरीत) और सूचना (यूडेन के जे या डेल्टापी') है। फ्लेस के कप्पा और कोहेन के कप्पा जैसे कप्पा आँकड़े सीमांत या पूर्व वितरण के बारे में विभिन्न धारणाओं के आधार पर अंतर-रेटर विश्वसनीयता की गणना करने के तरीके हैं और अन्य संदर्भों में सटीकता के लिए मौका-सही विकल्प के रूप में तेजी से उपयोग किए जाते हैं। उपयोग किया जाता है। फ्लिस का कप्पा, एफ-स्कोर की तरह, मानता है कि दोनों चर एक ही वितरण से तैयार किए गए हैं और इस प्रकार उनकी समान अपेक्षित व्यापकता है, जबकि कोहेन का कप्पा मानता है कि चर अलग-अलग वितरण से तैयार किए गए हैं और उम्मीद के एक मॉडल के संदर्भ में हैं यह मानता है कि सामान्यताएँ स्वतंत्र हैं।<ref name="Powers2012">{{cite conference |first=David M W |last=Powers |date=2012 |title=कप्पा के साथ समस्या|conference=Conference of the European Chapter of the Association for Computational Linguistics |pages=345–355 |hdl=2328/27160 }}</ref> | ||
जब दो | जब दो घनात्मक चर के लिए वास्तविक प्रसार समान होते हैं जैसा कि फ़्लिस कप्पा और एफ-स्कोर में माना जाता है, तो घनात्मक पूर्वानुमानों की संख्या द्विभाजित (दो वर्ग) मामले में घनात्मक वर्गों की संख्या से मेल खाती है, अलग-अलग कप्पा और सहसंबंध माप ध्वस्त हो जाते हैं यूडेन के जे के साथ पहचान के लिए, और रिकॉल, परिशुद्धता और एफ-स्कोर सटीकता के साथ समान हैं।<ref name="Powers2007" /><ref name="Powers2012" /> | ||
Revision as of 15:29, 1 August 2023
यूडेन का जे स्टेटिस्टिक (आँकड़ा) (जिसे यूडेन इंडेक्स भी कहा जाता है) एक एकल आँकड़ा है जो एक द्विभाजित नैदानिक परीक्षण के प्रदर्शन को दर्शाता है। (बुकमेकर) सूचना बहुवर्गीय मामले का सामान्यीकरण है और एक सूचित निर्णय की संभावना का अनुमान लगाती है।
परिभाषा
यूडेन का जे आँकड़ा है
दाहिनी ओर की दो मात्राएँ संवेदनशीलता और विशिष्टता हैं। इस प्रकार विस्तारित सूत्र है:
इंडेक्स (सूचकांक) का सुझाव 1950 में डब्ल्यू.जे. यूडेन द्वारा दिया गया था[1] एजो एक नैदानिक परीक्षण के प्रदर्शन को संक्षेप में प्रस्तुत करने का एक तरीका था, हालाँकि यह सूत्र पहले 1884 में सी.एस. पियर्स द्वारा विज्ञान में प्रकाशित किया गया था।[2] इसका मान -1 से 1 (समावेशी) तक होता है,[1] और इसका शून्य मान होता है जब एक नैदानिक परीक्षण बीमारी वाले और बिना रोग वाले समूहों के लिए समान अनुपात में घनात्मक परिणाम देता है, यानी परीक्षण अनुपयोगी है। 1 का मान इंगित करता है कि कोई त्रुटिपूर्ण घनात्मक या त्रुटिपूर्ण ऋणात्मक नहीं है, यानी परीक्षण एकदम सही है। इंडेक्स त्रुटिपूर्ण घनात्मक और त्रुटिपूर्ण नकारात्मक मानों को समान महत्व देता है, इसलिए इंडेक्स के समान मूल्य वाले सभी परीक्षण कुल त्रुटिपूर्ण वर्गीकृत परिणामों का समान अनुपात देते हैं। हालाँकि इस समीकरण से शून्य से कम का मान प्राप्त करना संभव है, उदाहरण के लिए वर्गीकरण से केवल त्रुटिपूर्ण घनात्मक और त्रुटिपूर्ण नकारात्मक परिणाम प्राप्त होते हैं, शून्य से कम का मान केवल यह दर्शाता है कि घनात्मक और नकारात्मक लेबल स्विच कर दिए गए हैं। लेबल को सही करने के बाद परिणाम 0 से 1 रेंज में होगा।
यूडेन इंडेक्स का उपयोग प्रायः रिसीवर ऑपरेटिंग विशेषता (आरओसी) विश्लेषण के संयोजन में किया जाता है।[3] इंडेक्स को आरओसी वक्र के सभी बिंदुओं के लिए परिभाषित किया गया है, और इंडेक्स के अधिकतम मूल्य का उपयोग इष्टतम कट-ऑफ बिंदु का चयन करने के लिए एक मानदंड के रूप में किया जा सकता है जब एक नैदानिक परीक्षण एक द्विभाजित परिणाम के बदले में एक संख्यात्मक परिणाम देता है। इंडेक्स को ग्राफिक रूप से मौका रेखा के ऊपर की ऊंचाई के रूप में दर्शाया जाता है, और यह एकल ऑपरेटिंग बिंदु द्वारा अंतरित वक्र के नीचे के क्षेत्र के बराबर भी होता है।[4]
यूडेन इंडेक्स को डेल्टापी' के नाम से भी जाना जाता है [5] और द्विभाजित से बहुवर्ग मामले को सूचनात्मकता के रूप में सामान्यीकृत करता है।[4]
एकल इंडेक्स का उपयोग "साधारणतया अनुशंसित नहीं किया जाता है",[6] लेकिन सूचना या यूडेन का इंडेक्स एक सूचित निर्णय की संभावना है (यादृच्छिक अनुमान के विपरीत) और सभी पूर्वानुमानों को ध्यान में रखता है।[4]
सूचना पुनर्प्राप्ति से मूलभूत आँकड़ों का एक असंबंधित लेकिन साधारणतया प्रयोग किया जाने वाला संयोजन एफ-स्कोर है, जो रिकॉल और परिशुद्धता का एक (संभवतः भारित) हार्मोनिक माध्य है, जहां रिकॉल = संवेदनशीलता = वास्तविक घनात्मक (रिकॉल = सेंसिटिविटी =ट्रू पॉजिटिव रेट) दर है, लेकिन विशिष्टता और परिशुद्धता पूरी तरह से अलग उपाय हैं। एफ-स्कोर, रिकॉल और परिशुद्धता की तरह, केवल तथाकथित घनात्मक पूर्वानुमानों पर विचार करता है, जिसमें रिकॉल सिर्फ घनात्मक वर्ग की पूर्वानुमान करने की संभावना है, परिशुद्धता एक घनात्मक पूर्वानुमान के सही होने की संभावना है, और एफ-स्कोर इन संभावनाओं को बराबर करता है। प्रभावी धारणा है कि घनात्मक लेबल और घनात्मक पूर्वानुमानों का वितरण और प्रसार समान होना चाहिए,[4] फ़्लिस के कप्पा की अंतर्निहित धारणा के समान है। यूडेन के जे, इनफॉर्मेडनेस, रिकॉल, प्रिसिजन और एफ-स्कोर आंतरिक रूप से अप्रत्यक्ष हैं, जिनका लक्ष्य किसी नियम, सिद्धांत या क्लासिफायरियर द्वारा प्रस्तावित दिशा में पूर्वानुमानों की कटौतीत्मक प्रभावशीलता का आकलन करना है। मार्कडनेस (डेल्टापी) यूडेन का जे है जिसका उपयोग रिवर्स या अपहरण दिशा का आकलन करने के लिए किया जाता है,[4][7]और एसोसिएशन की मानवीय शिक्षा से अच्छी तरह मेल खाता है; नियम और अंधविश्वास, जैसा कि हम संभावित कार्य-कारण का मॉडल बनाते हैं;[5] जबकि सहसंबंध और कप्पा का मूल्यांकन द्विदिश रूप से किया जाता है।
मैथ्यूज सहसंबंध गुणांक समस्या के प्रतिगमन गुणांक का ज्यामितीय माध्य है और दो गुना है, जहां मैथ्यूज सहसंबंध गुणांक के घटक प्रतिगमन गुणांक चिह्नित हैं (यूडेन के जे या डेल्टापी के विपरीत) और सूचना (यूडेन के जे या डेल्टापी') है। फ्लेस के कप्पा और कोहेन के कप्पा जैसे कप्पा आँकड़े सीमांत या पूर्व वितरण के बारे में विभिन्न धारणाओं के आधार पर अंतर-रेटर विश्वसनीयता की गणना करने के तरीके हैं और अन्य संदर्भों में सटीकता के लिए मौका-सही विकल्प के रूप में तेजी से उपयोग किए जाते हैं। उपयोग किया जाता है। फ्लिस का कप्पा, एफ-स्कोर की तरह, मानता है कि दोनों चर एक ही वितरण से तैयार किए गए हैं और इस प्रकार उनकी समान अपेक्षित व्यापकता है, जबकि कोहेन का कप्पा मानता है कि चर अलग-अलग वितरण से तैयार किए गए हैं और उम्मीद के एक मॉडल के संदर्भ में हैं यह मानता है कि सामान्यताएँ स्वतंत्र हैं।[7]
जब दो घनात्मक चर के लिए वास्तविक प्रसार समान होते हैं जैसा कि फ़्लिस कप्पा और एफ-स्कोर में माना जाता है, तो घनात्मक पूर्वानुमानों की संख्या द्विभाजित (दो वर्ग) मामले में घनात्मक वर्गों की संख्या से मेल खाती है, अलग-अलग कप्पा और सहसंबंध माप ध्वस्त हो जाते हैं यूडेन के जे के साथ पहचान के लिए, और रिकॉल, परिशुद्धता और एफ-स्कोर सटीकता के साथ समान हैं।[4][7]
संदर्भ
- ↑ 1.0 1.1 Youden, W.J. (1950). "रेटिंग नैदानिक परीक्षणों के लिए सूचकांक". Cancer. 3: 32–35. doi:10.1002/1097-0142(1950)3:1<32::aid-cncr2820030106>3.0.co;2-3. PMID 15405679.
{{cite journal}}: zero width space character in|title=at position 16 (help) - ↑ Pierce, C.S. (1884). "The numerical measure of the success of predictions". Science. 4 (93): 453–454. doi:10.1126/science.ns-4.93.453.b.
- ↑ Schisterman, E.F.; Perkins, N.J.; Liu, A.; Bondell, H. (2005). "एकत्रित रक्त नमूनों का उपयोग करके व्यक्तियों में भेदभाव करने के लिए इष्टतम कट-पॉइंट और इसके अनुरूप यूडेन इंडेक्स". Epidemiology. 16 (1): 73–81. doi:10.1097/01.ede.0000147512.81966.ba. PMID 15613948.
- ↑ 4.0 4.1 4.2 4.3 4.4 4.5 Powers, David M W (2011). "Evaluation: From Precision, Recall and F-Score to ROC, Informedness, Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63. hdl:2328/27165.
- ↑ 5.0 5.1 Perruchet, P.; Peereman, R. (2004). "शब्दांश प्रसंस्करण में वितरणात्मक जानकारी का शोषण". J. Neurolinguistics. 17 (2–3): 97–119. doi:10.1016/s0911-6044(03)00059-9.
- ↑ Everitt B.S. (2002) The Cambridge Dictionary of Statistics. CUP ISBN 0-521-81099-X
- ↑ 7.0 7.1 7.2 Powers, David M W (2012). कप्पा के साथ समस्या. Conference of the European Chapter of the Association for Computational Linguistics. pp. 345–355. hdl:2328/27160.
