कोसाइन समानता

डेटा विश्लेषण में, कोसाइन समानता आंतरिक गुणन क्षेत्र में परिभाषित दो गैर-शून्य सदिश के बीच समानता का माप है। कोसाइन समानता सदिशों के बीच के कोण की कोज्या होती है; अर्थात्, यह उनकी लंबाई के गुणनफल से विभाजित सदिशों का डॉट गुणनफल है। इससे यह पता चलता है कि कोज्या समानता सदिशों के परिमाण पर निर्भर नहीं करती है, लेकिन केवल उनके कोण पर निर्भर करती है। कोसाइन समानता अधिकांशतः अंतराल $[-1,1].$ से संबंधित होती है। उदाहरण के लिए दो समानुपाती सदिशों में 1 की कोज्या समानता होती है और इस प्रकार दो लंबकोणीय सदिशों की कोसाइन समानता 0 होती है और दो विपरीत सदिश में -1 की समानता होती है। कुछ संदर्भों में, सदिशों के घटक मान ऋणात्मक नहीं हो सकते है और जिस स्थिति में कोसाइन समानता $[0,1]$.के रूप में सीमित होती है

उदाहरण के लिए सूचना पुनर्प्राप्ति और पाठ माइनिंग में, प्रत्येक शब्द को भिन्न निर्देशांक दिया जाता है और दस्तावेज़ में प्रत्येक शब्द की घटनाओं की संख्या के सदिश द्वारा दस्तावेज़ का प्रतिनिधित्व किया जाता है। कोसाइन समानता तब इस बात का उपयोगी माप देता है कि उनकी विषय वस्तु के संदर्भ में और दस्तावेज़ों की लंबाई के अनुसार स्वतंत्र रूप से दो दस्तावेज़ों के समान होने की कितनी संभावना होती है।

डेटा माइनिंग के क्षेत्र में क्लस्टर के भीतर सामंजस्य को मापने के लिए प्रोद्योगिकीय का उपयोग किया जाता है।

कोसाइन समानता का एक लाभ यह है कि इसकी संगणनात्मक जटिलता जो विशेष रूप से असामान्य आव्यूह के रूप में होती है और इस प्रकार केवल गैर-शून्य निर्देशांक पर विचार करने की आवश्यकता है।

कोसाइन समानता के लिए अन्य नामों में ओतसुका ओरचिनी समानता के समरूपी कोसाइन गुणांक के रूप में सम्मलित होते है। कोसाइन समरूपी बाइनरी आंकड़ों पर लागू किया गया है जिसे नीचे दिखाया गया है

परिभाषा

दो गैर शून्य सदिश की कोसाइन यूक्लिडियन डॉट गुणन फॉर्मूला का उपयोग करके प्राप्त किया जा सकता है।

$\mathbf {A} \cdot \mathbf {B} =\left\|\mathbf {A} \right\|\left\|\mathbf {B} \right\|\cos \theta$

दो n आयामी सदिश (ज्यामितीय) के गुण को देखते हुए A और B कोसाइन समानता cos(θ), एक सदिश गुणन और परिमाण (गणित) का उपयोग करके दर्शाया जाता है।

${\text{cosine similarity}}=S_{C}(A,B):=\cos(\theta )={\mathbf {A} \cdot \mathbf {B} \over \|\mathbf {A} \|\|\mathbf {B} \|}={\frac {\sum \limits _{i=1}^{n}{A_{i}B_{i}}}{{\sqrt {\sum \limits _{i=1}^{n}{A_{i}^{2}}}}{\sqrt {\sum \limits _{i=1}^{n}{B_{i}^{2}}}}}},$

जहाँ $A_{i}$ और $B_{i}$ क्रमशः यूक्लिडियन सदिशों $\mathbf {A}$ और $\mathbf {B}$ के $i$वें घटकों के रूप में होते है।

परिणामी समानता -1 से लेकर होती है जिसका अर्थ बिल्कुल विपरीत होता है और 1 का अर्थ बिल्कुल समान होता है और इस प्रकार 0 के साथ लंबकोणीयता या सहसंबंध का संकेत मिलता है, जबकि बीच के मान मध्यवर्ती समानता या असमानता का संकेत देते हैं।

पाठ मिलान के लिए, सामान्यतया विशेषता सदिश A और B दस्तावेजों के आवृत्ति सदिश शब्द के रूप में होते हैं। कोसाइन समानता को तुलना के समय सामान्यीकरण (सांख्यिकी) दस्तावेज़ लंबाई की एक विधि के रूप में देखा जा सकता है। सूचना पुनर्प्राप्ति के स्थितियों में दो दस्तावेज़ों की कोसाइन समानता की सीमा $0\to 1$ के रूप में होती है, क्योंकि शब्द आवृत्ति ऋणात्मक नहीं हो सकती। यह टीएफ-आईडीएफ (शब्द आवृत्ति व्युत्क्रम दस्तावेज़ आवृत्ति) भार का उपयोग करते समय सही साबित होता है। दो शब्द आवृत्ति वैक्टर के बीच का कोण 90 डिग्री से अधिक नहीं हो सकता

यदि सदिश के घटाव द्वारा गुणनफल सदिश को सामान्यीकृत किया जाता है, अर्थात $A-{\bar {A}}$), तो माप को केंद्रित कोसाइन समानता कहा जाता है और पियर्सन सहसंबंध गुणांक के बराबर होता है। केंद्रीकरण के उदाहरण के लिए इस रूप में होते है, ${\text{if}}\,A=[A_{1},A_{2}]^{T},{\text{ then }}{\bar {A}}=\left[{\frac {(A_{1}+A_{2})}{2}},{\frac {(A_{1}+A_{2})}{2}}\right]^{T},{\text{ so }}A-{\bar {A}}=\left[{\frac {(A_{1}-A_{2})}{2}},{\frac {(-A_{1}+A_{2})}{2}}\right]^{T}.$

कोसाइन दूरी

शब्द कोसाइन दूरी सामान्यतः सकारात्मक क्षेत्र में कोसाइन समानता के पूरक के लिए उपयोग किया जाता है।

${\text{cosine distance}}=D_{C}(A,B):=1-S_{C}(A,B).$

यह ध्यान रखना महत्वपूर्ण है कि कोसाइन दूरी वास्तविक क्षेत्र मीट्रिक नहीं होता है, क्योंकि इसमें त्रिकोण असमानता गुण को प्रदर्शित नहीं नहीं करती है या फिर औपचारिक रूप से श्वार्ज़ असमानता तथा यह संयोग एक्सिओम का उल्लंघन करती है। यह देखने की एक विधि है कि कोसाइन दूरी सदिश के $L_{2}$ सामान्यीकरण की यूक्लिडियन दूरी का आधा होता है और और यूक्लिडियन दूरी का वर्ग त्रिभुज असमानता को भी संतुष्ट नहीं करता है और इस प्रकार समान क्रम को बनाए रखते हुए त्रिभुज असमानता गुण की पूर्वावस्था के लिए कोणीय दूरी या यूक्लिडियन दूरी में परिवर्तित कर दिया जाता है और इस प्रकार वैकल्पिक रूप से कोसाइन के संदर्भ में त्रिकोणीय असमानता जो कोणीय दूरियां बनाने के लिए काम करती है वे सीधे कोसाइन के संदर्भ में व्यक्त की जा सकती है। जिसे नीचे दिखाया गया है।

कोणीय दूरी और समानता

किसी भी दो वैक्टर $A$ और $B$ के बीच में सामान्य कोण को कोणीय दूरी कहा जाता है और यह औपचारिक दूरी मीट्रिक होता है इसकी गणना कोसाइन समानता से की जा सकती है। तब कोणीय दूरी मीट्रिक का पूरक का प्रयोग कोणीय समानता फलन को 0 और 1 के बीच परिबद्ध करने के लिए किया जा सकता है।

जब सदिश तत्व धनात्मक या ऋणात्मक हो सकते हैं,

${\text{angular distance}}=D_{\theta }:={\frac {\arccos({\text{cosine similarity}})}{\pi }}={\frac {\theta }{\pi }}$

${\text{angular similarity}}=S_{\theta }:=1-{\text{angular distance}}=1-{\frac {\theta }{\pi }}$

यदि सदिश तत्व अधिकांशतः सकारात्मक रूप में होते हैं

${\text{angular distance}}=D_{\theta }:={\frac {2\cdot \arccos({\text{cosine similarity}})}{\pi }}={\frac {2\theta }{\pi }}$

${\text{angular similarity}}=S_{\theta }:=1-{\text{angular distance}}=1-{\frac {2\theta }{\pi }}$

दुर्भाग्यवश, व्युत्क्रम कोसाइन (अरक्कोस) फलन की गणना धीमी गति से की जाती है, जिससे अधिक सामान्य मीट्रिक कोसाइन दूरी का उपयोग करने की तुलना में कोणीय दूरी का उपयोग अधिक संगणनात्मक रूप से महंगा हो जाता है।

L₂सामान्यीकृत यूक्लिडियन दूरी

कोसाइन दूरी के लिए एक और प्रभावी प्रतिनिधि यूक्लिडियन सदिश $L_{2}$ के सामान्यीकरण द्वारा प्राप्त किया जा सकता है और उसके बाद सामान्य यूक्लिडियन दूरी के अनुप्रयोग के बाद इस प्रोद्योगिकीय का उपयोग करते है और इस प्रकार प्रत्येक सदिश में प्रत्येक पद को पहले सदिश के परिमाण से विभाजित किया जाता है, जिससे इकाई लंबाई का सदिश प्राप्त होता है। फिर किन्हीं दो सदिशों के अंत-बिंदुओं पर यूक्लिडियन दूरी यथार्थ मीट्रिक के रूप में होता है, जो सदिशों की किसी भी तुलना के लिए कोसाइन दूरी के समान क्रम के रूप में देता है और इस प्रकार यूक्लिडियन दूरी का एकदिष्ट परिवर्तन को इस प्रकार दिखाया जाता है और इसके अतिरिक्त यह सदिशों की तुलना से बचता है और उचित मीट्रिक प्राप्त करने के लिए संभावित रूप से बहुमूल्य त्रिकोणमितीय संचालन की आवश्यकता होती है। एक बार सामान्यीकरण हो जाने के बाद सदिश क्षेत्र का उपयोग किसी भी यूक्लिडियन क्षेत्र के लिए उपलब्ध प्रोद्योगिकीय की पूरी श्रृंखला के साथ किया जाता है और विशेष रूप से मानक विमीयता में कमी प्रोद्योगिकीय के रूप में होती है। यह सामान्यीकृत फॉर्म दूरी अधिकांशतः कई गहन शिक्षण कलन विधि में उपयोग की जाती है।

ओत्सुका-ओचियाई गुणांक

जीव विज्ञान में, एक ऐसी ही अवधारणा है जिसे ओत्सुका ओचियाई गुणांक के रूप में जाना जाता है। जिसका नाम यानोसुके ओत्सुका के नाम पर रखा गया है, जिसे ओत्सुका, ऊत्सुका या ओटुका जापानी और अकीरा ओचियाई जापानी: 落合 明 भी कहा जाता है, ओचियाई-बार्कमैन या ओचियाई गुणांक के रूप में जाना जाता है जिसे इस प्रकार दर्शाया जा सकता है,

$K={\frac {|A\cap B|}{\sqrt {|A|\times |B|}}}$

यहाँ, $A$ और $B$ समुच्चय (गणित) के रूप में हैं और $|A|$ तत्वों की संख्या है $A$. यदि समुच्चय को बिट सदिश के रूप में दर्शाया जाता है, तो ओत्सुका-ओचियाई गुणांक कोसाइन समानता के समान देखा जा सकता है।

हाल की एक किताब में, गुणांक को ओत्सुका परिवार के नाम वाले एक अन्य जापानी शोधकर्ता को गलत विधि से आरोपित किया गया है। इससे भ्रम उत्पन्न होता है क्योंकि 1957 में अकीरा ओचियाई गुणांक को केवल ओत्सुका के लिए जिम्मेदार ठहराते हैं। इकुसो हमाई के एक लेख का हवाला देते हुए जापानी लेख में पहले इसका उल्लेख नहीं किया गया है, जो बदले में यानोसुके ओत्सुका के मूल 1936 के लेख का हवाला देते हैं।

गुण

कोसाइन समानता का सर्वाधिक उल्लेखनीय गुण यह है कि यह भिन्न -भिन्न सदिश आयामों की तुलना में निरपेक्ष के अतिरिक्त पूर्ण सम्बन्ध को दर्शाता है। किसी भी स्थिरांक $a$ और सदिश $V$ के लिए सदिश $V$ और $aV$ अधिकतम रूप में समान होते हैं। इस प्रकार माप डेटा के लिए सबसे उपयुक्त होता है जहां आवृत्ति निरपेक्ष मूल्यों की तुलना में अधिक महत्वपूर्ण होती है और विशेष रूप से दस्तावेजों में शब्द आवृत्ति के रूप में होती है। चूंकि, जेन्सेन शैनन एसईडी और त्रिकोणीय विचलन जैसे सूचना सिद्धांत में ग्राउंडिंग के साथ हालिया मेट्रिक्स को कम से कम कुछ संदर्भों में अच्छे शब्दार्थ के रूप में दिखाया गया है।

कोसाइन समानता यूक्लिडियन दूरी से निम्नानुसार संबंधित होती है। यूक्लिडियन दूरी को सामान्य रूप से $\|A-B\|$ के रूप में निरूपित और निरीक्षण करते है।

$\|A-B\|^{2}=(A-B)\cdot (A-B)=\|A\|^{2}+\|B\|^{2}-2(A\cdot B)\$ (ध्रुवीकरण पहचान#Relation_to_the_law_of_cosines)

बहुपद विस्तार द्वारा जब A और B इकाई लंबाई $\|A\|^{2}=\|B\|^{2}=1$ के लिए सामान्यीकृत किया जाता है, तो यह अभिव्यक्ति

$2(1-\cos(A,B)).$के बराबर होती है।

संक्षेप में, कोसाइन दूरी को यूक्लिडियन दूरी के रूप में व्यक्त किया जा सकता है

$D_{C}(A,B)={\frac {\|A-B\|^{2}}{2}}\quad \mathrm {when} \quad \|A\|^{2}=\|B\|^{2}=1$.

यूक्लिडियन दूरी को जीवा दूरी कहा जाता है, क्योंकि यह यूनिट वृत्त पर जीवा की लंबाई है और यह सदिशों के बीच यूक्लिडियन दूरी होती है, जो उनके भीतर वर्ग मानों के इकाई योग के लिए सामान्यीकृत रूप में होते है।

'शून्य वितरण:' डेटा, जो कोसाइन समानता के लिए ऋणात्मक तथा धनात्मक हो सकता है, दो स्वतंत्र यादृच्छिक इकाई सदिश के डॉट गुणन का वितरण है। इस बंटन का माध्य शून्य और विचरण $1/n$ के रूप में होता है, जहाँ $n$ आयामों की संख्या है और यद्यपि वितरण -1 और +1 के बीच सीमित रूप में है, जैसे $n$ बड़ा होता है वितरण सामान्य वितरण द्वारा तेजी से अच्छी तरह से अनुमानित होता है। अन्य प्रकार के डेटा जैसे बिटस्ट्रीम जो केवल मान 0 या 1 के रूप में लेते हैं, शून्य वितरण एक भिन्न के रूप में लेता है और इसका एक गैर-शून्य माध्य होता है।

कोज्या समानता के लिए त्रिभुज असमानता

कोणों के लिए साधारण त्रिभुज में असमानता होती है अर्थात इकाई अति क्षेत्र पर चाप की लंबाई के रूप में हमें देती है

$|~\angle {AC}-\angle {CB}~|\leq ~\angle {AB}~\leq ~\angle {AC}~+~\angle {CB}~.$

क्योंकि कोज्या फलन एक कोण के रूप में घटता है [0, π] रेडियन बढ़ता है, तो इन असमानताओं की भावना उलट जाती है जब हम प्रत्येक मान का कोसाइन लेते हैं

$\cos(\angle {AC}-\angle {CB})\geq \cos(\angle {AB})\geq \cos(\angle {AC}+\angle {CB}).$

कोसाइन जोड़ और घटाव सूत्रों का उपयोग करके, इन दो असमानताओं को मूल कोसाइन के रूप में लिखा जा सकता है,

$\cos(A,C)\cdot \cos(C,B)+{\sqrt {\left(1-\cos(A,C)^{2}\right)\cdot \left(1-\cos(C,B)^{2}\right)}}\geq \cos(A,B),$

$\cos(A,B)\geq \cos(A,C)\cdot \cos(C,B)-{\sqrt {\left(1-\cos(A,C)^{2}\right)\cdot \left(1-\cos(C,B)^{2}\right)}}.$

त्रिभुज असमानता के इस रूप का उपयोग दो वस्तुओं A और B की न्यूनतम और अधिकतम समानता को सीमित करने के लिए किया जाता है यदि किसी संदर्भ में वस्तु सी की समानता पहले से ही ज्ञात हो तो इसका उपयोग उदाहरण के लिए मीट्रिक डेटा इंडेक्सिंग में किया जाता है, लेकिन इसका उपयोग गोलाकार k-मध्यपद क्लस्टरिंग में तेजी लाने के लिए भी किया जाता है उसी तरह यूक्लिडियन त्रिकोण असमानता का उपयोग नियमित के साधनों को तेज करने के लिए किया गया है।

शीतल कोसाइन उपाय

सॉफ्ट कोसाइन या दो सदिशों के बीच "सॉफ्ट " समानता विशेषताओं के जोड़ों के बीच समानता पर विचार करता है। संकीर्ण कोसाइन समानता सदिश क्षेत्र मॉडल (वीएसएम) के लक्षणों को स्वतंत्र या पूरी तरह से भिन्न मानता है, जबकि सॉफ्ट कोसाइन माप वीएसएम में सुविधाओं की समानता पर विचार करने का प्रस्ताव करता है, जो कोसाइन और सॉफ्ट कोसाइन की अवधारणा के साथ-साथ विचार को सामान्य करने में मदद करता है।

उदाहरण के लिए, प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के क्षेत्र में सुविधाओं के बीच समानता बहुत सहज रूप में होती है और इस प्रकार शब्द एन-ग्राम या सिंटैक्टिक एन-ग्राम जैसी विशेषताएं काफी समान हो सकती हैं चूंकि औपचारिक रूप से उन्हें वीएसएम में विभिन्न विशेषताओं के रूप में माना जाता है। उदाहरण के लिए प्ले और गेम भिन्न-भिन्न शब्द होते हैं और इस प्रकार वीएसएम में विभिन्न बिंदुओं पर मैप किए गए; फिर भी वे शब्दार्थ से संबंधित होते है और इस प्रकार एन-ग्राम या सिंटैक्टिक एन-ग्राम के स्थितियों में लेवेनशेटिन दूरी को लागू किया जा सकता है वास्तव में, लेवेनशेटिन दूरी को शब्दों पर भी लागू किया जा सकता है।

सॉफ्ट कोसाइन की गणना के लिए आव्यूह s सुविधाओं के बीच समानता को इंगित करने के लिए उपयोग किया जाता है। इसकी गणना लेवेनशेटिन दूरी वर्डनेट समानता या अन्य समानता के उपायों के माध्यम से की जा सकती है। फिर हम इस आव्यूह से गुणा करते हैं।

दो दिया N-आयाम सदिश $a$ और $b$, सॉफ्ट कोसाइन समानता की गणना निम्नानुसार की जाती है

${\begin{aligned}\operatorname {soft\_cosine} _{1}(a,b)={\frac {\sum \nolimits _{i,j}^{N}s_{ij}a_{i}b_{j}}{{\sqrt {\sum \nolimits _{i,j}^{N}s_{ij}a_{i}a_{j}}}{\sqrt {\sum \nolimits _{i,j}^{N}s_{ij}b_{i}b_{j}}}}},\end{aligned}}$

जहाँ s_ij = similarity(feature_i, feature_j).

यदि लक्षण (s_ii = 1, s_ij = 0 के लिए i ≠ j), के बीच कोई समानता नहीं है, तो दिया गया समीकरण पारंपरिक कोसाइन समानता सूत्र के बराबर है।

इस उपाय की समय जटिलता द्विघात के रूप में है, जो इसे वास्तविक दुनिया के कार्यों पर लागू करती है। ध्यान दें कि जटिलता को उपद्विघात तक कम किया जा सकता है। जेनसिम ओपन सोर्स लाइब्रेरी में इस तरह के सॉफ्ट कोसाइन समानता के एक कुशल कार्यान्वयन को सम्मलित किया गया है।

यह भी देखें

• सोरेनसेन-डाइस गुणांक
• हैमिंग दूरी
• सह - संबंध
• जैकार्ड इंडेक्स
• सिमरैंक
• सूचना की पुनर्प्राप्ति

बाहरी संबंध

• Weighted cosine measure
• A tutorial on cosine similarity using Python