न्यूरल मशीन ट्रांसलेशन

From Vigyanwiki
Revision as of 21:16, 10 August 2023 by alpha>Sureshchandra

न्यूरल मशीन अनुवाद (एनएमटी) मशीन अनुवाद के लिए एक दृष्टिकोण है, जो शब्दों के अनुक्रम की पॉसिबिलिटी की भविष्यवाणी करने के लिए एक आर्टिफिशियल न्यूरल नेटवर्क का उपयोग करता है इस प्रकार विशेष रूप से पूरे वाक्यों को एक एकल एकीकृत मॉडल में मॉडलिंग करता है।

गुण

उन्हें पारंपरिक सांख्यिकीय मशीन अनुवाद (एसएमटी) मॉडल द्वारा आवश्यक मेमोरी के केवल एक अंश की आवश्यकता होती है। इसके अलावा, पारंपरिक अनुवाद प्रणालियों के विपरीत, अनुवाद प्रदर्शन को अधिकतम करने के लिए न्यूरल अनुवाद मॉडल के सभी हिस्सों को संयुक्त रूप से (एंड-टू-एंड) प्रशिक्षित किया जाता है।[1][2][3]


इतिहास

गहन शिक्षण अनुप्रयोग पहली बार 1990 के दशक में वाक् पहचान में सामने आए। मशीनी अनुवाद में न्यूरल नेटवर्क का उपयोग करने पर पहला वैज्ञानिक पेपर 2014 में सामने आया, जब बहदानौ एट अल।[R 1] और सुतस्केवर और अन्य।[R 2] प्रस्तावित एंड-टू-एंड न्यूरल नेटवर्क ट्रांसलेशन मॉडल और औपचारिक रूप से न्यूरल मशीन ट्रांसलेशन शब्द का इस्तेमाल किया गया। पहला बड़े पैमाने का NMT सिस्टम Baidu द्वारा 2015 में लॉन्च किया गया था। अगले वर्ष Google ने भी दूसरों की तरह एक NMT सिस्टम लॉन्च किया।[4] इसके बाद अगले कुछ वर्षों में इसमें काफी प्रगति हुई। (बड़ी शब्दावली एनएमटी, इमेज कैप्शनिंग के लिए आवेदन, सबवर्ड-एनएमटी, बहुभाषी एनएमटी, मल्टी-सोर्स एनएमटी, कैरेक्टर-डीसी एनएमटी, जीरो-रिसोर्स एनएमटी, गूगल, फुल कैरेक्टर-एनएमटी, जीरो-शॉट एनएमटी 2017 में) 2015 में सार्वजनिक मशीनी अनुवाद प्रतियोगिता (ओपनएमटी'15) में एनएमटी प्रणाली की पहली उपस्थिति थी। WMT'15 में भी पहली बार NMT दावेदार था; अगले वर्ष इसके विजेताओं में पहले से ही 90% NMT प्रणालियाँ शामिल थीं।[5]

2017 से, वैश्विक पेटेंट प्रणाली से जानकारी को तुरंत सुलभ बनाने के लिए यूरोपीय पेटेंट कार्यालय द्वारा न्यूरल मशीन अनुवाद का उपयोग किया गया है।[6]Google के सहयोग से विकसित इस प्रणाली को 31 भाषाओं के साथ जोड़ा गया है, और 2018 तक, सिस्टम ने नौ मिलियन से अधिक दस्तावेज़ों का अनुवाद किया है।[6]


कामकाज

एनएमटी वाक्यांश-आधारित सांख्यिकीय मशीन अनुवाद दृष्टिकोण से अलग है जो अलग-अलग इंजीनियर उप-घटकों का उपयोग करता है।[7]न्यूरल मशीन अनुवाद (एनएमटी) पारंपरिक रूप से सांख्यिकीय मशीन अनुवाद (एसएमटी) में जो किया गया है, उससे आगे कोई कठोर कदम नहीं है। इसका मुख्य प्रस्थान शब्दों और आंतरिक स्थितियों के लिए वेक्टर अभ्यावेदन (एम्बेडिंग, निरंतर स्थान अभ्यावेदन) का उपयोग है। मॉडलों की संरचना वाक्यांश-आधारित मॉडलों की तुलना में सरल है। कोई अलग भाषा मॉडल, अनुवाद मॉडल और पुन: क्रम मॉडल नहीं है, बल्कि केवल एक अनुक्रम मॉडल है जो एक समय में एक शब्द की भविष्यवाणी करता है। हालाँकि, यह अनुक्रम भविष्यवाणी संपूर्ण स्रोत वाक्य और संपूर्ण पहले से निर्मित लक्ष्य अनुक्रम पर आधारित है। एनएमटी मॉडल गहन शिक्षण और प्रतिनिधित्व शिक्षण का उपयोग करते हैं।

शब्द अनुक्रम मॉडलिंग सबसे पहले आम तौर पर आवर्ती न्यूरल नेटवर्क (आरएनएन) का उपयोग करके किया जाता था। एक द्विदिश आवर्तक न्यूरल नेटवर्क, जिसे एनकोडर के रूप में जाना जाता है, का उपयोग न्यूरल नेटवर्क द्वारा दूसरे आरएनएन के लिए स्रोत वाक्य को एनकोड करने के लिए किया जाता है, जिसे डिकोडर के रूप में जाना जाता है, जिसका उपयोग लक्ष्य भाषा (अनुवाद) में शब्दों की भविष्यवाणी करने के लिए किया जाता है।[8]आवर्ती न्यूरल नेटवर्क को लंबे इनपुट को एक वेक्टर में एन्कोड करने में कठिनाइयों का सामना करना पड़ता है। इसकी भरपाई ध्यान तंत्र द्वारा की जा सकती है[9]जो डिकोडर को आउटपुट के प्रत्येक शब्द को उत्पन्न करते समय इनपुट के विभिन्न हिस्सों पर ध्यान केंद्रित करने की अनुमति देता है। इस तरह के ध्यान तंत्र में मुद्दों को संबोधित करने वाले और भी कवरेज मॉडल हैं, जैसे कि पिछली संरेखण जानकारी की अनदेखी के कारण अति-अनुवाद और कम-अनुवाद होता है।[10] कन्वेन्शनल न्यूरल नेटवर्क (कन्वेनेट्स) सैद्धांतिक रूप से लंबे समय तक निरंतर अनुक्रमों के लिए कुछ हद तक बेहतर हैं, लेकिन शुरुआत में कई कमजोरियों के कारण इसका उपयोग नहीं किया गया था। ध्यान तंत्र का उपयोग करके 2017 में इनकी सफलतापूर्वक भरपाई की गई।[11]

ट्रांसफार्मर (मशीन लर्निंग मॉडल)[12] एक ध्यान-आधारित मॉडल, कई भाषा युग्मों के लिए प्रमुख वास्तुकला बना हुआ है।[13] ट्रांसफार्मर मॉडल की आत्म-ध्यान परतें युग्मित अनुक्रमों में सभी शब्दों के बीच संबंधों की जांच करके और उन संबंधों को सीधे मॉडलिंग करके अनुक्रम में शब्दों के बीच निर्भरता सीखती हैं। यह आरएनएन द्वारा नियोजित गेटिंग तंत्र की तुलना में एक सरल दृष्टिकोण है। और इसकी सादगी ने शोधकर्ताओं को कम-संसाधन सेटिंग्स में भी ट्रांसफार्मर मॉडल के साथ उच्च गुणवत्ता वाले अनुवाद मॉडल विकसित करने में सक्षम बनाया है।[14]


अनुप्रयोग

एनएमटी के लिए एक एप्लिकेशन कम संसाधन वाली मशीन अनुवाद है, जब प्रशिक्षण के लिए केवल थोड़ी मात्रा में डेटा और उदाहरण उपलब्ध होते हैं। ऐसा ही एक उपयोग मामला अक्काडियन भाषा और उसकी बोलियाँ, बेबीलोनियन और असीरियन जैसी प्राचीन भाषाओं का है।[15]


एनएमटी के साथ समस्याएं

एनएमटी आउटपुट में पाई जाने वाली सबसे आम अनुवाद समस्या वाक्यों के बीच सामंजस्य की कमी है। एक ही शब्द को अक्सर आसन्न वाक्यों में एक अलग शब्द के साथ अनुवादित किया जाता है, जिससे पाठक को आश्चर्य होता है कि क्या उसी अवधारणा का उल्लेख किया जा रहा है। अन्य समस्याओं में बहुत समान शब्दों का एक ही शब्द के रूप में अनुवाद करना शामिल है (उदाहरण के लिए, कंप्यूटर सुरक्षा शब्दावली में, जर्मन ज़ुट्रिट्सकंट्रोल, ज़ुगांग्सकंट्रोल, ज़ुग्रिफ़्सकंट्रोल तीनों का केवल अभिगम नियंत्रण के रूप में अनुवाद करना, हालांकि वे अलग-अलग प्रकार हैं जो भौतिक अभिगम नियंत्रण, नेटवर्क अभिगम नियंत्रण, होना चाहिए) डेटा एक्सेस कंट्रोल) और जर्मन में संज्ञाओं के बड़े अक्षरों के कारण उचित नामों का सामान्य संज्ञा के रूप में अनुवाद करना।

टिप्पणियाँ

  1. ↑ Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. In: Proceedings of the 3rd International Conference on Learning Representations; 2015 May 7–9; San Diego, USA; 2015.
  2. ↑ Sutskever I, Vinyals O, Le QV. Sequence to sequence learning with neural networks. In: Proceedings of the 27th International Conference on Neural Information Processing Systems; 2014 Dec 8–13; Montreal, QC, Canada; 2014.


संदर्भ

  1. ↑ Kalchbrenner, Nal; Blunsom, Philip (2013). "Recurrent Continuous Translation Models". Proceedings of the Association for Computational Linguistics: 1700–1709.
  2. ↑ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014). "Sequence to sequence learning with neural networks". arXiv:1409.3215 [cs.CL].
  3. ↑ Kyunghyun Cho; Bart van Merrienboer; Dzmitry Bahdanau; Yoshua Bengio (3 September 2014). "On the Properties of Neural Machine Translation: Encoder–Decoder Approaches". arXiv:1409.1259 [cs.CL].
  4. ↑ Haifeng Wang, Hua Wu, Zhongjun He, Liang Huang, Kenneth Ward Church Progress in Machine Translation // Engineering (2021), doi: https://doi.org/10.1016/j.eng.2021.03.023
  5. ↑ Bojar, Ondrej; Chatterjee, Rajen; Federmann, Christian; Graham, Yvette; Haddow, Barry; Huck, Matthias; Yepes, Antonio Jimeno; Koehn, Philipp; Logacheva, Varvara; Monz, Christof; Negri, Matteo; Névéol, Aurélie; Neves, Mariana; Popel, Martin; Post, Matt; Rubino, Raphael; Scarton, Carolina; Specia, Lucia; Turchi, Marco; Verspoor, Karin; Zampieri, Marcos (2016). "Findings of the 2016 Conference on Machine Translation" (PDF). ACL 2016 First Conference on Machine Translation (WMT16). The Association for Computational Linguistics: 131–198. Archived from the original (PDF) on 2018-01-27. Retrieved 2018-01-27.
  6. ↑ 6.0 6.1 "Neural Machine Translation". European Patent Office. 16 July 2018. Retrieved 14 June 2021.
  7. ↑ Wołk, Krzysztof; Marasek, Krzysztof (2015). "Neural-based Machine Translation for Medical Text Domain. Based on European Medicines Agency Leaflet Texts". Procedia Computer Science. 64 (64): 2–9. arXiv:1509.08644. Bibcode:2015arXiv150908644W. doi:10.1016/j.procs.2015.08.456. S2CID 15218663.
  8. ↑ Dzmitry Bahdanau; Cho Kyunghyun; Yoshua Bengio (2014). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL].
  9. ↑ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014-09-01). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL].
  10. ↑ Tu, Zhaopeng; Lu, Zhengdong; Liu, Yang; Liu, Xiaohua; Li, Hang (2016). "न्यूरल मशीन अनुवाद के लिए मॉडलिंग कवरेज". arXiv:1601.04811 [cs.CL].
  11. ↑ Coldewey, Devin (2017-08-29). "DeepL schools other online translators with clever machine learning". TechCrunch. Retrieved 2018-01-27.
  12. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017-12-05). "आपको केवल ध्यान की आवश्यकता है". arXiv:1706.03762 [cs.CL].,
  13. ↑ Barrault, Loïc; Bojar, Ondřej; Costa-jussà, Marta R.; Federmann, Christian; Fishel, Mark; Graham, Yvette; Haddow, Barry; Huck, Matthias; Koehn, Philipp; Malmasi, Shervin; Monz, Christof (August 2019). "Findings of the 2019 Conference on Machine Translation (WMT19)". Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1). Florence, Italy: Association for Computational Linguistics: 1–61. doi:10.18653/v1/W19-5301.
  14. ↑ Wdowiak, Eryk (2021-09-27). "Sicilian Translator: A Recipe for Low-Resource NMT". arXiv:2110.01938 [cs.CL].
  15. ↑ Gutherz, Gai; Gordin, Shai; Sáenz, Luis; Levy, Omer; Berant, Jonathan (2023-05-02). Kearns, Michael (ed.). "न्यूरल मशीन अनुवाद के साथ अक्कादियन का अंग्रेजी में अनुवाद". PNAS Nexus (in English). 2 (5). doi:10.1093/pnasnexus/pgad096. ISSN 2752-6542. PMC 10153418. PMID 37143863.
Retrieved from ‘https://www.vigyanwiki.in/index.php?title=न्यूरल_मशीन_ट्रांसलेशन&oldid=252829’