इन-मेमोरी प्रोसेसिंग: Difference between revisions

From Vigyanwiki
(No difference)

Revision as of 07:46, 28 January 2023

कंप्यूटर विज्ञान में, इन-मेमोरी डेटाबेस में संग्रहीत डाटा प्रासेसिंग के लिए इन-मेमोरी प्रोसेसिंग तकनीक है।[1] इन-मेमोरी प्रोसेसिंग, प्रोसेसर और मुख्य मेमोरी के बीच डेटा की एड्रेसिंग के कारण प्रदर्शन और पावर बाधाओं को दूर करने का उपाय है।[2] पुरानी प्रणालियाँ एसक्यूएल (SQL) क्वेरी भाषा का उपयोग करते हुए डिस्क स्टोरेज और रिलेशनल डेटाबेस पर आधारित हैं, लेकिन इन्हें व्यावसायिक बुद्धिमत्ता (BI) की आवश्यकताओं को पूर्ण करने के लिए अपर्याप्त माना जाता है। क्योंकि संग्रहीत डेटा को रैंडम एक्सेस मेमोरी (रैम) या फ्लैश मेमोरी में रखे जाने पर शीघ्रता से एक्सेस किया जाता है, इन-मेमोरी प्रोसेसिंग डेटा को रीयल-टाइम कंप्यूटिंग में विश्लेषण करने की अनुमति देता है, जिससे व्यापार में तीव्रता से रिपोर्टिंग और निर्णय लेने में सहायता मिलती है।[3][4]


डिस्क-आधारित बिजनेस इंटेलिजेंस

डेटा संरचना

डिस्क-आधारित तकनीक के साथ, डेटा को कंप्यूटर की हार्ड डिस्क पर कई तालिकाओं और बहु-आयामी संरचनाओं के रूप में लोड किया जाता है, जिसके विरुद्ध प्रश्न चलाए जाते हैं। डिस्क-आधारित प्रौद्योगिकियाँ रिलेशनल डेटाबेस मैनेजमेंट सिस्टम (आरडीबीएमएस) हैं, जो प्रायः संरचित क्वेरी लैंग्वेज (SQL) पर आधारित होती हैं, जैसे माइक्रोसॉफ्ट एसक्यूएल (माइक्रोसॉफ्ट एसक्यूएल) सर्वर, माई एसक्यूएल (माई एसक्यूएल) , ओरेकल डेटाबेस और कई अन्य आरडीबीएमएस (आरडीबीएमएस) को सॉफ्टवेयर लेनदेन स्मृति की आवश्यकताओं के लिए डिज़ाइन किया गया है। डेटाबेस का उपयोग करना जो सम्मिलन और अद्यतनों के साथ-साथ एकत्रीकरण का समर्थन करता है, सामान्यतः (बीआई समाधानों में विशिष्ट) जुड़ता है और बहुत धीमा होता है। और दोष यह है कि एसक्यूएल को कुशलता से डेटा की पंक्तियों को प्राप्त करने के लिए डिज़ाइन किया गया है, जबकि बीआई (BI) प्रश्नों में सामान्यतः भारी गणना वाले डेटा को आंशिक पंक्तियों में लाना सम्मलित होता है।

क्वेरी प्रदर्शन को अच्छा बनाने के लिए, बहुआयामी डेटाबेस या ओलाप (ओलाप) क्यूब्स का निर्माण किया जाता है- जिसे बहुआयामी ऑनलाइन विश्लेषणात्मक प्रसंस्करण (ओलाप) भी कहा जाता है I क्यूब डिजाइन करना विस्तृत और लंबी प्रक्रिया है, और गतिशील रूप से परिवर्तित व्यावसायिक आवश्यकताओं के अनुकूल होने के ओलाप क्यूब की संरचना को परिवर्तित कठिन हो सकता है। क्यूब्स विशिष्ट प्रश्नों का उत्तर देने के लिए डेटा के साथ पहले से भरे हुए हैं चूँकि वे प्रदर्शन को बढ़ाते हैं, फिर भी वे एड-हॉक प्रश्नों का उत्तर देने के लिए उपयुक्त नहीं हैं।[5]

सूचना प्रौद्योगिकी (आईटी) कर्मचारी डेटाबेस को अनुकूलित करने, अनुक्रमणिका और समुच्चय का निर्माण करने, क्यूब्स और स्टार स्कीमा ,डिजाइन करने, डेटा मॉडलिंग और क्वेरी विश्लेषण के निर्माण पर पर्याप्त विकास समय व्यतीत करते हैं।[6]


प्रसंस्करण गति

हार्ड डिस्क से डेटा पढ़ना रैम (RAM) से उसी डेटा को पढ़ने की तुलना में बहुत धीमा (संभवतः सैकड़ों बार) होता है। विशेष रूप से बड़ी मात्रा में डेटा का विश्लेषण करते समय, प्रदर्शन गंभीर रूप से व्यर्थ हो जाता है। चूँकि एसक्यूएल अधिक शक्तिशाली उपकरण है, जटिल प्रश्नों को निष्पादित करने में अपेक्षाकृत लंबा समय लगता है और प्रायः लेन-देन संबंधी प्रसंस्करण के प्रदर्शन को कम करने में परिणामी होता है। स्वीकार्य प्रतिक्रिया समय के भीतर परिणाम प्राप्त करने के लिए, कई डेटा वेयरहाउस को सारांश की पूर्व-गणना करने और केवल विशिष्ट प्रश्नों का उत्तर देने के लिए डिज़ाइन किया गया है। प्रदर्शन बढ़ाने के लिए अनुकूलित एकत्रीकरण एल्गोरिदम की आवश्यकता होती है।

इन-मेमोरी प्रोसेसिंग उपकरण

मेमोरी प्रोसेसिंग को पारंपरिक डेटाबेस जैसे ओरेकल डेटाबेस, आईबीएम डीबी2 (IBM Db2) या माइक्रोसॉफ्ट एसक्यूएल सर्वर या नोएसक्यूएल (NoSQL) ऑफरिंग्स जैसे इन-मेमोरी डेटा ग्रिड जैसे हेज़ेलकास्ट , इन्फिनिसन , ओरेकल सुसंगतता या स्केलआउट सॉफ़्टवेयर के माध्यम से पूर्ण किया जा सकता है। इन-मेमोरी डेटाबेस और डेटा ग्रिड दोनों के साथ, सभी जानकारी प्रारंभ में हार्ड डिस्क के अतिरिक्त मेमोरी रैम या फ्लैश मेमोरी में लोड की जाती है। डेटा ग्रिड प्रसंस्करण के साथ संबंधपरक डेटाबेस की तुलना में परिमाण तीन क्रमों में तीव्रता से होता है जिसमें एसीआईडी ​​​​जैसी उन्नत कार्यक्षमता होती है जो अतिरिक्त कार्यक्षमता के लिए प्रदर्शन को कम करती है। स्तंभ-उन्मुख डीबीएमएस का आगमन, जो समान जानकारी को संग्रहीत करता है, डेटा को अधिक कुशलता से और अधिक डेटा संपीड़न अनुपात के साथ संग्रहीत करने की अनुमति देता है। यह बड़ी मात्रा में डेटा को भौतिक स्थान में संग्रहीत करने की अनुमति देता है, क्वेरी करने और प्रसंस्करण गति बढ़ाने के लिए आवश्यक मेमोरी की मात्रा को कम करता है। कई उपयोगकर्ताओं और सॉफ्टवेयर विक्रेताओं ने अपने सिस्टम में फ्लैश मेमोरी को एकीकृत किया है जिससे सिस्टम को आर्थिक रूप से बड़े डेटा को स्केल करने की अनुमति मिल सके। ओरेकल अच्छे प्रदर्शन के लिए ओरेकल एक्सडाटा उत्पादों में फ्लैश मेमोरी को एकीकृत करता है। माइक्रोसॉफ्ट एसक्यूएल सर्वर 2012 BI/डेटा वेयरहाउसिंग सॉफ़्टवेयर को 20TB से अधिक के डेटा सेट की इन-मेमोरी प्रोसेसिंग को सक्षम करने के लिए वायलिन मेमोरी को फ्लैश मेमोरी के साथ जोड़ा गया है।[7]

उपयोगकर्ता सिस्टम की मेमोरी में लोड किए गए डेटा को क्वेरी करते हैं, जिससे धीमे डेटाबेस एक्सेस और प्रदर्शन की बाधाओं से बचा जा सकता है। यह कैचिंग (कंप्यूटिंग) से भिन्न है, क्वेरी प्रदर्शन को गति देने के लिए अधिक व्यापक रूप से उपयोग की जाने वाली विधि, जिसमें कचेस अधिक विशिष्ट पूर्व-परिभाषित संगठित डेटा के सब-सेट हैं। इन-मेमोरी उपकरण के साथ, विश्लेषण के लिए उपलब्ध डेटा को डेटा मार्ट या लघु डेटा वेयरहाउस जितना बड़ा हो सकता है जो पूर्ण रूप से मेमोरी में होता है। इसे कई समवर्ती उपयोगकर्ताओं या अनुप्रयोगों द्वारा विस्तृत स्तर पर शीघ्रता से एक्सेस किया जा सकता है और उन्नत एनालिटिक्स और किसी एप्लिकेशन की गति को बढ़ाने की क्षमता प्रदान करता है। सैद्धांतिक रूप से, डिस्क की तुलना में डेटा एक्सेस गति में सुधार 10,000 से 1,000,000 गुना है। यह आईटी कर्मचारियों द्वारा प्रदर्शन ट्यूनिंग की आवश्यकता को भी कम करता है और अंतिम उपयोगकर्ताओं के लिए तीव्र सेवा प्रदान करता है।

इन-मेमोरी प्रोसेसिंग टेक्नोलॉजी के लाभ

कंप्यूटर प्रौद्योगिकी और व्यावसायिक आवश्यकताओं में कुछ विकासों ने इन-मेमोरी प्रौद्योगिकी के सापेक्ष लाभों को बढ़ाने की प्रवृत्ति दिखाई है।[8]

  • मूर के नियम के अनुसार हार्डवेयर उत्तरोत्तर साधारण और उच्च प्रदर्शन वाला होता जाता है। कंप्यूटिंग शक्ति प्रत्येक दो से तीन साल में दोगुनी हो जाती है जबकि व्यय में कमी आती है। सीपीयू प्रोसेसिंग, मेमोरी और डिस्क स्टोरेज सभी इस कानून के परिवर्तन के अधीन हैं। मल्टी-कोर प्रोसेसर आर्किटेक्चर, एनएएनडी फ्लैश मेमोरी, समानांतर कंप्यूटिंग , और बढ़ी हुई मेमोरी प्रोसेसिंग क्षमता जैसे हार्डवेयर इनोवेशन, सॉफ्टवेयर इनोवेशन जैसे कॉलम सेंट्रिक डेटाबेस, कम्प्रेशन तकनीक और एग्रीगेट टेबल को संभालने के अतिरिक्त, सभी ने इन-मेमोरी के उत्पाद में योगदान दिया है। ।[9]
  • 64-बिट ऑपरेटिंग सिस्टम का आगमन, जो 32-बिट सिस्टम पर 2 या 4 जीबी की तुलना में अधिक रैम (100 जीबी या अधिक) को अनुमति देता है। भंडारण और विश्लेषण के लिए टेराबाइट्स (1 टीबी = 1,024 जीबी) स्थान प्रदान करके, 64-बिट ऑपरेटिंग सिस्टम इन-मेमोरी प्रोसेसिंग स्केलेबल बनाते हैं। फ्लैश मेमोरी का उपयोग सिस्टम को आर्थिक रूप से कई टेराबाइट्स तक स्केल करने में सक्षम बनाता है।
  • डेटा की बढ़ती मात्रा का अर्थ है कि पारंपरिक डेटा वेयरहाउस डेटा को समय पर और सटीक उपाय से संसाधित करने में सक्षम नहीं हैं। एक्सट्रैक्ट, ट्रांसफॉर्म, लोड (ETL) प्रक्रिया जो समय-समय पर डेटा वेयरहाउस को ऑपरेशनल डेटा के साथ अपडेट करती है, उसे पूर्ण होने में कुछ घंटों से लेकर सप्ताहों तक का समय लग सकता है। इसलिए, किसी भी समय डेटा कम से कम एक दिन पुराना होता है। इन-मेमोरी प्रोसेसिंग रीयल टाइम रिपोर्टिंग के लिए डेटा के टेराबाइट्स तक त्वरित पहुंच को सक्षम बनाता है।
  • इन-मेमोरी प्रोसेसिंग पारंपरिक बीआई उपकरण की तुलना में कम व्यय पर उपलब्ध है, और इसे अधिक सरलता से परिनियोजित बनाए रखा जा सकता है। गार्टनर के सर्वेक्षण के अनुसार,[citation needed] पारंपरिक बीआई उपकरणों को परिनियोजित करने में 17 महीने का समय लग सकता है। कार्यान्वयन के समय को तीव्र करने के लिए कई डेटा वेयरहाउस विक्रेता पारंपरिक बीआई पर इन-मेमोरी तकनीक का चयन कर रहे हैं।
  • कम पहुंच विलंबता, अधिक मेमोरी बैंडविड्थ और हार्डवेयर समानता के कारण बिजली की व्यय में कमी आती है और थ्रूपुट में वृद्धि होती है।[10]


व्यापार में आवेदन

इन-मेमोरी उत्पादों की श्रृंखला में उपस्तिथ डेटा स्रोतों से जुड़ने की क्षमता प्रदान करते है और दृष्टिगत रूप से समृद्ध इंटरैक्टिव डैशबोर्ड तक पहुंच प्रदान करती है। यह व्यापार विश्लेषकों और अंतिम उपयोगकर्ताओं को अधिक प्रशिक्षण या विशेषज्ञता के बिना कस्टम रिपोर्ट और प्रश्न बनाने की अनुमति देता है। सरल नेविगेशन और अत्यंत शीघ्र प्रश्नों को संशोधित करने की क्षमता कई उपयोगकर्ताओं के लिए लाभकारी है। चूंकि ये डैशबोर्ड नए डेटा से मुक्त हो सकते हैं, इसलिए उपयोगकर्ताओं के पास रीयल टाइम डेटा तक पहुंच होती है और वे मिनटों में रिपोर्ट बना सकते हैं। कॉल सेंटर और वेयरहाउस प्रबंधन में इन-मेमोरी प्रोसेसिंग से विशेष लाभ हो सकता है।

इन-मेमोरी प्रोसेसिंग के साथ, स्रोत डेटाबेस को प्रत्येक बार क्वेरी चलाने के लिए डेटाबेस तक पहुँचने के अतिरिक्त केवल क्वेरी की जाती है, जिससे दोहराए जाने वाले प्रसंस्करण को समाप्त किया जाता है और डेटाबेस सर्वर पर भार कम होता है। इन-मेमोरी डेटाबेस को प्रसिद्ध करने के लिए डेटाबेस सर्वर को व्यस्ततम समय के अंतराल परिचालन उद्देश्यों के लिए उपयोग किया जा सकता है।

इन-मेमोरी तकनीक को स्वीकार करना

बड़ी संख्या में उपयोगकर्ताओं के साथ, इन-मेमोरी कॉन्फ़िगरेशन के लिए बड़ी मात्रा में रैम की आवश्यकता होती है, जो हार्डवेयर व्यय को प्रभावित करती है। निवेश की उन स्थितियों में उपयुक्त होने की अधिक संभावना है जहां क्वेरी की गति को उच्च प्राथमिकता है, और जहां डेटा वॉल्यूम और रिपोर्टिंग सुविधाओं में वृद्धि हुई है; यह अभी भी व्यय प्रभावी नहीं हो सकता है जहां सूचना तीव्रता से परिवर्तन के अधीन नहीं है। कंप्यूटर सुरक्षा विचार है, क्योंकि इन-मेमोरी उपकरण भारी मात्रा में डेटा को अंतिम उपयोगकर्ताओं के लिए उजागर करते हैं। निर्माता यह सुनिश्चित करने की विचार देते हैं कि केवल अधिकृत उपयोगकर्ताओं को ही डेटा तक पहुंच दी जाए।

यह भी देखें


संदर्भ

  1. ↑ Ghose, S. (November 2019). "प्रोसेसिंग-इन-मेमोरी: ए वर्कलोड-ड्रिवन पर्सपेक्टिव" (PDF). IBM Journal of Research and Development. 63 (6): 3:1-19.
  2. ↑ Chi, Ping; Li, Shuangchen; Xu, Cong; Zhang, Tao; Zhao, Jishen; Liu, Yongpan; Wang, Yu; Xie, Yuan (June 2016). "प्राइम: रेराम-आधारित मेन मेमोरी में न्यूरल नेटवर्क कंप्यूटेशन के लिए एक नोवेल प्रोसेसिंग-इन-मेमोरी आर्किटेक्चर". 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA). Seoul, South Korea: IEEE: 27–39. doi:10.1109/ISCA.2016.13. ISBN 978-1-4673-8947-1.
  3. ↑ Plattner, Hasso; Zeier, Alexander (2012). इन-मेमोरी डेटा प्रबंधन: प्रौद्योगिकी और अनुप्रयोग (in English). Springer Science & Business Media. ISBN 9783642295744.
  4. ↑ Zhang, Hao; Gang Chen; Beng Chin Ooi; Kian-Lee Tan; Meihui Zhang (July 2015). "इन-मेमोरी बिग डेटा मैनेजमेंट एंड प्रोसेसिंग: ए सर्वे". IEEE Transactions on Knowledge and Data Engineering. 27 (7): 1920–1948. doi:10.1109/TKDE.2015.2427795.
  5. ↑ Gill, John (2007). "इन-मेमोरी डाटाबेस टेक्नोलॉजीज के साथ बीआई प्रतिमान को स्थानांतरित करना". Business Intelligence Journal. 12 (2): 58–62. Archived from the original on 2015-09-24.
  6. ↑ Earls, A (2011). इन-मेमोरी एनालिटिक्स टूल के मूल्यांकन, परिनियोजन और प्रबंधन पर युक्तियाँ (PDF). Tableau. Archived from the original (PDF) on 2012-04-25.
  7. ↑ "एसक्यूएल सर्वर 2012 वायलिन मेमोरी के साथ" (PDF). Microsoft. Archived from the original (PDF) on 2013-03-09. Retrieved 2013-06-01.
  8. ↑ "इन_मेमोरी एनालिटिक्स". yellowfin. p. 6.
  9. ↑ Kote, Sparjan. "बिजनेस इंटेलिजेंस में इन-मेमोरी कंप्यूटिंग". Archived from the original on April 24, 2011.
  10. ↑ Upchurch, E.; Sterling, T.; Brockman, J. (2004). "उन्नत पीआईएम आर्किटेक्चर डिज़ाइन ट्रेडऑफ़ का विश्लेषण और मॉडलिंग". Proceedings of the ACM/IEEE SC2004 Conference. Pittsburgh, PA, USA: IEEE: 12–12. doi:10.1109/SC.2004.11. ISBN 978-0-7695-2153-4.
Retrieved from ‘https://www.vigyanwiki.in/index.php?title=इन-मेमोरी_प्रोसेसिंग&oldid=69841’