इन-मेमोरी प्रोसेसिंग: Difference between revisions
No edit summary |
No edit summary |
||
| Line 8: | Line 8: | ||
=== डेटा संरचना === | === डेटा संरचना === | ||
डिस्क-आधारित तकनीक के साथ, डेटा को कंप्यूटर की [[ हार्ड डिस्क ]] पर कई तालिकाओं और बहु-आयामी संरचनाओं के रूप में लोड किया जाता है, जिसके विरुद्ध प्रश्न चलाए जाते हैं। डिस्क-आधारित प्रौद्योगिकियां [[ ओरेकल डेटाबेस ]] मैनेजमेंट सिस्टम (RDBMS) हैं, जो | डिस्क-आधारित तकनीक के साथ, डेटा को कंप्यूटर की [[ हार्ड डिस्क ]] पर कई तालिकाओं और बहु-आयामी संरचनाओं के रूप में लोड किया जाता है, जिसके विरुद्ध प्रश्न चलाए जाते हैं। डिस्क-आधारित प्रौद्योगिकियां [[ ओरेकल डेटाबेस ]] मैनेजमेंट सिस्टम (RDBMS) हैं, जो प्रायः संरचित क्वेरी लैंग्वेज (SQL) पर आधारित होती हैं, जैसे माइक्रोसॉफ्ट एसक्यूएल (Microsoft SQL) सर्वर, [[ MySQL | माई एसक्यूएल (MySQL)]] , ओरेकल डेटाबेस और कई अन्य आरडीबीएमएस (RDBMS) को [[ सॉफ्टवेयर लेनदेन स्मृति ]] की आवश्यकताओं के लिए डिज़ाइन किया गया है। एक डेटाबेस का उपयोग करना जो सम्मिलन और अद्यतनों के साथ-साथ एकत्रीकरण का समर्थन करता है, सामान्यतः (बीआई समाधानों में विशिष्ट) जुड़ता है बहुत धीमा होता है। एक और दोष यह है कि SQL को कुशलता से डेटा की पंक्तियों को प्राप्त करने के लिए डिज़ाइन किया गया है, जबकि BI प्रश्नों में आमतौर पर भारी गणना वाले डेटा की आंशिक पंक्तियों को लाना शामिल होता है। | ||
क्वेरी प्रदर्शन को बेहतर बनाने के लिए, बहुआयामी डेटाबेस या OLAP क्यूब्स - जिसे बहुआयामी ऑनलाइन विश्लेषणात्मक प्रसंस्करण (MOLAP) भी कहा जाता है - का निर्माण किया जाता है। क्यूब डिजाइन करना एक विस्तृत और लंबी प्रक्रिया है, और गतिशील रूप से बदलती व्यावसायिक आवश्यकताओं के अनुकूल होने के [[ ओलाप क्यूब ]] की संरचना को बदलना बोझिल हो सकता है। क्यूब्स विशिष्ट प्रश्नों का उत्तर देने के लिए डेटा के साथ पहले से भरे हुए हैं और हालांकि वे प्रदर्शन को बढ़ाते हैं, फिर भी वे एड-हॉक प्रश्नों का उत्तर देने के लिए उपयुक्त नहीं हैं।<ref>{{cite journal|last=Gill|first=John|title=इन-मेमोरी डाटाबेस टेक्नोलॉजीज के साथ बीआई प्रतिमान को स्थानांतरित करना|journal=Business Intelligence Journal|year=2007|volume=12|issue=2|pages=58–62|url=http://www.highbeam.com/doc/1P3-1636785121.html|archive-url=https://web.archive.org/web/20150924203158/http://www.highbeam.com/doc/1P3-1636785121.html|url-status=dead|archive-date=2015-09-24}}</ref> | क्वेरी प्रदर्शन को बेहतर बनाने के लिए, बहुआयामी डेटाबेस या OLAP क्यूब्स - जिसे बहुआयामी ऑनलाइन विश्लेषणात्मक प्रसंस्करण (MOLAP) भी कहा जाता है - का निर्माण किया जाता है। क्यूब डिजाइन करना एक विस्तृत और लंबी प्रक्रिया है, और गतिशील रूप से बदलती व्यावसायिक आवश्यकताओं के अनुकूल होने के [[ ओलाप क्यूब ]] की संरचना को बदलना बोझिल हो सकता है। क्यूब्स विशिष्ट प्रश्नों का उत्तर देने के लिए डेटा के साथ पहले से भरे हुए हैं और हालांकि वे प्रदर्शन को बढ़ाते हैं, फिर भी वे एड-हॉक प्रश्नों का उत्तर देने के लिए उपयुक्त नहीं हैं।<ref>{{cite journal|last=Gill|first=John|title=इन-मेमोरी डाटाबेस टेक्नोलॉजीज के साथ बीआई प्रतिमान को स्थानांतरित करना|journal=Business Intelligence Journal|year=2007|volume=12|issue=2|pages=58–62|url=http://www.highbeam.com/doc/1P3-1636785121.html|archive-url=https://web.archive.org/web/20150924203158/http://www.highbeam.com/doc/1P3-1636785121.html|url-status=dead|archive-date=2015-09-24}}</ref> | ||
Revision as of 21:30, 8 January 2023
 | This article contains content that is written like an advertisement. (November 2018) (Learn how and when to remove this template message) |
 | This article may need to be rewritten to comply with Wikipedia's quality standards. (January 2020) |
कंप्यूटर विज्ञान में, इन-मेमोरी डेटाबेस में संग्रहीत डाटा प्रासेसिंग के लिए इन-मेमोरी प्रोसेसिंग एक उभरती हुई तकनीक है।[1] इन-मेमोरी प्रोसेसिंग, प्रोसेसर और मुख्य मेमोरी के बीच डेटा की एड्रेसिंग के कारण प्रदर्शन और पावर बाधाओं को दूर करने का एक तरीका है।[2] पुरानी प्रणालियाँ एसक्यूएल (SQL) क्वेरी भाषा का उपयोग करते हुए डिस्क स्टोरेज और रिलेशनल डेटाबेस पर आधारित हैं, लेकिन इन्हें व्यावसायिक बुद्धिमत्ता (BI) की जरूरतों को पूरा करने के लिए अपर्याप्त माना जाता है। क्योंकि संग्रहीत डेटा को रैंडम एक्सेस मेमोरी (रैम) या फ्लैश मेमोरी में रखे जाने पर शीघ्रता से एक्सेस किया जाता है, इन-मेमोरी प्रोसेसिंग डेटा को रीयल-टाइम कंप्यूटिंग में विश्लेषण करने की अनुमति देता है, जिससे व्यापार में तेजी से रिपोर्टिंग और निर्णय लेने में मदद मिलती है।[3][4]
डिस्क-आधारित बिजनेस इंटेलिजेंस
डेटा संरचना
डिस्क-आधारित तकनीक के साथ, डेटा को कंप्यूटर की हार्ड डिस्क पर कई तालिकाओं और बहु-आयामी संरचनाओं के रूप में लोड किया जाता है, जिसके विरुद्ध प्रश्न चलाए जाते हैं। डिस्क-आधारित प्रौद्योगिकियां ओरेकल डेटाबेस मैनेजमेंट सिस्टम (RDBMS) हैं, जो प्रायः संरचित क्वेरी लैंग्वेज (SQL) पर आधारित होती हैं, जैसे माइक्रोसॉफ्ट एसक्यूएल (Microsoft SQL) सर्वर, माई एसक्यूएल (MySQL) , ओरेकल डेटाबेस और कई अन्य आरडीबीएमएस (RDBMS) को सॉफ्टवेयर लेनदेन स्मृति की आवश्यकताओं के लिए डिज़ाइन किया गया है। एक डेटाबेस का उपयोग करना जो सम्मिलन और अद्यतनों के साथ-साथ एकत्रीकरण का समर्थन करता है, सामान्यतः (बीआई समाधानों में विशिष्ट) जुड़ता है बहुत धीमा होता है। एक और दोष यह है कि SQL को कुशलता से डेटा की पंक्तियों को प्राप्त करने के लिए डिज़ाइन किया गया है, जबकि BI प्रश्नों में आमतौर पर भारी गणना वाले डेटा की आंशिक पंक्तियों को लाना शामिल होता है।
क्वेरी प्रदर्शन को बेहतर बनाने के लिए, बहुआयामी डेटाबेस या OLAP क्यूब्स - जिसे बहुआयामी ऑनलाइन विश्लेषणात्मक प्रसंस्करण (MOLAP) भी कहा जाता है - का निर्माण किया जाता है। क्यूब डिजाइन करना एक विस्तृत और लंबी प्रक्रिया है, और गतिशील रूप से बदलती व्यावसायिक आवश्यकताओं के अनुकूल होने के ओलाप क्यूब की संरचना को बदलना बोझिल हो सकता है। क्यूब्स विशिष्ट प्रश्नों का उत्तर देने के लिए डेटा के साथ पहले से भरे हुए हैं और हालांकि वे प्रदर्शन को बढ़ाते हैं, फिर भी वे एड-हॉक प्रश्नों का उत्तर देने के लिए उपयुक्त नहीं हैं।[5] सूचना प्रौद्योगिकी (आईटी) कर्मचारी डेटाबेस के अनुकूलन, सूचकांक (डेटाबेस) ईएस और एग्रीगेट (डेटा वेयरहाउस) के निर्माण, क्यूब्स और स्टार स्कीमा , मॉडलिंग की दिनांक और क्वेरी विश्लेषण के निर्माण पर पर्याप्त विकास समय व्यतीत करते हैं।[6]
प्रसंस्करण गति
RAM से उसी डेटा को पढ़ने की तुलना में हार्ड डिस्क से डेटा पढ़ना बहुत धीमा (संभवतः सैकड़ों बार) होता है। विशेष रूप से बड़ी मात्रा में डेटा का विश्लेषण करते समय, प्रदर्शन गंभीर रूप से खराब हो जाता है। हालांकि एसक्यूएल एक बहुत शक्तिशाली उपकरण है, जटिल प्रश्नों को निष्पादित करने में अपेक्षाकृत लंबा समय लगता है और अक्सर लेनदेन संबंधी प्रसंस्करण के प्रदर्शन को कम करने में परिणाम होता है। स्वीकार्य प्रतिक्रिया समय के भीतर परिणाम प्राप्त करने के लिए, कई डेटा वेयरहाउस को सारांश की पूर्व-गणना करने और केवल विशिष्ट प्रश्नों का उत्तर देने के लिए डिज़ाइन किया गया है। प्रदर्शन बढ़ाने के लिए अनुकूलित एकत्रीकरण एल्गोरिदम की आवश्यकता होती है।
इन-मेमोरी प्रोसेसिंग टूल्स
मेमोरी प्रोसेसिंग को पारंपरिक डेटाबेस जैसे Oracle डेटाबेस, IBM Db2 या Microsoft SQL सर्वर या NoSQL प्रसाद जैसे इन-मेमोरी डेटा ग्रिड जैसे हेज़ेलकास्ट , Infinispan , Oracle Coherence या ScaleOut सॉफ़्टवेयर के माध्यम से पूरा किया जा सकता है। इन-मेमोरी डेटाबेस और डेटा ग्रिड दोनों के साथ, सभी जानकारी प्रारंभ में हार्ड डिस्क के बजाय मेमोरी रैम या फ्लैश मेमोरी में लोड की जाती है। डेटा ग्रिड प्रसंस्करण के साथ संबंधपरक डेटाबेस की तुलना में परिमाण के तीन क्रमों में तेज़ी से होता है जिसमें एसीआईडी जैसी उन्नत कार्यक्षमता होती है जो अतिरिक्त कार्यक्षमता के लिए मुआवजे में प्रदर्शन को कम करती है। स्तंभ-उन्मुख DBMS का आगमन, जो समान जानकारी को एक साथ संग्रहीत करता है, डेटा को अधिक कुशलता से और अधिक डेटा संपीड़न अनुपात के साथ संग्रहीत करने की अनुमति देता है। यह बड़ी मात्रा में डेटा को एक ही भौतिक स्थान में संग्रहीत करने की अनुमति देता है, एक क्वेरी करने और प्रसंस्करण गति बढ़ाने के लिए आवश्यक मेमोरी की मात्रा को कम करता है। कई उपयोगकर्ताओं और सॉफ्टवेयर विक्रेताओं ने अपने सिस्टम में फ्लैश मेमोरी को एकीकृत किया है ताकि सिस्टम को आर्थिक रूप से बड़े डेटा सेट को स्केल करने की अनुमति मिल सके। Oracle बेहतर प्रदर्शन के लिए Oracle Exadata उत्पादों में फ्लैश मेमोरी को एकीकृत कर रहा है। Microsoft SQL Server 2012 BI/डेटा वेयरहाउसिंग सॉफ़्टवेयर को 20TB से अधिक के डेटा सेट की इन-मेमोरी प्रोसेसिंग को सक्षम करने के लिए वायलिन मेमोरी फ्लैश मेमोरी एरेज़ के साथ जोड़ा गया है।[7] उपयोगकर्ता सिस्टम की मेमोरी में लोड किए गए डेटा को क्वेरी करते हैं, जिससे धीमे डेटाबेस एक्सेस और प्रदर्शन की बाधाओं से बचा जा सकता है। यह कैशिंग (कंप्यूटिंग) से भिन्न है, क्वेरी प्रदर्शन को गति देने के लिए एक बहुत व्यापक रूप से उपयोग की जाने वाली विधि, जिसमें कैश बहुत विशिष्ट पूर्व-परिभाषित संगठित डेटा के सबसेट हैं। इन-मेमोरी टूल्स के साथ, विश्लेषण के लिए उपलब्ध डेटा डेटा मार्ट या छोटे डेटा वेयरहाउस जितना बड़ा हो सकता है जो पूरी तरह से मेमोरी में होता है। इसे कई समवर्ती उपयोगकर्ताओं या अनुप्रयोगों द्वारा एक विस्तृत स्तर पर जल्दी से एक्सेस किया जा सकता है और उन्नत एनालिटिक्स और किसी एप्लिकेशन की गति को बढ़ाने और बढ़ाने की क्षमता प्रदान करता है। सैद्धांतिक रूप से, डिस्क की तुलना में डेटा एक्सेस स्पीड में सुधार 10,000 से 1,000,000 गुना है।[citation needed] यह आईटी कर्मचारियों द्वारा प्रदर्शन ट्यूनिंग की आवश्यकता को भी कम करता है और अंतिम उपयोगकर्ताओं के लिए तेज़ सेवा प्रदान करता है।
इन-मेमोरी प्रोसेसिंग टेक्नोलॉजी के लाभ
कंप्यूटर प्रौद्योगिकी और व्यावसायिक आवश्यकताओं में कुछ विकासों ने इन-मेमोरी प्रौद्योगिकी के सापेक्ष लाभों को बढ़ाने की प्रवृत्ति दिखाई है।[8]
- मूर के नियम के अनुसार हार्डवेयर उत्तरोत्तर सस्ता और उच्च प्रदर्शन वाला होता जाता है। कंप्यूटिंग शक्ति हर दो से तीन साल में दोगुनी हो जाती है जबकि लागत में कमी आती है। सीपीयू प्रोसेसिंग, मेमोरी और डिस्क स्टोरेज सभी इस कानून के कुछ बदलाव के अधीन हैं। मल्टी-कोर प्रोसेसर | मल्टी-कोर आर्किटेक्चर, एनएएनडी फ्लैश मेमोरी, समानांतर कंप्यूटिंग , और बढ़ी हुई मेमोरी प्रोसेसिंग क्षमता जैसे हार्डवेयर इनोवेशन, सॉफ्टवेयर इनोवेशन जैसे कॉलम सेंट्रिक डेटाबेस, कम्प्रेशन तकनीक और एग्रीगेट टेबल को संभालने के अलावा, सभी ने इसमें योगदान दिया है। इन-मेमोरी उत्पादों की मांग।[9]
- 64-बिट ऑपरेटिंग सिस्टम का आगमन, जो 32-बिट सिस्टम पर 2 या 4 जीबी की तुलना में कहीं अधिक रैम (100 जीबी या अधिक तक) तक पहुंच की अनुमति देता है। भंडारण और विश्लेषण के लिए टेराबाइट्स (1 टीबी = 1,024 जीबी) स्थान प्रदान करके, 64-बिट ऑपरेटिंग सिस्टम इन-मेमोरी प्रोसेसिंग स्केलेबल बनाते हैं। फ्लैश मेमोरी का उपयोग सिस्टम को आर्थिक रूप से कई टेराबाइट्स तक स्केल करने में सक्षम बनाता है।
- डेटा की बढ़ती मात्रा का अर्थ है कि पारंपरिक डेटा वेयरहाउस अब डेटा को समय पर और सटीक तरीके से संसाधित करने में सक्षम नहीं हैं। एक्सट्रैक्ट, ट्रांसफॉर्म, लोड (ETL) प्रक्रिया जो समय-समय पर डेटा वेयरहाउस को ऑपरेशनल डेटा के साथ अपडेट करती है, उसे पूरा होने में कुछ घंटों से लेकर हफ्तों तक का समय लग सकता है। इसलिए, किसी भी समय डेटा कम से कम एक दिन पुराना होता है। इन-मेमोरी प्रोसेसिंग रीयल टाइम रिपोर्टिंग के लिए डेटा के टेराबाइट्स तक त्वरित पहुंच को सक्षम बनाता है।
- इन-मेमोरी प्रोसेसिंग पारंपरिक बीआई टूल्स की तुलना में कम लागत पर उपलब्ध है, और इसे अधिक आसानी से तैनात और बनाए रखा जा सकता है। गार्टनर के सर्वेक्षण के अनुसार,[citation needed] पारंपरिक बीआई उपकरणों को तैनात करने में 17 महीने तक का समय लग सकता है। कार्यान्वयन के समय को तेज करने के लिए कई डेटा वेयरहाउस विक्रेता पारंपरिक बीआई पर इन-मेमोरी तकनीक का चयन कर रहे हैं।
- बिजली की खपत में कमी और कम पहुंच विलंबता, और अधिक मेमोरी बैंडविड्थ और हार्डवेयर समानता के कारण थ्रूपुट में वृद्धि।[10]
व्यापार में आवेदन
इन-मेमोरी उत्पादों की एक श्रृंखला मौजूदा डेटा स्रोतों से जुड़ने की क्षमता प्रदान करती है और दृष्टिगत रूप से समृद्ध इंटरैक्टिव डैशबोर्ड तक पहुंच प्रदान करती है। यह व्यापार विश्लेषकों और अंतिम उपयोगकर्ताओं को अधिक प्रशिक्षण या विशेषज्ञता के बिना कस्टम रिपोर्ट और प्रश्न बनाने की अनुमति देता है। आसान नेविगेशन और तुरंत प्रश्नों को संशोधित करने की क्षमता कई उपयोगकर्ताओं के लिए फायदेमंद है। चूंकि ये डैशबोर्ड ताज़ा डेटा से आबाद हो सकते हैं, इसलिए उपयोगकर्ताओं के पास रीयल टाइम डेटा तक पहुंच होती है और वे मिनटों में रिपोर्ट बना सकते हैं। कॉल सेंटर और वेयरहाउस प्रबंधन में इन-मेमोरी प्रोसेसिंग से विशेष लाभ हो सकता है।
इन-मेमोरी प्रोसेसिंग के साथ, स्रोत डेटाबेस को हर बार एक क्वेरी चलाने के लिए डेटाबेस तक पहुँचने के बजाय केवल एक बार क्वेरी की जाती है, जिससे दोहराए जाने वाले प्रसंस्करण को समाप्त किया जाता है और डेटाबेस सर्वर पर बोझ कम होता है। इन-मेमोरी डेटाबेस को रातोंरात पॉप्युलेट करने के लिए शेड्यूल करके, डेटाबेस सर्वर को पीक आवर्स के दौरान परिचालन उद्देश्यों के लिए उपयोग किया जा सकता है।
इन-मेमोरी तकनीक को अपनाना
बड़ी संख्या में उपयोगकर्ताओं के साथ, इन-मेमोरी कॉन्फ़िगरेशन के लिए बड़ी मात्रा में रैम की आवश्यकता होती है, जो बदले में हार्डवेयर लागत को प्रभावित करती है। निवेश की उन स्थितियों में उपयुक्त होने की अधिक संभावना है जहां क्वेरी प्रतिक्रिया की गति एक उच्च प्राथमिकता है, और जहां डेटा वॉल्यूम में उल्लेखनीय वृद्धि हुई है और रिपोर्टिंग सुविधाओं की मांग में वृद्धि हुई है; यह अभी भी लागत प्रभावी नहीं हो सकता है जहां सूचना तेजी से परिवर्तन के अधीन नहीं है। कंप्यूटर सुरक्षा एक और विचार है, क्योंकि इन-मेमोरी टूल भारी मात्रा में डेटा को अंतिम उपयोगकर्ताओं के लिए उजागर करते हैं। निर्माता यह सुनिश्चित करने की सलाह देते हैं कि केवल अधिकृत उपयोगकर्ताओं को ही डेटा तक पहुंच दी जाए।
यह भी देखें
संदर्भ
- ↑ Ghose, S. (November 2019). "प्रोसेसिंग-इन-मेमोरी: ए वर्कलोड-ड्रिवन पर्सपेक्टिव" (PDF). IBM Journal of Research and Development. 63 (6): 3:1-19.
- ↑ Chi, Ping; Li, Shuangchen; Xu, Cong; Zhang, Tao; Zhao, Jishen; Liu, Yongpan; Wang, Yu; Xie, Yuan (June 2016). "प्राइम: रेराम-आधारित मेन मेमोरी में न्यूरल नेटवर्क कंप्यूटेशन के लिए एक नोवेल प्रोसेसिंग-इन-मेमोरी आर्किटेक्चर". 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA). Seoul, South Korea: IEEE: 27–39. doi:10.1109/ISCA.2016.13. ISBN 978-1-4673-8947-1.
- ↑ Plattner, Hasso; Zeier, Alexander (2012). इन-मेमोरी डेटा प्रबंधन: प्रौद्योगिकी और अनुप्रयोग (in English). Springer Science & Business Media. ISBN 9783642295744.
- ↑ Zhang, Hao; Gang Chen; Beng Chin Ooi; Kian-Lee Tan; Meihui Zhang (July 2015). "इन-मेमोरी बिग डेटा मैनेजमेंट एंड प्रोसेसिंग: ए सर्वे". IEEE Transactions on Knowledge and Data Engineering. 27 (7): 1920–1948. doi:10.1109/TKDE.2015.2427795.
- ↑ Gill, John (2007). "इन-मेमोरी डाटाबेस टेक्नोलॉजीज के साथ बीआई प्रतिमान को स्थानांतरित करना". Business Intelligence Journal. 12 (2): 58–62. Archived from the original on 2015-09-24.
- ↑ Earls, A (2011). इन-मेमोरी एनालिटिक्स टूल के मूल्यांकन, परिनियोजन और प्रबंधन पर युक्तियाँ (PDF). Tableau. Archived from the original (PDF) on 2012-04-25.
- ↑ "एसक्यूएल सर्वर 2012 वायलिन मेमोरी के साथ" (PDF). Microsoft. Archived from the original (PDF) on 2013-03-09. Retrieved 2013-06-01.
- ↑ "इन_मेमोरी एनालिटिक्स". yellowfin. p. 6.
- ↑ Kote, Sparjan. "बिजनेस इंटेलिजेंस में इन-मेमोरी कंप्यूटिंग". Archived from the original on April 24, 2011.
- ↑ Upchurch, E.; Sterling, T.; Brockman, J. (2004). "उन्नत पीआईएम आर्किटेक्चर डिज़ाइन ट्रेडऑफ़ का विश्लेषण और मॉडलिंग". Proceedings of the ACM/IEEE SC2004 Conference. Pittsburgh, PA, USA: IEEE: 12–12. doi:10.1109/SC.2004.11. ISBN 978-0-7695-2153-4.
