एक्सट्रेक्ट, ट्रांसफॉर्म, लोड: Difference between revisions
m (Neeraja moved page निकालें, रूपांतरित करें, लोड करें to एक्सट्रेक्ट, ट्रांसफॉर्म, लोड without leaving a redirect) |
No edit summary |
||
| (2 intermediate revisions by 2 users not shown) | |||
| Line 173: | Line 173: | ||
== रेफेरेंस == | == रेफेरेंस == | ||
{{reflist}} | {{reflist}} | ||
[[Category:All articles containing potentially dated statements]] | |||
[[Category:Articles containing potentially dated statements from 2010]] | |||
[[Category: | [[Category:CS1 English-language sources (en)]] | ||
[[Category:CS1 errors]] | |||
[[Category:Created On 11/07/2023]] | [[Category:Created On 11/07/2023]] | ||
[[Category:Lua-based templates]] | |||
[[Category:Machine Translated Page]] | |||
[[Category:Pages with script errors]] | |||
[[Category:Short description with empty Wikidata description]] | |||
[[Category:Templates Vigyan Ready]] | |||
[[Category:Templates that add a tracking category]] | |||
[[Category:Templates that generate short descriptions]] | |||
[[Category:Templates using TemplateData]] | |||
[[Category:उपकरण निकालें, रूपांतरित करें, लोड करें| उपकरण निकालें]] | |||
[[Category:डेटा भण्डारण]] | |||
Latest revision as of 18:09, 21 August 2023
| Data transformation |
|---|
| Concepts |
| Transformation languages |
| Techniques and transforms |
| Applications |
| Related |
कम्प्यूटिंग में, एक्सट्रेक्ट, ट्रांसफॉर्म, लोड (ईटीएल) तीन चरण की प्रक्रिया है जहां डेटा को निकाला जाता है, और रूपांतरित किया जाता है | और (क्लीनड, सैनीटाइजड, स्क्राबेड किया जाता है) और आउटपुट डेटा कंटेनर में लोड किया जाता है। डेटा को इस प्रकार और अधिक स्रोतों से एकत्रित किया जा सकता है और इसे इससे अधिक गंतव्यों पर आउटपुट भी किया जा सकता है। ईटीएल प्रसंस्करण में सामान्यतः सॉफ़्टवेयर एप्लिकेशन का उपयोग करके निष्पादित किया जाता है किन्तु इसे सिस्टम ऑपरेटरों द्वारा मैन्युअल रूप से भी किया जा सकता है। ईटीएल सॉफ्टवेयर सामान्यतः पूर्ण प्रक्रिया को स्वचालित करता है और इसे मैन्युअल रूप से या इसे पुनरावर्ती शेड्यूल पर या तब एकल नौकरियों के रूप में या नौकरियों के बैच में एकत्रित किया जा सकता है।
यह उचित रूप से डिज़ाइन किया गया ईटीएल सिस्टम स्रोत सिस्टम से डेटा निकालता है और इस प्रकार डेटा टाइप और डेटा वैधता मानकों को प्रयुक्त करता है और यह सुनिश्चित करता है कि यह आउटपुट की आवश्यकताओं के लिए संरचनात्मक रूप से अनुरूप है। कुछ ईटीएल सिस्टम प्रस्तुति-तैयार प्रारूप में भी डेटा वितरित कर सकते हैं जिससे एप्लिकेशन डेवलपर्स एप्लिकेशन बना सकें और अंतिम उपयोगकर्ता निर्णय ले सकते हैं। [1]
ईटीएल प्रक्रिया का उपयोग प्रायः डेटा वेयरहाउस में किया जाता है।[2] ईटीएल सिस्टम सामान्यतः अनेक अनुप्रयोगों (सिस्टम) से डेटा को एकीकृत करते हैं, जो सामान्यतः विभिन्न विक्रेताओं द्वारा विकसित और समर्थित होते हैं | और यह भिन्न कंप्यूटर हार्डवेयर पर होस्ट किए जाते हैं। मूल डेटा वाले भिन्न-भिन्न सिस्टम को प्रायः विभिन्न हित धारकों स्टेकहोल्डर्स (कॉर्पोरेट) द्वारा प्रबंधित और संचालित किया जाता है। उदाहरण के लिए, निवेश लेखांकन सिस्टम पेरोल, क्रय और विक्रय से डेटा को जोड़ सकती है।
निष्कर्ष
डेटा निष्कर्षण में सजातीय या विषम स्रोतों से डेटा निकालना सम्मिलित है | डेटा परिवर्तन डेटा को क्लीऩ करके और उसे इन्क्वायरी और विश्लेषण के प्रयोजनों के लिए उचित संग्रहण प्रारूप/संरचना में परिवर्तित करके संसाधित करता है | अंत में, डेटा लोडिंग अंतिम लक्ष्य डेटाबेस जैसे परिचालन डेटा संग्रह, डेटा मार्ट, डेटा लेक या डेटा वेयरहाउस में डेटा के सम्मिलन का वर्णन करता है।[3][4]
ईटीएल प्रसंस्करण में स्रोत सिस्टम से डेटा निकालना सम्मिलित है। अनेक स्थितियों में, यह ईटीएल के सबसे महत्वपूर्ण रूप का प्रतिनिधित्व करता है, क्योंकि डेटा को सही प्रकार से निकालना उसके पश्चात् की प्रक्रियाओं की सफलता के लिए चरण निर्धारित करता है। अधिकांश डेटा-वेयरहाउसिंग परियोजनाएं विभिन्न स्रोत सिस्टम्स से डेटा को जोड़ती हैं। प्रत्येक भिन्न सिस्टम भिन्न डेटा संगठन और/या फ़ाइल प्रारूप का भी उपयोग कर सकता है। सामान्य डेटा-स्रोत प्रारूपों में संबंधपरक डेटाबेस वर्चुअल स्टोरेज एक्सेस मैथेड (वीएसएएम) या आईएसएएम या इंडेक्स्ड सीक्वेंशियल एक्सेस मेथड (आईएसएएम) हैं, या यहां तक कि वेब क्रॉलर और डेटा स्क्रैपिंग जैसे माध्यमों से बाहरी स्रोतों से प्राप्त प्रारूप भी होते हैं। निकाले गए डेटा स्रोत की स्ट्रीमिंग और गंतव्य डेटाबेस पर ऑन-द-फ्लाई लोड करना ईटीएल प्रदर्शन की और विधि है जब किसी मध्यवर्ती डेटा संग्रहण की आवश्यकता नहीं होती है।
निष्कर्षण के आंतरिक भाग में यह पुष्टि करने के लिए डेटा सत्यापन सम्मिलित है कि स्रोतों से खींचे गए डेटा में किसी दिए गए डोमेन में सही/अपेक्षित मान हैं (जैसे पैटर्न/डिफ़ॉल्ट या मानों की सूची) हैं। यदि डेटा सत्यापन नियमों में विफल रहता है, तब इसे पूर्ण अनुसार या आंशिक रूप से अस्वीकार कर दिया जाता है। अस्वीकृत डेटा को आदर्श रूप से आगे के विश्लेषण के लिए त्रुटि रिकॉर्ड की पहचान करने और सुधारने या डेटा त्रुटियाँ करने के लिए स्रोत सिस्टम में वापस रिपोर्ट किया जाता है।
परिवर्तन
डेटा परिवर्तन चरण में, अंतिम लक्ष्य में लोड करने के लिए इसे तत्पर करने के लिए निकाले गए डेटा पर नियमों या कार्यों की श्रृंखला प्रयुक्त की जाती है।
परिवर्तन का महत्वपूर्ण कार्य डेटा क्लीन है, जिसका उद्देश्य केवल उचित डेटा को लक्ष्य तक पहुंचाना है। जब विभिन्न सिस्टम परस्पर क्रिया करती हैं तब यह चुनौती संबंधित सिस्टम्स के इंटरफेसिंग और संचार में होती है। जो चरित्र समुच्चय सिस्टम में उपलब्ध हो सकते हैं वह अन्य में उपलब्ध नहीं हो सकते हैं।
अन्य स्थितियों में, सर्वर या डेटा वेयरहाउस की व्यावसायिक और तकनीकी आवश्यकताओं को पूरा करने के लिए निम्नलिखित में से इसमें अधिक परिवर्तन प्रकारों की आवश्यकता हो सकती है
- लोड करने के लिए केवल कुछ निश्चित कॉलम का चयन करना: (या लोड न करने के लिए शून्य (एसक्यूएल) कॉलम का चयन करना)। उदाहरण के लिए, यदि स्रोत डेटा में तीन कॉलम (उर्फ विशेषताएँ), रोल नंबर, आयु और वेतन हैं, तब चयन में केवल रोल नंबर और वेतन सम्मिलित हो सकता है। यह, चयन तंत्र उन सभी रिकॉर्डों को अनदेखा कर सकता है जहां वेतन उपस्थित नहीं है | उनका (वेतन = शून्य) हैं।
- कोडित मानों का अनुवाद करना: (उदाहरण के लिए, यदि स्रोत सिस्टम पुरुष को 1 और महिला को 2 के रूप में कोड करता है, किन्तु वेयरहाउस पुरुष को M और महिला को F के रूप में कोड करता है)
- फ्री-फॉर्म मानों को एन्कोड करना: (उदाहरण के लिए, मेल को M में मैप करना हैं)
- नवीन परिकलित मान प्राप्त करना: (उदाहरण के लिए, क्रय_राशि = मात्रा * इकाई_मान हैं)
- खोज प्रदर्शन को उत्तम बनाने के लिए कॉलम की सूची के आधार पर डेटा को क्रमबद्ध करना हैं
- जुड़ें (संबंधपरक बीजगणित) या अनेक स्रोतों (उदाहरण के लिए, लुकअप, मर्ज) से डेटा को जोड़ना और डेटा लिंकेज को रिकॉर्ड करना हैं
- एकत्रीकरण (उदाहरण के लिए, रोलअप - डेटा की अनेक पंक्तियों का सारांश - प्रत्येक स्टोर के लिए कुल क्रय,और प्रत्येक क्षेत्र के लिए, आदि हैं)
- सरोगेट की उत्पन्न करना सरोगेट-कीय मान हैं
- ट्रांसपोज़िंग या पिवोटिंग (एकाधिक कॉलम को अनेक पंक्तियों में परिवर्तित या इसके विपरीत करना हैं)
- इसमें कॉलम को अनेक कॉलम में विभाजित करना (उदाहरण के लिए, अल्पविराम से भिन्न किए गए मानों को परिवर्तित करना हैं अल्पविराम से भिन्न की गई सूची, कॉलम में स्ट्रिंग के रूप में निर्दिष्ट, भिन्न-भिन्न कॉलम में भिन्न-भिन्न मानों में होता हैं)
- दोहराए जाने वाले कॉलमों को भिन्न-भिन्न करना हैं
- टेबलों या रेफेरेंसात्मक फ़ाइलों से प्रासंगिक डेटा को देखना और उसको मान्य करना हैं
- किसी भी प्रकार का डेटा सत्यापन प्रयुक्त करना; असफल सत्यापन के परिणामस्वरूप डेटा की पूर्ण अस्वीकृति, आंशिक अस्वीकृति, या बिल्कुल भी अस्वीकृति नहीं हो सकती है, और इस प्रकार नियम डिजाइन और अपवाद हैंडलिंग के आधार पर कोई भी, कुछ भी या सभी डेटा अगले चरण में नहीं सौंपा जाता है |उपरोक्त अनेक परिवर्तनों के परिणामस्वरूप अपवाद हो सकते हैं, उदाहरण के लिए, जब कोई कोड अनुवाद निकाले गए डेटा में किसी अज्ञात कोड को पार्स करता है
लोड
लोड चरण डेटा को अंतिम लक्ष्य में लोड करता है, जो साधारण सीमांकित फ्लैट फ़ाइल या डेटा वेयरहाउस सहित कोई भी डेटा स्टोर हो सकता है।[5] संगठन की आवश्यकताओं के आधार पर, यह प्रक्रिया व्यापक रूप से भिन्न होती है। कुछ डेटा वेयरहाउस उपस्थित जानकारी को संचयी जानकारी से अधिलेखित कर सकते हैं निकाले गए डेटा को अपडेट करना प्रायः दैनिक, साप्ताहिक या मासिक आधार पर किया जाता है। अन्य डेटा वेयरहाउस (या यहां तक कि उसी डेटा वेयरहाउस के अन्य भागों) नियमित अंतराल पर ऐतिहासिक रूप में नवीन डेटा जोड़ सकते हैं - उदाहरण के लिए, प्रति घंटा हैं। इसे समझने के लिए, डेटा वेयरहाउस पर विचार करें जो पिछले वर्ष के क्रय रिकॉर्ड को बनाए रखने के लिए आवश्यक है। यह डेटा वेयरहाउस वर्ष से अधिक पुराने किसी भी डेटा को नवीनतम डेटा के साथ अधिलेखित कर देता है। चूँकि, किसी भी वर्ष की विंडो के लिए डेटा की प्रविष्टि ऐतिहासिक विधियों से की जाती है। इसे परिवर्तित करने या जोड़ने का समय और सीमा रणनीतिक डिज़ाइन विकल्प हैं जो उपलब्ध समय और व्यावसायिक आवश्यकताओं पर निर्भर करते हैं। अधिक सम्मिश्र सिस्टम डेटा वेयरहाउस में लोड किए गए डेटा में सभी परिवर्तनों का इतिहास और लेखापरीक्षा बनाए रख सकते हैं। जैसे ही लोड चरण डेटाबेस के साथ इंटरैक्ट करता है, डेटाबेस स्कीमा में परिभाषित बाधाएं - साथ ही डेटा लोड पर सक्रिय ट्रिगर्स में - प्रयुक्त होती हैं (उदाहरण के लिए, विशिष्टता, रेफेरेंसात्मक अखंडता, अनिवार्य फ़ील्ड) हैं, जो समग्र डेटा गुणवत्ता प्रदर्शन में भी योगदान देती हैं। यह ईटीएल प्रक्रिया का भाग हैं
- उदाहरण के लिए, वित्तीय संस्थान के समीप कस्टमर के बारे में अनेक विभागों में जानकारी हो सकती है और प्रत्येक विभाग में उस कस्टमर की जानकारी भिन्न-भिन्न विधियों से सूचीबद्ध हो सकती है। सदस्यता विभाग कस्टमर को नाम के आधार पर सूचीबद्ध कर सकता है, जबकि लेखा विभाग कस्टमर को संख्या के आधार पर सूचीबद्ध कर सकता है। ईटीएल इन सभी डेटा अवयवों को बंडल कर सकता है और उन्हें समान प्रस्तुति में समेकित कर सकता है, जैसे कि डेटाबेस या डेटा वेयरहाउस में संग्रहीत करना हैं।
- कंपनियां ईटीएल का उपयोग करने की दूसरी विधि जानकारी को किसी अन्य एप्लिकेशन में स्थायी रूप से स्थानांतरित करना है। उदाहरण के लिए, नवीन एप्लिकेशन किसी अन्य डेटाबेस विक्रेता और संभवतः बहुत भिन्न डेटाबेस स्कीमा का उपयोग कर सकता है। ईटीएल का उपयोग डेटा को नवीनतम एप्लिकेशन के उपयोग के लिए उपयुक्त प्रारूप में परिवर्तित करने के लिए किया जा सकता है।
- उदाहरण एक्सपेंस और कॉस्ट रिकवरी सिस्टम (ईसीआरएस) होगा जैसे कि अकाउंटेंट , कंसल्टेंसी और लॉ फर्म द्वारा उपयोग किया जाता है। डेटा सामान्यतः नियम अभ्यास प्रबंधन सॉफ्टवेयर में समाप्त होता है, चूंकि कुछ व्यवसाय मानव संसाधन (कार्मिक विभाग) को कर्मचारी उत्पादकता रिपोर्ट या सुविधा प्रबंधन को उपकरण उपयोग रिपोर्ट के लिए रॉ डेटा का उपयोग भी कर सकते हैं।
वास्तविक जीवन ईटीएल चक्र
विशिष्ट वास्तविक जीवन ईटीएल चक्र में निम्नलिखित निष्पादन चरण होते हैं
- चक्र आरंभ
- रेफेरेंस डेटा बनाएं
- उद्धरण (स्रोतों से)
- आंकड़ा मान्यीकरण
- ट्रांसफॉर्म करें (डेटा क्लीन, व्यावसायिक नियम प्रयुक्त करें, डेटा अखंडता की जांच करें, एग्रीगेट (डेटा वेयरहाउस) बनाएं या भिन्न करें)
- स्टेज (यदि उपयोग किया जाता है तब स्टेजिंग (डेटा) टेबलों में लोड करें)
- परीक्षण विवरण (उदाहरण के लिए, व्यावसायिक नियमों के अनुपालन पर और साथ ही, विफलता के स्थितियों में, डायग्नोसिस/रिपेयर में सहायता करती है)
- प्रकाशित करें (टेबलों को लक्षित करने के लिए)
- संग्रहालय किया जा रहा है
चुनौतियाँ
ईटीएल प्रक्रियाओं में अधिक सम्मिश्रता सम्मिलित हो सकती है, और अनुचित विधियों से डिजाइन किए गए ईटीएल सिस्टम के साथ महत्वपूर्ण परिचालन समस्याएं हो सकती हैं।
किसी परिचालन सिस्टम में डेटा मान या डेटा गुणवत्ता की सीमा सत्यापन और परिवर्तन नियमों के निर्दिष्ट होने पर डिजाइनरों की अपेक्षाओं से अधिक हो सकती है। डेटा विश्लेषण के समय किसी स्रोत की डेटा प्रोफाइलिंग उन डेटा स्थितियों की पहचान कर सकती है जिन्हें परिवर्तन नियम विनिर्देशों द्वारा प्रबंधित किया जाना चाहिए, जिससे ईटीएल प्रक्रिया में स्पष्ट रूप से और अंतर्निहित रूप से प्रयुक्त सत्यापन नियमों में संशोधन हो सकते हैं।
डेटा वेयरहाउस सामान्यतः विभिन्न प्रारूपों और उद्देश्यों के साथ विभिन्न डेटा स्रोतों से एकत्र किए जाते हैं। इस प्रकार, ईटीएल सभी डेटा को मानक, सजातीय वातावरण में साथ लाने की महत्वपूर्ण प्रक्रिया है।
डिज़ाइन विश्लेषण [6] इसके उपयोग के पूरे जीवनकाल में ईटीएल सिस्टम की मापनीयता स्थापित की जानी चाहिए - जिसमें सेवा स्तर के समझौतों के अंदर संसाधित किए जाने वाले डेटा की मात्रा को समझना भी सम्मिलित है। स्रोत सिस्टम से निकालने के लिए उपलब्ध समय में परिवर्तन हो सकता है, जिसका अर्थ यह हो सकता है कि समान मात्रा में डेटा को कम समय में संसाधित करना पड़ सकता है। कुछ ईटीएल सिस्टम्स को दसियों टेराबाइट्स डेटा के साथ डेटा वेयरहाउस को अपडेट करने के लिए टेराबाइट्स डेटा को संसाधित करने के लिए स्केल करना पड़ता है। डेटा की बढ़ती मात्रा के लिए ऐसे डिज़ाइन की आवश्यकता हो सकती है जो दैनिक बैच प्रसंस्करण से लेकर अनेक-दिवसीय माइक्रो बैच तक संदेश श्रेणी के साथ एकीकरण या निरंतर परिवर्तन और अद्यतन के लिए वास्तविक समय परिवर्तन-डेटा-कैप्चर तक स्केल कर सकते हैं।
प्रदर्शन
ईटीएल विक्रेता अनेक सीपीयू, अनेक हार्ड ड्राइव, अनेक गीगाबिट-नेटवर्क कनेक्शन और बहुत अधिक मेमोरी वाले शक्तिशाली सर्वर का उपयोग करके अपने रिकॉर्ड-सिस्टम को अनेक टीबी (टेराबाइट्स) प्रति घंटे (या ~ 1 जीबी प्रति सेकंड) पर बेंचमार्क करते हैं।
वास्तविक जीवन में, ईटीएल प्रक्रिया का सबसे निष्क्रिय भाग सामान्यतः डेटाबेस लोड चरण में होता है। डेटाबेस निष्क्रिय प्रदर्शन कर सकते हैं क्योंकि उन्हें समवर्तीता, अखंडता रखरखाव और सूचकांकों का ध्यान रखना होता है। इस प्रकार, उत्तम प्रदर्शन के लिए, निम्नलिखित को नियोजित करना उचित हो सकता है |
- हाई-स्पीड एक्सट्रैक्ट प्राप्त करते समय सोर्स सिस्टम पर लोड को कम करने के लिए जब भी संभव हो डायरेक्ट पाथ एक्सट्रेक्ट विधि या बल्क अनलोड (डेटाबेस से इन्क्वायरी करने के अतिरिक्त हैं)
- अधिकांश परिवर्तन प्रसंस्करण डेटाबेस के बाहर होते हैं
- जब भी संभव हो बल्क लोड संचालन कर सकते हैं
फिर भी, बल्क ऑपरेशंस का उपयोग करते हुए भी, डेटाबेस एक्सेस सामान्यतः ईटीएल प्रक्रिया में बाधा है। प्रदर्शन बढ़ाने के लिए उपयोग की जाने वाली कुछ सामान्य विधियाँ हैं
- विभाजन (डेटाबेस) टेबल (और सूचकांक): विभाजनों को आकार में समान रखने का प्रयास करें (देखें)। और (
nullमानों पर ध्यान दें जो विभाजन को विकृत कर सकते हैं) - लोड से पहले ईटीएल परत में सभी सत्यापन करें: डेटा अखंडता जांच अक्षम करें और (
disable constraint...) लोड के समय लक्ष्य डेटाबेस टेबलों में होते हैं - डेटाबेस ट्रिगर अक्षम करें और (
disable trigger...) लोड के समय लक्ष्य डेटाबेस टेबलों में: भिन्न चरण के रूप में उनके प्रभाव का अनुकरण करें - ईटीएल परत में आईडी जनरेट करें (डेटाबेस में नहीं)
- लोड से पहले डेटाबेस सूचकांक (किसी टेबल या पार्टीशन पर) को छोड़ें - और लोड के पश्चात् उन्हें फिर से बनाएं (एसक्यूएल:
drop index...; create index...) - जब संभव हो तब समानांतर बल्क लोड का उपयोग करें - जब टेबल विभाजित होती है या कोई सूचकांक नहीं होता है तब यह ठीक प्रकार से कार्य करता है (नोट: इसके साथ ही टेबल (विभाजन) में समानांतर लोड करने का प्रयास सामान्यतः लॉक का कारण बनता है - यदि इसका डेटा पंक्तियों पर नहीं, तब यह सूचकांकों पर होता हैं)
- यदि प्रविष्टि, अद्यतन, या विलोपन करने की आवश्यकता उपस्थित है, तब पता लगाएं कि ईटीएल परत में किन पंक्तियों को किसके अनुसार इससे संसाधित किया जाना चाहिए, और फिर डेटाबेस में इन तीन कार्यों को भिन्नता से संसाधित करें; आप प्रायः इंसर्ट के लिए बल्क लोड कर सकते हैं, किन्तु अपडेट और डिलीट सामान्यतः एपीआई (एसक्यूएल का उपयोग करके) के माध्यम से होते हैं
चाहे डेटाबेस में या उसके बाहर कुछ परिचालन करना हो, इसमें परिवर्तन सम्मिलित हो सकता है। उदाहरण के लिए, डुप्लिकेट का उपयोग करके हटाना distinct डेटाबेस में निष्क्रिय हो सकता है | इस प्रकार, इसे बाहर करना ही उचित होता है। दूसरी ओर, यदि distinct उपयोग कर रहे हैं उल्लेखनीय रूप से (x100) निकाले जाने वाली पंक्तियों की संख्या कम कर देता है, तब डेटा को अनलोड करने से पहले डेटाबेस में जितनी शीघ्रता हो सके डुप्लिकेशंस को हटाना समझ में आता है।
ईटीएल में समस्याओं का सामान्य स्रोत ईटीएल नौकरियों के मध्य निर्भरता की बड़ी संख्या होती है। उदाहरण के लिए, कार्य B प्रारंभ नहीं हो सकता जबकि कार्य A समाप्त नहीं हुआ है। सामान्यतः ग्राफ़ पर सभी प्रक्रियाओं की कल्पना करके, और समानांतर कंप्यूटिंग का अधिकतम उपयोग करके ग्राफ़ को कम करने का प्रयास करके और निरंतर प्रसंस्करण की श्रृंखलाओं को यथासंभव लघु बनाकर उत्तम प्रदर्शन प्राप्त किया जा सकता है। फिर, बड़ी टेबलों और उनके सूचकांकों का विभाजन वास्तव में इनकी सहायता कर सकता है।
इस प्रकर अन्य सामान्य समस्या तब होती है जब डेटा अनेक डेटाबेसों में विस्तारित होता है, और उन डेटाबेसों में क्रमिक रूप से प्रसंस्करण किया जाता है। कभी-कभी डेटाबेस प्रतिकृति को डेटाबेस के मध्य डेटा प्रतिरूप करने की विधि के रूप में सम्मिलित किया जा सकता है - यह पूर्ण प्रक्रिया को अधिक निष्क्रिय कर सकता है। सामान्य समाधान प्रसंस्करण ग्राफ़ को केवल तीन परतों तक कम करना है:
- स्रोत
- केंद्रीय ईटीएल परत
- लक्ष्य
यह दृष्टिकोण प्रसंस्करण को समानता का अधिकतम लाभ उठाने की अनुमति देता है। उदाहरण के लिए, यदि आपको डेटा को दो डेटाबेस में लोड करने की आवश्यकता है, तब आप लोड को समानांतर में चला सकते हैं । यह (पहले में लोड करने के अतिरिक्त - और फिर दूसरे में प्रतिलिपि बनाने के अतिरिक्त) हैं।
कभी-कभी प्रसंस्करण क्रमिक रूप से होना चाहिए। उदाहरण के लिए, मुख्य तथ्य टेबल के लिए पंक्तियों को प्राप्त करने और सत्यापित करने से पहले आयामी (रेफेरेंस) डेटा की आवश्यकता होती है|
समानांतर प्रसंस्करण
ईटीएल सॉफ्टवेयर में वर्तमान विकास समानांतर प्रसंस्करण का कार्यान्वयन है। इसने बड़ी मात्रा में डेटा से निपटने के समय ईटीएल के समग्र प्रदर्शन को उत्तम बनाने के लिए अनेक विधियों को सक्षम किया है।--
ईटीएल अनुप्रयोग तीन मुख्य प्रकार की समानता प्रयुक्त करते हैं |
- डेटा: पैरेलल रैंडम एक्सेस मशीन प्रदान करने के लिए एकल अनुक्रमिक फ़ाइल को छोटी डेटा फ़ाइलों में विभाजित करते हैं
- पाइपलाइन (कंप्यूटिंग): ही डेटा स्ट्रीम पर अनेक घटकों को साथ चलाने की अनुमति देना, उदाहरण के लिए रिकॉर्ड 2 पर दो फ़ील्ड जोड़ने के साथ-साथ रिकॉर्ड 1 पर मान देखना हैं
- घटक: ही कार्य में विभिन्न डेटा स्ट्रीम पर एकाधिक प्रक्रिया (कंप्यूटिंग) का साथ चलना, उदाहरण के लिए किसी अन्य फ़ाइल पर डुप्लिकेट हटाते समय इनपुट फ़ाइल को सॉर्ट करना हैं
सभी तीन प्रकार की समानताएं सामान्यतः इस प्रकार के कार्य या कार्य में संयुक्त रूप से संचालित होती हैं।
यह सुनिश्चित करने में अतिरिक्त कठिनाई आती है कि अपलोड किया जा रहा डेटा अपेक्षाकृत सुसंगत है। क्योंकि एकाधिक स्रोत डेटाबेस में भिन्न-भिन्न अद्यतन चक्र हो सकते हैं (कुछ को प्रत्येक कुछ मिनट में अपडेट किया जा सकता है, जबकि अन्य को दिन या सप्ताह लग सकते हैं), ईटीएल सिस्टम को सभी स्रोतों के सिंक्रनाइज़ होने तक कुछ डेटा को वापस रखने की आवश्यकता हो सकती है। इसी अनुसार, जहां संग्रहण को स्रोत सिस्टम में या सामान्य बही खाते के साथ सामग्री का मिलान करना पड़ सकता है, वहां सिंक्रनाइज़ेशन और समाधान बिंदु स्थापित करना आवश्यक हो जाता है।
पुनरुत्पादन योग्यता, पुनर्प्राप्ति योग्यता
डेटा वेयरहाउसिंग प्रक्रियाएं सामान्यतः बड़ी ईटीएल प्रक्रिया को क्रमिक रूप से या समानांतर में चलने वाले लघु भागों में विभाजित करती हैं। डेटा प्रवाह पर द्रष्टि रखने के लिए, प्रत्येक डेटा पंक्ति को "रन_आईडी" के साथ टैग करना और प्रक्रिया के प्रत्येक भाग को "रॉ आईडी" के साथ टैग करना समझ में आता है। विफलता की स्थिति में, इन आईडी के होने से विफल भागों को वापस रोल करने और फिर से चलाने में सहायता मिलती है।
सर्वोत्तम अभ्यास के लिए चौकियों की भी आवश्यकता होती है, जो ऐसी स्थिति होती है जब प्रक्रिया के कुछ चरण पूर्ण हो जाते हैं। चेकपॉइंट पर पहुंचने के पश्चात्, डिस्क पर सब कुछ लिखना, कुछ अस्थायी फ़ाइलों को क्लीऩ करना, स्थिति लॉग करना आदि अच्छा विचार होता है।
वर्चुअल ईटीएल
As of 2010[update], ईटीएल प्रोसेसिंग को आगे बढ़ाने के लिए डेटा वर्चुअलाइजेशन प्रारंभ हो गया था। ईटीएल में डेटा वर्चुअलाइजेशन के अनुप्रयोग ने अनेक बिखरे हुए डेटा स्रोतों के लिए आंकड़ों का विस्थापन और एप्लिकेशन एकीकरण के सबसे सामान्य ईटीएल कार्यों को समाधान करने की अनुमति दी हैं । वर्चुअल ईटीएल विभिन्न प्रकार के संबंधपरक, अर्ध-संरचित और असंरचित डेटा स्रोतों से एकत्रित वस्तुओं या संस्थाओं के एब्स्ट्रेक्ट प्रतिनिधित्व के साथ कार्य करता है। ईटीएल उपकरण ऑब्जेक्ट-ओरिएंटेड मॉडलिंग का लाभ उठा सकते हैं और केंद्र में स्थित हब एंड स्पोक आर्किटेक्चर में निरंतर संग्रहीत संस्थाओं के प्रतिनिधित्व के साथ कार्य कर सकते हैं। ऐसा संग्रह जिसमें ईटीएल प्रसंस्करण के लिए डेटा स्रोतों से एकत्र की गई संस्थाओं या वस्तुओं का प्रतिनिधित्व होता है, वह मेटाडेटा रिपॉजिटरी कहलाता है और यह मेमोरी में रह सकता है | [7] इसको निरंतर बनाया जाता हैं | निरंतर मेटाडेटा रिपॉजिटरी का उपयोग करके, ईटीएल उपकरण बार की परियोजनाओं से निरंतर मिडलवेयर में संक्रमण कर सकते हैं, डेटा सामंजस्य और डेटा प्रोफाइलिंग निरंतर और लगभग वास्तविक समय में कर सकते हैं।[8]
कीय से सामना करना
अद्वितीय कीय सभी संबंधपरक डेटाबेस में महत्वपूर्ण भूमिका निभाती हैं, क्योंकि वह सब कुछ साथ जोड़ती हैं। अद्वितीय कीय स्तंभ है जो किसी दी गई इकाई की पहचान करती है, जबकि विदेशी कीय किसी अन्य टेबल में स्तंभ होती है जो प्राथमिक कीय को रेफेरेंसित करती है। कीय में अनेक कॉलम सम्मिलित हो सकते हैं, इस स्थिति में वह समग्र कीय हैं। अनेक स्थितियों में, प्राथमिक कीय स्वतः-निर्मित पूर्णांक है जिसका प्रतिनिधित्व की जा रही व्यावसायिक इकाई (कंप्यूटर विज्ञान) के लिए कोई अर्थ नहीं है, किन्तु यह केवल संबंधपरक डेटाबेस के उद्देश्य के लिए उपस्थित होती है - जिसे सामान्यतः सरोगेट कीय के रूप में जाना जाता है।
चूँकि सामान्यतः वेयरहाउस में से अधिक डेटा स्रोत लोड होते हैं, इसलिए कीय महत्वपूर्ण चिंता का विषय है जिसका समाधान किया जाना चाहिए। उदाहरण के लिए: कस्टमरों को अनेक डेटा स्रोतों में दर्शाया जा सकता है, स्रोत में प्राथमिक कीय के रूप में उनका सामाजिक सुरक्षा नंबर, दूसरे में उनका फ़ोन नंबर और तीसरे में सरोगेट होता है। फिर भी डेटा वेयरहाउस को सभी कस्टमर जानकारी को आयाम (डेटा वेयरहाउस) में समेकित करने की आवश्यकता हो सकती है।
चिंता से निपटने के लिए अनुशंसित विधियों में वेयरहाउस सरोगेट कीय जोड़ना सम्मिलित है, जिसका उपयोग तथ्य टेबल से विदेशी कीय के रूप में किया जाता है।[9] सामान्यतः, किसी आयाम के स्रोत डेटा में अपडेट होते हैं, जिनको स्पष्ट रूप से डेटा वेयरहाउस में प्रतिबिंबित होना चाहिए।
यदि रिपोर्टिंग के लिए स्रोत डेटा की प्राथमिक कीय आवश्यक है, तब आयाम में पहले से ही प्रत्येक पंक्ति के लिए जानकारी का वह भाग सम्मिलित है। यदि स्रोत डेटा सरोगेट कीय का उपयोग करता है, तब वेयरहाउस को इसका ट्रैक रखना होता हैं, तथापि इसका उपयोग क्वेरी या रिपोर्ट में कभी नहीं किया जाता हैं | यह लुकअप टेबल बनाकर किया जाता है जिसमें वेयरहाउस सरोगेट कीय और मूल कीय सम्मिलित होती है।[10] इस अनुसार, विभिन्न स्रोत सिस्टम्स से सरोगेट्स के साथ आयाम प्रदूषित नहीं होता है, जबकि इसमें अद्यतन करने की क्षमता संरक्षित रहती है।
स्रोत डेटा की प्रकृति के आधार पर लुकअप टेबल का उपयोग विभिन्न विधियों से किया जाता है। इसमें विचार करने के लिए 5 प्रकार हैं | [10] और तीन यहाँ सम्मिलित हैं
- टाइप 1
- आयाम पंक्ति को स्रोत सिस्टम की वर्तमान स्थिति से मेल करने के लिए सिर्फ अद्यतन किया जाता है | संग्रहण इतिहास पर कब्जा नहीं करता है | लुकअप टेबल का उपयोग अद्यतन या अधिलेखित करने के लिए आयाम पंक्ति की पहचान करने के लिए किया जाता है
- टाइप 2
- स्रोत सिस्टम की नई स्थिति के साथ नई आयाम पंक्ति जोड़ी गई है | और नई सरोगेट कीय सौंपी गई है | लुकअप टेबल में स्रोत कीय अब अद्वितीय नहीं है
- पूर्ण अनुसार से लॉग इन
- स्रोत सिस्टम की नई स्थिति के साथ नई आयाम पंक्ति जोड़ी जाती है, जबकि पिछली आयाम पंक्ति को यह दर्शाने के लिए अद्यतन किया जाता है कि यह अब सक्रिय नहीं है और यह इसके निष्क्रिय होने का समय है।
उपकरण
स्थापित ईटीएल फ्रेम कनेक्टिविटी और स्केलेबिलिटी में सुधार कर सकता है। अच्छा ईटीएल उपकरण अनेक भिन्न-भिन्न रिलेशनल डेटाबेस के साथ संचार करने और पूरे संगठन में उपयोग किए जाने वाले विभिन्न फ़ाइल स्वरूपों को पढ़ने में सक्षम होना चाहिए। ईटीएल टूल्स ने एंटरप्राइज़ एप्लिकेशन इंटीग्रेशन या यहां तक कि एंटरप्राइज़ सर्विस बस सिस्टम में माइग्रेट करना प्रारंभ कर दिया है, जो अब डेटा के निष्कर्षण, परिवर्तन और लोडिंग से कहीं अधिक इसको कवर करता है। अनेक ईटीएल विक्रेताओं के समीप अब डेटा प्रोफाइलिंग, डेटा गुणवत्ता और मेटाडेटा (कंप्यूटिंग) क्षमताएं होती हैं। ईटीएल टूल के लिए सामान्य उपयोग की स्थितियों में सीएसवी फ़ाइलों को रिलेशनल डेटाबेस द्वारा पढ़ने योग्य प्रारूप में परिवर्तित करना सम्मिलित है। ईटीएल टूल्स द्वारा लाखों रिकॉर्ड्स के विशिष्ट अनुवाद की सुविधा प्रदान की जाती है जो उपयोगकर्ताओं को सीएसवी-जैसे डेटा फ़ीड/फ़ाइलों को इनपुट करने और उन्हें यथासंभव कम कोड के साथ डेटाबेस में आयात करने में सक्षम बनाती है।
ईटीएल उपकरण सामान्यतः कुशल की विस्तृत श्रृंखला द्वारा उपयोग किए जाते हैं - कंप्यूटर विज्ञान के छात्रों से लेकर कंपनी खाता प्रबंधन के प्रभारी डेटाबेस आर्किटेक्ट तक बड़े डेटा समुच्चय को शीघ्रता से आयात करना चाहते हैं, ईटीएल उपकरण सुविधाजनक उपकरण बन गए हैं जिन पर अधिकतम प्रदर्शन प्राप्त करने के लिए विश्वास किया जा सकता है। अधिकांश स्थितियों में ईटीएल टूल में जीयूआई होता है जो उपयोगकर्ताओं को फ़ाइलों को पार्स करने और डेटा प्रकारों को संशोधित करने के लिए बड़े प्रोग्राम लिखने के विपरीत, विज़ुअल डेटा मैपर का उपयोग करके डेटा को सरलता से परिवर्तित करने में सहायता करता है।
जबकि ईटीएल उपकरण परंपरागत रूप से डेवलपर्स और आईटी कर्मचारियों के लिए रहे हैं, शोध फर्म गार्टनर ने लिखा है कि नवीन चलन व्यावसायिक उपयोगकर्ताओं को यह क्षमताएं प्रदान करना है जिससे वह आईटी कर्मचारियों के समीप जाने के अतिरिक्त आवश्यकता पड़ने पर स्वयं कनेक्शन और डेटा एकीकरण बना सकते हैं। [11] गार्टनर इन गैर-तकनीकी उपयोगकर्ताओं को सिटीजन इंटीग्रेटर्स के रूप में रेफेरेंसित करता है।[12]
ईटीएल बनाम ईएलटी
एक्सट्रेक्ट, लोड, ट्रांसफॉर्म (ईएलटी) ईटीएल का प्रकार है जहां निकाले गए डेटा को पहले लक्ष्य सिस्टम में लोड किया जाता है।[13] एनालिटिक्स पाइपलाइन के लिए आर्किटेक्चर इस बात पर भी विचार करेगा कि डेटा को कहां क्लीन और समृद्ध किया जा सकता हैं | [13] और साथ ही आयामों को कैसे इसके अनुरूप बनाया जा सकता हैं। [1]
राल्फ किमबॉल और जो कैसर्टा की पुस्तक द डेटा वेयरहाउस ईटीएल टूलकिट, (विली, 2004) हैं, जिसका उपयोग डेटा वेयरहाउसिंग में ईटीएल प्रक्रियाओं को पढ़ाने वाले पाठ्यक्रमों के लिए पाठ्यपुस्तक के रूप में किया जाता है, और इन्होने इस उद्देश्य को संबोधित किया है।[14]
अमेज़ॅन रेडशिफ़्ट,, गूगल बिगक्वेरी, माइक्रोसॉफ्ट एज़्योर सिनैप्स एनालिटिक्स और स्नोफ्लेक कंप्यूटिंग जैसे क्लाउड-आधारित डेटा वेयरहाउस अत्यधिक स्केलेबल कंप्यूटिंग शक्ति प्रदान करने में सक्षम हैं। यह व्यवसायों को प्रीलोड ट्रांसफ़ॉर्मेशन से बचने और रॉ डेटा को अपने डेटा वेयरहाउस में दोहराने की सुविधा देता है, जहां यह एसक्यूएल का उपयोग करके उन्हें आवश्यकतानुसार रूपांतरित भी कर सकता है।
ईएलटी का उपयोग करने के पश्चात्, डेटा को आगे संसाधित किया जा सकता है और डेटा मार्ट में संग्रहीत किया जा सकता है।[15]
प्रत्येक दृष्टिकोण के अपने पक्ष और विपक्ष हैं। [16] अधिकांश डेटा एकीकरण उपकरण ईटीएल की ओर झुकते हैं, जबकि ईएलटी डेटाबेस और डेटा वेयरहाउस उपकरणों में लोकप्रिय है। इसी अनुसार, टीईएल (ट्रांसफॉर्म, एक्सट्रैक्ट, लोड) करना संभव है, जहां डेटा को पहले ब्लॉकचेन पर रूपांतरित किया जाता है | और यह (डेटा में परिवर्तन रिकॉर्ड करने की विधि होती हैं उदाहरण के लिए, टोकन बर्निंग) डेटा निकालने और दूसरे डेटा स्टोर में लोड करने से पहले की प्रकिया हैं। [17]
यह भी देखें
- आर्किटेक्चर पैटर्न (ईए रिफ्रेंस आर्किटेक्चर)
- सीएमएस पाइपलाइन
- क्रिएट, रीड, अपडेट और डिलीट (सीआरयूडी)
- डेटा क्लीन
- डेटा इंटीग्रेसन
- डेटा मार्ट
- डेटा मेश,डोमेन-ओरिएंटेड डेटा आर्किटेक्चर
- डेटा माइग्रेशन
- डेटा ट्रांसफॉर्मेशन (कंप्यूटिंग)
- इलेक्ट्रॉनिक डाटा इंटरचेंज (ईडीआई)
- एंटरप्राइज आर्किटेक्चर
- लीगल इलेक्ट्रॉनिक डेटा एक्सचेंज स्टैण्डर्ड (एलईडीईएस)
- मेटाडेटा डिस्कवरी
- ऑनलाइन एनालिटिकल प्रोसेसिंग (ओएलएपी)
- ऑनलाइन ट्रांसेक्शन प्रोसेसिंग (ओएलटीपी)
- स्थानिक ईटीएल
रेफेरेंस
- ↑ 1.0 1.1 1.2 Ralph., Kimball (2004). The data warehouse ETL toolkit : practical techniques for extracting, cleaning, conforming, and delivering data. Caserta, Joe, 1965-. Indianapolis, IN: Wiley. ISBN 978-0764579233. OCLC 57301227.
- ↑ Denney, MJ (2016). "एक बड़े नैदानिक अनुसंधान डेटाबेस को पॉप्युलेट करने के लिए उपयोग की जाने वाली अर्क, परिवर्तन, लोड प्रक्रिया को मान्य करना". International Journal of Medical Informatics. 94: 271–4. doi:10.1016/j.ijmedinf.2016.07.009. PMC 5556907. PMID 27506144.
{{cite journal}}: zero width space character in|title=at position 17 (help) - ↑ Zhao, Shirley (2017-10-20). "What is ETL? (Extract, Transform, Load) | Experian". Experian Data Quality (in English). Retrieved 2018-12-12.
- ↑ Pott, Trevor (4 June 2018). "Extract, transform, load? More like extremely tough to load, amirite?". The Register (in English). Retrieved 2018-12-12.
- ↑ "डेटा एकीकरण जानकारी". डेटा एकीकरण जानकारी.
- ↑ Theodorou, Vasileios (2017). "Frequent patterns in ETL workflows: An empirical approach". Data & Knowledge Engineering. 112: 1–16. doi:10.1016/j.datak.2017.08.004. hdl:2117/110172.
- ↑ Virtual ETL
- ↑ "ईटीएल ख़त्म नहीं हुआ है. व्यावसायिक सफलता के लिए यह अभी भी महत्वपूर्ण है". Data Integration Info. 8 June 2020. Retrieved 14 July 2020.
- ↑ Kimball, The Data Warehouse Lifecycle Toolkit, p 332
- ↑ 10.0 10.1 Golfarelli/Rizzi, Data Warehouse Design, p 291
- ↑ "स्वयं सेवा डेटा एकीकरण का अनवरत उदय". Gartner. 22 May 2015. Retrieved 31 January 2016.
- ↑ "सिटीजन इंटीग्रेटर को अपनाएं". Gartner. Retrieved September 29, 2021.
- ↑ 13.0 13.1 Amazon Web Services, Data Warehousing on AWS, p 9
- ↑ "The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data [Book]".
- ↑ Amazon Web Services, Data Warehousing on AWS, 2016, p 10
- ↑ "ETL vs ELT: We Posit, You Judge". 30 August 2013.
- ↑ Bandara, H. M. N. Dilum; Xu, Xiwei; Weber, Ingo (2020). "Patterns for Blockchain Data Migration". Proceedings of the European Conference on Pattern Languages of Programs 2020. pp. 1–19. arXiv:1906.00239. doi:10.1145/3424771.3424796. ISBN 9781450377690. S2CID 219956181.
