डेटा डुप्लिकेशन: Difference between revisions
No edit summary |
No edit summary |
||
| Line 20: | Line 20: | ||
== वर्गीकरण == | == वर्गीकरण == | ||
=== पोस्ट-प्रोसेस | === पोस्ट-प्रोसेस के प्रति इन-लाइन डुप्लीकेशन === | ||
डिडुप्लीकेशन इन-लाइन हो सकता है, क्योंकि डेटा प्रवाहित हो रहा है, या इसके लिखे जाने के पश्चात पोस्ट-प्रोसेस हो सकता है। | डिडुप्लीकेशन इन-लाइन हो सकता है, क्योंकि डेटा प्रवाहित हो रहा है, या इसके लिखे जाने के पश्चात पोस्ट-प्रोसेस हो सकता है। | ||
पोस्ट-प्रोसेस डिडुप्लीकेशन के साथ, नए डेटा को पहले स्टोरेज डिवाइस पर स्टोर किया जाता है और फिर पश्चात में | पोस्ट-प्रोसेस डिडुप्लीकेशन के साथ, नए डेटा को पहले स्टोरेज डिवाइस पर स्टोर किया जाता है और फिर पश्चात में प्रक्रिया डुप्लीकेशन के परीक्षण में डेटा का विश्लेषण करेगी। लाभ यह है कि डेटा को संग्रहीत करने से पहले [[हैश फंकशन|हैश गणना]] और लुकअप पूर्ण होने तक प्रतीक्षा करने की आवश्यकता नहीं है, जिससे यह सुनिश्चित हो सके कि स्टोर का प्रदर्शन व्यर्थ नहीं होता है। नीति-आधारित संचालन का प्रस्तुतीकरण करने वाले कार्यान्वयन उपयोगकर्ताओं को सक्रिय फ़ाइलों पर अनुकूलन को स्थगित करने या प्रकार और स्थान के आधार पर फ़ाइलों को संसाधित करने की क्षमता प्रदान कर सकते हैं। संभावित दोष यह है कि डुप्लिकेट डेटा को अनावश्यक रूप से संग्रहीत किया जा सकता है, जो कि प्रणाली की पूर्ण क्षमता के निकट होने पर समस्याग्रस्त हो सकता है। | ||
वैकल्पिक रूप से, डिडुप्लीकेशन हैश गणना इन-लाइन की जा सकती है: जैसे ही डेटा लक्ष्य डिवाइस में प्रवेश करता है, सिंक्रनाइज़ किया जाता है। यदि स्टोरेज प्रणाली | वैकल्पिक रूप से, डिडुप्लीकेशन हैश गणना इन-लाइन की जा सकती है: जैसे ही डेटा लक्ष्य डिवाइस में प्रवेश करता है, सिंक्रनाइज़ किया जाता है। यदि स्टोरेज प्रणाली ब्लॉक की पहचान करता है जिसे उसने पहले ही स्टोर कर लिया है, तो पूर्ण नए ब्लॉक के अतिरिक्त उपस्थित ब्लॉक का संदर्भ संग्रहीत किया जाता है। | ||
पोस्ट-प्रोसेस डिडुप्लीकेशन की तुलना में इन-लाइन डुप्लीकेशन का लाभ यह है कि इसके लिए कम स्टोरेज और नेटवर्क ट्रैफिक की आवश्यकता होती है, क्योंकि डुप्लीकेट डेटा को कभी भी स्टोर या ट्रांसफर नहीं किया जाता है। नकारात्मक पक्ष पर, हैश गणना कम्प्यूटेशनल रूप से | पोस्ट-प्रोसेस डिडुप्लीकेशन की तुलना में इन-लाइन डुप्लीकेशन का लाभ यह है कि इसके लिए कम स्टोरेज और नेटवर्क ट्रैफिक की आवश्यकता होती है, क्योंकि डुप्लीकेट डेटा को कभी भी स्टोर या ट्रांसफर नहीं किया जाता है। नकारात्मक पक्ष पर, हैश गणना कम्प्यूटेशनल रूप से बहुमूल्य हो सकती है, जिससे स्टोरेज थ्रूपुट कम हो जाता है। चूँकि, इन-लाइन डुप्लीकेशन वाले कुछ वेंडरों ने ऐसे उपकरण प्रदर्शित किए हैं जो उच्च दरों पर इन-लाइन डुप्लीकेशन करने में सक्षम हैं। | ||
पोस्ट-प्रोसेस और इन-लाइन डुप्लीकेशन विधियों पर प्रायः भारी | पोस्ट-प्रोसेस और इन-लाइन डुप्लीकेशन विधियों पर प्रायः भारी अनुशय होती है।<ref>{{cite web |url=http://www.backupcentral.com/content/view/134/47/ |title=In-line or post-process de-duplication? (updated 6-08) |publisher=Backup Central |access-date=2009-10-16 |url-status=dead |archive-url=https://web.archive.org/web/20091206035054/http://www.backupcentral.com/content/view/134/47 |archive-date=2009-12-06 }}</ref><ref>{{cite web |url=http://searchdatabackup.techtarget.com/tip/0,289483,sid187_gci1315295,00.html |title=इनलाइन बनाम पोस्ट-प्रोसेसिंग डिडुप्लिकेशन उपकरण|publisher=Searchdatabackup.techtarget.com |access-date=2009-10-16 |archive-date=2009-06-09 |archive-url=https://web.archive.org/web/20090609122811/http://searchdatabackup.techtarget.com/tip/0,289483,sid187_gci1315295,00.html |url-status=live }}</ref> | ||
=== डेटा प्रारूप === | === डेटा प्रारूप === | ||
एसएनआईए डिक्शनरी दो विधियों की पहचान करती है:<ref name="snia">{{Cite web |url=https://www.snia.org/education/dictionary/d |title=SNIA Dictionary » Dictionary D |access-date=2018-12-23 |archive-date=2018-12-24 |archive-url=https://web.archive.org/web/20181224023910/https://www.snia.org/education/dictionary/d |url-status=live }}</ref> | |||
* सामग्री-अज्ञेय डेटा डुप्लीकेशन - | * सामग्री-अज्ञेय डेटा डुप्लीकेशन- डेटा डुप्लिकेशन विधि जिसमें विशिष्ट एप्लिकेशन डेटा प्रारूपों के बारे में जागरूकता की आवश्यकता नहीं होती है। | ||
* सामग्री-जागरूक डेटा डुप्लीकेशन - | * सामग्री-जागरूक डेटा डुप्लीकेशन- डेटा डुप्लिकेशन विधि जो विशिष्ट एप्लिकेशन डेटा प्रारूपों के ज्ञान का लाभ का उपयोग करती है। | ||
=== स्रोत | === स्रोत के प्रति लक्ष्य डुप्लीकेशन === | ||
डेटा डुप्लीकेशन विधियों को वर्गीकृत करने का एक अन्य तरीका यह है कि वे कहाँ होते हैं। जहां डेटा बनाया गया है, उसके करीब होने वाले डुप्लीकेशन को स्रोत डुप्लिकेशन कहा जाता है। जब यह उस जगह के पास होता है जहां डेटा संग्रहीत किया जाता है, तो इसे लक्ष्य डुप्लीकेशन कहा जाता है। | डेटा डुप्लीकेशन विधियों को वर्गीकृत करने का एक अन्य तरीका यह है कि वे कहाँ होते हैं। जहां डेटा बनाया गया है, उसके करीब होने वाले डुप्लीकेशन को स्रोत डुप्लिकेशन कहा जाता है। जब यह उस जगह के पास होता है जहां डेटा संग्रहीत किया जाता है, तो इसे लक्ष्य डुप्लीकेशन कहा जाता है। | ||
स्रोत डिडुप्लीकेशन यह सुनिश्चित करता है कि डेटा स्रोत पर डेटा डुप्लीकेशन किया गया है। यह आम तौर पर एक फाइल प्रणाली के भीतर होता है। फ़ाइल प्रणाली समय-समय पर हैश बनाने वाली नई फ़ाइलों को स्कैन करेगा और उनकी तुलना उपस्थित फ़ाइलों के हैश से करेगा। जब एक ही हैश वाली फाइलें मिलती हैं तो फाइल कॉपी हटा दी जाती है और नई फाइल पुरानी फाइल को इंगित करती है। | स्रोत डिडुप्लीकेशन यह सुनिश्चित करता है कि डेटा स्रोत पर डेटा डुप्लीकेशन किया गया है। यह आम तौर पर एक फाइल प्रणाली के भीतर होता है। फ़ाइल प्रणाली समय-समय पर हैश बनाने वाली नई फ़ाइलों को स्कैन करेगा और उनकी तुलना उपस्थित फ़ाइलों के हैश से करेगा। जब एक ही हैश वाली फाइलें मिलती हैं तो फाइल कॉपी हटा दी जाती है और नई फाइल पुरानी फाइल को इंगित करती है। चूँकि, [[कठिन कड़ियाँ]] के विपरीत, डुप्लिकेट की गई फ़ाइलों को भिन्न-भिन्न इकाइयां माना जाता है और यदि डुप्लिकेट की गई फ़ाइलों में से एक को पश्चात में संशोधित किया जाता है, तो [[लिखने पर नकल]] नामक प्रणाली का उपयोग करके उस परिवर्तित फ़ाइल या ब्लॉक की एक प्रति बनाई जाती है। डुप्लीकेशन प्रक्रिया उपयोगकर्ताओं और बैकअप एप्लिकेशन के लिए पारदर्शी है। एक डिडुप्लिकेट फ़ाइल प्रणाली का बैकअप लेने से प्रायः दोहराव होता है जिसके परिणामस्वरूप बैकअप स्रोत डेटा से बड़ा होता है।<ref>{{cite web |url=http://www.microsoft.com/windowsserver2008/en/us/WSS08/SIS.aspx |title=Windows Server 2008: Windows Storage Server 2008 |publisher=Microsoft.com |access-date=2009-10-16 |url-status=dead |archive-url=https://web.archive.org/web/20091004073508/http://www.microsoft.com/windowsserver2008/en/us/WSS08/SIS.aspx |archive-date=2009-10-04 }}</ref><ref>{{cite web |url=http://www.netapp.com/us/products/platform-os/dedupe.html |title=उत्पाद - प्लेटफार्म ओएस|publisher=NetApp |access-date=2009-10-16 |archive-date=2010-02-06 |archive-url=https://web.archive.org/web/20100206071701/http://www.netapp.com/us/products/platform-os/dedupe.html |url-status=live }}</ref> | ||
{{anchor|reflink}}कॉपी करने के संचालन के लिए स्रोत डिडुप्लीकेशन को स्पष्ट रूप से घोषित किया जा सकता है, क्योंकि यह जानने के लिए किसी गणना की आवश्यकता नहीं है कि कॉपी किए गए डेटा को डुप्लीकेशन की आवश्यकता है। यह फाइल प्रणाली पर लिंकिंग के एक नए रूप की ओर जाता है जिसे रिफलिंक (लिनक्स) या क्लोनफाइल (मैकओएस) कहा जाता है, जहां एक या एक से अधिक [[इनोड]]्स (फाइल सूचना प्रविष्टियां) उनके कुछ या सभी डेटा को साझा करने के लिए बनाई जाती हैं। इसे समान रूप से हार्ड लिंक के नाम पर रखा गया है, जो इनोड स्तर पर कार्य करता है, और सांकेतिक लिंक जो फ़ाइल नाम स्तर पर कार्य करता है।<ref>{{cite web |title=The reflink(2) system call v5. |url=https://lwn.net/Articles/335380/ |website=lwn.net |access-date=2019-10-04 |archive-date=2015-10-02 |archive-url=https://web.archive.org/web/20151002000848/http://lwn.net/Articles/335380/ |url-status=live }}</ref> भिन्न-भिन्न प्रविष्टियों में कॉपी-ऑन-राइट व्यवहार होता है जो गैर-अलियासिंग होता है, यानी एक कॉपी को पश्चात में बदलने से दूसरी कॉपी प्रभावित नहीं होंगी।<ref>{{cite web |title=ioctl_ficlonerange(2) |url=http://man7.org/linux/man-pages/man2/ioctl_ficlonerange.2.html |website=Linux Manual Page |access-date=2019-10-04 |archive-date=2019-10-07 |archive-url=https://web.archive.org/web/20191007043757/http://man7.org/linux/man-pages/man2/ioctl_ficlonerange.2.html |url-status=live }}</ref> Microsoft का [[ReFS]] भी इस ऑपरेशन का समर्थन करता है।<ref>{{cite web|title=ReFS समर्थन पर विंडोज़ पर क्लोनफाइल जोड़ें|website=GitHub|author=Kazuki MATSUDA|url=https://github.com/git-lfs/git-lfs/pull/3790|access-date=2020-02-23|archive-date=2021-01-13|archive-url=https://web.archive.org/web/20210113201013/https://github.com/git-lfs/git-lfs/pull/3790|url-status=live}}</ref> | {{anchor|reflink}}कॉपी करने के संचालन के लिए स्रोत डिडुप्लीकेशन को स्पष्ट रूप से घोषित किया जा सकता है, क्योंकि यह जानने के लिए किसी गणना की आवश्यकता नहीं है कि कॉपी किए गए डेटा को डुप्लीकेशन की आवश्यकता है। यह फाइल प्रणाली पर लिंकिंग के एक नए रूप की ओर जाता है जिसे रिफलिंक (लिनक्स) या क्लोनफाइल (मैकओएस) कहा जाता है, जहां एक या एक से अधिक [[इनोड]]्स (फाइल सूचना प्रविष्टियां) उनके कुछ या सभी डेटा को साझा करने के लिए बनाई जाती हैं। इसे समान रूप से हार्ड लिंक के नाम पर रखा गया है, जो इनोड स्तर पर कार्य करता है, और सांकेतिक लिंक जो फ़ाइल नाम स्तर पर कार्य करता है।<ref>{{cite web |title=The reflink(2) system call v5. |url=https://lwn.net/Articles/335380/ |website=lwn.net |access-date=2019-10-04 |archive-date=2015-10-02 |archive-url=https://web.archive.org/web/20151002000848/http://lwn.net/Articles/335380/ |url-status=live }}</ref> भिन्न-भिन्न प्रविष्टियों में कॉपी-ऑन-राइट व्यवहार होता है जो गैर-अलियासिंग होता है, यानी एक कॉपी को पश्चात में बदलने से दूसरी कॉपी प्रभावित नहीं होंगी।<ref>{{cite web |title=ioctl_ficlonerange(2) |url=http://man7.org/linux/man-pages/man2/ioctl_ficlonerange.2.html |website=Linux Manual Page |access-date=2019-10-04 |archive-date=2019-10-07 |archive-url=https://web.archive.org/web/20191007043757/http://man7.org/linux/man-pages/man2/ioctl_ficlonerange.2.html |url-status=live }}</ref> Microsoft का [[ReFS]] भी इस ऑपरेशन का समर्थन करता है।<ref>{{cite web|title=ReFS समर्थन पर विंडोज़ पर क्लोनफाइल जोड़ें|website=GitHub|author=Kazuki MATSUDA|url=https://github.com/git-lfs/git-lfs/pull/3790|access-date=2020-02-23|archive-date=2021-01-13|archive-url=https://web.archive.org/web/20210113201013/https://github.com/git-lfs/git-lfs/pull/3790|url-status=live}}</ref> | ||
| Line 70: | Line 70: | ||
एक और चिंता संपीड़न और एन्क्रिप्शन की बातचीत है। एन्क्रिप्शन का लक्ष्य डेटा में किसी भी स्पष्ट पैटर्न को खत्म करना है। इस प्रकार एन्क्रिप्टेड डेटा को डुप्लीकेट नहीं किया जा सकता है, भले ही अंतर्निहित डेटा अनावश्यक हो। | एक और चिंता संपीड़न और एन्क्रिप्शन की बातचीत है। एन्क्रिप्शन का लक्ष्य डेटा में किसी भी स्पष्ट पैटर्न को खत्म करना है। इस प्रकार एन्क्रिप्टेड डेटा को डुप्लीकेट नहीं किया जा सकता है, भले ही अंतर्निहित डेटा अनावश्यक हो। | ||
चूँकि डेटा डिडुप्लीकेशन की कमी नहीं है, डेटा का उल्लंघन तब हुआ है जब अपर्याप्त सुरक्षा और एक्सेस सत्यापन प्रक्रियाओं का उपयोग डुप्लीकेट डेटा के बड़े रिपॉजिटरी के साथ किया जाता है। कुछ प्रणालियों में, जैसा कि सामान्य रूप से क्लाउड स्टोरेज के साथ होता है,{{citation needed|date=August 2016}} एक हमलावर वांछित डेटा के हैश मान को जानकर या अनुमान लगाकर दूसरों के स्वामित्व वाले डेटा को पुनः प्राप्त कर सकता है।<ref>{{cite journal |title=एक बादल जिस पर आप भरोसा कर सकते हैं|publisher=[[IEEE]] |journal=[[IEEE Spectrum]] |access-date=2011-12-21 |url=https://spectrum.ieee.org/computing/networks/a-cloud-you-can-trust |author1=CHRISTIAN CACHIN |author2=MATTHIAS SCHUNTER |date=December 2011 |archive-date=2012-01-02 |archive-url=https://web.archive.org/web/20120102010532/http://spectrum.ieee.org/computing/networks/a-cloud-you-can-trust |url-status=live }}</ref> | |||
Revision as of 17:39, 24 June 2023
कम्प्यूटिंग में, डेटा डिडुप्लीकेशन दोहराए जाने वाले डेटा की डुप्लिकेट प्रतियों को समाप्त करने की तकनीक है। तकनीक के सफल कार्यान्वयन से भंडारण उपयोग में सुधार हो सकता है, जो भंडारण क्षमता की आवश्यकताओं को पूर्ण करने के लिए आवश्यक भंडारण मीडिया की कुल मात्रा को कम करके पूंजीगत व्यय को कम कर सकता है। इसे भेजे जाने वाले बाइट्स की संख्या को कम करने के लिए नेटवर्क डेटा ट्रांसफर पर भी प्रारम्भ किया जा सकता है।
डिडुप्लीकेशन प्रक्रिया के लिए डेटा 'खंडों' (जिसे 'बाइट पैटर्न' के रूप में भी जाना जाता है) की तुलना की आवश्यकता होती है, जो डेटा के अद्वितीय, सन्निहित ब्लॉक होते हैं। इन खंडों को विश्लेषण की प्रक्रिया के समय पहचाना और संग्रहीत किया जाता है, और उपस्थित डेटा के भीतर अन्य खंडों की तुलना की जाती है। जब भी कोई मैच होता है, तो अनावश्यक खंड को एक छोटे संदर्भ से परिवर्तित कर दिया जाता है जो संग्रहीत खंड की ओर प्रदर्शित करता है। यह देखते हुए कि एक ही बाइट पैटर्न दर्जनों, सैकड़ों, या यहां तक कि हजारों बार हो सकता है (मैच आवृत्ति चंक आकार पर निर्भर है), संग्रहीत या स्थानांतरित किए जाने वाले डेटा की मात्रा को अधिक कम किया जा सकता है।[1][2]
संबंधित तकनीक एकल-आवृत्ति भंडारण है, जो संपूर्ण-फ़ाइल स्तर पर सामग्री की कई प्रतियों को एक भगित प्रतिलिपि से परिवर्तित कर देती है। जबकि इसे डेटा कम्प्रेशन और डुप्लीकेशन के अन्य रूपों के साथ जोड़ना संभव है, यह डेटा डुप्लीकेशन के नई विधियों से भिन्न है (जो खंड या उप-ब्लॉक स्तर पर कार्य कर सकता है)।
डिडुप्लीकेशन LZ77 और LZ78 जैसे डेटा कम्प्रेशन एल्गोरिदम से भिन्न है, जबकि कम्प्रेशन एल्गोरिदम भिन्न-भिन्न फ़ाइलों के अंदर अनावश्यक डेटा की पहचान करते हैं और इस अनावश्यक डेटा को अधिक कुशलता से एन्कोड करते हैं, डुप्लीकेशन का उद्देश्य डेटा की बड़ी मात्रा का निरीक्षण करना और बड़े अनुभागों की पहचान करना है- जैसे कि संपूर्ण फ़ाइलें या फ़ाइलों के बड़े अनुभाग - जो समान हैं, और उन्हें भागित प्रति के साथ प्रतिस्थापित करना है।
कार्य सिद्धांत
उदाहरण के लिए, सामान्य ईमेल प्रणाली में समान 1 एमबी (मेगाबाइट) फ़ाइल अनुलग्नक के 100 उदाहरण हो सकते हैं। जब प्रत्येक ईमेल प्लेटफॉर्म का बैकअप लिया जाता है, तो अनुलग्नक के सभी 100 उदाहरण सहेजे जाते हैं, जिसके लिए 100 एमबी संग्रहण स्थान की आवश्यकता होती है। डेटा डिडुप्लीकेशन के साथ, अनुलग्नक का उदाहरण वास्तव में संग्रहीत किया जाता है; पश्चात के उदाहरणों को लगभग 100 से 1 के डिडुप्लीकेशन अनुपात के लिए सहेजी गई प्रतिलिपि में संदर्भित किया जाता है। अतिरिक्त भंडारण बचत के लिए डिडुप्लीकेशन को प्रायः डेटा कंप्रेशन के साथ जोड़ा जाता है: डिडुप्लीकेशन का उपयोग पहले दोहराए गए डेटा के बड़े खंड को समाप्त करने के लिए किया जाता है, और फिर कंप्रेशन का उपयोग कुशलता से किया जाता है संग्रहीत खंडों में से प्रत्येक को एनकोड करें।[3]
कंप्यूटर कोड में, डिडुप्लीकेशन उदाहरण के लिए, सूचनाओं को चर में संग्रहीत करके किया जाता है जिससे उन्हें भिन्न-भिन्न लिखा न जाए, किंतु केंद्रीय संदर्भित (कंप्यूटर विज्ञान) स्थान पर एक बार में परिवर्तित किया जा सके। उदाहरण सीएसएस कक्षाएं और मीडियाविकि में नामित संदर्भ हैं।
लाभ
संग्रहण-आधारित डेटा डुप्लिकेशन फ़ाइलों के दिए गए सेट के लिए आवश्यक संग्रहण की मात्रा को कम कर देता है। यह उन अनुप्रयोगों में सबसे प्रभावी है जहां डिस्क पर अधिक समान या समान डेटा की कई प्रतियां संग्रहीत की जाती हैं। डेटा बैकअप की स्तिथि में, जो नियमित रूप से डेटा हानि से बचाने के लिए किया जाता है, किसी दिए गए बैकअप में अधिकांश डेटा पिछले बैकअप से अपरिवर्तित रहता है। सामान्य बैकअप प्रणालियाँ उन फ़ाइलों को विस्थापित करके (या हार्ड लिंक करके) इसका लाभ प्राप्त करने का प्रयास करते हैं जो नहीं परिवर्तित होती हैं या फ़ाइलों के मध्य अंतर संग्रहीत करते हैं। चूँकि, कोई भी दृष्टिकोण सभी अतिरेक पर प्रभुत्व नहीं करता है। हार्ड-लिंकिंग बड़ी फ़ाइलों में सहायता नहीं करती है जो केवल छोटी विधियों से परिवर्तित की गई हैं, जैसे कि ईमेल डेटाबेस; अंतर केवल फ़ाइल के आसन्न संस्करणों में अतिरेक पाते हैं (उस अनुभाग पर विचार करें जिसे विस्थापित कर दिया गया था और पश्चात में फिर से जोड़ा गया, या कई दस्तावेज़ों में सम्मिलित लोगो छवि)।
इन-लाइन नेटवर्क डेटा डिडुप्लीकेशन का उपयोग एंडपॉइंट के मध्य स्थानांतरित किए जाने वाले बाइट्स की संख्या को कम करने के लिए किया जाता है, जिससे आवश्यक बैंडविड्थ की मात्रा कम हो सकती है। अधिक जानकारी के लिए WAN अनुकूलन देखें। वर्चुअल सर्वर और वर्चुअल डेस्कटॉप डिडुप्लीकेशन से लाभान्वित होते हैं क्योंकि यह प्रत्येक वर्चुअल मशीन के लिए नाममात्र रूप से भिन्न प्रणाली फ़ाइलों को एकल स्टोरेज स्पेस में संयोजित करने की अनुमति देता है। उसी समय, यदि दी गई वर्चुअल मशीन किसी फ़ाइल को कस्टमाइज़ करती है, तो डिडुप्लीकेशन अन्य वर्चुअल मशीनों पर फ़ाइलों को नहीं परिवर्तित करता है - कुछ ऐसा जो हार्ड लिंक या डिस्क जैसे विकल्प प्रस्तुत नहीं करते हैं। आभासी परिवेशों का बैकअप लेना या डुप्लिकेट प्रतियां बनाना भी इसी प्रकार उत्तम होता है।
वर्गीकरण
पोस्ट-प्रोसेस के प्रति इन-लाइन डुप्लीकेशन
डिडुप्लीकेशन इन-लाइन हो सकता है, क्योंकि डेटा प्रवाहित हो रहा है, या इसके लिखे जाने के पश्चात पोस्ट-प्रोसेस हो सकता है।
पोस्ट-प्रोसेस डिडुप्लीकेशन के साथ, नए डेटा को पहले स्टोरेज डिवाइस पर स्टोर किया जाता है और फिर पश्चात में प्रक्रिया डुप्लीकेशन के परीक्षण में डेटा का विश्लेषण करेगी। लाभ यह है कि डेटा को संग्रहीत करने से पहले हैश गणना और लुकअप पूर्ण होने तक प्रतीक्षा करने की आवश्यकता नहीं है, जिससे यह सुनिश्चित हो सके कि स्टोर का प्रदर्शन व्यर्थ नहीं होता है। नीति-आधारित संचालन का प्रस्तुतीकरण करने वाले कार्यान्वयन उपयोगकर्ताओं को सक्रिय फ़ाइलों पर अनुकूलन को स्थगित करने या प्रकार और स्थान के आधार पर फ़ाइलों को संसाधित करने की क्षमता प्रदान कर सकते हैं। संभावित दोष यह है कि डुप्लिकेट डेटा को अनावश्यक रूप से संग्रहीत किया जा सकता है, जो कि प्रणाली की पूर्ण क्षमता के निकट होने पर समस्याग्रस्त हो सकता है।
वैकल्पिक रूप से, डिडुप्लीकेशन हैश गणना इन-लाइन की जा सकती है: जैसे ही डेटा लक्ष्य डिवाइस में प्रवेश करता है, सिंक्रनाइज़ किया जाता है। यदि स्टोरेज प्रणाली ब्लॉक की पहचान करता है जिसे उसने पहले ही स्टोर कर लिया है, तो पूर्ण नए ब्लॉक के अतिरिक्त उपस्थित ब्लॉक का संदर्भ संग्रहीत किया जाता है।
पोस्ट-प्रोसेस डिडुप्लीकेशन की तुलना में इन-लाइन डुप्लीकेशन का लाभ यह है कि इसके लिए कम स्टोरेज और नेटवर्क ट्रैफिक की आवश्यकता होती है, क्योंकि डुप्लीकेट डेटा को कभी भी स्टोर या ट्रांसफर नहीं किया जाता है। नकारात्मक पक्ष पर, हैश गणना कम्प्यूटेशनल रूप से बहुमूल्य हो सकती है, जिससे स्टोरेज थ्रूपुट कम हो जाता है। चूँकि, इन-लाइन डुप्लीकेशन वाले कुछ वेंडरों ने ऐसे उपकरण प्रदर्शित किए हैं जो उच्च दरों पर इन-लाइन डुप्लीकेशन करने में सक्षम हैं।
पोस्ट-प्रोसेस और इन-लाइन डुप्लीकेशन विधियों पर प्रायः भारी अनुशय होती है।[4][5]
डेटा प्रारूप
एसएनआईए डिक्शनरी दो विधियों की पहचान करती है:[2]
- सामग्री-अज्ञेय डेटा डुप्लीकेशन- डेटा डुप्लिकेशन विधि जिसमें विशिष्ट एप्लिकेशन डेटा प्रारूपों के बारे में जागरूकता की आवश्यकता नहीं होती है।
- सामग्री-जागरूक डेटा डुप्लीकेशन- डेटा डुप्लिकेशन विधि जो विशिष्ट एप्लिकेशन डेटा प्रारूपों के ज्ञान का लाभ का उपयोग करती है।
स्रोत के प्रति लक्ष्य डुप्लीकेशन
डेटा डुप्लीकेशन विधियों को वर्गीकृत करने का एक अन्य तरीका यह है कि वे कहाँ होते हैं। जहां डेटा बनाया गया है, उसके करीब होने वाले डुप्लीकेशन को स्रोत डुप्लिकेशन कहा जाता है। जब यह उस जगह के पास होता है जहां डेटा संग्रहीत किया जाता है, तो इसे लक्ष्य डुप्लीकेशन कहा जाता है।
स्रोत डिडुप्लीकेशन यह सुनिश्चित करता है कि डेटा स्रोत पर डेटा डुप्लीकेशन किया गया है। यह आम तौर पर एक फाइल प्रणाली के भीतर होता है। फ़ाइल प्रणाली समय-समय पर हैश बनाने वाली नई फ़ाइलों को स्कैन करेगा और उनकी तुलना उपस्थित फ़ाइलों के हैश से करेगा। जब एक ही हैश वाली फाइलें मिलती हैं तो फाइल कॉपी हटा दी जाती है और नई फाइल पुरानी फाइल को इंगित करती है। चूँकि, कठिन कड़ियाँ के विपरीत, डुप्लिकेट की गई फ़ाइलों को भिन्न-भिन्न इकाइयां माना जाता है और यदि डुप्लिकेट की गई फ़ाइलों में से एक को पश्चात में संशोधित किया जाता है, तो लिखने पर नकल नामक प्रणाली का उपयोग करके उस परिवर्तित फ़ाइल या ब्लॉक की एक प्रति बनाई जाती है। डुप्लीकेशन प्रक्रिया उपयोगकर्ताओं और बैकअप एप्लिकेशन के लिए पारदर्शी है। एक डिडुप्लिकेट फ़ाइल प्रणाली का बैकअप लेने से प्रायः दोहराव होता है जिसके परिणामस्वरूप बैकअप स्रोत डेटा से बड़ा होता है।[6][7]
कॉपी करने के संचालन के लिए स्रोत डिडुप्लीकेशन को स्पष्ट रूप से घोषित किया जा सकता है, क्योंकि यह जानने के लिए किसी गणना की आवश्यकता नहीं है कि कॉपी किए गए डेटा को डुप्लीकेशन की आवश्यकता है। यह फाइल प्रणाली पर लिंकिंग के एक नए रूप की ओर जाता है जिसे रिफलिंक (लिनक्स) या क्लोनफाइल (मैकओएस) कहा जाता है, जहां एक या एक से अधिक इनोड्स (फाइल सूचना प्रविष्टियां) उनके कुछ या सभी डेटा को साझा करने के लिए बनाई जाती हैं। इसे समान रूप से हार्ड लिंक के नाम पर रखा गया है, जो इनोड स्तर पर कार्य करता है, और सांकेतिक लिंक जो फ़ाइल नाम स्तर पर कार्य करता है।[8] भिन्न-भिन्न प्रविष्टियों में कॉपी-ऑन-राइट व्यवहार होता है जो गैर-अलियासिंग होता है, यानी एक कॉपी को पश्चात में बदलने से दूसरी कॉपी प्रभावित नहीं होंगी।[9] Microsoft का ReFS भी इस ऑपरेशन का समर्थन करता है।[10] जब उस स्थान पर डेटा उत्पन्न नहीं हुआ था तब लक्ष्य डुप्लीकेशन डुप्लिकेट को हटाने की प्रक्रिया है। इसका उदाहरण एक SAN/NAS से जुड़ा एक सर्वर होगा, SAN/NAS सर्वर के लिए एक लक्ष्य होगा (लक्ष्य डिडुप्लीकेशन)। सर्वर को किसी भी डुप्लीकेशन की जानकारी नहीं है, सर्वर डेटा जनरेशन का बिंदु भी है। दूसरा उदाहरण बैकअप होगा। आम तौर पर यह एक बैकअप स्टोर होगा जैसे डेटा रिपॉजिटरी या वर्चुअल टेप लाइब्रेरी।
डिडुप्लीकेशन के तरीके
डेटा डुप्लीकेशन कार्यान्वयन के सबसे सामान्य रूपों में से एक डुप्लिकेट का पता लगाने के लिए डेटा के हिस्सों की तुलना करके कार्य करता है। ऐसा होने के लिए, डेटा के प्रत्येक हिस्से को एक पहचान सौंपी जाती है, जिसकी गणना सॉफ्टवेयर द्वारा की जाती है, आमतौर पर क्रिप्टोग्राफ़िक हैश फ़ंक्शंस का उपयोग करते हुए। कई कार्यान्वयनों में, यह धारणा बनाई जाती है कि यदि पहचान समान है, तो डेटा समान है, भले ही कबूतरखाने के सिद्धांत के कारण यह सभी मामलों में सही नहीं हो सकता है; अन्य कार्यान्वयन यह नहीं मानते हैं कि समान पहचानकर्ता वाले डेटा के दो ब्लॉक समान हैं, किंतु वास्तव में सत्यापित करते हैं कि समान पहचान वाला डेटा समान है।[11] यदि सॉफ्टवेयर या तो मानता है कि एक दी गई पहचान पहले से ही डिडुप्लीकेशन नेमस्पेस में मौजूद है या वास्तव में कार्यान्वयन के आधार पर डेटा के दो ब्लॉकों की पहचान की पुष्टि करता है, तो यह उस डुप्लिकेट चंक को एक लिंक से बदल देगा।
एक बार जब डेटा को डुप्लीकेट कर दिया जाता है, फ़ाइल के पीछे पढ़ने पर, जहां भी कोई लिंक मिलता है, प्रणाली बस उस लिंक को संदर्भित डेटा चंक से बदल देता है। डुप्लीकेशन प्रक्रिया का उद्देश्य अंतिम उपयोगकर्ताओं और एप्लिकेशन के लिए पारदर्शी होना है।
वाणिज्यिक डिडुप्लीकेशन कार्यान्वयन उनके चैंकिंग तरीकों और आर्किटेक्चर से भिन्न होते हैं।
- चंकिंग। कुछ प्रणालियों में, चंक्स को भौतिक परत बाधाओं द्वारा परिभाषित किया जाता है (उदाहरण के लिए कहीं भी फ़ाइल लेआउट लिखें में 4KB ब्लॉक आकार)। कुछ प्रणालियों में केवल पूर्ण फाइलों की तुलना की जाती है, जिसे सिंगल-इंस्टेंस स्टोरेज या SIS कहा जाता है। चंकिंग के लिए सबसे बुद्धिमान (किंतु सीपीयू इंटेंसिव) विधि को आमतौर पर स्लाइडिंग-ब्लॉक माना जाता है, जिसे सामग्री-परिभाषित चंकिंग भी कहा जाता है। स्लाइडिंग ब्लॉक में, फ़ाइल स्ट्रीम के साथ एक विंडो पारित की जाती है जिससे अधिक स्वाभाविक रूप से होने वाली आंतरिक फ़ाइल सीमाओं की तलाश की जा सके।
- क्लाइंट बैकअप डिडुप्लीकेशन। यह वह प्रक्रिया है जहां स्रोत (क्लाइंट) मशीनों पर डिडुप्लीकेशन हैश गणना शुरू में बनाई जाती है। लक्ष्य डिवाइस में पहले से मौजूद फाइलों के समान हैश वाली फाइलें नहीं भेजी जाती हैं, लक्ष्य डिवाइस केवल डुप्लिकेट किए गए डेटा को संदर्भित करने के लिए उपयुक्त आंतरिक लिंक बनाता है। इसका लाभ यह है कि यह डेटा को अनावश्यक रूप से पूरे नेटवर्क पर भेजे जाने से बचाता है जिससे ट्रैफिक लोड कम होता है।
- प्राथमिक भंडारण और माध्यमिक भंडारण। परिभाषा के अनुसार, प्राथमिक भंडारण प्रणालियों को न्यूनतम संभावित लागत के बजाय इष्टतम प्रदर्शन के लिए डिज़ाइन किया गया है। इन प्रणालियों के लिए डिज़ाइन मानदंड अन्य विचारों की कीमत पर प्रदर्शन को बढ़ाना है। इसके अलावा, प्राथमिक स्टोरेज प्रणाली किसी भी ऑपरेशन के प्रति अधिक कम सहिष्णु हैं जो प्रदर्शन को नकारात्मक रूप से प्रभावित कर सकते हैं। साथ ही परिभाषा के अनुसार, द्वितीयक भंडारण प्रणालियों में मुख्य रूप से डुप्लीकेट, या डेटा की द्वितीयक प्रतियां होती हैं। डेटा की इन प्रतियों का उपयोग आम तौर पर वास्तविक उत्पादन संचालन के लिए नहीं किया जाता है और इसके परिणामस्वरूप बढ़ी हुई दक्षता के बदले में कुछ प्रदर्शन गिरावट के प्रति अधिक सहनशील होते हैं।
तिथि करने के लिए, डेटा डुप्लिकेशन मुख्य रूप से द्वितीयक भंडारण प्रणालियों के साथ उपयोग किया गया है। इसके कारण दो तरफा हैं। सबसे पहले, डेटा डिडुप्लिकेशन के लिए डुप्लिकेट डेटा को खोजने और निकालने के लिए ओवरहेड की आवश्यकता होती है। प्राथमिक स्टोरेज प्रणाली में, यह ओवरहेड प्रदर्शन को प्रभावित कर सकता है। द्वितीयक डेटा पर डिडुप्लीकेशन प्रारम्भ करने का दूसरा कारण यह है कि द्वितीयक डेटा में अधिक डुप्लिकेट डेटा होने की प्रवृत्ति होती है। बैकअप एप्लिकेशन विशेष रूप से समय के साथ आमतौर पर डुप्लिकेट डेटा के महत्वपूर्ण हिस्से उत्पन्न करते हैं।
कुछ मामलों में प्राथमिक भंडारण के साथ डेटा डिडुप्लिकेशन सफलतापूर्वक तैनात किया गया है जहां प्रणाली डिज़ाइन को महत्वपूर्ण ओवरहेड या प्रभाव प्रदर्शन की आवश्यकता नहीं होती है।
एकल उदाहरण भंडारण
सिंगल-इंस्टेंस स्टोरेज (SIS) सामग्री ऑब्जेक्ट की कई प्रतियाँ लेने और उन्हें एक साझा प्रति द्वारा प्रतिस्थापित करने की प्रणाली की क्षमता है। यह आंकड़े डुप्लीकेशन को खत्म करने और दक्षता बढ़ाने का एक साधन है। SIS को फाइल प्रणाली, ईमेल सर्वर सॉफ्टवेयर, डेटा बैकअप और अन्य स्टोरेज से संबंधित कंप्यूटर सॉफ्टवेयर में प्रायः प्रारम्भ किया जाता है। सिंगल-इंस्टेंस स्टोरेज डेटा डिडुप्लीकेशन का एक सरल रूप है। जबकि डेटा डिडुप्लीकेशन एक खंड या उप-ब्लॉक स्तर पर कार्य कर सकता है, एकल उदाहरण भंडारण वस्तु स्तर पर कार्य करता है, वस्तुओं की अनावश्यक प्रतियों को समाप्त करता है जैसे कि संपूर्ण फाइलें या ई-मेल संदेश।[12] जटिलता में वृद्धि और (कुछ मामलों में) भंडारण स्थान आवश्यकताओं में मामूली वृद्धि के बदले प्रदर्शन में सुधार के लिए एकल-आवृत्ति भंडारण का उपयोग अन्य डेटा दोहराव या डेटा संपीड़न विधियों के साथ (या स्तरित) किया जा सकता है।
कमियां और चिंताएं
डेटा के डुप्लीकेट सेगमेंट की पहचान करने के लिए क्रिप्टोग्राफ़िक हैश फ़ंक्शन के उपयोग पर डेटा को डिडुप्लिकेट करने का एक तरीका निर्भर करता है। यदि सूचना के दो भिन्न-भिन्न टुकड़े समान हैश मान उत्पन्न करते हैं, तो इसे हैश टक्कर के रूप में जाना जाता है। टकराव की संभावना मुख्य रूप से हैश लंबाई पर निर्भर करती है (जन्मदिन का हमला देखें)। इस प्रकार, चिंता उत्पन्न होती है कि हैश टक्कर होने पर डेटा भ्रष्टाचार हो सकता है, और सत्यापन के अतिरिक्त साधनों का उपयोग यह सत्यापित करने के लिए नहीं किया जाता है कि डेटा में कोई अंतर है या नहीं। इन-लाइन और पोस्ट-प्रोसेस आर्किटेक्चर दोनों गारंटीकृत डेटा अखंडता के लिए मूल डेटा के बिट-टू-बिट सत्यापन की पेशकश कर सकते हैं। उपयोग किए गए हैश फ़ंक्शंस में SHA-1, SHA-256 और अन्य जैसे मानक सम्मिलित हैं।
प्रक्रिया की कम्प्यूटेशनल संसाधन तीव्रता डेटा डुप्लिकेशन की कमी हो सकती है। प्रदर्शन में सुधार करने के लिए, कुछ प्रणाली कमजोर और मजबूत हैश दोनों का उपयोग करते हैं। कमजोर हैश गणना करने के लिए अधिक तेज़ हैं किंतु हैश टकराव का अधिक जोखिम है। प्रणाली जो कमजोर हैश का उपयोग करते हैं, पश्चात में एक मजबूत हैश की गणना करेंगे और इसे निर्धारण कारक के रूप में उपयोग करेंगे कि यह वास्तव में एक ही डेटा है या नहीं। ध्यान दें कि हैश मानों की गणना और खोज से जुड़ा प्रणाली ओवरहेड मुख्य रूप से डिडुप्लीकेशन वर्कफ़्लो का एक कार्य है। फाइलों के पुनर्गठन के लिए इस प्रसंस्करण की आवश्यकता नहीं होती है और डेटा चंक्स के पुन: संयोजन से जुड़े किसी भी वृद्धिशील प्रदर्शन दंड से आवेदन के प्रदर्शन पर प्रभाव पड़ने की संभावना नहीं है।
एक और चिंता संपीड़न और एन्क्रिप्शन की बातचीत है। एन्क्रिप्शन का लक्ष्य डेटा में किसी भी स्पष्ट पैटर्न को खत्म करना है। इस प्रकार एन्क्रिप्टेड डेटा को डुप्लीकेट नहीं किया जा सकता है, भले ही अंतर्निहित डेटा अनावश्यक हो।
चूँकि डेटा डिडुप्लीकेशन की कमी नहीं है, डेटा का उल्लंघन तब हुआ है जब अपर्याप्त सुरक्षा और एक्सेस सत्यापन प्रक्रियाओं का उपयोग डुप्लीकेट डेटा के बड़े रिपॉजिटरी के साथ किया जाता है। कुछ प्रणालियों में, जैसा कि सामान्य रूप से क्लाउड स्टोरेज के साथ होता है,[citation needed] एक हमलावर वांछित डेटा के हैश मान को जानकर या अनुमान लगाकर दूसरों के स्वामित्व वाले डेटा को पुनः प्राप्त कर सकता है।[13]
कार्यान्वयन
कुछ फ़ाइल प्रणाली जैसे कि ZFS में डिडुप्लीकेशन प्रारम्भ किया गया है[14] या कहीं भी फ़ाइल लेआउट लिखें और विभिन्न डिस्क सरणी मॉडल में। यह Windows सर्वर पर NTFS और ReFS दोनों पर उपलब्ध सेवा है।
यह भी देखें
- क्षमता अनुकूलन
- घन संग्रहण
- सिंगल-इंस्टेंस स्टोरेज
- सामग्री-पता योग्य भंडारण
- डेल्टा एन्कोडिंग
- जुड़ा हुआ डेटा
- सूचक (कंप्यूटर प्रोग्रामिंग)
- रिकॉर्ड लिंकेज
- पहचान संकल्प
- अभिसरण एन्क्रिप्शन
संदर्भ
- ↑ "डेटा डुप्लीकेशन को समझना". Druva (in English). 2009-01-09. Archived from the original on 2019-08-06. Retrieved 2019-08-06.
- ↑ 2.0 2.1 "SNIA Dictionary » Dictionary D". Archived from the original on 2018-12-24. Retrieved 2018-12-23.
- ↑ Compression, deduplication and encryption: What's the difference? Archived 2018-12-23 at the Wayback Machine, Stephen Bigelow and Paul Crocetti
- ↑ "In-line or post-process de-duplication? (updated 6-08)". Backup Central. Archived from the original on 2009-12-06. Retrieved 2009-10-16.
- ↑ "इनलाइन बनाम पोस्ट-प्रोसेसिंग डिडुप्लिकेशन उपकरण". Searchdatabackup.techtarget.com. Archived from the original on 2009-06-09. Retrieved 2009-10-16.
- ↑ "Windows Server 2008: Windows Storage Server 2008". Microsoft.com. Archived from the original on 2009-10-04. Retrieved 2009-10-16.
- ↑ "उत्पाद - प्लेटफार्म ओएस". NetApp. Archived from the original on 2010-02-06. Retrieved 2009-10-16.
- ↑ "The reflink(2) system call v5". lwn.net. Archived from the original on 2015-10-02. Retrieved 2019-10-04.
- ↑ "ioctl_ficlonerange(2)". Linux Manual Page. Archived from the original on 2019-10-07. Retrieved 2019-10-04.
- ↑ Kazuki MATSUDA. "ReFS समर्थन पर विंडोज़ पर क्लोनफाइल जोड़ें". GitHub. Archived from the original on 2021-01-13. Retrieved 2020-02-23.
- ↑ An example of an implementation that checks for identity rather than assuming it is described in "US Patent application # 20090307251" Archived 2017-01-15 at the Wayback Machine.
- ↑ Explaining deduplication rates and single-instance storage to clients Archived 2018-12-23 at the Wayback Machine. George Crump, Storage Switzerland
- ↑ CHRISTIAN CACHIN; MATTHIAS SCHUNTER (December 2011). "एक बादल जिस पर आप भरोसा कर सकते हैं". IEEE Spectrum. IEEE. Archived from the original on 2012-01-02. Retrieved 2011-12-21.
- ↑ Author, Guest. "ZFS डिडुप्लीकेशन". blogs.oracle.com. Archived from the original on 24 December 2019. Retrieved 25 November 2019.
{{cite web}}:|last=has generic name (help)
बाहरी संबंध
- Biggar, Heidi(2007.12.11). WebCast: The Data Deduplication Effect
- Using Latent Semantic Indexing for Data Deduplication.
- A Better Way to Store Data.
- What Is the Difference Between Data Deduplication, File Deduplication, and Data Compression? - Database from eWeek
- SNIA DDSR SIG * * Understanding Data Deduplication Ratios
- Doing More with Less by Jatinder Singh
- DeDuplication Demo.
