डेटा स्क्रबिंग: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
 
(7 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{short description|Computer error correction technique}}
{{short description|Computer error correction technique}}
{{distinguish|Data cleansing}}
{{distinguish|डेटा क्लींजिंग }}
डेटा स्क्रबिंग [[त्रुटि सुधार]] तकनीक है जो त्रुटियों के लिए समय-समय पर मुख्य मेमोरी या [[[[कंप्यूटर डेटा]] भंडारण]] का निरीक्षण करने के लिए पृष्ठभूमि कार्य का उपयोग करती है, फिर विभिन्न [[ अंततः, |अंततः,]] या डेटा की प्रतियों के रूप में [[आधार सामग्री अतिरेक]] का उपयोग करके पाई गई त्रुटियों को ठीक करती है। डेटा स्क्रबिंग से एकल सुधार योग्य त्रुटियों के जमा होने की संभावना कम हो जाती है, जिससे सुधार न हो सकने वाली त्रुटियों का जोखिम कम हो जाता है।


कंप्यूटर [[ऑपरेटिंग सिस्टम]] और कंप्यूटर स्टोरेज और [[डेटा ट्रांसमिशन]] सिस्टम में कंप्यूटर डेटा को लिखने, पढ़ने, भंडारण, ट्रांसमिशन या प्रसंस्करण में डेटा अखंडता उच्च प्राथमिकता वाली चिंता है। हालाँकि, वर्तमान में मौजूद और प्रयुक्त [[फाइल सिस्टम]] में से केवल कुछ ही डेटा भ्रष्टाचार के विरुद्ध पर्याप्त सुरक्षा प्रदान करते हैं।<ref name=oracle-scrubbing>{{cite web
'''डेटा स्क्रबिंग [[त्रुटि सुधार|एरर करेक्शन]]''' तकनीक है जो की एररर्स के लिए समय-समय पर मुख्य मेमोरी या [[कंप्यूटर डेटा]] स्टोरेज का निरीक्षण करने के लिए पृष्ठभूमि कार्य का उपयोग करती है, फिर विभिन्न [[ अंततः, |चेकसम,]] या डेटा की कॉपीस के रूप में [[आधार सामग्री अतिरेक|अनावश्यक डेटा]] का उपयोग करके पाई गई एररर्स को ठीक करती है। डेटा स्क्रबिंग से एकल सुधार योग्य एररर्स के एकत्र होने की संभावना कम हो जाती है, जिससे सुधार न हो सकने वाली एररर्स का रिस्क कम हो जाता है।
 
इस प्रकार से कंप्यूटर [[ऑपरेटिंग सिस्टम]] और कंप्यूटर स्टोरेज और [[डेटा ट्रांसमिशन]] सिस्टम में कंप्यूटर डेटा को लिखने, पढ़ने, स्टोरेज , ट्रांसमिशन या प्रसंस्करण में डेटा इंटीग्रिटी उच्च प्राथमिकता वाली चिंता है। चूंकि , वर्तमान में उपस्तिथ और प्रयुक्त [[फाइल सिस्टम]] में से केवल कुछ ही डेटा करप्शन के विरुद्ध पर्याप्त सुरक्षा प्रदान करते हैं।<ref name=oracle-scrubbing>{{cite web
  |title=Checking ZFS File System Integrity
  |title=Checking ZFS File System Integrity
  |url=http://docs.oracle.com/cd/E23823_01/html/819-5461/gbbwa.html
  |url=http://docs.oracle.com/cd/E23823_01/html/819-5461/gbbwa.html
Line 23: Line 24:
  |archive-url=https://web.archive.org/web/20110429011617/http://pages.cs.wisc.edu/~vijayan/vijayan-thesis.pdf
  |archive-url=https://web.archive.org/web/20110429011617/http://pages.cs.wisc.edu/~vijayan/vijayan-thesis.pdf
  |url-status=live
  |url-status=live
  }}</ref><ref>{{cite conference |author=Andrew Krioukov |author2=Lakshmi N. Bairavasundaram |author3=Garth R. Goodson |author4=Kiran Srinivasan |author5=Randy Thelen |author6=Andrea C. Arpaci-Dusseau |author7=Remzi H. Arpaci-Dusseau |title=समता खो गई और समता पुनः प्राप्त हो गई|book-title=FAST'08: Proceedings of the 6th USENIX Conference on File and Storage Technologies |editor=Mary Baker |editor2=Erik Riedel |url=https://www.usenix.org/conference/fast-08/parity-lost-and-parity-regained |date=2008 |conference= |access-date=2021-05-28 |archive-date=2020-08-26 |archive-url=https://web.archive.org/web/20200826133937/https://www.usenix.org/conference/fast-08/parity-lost-and-parity-regained |url-status=live }}</ref>
  }}</ref><ref>{{cite conference |author=Andrew Krioukov |author2=Lakshmi N. Bairavasundaram |author3=Garth R. Goodson |author4=Kiran Srinivasan |author5=Randy Thelen |author6=Andrea C. Arpaci-Dusseau |author7=Remzi H. Arpaci-Dusseau |title=समता खो गई और समता पुनः प्राप्त हो गई|book-title=FAST'08: Proceedings of the 6th USENIX Conference on File and Storage Technologies |editor=Mary Baker |editor2=Erik Riedel |url=https://www.usenix.org/conference/fast-08/parity-lost-and-parity-regained |date=2008 |conference= |access-date=2021-05-28 |archive-date=2020-08-26 |archive-url=https://web.archive.org/web/20200826133937/https://www.usenix.org/conference/fast-08/parity-lost-and-parity-regained |url-status=live }}</ref>  
इस समस्या के समाधान के लिए, डेटा स्क्रबिंग डेटा में सभी विसंगतियों की नियमित जांच प्रदान करती है और, सामान्य तौर पर, हार्डवेयर या सॉफ़्टवेयर विफलता की रोकथाम प्रदान करती है। यह स्क्रबिंग सुविधा आमतौर पर मेमोरी, डिस्क एरे, फ़ाइल सिस्टम या [[क्षेत्र में प्रोग्राम की जा सकने वाली द्वार श्रंखला]] में त्रुटि का पता लगाने और सुधार के तंत्र के रूप में होती है।<ref>{{cite web
 
अतः इस समस्या के समाधान के लिए, डेटा स्क्रबिंग डेटा में सभी विसंगतियों की नियमित जांच प्रदान करती है और, सामान्य रूप से, हार्डवेयर या सॉफ़्टवेयर विफलता की रोकथाम प्रदान करती है। यह स्क्रबिंग सुविधा सामान्यतः मेमोरी, डिस्क एरे, फ़ाइल सिस्टम या [[क्षेत्र में प्रोग्राम की जा सकने वाली द्वार श्रंखला|एफपीजीए]] में एरर का पता लगाने और सुधार के तंत्र के रूप में होती है।<ref>{{cite web
  |title=An Analysis of Data Corruption in the Storage Stack
  |title=An Analysis of Data Corruption in the Storage Stack
  |url=http://www.cs.wisc.edu/adsl/Publications/corruption-fast08.pdf
  |url=http://www.cs.wisc.edu/adsl/Publications/corruption-fast08.pdf
Line 46: Line 48:
  |archive-url=https://web.archive.org/web/20111105215834/http://www.baarf.com/
  |archive-url=https://web.archive.org/web/20111105215834/http://www.baarf.com/
  |url-status=live
  |url-status=live
  }}</ref>
  }}</ref>  
==RAID==
==रेड ==
{{See also|RAID|bioctl|mdadm}}
{{See also|रेड|बायोक्टल|एमडीएडीएम}}
 
डेटा स्क्रबिंग के साथ, [[RAID नियंत्रक|रेड कंट्रोलर]] समय-समय पर रेड सरणी में सभी [[हार्ड डिस्क ड्राइव]] को रीड कर सकता है और अनुप्रयोगों द्वारा वास्तव में उन तक पहुंचने से प्रथम दोषपूर्ण ब्लॉक की जांच कर सकता है। इससे बिट-स्तरीय एररर्स के कारण साइलेंट डेटा करप्शन और डेटा लॉस की संभावना कम हो जाती है।<ref>Ulf Troppens, Wolfgang Mueller-Friedt, Rainer Erkens, Rainer Wolafka, Nils Haustein. Storage Networks Explained: Basics and Application of Fibre Channel SAN, NAS, ISCSI, InfiniBand and FCoE. John Wiley and Sons, 2009. p.39</ref>


डेटा स्क्रबिंग के साथ, [[RAID नियंत्रक]] समय-समय पर RAID सरणी में सभी [[हार्ड डिस्क ड्राइव]] को पढ़ सकता है और अनुप्रयोगों द्वारा वास्तव में उन तक पहुंचने से पहले दोषपूर्ण ब्लॉक की जांच कर सकता है। इससे बिट-स्तरीय त्रुटियों के कारण साइलेंट डेटा भ्रष्टाचार और डेटा हानि की संभावना कम हो जाती है।<ref>Ulf Troppens, Wolfgang Mueller-Friedt, Rainer Erkens, Rainer Wolafka, Nils Haustein. Storage Networks Explained: Basics and Application of Fibre Channel SAN, NAS, ISCSI, InfiniBand and FCoE. John Wiley and Sons, 2009. p.39</ref>
[[डेल पॉवरएज]] रेड वातावरण में, पट्रोल रीड नामक सुविधा डेटा स्क्रबिंग और [[निवारक रखरखाव|प्रेवेंटिव मैंनटेनन्स]] कर सकती है।<ref>
[[डेल पॉवरएज]] RAID वातावरण में, गश्ती रीड नामक सुविधा डेटा स्क्रबिंग और [[निवारक रखरखाव]] कर सकती है।<ref>
{{cite web  
{{cite web  
  |url=http://stuff.mit.edu/afs/athena/dept/cron/documentation/dell-server-admin/en/Perc6i_6e/chapterb.htm#wp1054135  
  |url=http://stuff.mit.edu/afs/athena/dept/cron/documentation/dell-server-admin/en/Perc6i_6e/chapterb.htm#wp1054135  
Line 61: Line 64:
  |archive-date=2013-05-29  
  |archive-date=2013-05-29  
  }}
  }}
</ref>
</ref>  


[[ओपनबीएसडी]] में, <code>[[bioctl]](8)</code> उपयोगिता सिस्टम प्रशासक को इन गश्ती रीडिंग को नियंत्रित करने की अनुमति देती है <code>BIOCPATROL</code> [[ioctl]] पर <code>[[/dev/bio]]</code> छद्म-उपकरण; 2019 तक, यह कार्यक्षमता [[एलएसआई तर्क]] और डेल नियंत्रकों के लिए कुछ डिवाइस ड्राइवरों में समर्थित है - इसमें शामिल है <code>mfi(4)</code> ओपनबीएसडी 5.8 (2015) के बाद से और <code>mfii(4)</code> ओपनबीएसडी 6.4 (2018) के बाद से।<ref>{{cite web
इस प्रकार से [[ओपनबीएसडी]] में, <code>bioctl(8)</code> उपयोगिता सिस्टम एडमिनिस्ट्रेटर को इन पट्रोल रीड को नियंत्रित करने की अनुमति देती है <code>BIOCPATROL</code> [[ioctl]] पर <code>[[/dev/bio]]</code> छद्म-डिवाइस; 2019 तक, यह कार्यक्षमता [[एलएसआई तर्क|एलएसआई लॉजिक]] और डेल कंट्रोलर के लिए कुछ डिवाइस ड्राइवरों में समर्थित है - इसमें सम्मिलित है <code>mfi(4)</code> ओपनबीएसडी 5.8 (2015) के पश्चात से और <code>mfii(4)</code> ओपनबीएसडी 6.4 (2018) के पश्चात से सम्मिलित है।<ref>{{cite web
|url= http://bxr.su/o/sys/dev/ic/mfi.c#mfi_ioctl
|url= http://bxr.su/o/sys/dev/ic/mfi.c#mfi_ioctl
|title= /sys/dev/ic/mfi.c — LSI Logic & Dell MegaRAID SAS RAID controller
|title= /sys/dev/ic/mfi.c — LSI Logic & Dell MegaRAID SAS RAID controller
Line 73: Line 76:
|website= BSD Cross Reference
|website= BSD Cross Reference
|publisher= [[OpenBSD]]
|publisher= [[OpenBSD]]
}}</ref>
}}</ref>  


फ्रीबीएसडी और [[ड्रैगनफ्लाई बीएसडी]] में, गश्त को RAID नियंत्रक-विशिष्ट उपयोगिता के माध्यम से नियंत्रित किया जा सकता है <code>mfiutil(8)</code> फ्रीबीएसडी 8.0 (2009) और 7.3 (2010) के बाद से।<ref>{{cite web
चूंकि फ्रीबीएसडी और [[ड्रैगनफ्लाई बीएसडी]] में, पट्रोल को रेड कंट्रोलर-स्पेसीफिक उपयोगिता के माध्यम से नियंत्रित किया जा सकता है और <code>mfiutil(8)</code> फ्रीबीएसडी 8.0 (2009) और 7.3 (2010) के पश्चात से नियंत्रित किया जा सकता है।<ref>{{cite web
|url= http://bxr.su/f/usr.sbin/mfiutil/
|url= http://bxr.su/f/usr.sbin/mfiutil/
|title= mfiutil — Utility for managing LSI MegaRAID SAS controllers
|title= mfiutil — Utility for managing LSI MegaRAID SAS controllers
Line 81: Line 84:
|publisher= [[FreeBSD]]
|publisher= [[FreeBSD]]
}}
}}
*{{cite book |section=mfiutil -- Utility for managing LSI MegaRAID SAS controllers |title=FreeBSD Manual Pages |url=http://mdoc.su/f,d/mfiutil.8}}</ref> फ्रीबीएसडी के कार्यान्वयन का उपयोग ओपनबीएसडी डेवलपर्स द्वारा अलग नियंत्रक-विशिष्ट उपयोगिता की आवश्यकता के बिना, अपने जेनेरिक बायो (4) फ्रेमवर्क और [[बायोक्टल]] उपयोगिता में गश्ती समर्थन जोड़ने के लिए किया गया था।
*{{cite book |section=mfiutil -- Utility for managing LSI MegaRAID SAS controllers |title=FreeBSD Manual Pages |url=http://mdoc.su/f,d/mfiutil.8}}</ref> फ्रीबीएसडी के कार्यान्वयन का उपयोग ओपनबीएसडी डेवलपर्स द्वारा अलग कंट्रोलर-स्पेसीफिक उपयोगिता की आवश्यकता के बिना, अपने जेनेरिक बायो (4) फ्रेमवर्क और [[बायोक्टल]] उपयोगिता में पट्रोली समर्थन जोड़ने के लिए किया गया था।  


2008 में [[नेटबीएसडी]] में, ओपनबीएसडी से बायो (4) फ्रेमवर्क को स्थिरता जांच के लिए सुविधा समर्थन के लिए विस्तारित किया गया था, जिसे लागू किया गया था <code>[[/dev/bio]]</code> छद्म डिवाइस के अंतर्गत <code>BIOCSETSTATE</code> ioctl कमांड, स्टार्ट और स्टॉप के विकल्पों के साथ (<code>BIOC_SSCHECKSTART_VOL</code> और <code>BIOC_SSCHECKSTOP_VOL</code>, क्रमश); यह 2019 तक केवल ड्राइवर द्वारा समर्थित है - <code>arcmsr(4)</code>.<ref>{{cite web
इस प्रकार से 2008 में [[नेटबीएसडी]] में, ओपनबीएसडी से बायो (4) फ्रेमवर्क को स्थिरता जांच के लिए सुविधा समर्थन के लिए विस्तारित किया गया था, जिसे प्रयुक्त किया गया था <code>[[/dev/bio]]</code> छद्म डिवाइस के अंतर्गत BIOCSETSTATE ioctl कमांड, स्टार्ट और स्टॉप के विकल्पों के साथ (<code>BIOC_SSCHECKSTART_VOL</code> और <code>BIOC_SSCHECKSTOP_VOL</code>, क्रमश); यह 2019 तक केवल - <code>arcmsr(4) ड्राइवर द्वारा समर्थित है।</code><ref>{{cite web
|url= http://bxr.su/n/sys/dev/pci/arcmsr.c#arc_bio_setstate
|url= http://bxr.su/n/sys/dev/pci/arcmsr.c#arc_bio_setstate
|title= sys/dev/pci/arcmsr.c — Areca Technology Corporation SATA/SAS RAID controller
|title= sys/dev/pci/arcmsr.c — Areca Technology Corporation SATA/SAS RAID controller
|website= BSD Cross Reference
|website= BSD Cross Reference
|publisher= [[NetBSD]]
|publisher= [[NetBSD]]
}}</ref>
}}</ref>  
[[लिनक्स एमडी RAID]], [[सॉफ्टवेयर RAID]] कार्यान्वयन के रूप में, डेटा स्थिरता जांच उपलब्ध कराता है और पता लगाए गए डेटा विसंगतियों की स्वचालित मरम्मत प्रदान करता है। ऐसी प्रक्रियाएं आमतौर पर साप्ताहिक [[क्रॉन]] जॉब स्थापित करके की जाती हैं। प्रत्येक परीक्षित एमडी डिवाइस को परिचालन जांच, मरम्मत या निष्क्रियता जारी करके रखरखाव किया जाता है। सभी निष्पादित कार्यों की स्थितियाँ, साथ ही सामान्य RAID स्थितियाँ, हमेशा उपलब्ध रहती हैं।<ref>{{cite web
 
अतः [[लिनक्स एमडी RAID|लिनक्स एमडी रेड]] , [[सॉफ्टवेयर RAID|सॉफ्टवेयर रेड]] कार्यान्वयन के रूप में, डेटा कॉनसिसटेनसी  जांच उपलब्ध कराता है और पता लगाए गए डेटा विसंगतियों की स्वचालित सुधार प्रदान करता है। इस प्रकार की प्रक्रियाएं सामान्यतः साप्ताहिक [[क्रॉन]] जॉब स्थापित करके की जाती हैं। प्रत्येक परीक्षित एमडी डिवाइस को परिचालन जांच, सुधार या निष्क्रियता प्रवाहित करके रखरखाव किया जाता है। सभी निष्पादित कार्यों की स्थितियाँ, साथ ही सामान्य रेड स्टेटस, सदैव उपलब्ध रहती हैं।<ref>{{cite web
  | url = https://raid.wiki.kernel.org/index.php/RAID_Administration
  | url = https://raid.wiki.kernel.org/index.php/RAID_Administration
  | title = RAID Administration
  | title = RAID Administration
Line 113: Line 117:
  | archive-date = 2013-09-21
  | archive-date = 2013-09-21
  | url-status = dead
  | url-status = dead
  }}</ref>
  }}</ref>  
==फ़ाइल सिस्टम==
==फ़ाइल सिस्टम ==


===बीटीआरएफएस===
===बीटीआरएफएस===
{{main|Btrfs}}
{{main|बीटीआरएफएस}}


[[Linux]] के लिए [[लिखने पर नकल]] (CoW) फ़ाइल सिस्टम के रूप में, [[Btrfs]] दोष अलगाव, भ्रष्टाचार का पता लगाना और सुधार, और फ़ाइल-सिस्टम स्क्रबिंग प्रदान करता है। यदि फ़ाइल सिस्टम किसी ब्लॉक को पढ़ते समय चेकसम बेमेल का पता लगाता है, तो वह पहले किसी अन्य डिवाइस से इस ब्लॉक की अच्छी प्रतिलिपि प्राप्त करने (या बनाने) का प्रयास करता है{{snd}} यदि इसकी आंतरिक मिररिंग या RAID तकनीक उपयोग में है।<ref>{{cite web
[[Linux|लिनक्स]] के लिए [[लिखने पर नकल|कॉपी-ऑन-राइट]] (सीओडब्लू ) फ़ाइल सिस्टम के रूप में, [[Btrfs|बीटीआरएफएस]] प्रोविडस फाल्ट आइसोलेशन, भ्रष्टाचार का पता लगाना और सुधार, और फ़ाइल-सिस्टम स्क्रबिंग प्रदान करता है। यदि फ़ाइल सिस्टम किसी ब्लॉक को रीड करते समय चेकसम बेमेल का पता लगाता है, तो वह पहले किसी अन्य डिवाइस से इस ब्लॉक की गुड कॉपी प्राप्त करने (या बनाने) का प्रयास करता है{{snd}} यदि इसकी आंतरिक मिररिंग या रेड तकनीक उपयोग में है।<ref>{{cite web
  | url = https://btrfs.wiki.kernel.org/index.php/Main_Page#Features
  | url = https://btrfs.wiki.kernel.org/index.php/Main_Page#Features
  | title = btrfs Wiki: Features
  | title = btrfs Wiki: Features
Line 127: Line 131:
  | archive-url = https://web.archive.org/web/20120425151829/https://btrfs.wiki.kernel.org/#Features
  | archive-url = https://web.archive.org/web/20120425151829/https://btrfs.wiki.kernel.org/#Features
  | url-status = live
  | url-status = live
  }}</ref>
  }}</ref>  
Btrfs पृष्ठभूमि में निष्पादित फ़ाइल सिस्टम स्क्रब जॉब को ट्रिगर करके संपूर्ण फ़ाइल सिस्टम की ऑनलाइन जाँच शुरू कर सकता है। स्क्रब जॉब अखंडता के लिए संपूर्ण फ़ाइल सिस्टम को स्कैन करता है और रास्ते में मिलने वाले किसी भी खराब ब्लॉक की रिपोर्ट करने और उसे सुधारने का स्वचालित प्रयास करता है।<ref>{{cite web
 
इस प्रकार से बीटीआरएफएस पृष्ठभूमि में निष्पादित फ़ाइल सिस्टम स्क्रब जॉब को ट्रिगर करके संपूर्ण फ़ाइल सिस्टम की ऑनलाइन जाँच प्रारंभ कर सकता है। और स्क्रब जॉब इंटीग्रिटी के लिए संपूर्ण फ़ाइल सिस्टम को स्कैन करता है और रास्ते में मिलने वाले किसी भी बैड ब्लॉक की रिपोर्ट करने और उसे सुधारने का स्वचालित प्रयास करता है।<ref>{{cite web
  | url = http://www.oracle.com/technetwork/articles/servers-storage-admin/advanced-btrfs-1734952.html
  | url = http://www.oracle.com/technetwork/articles/servers-storage-admin/advanced-btrfs-1734952.html
  | title = How I Use the Advanced Capabilities of Btrfs
  | title = How I Use the Advanced Capabilities of Btrfs
Line 150: Line 155:
  | archive-url = https://web.archive.org/web/20130921053924/https://blogs.oracle.com/wim/entry/btrfs_scrub_go_fix_corruptions
  | archive-url = https://web.archive.org/web/20130921053924/https://blogs.oracle.com/wim/entry/btrfs_scrub_go_fix_corruptions
  | url-status = live
  | url-status = live
  }}</ref>
  }}</ref>  
===ZFS===
===ज़ेडएफएस ===
{{main|ZFS}}
{{main|ज़ेडएफएस}}


ZFS की विशेषताएं, जो संयुक्त फ़ाइल सिस्टम और [[ तार्किक वॉल्यूम प्रबंधक |तार्किक वॉल्यूम प्रबंधक]] है, में डेटा भ्रष्टाचार मोड के खिलाफ सत्यापन, निरंतर अखंडता जांच और स्वचालित मरम्मत शामिल है। [[सन माइक्रोसिस्टम्स]] ने डेटा अखंडता पर ध्यान केंद्रित करने और डिस्क फ़र्मवेयर बग और [[ भूत लेखन (कंप्यूटिंग) |भूत लेखन (कंप्यूटिंग)]] जैसे मुद्दों के खिलाफ डिस्क पर डेटा की सुरक्षा के लिए ZFS को डिज़ाइन किया।<ref>{{cite web
ज़ेडएफएस की विशेषताएं, जो संयुक्त फ़ाइल सिस्टम और [[ तार्किक वॉल्यूम प्रबंधक |लॉजिक वॉल्यूम मेनेजर]] है, में डेटा करप्शन मोड के अधीन सत्यापन, निरंतर इंटीग्रिटी जांच और स्वचालित सुधार सम्मिलित है। [[सन माइक्रोसिस्टम्स]] ने डेटा इंटीग्रिटी पर ध्यान केंद्रित करने और डिस्क फ़र्मवेयर बग और [[ भूत लेखन (कंप्यूटिंग) |घोस्ट राइट्स (कंप्यूटिंग)]] जैसे विवादों के अधीन डिस्क पर डेटा की सुरक्षा के लिए ज़ेडएफएस को डिज़ाइन किया गया है।<ref>{{cite web
  | url = https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data
  | url = https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data
  | title = ZFS End-to-End Data Integrity
  | title = ZFS End-to-End Data Integrity
Line 164: Line 169:
  | archive-url = https://web.archive.org/web/20170506214434/https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data
  | archive-url = https://web.archive.org/web/20170506214434/https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data
  | url-status = dead
  | url-status = dead
  }}</ref>
  }}</ref>  


ZFS नामक मरम्मत उपयोगिता प्रदान करता है <code>scrub</code> जो डेटा क्षरण और अन्य समस्याओं के कारण होने वाले मूक डेटा भ्रष्टाचार की जांच और मरम्मत करता है।
ज़ेडएफएस नामक सुधार उपयोगिता प्रदान करता है <code>स्क्रब</code>जो डेटा क्षरण और अन्य समस्याओं के कारण होने वाले मूक डेटा करप्शन की जांच और सुधार करता है।


==स्मृति==
==मेमोरी ==
{{main|Memory scrubbing}}
{{main|मेमोरी स्क्रबिंग}}


समकालीन कंप्यूटर मेमोरी [[ एकीकृत परिपथ |एकीकृत परिपथ]] के उच्च एकीकरण घनत्व के कारण, व्यक्तिगत मेमोरी सेल संरचनाएं इतनी छोटी हो गईं कि वे कॉस्मिक किरणों और/या [[अल्फा कण]] उत्सर्जन के प्रति संवेदनशील हो गईं। इन घटनाओं के कारण होने वाली त्रुटियों को सॉफ़्ट त्रुटियाँ कहा जाता है। यह [[ गतिशील [[ रैंडम एक्सेस मेमोरी |रैंडम एक्सेस मेमोरी]] ]]- और [[ स्थैतिक रैंडम-एक्सेस मेमोरी |स्थैतिक रैंडम-एक्सेस मेमोरी]] -आधारित मेमोरी के लिए समस्या हो सकती है।
इस प्रकार से समकालीन कंप्यूटर मेमोरी [[ एकीकृत परिपथ |चिप्स]] के उच्च एकीकरण घनत्व के कारण, व्यक्तिगत मेमोरी सेल संरचनाएं इतनी छोटी हो गईं कि वे कॉस्मिक किरणों और/या [[अल्फा कण]] उत्सर्जन के प्रति संवेदनशील हो गईं है। इन घटनाओं के कारण होने वाली एररर्स को सॉफ़्ट एररर्स कहा जाता है। यह गतिशील [[ रैंडम एक्सेस मेमोरी |रैंडम एक्सेस मेमोरी]] और [[ स्थैतिक रैंडम-एक्सेस मेमोरी |स्थैतिक रैंडम-एक्सेस मेमोरी]] -आधारित मेमोरी के लिए समस्या हो सकती है।  


मेमोरी स्क्रबिंग [[ईसीसी मेमोरी]], डेटा की अन्य प्रतियों, या अन्य [[त्रुटि-सुधार कोड]] का उपयोग करके कंप्यूटर रैंडम-एक्सेस मेमोरी में बिट त्रुटियों का त्रुटि-पहचान और सुधार करता है।
अतः मेमोरी स्क्रबिंग [[ईसीसी मेमोरी]], डेटा की अन्य कॉपीस , या अन्य [[त्रुटि-सुधार कोड|एरर-करेक्शन कोड]] का उपयोग करके कंप्यूटर रैंडम-एक्सेस मेमोरी में बिट एररर्स का एरर-पहचान और सुधार करता है।  


==एफपीजीए==
==एफपीजीए ==
{{main|Field-programmable gate array}}
{{main|फ़ील्ड-प्रोग्रामयोग्य गेट ऐरे}}


स्क्रबिंग ऐसी तकनीक है जिसका उपयोग फ़ील्ड-प्रोग्रामेबल गेट ऐरे को पुन: प्रोग्राम करने के लिए किया जाता है। कॉन्फ़िगरेशन बिटस्ट्रीम में किसी त्रुटि को खोजने की आवश्यकता के बिना त्रुटियों के संचय से बचने के लिए इसका समय-समय पर उपयोग किया जा सकता है, जिससे डिज़ाइन सरल हो जाता है।
चूंकि स्क्रबिंग इस प्रकार की तकनीक है जिसका उपयोग फ़ील्ड-प्रोग्रामेबल गेट ऐरे को पुन: प्रोग्राम करने के लिए किया जाता है। और कॉन्फ़िगरेशन बिटस्ट्रीम में किसी एरर को खोजने की आवश्यकता के बिना एररर्स के स्टोरेज से बचने के लिए इसका समय-समय पर उपयोग किया जा सकता है, जिससे डिज़ाइन सरल हो जाता है।  


स्क्रबिंग के संबंध में कई दृष्टिकोण अपनाए जा सकते हैं, केवल एफपीजीए को पुन: प्रोग्राम करने से लेकर आंशिक पुन: कॉन्फ़िगरेशन तक। स्क्रबिंग की सबसे सरल विधि कुछ आवधिक दर (आमतौर पर गणना की गई अपसेट दर का 1/10) पर एफपीजीए को पूरी तरह से पुन: प्रोग्राम करना है। हालाँकि, FPGA उस रिप्रोग्राम समय के दौरान माइक्रो से मिलीसेकंड के क्रम पर चालू नहीं होता है। ऐसी स्थितियों के लिए जो उस प्रकार की रुकावट को बर्दाश्त नहीं कर सकतीं, आंशिक पुनर्विन्यास उपलब्ध है। यह तकनीक एफपीजीए को चालू रहते हुए भी पुन: प्रोग्राम करने की अनुमति देती है।<ref>{{cite web
इसलिए एफपीजीए को केवल पुनः प्रोग्राम करने से लेकर आंशिक पुनर्संरचना तक स्क्रबिंग के संबंध में अनेक दृष्टिकोण अपनाए जा सकते हैं। स्क्रबिंग की अधिक सरल विधि कुछ आवधिक दर (सामान्यतः गणना की गई अपसेट दर का 1/10) पर एफपीजीए को पूर्ण रूप से पुन: प्रोग्राम करना है। चूंकि , एफपीजीएउस रिप्रोग्राम समय के पश्चात माइक्रो से मिलीसेकंड के क्रम पर चालू नहीं होता है। ऐसी स्थितियों के लिए जो उस प्रकार की रुकावट को सहन नहीं कर सकतीं, और आंशिक पुनर्विन्यास उपलब्ध है। यह तकनीक एफपीजीए को चालू रहते हुए भी पुन: प्रोग्राम करने की अनुमति देती है।<ref>{{cite web
  | url = http://www.xilinx.com/publications/archives/xcell/Xcell50.pdf
  | url = http://www.xilinx.com/publications/archives/xcell/Xcell50.pdf
  | title = Xcell journal, issue 50
  | title = Xcell journal, issue 50
Line 191: Line 196:
  | archive-url = https://web.archive.org/web/20190830085419/https://www.xilinx.com/publications/archives/xcell/Xcell50.pdf
  | archive-url = https://web.archive.org/web/20190830085419/https://www.xilinx.com/publications/archives/xcell/Xcell50.pdf
  | url-status = live
  | url-status = live
  }}</ref>
  }}</ref>  
==यह भी देखें==
==यह भी देखें ==
* डेटा दूषण
* डेटा करप्शन
* डेटा गिरावट
* डेटा डीग्रेडेशन
*[[त्रुटि का पता लगाना और सुधार करना]]
*[[त्रुटि का पता लगाना और सुधार करना|एरर डिटेक्शन और करेक्शन]]
* [[fsck]] - फ़ाइल सिस्टम की स्थिरता की जाँच करने के लिए उपकरण
* [[fsck|एफएससीके]] - फ़ाइल सिस्टम की स्थिरता की जाँच करने के लिए उपकरण
* [[CHKDSK]] - fsck के समान, [[Microsoft Windows]] ऑपरेटिंग सिस्टम में उपयोग किया जाता है
* [[CHKDSK|सीएचकेडीएसके]] - एफएससीके के समान, [[Microsoft Windows|माइक्रोसॉफ़्ट विंडोज़]] ऑपरेटिंग सिस्टम में उपयोग किया जाता है


==संदर्भ==
==संदर्भ==
Line 205: Line 210:
* [http://www.tezzaron.com/about/papers/soft_errors_1_1_secure.pdf ''Soft Errors in Electronic Memory'']
* [http://www.tezzaron.com/about/papers/soft_errors_1_1_secure.pdf ''Soft Errors in Electronic Memory'']


{{data}}
[[Category:Articles with hatnote templates targeting a nonexistent page]]
[[Category: त्रुटि का पता लगाना और सुधार करना]]
 
 
 
[[Category: Machine Translated Page]]
[[Category:Created On 25/07/2023]]
[[Category:Created On 25/07/2023]]
[[Category:Lua-based templates]]
[[Category:Machine Translated Page]]
[[Category:Pages with script errors]]
[[Category:Short description with empty Wikidata description]]
[[Category:Templates Vigyan Ready]]
[[Category:Templates that add a tracking category]]
[[Category:Templates that generate short descriptions]]
[[Category:Templates using TemplateData]]
[[Category:त्रुटि का पता लगाना और सुधार करना]]

Latest revision as of 17:25, 19 September 2023

Not to be confused with डेटा क्लींजिंग.

डेटा स्क्रबिंग एरर करेक्शन तकनीक है जो की एररर्स के लिए समय-समय पर मुख्य मेमोरी या कंप्यूटर डेटा स्टोरेज का निरीक्षण करने के लिए पृष्ठभूमि कार्य का उपयोग करती है, फिर विभिन्न चेकसम, या डेटा की कॉपीस के रूप में अनावश्यक डेटा का उपयोग करके पाई गई एररर्स को ठीक करती है। डेटा स्क्रबिंग से एकल सुधार योग्य एररर्स के एकत्र होने की संभावना कम हो जाती है, जिससे सुधार न हो सकने वाली एररर्स का रिस्क कम हो जाता है।

इस प्रकार से कंप्यूटर ऑपरेटिंग सिस्टम और कंप्यूटर स्टोरेज और डेटा ट्रांसमिशन सिस्टम में कंप्यूटर डेटा को लिखने, पढ़ने, स्टोरेज , ट्रांसमिशन या प्रसंस्करण में डेटा इंटीग्रिटी उच्च प्राथमिकता वाली चिंता है। चूंकि , वर्तमान में उपस्तिथ और प्रयुक्त फाइल सिस्टम में से केवल कुछ ही डेटा करप्शन के विरुद्ध पर्याप्त सुरक्षा प्रदान करते हैं।[1][2][3]

अतः इस समस्या के समाधान के लिए, डेटा स्क्रबिंग डेटा में सभी विसंगतियों की नियमित जांच प्रदान करती है और, सामान्य रूप से, हार्डवेयर या सॉफ़्टवेयर विफलता की रोकथाम प्रदान करती है। यह स्क्रबिंग सुविधा सामान्यतः मेमोरी, डिस्क एरे, फ़ाइल सिस्टम या एफपीजीए में एरर का पता लगाने और सुधार के तंत्र के रूप में होती है।[4][5][6]

रेड

See also: रेड, बायोक्टल, and एमडीएडीएम

डेटा स्क्रबिंग के साथ, रेड कंट्रोलर समय-समय पर रेड सरणी में सभी हार्ड डिस्क ड्राइव को रीड कर सकता है और अनुप्रयोगों द्वारा वास्तव में उन तक पहुंचने से प्रथम दोषपूर्ण ब्लॉक की जांच कर सकता है। इससे बिट-स्तरीय एररर्स के कारण साइलेंट डेटा करप्शन और डेटा लॉस की संभावना कम हो जाती है।[7]

डेल पॉवरएज रेड वातावरण में, पट्रोल रीड नामक सुविधा डेटा स्क्रबिंग और प्रेवेंटिव मैंनटेनन्स कर सकती है।[8]

इस प्रकार से ओपनबीएसडी में, bioctl(8) उपयोगिता सिस्टम एडमिनिस्ट्रेटर को इन पट्रोल रीड को नियंत्रित करने की अनुमति देती है BIOCPATROL ioctl पर /dev/bio छद्म-डिवाइस; 2019 तक, यह कार्यक्षमता एलएसआई लॉजिक और डेल कंट्रोलर के लिए कुछ डिवाइस ड्राइवरों में समर्थित है - इसमें सम्मिलित है mfi(4) ओपनबीएसडी 5.8 (2015) के पश्चात से और mfii(4) ओपनबीएसडी 6.4 (2018) के पश्चात से सम्मिलित है।[9][10]

चूंकि फ्रीबीएसडी और ड्रैगनफ्लाई बीएसडी में, पट्रोल को रेड कंट्रोलर-स्पेसीफिक उपयोगिता के माध्यम से नियंत्रित किया जा सकता है और mfiutil(8) फ्रीबीएसडी 8.0 (2009) और 7.3 (2010) के पश्चात से नियंत्रित किया जा सकता है।[11] फ्रीबीएसडी के कार्यान्वयन का उपयोग ओपनबीएसडी डेवलपर्स द्वारा अलग कंट्रोलर-स्पेसीफिक उपयोगिता की आवश्यकता के बिना, अपने जेनेरिक बायो (4) फ्रेमवर्क और बायोक्टल उपयोगिता में पट्रोली समर्थन जोड़ने के लिए किया गया था।

इस प्रकार से 2008 में नेटबीएसडी में, ओपनबीएसडी से बायो (4) फ्रेमवर्क को स्थिरता जांच के लिए सुविधा समर्थन के लिए विस्तारित किया गया था, जिसे प्रयुक्त किया गया था /dev/bio छद्म डिवाइस के अंतर्गत BIOCSETSTATE ioctl कमांड, स्टार्ट और स्टॉप के विकल्पों के साथ (BIOC_SSCHECKSTART_VOL और BIOC_SSCHECKSTOP_VOL, क्रमश); यह 2019 तक केवल - arcmsr(4) ड्राइवर द्वारा समर्थित है।[12]

अतः लिनक्स एमडी रेड , सॉफ्टवेयर रेड कार्यान्वयन के रूप में, डेटा कॉनसिसटेनसी  जांच उपलब्ध कराता है और पता लगाए गए डेटा विसंगतियों की स्वचालित सुधार प्रदान करता है। इस प्रकार की प्रक्रियाएं सामान्यतः साप्ताहिक क्रॉन जॉब स्थापित करके की जाती हैं। प्रत्येक परीक्षित एमडी डिवाइस को परिचालन जांच, सुधार या निष्क्रियता प्रवाहित करके रखरखाव किया जाता है। सभी निष्पादित कार्यों की स्थितियाँ, साथ ही सामान्य रेड स्टेटस, सदैव उपलब्ध रहती हैं।[13][14][15]

फ़ाइल सिस्टम

बीटीआरएफएस

Main article: बीटीआरएफएस

लिनक्स के लिए कॉपी-ऑन-राइट (सीओडब्लू ) फ़ाइल सिस्टम के रूप में, बीटीआरएफएस प्रोविडस फाल्ट आइसोलेशन, भ्रष्टाचार का पता लगाना और सुधार, और फ़ाइल-सिस्टम स्क्रबिंग प्रदान करता है। यदि फ़ाइल सिस्टम किसी ब्लॉक को रीड करते समय चेकसम बेमेल का पता लगाता है, तो वह पहले किसी अन्य डिवाइस से इस ब्लॉक की गुड कॉपी प्राप्त करने (या बनाने) का प्रयास करता है – यदि इसकी आंतरिक मिररिंग या रेड तकनीक उपयोग में है।[16]

इस प्रकार से बीटीआरएफएस पृष्ठभूमि में निष्पादित फ़ाइल सिस्टम स्क्रब जॉब को ट्रिगर करके संपूर्ण फ़ाइल सिस्टम की ऑनलाइन जाँच प्रारंभ कर सकता है। और स्क्रब जॉब इंटीग्रिटी के लिए संपूर्ण फ़ाइल सिस्टम को स्कैन करता है और रास्ते में मिलने वाले किसी भी बैड ब्लॉक की रिपोर्ट करने और उसे सुधारने का स्वचालित प्रयास करता है।[17][18]

ज़ेडएफएस

Main article: ज़ेडएफएस

ज़ेडएफएस की विशेषताएं, जो संयुक्त फ़ाइल सिस्टम और लॉजिक वॉल्यूम मेनेजर है, में डेटा करप्शन मोड के अधीन सत्यापन, निरंतर इंटीग्रिटी जांच और स्वचालित सुधार सम्मिलित है। सन माइक्रोसिस्टम्स ने डेटा इंटीग्रिटी पर ध्यान केंद्रित करने और डिस्क फ़र्मवेयर बग और घोस्ट राइट्स (कंप्यूटिंग) जैसे विवादों के अधीन डिस्क पर डेटा की सुरक्षा के लिए ज़ेडएफएस को डिज़ाइन किया गया है।[19]

ज़ेडएफएस नामक सुधार उपयोगिता प्रदान करता है स्क्रबजो डेटा क्षरण और अन्य समस्याओं के कारण होने वाले मूक डेटा करप्शन की जांच और सुधार करता है।

मेमोरी

Main article: मेमोरी स्क्रबिंग

इस प्रकार से समकालीन कंप्यूटर मेमोरी चिप्स के उच्च एकीकरण घनत्व के कारण, व्यक्तिगत मेमोरी सेल संरचनाएं इतनी छोटी हो गईं कि वे कॉस्मिक किरणों और/या अल्फा कण उत्सर्जन के प्रति संवेदनशील हो गईं है। इन घटनाओं के कारण होने वाली एररर्स को सॉफ़्ट एररर्स कहा जाता है। यह गतिशील रैंडम एक्सेस मेमोरी और स्थैतिक रैंडम-एक्सेस मेमोरी -आधारित मेमोरी के लिए समस्या हो सकती है।

अतः मेमोरी स्क्रबिंग ईसीसी मेमोरी, डेटा की अन्य कॉपीस , या अन्य एरर-करेक्शन कोड का उपयोग करके कंप्यूटर रैंडम-एक्सेस मेमोरी में बिट एररर्स का एरर-पहचान और सुधार करता है।

एफपीजीए

Main article: फ़ील्ड-प्रोग्रामयोग्य गेट ऐरे

चूंकि स्क्रबिंग इस प्रकार की तकनीक है जिसका उपयोग फ़ील्ड-प्रोग्रामेबल गेट ऐरे को पुन: प्रोग्राम करने के लिए किया जाता है। और कॉन्फ़िगरेशन बिटस्ट्रीम में किसी एरर को खोजने की आवश्यकता के बिना एररर्स के स्टोरेज से बचने के लिए इसका समय-समय पर उपयोग किया जा सकता है, जिससे डिज़ाइन सरल हो जाता है।

इसलिए एफपीजीए को केवल पुनः प्रोग्राम करने से लेकर आंशिक पुनर्संरचना तक स्क्रबिंग के संबंध में अनेक दृष्टिकोण अपनाए जा सकते हैं। स्क्रबिंग की अधिक सरल विधि कुछ आवधिक दर (सामान्यतः गणना की गई अपसेट दर का 1/10) पर एफपीजीए को पूर्ण रूप से पुन: प्रोग्राम करना है। चूंकि , एफपीजीएउस रिप्रोग्राम समय के पश्चात माइक्रो से मिलीसेकंड के क्रम पर चालू नहीं होता है। ऐसी स्थितियों के लिए जो उस प्रकार की रुकावट को सहन नहीं कर सकतीं, और आंशिक पुनर्विन्यास उपलब्ध है। यह तकनीक एफपीजीए को चालू रहते हुए भी पुन: प्रोग्राम करने की अनुमति देती है।[20]

यह भी देखें

संदर्भ

  1. ↑ "Checking ZFS File System Integrity". Oracle Solaris ZFS Administration Guide. Oracle. Archived from the original on 31 January 2013. Retrieved 25 November 2012.
  2. ↑ Vijayan Prabhakaran (2006). "IRON FILE SYSTEMS" (PDF). Doctor of Philosophy in Computer Sciences. University of Wisconsin-Madison. Archived (PDF) from the original on 29 April 2011. Retrieved 9 June 2012.
  3. ↑ Andrew Krioukov; Lakshmi N. Bairavasundaram; Garth R. Goodson; Kiran Srinivasan; Randy Thelen; Andrea C. Arpaci-Dusseau; Remzi H. Arpaci-Dusseau (2008). "समता खो गई और समता पुनः प्राप्त हो गई". In Mary Baker; Erik Riedel (eds.). FAST'08: Proceedings of the 6th USENIX Conference on File and Storage Technologies. Archived from the original on 2020-08-26. Retrieved 2021-05-28.
  4. ↑ "An Analysis of Data Corruption in the Storage Stack" (PDF). Archived (PDF) from the original on 2010-06-15. Retrieved 2012-11-26.
  5. ↑ "Impact of Disk Corruption on Open-Source DBMS" (PDF). Archived (PDF) from the original on 2010-06-15. Retrieved 2012-11-26.
  6. ↑ "Baarf.com". Baarf.com. Archived from the original on November 5, 2011. Retrieved November 4, 2011.
  7. ↑ Ulf Troppens, Wolfgang Mueller-Friedt, Rainer Erkens, Rainer Wolafka, Nils Haustein. Storage Networks Explained: Basics and Application of Fibre Channel SAN, NAS, ISCSI, InfiniBand and FCoE. John Wiley and Sons, 2009. p.39
  8. ↑ "About PERC 6 and CERC 6i Controllers". Archived from the original on 2013-05-29. Retrieved 2013-06-20. The Patrol Read feature is designed as a preventative measure to ensure physical disk health and data integrity. Patrol Read scans for and resolves potential problems on configured physical disks.
  9. ↑ "/sys/dev/ic/mfi.c — LSI Logic & Dell MegaRAID SAS RAID controller". BSD Cross Reference. OpenBSD.
  10. ↑ "/sys/dev/pci/mfii.c — LSI Logic MegaRAID SAS Fusion RAID controller". BSD Cross Reference. OpenBSD.
  11. ↑ "mfiutil — Utility for managing LSI MegaRAID SAS controllers". BSD Cross Reference. FreeBSD.
  12. ↑ "sys/dev/pci/arcmsr.c — Areca Technology Corporation SATA/SAS RAID controller". BSD Cross Reference. NetBSD.
  13. ↑ "RAID Administration". kernel.org. Archived from the original on 2013-09-21. Retrieved 2013-09-20.
  14. ↑ "Software RAID and LVM: Data scrubbing". archlinux.org. Archived from the original on 2013-09-21. Retrieved 2013-09-20.
  15. ↑ "Linux kernel documentation: Documentation/md.txt". kernel.org. Archived from the original on 2013-09-21. Retrieved 2013-09-20.
  16. ↑ "btrfs Wiki: Features". The btrfs Project. Archived from the original on 2012-04-25. Retrieved 2013-09-20.
  17. ↑ Bierman, Margaret; Grimmer, Lenz (August 2012). "How I Use the Advanced Capabilities of Btrfs". Archived from the original on 2014-01-02. Retrieved 2013-09-20.
  18. ↑ Coekaerts, Wim (2011-09-28). "btrfs scrub – go fix corruptions with mirror copies please!". Archived from the original on 2013-09-21. Retrieved 2013-09-20.
  19. ↑ Bonwick, Jeff (2005-12-08). "ZFS End-to-End Data Integrity". Archived from the original on 2017-05-06. Retrieved 2013-09-19.
  20. ↑ "Xcell journal, issue 50" (PDF). FPGAs on Mars. Xilinx. 2004. p. 9. Archived (PDF) from the original on 2019-08-30. Retrieved 2013-10-16.

बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=डेटा_स्क्रबिंग&oldid=258546’