बिग टेबल: Difference between revisions

From Vigyanwiki
No edit summary
No edit summary
Line 30: Line 30:
बिगटेबल एक चौड़े कॉलम स्टोर के प्रोटोटाइप उदाहरणों में से एक है। यह दो स्वेच्छ स्ट्रिंग मान पंक्ति कुंजी और स्तंभ कुंजी तथा टाइम स्टैम्प इसलिए त्रि आयामी मानचित्रण को एक संबद्ध स्वेच्छ बाइट  सारणी में चित्रित करता है। यह एक संबंधपरक डेटाबेस नहीं है और इसे विरल, वितरित बहु आयामी क्रमबद्ध मानचित्र के रूप में उत्तम परिभाषित किया जा सकता है।{{Sfn |Chang |Dean |Ghemawat |Hsieh |2006}}{{Rp|1}} यह कोलोसस [[गूगल]] फाइल सिस्टम, वितरित लॉक मैनेजर अन्य क्रियान्वयन, एसएसटेबल लॉग-स्ट्रक्चर्ड स्टोरेज जैसे लेवलडीबी और कुछ अन्य गूगल प्रौद्योगिकियों पर बनाया गया है। बिगटेबल को सैकड़ों या हजारों मशीनों में पेटाबाइट रेंज में स्केल करने के लिए डिज़ाइन किया गया है और सिस्टम में अधिक मशीनों को जोड़ना आसान बनाता है और स्वचालित रूप से बिना किसी पुन: कॉन्फ़िगरेशन के उन संसाधनों का लाभ लेना प्रारंभ कर देता है।<ref name="o'reilly">{{citation |url=http://radar.oreilly.com/2006/05/database-war-stories-7-google.html |series=Database War Stories |number=7 |contribution=Google File System and Bigtable |publisher=O'Reilly |title=Radar |date=May 2006 |format=[[World Wide Web]] log}}.</ref> उदाहरण के लिए, वेब की गूगल की कॉपी को एक बिगटेबल में स्टोर किया जा सकता है, जहां पंक्ति कुंजी एक रिवर्स डोमेन नेम नोटेशन डोमेन-रिवर्स्ड यूआरएल के रूप में है, और कॉलम एक वेब पेज के विभिन्न गुणों का वर्णन करते हैं, जिसमें एक विशेष स्तंभ अपने पेज को अपने पास रखता है। पेज कॉलम में कई टाइम स्टैम्प वाले संस्करण हो सकते हैं, जो वेब पेज की टाइम स्टैम्प की विभिन्न प्रतियों का वर्णन करते हैं जब वे लाए गए थे। बिगटेबल के प्रत्येक सेल में डेटा के शून्य या अधिक टाइमस्टैम्प वाले संस्करण हो सकते हैं। टाइमस्टैम्प का एक अन्य कार्य समय सीमा समाप्त डेटा के संस्करण नियंत्रण और कचरा संग्रहण कंप्यूटर विज्ञान दोनों के लिए अनुमति देना है।
बिगटेबल एक चौड़े कॉलम स्टोर के प्रोटोटाइप उदाहरणों में से एक है। यह दो स्वेच्छ स्ट्रिंग मान पंक्ति कुंजी और स्तंभ कुंजी तथा टाइम स्टैम्प इसलिए त्रि आयामी मानचित्रण को एक संबद्ध स्वेच्छ बाइट  सारणी में चित्रित करता है। यह एक संबंधपरक डेटाबेस नहीं है और इसे विरल, वितरित बहु आयामी क्रमबद्ध मानचित्र के रूप में उत्तम परिभाषित किया जा सकता है।{{Sfn |Chang |Dean |Ghemawat |Hsieh |2006}}{{Rp|1}} यह कोलोसस [[गूगल]] फाइल सिस्टम, वितरित लॉक मैनेजर अन्य क्रियान्वयन, एसएसटेबल लॉग-स्ट्रक्चर्ड स्टोरेज जैसे लेवलडीबी और कुछ अन्य गूगल प्रौद्योगिकियों पर बनाया गया है। बिगटेबल को सैकड़ों या हजारों मशीनों में पेटाबाइट रेंज में स्केल करने के लिए डिज़ाइन किया गया है और सिस्टम में अधिक मशीनों को जोड़ना आसान बनाता है और स्वचालित रूप से बिना किसी पुन: कॉन्फ़िगरेशन के उन संसाधनों का लाभ लेना प्रारंभ कर देता है।<ref name="o'reilly">{{citation |url=http://radar.oreilly.com/2006/05/database-war-stories-7-google.html |series=Database War Stories |number=7 |contribution=Google File System and Bigtable |publisher=O'Reilly |title=Radar |date=May 2006 |format=[[World Wide Web]] log}}.</ref> उदाहरण के लिए, वेब की गूगल की कॉपी को एक बिगटेबल में स्टोर किया जा सकता है, जहां पंक्ति कुंजी एक रिवर्स डोमेन नेम नोटेशन डोमेन-रिवर्स्ड यूआरएल के रूप में है, और कॉलम एक वेब पेज के विभिन्न गुणों का वर्णन करते हैं, जिसमें एक विशेष स्तंभ अपने पेज को अपने पास रखता है। पेज कॉलम में कई टाइम स्टैम्प वाले संस्करण हो सकते हैं, जो वेब पेज की टाइम स्टैम्प की विभिन्न प्रतियों का वर्णन करते हैं जब वे लाए गए थे। बिगटेबल के प्रत्येक सेल में डेटा के शून्य या अधिक टाइमस्टैम्प वाले संस्करण हो सकते हैं। टाइमस्टैम्प का एक अन्य कार्य समय सीमा समाप्त डेटा के संस्करण नियंत्रण और कचरा संग्रहण कंप्यूटर विज्ञान दोनों के लिए अनुमति देना है।


टेबल्स को कई टैबलेट्स में विभाजित किया जाता है - टेबल के सेगमेंट को कुछ पंक्ति कुंजियों में विभाजित किया जाता है जिससे की प्रत्येक टैबलेट कुछ सौ मेगाबाइट या कुछ गीगाबाइट बनावट में हो। एक बिगटेबल कुछ हद तक एक मैप्रेड्यूस वर्कर पूल की प्रकार है जिसमें हजारों से सैकड़ों टैबलेट शार्क सैकड़ों से हजारों बिगटेबल सर्वरों द्वारा परोसे जा सकते हैं। जब तालिका का बनावट एक निर्दिष्ट सीमा से अधिक बढ़ने का खतरा होता है, तो टैबलेट को BMDiff एल्गोरिथम का उपयोग करके संपीड़ित किया जा सकता है<ref name=algorithms1>{{cite web |url=http://feedblog.org/2008/10/12/google-bigtable-compression-zippy-and-bmdiff |title=गूगल बिगटेबल, कम्प्रेशन, ज़िप्पी और बीएमडीआईएफ|date=2008-10-12 |access-date=14 April 2015 |url-status=dead |archive-url=https://web.archive.org/web/20130501020631/http://feedblog.org/2008/10/12/google-bigtable-compression-zippy-and-bmdiff/ |archive-date=1 May 2013}}.</ref><ref>{{cite conference |title=लंबे सामान्य तार का उपयोग कर डेटा संपीड़न|last1=Bentley |first1=Jon |last2=McIlroy |first2=Douglas |conference=DCC '99: Proceedings of the Conference on Data Compression |year=1999 |publisher=IEEE Computer Society |doi=10.1109/DCC.1999.755678|citeseerx=10.1.1.11.8470 }}</ref> और ज़िप्पी संपीड़न एल्गोरिदम<ref name=algorithms2>{{citation |url=http://blogoscoped.com/archive/2005-10-23-n61.html |contribution=Google's Bigtable |title=Outer court |format=Weblog |date=2005-10-23}}.</ref> स्नैपी (संपीड़न) के रूप में सार्वजनिक रूप से ज्ञात और ओपन-सोर्स,<ref>{{citation |url=http://google.github.io/snappy/ |title=Snappy |format=project }}.</ref> जो [[LZ77]] का कम स्थान-इष्टतम रूपांतर है लेकिन कंप्यूटिंग समय के मामले में अधिक कुशल है। टेबलेट के GFS में स्थान कई विशेष टैबलेट में डेटाबेस प्रविष्टियों के रूप में अंकित किए जाते हैं, जिन्हें META1 टैबलेट कहा जाता है। META1 टैबलेट एकल META0 टैबलेट को क्वेरी करके पाया जाता है, जो आम तौर पर अपने स्वयं के सर्वर पर रहता है क्योंकि इसे अधिकांशतः क्लाइंट द्वारा META1 टैबलेट के स्थान के रूप में पूछताछ की जाती है, जिसके पास वास्तविक डेटा कहां स्थित है, इस प्रश्न का उत्तर होता है। . GFS के मास्टर सर्वर की प्रकार, META0 सर्वर आम तौर पर एक अड़चन (सॉफ़्टवेयर) नहीं है क्योंकि META1 स्थानों को खोजने और प्रसारित करने के लिए आवश्यक प्रोसेसर समय और बैंडविड्थ न्यूनतम है और ग्राहक प्रश्नों को कम करने के लिए स्थानों को आक्रामक रूप से कैश करते हैं।
टेबल्स को कई टैबलेट्स में विभाजित किया जाता है - टेबल के सेगमेंट को कुछ पंक्ति कुंजियों में विभाजित किया जाता है, जिससे की प्रत्येक टैबलेट कुछ सौ मेगाबाइट या कुछ गीगाबाइट आकार के रूप में हो सकते है । एक बिगटेबल कुछ हद तक एक मैप्रेड्यूस वर्कर पूल के रूप में हो सकते है, जिसमें हजारों से सैकड़ों टैबलेट शार्क सैकड़ों से हजारों बिगटेबल सर्वरों द्वारा परोसे जा सकते हैं। जब तालिका का बनावट एक निर्दिष्ट सीमा से अधिक बढ़ने का खतरा होता है, तो टैबलेट को बीएमडीफ एल्गोरिथम का उपयोग करके संपीड़ित किया जा सकता है<ref name=algorithms1>{{cite web |url=http://feedblog.org/2008/10/12/google-bigtable-compression-zippy-and-bmdiff |title=गूगल बिगटेबल, कम्प्रेशन, ज़िप्पी और बीएमडीआईएफ|date=2008-10-12 |access-date=14 April 2015 |url-status=dead |archive-url=https://web.archive.org/web/20130501020631/http://feedblog.org/2008/10/12/google-bigtable-compression-zippy-and-bmdiff/ |archive-date=1 May 2013}}.</ref><ref>{{cite conference |title=लंबे सामान्य तार का उपयोग कर डेटा संपीड़न|last1=Bentley |first1=Jon |last2=McIlroy |first2=Douglas |conference=DCC '99: Proceedings of the Conference on Data Compression |year=1999 |publisher=IEEE Computer Society |doi=10.1109/DCC.1999.755678|citeseerx=10.1.1.11.8470 }}</ref> और ज़िप्पी संपीड़न एल्गोरिदम<ref name=algorithms2>{{citation |url=http://blogoscoped.com/archive/2005-10-23-n61.html |contribution=Google's Bigtable |title=Outer court |format=Weblog |date=2005-10-23}}.</ref> स्नैपी संपीड़न के रूप में सार्वजनिक रूप से ज्ञात और ओपन-सोर्स,<ref>{{citation |url=http://google.github.io/snappy/ |title=Snappy |format=project }}.</ref> जो [[LZ77]] का कम स्थान-इष्टतम रूपांतर है लेकिन कंप्यूटिंग समय के मामले में अधिक कुशल है। टेबलेट के जी.एफ.एस के कई स्थान विशेष टैबलेट में डेटाबेस प्रविष्टियों के रूप में अंकित किए जाते हैं, जिन्हें मेटा1 टैबलेट कहा जाता है। मेटा1 टैबलेट एकल मेटा0 टैबलेट को क्वेरी करके पाया जाता है, जो आमतौर पर अपने स्वयं के सर्वर पर रहता है,क्योंकि इसे अधिकांशतः क्लाइंट द्वारा मेटा1 टैबलेट के स्थान के रूप में पूछताछ की जाती है, जिसके वास्तविक डेटा कहां स्थित है, इस प्रश्न का उत्तर होता है। जीएफ के मास्टर सर्वर की तरह,मेटा0 सर्वर आमतौर पर एक अड़चन सॉफ़्टवेयर के रूप में नहीं है, क्योंकि मेटा1 स्थानों को खोजने और प्रसारित करने के लिए आवश्यक प्रोसेसर समय और बैंडविड्थ न्यूनतम है और ग्राहक प्रश्नों को कम करने के लिए स्थानों को आक्रामक रूप से कैश करते हैं।


==संदर्भ==
==संदर्भ==

Revision as of 13:27, 26 June 2023

Google Bigtable
Developer(s)Google
Initial releaseFebruary 2005; 19 years ago (2005-02)
Written in
C++ (core), Java, Python, Go, Ruby
PlatformGoogle Cloud Platform
TypeCloud Storage
LicenseProprietary
Websitecloud.google.com/bigtable/

बिगटेबल गूगल क्लाउड पोर्टफोलियो के हिस्से के रूप में बड़े विश्लेषणात्मक और परिचालन वर्कलोड के लिए पूरी प्रकार से प्रबंधित व्यापक स्तंभ और कुंजी मान एनओएसक्यूएल डेटाबेस सेवा के रूप में है।

इतिहास

बिगटेबल का विकास 2004 में प्रारंभ हुआ।[1] यह अब कई गूगल अनुप्रयोगों द्वारा उपयोग किया जाता है, जैसे कि गूगल एनालिटिक्स [2] वेब अनुक्रमण,[3]प्रतिचित्र रिड्यूस, जिसका उपयोग अधिकांशतः बिगटेबल में संग्रहीत डेटा को जनरेट करने और संशोधित करने के लिए किया जाता है,[4] गूगल मानचित्र,[5] गूगल पुस्तकें खोज, मेरा खोज इतिहास , गूगल धरती,ब्लॉगर.कॉम, गूगल कोड होस्टिंग, यूट्यूब [6] और जीमेल में किया जाता है।[7] गूगल के अपने स्वयं के डेटाबेस को विकसित करने के कारणों में मापनीयता और प्रदर्शन विशेषताओं को उत्तम नियंत्रण के रूप में सम्मलित करता है।[8]

गूगल का स्पैनर डेटाबेस दो चरण प्रतिबद्ध प्रोटोकॉल के लिए पैक्सोस कंप्यूटर विज्ञान समूह के साथ बिगटेबल के कार्यान्वयन पर स्तरित किया जाता है। प्रत्येक तालिका के लिए दो चरण प्रतिबद्ध है। गूगल एफ 1 को माइ एसक्यूएल पर आधारित कार्यान्वयन को बदलने के लिए स्पैनर का उपयोग करके बनाया गया था।[9]

अपाचे एच बेस और अपाचे कैसंद्रा कुछ सबसे प्रसिद्ध ओपन सोर्स प्रोजेक्ट हैं, जिन्हें बिगटेबल के बाद तैयार किया गया था।

6 मई, 2015 को, क्लाउड बिगटेबल नाम के अनुसार बिगटेबल का एक सार्वजनिक संस्करण गूगल क्लाउड प्लेटफ़ॉर्म के एक भाग के रूप में उपलब्ध कराया गया था।[2]जनवरी 2022 तक बिगटेबल 10 एक्साबाइट डेटा का प्रबंधन करता है और प्रति सेकंड 5 बिलियन से अधिक अनुरोधों को पूरा करता है।[10] 27 जनवरी, 2022 को, गूगल ने स्वचालित मापनीयता सहित बिगटेबल के लिए कई अपडेट के रूप में घोषणा करता है।[11]

डिजाइन

बिगटेबल एक चौड़े कॉलम स्टोर के प्रोटोटाइप उदाहरणों में से एक है। यह दो स्वेच्छ स्ट्रिंग मान पंक्ति कुंजी और स्तंभ कुंजी तथा टाइम स्टैम्प इसलिए त्रि आयामी मानचित्रण को एक संबद्ध स्वेच्छ बाइट सारणी में चित्रित करता है। यह एक संबंधपरक डेटाबेस नहीं है और इसे विरल, वितरित बहु आयामी क्रमबद्ध मानचित्र के रूप में उत्तम परिभाषित किया जा सकता है।[3]: 1  यह कोलोसस गूगल फाइल सिस्टम, वितरित लॉक मैनेजर अन्य क्रियान्वयन, एसएसटेबल लॉग-स्ट्रक्चर्ड स्टोरेज जैसे लेवलडीबी और कुछ अन्य गूगल प्रौद्योगिकियों पर बनाया गया है। बिगटेबल को सैकड़ों या हजारों मशीनों में पेटाबाइट रेंज में स्केल करने के लिए डिज़ाइन किया गया है और सिस्टम में अधिक मशीनों को जोड़ना आसान बनाता है और स्वचालित रूप से बिना किसी पुन: कॉन्फ़िगरेशन के उन संसाधनों का लाभ लेना प्रारंभ कर देता है।[12] उदाहरण के लिए, वेब की गूगल की कॉपी को एक बिगटेबल में स्टोर किया जा सकता है, जहां पंक्ति कुंजी एक रिवर्स डोमेन नेम नोटेशन डोमेन-रिवर्स्ड यूआरएल के रूप में है, और कॉलम एक वेब पेज के विभिन्न गुणों का वर्णन करते हैं, जिसमें एक विशेष स्तंभ अपने पेज को अपने पास रखता है। पेज कॉलम में कई टाइम स्टैम्प वाले संस्करण हो सकते हैं, जो वेब पेज की टाइम स्टैम्प की विभिन्न प्रतियों का वर्णन करते हैं जब वे लाए गए थे। बिगटेबल के प्रत्येक सेल में डेटा के शून्य या अधिक टाइमस्टैम्प वाले संस्करण हो सकते हैं। टाइमस्टैम्प का एक अन्य कार्य समय सीमा समाप्त डेटा के संस्करण नियंत्रण और कचरा संग्रहण कंप्यूटर विज्ञान दोनों के लिए अनुमति देना है।

टेबल्स को कई टैबलेट्स में विभाजित किया जाता है - टेबल के सेगमेंट को कुछ पंक्ति कुंजियों में विभाजित किया जाता है, जिससे की प्रत्येक टैबलेट कुछ सौ मेगाबाइट या कुछ गीगाबाइट आकार के रूप में हो सकते है । एक बिगटेबल कुछ हद तक एक मैप्रेड्यूस वर्कर पूल के रूप में हो सकते है, जिसमें हजारों से सैकड़ों टैबलेट शार्क सैकड़ों से हजारों बिगटेबल सर्वरों द्वारा परोसे जा सकते हैं। जब तालिका का बनावट एक निर्दिष्ट सीमा से अधिक बढ़ने का खतरा होता है, तो टैबलेट को बीएमडीफ एल्गोरिथम का उपयोग करके संपीड़ित किया जा सकता है[13][14] और ज़िप्पी संपीड़न एल्गोरिदम[15] स्नैपी संपीड़न के रूप में सार्वजनिक रूप से ज्ञात और ओपन-सोर्स,[16] जो LZ77 का कम स्थान-इष्टतम रूपांतर है लेकिन कंप्यूटिंग समय के मामले में अधिक कुशल है। टेबलेट के जी.एफ.एस के कई स्थान विशेष टैबलेट में डेटाबेस प्रविष्टियों के रूप में अंकित किए जाते हैं, जिन्हें मेटा1 टैबलेट कहा जाता है। मेटा1 टैबलेट एकल मेटा0 टैबलेट को क्वेरी करके पाया जाता है, जो आमतौर पर अपने स्वयं के सर्वर पर रहता है,क्योंकि इसे अधिकांशतः क्लाइंट द्वारा मेटा1 टैबलेट के स्थान के रूप में पूछताछ की जाती है, जिसके वास्तविक डेटा कहां स्थित है, इस प्रश्न का उत्तर होता है। जीएफ के मास्टर सर्वर की तरह,मेटा0 सर्वर आमतौर पर एक अड़चन सॉफ़्टवेयर के रूप में नहीं है, क्योंकि मेटा1 स्थानों को खोजने और प्रसारित करने के लिए आवश्यक प्रोसेसर समय और बैंडविड्थ न्यूनतम है और ग्राहक प्रश्नों को कम करने के लिए स्थानों को आक्रामक रूप से कैश करते हैं।

संदर्भ

  1. ↑ Hitchcock, Andrew, Google's Bigtable, retrieved 29 July 2007, First an overview. Bigtable has been in development since early 2004 and has been in active use for about eight months (about February 2005)..
  2. ↑ 2.0 2.1 "Announcing Google Cloud Bigtable: The same database that powers Google Search, Gmail and Analytics is now available on Google Cloud Platform". Google Blog. 6 May 2015. Retrieved 21 September 2016.
  3. ↑ 3.0 3.1 Chang et al. 2006.
  4. ↑ Chang et al. 2006, p. 3: 'Bigtable can be used with MapReduce, a framework for running large-scale parallel computations developed at Google. We have written a set of wrappers that allow a Bigtable to be used both as an input source and as an output target for MapReduce jobs'
  5. ↑ Hitchcock, Andrew, Google's Bigtable, retrieved 29 July 2007, There are currently around 100 cells for services such as Print, Search History, Maps, and Orkut.
  6. ↑ Cordes, Kyle (12 July 2007), YouTube Scalability (talk), Their new solution for thumbnails is to use Google's Bigtable, which provides high performance for a large number of rows, fault tolerance, caching, etc. This is a nice (and rare?) example of actual synergy in an acquisition..
  7. ↑ "How Entities and Indexes are Stored", Google App Engine, Google Code, archived from the original on 7 January 2012, retrieved 17 April 2014.
  8. ↑ Chang et al. 2006, Conclusion: 'We have described Bigtable, a distributed system for storing structured data at Google... Our users like the performance and high availability provided by the Bigtable implementation, and that they can scale the capacity of their clusters by simply adding more machines to the system as their resource demands change over time... Finally, we have found that there are significant advantages to building our own storage solution at Google. We have gotten a substantial amount of flexibility from designing our own data model for Bigtable.'
  9. ↑ Shute, Jeffrey 'Jeff'; Oancea, Mircea; Ellner, Stephan; Handy, Benjamin 'Ben'; Rollins, Eric; Samwel, Bart; Vingralek, Radek; Whipkey, Chad; Chen, Xin; Jegerlehner, Beat; Littlefield, Kyle; Tong, Phoenix (2012), "Summary; F1 — the Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business", Research (presentation), Sigmod, p. 19, We've moved a large and critical application suite from MySQL to F1{{citation}}: CS1 maint: location missing publisher (link).
  10. ↑ "Cloud Bigtable now even easier to manage with autoscaling".
  11. ↑ Kerner, Sean Michael (27 January 2022). "Google क्लाउड बिगटेबल NoSQL डेटाबेस का विस्तार करता है". TechTarget (in English). Retrieved 10 October 2022.
  12. ↑ "Google File System and Bigtable", Radar (World Wide Web log), Database War Stories, O'Reilly, May 2006.
  13. ↑ "गूगल बिगटेबल, कम्प्रेशन, ज़िप्पी और बीएमडीआईएफ". 12 October 2008. Archived from the original on 1 May 2013. Retrieved 14 April 2015..
  14. ↑ Bentley, Jon; McIlroy, Douglas (1999). लंबे सामान्य तार का उपयोग कर डेटा संपीड़न. DCC '99: Proceedings of the Conference on Data Compression. IEEE Computer Society. CiteSeerX 10.1.1.11.8470. doi:10.1109/DCC.1999.755678.
  15. ↑ "Google's Bigtable", Outer court (Weblog), 23 October 2005.
  16. ↑ Snappy (project).


ग्रन्थसूची


बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=बिग_टेबल&oldid=202555’