बेंचमार्क (कंप्यूटिंग): Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| Line 20: | Line 20: | ||
2000 से पहले, संगणक और माइक्रोप्रोसेसर आर्किटेक्ट्स ने ऐसा करने के लिए [[कल्पना|SPEC]] का प्रयोग किया था, हालांकि स्पेसिफिक के यूनिक्स-आधारित बेंचमार्क काफी लंबे थे और इस प्रकार निरन्तर उपयोग करने के लिए बोझिल थे। | 2000 से पहले, संगणक और माइक्रोप्रोसेसर आर्किटेक्ट्स ने ऐसा करने के लिए [[कल्पना|SPEC]] का प्रयोग किया था, हालांकि स्पेसिफिक के यूनिक्स-आधारित बेंचमार्क काफी लंबे थे और इस प्रकार निरन्तर उपयोग करने के लिए बोझिल थे। | ||
संगणक निर्माता अपने प्रणालीको बेंचमार्क परीक्षणों पर अवास्तविक रूप से उच्च प्रदर्शन देने के लिए कॉन्फ़िगर करने के लिए जाने जाते हैं जिन्हें वास्तविक उपयोग में दोहराया नहीं जाता है। उदाहरण के लिए, 1980 के दशक के दौरान कुछ संकलक एक प्रसिद्ध फ्लोटिंग-पॉइंट बेंचमार्क में उपयोग किए जाने वाले एक विशिष्ट गणितीय ऑपरेशन का पता लगा सकते थे और ऑपरेशन को तेजी से गणितीय समकक्ष ऑपरेशन से परिवर्तित कर सकते थे। हालांकि, 1990 के दशक के मध्य तक बेंचमार्क के बाहर इस तरह का परिवर्तन | संगणक निर्माता अपने प्रणालीको बेंचमार्क परीक्षणों पर अवास्तविक रूप से उच्च प्रदर्शन देने के लिए कॉन्फ़िगर करने के लिए जाने जाते हैं जिन्हें वास्तविक उपयोग में दोहराया नहीं जाता है। उदाहरण के लिए, 1980 के दशक के दौरान कुछ संकलक एक प्रसिद्ध फ्लोटिंग-पॉइंट बेंचमार्क में उपयोग किए जाने वाले एक विशिष्ट गणितीय ऑपरेशन का पता लगा सकते थे और ऑपरेशन को तेजी से गणितीय समकक्ष ऑपरेशन से परिवर्तित कर सकते थे। हालांकि, 1990 के दशक के मध्य तक बेंचमार्क के बाहर इस तरह का परिवर्तन संभवतः ही कभी उपयोगी था, जब [[RISC]] और VLIW स्थापत्यने कंपाइलर तकनीक के महत्व पर जोर दिया क्योंकि यह प्रदर्शन से संबंधित था। बेंचमार्क अब कम्पाइलर कंपनियों द्वारा नियमित रूप से न केवल अपने स्वयं के बेंचमार्क स्कोर, बल्कि वास्तविक अनुप्रयोग प्रदर्शन में सुधार के लिए उपयोग किए जाते हैं। | ||
सीपीयू जिनमें कई निष्पादन इकाइयाँ हैं - जैसे कि एक [[superscalar|सुपरस्केलर]] सीपीयू, एक [[वीएलआईडब्ल्यू]] सीपीयू, या एक पुन: उपयोग करने योग्य कंप्यूटिंग सीपीयू - सामान्यतः पर ट्रांजिस्टर से निर्मित एक या दो निष्पादन इकाइयों के साथ अनुक्रमिक सीपीयू की तुलना में धीमी घड़ी की दर होती है जो उतनी ही तेज होती हैं। फिर भी, कई निष्पादन इकाइयों वाले सीपीयू अधिकांशतः वास्तविक दुनिया और बेंचमार्क कार्यों को कथित रूप से तेज उच्च-क्लॉक-रेट सीपीयू की तुलना में कम समय में पूरा करते हैं। | सीपीयू जिनमें कई निष्पादन इकाइयाँ हैं - जैसे कि एक [[superscalar|सुपरस्केलर]] सीपीयू, एक [[वीएलआईडब्ल्यू]] सीपीयू, या एक पुन: उपयोग करने योग्य कंप्यूटिंग सीपीयू - सामान्यतः पर ट्रांजिस्टर से निर्मित एक या दो निष्पादन इकाइयों के साथ अनुक्रमिक सीपीयू की तुलना में धीमी घड़ी की दर होती है जो उतनी ही तेज होती हैं। फिर भी, कई निष्पादन इकाइयों वाले सीपीयू अधिकांशतः वास्तविक दुनिया और बेंचमार्क कार्यों को कथित रूप से तेज उच्च-क्लॉक-रेट सीपीयू की तुलना में कम समय में पूरा करते हैं। | ||
| Line 31: | Line 31: | ||
== कार्यक्षमता == | == कार्यक्षमता == | ||
बेंचमार्किंग सॉफ़्टवेयर की विशेषताओं में एक [[स्प्रेडशीट]] फ़ाइल में प्रदर्शन के दौरान रिकॉर्डिंग/[[डेटा निर्यात]] करना, आरेखण रेखा ग्राफ़ या रंग-कोडित टाइल जैसे विज़ुअलाइज़ेशन सम्मिलित हो सकते हैं, और प्रक्रिया को फिर से शुरू किए बिना फिर से शुरू करने में सक्षम होने के लिए रोकना सम्मिलित हो सकता है। सॉफ़्टवेयर में इसके उद्देश्य के लिए विशिष्ट अतिरिक्त विशेषताएं हो सकती हैं, उदाहरण के लिए, डिस्क बेंचमार्किंग सॉफ़्टवेयर वैकल्पिक रूप से पूर्ण डिस्क | बेंचमार्किंग सॉफ़्टवेयर की विशेषताओं में एक [[स्प्रेडशीट]] फ़ाइल में प्रदर्शन के दौरान रिकॉर्डिंग/[[डेटा निर्यात]] करना, आरेखण रेखा ग्राफ़ या रंग-कोडित टाइल जैसे विज़ुअलाइज़ेशन सम्मिलित हो सकते हैं, और प्रक्रिया को फिर से शुरू किए बिना फिर से शुरू करने में सक्षम होने के लिए रोकना सम्मिलित हो सकता है। सॉफ़्टवेयर में इसके उद्देश्य के लिए विशिष्ट अतिरिक्त विशेषताएं हो सकती हैं, उदाहरण के लिए, डिस्क बेंचमार्किंग सॉफ़्टवेयर वैकल्पिक रूप से पूर्ण डिस्क की जगह डिस्क की निर्दिष्ट सीमा के भीतर डिस्क की गति को मापने में सक्षम हो सकता है, [[रैंडम एक्सेस]] पढ़ने की गति और [[विलंबता (इंजीनियरिंग)]] को मापता है, एक त्वरित स्कैन सुविधा है जो निर्दिष्ट अंतराल और आकारों के नमूनों के माध्यम से गति को मापती है, और एक [[ब्लॉक (डेटा संग्रहण)]] आकार निर्दिष्ट करने की अनुमति देती है, जिसका अर्थ है अनुरोध किए गए बाइट्स की संख्या प्रति पढ़ने का अनुरोध।<ref>Software: HDDScan, GNOME Disks</ref> | ||
| Line 43: | Line 43: | ||
** सामान्यतः, बेंचमार्क स्वामित्व की कुल लागत का आकलन नहीं करते हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से इस चिंता को निर्दिष्ट करके संबोधित करते हैं कि एक अप्रशिक्षित प्रदर्शन मीट्रिक के अतिरिक्त एक मूल्य / प्रदर्शन मीट्रिक को स्वामित्व सूत्र की सरलीकृत कुल लागत का उपयोग करके रिपोर्ट किया जाना चाहिए। हालांकि, लागत अनिवार्य रूप से केवल आंशिक है, और विक्रेताओं को बेंचमार्क के लिए विशेष रूप से (और केवल) मूल्य के लिए जाना जाता है, कृत्रिम रूप से कम मूल्य के साथ एक अत्यधिक विशिष्ट बेंचमार्क विशेष कॉन्फ़िगरेशन तैयार करना। बेंचमार्क पैकेज से थोड़ा विचलन भी वास्तविक दुनिया के अनुभव में बहुत अधिक मूल्य देता है। | ** सामान्यतः, बेंचमार्क स्वामित्व की कुल लागत का आकलन नहीं करते हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से इस चिंता को निर्दिष्ट करके संबोधित करते हैं कि एक अप्रशिक्षित प्रदर्शन मीट्रिक के अतिरिक्त एक मूल्य / प्रदर्शन मीट्रिक को स्वामित्व सूत्र की सरलीकृत कुल लागत का उपयोग करके रिपोर्ट किया जाना चाहिए। हालांकि, लागत अनिवार्य रूप से केवल आंशिक है, और विक्रेताओं को बेंचमार्क के लिए विशेष रूप से (और केवल) मूल्य के लिए जाना जाता है, कृत्रिम रूप से कम मूल्य के साथ एक अत्यधिक विशिष्ट बेंचमार्क विशेष कॉन्फ़िगरेशन तैयार करना। बेंचमार्क पैकेज से थोड़ा विचलन भी वास्तविक दुनिया के अनुभव में बहुत अधिक मूल्य देता है। | ||
** सुविधाओं का भार (अंतरिक्ष, बिजली और शीतलन)। जब अधिक शक्ति का उपयोग किया जाता है, तो एक सुवाहय़ प्रणाली में कम बैटरी जीवन होगा और अधिक बार रिचार्जिंग की आवश्यकता होगी। एक सर्वर जो अधिक बिजली और/या जगह की खपत करता है, वह कूलिंग सीमाओं सहित मौजूदा डेटा सेंटर संसाधन बाधाओं के भीतर फिट होने में सक्षम नहीं हो सकता है। वास्तविक व्यापार-नापसंद हैं क्योंकि अधिकांश अर्धचालकों को तेजी से स्विच करने के लिए अधिक शक्ति की आवश्यकता होती है। [[प्रति वाट प्रदर्शन]] भी देखें। | ** सुविधाओं का भार (अंतरिक्ष, बिजली और शीतलन)। जब अधिक शक्ति का उपयोग किया जाता है, तो एक सुवाहय़ प्रणाली में कम बैटरी जीवन होगा और अधिक बार रिचार्जिंग की आवश्यकता होगी। एक सर्वर जो अधिक बिजली और/या जगह की खपत करता है, वह कूलिंग सीमाओं सहित मौजूदा डेटा सेंटर संसाधन बाधाओं के भीतर फिट होने में सक्षम नहीं हो सकता है। वास्तविक व्यापार-नापसंद हैं क्योंकि अधिकांश अर्धचालकों को तेजी से स्विच करने के लिए अधिक शक्ति की आवश्यकता होती है। [[प्रति वाट प्रदर्शन]] भी देखें। | ||
** कुछ एम्बेडेड | ** कुछ एम्बेडेड प्रणाली में, जहां मेमोरी एक महत्वपूर्ण लागत होती है, अधिक अच्छा [[कोड घनत्व]] लागत को महत्वपूर्ण रूप से कम कर सकता है। | ||
* विक्रेता बेंचमार्क विकास, परीक्षण और [[आपदा बहाली]] कंप्यूटिंग क्षमता के लिए आवश्यकताओं की उपेक्षा करते हैं। विक्रेता केवल यह रिपोर्ट करना पसंद करते हैं कि उनके प्रारंभिक अधिग्रहण मूल्य को यथासंभव कम दिखाने के लिए उत्पादन क्षमता के लिए क्या आवश्यक हो सकता है। | * विक्रेता बेंचमार्क विकास, परीक्षण और [[आपदा बहाली]] कंप्यूटिंग क्षमता के लिए आवश्यकताओं की उपेक्षा करते हैं। विक्रेता केवल यह रिपोर्ट करना पसंद करते हैं कि उनके प्रारंभिक अधिग्रहण मूल्य को यथासंभव कम दिखाने के लिए उत्पादन क्षमता के लिए क्या आवश्यक हो सकता है। | ||
* बेंचमार्क को व्यापक रूप से वितरित सर्वरों को अपनाने में परेशानी हो रही है, विशेष रूप से नेटवर्क टोपोलॉजी के लिए अतिरिक्त संवेदनशीलता वाले सर्वर। [[ग्रिड कंप्यूटिंग]] का उद्भव, विशेष रूप से, बेंचमार्किंग को जटिल बनाता है क्योंकि कुछ कार्यभार ग्रिड के अनुकूल होते हैं, जबकि अन्य नहीं होते हैं। | * बेंचमार्क को व्यापक रूप से वितरित सर्वरों को अपनाने में परेशानी हो रही है, विशेष रूप से नेटवर्क टोपोलॉजी के लिए अतिरिक्त संवेदनशीलता वाले सर्वर। [[ग्रिड कंप्यूटिंग]] का उद्भव, विशेष रूप से, बेंचमार्किंग को जटिल बनाता है क्योंकि कुछ कार्यभार ग्रिड के अनुकूल होते हैं, जबकि अन्य नहीं होते हैं। | ||
* बेंचमार्क के सुझाव से उपयोगकर्ताओं के प्रदर्शन के बारे में बहुत अलग धारणाएं हो सकती हैं। विशेष रूप से, उपयोगकर्ता पूर्वानुमेयता की सराहना करते हैं - सर्वर जो | * बेंचमार्क के सुझाव से उपयोगकर्ताओं के प्रदर्शन के बारे में बहुत अलग धारणाएं हो सकती हैं। विशेष रूप से, उपयोगकर्ता पूर्वानुमेयता की सराहना करते हैं - सर्वर जो सदैव सेवा स्तर के समझौतों को पूरा करते हैं या उससे अधिक होते हैं। बेंचमार्क सबसे विकृत स्थिति प्रतिक्रिया समय (वास्तविक समय कंप्यूटिंग परिप्रेक्ष्य), या निम्न मानक विचलन (उपयोगकर्ता परिप्रेक्ष्य) की जगह माध्य स्कोर (आईटी परिप्रेक्ष्य) पर बल देते हैं। | ||
* कई सर्वर | * कई सर्वर स्थापत्य नाटकीय रूप से उपयोग के उच्च (लगभग 100%) स्तर पर गिरावट करते हैं - एक ऊंचाई से गिर जाते हैं - और बेंचमार्क को (लेकिन अधिकांशतः नहीं) उस कारक को ध्यान में रखना चाहिए। विक्रेता, विशेष रूप से, लगभग 80% उपयोग पर निरंतर सर्वर बेंचमार्क प्रकाशित करते हैं - एक अवास्तविक स्थिति - और उस स्तर से परे मांग बढ़ने पर समग्र प्रणाली का क्या होता है, इसका अभिलेखीकरण नहीं करते हैं। | ||
* कई बेंचमार्क अन्य अनुप्रयोगों के बहिष्करण के लिए एक आवेदन, या यहां तक कि एक आवेदन | * कई बेंचमार्क अन्य अनुप्रयोगों के बहिष्करण के लिए एक आवेदन, या यहां तक कि एक आवेदन स्तर पर ध्यान केंद्रित करते हैं। अधिकांश डेटा केंद्र अब विभिन्न कारणों से बड़े स्तर पर [[हार्डवेयर वर्चुअलाइजेशन]] को लागू कर रहे हैं, और बेंचमार्किंग अभी भी उस वास्तविकता को पकड़ रही है जहां समेकित सर्वर पर कई एप्लिकेशन और एप्लिकेशन टियर समवर्ती रूप से चल रहे हैं। | ||
* कुछ (यदि कोई हैं) उच्च गुणवत्ता वाले बेंचमार्क हैं जो [[बैच कंप्यूटिंग]], विशेष रूप से उच्च मात्रा समवर्ती बैच और [[रीयल-टाइम कंप्यूटिंग]] के प्रदर्शन को मापने में | * कुछ (यदि कोई हैं) उच्च गुणवत्ता वाले बेंचमार्क हैं जो [[बैच कंप्यूटिंग]], विशेष रूप से उच्च मात्रा समवर्ती बैच और [[रीयल-टाइम कंप्यूटिंग]] के प्रदर्शन को मापने में सहायता करते हैं। बैच कंप्यूटिंग लंबे समय से चल रहे कार्यों को सही ढंग से पूरा करने की भविष्यवाणी पर अधिक ध्यान केंद्रित करती है समय सीमा से पहले, जैसे महीने का अंत या वित्तीय वर्ष का अंत। कई महत्वपूर्ण मुख्य व्यवसाय प्रक्रियाएं बैच-उन्मुख हैं और संभवतः सदैव रहेंगी, जैसे कि बिलिंग। | ||
* बेंचमार्किंग संस्थान अधिकांशतः बुनियादी वैज्ञानिक पद्धति की अवहेलना करते हैं या उसका पालन नहीं करते हैं। इसमें सम्मिलित है, लेकिन यह सीमित नहीं है: | * बेंचमार्किंग संस्थान अधिकांशतः बुनियादी वैज्ञानिक पद्धति की अवहेलना करते हैं या उसका पालन नहीं करते हैं। इसमें सम्मिलित है, लेकिन यह सीमित नहीं है: लघु आदर्श परिमाण, अस्निथिर नियंत्रण की कमी, और परिणामों की सीमित पुनरावृत्ति।<ref>{{cite web|url=http://donutey.com/hardwaretesting.php|title=हार्डवेयर परीक्षण और बेंचमार्किंग पद्धति|year=2006|access-date=2008-02-24|first=Kevin|last=Castor|url-status=dead|archive-url=https://web.archive.org/web/20080205031133/http://www.donutey.com/hardwaretesting.php|archive-date=2008-02-05}}</ref> | ||
Revision as of 17:09, 29 December 2022
 | This article needs additional citations for verification. (July 2015) (Learn how and when to remove this template message) |
 | This article needs attention from an expert in Computer science. The specific problem is: Outdated or deprecated sources. See the talk page for details. (October 2022) |
OGRE इंजन के बेंचमार्क के रूप में चल रहा एक ग्राफिकल डेमो।
कम्प्यूटिंग में, एक बेंचमार्क एक संगणक प्रोग्राम, प्रोग्राम का एक समूह, या अन्य संचालन चलाने का कार्य है, ताकि किसी वस्तु के सापेक्ष संगणक प्रदर्शन का आकलन किया जा सके, सामान्यतः इसके विपरीत कई मानक सॉफ्टवेयर प्रदर्शन परीक्षण और परीक्षण चलाकर।[1]
बेंचमार्क शब्द का उपयोग सामान्यतः पर विस्तृत रूप से अभिकल्पित किए गए बेंचमार्किंग प्रोग्राम के प्रयोजनों के लिए भी किया जाता है।
बेंचमार्किंग सामान्यतः पर संगणक धातु सामग्री की प्रदर्शन विशेषताओं का आकलन करने से जुड़ा होता है, उदाहरण के लिए, सेंट्रल प्रोसेसिंग यूनिट का फ्लोटिंग पॉइंट ऑपरेशन प्रदर्शन, लेकिन ऐसी परिस्थितियां होती हैं जब तकनीक सॉफ्टवेयर पर भी लागू होती है। उदाहरण के लिए, सॉफ़्टवेयर बेंचमार्क, संकलक्स या डेटाबेस प्रबंधन प्रणाली्स (DBMS) के विरुद्ध चलाए जाते हैं।
बेंचमार्क विभिन्न चिप/प्रणालीसंगणक स्थापत्य में विभिन्न उप-प्रणालियों के प्रदर्शन की तुलना करने की एक विधि प्रदान करते हैं।
उद्देश्य
जैसे-जैसे संगणक स्थापत्य उन्नत हुआ, वैसे-वैसे विभिन्न संगणक प्रणाली के प्रदर्शन की तुलना उनके विनिर्देशों को देखते हुए करना अधिक कठिन हो गया। इसलिए, परीक्षण विकसित किए गए थे जो विभिन्न स्थापत्यकी तुलना की अनुमति देते थे। उदाहरण के लिए, पेंटियम 4 प्रोसेसर सामान्यतः पर एथलॉन एक्सपी या पावरपीसी प्रोसेसर की तुलना में उच्च क्लॉक फ्रीक्वेंसी पर संचालित होता है, जो जरूरी नहीं कि अधिक कम्प्यूटेशनल पावर में परिवर्तित हो; धीमी क्लॉक फ्रीक्वेंसी वाला प्रोसेसर उच्च फ्रीक्वेंसी पर काम करने वाले प्रोसेसर के साथ-साथ या उससे भी अधिक अच्छा प्रदर्शन कर सकता है। BogoMips और मेगाहर्ट्ज़ मिथक देखें।
बेंचमार्क को किसी घटक या प्रणाली पर किसी विशेष प्रकार के कार्यभार की प्रतिलिपि बनाने के लिए अभिकल्पित किया गया है। सिंथेटिक बेंचमार्क ऐसा विशेष रूप से बनाए गए प्रोग्रामों द्वारा करते हैं जो घटक पर कार्यभार लगाते हैं। एप्लिकेशन बेंचमार्क प्रणालीपर वास्तविक दुनिया के प्रोग्राम चलाते हैं। जबकि एप्लिकेशन बेंचमार्क सामान्यतः पर किसी दिए गए प्रणालीपर वास्तविक दुनिया के प्रदर्शन का अधिक अच्छा माप देते हैं, सिंथेटिक बेंचमार्क हार्ड डिस्क या नेटवर्किंग डिवाइस जैसे व्यक्तिगत घटकों के परीक्षण के लिए उपयोगी होते हैं।
सीपीयू डिजाइन में बेंचमार्क विशेष रूप से महत्वपूर्ण हैं, प्रोसेसर आर्किटेक्ट्स को माइक्रो स्थापत्य निर्णयों को मापने और व्यापार करने की क्षमता प्रदान करते हैं। उदाहरण के लिए, यदि कोई बेंचमार्क किसी एप्लिकेशन के प्रमुख एल्गोरिदम को निकालता है, तो उसमें उस एप्लिकेशन के प्रदर्शन-संवेदनशील संकेत सम्मिलित होंगे। चक्र-सटीक सिम्युलेटर पर इस बहुत छोटे स्निपेट को चलाने से प्रदर्शन को अधिक अच्छा बनाने के बारे में सूत्र मिल सकता है।
2000 से पहले, संगणक और माइक्रोप्रोसेसर आर्किटेक्ट्स ने ऐसा करने के लिए SPEC का प्रयोग किया था, हालांकि स्पेसिफिक के यूनिक्स-आधारित बेंचमार्क काफी लंबे थे और इस प्रकार निरन्तर उपयोग करने के लिए बोझिल थे।
संगणक निर्माता अपने प्रणालीको बेंचमार्क परीक्षणों पर अवास्तविक रूप से उच्च प्रदर्शन देने के लिए कॉन्फ़िगर करने के लिए जाने जाते हैं जिन्हें वास्तविक उपयोग में दोहराया नहीं जाता है। उदाहरण के लिए, 1980 के दशक के दौरान कुछ संकलक एक प्रसिद्ध फ्लोटिंग-पॉइंट बेंचमार्क में उपयोग किए जाने वाले एक विशिष्ट गणितीय ऑपरेशन का पता लगा सकते थे और ऑपरेशन को तेजी से गणितीय समकक्ष ऑपरेशन से परिवर्तित कर सकते थे। हालांकि, 1990 के दशक के मध्य तक बेंचमार्क के बाहर इस तरह का परिवर्तन संभवतः ही कभी उपयोगी था, जब RISC और VLIW स्थापत्यने कंपाइलर तकनीक के महत्व पर जोर दिया क्योंकि यह प्रदर्शन से संबंधित था। बेंचमार्क अब कम्पाइलर कंपनियों द्वारा नियमित रूप से न केवल अपने स्वयं के बेंचमार्क स्कोर, बल्कि वास्तविक अनुप्रयोग प्रदर्शन में सुधार के लिए उपयोग किए जाते हैं।
सीपीयू जिनमें कई निष्पादन इकाइयाँ हैं - जैसे कि एक सुपरस्केलर सीपीयू, एक वीएलआईडब्ल्यू सीपीयू, या एक पुन: उपयोग करने योग्य कंप्यूटिंग सीपीयू - सामान्यतः पर ट्रांजिस्टर से निर्मित एक या दो निष्पादन इकाइयों के साथ अनुक्रमिक सीपीयू की तुलना में धीमी घड़ी की दर होती है जो उतनी ही तेज होती हैं। फिर भी, कई निष्पादन इकाइयों वाले सीपीयू अधिकांशतः वास्तविक दुनिया और बेंचमार्क कार्यों को कथित रूप से तेज उच्च-क्लॉक-रेट सीपीयू की तुलना में कम समय में पूरा करते हैं।
बड़ी संख्या में उपलब्ध बेंचमार्क को देखते हुए, एक निर्माता सामान्यतः पर कम से कम एक बेंचमार्क खोज सकता है जो यह दर्शाता है कि उसका प्रणालीकिसी अन्य प्रणालीसे अधिक अच्छा प्रदर्शन करेगा; अन्य प्रणालियों को एक अलग बेंचमार्क के साथ उत्कृष्टता के लिए दिखाया जा सकता है।
निर्माता सामान्यतः पर केवल उन बेंचमार्क (या बेंचमार्क के पहलुओं) की रिपोर्ट करते हैं जो उनके उत्पादों को सर्वोत्तम प्रकाश में दिखाते हैं। वे बेंचमार्क के महत्व को गलत विधि से प्रस्तुत करने के लिए भी जाने जाते हैं, ताकि वे अपने उत्पादों को सर्वोत्तम संभव प्रकाश में दिखा सकें। एक साथ लिया गया, इन प्रथाओं को बेंच-मार्केटिंग कहा जाता है।
आदर्श रूप से बेंचमार्क को केवल वास्तविक अनुप्रयोगों के लिए स्थानापन्न करना चाहिए यदि एप्लिकेशन अनुपलब्ध है, या किसी विशिष्ट प्रोसेसर या संगणक प्रणालीको पोर्ट करने के लिए बहुत कठिन या महंगा है। यदि प्रदर्शन महत्वपूर्ण है, तो एकमात्र बेंचमार्क जो आशय रखता है वह है लक्ष्य परिवेश का एप्लिकेशन सूट।
कार्यक्षमता
बेंचमार्किंग सॉफ़्टवेयर की विशेषताओं में एक स्प्रेडशीट फ़ाइल में प्रदर्शन के दौरान रिकॉर्डिंग/डेटा निर्यात करना, आरेखण रेखा ग्राफ़ या रंग-कोडित टाइल जैसे विज़ुअलाइज़ेशन सम्मिलित हो सकते हैं, और प्रक्रिया को फिर से शुरू किए बिना फिर से शुरू करने में सक्षम होने के लिए रोकना सम्मिलित हो सकता है। सॉफ़्टवेयर में इसके उद्देश्य के लिए विशिष्ट अतिरिक्त विशेषताएं हो सकती हैं, उदाहरण के लिए, डिस्क बेंचमार्किंग सॉफ़्टवेयर वैकल्पिक रूप से पूर्ण डिस्क की जगह डिस्क की निर्दिष्ट सीमा के भीतर डिस्क की गति को मापने में सक्षम हो सकता है, रैंडम एक्सेस पढ़ने की गति और विलंबता (इंजीनियरिंग) को मापता है, एक त्वरित स्कैन सुविधा है जो निर्दिष्ट अंतराल और आकारों के नमूनों के माध्यम से गति को मापती है, और एक ब्लॉक (डेटा संग्रहण) आकार निर्दिष्ट करने की अनुमति देती है, जिसका अर्थ है अनुरोध किए गए बाइट्स की संख्या प्रति पढ़ने का अनुरोध।[2]
चुनौतियां
बेंचमार्किंग सरल नहीं है और पूर्वानुमानित, उपयोगी निष्कर्ष पर पहुंचने के लिए अधिकांशतः कई पुनरावृत्त कालचक्र सम्मिलित होते हैं। बेंचमार्किंग डेटा की व्याख्या भी असाधारण रूप से कठिन है। यहां सामान्य चुनौतियों की आंशिक सूची दी गई है:
- विक्रेता अपने उत्पादों को विशेष रूप से उद्योग-मानक बेंचमार्क के लिए ट्यून करते हैं। नॉर्टन एसवाईएस इन्फो (SI) के लिए ट्यून करना विशेष रूप से सरल है, क्योंकि यह मुख्य रूप से कई ऑपरेशनों की गति के प्रति पक्षपाती है। ऐसे परिणामों की व्याख्या करने में अत्यधिक सावधानी बरतें।
- कुछ विक्रेताओं पर बेंचमार्क पर भ्रमित करने का आरोप लगाया गया है - ऐसे काम करना जो बहुत अधिक बेंचमार्क नंबर देते हैं, लेकिन वास्तविक संभावित कार्यभार पर चीजों को और विकृत कर देते हैं।[3]
- कई बेंचमार्क पूरी तरह से संगणक के प्रदर्शन की गति पर ध्यान केंद्रित करते हैं, संगणक प्रणाली की अन्य महत्वपूर्ण विशेषताओं की उपेक्षा करते हैं, जैसे:
- सेवा के गुण, अशिक्षित प्रदर्शन को छोड़कर। सेवा के अमापित गुणों के उदाहरणों में सुरक्षा, उपलब्धता, विश्वसनीयता, निष्पादन अखंडता, सेवाक्षमता, मापनीयता (विशेष रूप से जल्दी और गैर-विघटनकारी रूप से जोड़ने या पुन: आवंटित करने की क्षमता) आदि सम्मिलित हैं। सेवा के इन गुणों के बीच और बीच में अधिकांशतः वास्तविक व्यापार- अप्रिय होते हैं, और सभी बिजनेस कंप्यूटिंग में महत्वपूर्ण हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से एसीआईडी संपत्ति परीक्षण, डेटाबेस मापनीयता नियम और सेवा स्तर की आवश्यकताओं को निर्दिष्ट करके इन चिंताओं को संबोधित करते हैं।
- सामान्यतः, बेंचमार्क स्वामित्व की कुल लागत का आकलन नहीं करते हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से इस चिंता को निर्दिष्ट करके संबोधित करते हैं कि एक अप्रशिक्षित प्रदर्शन मीट्रिक के अतिरिक्त एक मूल्य / प्रदर्शन मीट्रिक को स्वामित्व सूत्र की सरलीकृत कुल लागत का उपयोग करके रिपोर्ट किया जाना चाहिए। हालांकि, लागत अनिवार्य रूप से केवल आंशिक है, और विक्रेताओं को बेंचमार्क के लिए विशेष रूप से (और केवल) मूल्य के लिए जाना जाता है, कृत्रिम रूप से कम मूल्य के साथ एक अत्यधिक विशिष्ट बेंचमार्क विशेष कॉन्फ़िगरेशन तैयार करना। बेंचमार्क पैकेज से थोड़ा विचलन भी वास्तविक दुनिया के अनुभव में बहुत अधिक मूल्य देता है।
- सुविधाओं का भार (अंतरिक्ष, बिजली और शीतलन)। जब अधिक शक्ति का उपयोग किया जाता है, तो एक सुवाहय़ प्रणाली में कम बैटरी जीवन होगा और अधिक बार रिचार्जिंग की आवश्यकता होगी। एक सर्वर जो अधिक बिजली और/या जगह की खपत करता है, वह कूलिंग सीमाओं सहित मौजूदा डेटा सेंटर संसाधन बाधाओं के भीतर फिट होने में सक्षम नहीं हो सकता है। वास्तविक व्यापार-नापसंद हैं क्योंकि अधिकांश अर्धचालकों को तेजी से स्विच करने के लिए अधिक शक्ति की आवश्यकता होती है। प्रति वाट प्रदर्शन भी देखें।
- कुछ एम्बेडेड प्रणाली में, जहां मेमोरी एक महत्वपूर्ण लागत होती है, अधिक अच्छा कोड घनत्व लागत को महत्वपूर्ण रूप से कम कर सकता है।
- विक्रेता बेंचमार्क विकास, परीक्षण और आपदा बहाली कंप्यूटिंग क्षमता के लिए आवश्यकताओं की उपेक्षा करते हैं। विक्रेता केवल यह रिपोर्ट करना पसंद करते हैं कि उनके प्रारंभिक अधिग्रहण मूल्य को यथासंभव कम दिखाने के लिए उत्पादन क्षमता के लिए क्या आवश्यक हो सकता है।
- बेंचमार्क को व्यापक रूप से वितरित सर्वरों को अपनाने में परेशानी हो रही है, विशेष रूप से नेटवर्क टोपोलॉजी के लिए अतिरिक्त संवेदनशीलता वाले सर्वर। ग्रिड कंप्यूटिंग का उद्भव, विशेष रूप से, बेंचमार्किंग को जटिल बनाता है क्योंकि कुछ कार्यभार ग्रिड के अनुकूल होते हैं, जबकि अन्य नहीं होते हैं।
- बेंचमार्क के सुझाव से उपयोगकर्ताओं के प्रदर्शन के बारे में बहुत अलग धारणाएं हो सकती हैं। विशेष रूप से, उपयोगकर्ता पूर्वानुमेयता की सराहना करते हैं - सर्वर जो सदैव सेवा स्तर के समझौतों को पूरा करते हैं या उससे अधिक होते हैं। बेंचमार्क सबसे विकृत स्थिति प्रतिक्रिया समय (वास्तविक समय कंप्यूटिंग परिप्रेक्ष्य), या निम्न मानक विचलन (उपयोगकर्ता परिप्रेक्ष्य) की जगह माध्य स्कोर (आईटी परिप्रेक्ष्य) पर बल देते हैं।
- कई सर्वर स्थापत्य नाटकीय रूप से उपयोग के उच्च (लगभग 100%) स्तर पर गिरावट करते हैं - एक ऊंचाई से गिर जाते हैं - और बेंचमार्क को (लेकिन अधिकांशतः नहीं) उस कारक को ध्यान में रखना चाहिए। विक्रेता, विशेष रूप से, लगभग 80% उपयोग पर निरंतर सर्वर बेंचमार्क प्रकाशित करते हैं - एक अवास्तविक स्थिति - और उस स्तर से परे मांग बढ़ने पर समग्र प्रणाली का क्या होता है, इसका अभिलेखीकरण नहीं करते हैं।
- कई बेंचमार्क अन्य अनुप्रयोगों के बहिष्करण के लिए एक आवेदन, या यहां तक कि एक आवेदन स्तर पर ध्यान केंद्रित करते हैं। अधिकांश डेटा केंद्र अब विभिन्न कारणों से बड़े स्तर पर हार्डवेयर वर्चुअलाइजेशन को लागू कर रहे हैं, और बेंचमार्किंग अभी भी उस वास्तविकता को पकड़ रही है जहां समेकित सर्वर पर कई एप्लिकेशन और एप्लिकेशन टियर समवर्ती रूप से चल रहे हैं।
- कुछ (यदि कोई हैं) उच्च गुणवत्ता वाले बेंचमार्क हैं जो बैच कंप्यूटिंग, विशेष रूप से उच्च मात्रा समवर्ती बैच और रीयल-टाइम कंप्यूटिंग के प्रदर्शन को मापने में सहायता करते हैं। बैच कंप्यूटिंग लंबे समय से चल रहे कार्यों को सही ढंग से पूरा करने की भविष्यवाणी पर अधिक ध्यान केंद्रित करती है समय सीमा से पहले, जैसे महीने का अंत या वित्तीय वर्ष का अंत। कई महत्वपूर्ण मुख्य व्यवसाय प्रक्रियाएं बैच-उन्मुख हैं और संभवतः सदैव रहेंगी, जैसे कि बिलिंग।
- बेंचमार्किंग संस्थान अधिकांशतः बुनियादी वैज्ञानिक पद्धति की अवहेलना करते हैं या उसका पालन नहीं करते हैं। इसमें सम्मिलित है, लेकिन यह सीमित नहीं है: लघु आदर्श परिमाण, अस्निथिर नियंत्रण की कमी, और परिणामों की सीमित पुनरावृत्ति।[4]
बेंचमार्किंग सिद्धांत
बेंचमार्क के लिए सात महत्वपूर्ण विशेषताएं हैं।[5] ये प्रमुख गुण हैं:
- प्रासंगिकता: बेंचमार्क को अपेक्षाकृत महत्वपूर्ण विशेषताओं को मापना चाहिए।
- प्रतिनिधित्व: बेंचमार्क प्रदर्शन मेट्रिक्स को उद्योग और शिक्षा जगत द्वारा व्यापक रूप से स्वीकार किया जाना चाहिए।
- इक्विटी: सभी प्रणालियों की निष्पक्ष तुलना की जानी चाहिए।
- पुनरावर्तनीयता: बेंचमार्क परिणामों को सत्यापित किया जा सकता है।
- लागत-प्रभावशीलता: बेंचमार्क परीक्षण सस्ता हैं।
- मापनीयता: बेंचमार्क परीक्षणों को कम से लेकर उच्च तक संसाधनों की एक श्रृंखला रखने वाले प्रणाली में काम करना चाहिए।
- पारदर्शिता: बेंचमार्क मेट्रिक्स को समझना सरल होना चाहिए।
बेंचमार्क के प्रकार
- विशुद्ध कार्यक्रम
- वर्ड प्रोसेसिंग सॉफ़्टवेयर
- सीएडी का टूल सॉफ्टवेयर
- उपयोगकर्ता का एप्लिकेशन सॉफ़्टवेयर (अर्थात: MIS)
- वीडियो गेम
- कंपाइलर एक बड़ी परियोजना का निर्माण करते हैं, उदाहरण के लिए क्रोमियम (ब्राउज़र) या लिनक्स कर्नेल
- कंपोनेंट बेंचमार्क / माइक्रो बेंचमार्क
- कोर रूटीन में अपेक्षाकृत छोटा और विशिष्ट कोड होता है।
- संगणक के बुनियादी घटकों के प्रदर्शन को मापें[6]
- संगणक के हार्डवेयर पैरामीटर जैसे रजिस्टरों की संख्या, कैश (कंप्यूटिंग) आकार, मेमोरी विलंबता, आदि का स्वत: पता लगाने के लिए उपयोग किया जा सकता है।
- कर्नेल
- कुंजी कोड सम्मिलित हैं
- सामान्यतः वास्तविक कार्यक्रम से सार निकाला जाता है
- लोकप्रिय कर्नेल: लिवरमोर लूप
- लिनपैक बेंचमार्क (फोरट्रान भाषा में लिखित बुनियादी रैखिक बीजगणित सबरूटीन सम्मिलित है)
- परिणाम Mflop/s में दर्शाए जाते हैं।
- सिंथेटिक बेंचमार्क
- सिंथेटिक बेंचमार्क प्रोग्रामिंग के लिए प्रक्रिया:
- कई एप्लिकेशन प्रोग्राम से सभी प्रकार के संचालन के आंकड़े लें
- प्रत्येक ऑपरेशन का अनुपात प्राप्त करें
- उपरोक्त अनुपात के आधार पर कार्यक्रम लिखें
- सिंथेटिक बेंचमार्क के प्रकार हैं:
- ये पहले सामान्य प्रयोजन उद्योग स्तरीय संगणक बेंचमार्क थे। जरूरी नहीं कि वे आधुनिक पाइप लाइन वाले संगणकों पर उच्च अंक प्राप्त करें।
- सिंथेटिक बेंचमार्क प्रोग्रामिंग के लिए प्रक्रिया:
- आई/ओ बेंचमार्क
- डेटाबेस बेंचमार्क
- डेटाबेस प्रबंधन प्रणाली (DBMS) के थ्रूपुट और प्रतिक्रिया समय को मापें
- समानांतर बेंचमार्क
- कई कोर और/या प्रोसेसर वाली मशीनों पर या कई मशीनों वाली प्रणालियों पर उपयोग किया जाता है
सामान्य बेंचमार्क
उद्योग मानक (लेखापरीक्षित और सत्यापन योग्य)
- BAPCo कंसोर्टियम | बिजनेस एप्लीकेशन परफॉर्मेंस कॉर्पोरेशन (BAPCo)
- EEMBC | एंबेडेड माइक्रोप्रोसेसर बेंचमार्क कंसोर्टियम (EEMBC)
- मानक प्रदर्शन मूल्यांकन निगम (SPEC), विशेष रूप से उनके SPECint और SPECfp
- लेनदेन प्रसंस्करण प्रदर्शन परिषद (TPC): DBMS बेंचमार्क[7]
ओपन सोर्स बेंचमार्क
- एआईएम मल्टीयूजर बेंचमार्क - परीक्षणों की एक सूची से बना है जिसे 'लोड मिक्स' बनाने के लिए मिश्रित किया जा सकता है जो किसी भी यूनिक्स-प्रकार के ओएस पर एक विशिष्ट संगणक फ़ंक्शन का अनुकरण करेगा।
- बोनी++ ++ - फाइल प्रणाली और हार्ड ड्राइव बेंचमार्क
- बीआरएल-सीएडी - मल्टीथ्रेडेड रे ट्रेसिंग परफॉर्मेंस पर आधारित क्रॉस-प्लेटफॉर्म आर्किटेक्चर-एग्नोस्टिक बेंचमार्क सूट; एक VAX-11/780 के विरुद्ध आधारभूत; और सापेक्ष CPU प्रदर्शन, संकलक अंतर, अनुकूलन स्तर, सुसंगतता, वास्तुकला अंतर और ऑपरेटिंग प्रणाली अंतर के मूल्यांकन के लिए 1984 से उपयोग किया जाता है।
- सामूहिक ज्ञान (सॉफ्टवेयर) - स्वयंसेवकों द्वारा प्रदान किए गए हार्डवेयर में क्राउडसोर्स बेंचमार्किंग और उपयोगकर्ता कार्यभार (जैसे गहन शिक्षा) के अनुकूलन के लिए अनुकूलन योग्य, क्रॉस-प्लेटफ़ॉर्म फ्रेमवर्क
- Coremark - एंबेडेड कंप्यूटिंग बेंचमार्क
- DEISA बेंचमार्क सूट - वैज्ञानिक HPC एप्लिकेशन बेंचमार्क
- ध्रिस्टोन - पूर्णांक अंकगणितीय प्रदर्शन, अधिकांशतः DMIPS में रिपोर्ट किया जाता है (ध्रिस्टोन लाखों निर्देश प्रति सेकंड)
- DiskSpd - स्टोरेज बेंचमार्किंग के लिए कमांड लाइन टूल जो संगणक फाइल, डिस्क विभाजन या संगणक डेटा भंडारण के विरुद्ध कई तरह के अनुरोध उत्पन्न करता है।
- फोरस्टोन्स - एक पूर्णांक बेंचमार्क
- पदानुक्रमित एकीकरण - समग्र सीपीयू और मेमोरी प्रदर्शन को मापने के लिए अभिकल्पित किया गया
- थोड़ा सा - एकल और संकुल प्रणालियों के लिए I/O सबप्रणाली मापन और अभिलक्षणन उपकरण।
- IOzone - फाइल प्रणाली बेंचमार्क
- लिनपैक बेंचमार्क - पारंपरिक रूप से फ्लॉप को मापने के लिए उपयोग किया जाता है
- लिवरमोर लूप्स
- एनएएस बेंचमार्क
- NBench - इंटीजर अंकगणित, मेमोरी ऑपरेशंस और फ्लोटिंग-पॉइंट अंकगणित के प्रदर्शन को मापने वाला सिंथेटिक बेंचमार्क सूट
- पाल (सॉफ्टवेयर) - वास्तविक समय भौतिकी इंजन के लिए एक बेंचमार्क
- PerfKitBenchmarker - क्लाउड प्रस्तुतियो को मापने और तुलना करने के लिए बेंचमार्क का एक सेट।
- Phoronix Test Suite – Linux, OpenSolaris, FreeBSD, OSX और Windows के लिए ओपन-सोर्स क्रॉस-प्लेटफ़ॉर्म बेंचमार्किंग सूट। इसमें निष्पादन को सरल बनाने के लिए इस पृष्ठ पर सम्मिलित कई अन्य बेंचमार्क सम्मिलित हैं।
- पीओवी-रे - 3डी रेंडर
- तक (फ़ंक्शन) - एक साधारण बेंचमार्क जिसका उपयोग पुनरावर्तन प्रदर्शन का परीक्षण करने के लिए किया जाता है
- टीएटीपी बेंचमार्क - दूरसंचार अनुप्रयोग लेनदेन प्रसंस्करण बेंचमार्क
- टीपीओएक्स - एक्सएमएल डेटाबेस के लिए एक एक्सएमएल ट्रांजैक्शन प्रोसेसिंग बेंचमार्क
- प्रदर्शन की वैक्स इकाई (प्रदर्शन की वैक्स इकाई) - जिसे प्रति सेकंड वैक्स निर्देश भी कहा जाता है
- वेटस्टोन (बेंचमार्क) - फ्लोटिंग-पॉइंट अंकगणितीय प्रदर्शन, अधिकांशतः लाखों वेटस्टोन निर्देशों प्रति सेकंड (MWIPS) में रिपोर्ट किया जाता है।
माइक्रोसॉफ्ट विंडोज बेंचमार्क
- BAPCo कंसोर्टियम: मोबाइलमार्क, एस वाईमार्क, वेबमार्क
- क्रिस्टलडिस्कमार्क
- फ्यूचर मार्क: 3Dमार्क, पी सी मार्क
- हेवन बेंचमार्क
- पीआईफ़ास्ट
- सुपरपोजिशन बेंचमार्क
- सुपर आई.पीआई
- सुपरप्राइम
- वैली बेंचमार्क
- वेटस्टोन (बेंचमार्क)
- विंडोज प्रणाली आकलन उपकरण, विंडोज विस्टा और बाद में रिलीज के साथ सम्मिलित है, उपभोक्ताओं को अपने प्रणाली को सरली से रेट करने के लिए एक सूचकांक प्रदान करता है
- वर्ल्डबेंच (बंद)
अन्य
- AnTuTu - सामान्यतः पर फोन और एआरएम-आधारित उपकरणों पर उपयोग किया जाता है।
- गीकबेंच - विंडोज, लिनक्स, मैकओएस, आईओएस और एंड्रॉइड के लिए एक क्रॉस-प्लेटफॉर्म बेंचमार्क।
- iCOMP (इंडेक्स) - इंटेल द्वारा प्रकाशित इंटेल तुलनात्मक माइक्रोप्रोसेसर प्रदर्शन
- खोर्नरस्टोन
- प्रदर्शन रेटिंग - सामान्यतः पर प्रतिस्पर्धी उत्पादों की तुलना में सापेक्ष प्रदर्शन को दर्शाने के लिए एएमडी और सिरिक्स द्वारा उपयोग की जाने वाली मॉडलिंग योजना।
- सनस्पाइडर जावास्क्रिप्ट बेंचमार्क - एक ब्राउज़र गति परीक्षण
- वीएममार्क - एक वर्चुअलाइजेशन बेंचमार्क सूट।
यह भी देखें
- बेंच मार्किंग (व्यावसायिक परिप्रेक्ष्य)
- आकड़ों की योग्यता
- दोषरहित संपीड़न बेंचमार्क
- प्रदर्शन काउंटर मॉनिटर
- परीक्षण सूट – परीक्षण स्थितियों का एक संग्रह यह दिखाने के उद्देश्य से है कि एक सॉफ्टवेयर प्रोग्राम में व्यवहार के कुछ निर्दिष्ट सेट हैं
संदर्भ
- ↑ Fleming, Philip J.; Wallace, John J. (1986-03-01). "आँकड़ों के साथ कैसे झूठ न बोलें: बेंचमार्क परिणामों को सारांशित करने का सही तरीका". Communications of the ACM. 29 (3): 218–221. doi:10.1145/5666.5673. ISSN 0001-0782. S2CID 1047380. Retrieved 2017-06-09.
- ↑ Software: HDDScan, GNOME Disks
- ↑ Krazit, Tom (2003). "एनवीडिया की बेंचमार्क रणनीति का पुनर्मूल्यांकन किया गया". IDG News. Archived from the original on 2011-06-06. Retrieved 2009-08-08.
- ↑ Castor, Kevin (2006). "हार्डवेयर परीक्षण और बेंचमार्किंग पद्धति". Archived from the original on 2008-02-05. Retrieved 2008-02-24.
- ↑ Dai, Wei; Berleant, Daniel (December 12–14, 2019). "बेंचमार्किंग समकालीन डीप लर्निंग हार्डवेयर एंड फ्रेमवर्क: ए सर्वे ऑफ क्वालिटेटिव मेट्रिक्स" (PDF). 2019 IEEE First International Conference on Cognitive Machine Intelligence (CogMI). Los Angeles, CA, USA: IEEE. pp. 148–155. arXiv:1907.03626. doi:10.1109/CogMI48466.2019.00029.
- ↑ Ehliar, Andreas; Liu, Dake. "बेंचमार्किंग नेटवर्क प्रोसेसर" (PDF).
{{cite journal}}: Cite journal requires|journal=(help) - ↑ Transaction Processing Performance Council (February 1998). "टीपीसी का इतिहास और अवलोकन". TPC. Transaction Processing Performance Council. Retrieved 2018-07-02.
अग्रिम पठन
- Gray, Jim, ed. (1993). The Benchmark Handbook for Database and Transaction Systems. Morgan Kaufmann Series in Data Management Systems (2nd ed.). Morgan Kaufmann Publishers, Inc. ISBN 1-55860-292-5.
- Scalzo, Bert; Kline, Kevin; Fernandez, Claudia; Burleson, Donald K.; Ault, Mike (2007). Database Benchmarking Practical Methods for Oracle & SQL Server. ISBN 978-0-9776715-3-3.
- Nambiar, Raghunath; Poess, Meikel, eds. (2009). Performance Evaluation and Benchmarking. Springer. ISBN 978-3-642-10423-7.
बाहरी संबंध
- Lewis, Byron C.; Crews, Albert E. (1985). "The Evolution of Benchmarking as a Computer Performance Evaluation Technique". MIS Quarterly. 9 (1): 7–16. doi:10.2307/249270. ISSN 0276-7783. JSTOR 249270. The dates: 1962-1976
Wikimedia Commons has media related to Benchmarks (computing).
