बेंचमार्क (कंप्यूटिंग): Difference between revisions

From Vigyanwiki
No edit summary
 
(12 intermediate revisions by 5 users not shown)
Line 1: Line 1:
{{short description|Comparing the relative performance of computers by running the same program on all of them}}
{{short description|Comparing the relative performance of computers by running the same program on all of them}}
{{About|the use of benchmarks in computing||Benchmark (disambiguation){{!}}Benchmark}}
{{About|कंप्यूटिंग में बेंचमार्क का उपयोग||बेंचमार्क (बहुविकल्पी){{!}}बेंचमार्क}}[[File:OGRE screenshot 08.png|thumb|[[OGRE]] इंजन के बेंचमार्क के रूप में चल रहा एक ग्राफिकल डेमो।]][[कम्प्यूटिंग]] में, '''बेंचमार्क''' एक [[कंप्यूटर प्रोग्राम|संगणक प्रोग्राम]], प्रोग्राम का एक समूह, या अन्य संचालन चलाने का कार्य है, ताकि किसी वस्तु के सापेक्ष संगणक प्रदर्शन का आकलन किया जा सके, सामान्यतः इसके विपरीत कई मानक [[सॉफ्टवेयर प्रदर्शन परीक्षण]] और परीक्षण चलाकर।<ref>{{Cite journal| doi = 10.1145/5666.5673| issn = 0001-0782| volume = 29| issue = 3| pages = 218–221| last1 = Fleming| first1 = Philip J.| last2 = Wallace| first2 = John J.| title = आँकड़ों के साथ कैसे झूठ न बोलें: बेंचमार्क परिणामों को सारांशित करने का सही तरीका| journal = Communications of the ACM| access-date = 2017-06-09| date = 1986-03-01| s2cid = 1047380| url = http://portal.acm.org/citation.cfm?doid=5666.5673}}</ref>
{{more citations needed|date=July 2015}}
बेंचमार्क शब्द का उपयोग सामान्यतः पर विस्तृत रूप से अभिकल्पित किए गए बेंचमार्किंग प्रोग्राम के प्रयोजनों के लिए भी किया जाता है।
{{Expert needed|Computer science|talk=Outdated sources|reason=Outdated or deprecated sources|date=October 2022}}


[[File:OGRE screenshot 08.png|thumb|[[OGRE]] इंजन के बेंचमार्क के रूप में चल रहा एक ग्राफिकल डेमो।]][[कम्प्यूटिंग]] में, एक बेंचमार्क एक [[कंप्यूटर प्रोग्राम|संगणक प्रोग्राम]], प्रोग्राम का एक समूह, या अन्य संचालन चलाने का कार्य है, ताकि किसी वस्तु के सापेक्ष संगणक प्रदर्शन का आकलन किया जा सके, सामान्यतः इसके विपरीत कई मानक [[सॉफ्टवेयर प्रदर्शन परीक्षण]] और परीक्षण चलाकर।<ref>{{Cite journal| doi = 10.1145/5666.5673| issn = 0001-0782| volume = 29| issue = 3| pages = 218–221| last1 = Fleming| first1 = Philip J.| last2 = Wallace| first2 = John J.| title = आँकड़ों के साथ कैसे झूठ न बोलें: बेंचमार्क परिणामों को सारांशित करने का सही तरीका| journal = Communications of the ACM| access-date = 2017-06-09| date = 1986-03-01| s2cid = 1047380| url = http://portal.acm.org/citation.cfm?doid=5666.5673}}</ref>
बेंचमार्किंग सामान्यतः पर [[संगणक धातु सामग्री|संगणक हार्डवेयर]] की प्रदर्शन विशेषताओं का आकलन करने से जुड़ा होता है, उदाहरण के लिए, [[सेंट्रल प्रोसेसिंग यूनिट]] का [[फ्लोटिंग पॉइंट ऑपरेशन]] प्रदर्शन, लेकिन ऐसी परिस्थितियां होती हैं जब तकनीक सॉफ्टवेयर पर भी लागू होती है। उदाहरण के लिए, [[सॉफ़्टवेयर]] बेंचमार्क, [[संकलक]] या [[डेटाबेस प्रबंधन प्रणाली]] (DBMS) के विरुद्ध चलाए जाते हैं।
बेंचमार्क शब्द का उपयोग सामान्यतः पर विस्तृत रूप से डिज़ाइन किए गए बेंचमार्किंग प्रोग्राम के प्रयोजनों के लिए भी किया जाता है।


बेंचमार्किंग सामान्यतः पर [[संगणक धातु सामग्री]] की प्रदर्शन विशेषताओं का आकलन करने से जुड़ा होता है, उदाहरण के लिए, [[सेंट्रल प्रोसेसिंग यूनिट]] का [[फ्लोटिंग पॉइंट ऑपरेशन]] प्रदर्शन, लेकिन ऐसी परिस्थितियां होती हैं जब तकनीक सॉफ्टवेयर पर भी लागू होती है। उदाहरण के लिए, [[सॉफ़्टवेयर]] बेंचमार्क, [[संकलक]]्स या [[डेटाबेस प्रबंधन प्रणाली]]्स (DBMS) के विरुद्ध चलाए जाते हैं।
बेंचमार्क विभिन्न चिप/प्रणाली [[कंप्यूटर आर्किटेक्चर|संगणक]] स्थापत्य में विभिन्न उप-प्रणालियों के प्रदर्शन की तुलना करने की एक विधि प्रदान करते हैं।
 
बेंचमार्क विभिन्न चिप/प्रणाली[[कंप्यूटर आर्किटेक्चर|संगणक]] स्थापत्य में विभिन्न उप-प्रणालियों के प्रदर्शन की तुलना करने की एक विधि प्रदान करते हैं।


== उद्देश्य ==
== उद्देश्य ==
जैसे-जैसे संगणक स्थापत्य उन्नत हुआ, वैसे-वैसे विभिन्न संगणक प्रणाली के प्रदर्शन की तुलना उनके विनिर्देशों को देखते हुए करना अधिक कठिन हो गया। इसलिए, परीक्षण विकसित किए गए थे जो विभिन्न स्थापत्यकी तुलना की अनुमति देते थे। उदाहरण के लिए, [[पेंटियम 4]] प्रोसेसर सामान्यतः पर [[एथलॉन एक्सपी]] या [[पावरपीसी]] प्रोसेसर की तुलना में उच्च क्लॉक फ्रीक्वेंसी पर संचालित होता है, जो जरूरी नहीं कि अधिक कम्प्यूटेशनल पावर में परिवर्तित हो; धीमी क्लॉक फ्रीक्वेंसी वाला प्रोसेसर उच्च फ्रीक्वेंसी पर काम करने वाले प्रोसेसर के साथ-साथ या उससे भी अधिक अच्छा प्रदर्शन कर सकता है। [[BogoMips]] और [[मेगाहर्ट्ज़ मिथक]] देखें।
जैसे-जैसे संगणक स्थापत्य उन्नत हुआ, वैसे-वैसे विभिन्न संगणक प्रणाली के प्रदर्शन की तुलना उनके विनिर्देशों को देखते हुए करना अधिक कठिन हो गया। इसलिए, परीक्षण विकसित किए गए थे जो विभिन्न स्थापत्यकी तुलना की अनुमति देते थे। उदाहरण के लिए, [[पेंटियम 4]] प्रोसेसर सामान्यतः पर [[एथलॉन एक्सपी]] या [[पावरपीसी|पावर पीसी]] प्रोसेसर की तुलना में उच्च क्लॉक फ्रीक्वेंसी पर संचालित होता है, जो जरूरी नहीं कि अधिक कम्प्यूटेशनल पावर में परिवर्तित हो; धीमी क्लॉक फ्रीक्वेंसी वाला प्रोसेसर उच्च फ्रीक्वेंसी पर काम करने वाले प्रोसेसर के साथ-साथ या उससे भी अधिक अच्छा प्रदर्शन कर सकता है। बोगोमिप्स और [[मेगाहर्ट्ज़ मिथक]] देखें।


बेंचमार्क को किसी घटक या प्रणालीपर किसी विशेष प्रकार के वर्कलोड की प्रतिलिपि बनाने के लिए डिज़ाइन किया गया है। सिंथेटिक बेंचमार्क ऐसा विशेष रूप से बनाए गए प्रोग्रामों द्वारा करते हैं जो घटक पर वर्कलोड लगाते हैं। एप्लिकेशन बेंचमार्क प्रणालीपर वास्तविक दुनिया के प्रोग्राम चलाते हैं। जबकि एप्लिकेशन बेंचमार्क सामान्यतः पर किसी दिए गए प्रणालीपर वास्तविक दुनिया के प्रदर्शन का अधिक अच्छा माप देते हैं, सिंथेटिक बेंचमार्क [[हार्ड डिस्क]] या नेटवर्किंग डिवाइस जैसे व्यक्तिगत घटकों के परीक्षण के लिए उपयोगी होते हैं।
बेंचमार्क को किसी घटक या प्रणाली पर किसी विशेष प्रकार के कार्यभार की प्रतिलिपि बनाने के लिए अभिकल्पित किया गया है। सिंथेटिक बेंचमार्क ऐसा विशेष रूप से बनाए गए प्रोग्रामों द्वारा करते हैं जो घटक पर कार्यभार लगाते हैं। एप्लिकेशन बेंचमार्क प्रणाली पर वास्तविक लोक के प्रोग्राम चलाते हैं। जबकि एप्लिकेशन बेंचमार्क सामान्यतः पर किसी दिए गए प्रणालीपर वास्तविक लोक के प्रदर्शन का अधिक अच्छा माप देते हैं, सिंथेटिक बेंचमार्क [[हार्ड डिस्क]] या नेटवर्किंग डिवाइस जैसे व्यक्तिगत घटकों के परीक्षण के लिए उपयोगी होते हैं।


[[सीपीयू डिजाइन]] में बेंचमार्क विशेष रूप से महत्वपूर्ण हैं, प्रोसेसर आर्किटेक्ट्स को [[microआर्किटेक्चर|माइक्रो]] स्थापत्य निर्णयों को मापने और व्यापार करने की क्षमता प्रदान करते हैं। उदाहरण के लिए, यदि कोई बेंचमार्क किसी एप्लिकेशन के प्रमुख [[एल्गोरिदम]] को निकालता है, तो उसमें उस एप्लिकेशन के प्रदर्शन-संवेदनशील संकेत सम्मिलित होंगे। चक्र-सटीक सिम्युलेटर पर इस बहुत छोटे स्निपेट को चलाने से प्रदर्शन को अधिक अच्छा बनाने के बारे में सूत्र मिल सकता है।
[[सीपीयू डिजाइन]] में बेंचमार्क विशेष रूप से महत्वपूर्ण हैं, प्रोसेसर आर्किटेक्ट्स को [[microआर्किटेक्चर|माइक्रो]] स्थापत्य निर्णयों को मापने और व्यापार करने की क्षमता प्रदान करते हैं। उदाहरण के लिए, यदि कोई बेंचमार्क किसी एप्लिकेशन के प्रमुख [[एल्गोरिदम]] को निकालता है, तो उसमें उस एप्लिकेशन के प्रदर्शन-संवेदनशील संकेत सम्मिलित होंगे। चक्र-सटीक सिम्युलेटर पर इस बहुत छोटे स्निपेट को चलाने से प्रदर्शन को अधिक अच्छा बनाने के बारे में सूत्र मिल सकता है।
Line 20: Line 16:
2000 से पहले, संगणक और माइक्रोप्रोसेसर आर्किटेक्ट्स ने ऐसा करने के लिए  [[कल्पना|SPEC]] का प्रयोग किया था, हालांकि स्पेसिफिक के यूनिक्स-आधारित बेंचमार्क काफी लंबे थे और इस प्रकार निरन्तर उपयोग करने के लिए बोझिल थे।
2000 से पहले, संगणक और माइक्रोप्रोसेसर आर्किटेक्ट्स ने ऐसा करने के लिए  [[कल्पना|SPEC]] का प्रयोग किया था, हालांकि स्पेसिफिक के यूनिक्स-आधारित बेंचमार्क काफी लंबे थे और इस प्रकार निरन्तर उपयोग करने के लिए बोझिल थे।


संगणक निर्माता अपने प्रणालीको बेंचमार्क परीक्षणों पर अवास्तविक रूप से उच्च प्रदर्शन देने के लिए कॉन्फ़िगर करने के लिए जाने जाते हैं जिन्हें वास्तविक उपयोग में दोहराया नहीं जाता है। उदाहरण के लिए, 1980 के दशक के दौरान कुछ संकलक एक प्रसिद्ध फ्लोटिंग-पॉइंट बेंचमार्क में उपयोग किए जाने वाले एक विशिष्ट गणितीय ऑपरेशन का पता लगा सकते थे और ऑपरेशन को तेजी से गणितीय समकक्ष ऑपरेशन से परिवर्तित कर सकते थे। हालांकि, 1990 के दशक के मध्य तक बेंचमार्क के बाहर इस तरह का परिवर्तन शायद ही कभी उपयोगी था, जब [[RISC]] और VLIW स्थापत्यने कंपाइलर तकनीक के महत्व पर जोर दिया क्योंकि यह प्रदर्शन से संबंधित था। बेंचमार्क अब कम्पाइलर कंपनियों द्वारा नियमित रूप से न केवल अपने स्वयं के बेंचमार्क स्कोर, बल्कि वास्तविक अनुप्रयोग प्रदर्शन में सुधार के लिए उपयोग किए जाते हैं।
संगणक निर्माता अपने प्रणाली को बेंचमार्क परीक्षणों पर अवास्तविक रूप से उच्च प्रदर्शन देने के लिए कॉन्फ़िगर करने के लिए जाने जाते हैं जिन्हें वास्तविक उपयोग में दोहराया नहीं जाता है। उदाहरण के लिए, 1980 के दशक के दौरान कुछ संकलक एक प्रसिद्ध फ्लोटिंग-पॉइंट बेंचमार्क में उपयोग किए जाने वाले एक विशिष्ट गणितीय ऑपरेशन का पता लगा सकते थे और ऑपरेशन को तेजी से गणितीय समकक्ष ऑपरेशन से परिवर्तित कर सकते थे। हालांकि, 1990 के दशक के मध्य तक बेंचमार्क के बाहर इस तरह का परिवर्तन संभवतः ही कभी उपयोगी था, जब [[RISC|आरआईएससी]] और [[वीएलआईडब्ल्यू]] स्थापत्य ने कंपाइलर तकनीक के महत्व पर जोर दिया क्योंकि यह प्रदर्शन से संबंधित था। बेंचमार्क अब कम्पाइलर कंपनियों द्वारा नियमित रूप से न केवल अपने स्वयं के बेंचमार्क स्कोर, बल्कि वास्तविक अनुप्रयोग प्रदर्शन में सुधार के लिए उपयोग किए जाते हैं।


सीपीयू जिनमें कई निष्पादन इकाइयाँ हैं - जैसे कि एक [[superscalar|सुपरस्केलर]] सीपीयू, एक [[वीएलआईडब्ल्यू]] सीपीयू, या एक पुन: उपयोग करने योग्य कंप्यूटिंग सीपीयू - सामान्यतः पर ट्रांजिस्टर से निर्मित एक या दो निष्पादन इकाइयों के साथ अनुक्रमिक सीपीयू की तुलना में धीमी घड़ी की दर होती है जो उतनी ही तेज होती हैं। फिर भी, कई निष्पादन इकाइयों वाले सीपीयू अक्सर वास्तविक दुनिया और बेंचमार्क कार्यों को कथित रूप से तेज उच्च-क्लॉक-रेट सीपीयू की तुलना में कम समय में पूरा करते हैं।
सीपीयू जिनमें कई निष्पादन इकाइयाँ हैं - जैसे कि एक [[superscalar|सुपरस्केलर]] सीपीयू, एक [[वीएलआईडब्ल्यू]] सीपीयू, या एक पुन: उपयोग करने योग्य कंप्यूटिंग सीपीयू - सामान्यतः पर ट्रांजिस्टर से निर्मित एक या दो निष्पादन इकाइयों के साथ अनुक्रमिक सीपीयू की तुलना में धीमी घड़ी की दर होती है जो उतनी ही तेज होती हैं। फिर भी, कई निष्पादन इकाइयों वाले सीपीयू अधिकांशतः वास्तविक लोक और बेंचमार्क कार्यों को कथित रूप से तेज उच्च-क्लॉक-रेट सीपीयू की तुलना में कम समय में पूरा करते हैं।


बड़ी संख्या में उपलब्ध बेंचमार्क को देखते हुए, एक निर्माता सामान्यतः पर कम से कम एक बेंचमार्क खोज सकता है जो यह दर्शाता है कि उसका प्रणालीकिसी अन्य प्रणालीसे अधिक अच्छा प्रदर्शन करेगा; अन्य प्रणालियों को एक अलग बेंचमार्क के साथ उत्कृष्टता के लिए दिखाया जा सकता है।
बड़ी संख्या में उपलब्ध बेंचमार्क को देखते हुए, एक निर्माता सामान्यतः पर कम से कम एक बेंचमार्क खोज सकता है जो यह दर्शाता है कि उसकी प्रणाली किसी अन्य प्रणाली से अधिक अच्छा प्रदर्शन करेगी; अन्य प्रणालियों को एक अलग बेंचमार्क के साथ उत्कृष्टता के लिए दिखाया जा सकता है।


निर्माता सामान्यतः पर केवल उन बेंचमार्क (या बेंचमार्क के पहलुओं) की रिपोर्ट करते हैं जो उनके उत्पादों को सर्वोत्तम प्रकाश में दिखाते हैं। वे बेंचमार्क के महत्व को गलत विधि से प्रस्तुत करने के लिए भी जाने जाते हैं, ताकि वे अपने उत्पादों को सर्वोत्तम संभव प्रकाश में दिखा सकें। एक साथ लिया गया, इन प्रथाओं को बेंच-मार्केटिंग कहा जाता है।
निर्माता सामान्यतः पर केवल उन बेंचमार्क (या बेंचमार्क के पहलुओं) की रिपोर्ट करते हैं जो उनके उत्पादों को सर्वोत्तम प्रकाश में दिखाते हैं। वे बेंचमार्क के महत्व को गलत विधि से प्रस्तुत करने के लिए भी जाने जाते हैं, ताकि वे अपने उत्पादों को सर्वोत्तम संभव प्रकाश में दिखा सकें। एक साथ लिया गया, इन प्रथाओं को बेंच-मार्केटिंग कहा जाता है।


आदर्श रूप से बेंचमार्क को केवल वास्तविक अनुप्रयोगों के लिए स्थानापन्न करना चाहिए यदि एप्लिकेशन अनुपलब्ध है, या किसी विशिष्ट प्रोसेसर या संगणक प्रणालीको पोर्ट करने के लिए बहुत कठिन या महंगा है। यदि प्रदर्शन महत्वपूर्ण है, तो एकमात्र बेंचमार्क जो आशय रखता है वह है लक्ष्य परिवेश का एप्लिकेशन सूट।
आदर्श रूप से बेंचमार्क को केवल वास्तविक अनुप्रयोगों के लिए स्थानापन्न करना चाहिए यदि एप्लिकेशन अनुपलब्ध है, या किसी विशिष्ट प्रोसेसर या संगणक प्रणाली को पोर्ट करने के लिए बहुत कठिन या महंगा है। यदि प्रदर्शन महत्वपूर्ण है, तो एकमात्र बेंचमार्क जो आशय रखता है वह है लक्ष्य परिवेश का एप्लिकेशन सूट।


== कार्यक्षमता ==
== कार्यक्षमता ==
बेंचमार्किंग सॉफ़्टवेयर की विशेषताओं में एक [[स्प्रेडशीट]] फ़ाइल में प्रदर्शन के दौरान रिकॉर्डिंग/[[डेटा निर्यात]] करना, आरेखण रेखा ग्राफ़ या रंग-कोडित टाइल जैसे विज़ुअलाइज़ेशन सम्मिलित हो सकते हैं, और प्रक्रिया को फिर से शुरू किए बिना फिर से शुरू करने में सक्षम होने के लिए रोकना सम्मिलित हो सकता है। सॉफ़्टवेयर में इसके उद्देश्य के लिए विशिष्ट अतिरिक्त विशेषताएं हो सकती हैं, उदाहरण के लिए, डिस्क बेंचमार्किंग सॉफ़्टवेयर वैकल्पिक रूप से पूर्ण डिस्क के बजाय डिस्क की निर्दिष्ट सीमा के भीतर डिस्क की गति को मापने में सक्षम हो सकता है, [[रैंडम एक्सेस]] पढ़ने की गति और [[विलंबता (इंजीनियरिंग)]] को मापता है, एक त्वरित स्कैन सुविधा है जो निर्दिष्ट अंतराल और आकारों के नमूनों के माध्यम से गति को मापती है, और एक [[ब्लॉक (डेटा संग्रहण)]] आकार निर्दिष्ट करने की अनुमति देती है, जिसका अर्थ है अनुरोध किए गए बाइट्स की संख्या प्रति पढ़ने का अनुरोध।<ref>Software: HDDScan, GNOME Disks</ref>
बेंचमार्किंग सॉफ़्टवेयर की विशेषताओं में एक [[स्प्रेडशीट]] फ़ाइल में प्रदर्शन के दौरान रिकॉर्डिंग/[[डेटा निर्यात]] करना, आरेखण रेखा ग्राफ़ या रंग-कोडित टाइल जैसे विज़ुअलाइज़ेशन सम्मिलित हो सकते हैं, और प्रक्रिया को फिर से आरंभ किए बिना फिर से आरंभ करने में सक्षम होने के लिए रोकना सम्मिलित हो सकता है। सॉफ़्टवेयर में इसके उद्देश्य के लिए विशिष्ट अतिरिक्त विशेषताएं हो सकती हैं, उदाहरण के लिए, डिस्क बेंचमार्किंग सॉफ़्टवेयर वैकल्पिक रूप से पूर्ण डिस्क की जगह डिस्क की निर्दिष्ट सीमा के भीतर डिस्क की गति को मापने में सक्षम हो सकता है, [[रैंडम एक्सेस]] पढ़ने की गति और [[विलंबता (इंजीनियरिंग)]] को मापता है, एक त्वरित स्कैन सुविधा है जो निर्दिष्ट अंतराल और आकारों के नमूनों के माध्यम से गति को मापती है, और एक [[ब्लॉक (डेटा संग्रहण)]] आकार निर्दिष्ट करने की अनुमति देती है, जिसका अर्थ है अनुरोध किए गए बाइट्स की संख्या प्रति पढ़ने का अनुरोध।<ref>Software: HDDScan, GNOME Disks</ref>




== चुनौतियां ==
== चुनौतियां ==
बेंचमार्किंग आसान नहीं है और पूर्वानुमानित, उपयोगी निष्कर्ष पर पहुंचने के लिए अक्सर कई पुनरावृत्त दौर सम्मिलित होते हैं। बेंचमार्किंग डेटा की व्याख्या भी असाधारण रूप से कठिन है। यहां सामान्य चुनौतियों की आंशिक सूची दी गई है:
बेंचमार्किंग सरल नहीं है और पूर्वानुमानित, उपयोगी निष्कर्ष पर पहुंचने के लिए अधिकांशतः कई पुनरावृत्त कालचक्र सम्मिलित होते हैं। बेंचमार्किंग डेटा की व्याख्या भी असाधारण रूप से कठिन है। यहां सामान्य चुनौतियों की आंशिक सूची दी गई है:


* विक्रेता अपने उत्पादों को विशेष रूप से उद्योग-मानक बेंचमार्क के लिए ट्यून करते हैं। नॉर्टन SysInfo (SI) के लिए ट्यून करना विशेष रूप से आसान है, क्योंकि यह मुख्य रूप से कई ऑपरेशनों की गति के प्रति पक्षपाती है। ऐसे परिणामों की व्याख्या करने में अत्यधिक सावधानी बरतें।
* विक्रेता अपने उत्पादों को विशेष रूप से उद्योग-मानक बेंचमार्क के लिए ट्यून करते हैं। नॉर्टन एसवाईएस इन्फो (SI) के लिए ट्यून करना विशेष रूप से सरल है, क्योंकि यह मुख्य रूप से कई ऑपरेशनों की गति के प्रति पक्षपाती है। ऐसे परिणामों की व्याख्या करने में अत्यधिक सावधानी बरतें।
* कुछ विक्रेताओं पर बेंचमार्क पर धोखा देने का आरोप लगाया गया है - ऐसे काम करना जो बहुत अधिक बेंचमार्क नंबर देते हैं, लेकिन वास्तविक संभावित वर्कलोड पर चीजों को और खराब कर देते हैं।<ref>{{cite news|url=http://www.pcworld.com/article/111012/nvidias_benchmark_tactics_reassessed.html|title=एनवीडिया की बेंचमार्क रणनीति का पुनर्मूल्यांकन किया गया|first=Tom|last=Krazit|year=2003|work=IDG News|access-date=2009-08-08|archive-url=https://web.archive.org/web/20110606032058/http://www.pcworld.com/article/111012/nvidias_benchmark_tactics_reassessed.html|archive-date=2011-06-06|url-status=dead}}</ref>
* कुछ विक्रेताओं पर बेंचमार्क पर भ्रमित करने का आरोप लगाया गया है - ऐसे काम करना जो बहुत अधिक बेंचमार्क नंबर देते हैं, लेकिन वास्तविक संभावित कार्यभार पर चीजों को और विकृत कर देते हैं।<ref>{{cite news|url=http://www.pcworld.com/article/111012/nvidias_benchmark_tactics_reassessed.html|title=एनवीडिया की बेंचमार्क रणनीति का पुनर्मूल्यांकन किया गया|first=Tom|last=Krazit|year=2003|work=IDG News|access-date=2009-08-08|archive-url=https://web.archive.org/web/20110606032058/http://www.pcworld.com/article/111012/nvidias_benchmark_tactics_reassessed.html|archive-date=2011-06-06|url-status=dead}}</ref>
* कई बेंचमार्क पूरी तरह से संगणक के प्रदर्शन की गति पर ध्यान केंद्रित करते हैं, संगणक प्रणालीकी अन्य महत्वपूर्ण विशेषताओं की उपेक्षा करते हैं, जैसे:
* कई बेंचमार्क पूरी तरह से संगणक के प्रदर्शन की गति पर ध्यान केंद्रित करते हैं, संगणक प्रणाली की अन्य महत्वपूर्ण विशेषताओं की उपेक्षा करते हैं, जैसे:
** सेवा के गुण, कच्चे प्रदर्शन को छोड़कर। सेवा के अमापित गुणों के उदाहरणों में सुरक्षा, उपलब्धता, विश्वसनीयता, निष्पादन अखंडता, सेवाक्षमता, मापनीयता (विशेष रूप से जल्दी और गैर-विघटनकारी रूप से जोड़ने या पुन: आवंटित करने की क्षमता) आदि सम्मिलित हैं। सेवा के इन गुणों के बीच और बीच में अक्सर वास्तविक व्यापार- अप्रिय होते हैं, और सभी बिजनेस कंप्यूटिंग में महत्वपूर्ण हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से एसीआईडी ​​​​संपत्ति परीक्षण, डेटाबेस मापनीयता नियम और सेवा स्तर की आवश्यकताओं को निर्दिष्ट करके इन चिंताओं को संबोधित करते हैं।
** सेवा के गुण, अशिक्षित प्रदर्शन को छोड़कर। सेवा के अमापित गुणों के उदाहरणों में सुरक्षा, उपलब्धता, विश्वसनीयता, निष्पादन अखंडता, सेवाक्षमता, मापनीयता (विशेष रूप से जल्दी और गैर-विघटनकारी रूप से जोड़ने या पुन: आवंटित करने की क्षमता) आदि सम्मिलित हैं। सेवा के इन गुणों के बीच और बीच में अधिकांशतः वास्तविक व्यापार- अप्रिय होते हैं, और सभी बिजनेस कंप्यूटिंग में महत्वपूर्ण हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से एसीआईडी ​​​​संपत्ति परीक्षण, डेटाबेस मापनीयता नियम और सेवा स्तर की आवश्यकताओं को निर्दिष्ट करके इन चिंताओं को संबोधित करते हैं।
** सामान्य तौर पर, बेंचमार्क स्वामित्व की कुल लागत का आकलन नहीं करते हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से इस चिंता को निर्दिष्ट करके संबोधित करते हैं कि एक कच्चे प्रदर्शन मीट्रिक के अलावा एक मूल्य / प्रदर्शन मीट्रिक को स्वामित्व सूत्र की सरलीकृत कुल लागत का उपयोग करके रिपोर्ट किया जाना चाहिए। हालांकि, लागत अनिवार्य रूप से केवल आंशिक है, और विक्रेताओं को बेंचमार्क के लिए विशेष रूप से (और केवल) कीमत के लिए जाना जाता है, कृत्रिम रूप से कम मूल्य के साथ एक अत्यधिक विशिष्ट बेंचमार्क विशेष कॉन्फ़िगरेशन तैयार करना। बेंचमार्क पैकेज से थोड़ा विचलन भी वास्तविक दुनिया के अनुभव में बहुत अधिक मूल्य देता है।
** सामान्यतः, बेंचमार्क स्वामित्व की कुल लागत का आकलन नहीं करते हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से इस चिंता को निर्दिष्ट करके संबोधित करते हैं कि एक अप्रशिक्षित प्रदर्शन मीट्रिक के अतिरिक्त एक मूल्य / प्रदर्शन मीट्रिक को स्वामित्व सूत्र की सरलीकृत कुल लागत का उपयोग करके रिपोर्ट किया जाना चाहिए। हालांकि, लागत अनिवार्य रूप से केवल आंशिक है, और विक्रेताओं को बेंचमार्क के लिए विशेष रूप से (और केवल) मूल्य के लिए जाना जाता है, कृत्रिम रूप से कम मूल्य के साथ एक अत्यधिक विशिष्ट बेंचमार्क विशेष कॉन्फ़िगरेशन तैयार करना। बेंचमार्क पैकेज से थोड़ा विचलन भी वास्तविक लोक के अनुभव में बहुत अधिक मूल्य देता है।
** सुविधाओं का बोझ (अंतरिक्ष, बिजली और शीतलन)। जब अधिक शक्ति का उपयोग किया जाता है, तो एक पोर्टेबल प्रणालीमें कम बैटरी जीवन होगा और अधिक बार रिचार्जिंग की आवश्यकता होगी। एक सर्वर जो अधिक बिजली और/या जगह की खपत करता है, वह कूलिंग सीमाओं सहित मौजूदा डेटा सेंटर संसाधन बाधाओं के भीतर फिट होने में सक्षम नहीं हो सकता है। वास्तविक व्यापार-नापसंद हैं क्योंकि अधिकांश अर्धचालकों को तेजी से स्विच करने के लिए अधिक शक्ति की आवश्यकता होती है। [[प्रति वाट प्रदर्शन]] भी देखें।
** सुविधाओं का भार (अंतरिक्ष, बिजली और शीतलन)। जब अधिक शक्ति का उपयोग किया जाता है, तो एक सुवाहय़ प्रणाली में कम बैटरी जीवन होगा और अधिक बार रिचार्जिंग की आवश्यकता होगी। एक सर्वर जो अधिक बिजली और/या जगह की खपत करता है, वह कूलिंग सीमाओं सहित मौजूदा डेटा सेंटर संसाधन बाधाओं के भीतर फिट होने में सक्षम नहीं हो सकता है। वास्तविक व्यापार-नापसंद हैं क्योंकि अधिकांश अर्धचालकों को तेजी से स्विच करने के लिए अधिक शक्ति की आवश्यकता होती है। [[प्रति वाट प्रदर्शन]] भी देखें।
** कुछ एम्बेडेड प्रणालीमें, जहां मेमोरी एक महत्वपूर्ण लागत होती है, अधिक अच्छा [[कोड घनत्व]] लागत को महत्वपूर्ण रूप से कम कर सकता है।
** कुछ एम्बेडेड प्रणाली में, जहां मेमोरी एक महत्वपूर्ण लागत होती है, अधिक अच्छा [[कोड घनत्व]] लागत को महत्वपूर्ण रूप से कम कर सकता है।
* विक्रेता बेंचमार्क विकास, परीक्षण और [[आपदा बहाली]] कंप्यूटिंग क्षमता के लिए आवश्यकताओं की उपेक्षा करते हैं। विक्रेता केवल यह रिपोर्ट करना पसंद करते हैं कि उनके प्रारंभिक अधिग्रहण मूल्य को यथासंभव कम दिखाने के लिए उत्पादन क्षमता के लिए क्या आवश्यक हो सकता है।
* विक्रेता बेंचमार्क विकास, परीक्षण और [[आपदा बहाली|आपदा पुननिर्युक्ति]] कंप्यूटिंग क्षमता के लिए आवश्यकताओं की उपेक्षा करते हैं। विक्रेता केवल यह रिपोर्ट करना पसंद करते हैं कि उनके प्रारंभिक अधिग्रहण मूल्य को यथासंभव कम दिखाने के लिए उत्पादन क्षमता के लिए क्या आवश्यक हो सकता है।
* बेंचमार्क को व्यापक रूप से वितरित सर्वरों को अपनाने में परेशानी हो रही है, विशेष रूप से नेटवर्क टोपोलॉजी के लिए अतिरिक्त संवेदनशीलता वाले सर्वर। [[ग्रिड कंप्यूटिंग]] का उद्भव, विशेष रूप से, बेंचमार्किंग को जटिल बनाता है क्योंकि कुछ वर्कलोड ग्रिड के अनुकूल होते हैं, जबकि अन्य नहीं होते हैं।
* बेंचमार्क को व्यापक रूप से वितरित सर्वरों को अपनाने में परेशानी हो रही है, विशेष रूप से नेटवर्क टोपोलॉजी के लिए अतिरिक्त संवेदनशीलता वाले सर्वर। [[ग्रिड कंप्यूटिंग]] का उद्भव, विशेष रूप से, बेंचमार्किंग को जटिल बनाता है क्योंकि कुछ कार्यभार ग्रिड के अनुकूल होते हैं, जबकि अन्य नहीं होते हैं।
* बेंचमार्क के सुझाव से उपयोगकर्ताओं के प्रदर्शन के बारे में बहुत अलग धारणाएं हो सकती हैं। विशेष रूप से, उपयोगकर्ता पूर्वानुमेयता की सराहना करते हैं - सर्वर जो हमेशा सेवा स्तर के समझौतों को पूरा करते हैं या उससे अधिक होते हैं। बेंचमार्क सबसे विकृत स्थिति प्रतिक्रिया समय (वास्तविक समय कंप्यूटिंग परिप्रेक्ष्य), या निम्न मानक विचलन (उपयोगकर्ता परिप्रेक्ष्य) के बजाय माध्य स्कोर (आईटी परिप्रेक्ष्य) पर बल देते हैं।
* बेंचमार्क के सुझाव से उपयोगकर्ताओं के प्रदर्शन के बारे में बहुत अलग धारणाएं हो सकती हैं। विशेष रूप से, उपयोगकर्ता पूर्वानुमेयता की सराहना करते हैं - सर्वर जो सदैव सेवा स्तर के समझौतों को पूरा करते हैं या उससे अधिक होते हैं। बेंचमार्क सबसे विकृत स्थिति प्रतिक्रिया समय (वास्तविक समय कंप्यूटिंग परिप्रेक्ष्य), या निम्न मानक विचलन (उपयोगकर्ता परिप्रेक्ष्य) की जगह माध्य स्कोर (आईटी परिप्रेक्ष्य) पर बल देते हैं।
* कई सर्वर स्थापत्यनाटकीय रूप से उपयोग के उच्च (लगभग 100%) स्तर पर गिरावट करते हैं - एक चट्टान से गिर जाते हैं - और बेंचमार्क को (लेकिन अक्सर नहीं) उस कारक को ध्यान में रखना चाहिए। विक्रेता, विशेष रूप से, लगभग 80% उपयोग पर निरंतर सर्वर बेंचमार्क प्रकाशित करते हैं - एक अवास्तविक स्थिति - और उस स्तर से परे मांग बढ़ने पर समग्र प्रणाली का क्या होता है, इसका दस्तावेजीकरण नहीं करते हैं।
* कई सर्वर स्थापत्य नाटकीय रूप से उपयोग के उच्च (लगभग 100%) स्तर पर गिरावट करते हैं - एक ऊंचाई से गिर जाते हैं - और बेंचमार्क को (लेकिन अधिकांशतः नहीं) उस कारक को ध्यान में रखना चाहिए। विक्रेता, विशेष रूप से, लगभग 80% उपयोग पर निरंतर सर्वर बेंचमार्क प्रकाशित करते हैं - एक अवास्तविक स्थिति - और उस स्तर से परे मांग बढ़ने पर समग्र प्रणाली का क्या होता है, इसका अभिलेखीकरण नहीं करते हैं।
* कई बेंचमार्क अन्य अनुप्रयोगों के बहिष्करण के लिए एक आवेदन, या यहां तक ​​कि एक आवेदन स्तरीय पर ध्यान केंद्रित करते हैं। अधिकांश डेटा केंद्र अब विभिन्न कारणों से बड़े पैमाने पर [[हार्डवेयर वर्चुअलाइजेशन]] को लागू कर रहे हैं, और बेंचमार्किंग अभी भी उस वास्तविकता को पकड़ रही है जहां समेकित सर्वर पर कई एप्लिकेशन और एप्लिकेशन टियर समवर्ती रूप से चल रहे हैं।
* कई बेंचमार्क अन्य अनुप्रयोगों के बहिष्करण के लिए एक आवेदन, या यहां तक ​​कि एक आवेदन स्तर पर ध्यान केंद्रित करते हैं। अधिकांश डेटा केंद्र अब विभिन्न कारणों से बड़े स्तर पर [[हार्डवेयर वर्चुअलाइजेशन]] को लागू कर रहे हैं, और बेंचमार्किंग अभी भी उस वास्तविकता को पकड़ रही है जहां समेकित सर्वर पर कई एप्लिकेशन और एप्लिकेशन टियर समवर्ती रूप से चल रहे हैं।
* कुछ (यदि कोई हैं) उच्च गुणवत्ता वाले बेंचमार्क हैं जो [[बैच कंप्यूटिंग]], विशेष रूप से उच्च मात्रा समवर्ती बैच और [[रीयल-टाइम कंप्यूटिंग]] के प्रदर्शन को मापने में मदद करते हैं। बैच कंप्यूटिंग लंबे समय से चल रहे कार्यों को सही ढंग से पूरा करने की भविष्यवाणी पर अधिक ध्यान केंद्रित करती है समय सीमा से पहले, जैसे महीने का अंत या वित्तीय वर्ष का अंत। कई महत्वपूर्ण मुख्य व्यवसाय प्रक्रियाएं बैच-उन्मुख हैं और शायद हमेशा रहेंगी, जैसे कि बिलिंग।
* कुछ (यदि कोई हैं) उच्च गुणवत्ता वाले बेंचमार्क हैं जो [[बैच कंप्यूटिंग]], विशेष रूप से उच्च मात्रा समवर्ती बैच और [[रीयल-टाइम कंप्यूटिंग]] के प्रदर्शन को मापने में सहायता करते हैं। बैच कंप्यूटिंग लंबे समय से चल रहे कार्यों को सही ढंग से पूरा करने की भविष्यवाणी पर अधिक ध्यान केंद्रित करती है समय सीमा से पहले, जैसे महीने का अंत या वित्तीय वर्ष का अंत। कई महत्वपूर्ण मुख्य व्यवसाय प्रक्रियाएं बैच-उन्मुख हैं और संभवतः सदैव रहेंगी, जैसे कि बिलिंग।
* बेंचमार्किंग संस्थान अक्सर बुनियादी वैज्ञानिक पद्धति की अवहेलना करते हैं या उसका पालन नहीं करते हैं। इसमें सम्मिलित है, लेकिन यह सीमित नहीं है: छोटा नमूना आकार, चर नियंत्रण की कमी, और परिणामों की सीमित पुनरावृत्ति।<ref>{{cite web|url=http://donutey.com/hardwaretesting.php|title=हार्डवेयर परीक्षण और बेंचमार्किंग पद्धति|year=2006|access-date=2008-02-24|first=Kevin|last=Castor|url-status=dead|archive-url=https://web.archive.org/web/20080205031133/http://www.donutey.com/hardwaretesting.php|archive-date=2008-02-05}}</ref>
* बेंचमार्किंग संस्थान अधिकांशतः बुनियादी वैज्ञानिक पद्धति की अवहेलना करते हैं या उसका पालन नहीं करते हैं। इसमें सम्मिलित है, लेकिन यह सीमित नहीं है: लघु आदर्श परिमाण, अस्निथिर नियंत्रण की कमी, और परिणामों की सीमित पुनरावृत्ति।<ref>{{cite web|url=http://donutey.com/hardwaretesting.php|title=हार्डवेयर परीक्षण और बेंचमार्किंग पद्धति|year=2006|access-date=2008-02-24|first=Kevin|last=Castor|url-status=dead|archive-url=https://web.archive.org/web/20080205031133/http://www.donutey.com/hardwaretesting.php|archive-date=2008-02-05}}</ref>




Line 60: Line 56:
# पुनरावर्तनीयता: बेंचमार्क परिणामों को सत्यापित किया जा सकता है।
# पुनरावर्तनीयता: बेंचमार्क परिणामों को सत्यापित किया जा सकता है।
# लागत-प्रभावशीलता: बेंचमार्क परीक्षण सस्ता हैं।
# लागत-प्रभावशीलता: बेंचमार्क परीक्षण सस्ता हैं।
# मापनीयता: बेंचमार्क परीक्षणों को कम से लेकर उच्च तक संसाधनों की एक श्रृंखला रखने वाले प्रणालीमें काम करना चाहिए।
# मापनीयता: बेंचमार्क परीक्षणों को कम से लेकर उच्च तक संसाधनों की एक श्रृंखला रखने वाले प्रणाली में काम करना चाहिए।
# पारदर्शिता: बेंचमार्क मेट्रिक्स को समझना आसान होना चाहिए।
# पारदर्शिता: बेंचमार्क मेट्रिक्स को समझना सरल होना चाहिए।


== बेंचमार्क के प्रकार ==
== बेंचमार्क के प्रकार ==
#असली कार्यक्रम
#विशुद्ध कार्यक्रम
#*वर्ड प्रोसेसिंग सॉफ़्टवेयर
#*वर्ड प्रोसेसिंग सॉफ़्टवेयर
#* सीएडी का टूल सॉफ्टवेयर
#* सीएडी का टूल सॉफ्टवेयर
Line 70: Line 66:
#*[[वीडियो गेम]]
#*[[वीडियो गेम]]
#*कंपाइलर एक बड़ी परियोजना का निर्माण करते हैं, उदाहरण के लिए [[क्रोमियम (ब्राउज़र)]] या [[लिनक्स कर्नेल]]
#*कंपाइलर एक बड़ी परियोजना का निर्माण करते हैं, उदाहरण के लिए [[क्रोमियम (ब्राउज़र)]] या [[लिनक्स कर्नेल]]
#कंपोनेंट बेंचमार्क / माइक्रोबेंचमार्क
#कंपोनेंट बेंचमार्क / माइक्रो बेंचमार्क
#*कोर रूटीन में अपेक्षाकृत छोटा और विशिष्ट कोड होता है।
#*कोर रूटीन में अपेक्षाकृत छोटा और विशिष्ट कोड होता है।
#*संगणक के बुनियादी घटकों के प्रदर्शन को मापें<ref>{{cite journal|url=http://www.da.isy.liu.se/pubs/ehliar/ehliar-ssocc2004.pdf|title= बेंचमार्किंग नेटवर्क प्रोसेसर|
#*संगणक के बुनियादी घटकों के प्रदर्शन को मापें<ref>{{cite journal|url=http://www.da.isy.liu.se/pubs/ehliar/ehliar-ssocc2004.pdf|title= बेंचमार्किंग नेटवर्क प्रोसेसर|
Line 77: Line 73:
#कर्नेल
#कर्नेल
#*कुंजी कोड सम्मिलित हैं
#*कुंजी कोड सम्मिलित हैं
#*आम तौर पर वास्तविक कार्यक्रम से सार निकाला जाता है
#*सामान्यतः वास्तविक कार्यक्रम से सार निकाला जाता है
#*लोकप्रिय कर्नेल: लिवरमोर लूप
#*लोकप्रिय कर्नेल: लिवरमोर लूप
#*लिनपैक बेंचमार्क (फोरट्रान भाषा में लिखित बुनियादी रैखिक बीजगणित सबरूटीन सम्मिलित है)
#*लिनपैक बेंचमार्क (फोरट्रान भाषा में लिखित बुनियादी रैखिक बीजगणित सबरूटीन सम्मिलित है)
#*परिणाम Mflop/s में दर्शाए जाते हैं।
#*परिणाम एमफ्लॉप/एस में दर्शाए जाते हैं।
# सिंथेटिक बेंचमार्क
# सिंथेटिक बेंचमार्क
#*सिंथेटिक बेंचमार्क प्रोग्रामिंग के लिए प्रक्रिया:
#*सिंथेटिक बेंचमार्क प्रोग्रामिंग के लिए प्रक्रिया:
Line 89: Line 85:
#**[[वेटस्टोन (बेंचमार्क)]]
#**[[वेटस्टोन (बेंचमार्क)]]
#**[[थ्रिस्टोन]]
#**[[थ्रिस्टोन]]
#*ये पहले सामान्य प्रयोजन उद्योग मानक संगणक बेंचमार्क थे। जरूरी नहीं कि वे आधुनिक पाइप लाइन वाले संगणकों पर उच्च अंक प्राप्त करें।
#*ये पहले सामान्य प्रयोजन उद्योग स्तरीय संगणक बेंचमार्क थे। जरूरी नहीं कि वे आधुनिक पाइप लाइन वाले संगणकों पर उच्च अंक प्राप्त करें।
# आई/ओ बेंचमार्क
# आई/ओ बेंचमार्क
# डेटाबेस बेंचमार्क
# डेटाबेस बेंचमार्क
Line 99: Line 95:


=== उद्योग मानक (लेखापरीक्षित और सत्यापन योग्य) ===
=== उद्योग मानक (लेखापरीक्षित और सत्यापन योग्य) ===
* [[BAPCo कंसोर्टियम]] | बिजनेस एप्लीकेशन परफॉर्मेंस कॉर्पोरेशन (BAPCo)
* बीएपीकोर्प [[BAPCo कंसोर्टियम|कंसोर्टियम]] | बिजनेस एप्लीकेशन परफॉर्मेंस कॉर्पोरेशन (बीएपीकोर्प)
* [[EEMBC]] | एंबेडेड माइक्रोप्रोसेसर बेंचमार्क कंसोर्टियम (EEMBC)
* ईईएमबीसी | एंबेडेड माइक्रोप्रोसेसर बेंचमार्क कंसोर्टियम (ईईएमबीसी)
* [[मानक प्रदर्शन मूल्यांकन निगम]] (SPEC), विशेष रूप से उनके [[SPECint]] और [[SPECfp]]
* [[मानक प्रदर्शन मूल्यांकन निगम]] (SPEC), विशेष रूप से उनके एसपीईसी[[SPECint|इनत]] और एसपीईसी[[SPECfp|ऍफ़पी]]
* लेनदेन प्रसंस्करण प्रदर्शन परिषद (TPC): DBMS बेंचमार्क<ref>{{cite web |url=http://www.tpc.org/information/about/history.asp |title=टीपीसी का इतिहास और अवलोकन|author=Transaction Processing Performance Council |work=TPC |publisher=[[Transaction Processing Performance Council]] |date=February 1998 |access-date=2018-07-02 }}</ref>
* लेनदेन प्रसंस्करण प्रदर्शन परिषद (टीपीसी): डीबीएमएस बेंचमार्क<ref>{{cite web |url=http://www.tpc.org/information/about/history.asp |title=टीपीसी का इतिहास और अवलोकन|author=Transaction Processing Performance Council |work=TPC |publisher=[[Transaction Processing Performance Council]] |date=February 1998 |access-date=2018-07-02 }}</ref>




=== ओपन सोर्स बेंचमार्क ===
=== ओपन सोर्स बेंचमार्क ===
* [[एआईएम मल्टीयूजर बेंचमार्क]] - परीक्षणों की एक सूची से बना है जिसे 'लोड मिक्स' बनाने के लिए मिश्रित किया जा सकता है जो किसी भी यूनिक्स-प्रकार के ओएस पर एक विशिष्ट संगणक फ़ंक्शन का अनुकरण करेगा।
* [[एआईएम मल्टीयूजर बेंचमार्क]] - परीक्षणों की एक सूची से बना है जिसे 'लोड मिक्स' बनाने के लिए मिश्रित किया जा सकता है जो किसी भी यूनिक्स-प्रकार के ओएस पर एक विशिष्ट संगणक फ़ंक्शन का अनुकरण करेगा।
* [[बोनी++]] ++ - फाइलप्रणालीऔर हार्ड ड्राइव बेंचमार्क
* [[बोनी++]] ++ - फाइल प्रणाली और हार्ड ड्राइव बेंचमार्क
* [[बीआरएल-सीएडी]] - मल्टीथ्रेडेड रे ट्रेसिंग परफॉर्मेंस पर आधारित क्रॉस-प्लेटफॉर्म आर्किटेक्चर-एग्नोस्टिक बेंचमार्क सूट; एक VAX-11/780 के खिलाफ आधारभूत; और सापेक्ष CPU प्रदर्शन, संकलक अंतर, अनुकूलन स्तर, सुसंगतता, वास्तुकला अंतर और ऑपरेटिंग प्रणालीअंतर के मूल्यांकन के लिए 1984 से उपयोग किया जाता है।
* [[बीआरएल-सीएडी]] - मल्टीथ्रेडेड रे ट्रेसिंग परफॉर्मेंस पर आधारित क्रॉस-प्लेटफॉर्म आर्किटेक्चर-एग्नोस्टिक बेंचमार्क सूट; एक VAX-11/780 के विरुद्ध आधारभूत; और सापेक्ष सीपीयू प्रदर्शन, संकलक अंतर, अनुकूलन स्तर, सुसंगतता, वास्तुकला अंतर और ऑपरेटिंग प्रणाली अंतर के मूल्यांकन के लिए 1984 से उपयोग किया जाता है।
* [[सामूहिक ज्ञान (सॉफ्टवेयर)]] - स्वयंसेवकों द्वारा प्रदान किए गए हार्डवेयर में क्राउडसोर्स बेंचमार्किंग और उपयोगकर्ता वर्कलोड (जैसे गहन शिक्षा) के अनुकूलन के लिए अनुकूलन योग्य, क्रॉस-प्लेटफ़ॉर्म फ्रेमवर्क
* [[सामूहिक ज्ञान (सॉफ्टवेयर)]] - स्वयंसेवकों द्वारा प्रदान किए गए हार्डवेयर में क्राउडसोर्स बेंचमार्किंग और उपयोगकर्ता कार्यभार (जैसे गहन शिक्षा) के अनुकूलन के लिए अनुकूलन योग्य, क्रॉस-प्लेटफ़ॉर्म फ्रेमवर्क
* [[Coremark]] - एंबेडेड कंप्यूटिंग बेंचमार्क
* [[Coremark|कोरमार्क]] - एंबेडेड कंप्यूटिंग बेंचमार्क
* [[DEISA बेंचमार्क सूट]] - वैज्ञानिक HPC एप्लिकेशन बेंचमार्क
* डीईआईएसए [[DEISA बेंचमार्क सूट|बेंचमार्क सूट]] - वैज्ञानिक HPC एप्लिकेशन बेंचमार्क
* ध्रिस्टोन - पूर्णांक अंकगणितीय प्रदर्शन, अक्सर DMIPS में रिपोर्ट किया जाता है (ध्रिस्टोन लाखों [[निर्देश प्रति सेकंड]])
* ध्रिस्टोन - पूर्णांक अंकगणितीय प्रदर्शन, अधिकांशतः डीआईएमपीएस में रिपोर्ट किया जाता है (ध्रिस्टोन लाखों [[निर्देश प्रति सेकंड]])
* [[DiskSpd]] - स्टोरेज बेंचमार्किंग के लिए [[कमांड लाइन]] टूल जो [[कम्प्यूटर फाइल]], [[डिस्क विभाजन]] या [[कंप्यूटर डेटा भंडारण|संगणक डेटा भंडारण]] के खिलाफ कई तरह के अनुरोध उत्पन्न करता है।
* [[DiskSpd|डिस्कएसपीडी]] - स्टोरेज बेंचमार्किंग के लिए [[कमांड लाइन]] टूल जो [[कम्प्यूटर फाइल|संगणक फाइल]], [[डिस्क विभाजन]] या [[कंप्यूटर डेटा भंडारण|संगणक डेटा भंडारण]] के विरुद्ध कई तरह के अनुरोध उत्पन्न करता है।
* [[फोरस्टोन्स]] - एक पूर्णांक बेंचमार्क
* [[फोरस्टोन्स]] - एक पूर्णांक बेंचमार्क
* [[पदानुक्रमित एकीकरण]] - समग्र सीपीयू और मेमोरी प्रदर्शन को मापने के लिए डिज़ाइन किया गया
* [[पदानुक्रमित एकीकरण]] - समग्र सीपीयू और मेमोरी प्रदर्शन को मापने के लिए अभिकल्पित किया गया
* [[थोड़ा सा]] - एकल और संकुल प्रणालियों के लिए I/O सबप्रणालीमापन और अभिलक्षणन उपकरण।
* [[थोड़ा सा|लोमीटर]] - एकल और संकुल प्रणालियों के लिए I/O सबप्रणाली मापन और अभिलक्षणन उपकरण।
* [[IOzone]] - फाइलप्रणालीबेंचमार्क
* [[IOzone|आईओ जोन]] - फाइल प्रणाली बेंचमार्क
* [[लिनपैक बेंचमार्क]] - पारंपरिक रूप से [[फ्लॉप]] को मापने के लिए उपयोग किया जाता है
* [[लिनपैक बेंचमार्क]] - पारंपरिक रूप से [[फ्लॉप]] को मापने के लिए उपयोग किया जाता है
* [[लिवरमोर लूप्स]]
* [[लिवरमोर लूप्स]]
* [[एनएएस बेंचमार्क]]
* [[एनएएस बेंचमार्क]]
* [[NBench]] - इंटीजर अंकगणित, मेमोरी ऑपरेशंस और फ्लोटिंग-पॉइंट अंकगणित के प्रदर्शन को मापने वाला सिंथेटिक बेंचमार्क सूट
* [[NBench|एनबेंच]] - इंटीजर अंकगणित, मेमोरी ऑपरेशंस और फ्लोटिंग-पॉइंट अंकगणित के प्रदर्शन को मापने वाला सिंथेटिक बेंचमार्क सूट
* [[पाल (सॉफ्टवेयर)]] - वास्तविक समय भौतिकी इंजन के लिए एक बेंचमार्क
* [[पाल (सॉफ्टवेयर)|पीएएल (सॉफ्टवेयर)]] - वास्तविक समय भौतिकी इंजन के लिए एक बेंचमार्क
* [[PerfKitBenchmarker]] - क्लाउड पेशकशों को मापने और तुलना करने के लिए बेंचमार्क का एक सेट।
* [[PerfKitBenchmarker|पेर्फकिट बेंचमार्कर]] - क्लाउड प्रस्तुतियो को मापने और तुलना करने के लिए बेंचमार्क का एक सेट।
* [[Phoronix Test Suite]] – Linux, OpenSolaris, FreeBSD, OSX और Windows के लिए ओपन-सोर्स क्रॉस-प्लेटफ़ॉर्म बेंचमार्किंग सूट। इसमें निष्पादन को आसान बनाने के लिए इस पृष्ठ पर सम्मिलित कई अन्य बेंचमार्क सम्मिलित हैं।
* फोरोनिक्स टेस्ट सूट – लिनक्स, ओपनसोलारिस, फ्रीबीएसडी, ओएसएक्स और विंडोज़ के लिए ओपन-सोर्स क्रॉस-प्लेटफ़ॉर्म बेंचमार्किंग सूट। इसमें निष्पादन को सरल बनाने के लिए इस पृष्ठ पर सम्मिलित कई अन्य बेंचमार्क सम्मिलित हैं।
* पीओवी-रे - 3डी रेंडर
* पीओवी-रे - 3डी रेंडर
* [[तक (फ़ंक्शन)]] - एक साधारण बेंचमार्क जिसका उपयोग पुनरावर्तन प्रदर्शन का परीक्षण करने के लिए किया जाता है
* [[तक (फ़ंक्शन)]] - एक साधारण बेंचमार्क जिसका उपयोग पुनरावर्तन प्रदर्शन का परीक्षण करने के लिए किया जाता है
Line 130: Line 126:
* [[टीपीओएक्स]] - एक्सएमएल डेटाबेस के लिए एक एक्सएमएल ट्रांजैक्शन प्रोसेसिंग बेंचमार्क
* [[टीपीओएक्स]] - एक्सएमएल डेटाबेस के लिए एक एक्सएमएल ट्रांजैक्शन प्रोसेसिंग बेंचमार्क
* [[प्रदर्शन की वैक्स इकाई]] (प्रदर्शन की वैक्स इकाई) - जिसे प्रति सेकंड वैक्स निर्देश भी कहा जाता है
* [[प्रदर्शन की वैक्स इकाई]] (प्रदर्शन की वैक्स इकाई) - जिसे प्रति सेकंड वैक्स निर्देश भी कहा जाता है
* वेटस्टोन (बेंचमार्क) - फ्लोटिंग-पॉइंट अंकगणितीय प्रदर्शन, अक्सर लाखों वेटस्टोन निर्देशों प्रति सेकंड (MWIPS) में रिपोर्ट किया जाता है।
* वेटस्टोन (बेंचमार्क) - फ्लोटिंग-पॉइंट अंकगणितीय प्रदर्शन, अधिकांशतः लाखों वेटस्टोन निर्देशों प्रति सेकंड (MWIPS) में रिपोर्ट किया जाता है।


=== माइक्रोसॉफ्ट विंडोज बेंचमार्क ===
=== माइक्रोसॉफ्ट विंडोज बेंचमार्क ===
* BAPCo कंसोर्टियम: MobileMark, SYSmark, WebMark
* बीएपीकोर्प कंसोर्टियम: मोबाइलमार्क, एस वाईमार्क, वेबमार्क
* [[क्रिस्टलडिस्कमार्क]]
* [[क्रिस्टलडिस्कमार्क]]
* [[फ्यूचरमार्क]]: [[3DMark]], [[PCMark]]
* [[फ्यूचरमार्क|फ्यूचर मार्क]]: [[3DMark|3Dमार्क]], [[PCMark|पी सी मार्क]]
* [[स्वर्ग बेंचमार्क]]
* [[स्वर्ग बेंचमार्क|हेवन बेंचमार्क]]
* [[PiFast]]
* [[PiFast|पीआईफ़ास्ट]]
* [[सुपरपोजिशन बेंचमार्क]]
* [[सुपरपोजिशन बेंचमार्क]]
* [[सुपर आई.पी]]आई
* [[सुपर आई.पी]]आई
* [[सुपरप्राइम]]
* [[सुपरप्राइम]]
* [[घाटी बेंचमार्क]]
* [[घाटी बेंचमार्क|वैली बेंचमार्क]]
* वेटस्टोन (बेंचमार्क)
* वेटस्टोन (बेंचमार्क)
* [[विंडोज सिस्टम आकलन उपकरण|विंडोज प्रणालीआकलन उपकरण]], विंडोज विस्टा और बाद में रिलीज के साथ सम्मिलित है, उपभोक्ताओं को अपने प्रणालीको आसानी से रेट करने के लिए एक इंडेक्स प्रदान करता है
* [[विंडोज सिस्टम आकलन उपकरण|विंडोज प्रणाली आकलन उपकरण]], विंडोज विस्टा और बाद में रिलीज के साथ सम्मिलित है, उपभोक्ताओं को अपने प्रणाली को सरली से रेट करने के लिए एक सूचकांक प्रदान करता है
* [[वर्ल्डबेंच]] (बंद)
* [[वर्ल्डबेंच]] (बंद)


=== अन्य ===
=== अन्य ===
* [[AnTuTu]] - सामान्यतः पर फोन और एआरएम-आधारित उपकरणों पर उपयोग किया जाता है।
* [[AnTuTu|अन तू तू]] - सामान्यतः पर फोन और एआरएम-आधारित उपकरणों पर उपयोग किया जाता है।
* [[गीकबेंच]] - विंडोज, लिनक्स, मैकओएस, आईओएस और एंड्रॉइड के लिए एक क्रॉस-प्लेटफॉर्म बेंचमार्क।
* [[गीकबेंच]] - विंडोज, लिनक्स, मैकओएस, आईओएस और एंड्रॉइड के लिए एक क्रॉस-प्लेटफॉर्म बेंचमार्क।
* iCOMP (इंडेक्स) - इंटेल द्वारा प्रकाशित इंटेल तुलनात्मक माइक्रोप्रोसेसर प्रदर्शन
* आईकॉम्प (इंडेक्स) - इंटेल द्वारा प्रकाशित इंटेल तुलनात्मक माइक्रोप्रोसेसर प्रदर्शन
* [[खोर्नरस्टोन]]
* [[खोर्नरस्टोन]]
* प्रदर्शन रेटिंग - सामान्यतः पर प्रतिस्पर्धी उत्पादों की तुलना में सापेक्ष प्रदर्शन को दर्शाने के लिए एएमडी और सिरिक्स द्वारा उपयोग की जाने वाली मॉडलिंग योजना।
* प्रदर्शन रेटिंग - सामान्यतः पर प्रतिस्पर्धी उत्पादों की तुलना में सापेक्ष प्रदर्शन को दर्शाने के लिए एएमडी और सिरिक्स द्वारा उपयोग की जाने वाली मॉडलिंग योजना।
Line 161: Line 157:
* [[दोषरहित संपीड़न बेंचमार्क]]
* [[दोषरहित संपीड़न बेंचमार्क]]
* [[प्रदर्शन काउंटर मॉनिटर]]
* [[प्रदर्शन काउंटर मॉनिटर]]
* [[परीक्षण सूट]]{{spaced en dash}} परीक्षण मामलों का एक संग्रह यह दिखाने के उद्देश्य से है कि एक सॉफ्टवेयर प्रोग्राम में व्यवहार के कुछ निर्दिष्ट सेट हैं
* [[परीक्षण सूट]]{{spaced en dash}} परीक्षण स्थितियों का एक संग्रह यह दिखाने के उद्देश्य से है कि एक सॉफ्टवेयर प्रोग्राम में व्यवहार के कुछ निर्दिष्ट सेट हैं


== संदर्भ ==
== संदर्भ ==
Line 176: Line 172:
* {{Cite journal |last1=Lewis |first1=Byron C. |last2=Crews |first2=Albert E. |date=1985 |title=The Evolution of Benchmarking as a Computer Performance Evaluation Technique |url=https://www.jstor.org/stable/249270 |journal=MIS Quarterly |volume=9 |issue=1 |pages=7–16 |doi=10.2307/249270 |jstor=249270 |issn=0276-7783 |url-access=registration}} The dates: 1962-1976
* {{Cite journal |last1=Lewis |first1=Byron C. |last2=Crews |first2=Albert E. |date=1985 |title=The Evolution of Benchmarking as a Computer Performance Evaluation Technique |url=https://www.jstor.org/stable/249270 |journal=MIS Quarterly |volume=9 |issue=1 |pages=7–16 |doi=10.2307/249270 |jstor=249270 |issn=0276-7783 |url-access=registration}} The dates: 1962-1976


{{commons category|Benchmarks (computing)}}
[[Category:Articles with hatnote templates targeting a nonexistent page|Benchmark (Computing)]]
 
[[Category:Articles with short description|Benchmark (Computing)]]
 
[[Category:CS1 errors|Benchmark (Computing)]]
{{Authority control}}
[[Category:CS1 français-language sources (fr)|Benchmark (Computing)]]
{{Software testing}}
[[Category:CS1 maint|Benchmark (Computing)]]
{{Benchmark}}
[[Category:CS1 Ελληνικά-language sources (el)|Benchmark (Computing)]]
 
[[Category:Citation Style 1 templates|W]]
{{DEFAULTSORT:Benchmark (Computing)}}[[Category:बेंचमार्क (कंप्यूटिंग)| ]]
[[Category:Collapse templates|Benchmark (Computing)]]
 
[[Category:Created On 16/12/2022|Benchmark (Computing)]]
 
[[Category:Lua-based templates|Benchmark (Computing)]]
[[Category: Machine Translated Page]]
[[Category:Machine Translated Page|Benchmark (Computing)]]
[[Category:Created On 16/12/2022]]
[[Category:Navigational boxes| ]]
[[Category:Navigational boxes without horizontal lists|Benchmark (Computing)]]
[[Category:Pages with script errors|Benchmark (Computing)]]
[[Category:Short description with empty Wikidata description|Benchmark (Computing)]]
[[Category:Sidebars with styles needing conversion|Benchmark (Computing)]]
[[Category:Template documentation pages|Documentation/doc]]
[[Category:Templates Vigyan Ready|Benchmark (Computing)]]
[[Category:Templates based on the Citation/CS1 Lua module|Benchmark (Computing)]]
[[Category:Templates generating COinS|Cite web]]
[[Category:Templates generating microformats|Benchmark (Computing)]]
[[Category:Templates that add a tracking category|Benchmark (Computing)]]
[[Category:Templates that are not mobile friendly|Benchmark (Computing)]]
[[Category:Templates that generate short descriptions|Benchmark (Computing)]]
[[Category:Templates used by AutoWikiBrowser|Cite web]]
[[Category:Templates using TemplateData|Benchmark (Computing)]]
[[Category:Wikipedia fully protected templates|Cite web]]
[[Category:Wikipedia metatemplates|Benchmark (Computing)]]
[[Category:बेंचमार्क (कंप्यूटिंग)| ]]

Latest revision as of 11:42, 2 November 2023

This article is about कंप्यूटिंग में बेंचमार्क का उपयोग. For other uses, see बेंचमार्क.
OGRE इंजन के बेंचमार्क के रूप में चल रहा एक ग्राफिकल डेमो।

कम्प्यूटिंग में, बेंचमार्क एक संगणक प्रोग्राम, प्रोग्राम का एक समूह, या अन्य संचालन चलाने का कार्य है, ताकि किसी वस्तु के सापेक्ष संगणक प्रदर्शन का आकलन किया जा सके, सामान्यतः इसके विपरीत कई मानक सॉफ्टवेयर प्रदर्शन परीक्षण और परीक्षण चलाकर।[1]

बेंचमार्क शब्द का उपयोग सामान्यतः पर विस्तृत रूप से अभिकल्पित किए गए बेंचमार्किंग प्रोग्राम के प्रयोजनों के लिए भी किया जाता है।

बेंचमार्किंग सामान्यतः पर संगणक हार्डवेयर की प्रदर्शन विशेषताओं का आकलन करने से जुड़ा होता है, उदाहरण के लिए, सेंट्रल प्रोसेसिंग यूनिट का फ्लोटिंग पॉइंट ऑपरेशन प्रदर्शन, लेकिन ऐसी परिस्थितियां होती हैं जब तकनीक सॉफ्टवेयर पर भी लागू होती है। उदाहरण के लिए, सॉफ़्टवेयर बेंचमार्क, संकलक या डेटाबेस प्रबंधन प्रणाली (DBMS) के विरुद्ध चलाए जाते हैं।

बेंचमार्क विभिन्न चिप/प्रणाली संगणक स्थापत्य में विभिन्न उप-प्रणालियों के प्रदर्शन की तुलना करने की एक विधि प्रदान करते हैं।

उद्देश्य

जैसे-जैसे संगणक स्थापत्य उन्नत हुआ, वैसे-वैसे विभिन्न संगणक प्रणाली के प्रदर्शन की तुलना उनके विनिर्देशों को देखते हुए करना अधिक कठिन हो गया। इसलिए, परीक्षण विकसित किए गए थे जो विभिन्न स्थापत्यकी तुलना की अनुमति देते थे। उदाहरण के लिए, पेंटियम 4 प्रोसेसर सामान्यतः पर एथलॉन एक्सपी या पावर पीसी प्रोसेसर की तुलना में उच्च क्लॉक फ्रीक्वेंसी पर संचालित होता है, जो जरूरी नहीं कि अधिक कम्प्यूटेशनल पावर में परिवर्तित हो; धीमी क्लॉक फ्रीक्वेंसी वाला प्रोसेसर उच्च फ्रीक्वेंसी पर काम करने वाले प्रोसेसर के साथ-साथ या उससे भी अधिक अच्छा प्रदर्शन कर सकता है। बोगोमिप्स और मेगाहर्ट्ज़ मिथक देखें।

बेंचमार्क को किसी घटक या प्रणाली पर किसी विशेष प्रकार के कार्यभार की प्रतिलिपि बनाने के लिए अभिकल्पित किया गया है। सिंथेटिक बेंचमार्क ऐसा विशेष रूप से बनाए गए प्रोग्रामों द्वारा करते हैं जो घटक पर कार्यभार लगाते हैं। एप्लिकेशन बेंचमार्क प्रणाली पर वास्तविक लोक के प्रोग्राम चलाते हैं। जबकि एप्लिकेशन बेंचमार्क सामान्यतः पर किसी दिए गए प्रणालीपर वास्तविक लोक के प्रदर्शन का अधिक अच्छा माप देते हैं, सिंथेटिक बेंचमार्क हार्ड डिस्क या नेटवर्किंग डिवाइस जैसे व्यक्तिगत घटकों के परीक्षण के लिए उपयोगी होते हैं।

सीपीयू डिजाइन में बेंचमार्क विशेष रूप से महत्वपूर्ण हैं, प्रोसेसर आर्किटेक्ट्स को माइक्रो स्थापत्य निर्णयों को मापने और व्यापार करने की क्षमता प्रदान करते हैं। उदाहरण के लिए, यदि कोई बेंचमार्क किसी एप्लिकेशन के प्रमुख एल्गोरिदम को निकालता है, तो उसमें उस एप्लिकेशन के प्रदर्शन-संवेदनशील संकेत सम्मिलित होंगे। चक्र-सटीक सिम्युलेटर पर इस बहुत छोटे स्निपेट को चलाने से प्रदर्शन को अधिक अच्छा बनाने के बारे में सूत्र मिल सकता है।

2000 से पहले, संगणक और माइक्रोप्रोसेसर आर्किटेक्ट्स ने ऐसा करने के लिए SPEC का प्रयोग किया था, हालांकि स्पेसिफिक के यूनिक्स-आधारित बेंचमार्क काफी लंबे थे और इस प्रकार निरन्तर उपयोग करने के लिए बोझिल थे।

संगणक निर्माता अपने प्रणाली को बेंचमार्क परीक्षणों पर अवास्तविक रूप से उच्च प्रदर्शन देने के लिए कॉन्फ़िगर करने के लिए जाने जाते हैं जिन्हें वास्तविक उपयोग में दोहराया नहीं जाता है। उदाहरण के लिए, 1980 के दशक के दौरान कुछ संकलक एक प्रसिद्ध फ्लोटिंग-पॉइंट बेंचमार्क में उपयोग किए जाने वाले एक विशिष्ट गणितीय ऑपरेशन का पता लगा सकते थे और ऑपरेशन को तेजी से गणितीय समकक्ष ऑपरेशन से परिवर्तित कर सकते थे। हालांकि, 1990 के दशक के मध्य तक बेंचमार्क के बाहर इस तरह का परिवर्तन संभवतः ही कभी उपयोगी था, जब आरआईएससी और वीएलआईडब्ल्यू स्थापत्य ने कंपाइलर तकनीक के महत्व पर जोर दिया क्योंकि यह प्रदर्शन से संबंधित था। बेंचमार्क अब कम्पाइलर कंपनियों द्वारा नियमित रूप से न केवल अपने स्वयं के बेंचमार्क स्कोर, बल्कि वास्तविक अनुप्रयोग प्रदर्शन में सुधार के लिए उपयोग किए जाते हैं।

सीपीयू जिनमें कई निष्पादन इकाइयाँ हैं - जैसे कि एक सुपरस्केलर सीपीयू, एक वीएलआईडब्ल्यू सीपीयू, या एक पुन: उपयोग करने योग्य कंप्यूटिंग सीपीयू - सामान्यतः पर ट्रांजिस्टर से निर्मित एक या दो निष्पादन इकाइयों के साथ अनुक्रमिक सीपीयू की तुलना में धीमी घड़ी की दर होती है जो उतनी ही तेज होती हैं। फिर भी, कई निष्पादन इकाइयों वाले सीपीयू अधिकांशतः वास्तविक लोक और बेंचमार्क कार्यों को कथित रूप से तेज उच्च-क्लॉक-रेट सीपीयू की तुलना में कम समय में पूरा करते हैं।

बड़ी संख्या में उपलब्ध बेंचमार्क को देखते हुए, एक निर्माता सामान्यतः पर कम से कम एक बेंचमार्क खोज सकता है जो यह दर्शाता है कि उसकी प्रणाली किसी अन्य प्रणाली से अधिक अच्छा प्रदर्शन करेगी; अन्य प्रणालियों को एक अलग बेंचमार्क के साथ उत्कृष्टता के लिए दिखाया जा सकता है।

निर्माता सामान्यतः पर केवल उन बेंचमार्क (या बेंचमार्क के पहलुओं) की रिपोर्ट करते हैं जो उनके उत्पादों को सर्वोत्तम प्रकाश में दिखाते हैं। वे बेंचमार्क के महत्व को गलत विधि से प्रस्तुत करने के लिए भी जाने जाते हैं, ताकि वे अपने उत्पादों को सर्वोत्तम संभव प्रकाश में दिखा सकें। एक साथ लिया गया, इन प्रथाओं को बेंच-मार्केटिंग कहा जाता है।

आदर्श रूप से बेंचमार्क को केवल वास्तविक अनुप्रयोगों के लिए स्थानापन्न करना चाहिए यदि एप्लिकेशन अनुपलब्ध है, या किसी विशिष्ट प्रोसेसर या संगणक प्रणाली को पोर्ट करने के लिए बहुत कठिन या महंगा है। यदि प्रदर्शन महत्वपूर्ण है, तो एकमात्र बेंचमार्क जो आशय रखता है वह है लक्ष्य परिवेश का एप्लिकेशन सूट।

कार्यक्षमता

बेंचमार्किंग सॉफ़्टवेयर की विशेषताओं में एक स्प्रेडशीट फ़ाइल में प्रदर्शन के दौरान रिकॉर्डिंग/डेटा निर्यात करना, आरेखण रेखा ग्राफ़ या रंग-कोडित टाइल जैसे विज़ुअलाइज़ेशन सम्मिलित हो सकते हैं, और प्रक्रिया को फिर से आरंभ किए बिना फिर से आरंभ करने में सक्षम होने के लिए रोकना सम्मिलित हो सकता है। सॉफ़्टवेयर में इसके उद्देश्य के लिए विशिष्ट अतिरिक्त विशेषताएं हो सकती हैं, उदाहरण के लिए, डिस्क बेंचमार्किंग सॉफ़्टवेयर वैकल्पिक रूप से पूर्ण डिस्क की जगह डिस्क की निर्दिष्ट सीमा के भीतर डिस्क की गति को मापने में सक्षम हो सकता है, रैंडम एक्सेस पढ़ने की गति और विलंबता (इंजीनियरिंग) को मापता है, एक त्वरित स्कैन सुविधा है जो निर्दिष्ट अंतराल और आकारों के नमूनों के माध्यम से गति को मापती है, और एक ब्लॉक (डेटा संग्रहण) आकार निर्दिष्ट करने की अनुमति देती है, जिसका अर्थ है अनुरोध किए गए बाइट्स की संख्या प्रति पढ़ने का अनुरोध।[2]


चुनौतियां

बेंचमार्किंग सरल नहीं है और पूर्वानुमानित, उपयोगी निष्कर्ष पर पहुंचने के लिए अधिकांशतः कई पुनरावृत्त कालचक्र सम्मिलित होते हैं। बेंचमार्किंग डेटा की व्याख्या भी असाधारण रूप से कठिन है। यहां सामान्य चुनौतियों की आंशिक सूची दी गई है:

  • विक्रेता अपने उत्पादों को विशेष रूप से उद्योग-मानक बेंचमार्क के लिए ट्यून करते हैं। नॉर्टन एसवाईएस इन्फो (SI) के लिए ट्यून करना विशेष रूप से सरल है, क्योंकि यह मुख्य रूप से कई ऑपरेशनों की गति के प्रति पक्षपाती है। ऐसे परिणामों की व्याख्या करने में अत्यधिक सावधानी बरतें।
  • कुछ विक्रेताओं पर बेंचमार्क पर भ्रमित करने का आरोप लगाया गया है - ऐसे काम करना जो बहुत अधिक बेंचमार्क नंबर देते हैं, लेकिन वास्तविक संभावित कार्यभार पर चीजों को और विकृत कर देते हैं।[3]
  • कई बेंचमार्क पूरी तरह से संगणक के प्रदर्शन की गति पर ध्यान केंद्रित करते हैं, संगणक प्रणाली की अन्य महत्वपूर्ण विशेषताओं की उपेक्षा करते हैं, जैसे:
    • सेवा के गुण, अशिक्षित प्रदर्शन को छोड़कर। सेवा के अमापित गुणों के उदाहरणों में सुरक्षा, उपलब्धता, विश्वसनीयता, निष्पादन अखंडता, सेवाक्षमता, मापनीयता (विशेष रूप से जल्दी और गैर-विघटनकारी रूप से जोड़ने या पुन: आवंटित करने की क्षमता) आदि सम्मिलित हैं। सेवा के इन गुणों के बीच और बीच में अधिकांशतः वास्तविक व्यापार- अप्रिय होते हैं, और सभी बिजनेस कंप्यूटिंग में महत्वपूर्ण हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से एसीआईडी ​​​​संपत्ति परीक्षण, डेटाबेस मापनीयता नियम और सेवा स्तर की आवश्यकताओं को निर्दिष्ट करके इन चिंताओं को संबोधित करते हैं।
    • सामान्यतः, बेंचमार्क स्वामित्व की कुल लागत का आकलन नहीं करते हैं। लेन-देन प्रसंस्करण प्रदर्शन परिषद बेंचमार्क विनिर्देश आंशिक रूप से इस चिंता को निर्दिष्ट करके संबोधित करते हैं कि एक अप्रशिक्षित प्रदर्शन मीट्रिक के अतिरिक्त एक मूल्य / प्रदर्शन मीट्रिक को स्वामित्व सूत्र की सरलीकृत कुल लागत का उपयोग करके रिपोर्ट किया जाना चाहिए। हालांकि, लागत अनिवार्य रूप से केवल आंशिक है, और विक्रेताओं को बेंचमार्क के लिए विशेष रूप से (और केवल) मूल्य के लिए जाना जाता है, कृत्रिम रूप से कम मूल्य के साथ एक अत्यधिक विशिष्ट बेंचमार्क विशेष कॉन्फ़िगरेशन तैयार करना। बेंचमार्क पैकेज से थोड़ा विचलन भी वास्तविक लोक के अनुभव में बहुत अधिक मूल्य देता है।
    • सुविधाओं का भार (अंतरिक्ष, बिजली और शीतलन)। जब अधिक शक्ति का उपयोग किया जाता है, तो एक सुवाहय़ प्रणाली में कम बैटरी जीवन होगा और अधिक बार रिचार्जिंग की आवश्यकता होगी। एक सर्वर जो अधिक बिजली और/या जगह की खपत करता है, वह कूलिंग सीमाओं सहित मौजूदा डेटा सेंटर संसाधन बाधाओं के भीतर फिट होने में सक्षम नहीं हो सकता है। वास्तविक व्यापार-नापसंद हैं क्योंकि अधिकांश अर्धचालकों को तेजी से स्विच करने के लिए अधिक शक्ति की आवश्यकता होती है। प्रति वाट प्रदर्शन भी देखें।
    • कुछ एम्बेडेड प्रणाली में, जहां मेमोरी एक महत्वपूर्ण लागत होती है, अधिक अच्छा कोड घनत्व लागत को महत्वपूर्ण रूप से कम कर सकता है।
  • विक्रेता बेंचमार्क विकास, परीक्षण और आपदा पुननिर्युक्ति कंप्यूटिंग क्षमता के लिए आवश्यकताओं की उपेक्षा करते हैं। विक्रेता केवल यह रिपोर्ट करना पसंद करते हैं कि उनके प्रारंभिक अधिग्रहण मूल्य को यथासंभव कम दिखाने के लिए उत्पादन क्षमता के लिए क्या आवश्यक हो सकता है।
  • बेंचमार्क को व्यापक रूप से वितरित सर्वरों को अपनाने में परेशानी हो रही है, विशेष रूप से नेटवर्क टोपोलॉजी के लिए अतिरिक्त संवेदनशीलता वाले सर्वर। ग्रिड कंप्यूटिंग का उद्भव, विशेष रूप से, बेंचमार्किंग को जटिल बनाता है क्योंकि कुछ कार्यभार ग्रिड के अनुकूल होते हैं, जबकि अन्य नहीं होते हैं।
  • बेंचमार्क के सुझाव से उपयोगकर्ताओं के प्रदर्शन के बारे में बहुत अलग धारणाएं हो सकती हैं। विशेष रूप से, उपयोगकर्ता पूर्वानुमेयता की सराहना करते हैं - सर्वर जो सदैव सेवा स्तर के समझौतों को पूरा करते हैं या उससे अधिक होते हैं। बेंचमार्क सबसे विकृत स्थिति प्रतिक्रिया समय (वास्तविक समय कंप्यूटिंग परिप्रेक्ष्य), या निम्न मानक विचलन (उपयोगकर्ता परिप्रेक्ष्य) की जगह माध्य स्कोर (आईटी परिप्रेक्ष्य) पर बल देते हैं।
  • कई सर्वर स्थापत्य नाटकीय रूप से उपयोग के उच्च (लगभग 100%) स्तर पर गिरावट करते हैं - एक ऊंचाई से गिर जाते हैं - और बेंचमार्क को (लेकिन अधिकांशतः नहीं) उस कारक को ध्यान में रखना चाहिए। विक्रेता, विशेष रूप से, लगभग 80% उपयोग पर निरंतर सर्वर बेंचमार्क प्रकाशित करते हैं - एक अवास्तविक स्थिति - और उस स्तर से परे मांग बढ़ने पर समग्र प्रणाली का क्या होता है, इसका अभिलेखीकरण नहीं करते हैं।
  • कई बेंचमार्क अन्य अनुप्रयोगों के बहिष्करण के लिए एक आवेदन, या यहां तक ​​कि एक आवेदन स्तर पर ध्यान केंद्रित करते हैं। अधिकांश डेटा केंद्र अब विभिन्न कारणों से बड़े स्तर पर हार्डवेयर वर्चुअलाइजेशन को लागू कर रहे हैं, और बेंचमार्किंग अभी भी उस वास्तविकता को पकड़ रही है जहां समेकित सर्वर पर कई एप्लिकेशन और एप्लिकेशन टियर समवर्ती रूप से चल रहे हैं।
  • कुछ (यदि कोई हैं) उच्च गुणवत्ता वाले बेंचमार्क हैं जो बैच कंप्यूटिंग, विशेष रूप से उच्च मात्रा समवर्ती बैच और रीयल-टाइम कंप्यूटिंग के प्रदर्शन को मापने में सहायता करते हैं। बैच कंप्यूटिंग लंबे समय से चल रहे कार्यों को सही ढंग से पूरा करने की भविष्यवाणी पर अधिक ध्यान केंद्रित करती है समय सीमा से पहले, जैसे महीने का अंत या वित्तीय वर्ष का अंत। कई महत्वपूर्ण मुख्य व्यवसाय प्रक्रियाएं बैच-उन्मुख हैं और संभवतः सदैव रहेंगी, जैसे कि बिलिंग।
  • बेंचमार्किंग संस्थान अधिकांशतः बुनियादी वैज्ञानिक पद्धति की अवहेलना करते हैं या उसका पालन नहीं करते हैं। इसमें सम्मिलित है, लेकिन यह सीमित नहीं है: लघु आदर्श परिमाण, अस्निथिर नियंत्रण की कमी, और परिणामों की सीमित पुनरावृत्ति।[4]


बेंचमार्किंग सिद्धांत

बेंचमार्क के लिए सात महत्वपूर्ण विशेषताएं हैं।[5] ये प्रमुख गुण हैं:

  1. प्रासंगिकता: बेंचमार्क को अपेक्षाकृत महत्वपूर्ण विशेषताओं को मापना चाहिए।
  2. प्रतिनिधित्व: बेंचमार्क प्रदर्शन मेट्रिक्स को उद्योग और शिक्षा जगत द्वारा व्यापक रूप से स्वीकार किया जाना चाहिए।
  3. इक्विटी: सभी प्रणालियों की निष्पक्ष तुलना की जानी चाहिए।
  4. पुनरावर्तनीयता: बेंचमार्क परिणामों को सत्यापित किया जा सकता है।
  5. लागत-प्रभावशीलता: बेंचमार्क परीक्षण सस्ता हैं।
  6. मापनीयता: बेंचमार्क परीक्षणों को कम से लेकर उच्च तक संसाधनों की एक श्रृंखला रखने वाले प्रणाली में काम करना चाहिए।
  7. पारदर्शिता: बेंचमार्क मेट्रिक्स को समझना सरल होना चाहिए।

बेंचमार्क के प्रकार

  1. विशुद्ध कार्यक्रम
  2. कंपोनेंट बेंचमार्क / माइक्रो बेंचमार्क
    • कोर रूटीन में अपेक्षाकृत छोटा और विशिष्ट कोड होता है।
    • संगणक के बुनियादी घटकों के प्रदर्शन को मापें[6]
    • संगणक के हार्डवेयर पैरामीटर जैसे रजिस्टरों की संख्या, कैश (कंप्यूटिंग) आकार, मेमोरी विलंबता, आदि का स्वत: पता लगाने के लिए उपयोग किया जा सकता है।
  3. कर्नेल
    • कुंजी कोड सम्मिलित हैं
    • सामान्यतः वास्तविक कार्यक्रम से सार निकाला जाता है
    • लोकप्रिय कर्नेल: लिवरमोर लूप
    • लिनपैक बेंचमार्क (फोरट्रान भाषा में लिखित बुनियादी रैखिक बीजगणित सबरूटीन सम्मिलित है)
    • परिणाम एमफ्लॉप/एस में दर्शाए जाते हैं।
  4. सिंथेटिक बेंचमार्क
    • सिंथेटिक बेंचमार्क प्रोग्रामिंग के लिए प्रक्रिया:
      • कई एप्लिकेशन प्रोग्राम से सभी प्रकार के संचालन के आंकड़े लें
      • प्रत्येक ऑपरेशन का अनुपात प्राप्त करें
      • उपरोक्त अनुपात के आधार पर कार्यक्रम लिखें
    • सिंथेटिक बेंचमार्क के प्रकार हैं:
    • ये पहले सामान्य प्रयोजन उद्योग स्तरीय संगणक बेंचमार्क थे। जरूरी नहीं कि वे आधुनिक पाइप लाइन वाले संगणकों पर उच्च अंक प्राप्त करें।
  5. आई/ओ बेंचमार्क
  6. डेटाबेस बेंचमार्क
    • डेटाबेस प्रबंधन प्रणाली (DBMS) के थ्रूपुट और प्रतिक्रिया समय को मापें
  7. समानांतर बेंचमार्क
    • कई कोर और/या प्रोसेसर वाली मशीनों पर या कई मशीनों वाली प्रणालियों पर उपयोग किया जाता है

सामान्य बेंचमार्क

उद्योग मानक (लेखापरीक्षित और सत्यापन योग्य)

  • बीएपीकोर्प कंसोर्टियम | बिजनेस एप्लीकेशन परफॉर्मेंस कॉर्पोरेशन (बीएपीकोर्प)
  • ईईएमबीसी | एंबेडेड माइक्रोप्रोसेसर बेंचमार्क कंसोर्टियम (ईईएमबीसी)
  • मानक प्रदर्शन मूल्यांकन निगम (SPEC), विशेष रूप से उनके एसपीईसीइनत और एसपीईसीऍफ़पी
  • लेनदेन प्रसंस्करण प्रदर्शन परिषद (टीपीसी): डीबीएमएस बेंचमार्क[7]


ओपन सोर्स बेंचमार्क

  • एआईएम मल्टीयूजर बेंचमार्क - परीक्षणों की एक सूची से बना है जिसे 'लोड मिक्स' बनाने के लिए मिश्रित किया जा सकता है जो किसी भी यूनिक्स-प्रकार के ओएस पर एक विशिष्ट संगणक फ़ंक्शन का अनुकरण करेगा।
  • बोनी++ ++ - फाइल प्रणाली और हार्ड ड्राइव बेंचमार्क
  • बीआरएल-सीएडी - मल्टीथ्रेडेड रे ट्रेसिंग परफॉर्मेंस पर आधारित क्रॉस-प्लेटफॉर्म आर्किटेक्चर-एग्नोस्टिक बेंचमार्क सूट; एक VAX-11/780 के विरुद्ध आधारभूत; और सापेक्ष सीपीयू प्रदर्शन, संकलक अंतर, अनुकूलन स्तर, सुसंगतता, वास्तुकला अंतर और ऑपरेटिंग प्रणाली अंतर के मूल्यांकन के लिए 1984 से उपयोग किया जाता है।
  • सामूहिक ज्ञान (सॉफ्टवेयर) - स्वयंसेवकों द्वारा प्रदान किए गए हार्डवेयर में क्राउडसोर्स बेंचमार्किंग और उपयोगकर्ता कार्यभार (जैसे गहन शिक्षा) के अनुकूलन के लिए अनुकूलन योग्य, क्रॉस-प्लेटफ़ॉर्म फ्रेमवर्क
  • कोरमार्क - एंबेडेड कंप्यूटिंग बेंचमार्क
  • डीईआईएसए बेंचमार्क सूट - वैज्ञानिक HPC एप्लिकेशन बेंचमार्क
  • ध्रिस्टोन - पूर्णांक अंकगणितीय प्रदर्शन, अधिकांशतः डीआईएमपीएस में रिपोर्ट किया जाता है (ध्रिस्टोन लाखों निर्देश प्रति सेकंड)
  • डिस्कएसपीडी - स्टोरेज बेंचमार्किंग के लिए कमांड लाइन टूल जो संगणक फाइल, डिस्क विभाजन या संगणक डेटा भंडारण के विरुद्ध कई तरह के अनुरोध उत्पन्न करता है।
  • फोरस्टोन्स - एक पूर्णांक बेंचमार्क
  • पदानुक्रमित एकीकरण - समग्र सीपीयू और मेमोरी प्रदर्शन को मापने के लिए अभिकल्पित किया गया
  • लोमीटर - एकल और संकुल प्रणालियों के लिए I/O सबप्रणाली मापन और अभिलक्षणन उपकरण।
  • आईओ जोन - फाइल प्रणाली बेंचमार्क
  • लिनपैक बेंचमार्क - पारंपरिक रूप से फ्लॉप को मापने के लिए उपयोग किया जाता है
  • लिवरमोर लूप्स
  • एनएएस बेंचमार्क
  • एनबेंच - इंटीजर अंकगणित, मेमोरी ऑपरेशंस और फ्लोटिंग-पॉइंट अंकगणित के प्रदर्शन को मापने वाला सिंथेटिक बेंचमार्क सूट
  • पीएएल (सॉफ्टवेयर) - वास्तविक समय भौतिकी इंजन के लिए एक बेंचमार्क
  • पेर्फकिट बेंचमार्कर - क्लाउड प्रस्तुतियो को मापने और तुलना करने के लिए बेंचमार्क का एक सेट।
  • फोरोनिक्स टेस्ट सूट – लिनक्स, ओपनसोलारिस, फ्रीबीएसडी, ओएसएक्स और विंडोज़ के लिए ओपन-सोर्स क्रॉस-प्लेटफ़ॉर्म बेंचमार्किंग सूट। इसमें निष्पादन को सरल बनाने के लिए इस पृष्ठ पर सम्मिलित कई अन्य बेंचमार्क सम्मिलित हैं।
  • पीओवी-रे - 3डी रेंडर
  • तक (फ़ंक्शन) - एक साधारण बेंचमार्क जिसका उपयोग पुनरावर्तन प्रदर्शन का परीक्षण करने के लिए किया जाता है
  • टीएटीपी बेंचमार्क - दूरसंचार अनुप्रयोग लेनदेन प्रसंस्करण बेंचमार्क
  • टीपीओएक्स - एक्सएमएल डेटाबेस के लिए एक एक्सएमएल ट्रांजैक्शन प्रोसेसिंग बेंचमार्क
  • प्रदर्शन की वैक्स इकाई (प्रदर्शन की वैक्स इकाई) - जिसे प्रति सेकंड वैक्स निर्देश भी कहा जाता है
  • वेटस्टोन (बेंचमार्क) - फ्लोटिंग-पॉइंट अंकगणितीय प्रदर्शन, अधिकांशतः लाखों वेटस्टोन निर्देशों प्रति सेकंड (MWIPS) में रिपोर्ट किया जाता है।

माइक्रोसॉफ्ट विंडोज बेंचमार्क

अन्य

  • अन तू तू - सामान्यतः पर फोन और एआरएम-आधारित उपकरणों पर उपयोग किया जाता है।
  • गीकबेंच - विंडोज, लिनक्स, मैकओएस, आईओएस और एंड्रॉइड के लिए एक क्रॉस-प्लेटफॉर्म बेंचमार्क।
  • आईकॉम्प (इंडेक्स) - इंटेल द्वारा प्रकाशित इंटेल तुलनात्मक माइक्रोप्रोसेसर प्रदर्शन
  • खोर्नरस्टोन
  • प्रदर्शन रेटिंग - सामान्यतः पर प्रतिस्पर्धी उत्पादों की तुलना में सापेक्ष प्रदर्शन को दर्शाने के लिए एएमडी और सिरिक्स द्वारा उपयोग की जाने वाली मॉडलिंग योजना।
  • सनस्पाइडर जावास्क्रिप्ट बेंचमार्क - एक ब्राउज़र गति परीक्षण
  • वीएममार्क - एक वर्चुअलाइजेशन बेंचमार्क सूट।

यह भी देखें

संदर्भ

  1. ↑ Fleming, Philip J.; Wallace, John J. (1986-03-01). "आँकड़ों के साथ कैसे झूठ न बोलें: बेंचमार्क परिणामों को सारांशित करने का सही तरीका". Communications of the ACM. 29 (3): 218–221. doi:10.1145/5666.5673. ISSN 0001-0782. S2CID 1047380. Retrieved 2017-06-09.
  2. ↑ Software: HDDScan, GNOME Disks
  3. ↑ Krazit, Tom (2003). "एनवीडिया की बेंचमार्क रणनीति का पुनर्मूल्यांकन किया गया". IDG News. Archived from the original on 2011-06-06. Retrieved 2009-08-08.
  4. ↑ Castor, Kevin (2006). "हार्डवेयर परीक्षण और बेंचमार्किंग पद्धति". Archived from the original on 2008-02-05. Retrieved 2008-02-24.
  5. ↑ Dai, Wei; Berleant, Daniel (December 12–14, 2019). "बेंचमार्किंग समकालीन डीप लर्निंग हार्डवेयर एंड फ्रेमवर्क: ए सर्वे ऑफ क्वालिटेटिव मेट्रिक्स" (PDF). 2019 IEEE First International Conference on Cognitive Machine Intelligence (CogMI). Los Angeles, CA, USA: IEEE. pp. 148–155. arXiv:1907.03626. doi:10.1109/CogMI48466.2019.00029.
  6. ↑ Ehliar, Andreas; Liu, Dake. "बेंचमार्किंग नेटवर्क प्रोसेसर" (PDF). {{cite journal}}: Cite journal requires |journal= (help)
  7. ↑ Transaction Processing Performance Council (February 1998). "टीपीसी का इतिहास और अवलोकन". TPC. Transaction Processing Performance Council. Retrieved 2018-07-02.


अग्रिम पठन


बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=बेंचमार्क_(कंप्यूटिंग)&oldid=272155’