एआई त्वरक: Difference between revisions

From Vigyanwiki
(Created page with "{{Short description|Hardware acceleration unit for artificial intelligence tasks}} {{Use American English|date=January 2019}} {{Use mdy dates|date=October 2021}} एआई त...")
 
No edit summary
Line 2: Line 2:
{{Use American English|date=January 2019}}
{{Use American English|date=January 2019}}
{{Use mdy dates|date=October 2021}}
{{Use mdy dates|date=October 2021}}
एआई त्वरक विशेष हार्डवेयर त्वरण का एक वर्ग है<ref>{{cite web |url=https://www.v3.co.uk/v3-uk/news/3014293/intel-unveils-movidius-compute-stick-usb-ai-accelerator |title=इंटेल ने Movidius Compute Stick USB AI Accelerator पेश किया|date=July 21, 2017 |access-date=August 11, 2017 |url-status=dead |archive-url=https://web.archive.org/web/20170811193632/https://www.v3.co.uk/v3-uk/news/3014293/intel-unveils-movidius-compute-stick-usb-ai-accelerator |archive-date=August 11, 2017 }}</ref> या कंप्यूटर सिस्टम<ref>{{cite web |url=https://insidehpc.com/2017/06/inspurs-unveils-gx4-ai-accelerator/ |title=Inspurs unveils GX4 AI Accelerator |date=June 21, 2017}}</ref><ref>{{citation |title=Neural Magic raises $15 million to boost AI inferencing speed on off-the-shelf processors |last=Wiggers |first=Kyle |date=November 6, 2019 |url=https://venturebeat.com/2019/11/06/neural-magic-raises-15-million-to-boost-ai-training-speed-on-off-the-shelf-processors/ |publication-date=November 6, 2019 |orig-year=2019 |archive-url=https://web.archive.org/web/20200306120524/https://venturebeat.com/2019/11/06/neural-magic-raises-15-million-to-boost-ai-training-speed-on-off-the-shelf-processors/ |archive-date=March 6, 2020 |access-date=March 14, 2020}}</ref> [[कृत्रिम तंत्रिका नेटवर्क]] और [[मशीन दृष्टि]] सहित कृत्रिम बुद्धि और मशीन सीखने के अनुप्रयोगों में तेजी लाने के लिए डिज़ाइन किया गया। विशिष्ट अनुप्रयोगों में [[रोबोटिक]]्स, [[चीजों की इंटरनेट]] और अन्य [[डेटा (कंप्यूटिंग)]]-गहन या सेंसर-चालित कार्यों के लिए एल्गोरिदम शामिल हैं।<ref>{{cite web |url=https://www.eetimes.com/google-designing-ai-processors/ |title=Google Designing AI Processors}} Google using its own AI accelerators.</ref> वे अक्सर कई कोर डिजाइन होते हैं और आम तौर पर [[सटीक (कंप्यूटर विज्ञान)]] पर ध्यान केंद्रित करते हैं। कम-परिशुद्धता अंकगणित, उपन्यास [[डेटाफ्लो आर्किटेक्चर]] या [[इन-मेमोरी कंप्यूटिंग]] क्षमता। {{As of|2018}}, [[MOSFET]] [[ट्रांजिस्टर की गिनती]] एक विशिष्ट AI एकीकृत सर्किट चिप ट्रांजिस्टर गिनती।<ref name="computerhistory2018">{{cite web |title=13 Sextillion & Counting: The Long & Winding Road to the Most Frequently Manufactured Human Artifact in History |url=https://computerhistory.org/blog/13-sextillion-counting-the-long-winding-road-to-the-most-frequently-manufactured-human-artifact-in-history/?key=13-sextillion-counting-the-long-winding-road-to-the-most-frequently-manufactured-human-artifact-in-history |date=April 2, 2018 |website=[[Computer History Museum]] |access-date=July 28, 2019}}</ref>
एआई त्वरक विशेष हार्डवेयर त्वरण का एक वर्ग है<ref>{{cite web |url=https://www.v3.co.uk/v3-uk/news/3014293/intel-unveils-movidius-compute-stick-usb-ai-accelerator |title=इंटेल ने Movidius Compute Stick USB AI Accelerator पेश किया|date=July 21, 2017 |access-date=August 11, 2017 |url-status=dead |archive-url=https://web.archive.org/web/20170811193632/https://www.v3.co.uk/v3-uk/news/3014293/intel-unveils-movidius-compute-stick-usb-ai-accelerator |archive-date=August 11, 2017 }}</ref> या कंप्यूटर सिस्टम<ref>{{cite web |url=https://insidehpc.com/2017/06/inspurs-unveils-gx4-ai-accelerator/ |title=Inspurs unveils GX4 AI Accelerator |date=June 21, 2017}}</ref><ref>{{citation |title=Neural Magic raises $15 million to boost AI inferencing speed on off-the-shelf processors |last=Wiggers |first=Kyle |date=November 6, 2019 |url=https://venturebeat.com/2019/11/06/neural-magic-raises-15-million-to-boost-ai-training-speed-on-off-the-shelf-processors/ |publication-date=November 6, 2019 |orig-year=2019 |archive-url=https://web.archive.org/web/20200306120524/https://venturebeat.com/2019/11/06/neural-magic-raises-15-million-to-boost-ai-training-speed-on-off-the-shelf-processors/ |archive-date=March 6, 2020 |access-date=March 14, 2020}}</ref> [[कृत्रिम तंत्रिका नेटवर्क]] और [[मशीन दृष्टि]] सहित कृत्रिम बुद्धि और मशीन सीखने के अनुप्रयोगों में तेजी लाने के लिए डिज़ाइन किया गया। विशिष्ट अनुप्रयोगों में [[रोबोटिक]], [[चीजों की इंटरनेट]] और अन्य [[डेटा (कंप्यूटिंग)]]-गहन या सेंसर-चालित कार्यों के लिए एल्गोरिदम सम्मलित  हैं।<ref>{{cite web |url=https://www.eetimes.com/google-designing-ai-processors/ |title=Google Designing AI Processors}} Google using its own AI accelerators.</ref> वे अधिकांशतः  कई कोर डिजाइन होते हैं और सामान्यतः  [[सटीक (कंप्यूटर विज्ञान)]] पर ध्यान केंद्रित करते हैं। कम-परिशुद्धता अंकगणित, उपन्यास [[डेटाफ्लो आर्किटेक्चर]] या [[इन-मेमोरी कंप्यूटिंग]] क्षमता। {{As of|2018}}, [[MOSFET]] [[ट्रांजिस्टर की गिनती]] एक विशिष्ट AI एकीकृत सर्किट चिप ट्रांजिस्टर गिनती।<ref name="computerhistory2018">{{cite web |title=13 Sextillion & Counting: The Long & Winding Road to the Most Frequently Manufactured Human Artifact in History |url=https://computerhistory.org/blog/13-sextillion-counting-the-long-winding-road-to-the-most-frequently-manufactured-human-artifact-in-history/?key=13-sextillion-counting-the-long-winding-road-to-the-most-frequently-manufactured-human-artifact-in-history |date=April 2, 2018 |website=[[Computer History Museum]] |access-date=July 28, 2019}}</ref> इस श्रेणी में उपकरणों के लिए कई विक्रेता-विशिष्ट शब्द उपस्थित हैं, और यह एक [[प्रमुख डिजाइन]] के बिना उभरती हुई प्रौद्योगिकियां हैं।
इस श्रेणी में उपकरणों के लिए कई विक्रेता-विशिष्ट शब्द मौजूद हैं, और यह एक [[प्रमुख डिजाइन]] के बिना उभरती हुई प्रौद्योगिकियां हैं।


== इतिहास ==
== इतिहास ==
कंप्यूटर सिस्टम ने केंद्रीय प्रसंस्करण इकाई को विशेष कार्यों के लिए विशेष-उद्देश्य त्वरक के साथ अक्सर पूरक किया है, जिसे [[ सह प्रोसेसर ]] के रूप में जाना जाता है। उल्लेखनीय एप्लिकेशन-विशिष्ट एकीकृत सर्किट | एप्लिकेशन-विशिष्ट विस्तार कार्ड में [[ कंप्यूटर चित्रलेख ]], [[ अच्छा पत्रक ]], [[ ग्राफ़िक्स प्रोसेसिंग युनिट ]] और [[डिजिटल सिग्नल प्रोसेसर]] के लिए [[वीडियो कार्ड]] शामिल हैं। जैसा कि 2010 के दशक में गहन शिक्षण और आर्टिफिशियल इंटेलिजेंस वर्कलोड प्रमुखता से बढ़ा, विशेष हार्डवेयर इकाइयां विकसित की गईं या मौजूदा उत्पादों से इन कार्यों को हार्डवेयर त्वरण के लिए अनुकूलित किया गया। AI त्वरक के प्रदर्शन का मूल्यांकन करने के लिए MLPerf जैसे बेंचमार्क का उपयोग किया जा सकता है।<ref>{{cite web | url=https://www.theregister.com/2022/09/09/nvidia_hopper_mlperf/ | title=Nvidia claims 'record performance' for Hopper MLPerf debut }}</ref>
कंप्यूटर सिस्टम ने केंद्रीय प्रसंस्करण इकाई को विशेष कार्यों के लिए विशेष-उद्देश्य त्वरक के साथ अधिकांशतः  पूरक किया है, जिसे [[ सह प्रोसेसर ]] के रूप में जाना जाता है। उल्लेखनीय एप्लिकेशन-विशिष्ट एकीकृत सर्किट | एप्लिकेशन-विशिष्ट विस्तार कार्ड में [[ कंप्यूटर चित्रलेख ]], [[ अच्छा पत्रक ]], [[ ग्राफ़िक्स प्रोसेसिंग युनिट ]] और [[डिजिटल सिग्नल प्रोसेसर]] के लिए [[वीडियो कार्ड]] सम्मलित  हैं। जैसा कि 2010 के दशक में गहन शिक्षण और आर्टिफिशियल इंटेलिजेंस वर्कलोड प्रमुखता से बढ़ा, विशेष हार्डवेयर इकाइयां विकसित की गईं या उपस्थित उत्पादों से इन कार्यों को हार्डवेयर त्वरण के लिए अनुकूलित किया गया। AI त्वरक के प्रदर्शन का मूल्यांकन करने के लिए MLPerf जैसे बेंचमार्क का उपयोग किया जा सकता है।<ref>{{cite web | url=https://www.theregister.com/2022/09/09/nvidia_hopper_mlperf/ | title=Nvidia claims 'record performance' for Hopper MLPerf debut }}</ref>




=== शुरुआती प्रयास ===
=== प्रारंभिक प्रयास ===
[[इंटेल]] के ETANN 80170NX जैसे पहले प्रयास<ref>John C. Dvorak: ''Intel’s 80170 chip has the theoretical intelligence of a cockroach'' in PC Magazine Volume 9 Number 10 (May 1990), p. 77, [https://archive.org/details/PC_Magazine_1990_05_29_v9n10/page/n83/mode/2up], retrieved May 16, 2021</ref> तंत्रिका कार्यों की गणना करने के लिए शामिल एनालॉग सर्किट। बाद में Nestor/Intel [[Ni1000]] जैसे ऑल-डिजिटल चिप्स का अनुसरण किया गया। 1993 की शुरुआत में, [[ऑप्टिकल कैरेक्टर मान्यता]] सॉफ़्टवेयर को गति देने के लिए डिजिटल सिग्नल प्रोसेसर का उपयोग तंत्रिका नेटवर्क त्वरक के रूप में किया गया था।<ref>{{cite web |url=https://www.youtube.com/watch?v=FwFduRA_L6Q |title=convolutional neural network demo from 1993 featuring DSP32 accelerator|website=[[YouTube]] }}</ref> 1990 के दशक में, तंत्रिका नेटवर्क सिमुलेशन सहित विभिन्न अनुप्रयोगों के उद्देश्य से कार्यस्थानों के लिए समानांतर उच्च-थ्रूपुट सिस्टम बनाने का भी प्रयास किया गया था।<ref name="krste">{{Cite web|url=http://people.eecs.berkeley.edu/~krste/papers/cns-injs1993.ps|title=design of a connectionist network supercomputer}}</ref><ref name="krste general purpose">{{cite web |title=सामान्य प्रयोजन के कंप्यूटर का अंत (नहीं)| website=[[YouTube]] |url=https://www.youtube.com/watch?v=VtJthbiiTBQ}}This presentation covers a past attempt at neural net accelerators, notes the similarity to the modern SLI GPGPU processor setup, and argues that general purpose vector accelerators are the way forward (in relation to RISC-V hwacha project. Argues that NN's are just dense and sparse matrices, one of several recurring algorithms)</ref><ref>{{cite book |doi=10.1109/IPPS.1995.395862 |title=Proceedings of 9th International Parallel Processing Symposium |pages=774–781 |year=1995 |last1=Ramacher |first1=U. |last2=Raab |first2=W. |last3=Hachmann |first3=J.A.U. |last4=Beichter |first4=J. |last5=Bruls |first5=N. |last6=Wesseling |first6=M. |last7=Sicheneder |first7=E. |last8=Glass |first8=J. |last9=Wurz |first9=A. |last10=Manner |first10=R. |isbn=978-0-8186-7074-9 |citeseerx=10.1.1.27.6410 |s2cid=16364797}}</ref> [[क्षेत्र में प्रोग्राम की जा सकने वाली द्वार श्रंखला]] त्वरक भी पहली बार 1990 के दशक में दोनों अनुमानों के लिए खोजे गए थे।<ref name="fpga-inference">{{Cite web|url=https://www.researchgate.net/publication/2318589|title=Space Efficient Neural Net Implementation}}</ref> और प्रशिक्षण।<ref name="fpga-training">{{cite book |chapter=A Generic Building Block for Hopfield Neural Networks with On-Chip Learning |year=1996 |doi=10.1109/ISCAS.1996.598474 |s2cid=17630664 |title=1996 IEEE International Symposium on Circuits and Systems. Circuits and Systems Connecting the World. ISCAS 96 |last1=Gschwind |first1=M. |last2=Salapura |first2=V. |last3=Maischberger |first3=O. |pages=49–52 |isbn=0-7803-3073-0}}</ref> [[स्मार्टफोन]] ने 2015 में [[क्वालकॉम स्नैपड्रैगन 820]] से शुरू होने वाले एआई त्वरक को शामिल करना शुरू किया।<ref>{{Cite web|title=क्वालकॉम नई स्नैपड्रैगन मशीन लर्निंग सॉफ्टवेयर डेवलपमेंट किट के साथ आपके मोबाइल उपकरणों को स्मार्ट बनाने में मदद करता है|url=https://www.qualcomm.com/news/releases/2016/05/02/qualcomm-helps-make-your-mobile-devices-smarter-new-snapdragon-machine|url-status=live|website=Qualcomm}}</ref><ref>{{Cite web|last=Rubin|first=Ben Fox|title=Qualcomm का Zeroth प्लेटफॉर्म आपके स्मार्टफोन को ज्यादा स्मार्ट बना सकता है|url=https://www.cnet.com/tech/mobile/qualcomms-zeroth-platform-could-make-your-smartphone-much-smarter/|access-date=September 28, 2021|website=CNET|language=en}}</ref>
[[इंटेल]] के ETANN 80170NX जैसे पहले प्रयास<ref>John C. Dvorak: ''Intel’s 80170 chip has the theoretical intelligence of a cockroach'' in PC Magazine Volume 9 Number 10 (May 1990), p. 77, [https://archive.org/details/PC_Magazine_1990_05_29_v9n10/page/n83/mode/2up], retrieved May 16, 2021</ref> तंत्रिका कार्यों की गणना करने के लिए सम्मलित  एनालॉग सर्किट। बाद में Nestor/Intel [[Ni1000]] जैसे ऑल-डिजिटल चिप्स का अनुसरण किया गया। 1993 की शुरुआत में, [[ऑप्टिकल कैरेक्टर मान्यता]] सॉफ़्टवेयर को गति देने के लिए डिजिटल सिग्नल प्रोसेसर का उपयोग तंत्रिका नेटवर्क त्वरक के रूप में किया गया था।<ref>{{cite web |url=https://www.youtube.com/watch?v=FwFduRA_L6Q |title=convolutional neural network demo from 1993 featuring DSP32 accelerator|website=[[YouTube]] }}</ref> 1990 के दशक में, तंत्रिका नेटवर्क सिमुलेशन सहित विभिन्न अनुप्रयोगों के उद्देश्य से कार्यस्थानों के लिए समानांतर उच्च-थ्रूपुट सिस्टम बनाने का भी प्रयास किया गया था।<ref name="krste">{{Cite web|url=http://people.eecs.berkeley.edu/~krste/papers/cns-injs1993.ps|title=design of a connectionist network supercomputer}}</ref><ref name="krste general purpose">{{cite web |title=सामान्य प्रयोजन के कंप्यूटर का अंत (नहीं)| website=[[YouTube]] |url=https://www.youtube.com/watch?v=VtJthbiiTBQ}}This presentation covers a past attempt at neural net accelerators, notes the similarity to the modern SLI GPGPU processor setup, and argues that general purpose vector accelerators are the way forward (in relation to RISC-V hwacha project. Argues that NN's are just dense and sparse matrices, one of several recurring algorithms)</ref><ref>{{cite book |doi=10.1109/IPPS.1995.395862 |title=Proceedings of 9th International Parallel Processing Symposium |pages=774–781 |year=1995 |last1=Ramacher |first1=U. |last2=Raab |first2=W. |last3=Hachmann |first3=J.A.U. |last4=Beichter |first4=J. |last5=Bruls |first5=N. |last6=Wesseling |first6=M. |last7=Sicheneder |first7=E. |last8=Glass |first8=J. |last9=Wurz |first9=A. |last10=Manner |first10=R. |isbn=978-0-8186-7074-9 |citeseerx=10.1.1.27.6410 |s2cid=16364797}}</ref> [[क्षेत्र में प्रोग्राम की जा सकने वाली द्वार श्रंखला]] त्वरक भी पहली बार 1990 के दशक में दोनों अनुमानों के लिए खोजे गए थे।<ref name="fpga-inference">{{Cite web|url=https://www.researchgate.net/publication/2318589|title=Space Efficient Neural Net Implementation}}</ref> और प्रशिक्षण।<ref name="fpga-training">{{cite book |chapter=A Generic Building Block for Hopfield Neural Networks with On-Chip Learning |year=1996 |doi=10.1109/ISCAS.1996.598474 |s2cid=17630664 |title=1996 IEEE International Symposium on Circuits and Systems. Circuits and Systems Connecting the World. ISCAS 96 |last1=Gschwind |first1=M. |last2=Salapura |first2=V. |last3=Maischberger |first3=O. |pages=49–52 |isbn=0-7803-3073-0}}</ref> [[स्मार्टफोन]] ने 2015 में [[क्वालकॉम स्नैपड्रैगन 820]] से शुरू होने वाले एआई त्वरक को सम्मलित  करना शुरू किया।<ref>{{Cite web|title=क्वालकॉम नई स्नैपड्रैगन मशीन लर्निंग सॉफ्टवेयर डेवलपमेंट किट के साथ आपके मोबाइल उपकरणों को स्मार्ट बनाने में मदद करता है|url=https://www.qualcomm.com/news/releases/2016/05/02/qualcomm-helps-make-your-mobile-devices-smarter-new-snapdragon-machine|url-status=live|website=Qualcomm}}</ref><ref>{{Cite web|last=Rubin|first=Ben Fox|title=Qualcomm का Zeroth प्लेटफॉर्म आपके स्मार्टफोन को ज्यादा स्मार्ट बना सकता है|url=https://www.cnet.com/tech/mobile/qualcomms-zeroth-platform-could-make-your-smartphone-much-smarter/|access-date=September 28, 2021|website=CNET|language=en}}</ref>




=== विषम कंप्यूटिंग ===
=== विषम कंप्यूटिंग ===
{{Main|Heterogeneous computing}}
{{Main|विषम कंप्यूटिंग}}
हेटेरोजेनस कंप्यूटिंग एक सिस्टम में कई विशेष प्रोसेसर को शामिल करने या एक चिप को संदर्भित करता है, प्रत्येक एक विशिष्ट प्रकार के कार्य के लिए अनुकूलित होता है। आर्किटेक्चर जैसे [[सेल (माइक्रोप्रोसेसर)]]<ref name="cell">{{cite journal |title=सेल के मल्टीकोर आर्किटेक्चर में सिनर्जिस्टिक प्रोसेसिंग|year=2006 |doi=10.1109/MM.2006.41 |s2cid=17834015 |last1=Gschwind |first1=Michael |last2=Hofstee |first2=H. Peter |last3=Flachs |first3=Brian |last4=Hopkins |first4=Martin |last5=Watanabe |first5=Yukio |last6=Yamazaki |first6=Takeshi |journal=IEEE Micro |volume=26 |issue=2 |pages=10–24}}</ref> एआई त्वरक के साथ महत्वपूर्ण रूप से ओवरलैप करने वाली विशेषताएं हैं जिनमें शामिल हैं: पैक्ड कम सटीक अंकगणित, डेटाफ्लो आर्किटेक्चर के लिए समर्थन, और विलंबता पर 'थ्रूपुट' को प्राथमिकता देना। सेल माइक्रोप्रोसेसर को बाद में कई कार्यों में लागू किया गया<ref>{{cite journal |title=बायोमोलेक्युलर सिमुलेशन के लिए सेल प्रोसेसर का प्रदर्शन|journal=Computer Physics Communications |volume=176 |issue=11–12 |pages=660–664 |arxiv=physics/0611201 |doi=10.1016/j.cpc.2007.02.107 |year=2007 |last1=De Fabritiis |first1=G. |bibcode=2007CoPhC.176..660D |s2cid=13871063}}</ref><ref>{{cite book |title=सेल आर्किटेक्चर पर वीडियो प्रोसेसिंग और रिट्रीवल|citeseerx=10.1.1.138.5133}}</ref><ref>{{cite book |doi=10.1109/RT.2006.280210 |title=2006 IEEE Symposium on Interactive Ray Tracing |pages=15–23 |year=2006 |last1=Benthin |first1=Carsten |last2=Wald |first2=Ingo |last3=Scherbaum |first3=Michael |last4=Friedrich |first4=Heiko |isbn=978-1-4244-0693-7 |citeseerx=10.1.1.67.8982 |s2cid=1198101}}</ref> एआई सहित।<ref>{{Cite web|url=https://www.teco.edu/~scholz/papers/ScholzDiploma.pdf|title=Development of an artificial neural network on a heterogeneous multicore architecture to predict a successful weight loss in obese individuals}}</ref><ref>{{cite book |doi=10.1109/ccnc08.2007.235 |title=2008 5th IEEE Consumer Communications and Networking Conference |pages=1030–1034 |year=2008 |last1=Kwon |first1=Bomjun |last2=Choi |first2=Taiho |last3=Chung |first3=Heejin |last4=Kim |first4=Geonho |isbn=978-1-4244-1457-4 |s2cid=14429828}}</ref><ref>{{cite book |doi=10.1007/978-3-540-85451-7_71 |title=Euro-Par 2008 – Parallel Processing |volume=5168 |pages=665–675 |series=Lecture Notes in Computer Science |year=2008 |last1=Duan |first1=Rubing |last2=Strey |first2=Alfred |isbn=978-3-540-85450-0}}</ref>
 
हेटेरोजेनस कंप्यूटिंग एक सिस्टम में कई विशेष प्रोसेसर को सम्मलित  करने या एक चिप को संदर्भित करता है, प्रत्येक एक विशिष्ट प्रकार के कार्य के लिए अनुकूलित होता है। आर्किटेक्चर जैसे [[सेल (माइक्रोप्रोसेसर)]]<ref name="cell">{{cite journal |title=सेल के मल्टीकोर आर्किटेक्चर में सिनर्जिस्टिक प्रोसेसिंग|year=2006 |doi=10.1109/MM.2006.41 |s2cid=17834015 |last1=Gschwind |first1=Michael |last2=Hofstee |first2=H. Peter |last3=Flachs |first3=Brian |last4=Hopkins |first4=Martin |last5=Watanabe |first5=Yukio |last6=Yamazaki |first6=Takeshi |journal=IEEE Micro |volume=26 |issue=2 |pages=10–24}}</ref> एआई त्वरक के साथ महत्वपूर्ण रूप से ओवरलैप करने वाली विशेषताएं हैं जिनमें सम्मलित  हैं: पैक्ड कम सटीक अंकगणित, डेटाफ्लो आर्किटेक्चर के लिए समर्थन, और विलंबता पर 'थ्रूपुट' को प्राथमिकता देना। सेल माइक्रोप्रोसेसर को बाद में कई कार्यों में लागू किया गया<ref>{{cite journal |title=बायोमोलेक्युलर सिमुलेशन के लिए सेल प्रोसेसर का प्रदर्शन|journal=Computer Physics Communications |volume=176 |issue=11–12 |pages=660–664 |arxiv=physics/0611201 |doi=10.1016/j.cpc.2007.02.107 |year=2007 |last1=De Fabritiis |first1=G. |bibcode=2007CoPhC.176..660D |s2cid=13871063}}</ref><ref>{{cite book |title=सेल आर्किटेक्चर पर वीडियो प्रोसेसिंग और रिट्रीवल|citeseerx=10.1.1.138.5133}}</ref><ref>{{cite book |doi=10.1109/RT.2006.280210 |title=2006 IEEE Symposium on Interactive Ray Tracing |pages=15–23 |year=2006 |last1=Benthin |first1=Carsten |last2=Wald |first2=Ingo |last3=Scherbaum |first3=Michael |last4=Friedrich |first4=Heiko |isbn=978-1-4244-0693-7 |citeseerx=10.1.1.67.8982 |s2cid=1198101}}</ref> एआई सहित।<ref>{{Cite web|url=https://www.teco.edu/~scholz/papers/ScholzDiploma.pdf|title=Development of an artificial neural network on a heterogeneous multicore architecture to predict a successful weight loss in obese individuals}}</ref><ref>{{cite book |doi=10.1109/ccnc08.2007.235 |title=2008 5th IEEE Consumer Communications and Networking Conference |pages=1030–1034 |year=2008 |last1=Kwon |first1=Bomjun |last2=Choi |first2=Taiho |last3=Chung |first3=Heejin |last4=Kim |first4=Geonho |isbn=978-1-4244-1457-4 |s2cid=14429828}}</ref><ref>{{cite book |doi=10.1007/978-3-540-85451-7_71 |title=Euro-Par 2008 – Parallel Processing |volume=5168 |pages=665–675 |series=Lecture Notes in Computer Science |year=2008 |last1=Duan |first1=Rubing |last2=Strey |first2=Alfred |isbn=978-3-540-85450-0}}</ref>
 
2000 के दशक में, केंद्रीय प्रसंस्करण इकाइयों ने वीडियो और गेमिंग वर्कलोड द्वारा संचालित तेजी से विस्तृत [[SIMD]] इकाइयाँ प्राप्त कीं; साथ ही पैक किए गए निम्न-परिशुद्धता [[डेटा प्रकार]]ों के लिए समर्थन।<ref>{{cite web |title=AVX के साथ वीडियो के प्रदर्शन में सुधार|url=https://software.intel.com/content/www/us/en/develop/articles/improving-the-compute-performance-of-video-processing-software-using-avx-advanced-vector-extensions-instructions.html |date=February 8, 2012}}</ref> CPU के बढ़ते प्रदर्शन के कारण उनका उपयोग AI वर्कलोड चलाने के लिए भी किया जा रहा है। सीपीयू छोटे या मध्यम पैमाने के समानांतरवाद के साथ गहरे तंत्रिका नेटवर्क के लिए, विरल डीएनएन के लिए और कम-बैच-आकार के परिदृश्यों में बेहतर हैं।
2000 के दशक में, केंद्रीय प्रसंस्करण इकाइयों ने वीडियो और गेमिंग वर्कलोड द्वारा संचालित तेजी से विस्तृत [[SIMD]] इकाइयाँ प्राप्त कीं; साथ ही पैक किए गए निम्न-परिशुद्धता [[डेटा प्रकार]]ों के लिए समर्थन।<ref>{{cite web |title=AVX के साथ वीडियो के प्रदर्शन में सुधार|url=https://software.intel.com/content/www/us/en/develop/articles/improving-the-compute-performance-of-video-processing-software-using-avx-advanced-vector-extensions-instructions.html |date=February 8, 2012}}</ref> CPU के बढ़ते प्रदर्शन के कारण उनका उपयोग AI वर्कलोड चलाने के लिए भी किया जा रहा है। सीपीयू छोटे या मध्यम पैमाने के समानांतरवाद के साथ गहरे तंत्रिका नेटवर्क के लिए, विरल डीएनएन के लिए और कम-बैच-आकार के परिदृश्यों में बेहतर हैं।


=== जीपीयू का प्रयोग ===
=== जीपीयू का प्रयोग ===
ग्राफिक्स प्रोसेसिंग यूनिट या जीपीयू छवियों के हेरफेर और स्थानीय छवि गुणों की गणना के लिए विशेष हार्डवेयर हैं। तंत्रिका नेटवर्क और [[ग्राफिक्स पाइपलाइन]] का गणितीय आधार समान है, शर्मनाक रूप से समानांतर कार्य जिसमें मैट्रिसेस शामिल हैं, अग्रणी जीपीयू मशीन सीखने के कार्यों के लिए तेजी से उपयोग किया जाता है।<ref>{{cite web |url=https://hal.inria.fr/inria-00112631/document |title=microsoft research/pixel shaders/MNIST}}</ref><ref>{{Cite web|url=http://igoro.com/archive/how-gpu-came-to-be-used-for-general-computation/|title=How GPU came to be used for general computation}}</ref><ref>{{Cite web|url=https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf|title=ImageNet Classification with Deep Convolutional Neural Networks}}</ref> {{As of|2016}}, GPUs AI कार्य के लिए लोकप्रिय हैं, और वे प्रशिक्षण के लिए गहन शिक्षण की सुविधा के लिए एक दिशा में विकसित होना जारी रखते हैं<ref>{{cite web |title=एनवीडिया गहन शिक्षा के विकास को चला रहा है|url=https://insidehpc.com/2016/05/nvidia-driving-the-development-of-deep-learning/ |date=May 17, 2016}}</ref> और [[सेल्फ ड्राइविंग कार]] जैसे उपकरणों में निष्कर्ष।<ref>{{cite web |title=एनवीडिया ने सेल्फ ड्राइविंग कारों के लिए पेश किया सुपरकंप्यूटर|url=http://gas2.org/2016/01/06/nvidia-introduces-supercomputer-for-self-driving-cars/ |date=January 6, 2016}}</ref> एनवीडिया [[एनवीलिंक]] जैसे जीपीयू डेवलपर्स डेटाफ्लो वर्कलोड एआई लाभ के प्रकार के लिए अतिरिक्त संयोजी क्षमता विकसित कर रहे हैं।<ref>{{cite web |title=कैसे nvlink तेज और आसान मल्टी GPU कंप्यूटिंग को सक्षम करेगा|url=https://developer.nvidia.com/blog/how-nvlink-will-enable-faster-easier-multi-gpu-computing/ |date=November 14, 2014}}</ref> जैसा कि एआई त्वरण के लिए जीपीयू को तेजी से लागू किया गया है, जीपीयू निर्माताओं ने इन कार्यों को और तेज करने के लिए [[ तंत्रिका नेटवर्क ]]-एप्लिकेशन-विशिष्ट एकीकृत सर्किट हार्डवेयर को शामिल किया है।<ref>"[https://www.researchgate.net/publication/329802520_A_Survey_on_Optimized_Implementation_of_Deep_Learning_Models_on_the_NVIDIA_Jetson_Platform A Survey on Optimized Implementation of Deep Learning Models on the NVIDIA Jetson Platform]", 2019</ref><ref name="CUDA9">{{cite web |first=Mark |last=Harris |url=https://developer.nvidia.com/blog/cuda-9-features-revealed/ |title=CUDA 9 Features Revealed: Volta, Cooperative Groups and More |date=May 11, 2017 |access-date=August 12, 2017}}</ref> टेंसर [[प्रोसेसर कोर]] का उद्देश्य तंत्रिका नेटवर्क के प्रशिक्षण को गति देना है।<ref name="CUDA9"/>
ग्राफिक्स प्रोसेसिंग यूनिट या जीपीयू छवियों के हेरफेर और स्थानीय छवि गुणों की गणना के लिए विशेष हार्डवेयर हैं। तंत्रिका नेटवर्क और [[ग्राफिक्स पाइपलाइन]] का गणितीय आधार समान है, शर्मनाक रूप से समानांतर कार्य जिसमें मैट्रिसेस सम्मलित  हैं, अग्रणी जीपीयू मशीन सीखने के कार्यों के लिए तेजी से उपयोग किया जाता है।<ref>{{cite web |url=https://hal.inria.fr/inria-00112631/document |title=microsoft research/pixel shaders/MNIST}}</ref><ref>{{Cite web|url=http://igoro.com/archive/how-gpu-came-to-be-used-for-general-computation/|title=How GPU came to be used for general computation}}</ref><ref>{{Cite web|url=https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf|title=ImageNet Classification with Deep Convolutional Neural Networks}}</ref> {{As of|2016}}, GPUs AI कार्य के लिए लोकप्रिय हैं, और वे प्रशिक्षण के लिए गहन शिक्षण की सुविधा के लिए एक दिशा में विकसित होना जारी रखते हैं<ref>{{cite web |title=एनवीडिया गहन शिक्षा के विकास को चला रहा है|url=https://insidehpc.com/2016/05/nvidia-driving-the-development-of-deep-learning/ |date=May 17, 2016}}</ref> और [[सेल्फ ड्राइविंग कार]] जैसे उपकरणों में निष्कर्ष।<ref>{{cite web |title=एनवीडिया ने सेल्फ ड्राइविंग कारों के लिए पेश किया सुपरकंप्यूटर|url=http://gas2.org/2016/01/06/nvidia-introduces-supercomputer-for-self-driving-cars/ |date=January 6, 2016}}</ref> एनवीडिया [[एनवीलिंक]] जैसे जीपीयू डेवलपर्स डेटाफ्लो वर्कलोड एआई लाभ के प्रकार के लिए अतिरिक्त संयोजी क्षमता विकसित कर रहे हैं।<ref>{{cite web |title=कैसे nvlink तेज और आसान मल्टी GPU कंप्यूटिंग को सक्षम करेगा|url=https://developer.nvidia.com/blog/how-nvlink-will-enable-faster-easier-multi-gpu-computing/ |date=November 14, 2014}}</ref> जैसा कि एआई त्वरण के लिए जीपीयू को तेजी से लागू किया गया है, जीपीयू निर्माताओं ने इन कार्यों को और तेज करने के लिए [[ तंत्रिका नेटवर्क ]]-एप्लिकेशन-विशिष्ट एकीकृत सर्किट हार्डवेयर को सम्मलित  किया है।<ref>"[https://www.researchgate.net/publication/329802520_A_Survey_on_Optimized_Implementation_of_Deep_Learning_Models_on_the_NVIDIA_Jetson_Platform A Survey on Optimized Implementation of Deep Learning Models on the NVIDIA Jetson Platform]", 2019</ref><ref name="CUDA9">{{cite web |first=Mark |last=Harris |url=https://developer.nvidia.com/blog/cuda-9-features-revealed/ |title=CUDA 9 Features Revealed: Volta, Cooperative Groups and More |date=May 11, 2017 |access-date=August 12, 2017}}</ref> टेंसर [[प्रोसेसर कोर]] का उद्देश्य तंत्रिका नेटवर्क के प्रशिक्षण को गति देना है।<ref name="CUDA9"/>




Line 26: Line 27:
Microsoft ने अनुमान लगाने में तेजी लाने के लिए FPGA चिप्स का उपयोग किया है।<ref>{{cite web |title=प्रोजेक्ट ब्रेनवेव|url=https://www.microsoft.com/en-us/research/project/project-brainwave/ |access-date=June 16, 2020 |website=Microsoft Research |language=en-US}}</ref>
Microsoft ने अनुमान लगाने में तेजी लाने के लिए FPGA चिप्स का उपयोग किया है।<ref>{{cite web |title=प्रोजेक्ट ब्रेनवेव|url=https://www.microsoft.com/en-us/research/project/project-brainwave/ |access-date=June 16, 2020 |website=Microsoft Research |language=en-US}}</ref>


 
=== समर्पित एआई त्वरक ASICs का उद्भव ===
=== समर्पित एआई त्वरक ASICs === का उद्भव
जबकि जीपीयू और एफपीजीए एआई से संबंधित कार्यों के लिए सीपीयू की तुलना में कहीं बेहतर प्रदर्शन करते हैं, दक्षता में 10 तक का कारक<ref>{{cite web |url=https://techreport.com/news/30155/google-boosts-machine-learning-with-its-tensor-processing-unit/ |title=Google अपने Tensor Processing Unit के साथ मशीन लर्निंग को बढ़ावा देता है|date=May 19, 2016 |access-date=September 13, 2016}}</ref><ref>{{cite web |url=https://www.sciencedaily.com/releases/2016/02/160203134840.htm |title=चिप मोबाइल उपकरणों में गहन शिक्षा ला सकती है|date=February 3, 2016 |website=www.sciencedaily.com |access-date=September 13, 2016}}</ref> एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASIC) के माध्यम से अधिक विशिष्ट डिज़ाइन के साथ प्राप्त किया जा सकता है।{{citation needed |date=November 2017}} ये त्वरक अनुकूलित [[कैश-जागरूक मॉडल]] जैसी रणनीतियों को नियोजित करते हैं{{citation needed |date=November 2017}} और गणना में तेजी लाने और गणना के [[THROUGHPUT]] को बढ़ाने के लिए [[ minifloat | minifloat]] का उपयोग।<ref name="lowprecision">{{Cite web|url=http://proceedings.mlr.press/v37/gupta15.pdf|title=Deep Learning with Limited Numerical Precision}}</ref><ref>{{cite arXiv |title=XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks |eprint=1603.05279 |last1=Rastegari |first1=Mohammad |last2=Ordonez |first2=Vicente |last3=Redmon |first3=Joseph |last4=Farhadi |first4=Ali |class=cs.CV |year=2016}}</ref> एआई त्वरण का उपयोग करने वाले कुछ निम्न-परिशुद्धता फ़्लोटिंग-पॉइंट स्वरूपों को अपनाया जाता है, आधा-परिशुद्धता [[फ़्लोटिंग-पॉइंट प्रारूप]] | आधा-परिशुद्धता और bfloat16 फ़्लोटिंग-पॉइंट प्रारूप।<ref>{{cite web |title=इंटेल ने त्वरित एआई प्रशिक्षण के लिए नर्वाना न्यूरल नेट एल-1000 का अनावरण किया|author=Khari Johnson |work=VentureBeat |date=May 23, 2018 |access-date=May 23, 2018 |url=https://venturebeat.com/2018/05/23/intel-unveils-nervana-neural-net-l-1000-for-accelerated-ai-training/ |quote=...Intel will be extending bfloat16 support across our AI product lines, including Intel Xeon processors and Intel FPGAs.}}</ref><ref name="top5_Inte">{{cite web |title=इंटेल ने एआई पोर्टफोलियो के लिए नया रोडमैप पेश किया|author=Michael Feldman |work=TOP500 Supercomputer Sites |date=May 23, 2018 |access-date=May 23, 2018 |url=https://www.top500.org/news/intel-lays-out-new-roadmap-for-ai-portfolio/ |quote=इंटेल की योजना अपने सभी AI उत्पादों में इस प्रारूप का समर्थन करने की है, जिसमें Xeon और FPGA लाइनें शामिल हैं}}</ref><ref name="toms_Inte">{{cite web |title=इंटेल 2019 में अपना पहला न्यूरल नेटवर्क प्रोसेसर स्प्रिंग क्रेस्ट लॉन्च करेगा|author=Lucian Armasu |work=Tom's Hardware |date=May 23, 2018 |access-date=May 23, 2018 |url=https://www.tomshardware.com/news/intel-neural-network-processor-lake-crest,37105.html |quote=Intel ने कहा कि NNP-L1000 bfloat16 को भी सपोर्ट करेगा, एक न्यूमेरिकल फॉर्मेट जिसे न्यूरल नेटवर्क के लिए सभी ML इंडस्ट्री प्लेयर्स द्वारा अपनाया जा रहा है। कंपनी अपने FPGAs, Xeons और अन्य ML उत्पादों में bfloat16 का भी समर्थन करेगी। Nervana NNP-L1000 2019 में रिलीज होने वाली है।}}</ref><ref name="clou_Avai">{{cite web |title=उपलब्ध TensorFlow ऑप्स {{!}} क्लाउड TPU {{!}} Google क्लाउड|work=Google Cloud |access-date=May 23, 2018 |url=https://cloud.google.com/tpu/docs/tensorflow-ops |quote=यह पृष्ठ क्लाउड टीपीयू पर उपलब्ध TensorFlow Python APIs और ग्राफ़ ऑपरेटरों को सूचीबद्ध करता है।}}</ref><ref name="blog_Comp">{{cite web |title=Google के TPUv2 की तुलना ResNet-50 पर Nvidia के V100 से करना|author=Elmar Haußmann |work=RiseML Blog |date=April 26, 2018 |access-date=May 23, 2018 |url=https://blog.riseml.com/comparing-google-tpuv2-against-nvidia-v100-on-resnet-50-c2bbb6a51e5e |quote=क्लाउड टीपीयू के लिए, Google ने सिफारिश की है कि हम TensorFlow 1.7.0 के साथ आधिकारिक टीपीयू रिपॉजिटरी से bfloat16 कार्यान्वयन का उपयोग करें। टीपीयू और जीपीयू दोनों कार्यान्वयन संबंधित वास्तुकला पर मिश्रित-सटीक संगणना का उपयोग करते हैं और अधिकांश टेंसरों को अर्ध-परिशुद्धता के साथ संग्रहीत करते हैं।|url-status=dead |archive-url=https://web.archive.org/web/20180426200043/https://blog.riseml.com/comparing-google-tpuv2-against-nvidia-v100-on-resnet-50-c2bbb6a51e5e |archive-date=April 26, 2018 }}</ref><ref name="gith_tens">{{cite web |title=TPU पर BFloat16 का उपयोग करते हुए ResNet-50|author=Tensorflow Authors |work=Google |date=February 28, 2018 |access-date=May 23, 2018 |url=https://github.com/tensorflow/tpu/tree/master/models/experimental/resnet_bfloat16}}{{Dead link |date=April 2019 |bot=InternetArchiveBot |fix-attempted=yes}}</ref><ref name="arxiv_1711.10604"><nowiki>{{cite report |title=टेंसरफ्लो वितरण|author=Joshua V. Dillon |author2=Ian Langmore |author3=Dustin Tran |author4=Eugene Brevdo |author5=Srinivas Vasudevan |author6=Dave Moore |author7=Brian Patton |author8=Alex Alemi |author9=Matt Hoffman |author10=Rif A. Saurous |date=November 28, 2017 |id=Accessed May 23, 2018 |arxiv=1711.10604 |quote=All operations in टेंसरफ्लो वितरणare numerically stable across half, single, and double floating-point precisions (as TensorFlow dtypes: tf.bfloat16 (truncated floating point), tf.float16, tf.float32, tf.float64). Class constructors have a validate_args flag for numerical asserts |bibcode=2017arXiv171110604D}</nowiki></ref> Google, Qualcomm, Amazon, Apple, Facebook, AMD और Samsung जैसी कंपनियां अपने-अपने AI ASIC डिजाइन कर रही हैं। रेफरी>{{cite web |title=Google ने एक शक्तिशाली नई AI चिप और सुपरकंप्यूटर का खुलासा किया|url=https://www.technologyreview.com/2017/05/17/151656/google-reveals-a-powerful-new-ai-chip-and-supercomputer/ |access-date=July 27, 2021 |website=MIT Technology Review |language=en}}<nowiki></ref></nowiki><ref>{{cite web |title=What to Expect From Apple's Neural Engine in the A11 Bionic SoC – ExtremeTech |url=https://www.extremetech.com/mobile/255780-apple-neural-engine-a11-bionic-soc |access-date=July 27, 2021 |website=www.extremetech.com}}</ref><ref>{{cite web |url=https://social.techcrunch.com/2018/04/18/facebook-has-a-new-job-posting-calling-for-chip-designers/ |title=फेसबुक के पास चिप डिजाइनरों के लिए एक नई जॉब पोस्टिंग है|date=April 19, 2018 }}</ref><ref>{{cite news |title=फेसबुक AI चिप की दौड़ में Amazon और Google से जुड़ता है|url=https://www.ft.com/content/1c2aab18-3337-11e9-bd3a-8b2a211d90d5 |newspaper=Financial Times|date=February 18, 2019 }}</ref><ref>{{cite web |last=Amadeo |first=Ron |date=May 11, 2021 |title=सैमसंग और एएमडी कथित तौर पर इस साल के अंत में ऐप्पल के एम1 एसओसी को टक्कर देंगे|url=https://arstechnica.com/gadgets/2021/05/report-the-samsung-amd-exynos-soc-will-be-out-for-laptops-this-year/ |access-date=July 28, 2021 |website=Ars Technica |language=en-us}}</ref><ref>{{Cite web|last=Smith|first=Ryan|title=The AI Race Expands: Qualcomm Reveals "Cloud AI 100" Family of Datacenter AI Inference Accelerators for 2020|url=https://www.anandtech.com/show/14187/qualcomm-reveals-cloud-ai-100-family-of-datacenter-ai-inference-accelerators-for-2020|access-date=September 28, 2021|website=www.anandtech.com}}</ref> [[ दिमाग | दिमाग]] ने डीप लर्निंग वर्कलोड को सपोर्ट करने के लिए उद्योग में सबसे बड़े प्रोसेसर, दूसरी पीढ़ी के वेफर स्केल इंजन (डब्ल्यूएसई-2) पर आधारित एक समर्पित एआई एक्सीलरेटर भी बनाया है।<ref>{{Cite web |last=Woodie |first=Alex |date=2021-11-01 |title=सेरेब्रस डीप लर्निंग वर्कलोड के लिए त्वरक हिट करता है|url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/ |access-date=2022-08-03 |website=Datanami}}</ref><ref>{{Cite web |date=2021-04-20 |title=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors |url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/ |access-date=2022-08-03 |website=VentureBeat |language=en-US}}</ref>
जबकि जीपीयू और एफपीजीए एआई से संबंधित कार्यों के लिए सीपीयू की तुलना में कहीं बेहतर प्रदर्शन करते हैं, दक्षता में 10 तक का कारक<ref>{{cite web |url=https://techreport.com/news/30155/google-boosts-machine-learning-with-its-tensor-processing-unit/ |title=Google अपने Tensor Processing Unit के साथ मशीन लर्निंग को बढ़ावा देता है|date=May 19, 2016 |access-date=September 13, 2016}}</ref><ref>{{cite web |url=https://www.sciencedaily.com/releases/2016/02/160203134840.htm |title=चिप मोबाइल उपकरणों में गहन शिक्षा ला सकती है|date=February 3, 2016 |website=www.sciencedaily.com |access-date=September 13, 2016}}</ref> एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASIC) के माध्यम से अधिक विशिष्ट डिज़ाइन के साथ प्राप्त किया जा सकता है।{{citation needed |date=November 2017}} ये त्वरक अनुकूलित [[कैश-जागरूक मॉडल]] जैसी रणनीतियों को नियोजित करते हैं{{citation needed |date=November 2017}} और गणना में तेजी लाने और गणना के [[THROUGHPUT]] को बढ़ाने के लिए [[ minifloat ]] का उपयोग।<ref name="lowprecision">{{Cite web|url=http://proceedings.mlr.press/v37/gupta15.pdf|title=Deep Learning with Limited Numerical Precision}}</ref><ref>{{cite arXiv |title=XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks |eprint=1603.05279 |last1=Rastegari |first1=Mohammad |last2=Ordonez |first2=Vicente |last3=Redmon |first3=Joseph |last4=Farhadi |first4=Ali |class=cs.CV |year=2016}}</ref> एआई त्वरण का उपयोग करने वाले कुछ निम्न-परिशुद्धता फ़्लोटिंग-पॉइंट स्वरूपों को अपनाया जाता है, आधा-परिशुद्धता [[फ़्लोटिंग-पॉइंट प्रारूप]] | आधा-परिशुद्धता और bfloat16 फ़्लोटिंग-पॉइंट प्रारूप।<ref>{{cite web |title=इंटेल ने त्वरित एआई प्रशिक्षण के लिए नर्वाना न्यूरल नेट एल-1000 का अनावरण किया|author=Khari Johnson |work=VentureBeat |date=May 23, 2018 |access-date=May 23, 2018 |url=https://venturebeat.com/2018/05/23/intel-unveils-nervana-neural-net-l-1000-for-accelerated-ai-training/ |quote=...Intel will be extending bfloat16 support across our AI product lines, including Intel Xeon processors and Intel FPGAs.}}</ref><ref name="top5_Inte">{{cite web |title=इंटेल ने एआई पोर्टफोलियो के लिए नया रोडमैप पेश किया|author=Michael Feldman |work=TOP500 Supercomputer Sites |date=May 23, 2018 |access-date=May 23, 2018 |url=https://www.top500.org/news/intel-lays-out-new-roadmap-for-ai-portfolio/ |quote=इंटेल की योजना अपने सभी AI उत्पादों में इस प्रारूप का समर्थन करने की है, जिसमें Xeon और FPGA लाइनें शामिल हैं}}</ref><ref name="toms_Inte">{{cite web |title=इंटेल 2019 में अपना पहला न्यूरल नेटवर्क प्रोसेसर स्प्रिंग क्रेस्ट लॉन्च करेगा|author=Lucian Armasu |work=Tom's Hardware |date=May 23, 2018 |access-date=May 23, 2018 |url=https://www.tomshardware.com/news/intel-neural-network-processor-lake-crest,37105.html |quote=Intel ने कहा कि NNP-L1000 bfloat16 को भी सपोर्ट करेगा, एक न्यूमेरिकल फॉर्मेट जिसे न्यूरल नेटवर्क के लिए सभी ML इंडस्ट्री प्लेयर्स द्वारा अपनाया जा रहा है। कंपनी अपने FPGAs, Xeons और अन्य ML उत्पादों में bfloat16 का भी समर्थन करेगी। Nervana NNP-L1000 2019 में रिलीज होने वाली है।}}</ref><ref name="clou_Avai">{{cite web |title=उपलब्ध TensorFlow ऑप्स {{!}} क्लाउड TPU {{!}} Google क्लाउड|work=Google Cloud |access-date=May 23, 2018 |url=https://cloud.google.com/tpu/docs/tensorflow-ops |quote=यह पृष्ठ क्लाउड टीपीयू पर उपलब्ध TensorFlow Python APIs और ग्राफ़ ऑपरेटरों को सूचीबद्ध करता है।}}</ref><ref name="blog_Comp">{{cite web |title=Google के TPUv2 की तुलना ResNet-50 पर Nvidia के V100 से करना|author=Elmar Haußmann |work=RiseML Blog |date=April 26, 2018 |access-date=May 23, 2018 |url=https://blog.riseml.com/comparing-google-tpuv2-against-nvidia-v100-on-resnet-50-c2bbb6a51e5e |quote=क्लाउड टीपीयू के लिए, Google ने सिफारिश की है कि हम TensorFlow 1.7.0 के साथ आधिकारिक टीपीयू रिपॉजिटरी से bfloat16 कार्यान्वयन का उपयोग करें। टीपीयू और जीपीयू दोनों कार्यान्वयन संबंधित वास्तुकला पर मिश्रित-सटीक संगणना का उपयोग करते हैं और अधिकांश टेंसरों को अर्ध-परिशुद्धता के साथ संग्रहीत करते हैं।|url-status=dead |archive-url=https://web.archive.org/web/20180426200043/https://blog.riseml.com/comparing-google-tpuv2-against-nvidia-v100-on-resnet-50-c2bbb6a51e5e |archive-date=April 26, 2018 }}</ref><ref name="gith_tens">{{cite web |title=TPU पर BFloat16 का उपयोग करते हुए ResNet-50|author=Tensorflow Authors |work=Google |date=February 28, 2018 |access-date=May 23, 2018 |url=https://github.com/tensorflow/tpu/tree/master/models/experimental/resnet_bfloat16}}{{Dead link |date=April 2019 |bot=InternetArchiveBot |fix-attempted=yes}}</ref><ref name="arxiv_1711.10604">{{cite report |title=टेंसरफ्लो वितरण|author=Joshua V. Dillon |author2=Ian Langmore |author3=Dustin Tran |author4=Eugene Brevdo |author5=Srinivas Vasudevan |author6=Dave Moore |author7=Brian Patton |author8=Alex Alemi |author9=Matt Hoffman |author10=Rif A. Saurous |date=November 28, 2017 |id=Accessed May 23, 2018 |arxiv=1711.10604 |quote=All operations in टेंसरफ्लो वितरणare numerically stable across half, single, and double floating-point precisions (as TensorFlow dtypes: tf.bfloat16 (truncated floating point), tf.float16, tf.float32, tf.float64). Class constructors have a validate_args flag for numerical asserts |bibcode=2017arXiv171110604D}</ref> Google, Qualcomm, Amazon, Apple, Facebook, AMD और Samsung जैसी कंपनियां अपने-अपने AI ASIC डिजाइन कर रही हैं। रेफरी>{{cite web |title=Google ने एक शक्तिशाली नई AI चिप और सुपरकंप्यूटर का खुलासा किया|url=https://www.technologyreview.com/2017/05/17/151656/google-reveals-a-powerful-new-ai-chip-and-supercomputer/ |access-date=July 27, 2021 |website=MIT Technology Review |language=en}}</ref><ref>{{cite web |title=What to Expect From Apple's Neural Engine in the A11 Bionic SoC – ExtremeTech |url=https://www.extremetech.com/mobile/255780-apple-neural-engine-a11-bionic-soc |access-date=July 27, 2021 |website=www.extremetech.com}}</ref><ref>{{cite web |url=https://social.techcrunch.com/2018/04/18/facebook-has-a-new-job-posting-calling-for-chip-designers/ |title=फेसबुक के पास चिप डिजाइनरों के लिए एक नई जॉब पोस्टिंग है|date=April 19, 2018 }}</ref><ref>{{cite news |title=फेसबुक AI चिप की दौड़ में Amazon और Google से जुड़ता है|url=https://www.ft.com/content/1c2aab18-3337-11e9-bd3a-8b2a211d90d5 |newspaper=Financial Times|date=February 18, 2019 }}</ref><ref>{{cite web |last=Amadeo |first=Ron |date=May 11, 2021 |title=सैमसंग और एएमडी कथित तौर पर इस साल के अंत में ऐप्पल के एम1 एसओसी को टक्कर देंगे|url=https://arstechnica.com/gadgets/2021/05/report-the-samsung-amd-exynos-soc-will-be-out-for-laptops-this-year/ |access-date=July 28, 2021 |website=Ars Technica |language=en-us}}</ref><ref>{{Cite web|last=Smith|first=Ryan|title=The AI Race Expands: Qualcomm Reveals "Cloud AI 100" Family of Datacenter AI Inference Accelerators for 2020|url=https://www.anandtech.com/show/14187/qualcomm-reveals-cloud-ai-100-family-of-datacenter-ai-inference-accelerators-for-2020|access-date=September 28, 2021|website=www.anandtech.com}}</ref> [[ दिमाग ]] ने डीप लर्निंग वर्कलोड को सपोर्ट करने के लिए उद्योग में सबसे बड़े प्रोसेसर, दूसरी पीढ़ी के वेफर स्केल इंजन (डब्ल्यूएसई-2) पर आधारित एक समर्पित एआई एक्सीलरेटर भी बनाया है।<ref>{{Cite web |last=Woodie |first=Alex |date=2021-11-01 |title=सेरेब्रस डीप लर्निंग वर्कलोड के लिए त्वरक हिट करता है|url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/ |access-date=2022-08-03 |website=Datanami}}</ref><ref>{{Cite web |date=2021-04-20 |title=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors |url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/ |access-date=2022-08-03 |website=VentureBeat |language=en-US}}</ref>




Line 52: Line 52:


अतीत में जब उपभोक्ता [[ग्राफिक्स त्वरक]] उभरे, तो उद्योग ने अंततः ए[[ NVIDIA ]] के स्व-निर्दिष्ट शब्द, जीपीयू को अपनाया,<ref>{{cite web |url=http://www.nvidia.com/object/IO_20020111_5424.html |title=NVIDIA launches the World's First Graphics Processing Unit, the GeForce 256|archive-url=https://web.archive.org/web/20160227145622/http://www.nvidia.com/object/IO_20020111_5424.html |archive-date=February 27, 2016 }}</ref>
अतीत में जब उपभोक्ता [[ग्राफिक्स त्वरक]] उभरे, तो उद्योग ने अंततः ए[[ NVIDIA ]] के स्व-निर्दिष्ट शब्द, जीपीयू को अपनाया,<ref>{{cite web |url=http://www.nvidia.com/object/IO_20020111_5424.html |title=NVIDIA launches the World's First Graphics Processing Unit, the GeForce 256|archive-url=https://web.archive.org/web/20160227145622/http://www.nvidia.com/object/IO_20020111_5424.html |archive-date=February 27, 2016 }}</ref>
ग्राफिक्स त्वरक के लिए सामूहिक संज्ञा के रूप में, जिसने [[Direct3D]] द्वारा प्रस्तुत एक मॉडल को लागू करने वाली समग्र ग्राफिक्स पाइपलाइन पर बसने से पहले कई रूप ले लिए थे।
ग्राफिक्स त्वरक के लिए सामूहिक संज्ञा के रूप में, जिसने [[Direct3D|डायरेक्ट 3D]] द्वारा प्रस्तुत एक मॉडल को लागू करने वाली समग्र ग्राफिक्स पाइपलाइन पर बसने से पहले कई रूप ले लिए थे।


== संभावित अनुप्रयोग ==
== संभावित अनुप्रयोग ==
Line 63: Line 63:
*[[प्राकृतिक भाषा प्रसंस्करण]]
*[[प्राकृतिक भाषा प्रसंस्करण]]
*[[खोज इंजन]], डेटा केंद्रों की गणना में ऊर्जा दक्षता में वृद्धि और तेजी से उन्नत सूचना पुनर्प्राप्ति का उपयोग करने की क्षमता।
*[[खोज इंजन]], डेटा केंद्रों की गणना में ऊर्जा दक्षता में वृद्धि और तेजी से उन्नत सूचना पुनर्प्राप्ति का उपयोग करने की क्षमता।
*मानवरहित हवाई वाहन, उदा. नेविगेशन सिस्टम, उदा। [[Movidius Myriad 2]] को स्वायत्त ड्रोन का सफलतापूर्वक मार्गदर्शन करने के लिए प्रदर्शित किया गया है।<ref>{{cite web |title=movidius दुनिया के सबसे बुद्धिमान ड्रोन को शक्ति प्रदान करता है|url=https://www.siliconrepublic.com/machines/movidius-dji-drone |date=March 16, 2016}}</ref>
*मानवरहित हवाई वाहन, उदाहरण . नेविगेशन सिस्टम, उदा। [[Movidius Myriad 2|मूवीडियस मिरियड 2]] को स्वायत्त ड्रोन का सफलतापूर्वक मार्गदर्शन करने के लिए प्रदर्शित किया गया है।<ref>{{cite web |title=movidius दुनिया के सबसे बुद्धिमान ड्रोन को शक्ति प्रदान करता है|url=https://www.siliconrepublic.com/machines/movidius-dji-drone |date=March 16, 2016}}</ref>
* [[वॉयस यूजर इंटरफेस]], उदा। मोबाइल फोन में, क्वालकॉम [[ शून्य (सॉफ्टवेयर) ]] के लिए एक लक्ष्य।<ref>{{cite web |title=Qualcomm Research brings server class machine learning to everyday devices–making them smarter [VIDEO] |url=https://www.qualcomm.com/news/onq/2015/10/01/qualcomm-research-brings-server-class-machine-learning-everyday-devices-making |date=October 2015}}</ref>
* [[वॉयस यूजर इंटरफेस]], उदाहरण । मोबाइल फोन में, क्वालकॉम [[ शून्य (सॉफ्टवेयर) ]] के लिए एक लक्ष्य।<ref>{{cite web |title=Qualcomm Research brings server class machine learning to everyday devices–making them smarter [VIDEO] |url=https://www.qualcomm.com/news/onq/2015/10/01/qualcomm-research-brings-server-class-machine-learning-everyday-devices-making |date=October 2015}}</ref>




Revision as of 23:59, 2 June 2023

एआई त्वरक विशेष हार्डवेयर त्वरण का एक वर्ग है[1] या कंप्यूटर सिस्टम[2][3] कृत्रिम तंत्रिका नेटवर्क और मशीन दृष्टि सहित कृत्रिम बुद्धि और मशीन सीखने के अनुप्रयोगों में तेजी लाने के लिए डिज़ाइन किया गया। विशिष्ट अनुप्रयोगों में रोबोटिक, चीजों की इंटरनेट और अन्य डेटा (कंप्यूटिंग)-गहन या सेंसर-चालित कार्यों के लिए एल्गोरिदम सम्मलित हैं।[4] वे अधिकांशतः कई कोर डिजाइन होते हैं और सामान्यतः सटीक (कंप्यूटर विज्ञान) पर ध्यान केंद्रित करते हैं। कम-परिशुद्धता अंकगणित, उपन्यास डेटाफ्लो आर्किटेक्चर या इन-मेमोरी कंप्यूटिंग क्षमता। As of 2018, MOSFET ट्रांजिस्टर की गिनती एक विशिष्ट AI एकीकृत सर्किट चिप ट्रांजिस्टर गिनती।[5] इस श्रेणी में उपकरणों के लिए कई विक्रेता-विशिष्ट शब्द उपस्थित हैं, और यह एक प्रमुख डिजाइन के बिना उभरती हुई प्रौद्योगिकियां हैं।

इतिहास

कंप्यूटर सिस्टम ने केंद्रीय प्रसंस्करण इकाई को विशेष कार्यों के लिए विशेष-उद्देश्य त्वरक के साथ अधिकांशतः पूरक किया है, जिसे सह प्रोसेसर के रूप में जाना जाता है। उल्लेखनीय एप्लिकेशन-विशिष्ट एकीकृत सर्किट | एप्लिकेशन-विशिष्ट विस्तार कार्ड में कंप्यूटर चित्रलेख , अच्छा पत्रक , ग्राफ़िक्स प्रोसेसिंग युनिट और डिजिटल सिग्नल प्रोसेसर के लिए वीडियो कार्ड सम्मलित हैं। जैसा कि 2010 के दशक में गहन शिक्षण और आर्टिफिशियल इंटेलिजेंस वर्कलोड प्रमुखता से बढ़ा, विशेष हार्डवेयर इकाइयां विकसित की गईं या उपस्थित उत्पादों से इन कार्यों को हार्डवेयर त्वरण के लिए अनुकूलित किया गया। AI त्वरक के प्रदर्शन का मूल्यांकन करने के लिए MLPerf जैसे बेंचमार्क का उपयोग किया जा सकता है।[6]


प्रारंभिक प्रयास

इंटेल के ETANN 80170NX जैसे पहले प्रयास[7] तंत्रिका कार्यों की गणना करने के लिए सम्मलित एनालॉग सर्किट। बाद में Nestor/Intel Ni1000 जैसे ऑल-डिजिटल चिप्स का अनुसरण किया गया। 1993 की शुरुआत में, ऑप्टिकल कैरेक्टर मान्यता सॉफ़्टवेयर को गति देने के लिए डिजिटल सिग्नल प्रोसेसर का उपयोग तंत्रिका नेटवर्क त्वरक के रूप में किया गया था।[8] 1990 के दशक में, तंत्रिका नेटवर्क सिमुलेशन सहित विभिन्न अनुप्रयोगों के उद्देश्य से कार्यस्थानों के लिए समानांतर उच्च-थ्रूपुट सिस्टम बनाने का भी प्रयास किया गया था।[9][10][11] क्षेत्र में प्रोग्राम की जा सकने वाली द्वार श्रंखला त्वरक भी पहली बार 1990 के दशक में दोनों अनुमानों के लिए खोजे गए थे।[12] और प्रशिक्षण।[13] स्मार्टफोन ने 2015 में क्वालकॉम स्नैपड्रैगन 820 से शुरू होने वाले एआई त्वरक को सम्मलित करना शुरू किया।[14][15]


विषम कंप्यूटिंग

Main article: विषम कंप्यूटिंग

हेटेरोजेनस कंप्यूटिंग एक सिस्टम में कई विशेष प्रोसेसर को सम्मलित करने या एक चिप को संदर्भित करता है, प्रत्येक एक विशिष्ट प्रकार के कार्य के लिए अनुकूलित होता है। आर्किटेक्चर जैसे सेल (माइक्रोप्रोसेसर)[16] एआई त्वरक के साथ महत्वपूर्ण रूप से ओवरलैप करने वाली विशेषताएं हैं जिनमें सम्मलित हैं: पैक्ड कम सटीक अंकगणित, डेटाफ्लो आर्किटेक्चर के लिए समर्थन, और विलंबता पर 'थ्रूपुट' को प्राथमिकता देना। सेल माइक्रोप्रोसेसर को बाद में कई कार्यों में लागू किया गया[17][18][19] एआई सहित।[20][21][22]

2000 के दशक में, केंद्रीय प्रसंस्करण इकाइयों ने वीडियो और गेमिंग वर्कलोड द्वारा संचालित तेजी से विस्तृत SIMD इकाइयाँ प्राप्त कीं; साथ ही पैक किए गए निम्न-परिशुद्धता डेटा प्रकारों के लिए समर्थन।[23] CPU के बढ़ते प्रदर्शन के कारण उनका उपयोग AI वर्कलोड चलाने के लिए भी किया जा रहा है। सीपीयू छोटे या मध्यम पैमाने के समानांतरवाद के साथ गहरे तंत्रिका नेटवर्क के लिए, विरल डीएनएन के लिए और कम-बैच-आकार के परिदृश्यों में बेहतर हैं।

जीपीयू का प्रयोग

ग्राफिक्स प्रोसेसिंग यूनिट या जीपीयू छवियों के हेरफेर और स्थानीय छवि गुणों की गणना के लिए विशेष हार्डवेयर हैं। तंत्रिका नेटवर्क और ग्राफिक्स पाइपलाइन का गणितीय आधार समान है, शर्मनाक रूप से समानांतर कार्य जिसमें मैट्रिसेस सम्मलित हैं, अग्रणी जीपीयू मशीन सीखने के कार्यों के लिए तेजी से उपयोग किया जाता है।[24][25][26] As of 2016, GPUs AI कार्य के लिए लोकप्रिय हैं, और वे प्रशिक्षण के लिए गहन शिक्षण की सुविधा के लिए एक दिशा में विकसित होना जारी रखते हैं[27] और सेल्फ ड्राइविंग कार जैसे उपकरणों में निष्कर्ष।[28] एनवीडिया एनवीलिंक जैसे जीपीयू डेवलपर्स डेटाफ्लो वर्कलोड एआई लाभ के प्रकार के लिए अतिरिक्त संयोजी क्षमता विकसित कर रहे हैं।[29] जैसा कि एआई त्वरण के लिए जीपीयू को तेजी से लागू किया गया है, जीपीयू निर्माताओं ने इन कार्यों को और तेज करने के लिए तंत्रिका नेटवर्क -एप्लिकेशन-विशिष्ट एकीकृत सर्किट हार्डवेयर को सम्मलित किया है।[30][31] टेंसर प्रोसेसर कोर का उद्देश्य तंत्रिका नेटवर्क के प्रशिक्षण को गति देना है।[31]


FPGAs का प्रयोग

डीप लर्निंग फ्रेमवर्क अभी भी विकसित हो रहे हैं, जिससे कस्टम हार्डवेयर डिजाइन करना कठिन हो गया है। पुन: कॉन्फ़िगर करने योग्य कंप्यूटिंग डिवाइस जैसे कि फील्ड-प्रोग्रामेबल गेट एरेज़ (FPGA) हार्डवेयर, फ्रेमवर्क और सॉफ़्टवेयर एकीकृत डिज़ाइन को विकसित करना आसान बनाते हैं।[32][12][13][33] Microsoft ने अनुमान लगाने में तेजी लाने के लिए FPGA चिप्स का उपयोग किया है।[34]

समर्पित एआई त्वरक ASICs का उद्भव

जबकि जीपीयू और एफपीजीए एआई से संबंधित कार्यों के लिए सीपीयू की तुलना में कहीं बेहतर प्रदर्शन करते हैं, दक्षता में 10 तक का कारक[35][36] एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASIC) के माध्यम से अधिक विशिष्ट डिज़ाइन के साथ प्राप्त किया जा सकता है।[citation needed] ये त्वरक अनुकूलित कैश-जागरूक मॉडल जैसी रणनीतियों को नियोजित करते हैं[citation needed] और गणना में तेजी लाने और गणना के THROUGHPUT को बढ़ाने के लिए minifloat का उपयोग।[37][38] एआई त्वरण का उपयोग करने वाले कुछ निम्न-परिशुद्धता फ़्लोटिंग-पॉइंट स्वरूपों को अपनाया जाता है, आधा-परिशुद्धता फ़्लोटिंग-पॉइंट प्रारूप | आधा-परिशुद्धता और bfloat16 फ़्लोटिंग-पॉइंट प्रारूप।[39][40][41][42][43][44][45] Google, Qualcomm, Amazon, Apple, Facebook, AMD और Samsung जैसी कंपनियां अपने-अपने AI ASIC डिजाइन कर रही हैं। रेफरी>"Google ने एक शक्तिशाली नई AI चिप और सुपरकंप्यूटर का खुलासा किया". MIT Technology Review (in English). Retrieved July 27, 2021.</ref>[46][47][48][49][50] दिमाग ने डीप लर्निंग वर्कलोड को सपोर्ट करने के लिए उद्योग में सबसे बड़े प्रोसेसर, दूसरी पीढ़ी के वेफर स्केल इंजन (डब्ल्यूएसई-2) पर आधारित एक समर्पित एआई एक्सीलरेटर भी बनाया है।[51][52]


इन-मेमोरी कंप्यूटिंग आर्किटेक्चर

जून 2017 में, आईबीएम के शोधकर्ताओं ने इन-मेमोरी प्रोसेसिंग पर आधारित वॉन न्यूमैन वास्तुकला के विपरीत एक आर्किटेक्चर की घोषणा की। इन-मेमोरी कंप्यूटिंग और अस्थायी सहसंबंध (सांख्यिकी) का पता लगाने के लिए चरण-परिवर्तन स्मृति एरेज़ लागू किया गया, जो विषम कंप्यूटिंग के दृष्टिकोण को सामान्य बनाने का इरादा रखता है। और बड़े पैमाने पर समानांतर सिस्टम।[53] अक्टूबर 2018 में, आईबीएम के शोधकर्ताओं ने इन-मेमोरी प्रोसेसिंग और न्यूरोमॉर्फिक इंजीनियरिंग पर आधारित एक आर्किटेक्चर की घोषणा की। गहरे तंत्रिका नेटवर्क को गति देने के लिए मानव मस्तिष्क के सिनैप्टिक नेटवर्क पर आधारित है।[54] प्रणाली चरण-परिवर्तन स्मृति सरणियों पर आधारित है।[55]


=== एनालॉग प्रतिरोधक मेमोरी === के साथ इन-मेमोरी कंप्यूटिंग 2019 में, पोलिटेक्निको डी मिलानो के शोधकर्ताओं ने एक ही ऑपरेशन के माध्यम से कुछ दसियों नैनोसेकंड में रैखिक समीकरणों की प्रणाली को हल करने का एक तरीका खोजा। उनका एल्गोरिथ्म एनालॉग प्रतिरोधक यादों के साथ इन-मेमोरी कंप्यूटिंग पर आधारित है, जो समय और ऊर्जा की उच्च दक्षता के साथ प्रदर्शन करता है, ओम के नियम और किरचॉफ के नियम का उपयोग करके एक चरण में मैट्रिक्स-वेक्टर गुणन का संचालन करता है। शोधकर्ताओं ने दिखाया कि क्रॉस-पॉइंट प्रतिरोधक यादों के साथ एक फीडबैक सर्किट बीजगणितीय समस्याओं को हल कर सकता है जैसे कि रैखिक समीकरणों की प्रणाली, मैट्रिक्स ईजेनवेक्टर और अंतर समीकरण केवल एक चरण में। डिजिटल एल्गोरिदम की तुलना में ऐसा दृष्टिकोण कम्प्यूटेशनल समय में काफी सुधार करता है।[56]


परमाणु रूप से पतले अर्धचालक

2020 में, मरेगा एट अल। चल-गेट फील्ड इफ़ेक्ट ट्रांजिस्टर (एफजीएफईटी) के आधार पर लॉजिक-इन-मेमोरी डिवाइस और सर्किट विकसित करने के लिए एक बड़े क्षेत्र सक्रिय चैनल सामग्री के साथ प्रकाशित प्रयोग।[57] इस तरह के परमाणु रूप से पतले अर्धचालकों को ऊर्जा-कुशल मशीन सीखने के अनुप्रयोगों के लिए आशाजनक माना जाता है, जहां तार्किक संचालन और डेटा भंडारण दोनों के लिए समान मूल उपकरण संरचना का उपयोग किया जाता है। लेखकों ने अर्धचालक मोलिब्डेनम डाइसल्फ़ाइड जैसे द्वि-आयामी सामग्रियों का उपयोग किया।[57]


एकीकृत फोटोनिक टेंसर कोर

2021 में, जे. फेल्डमैन एट अल। समांतर दृढ़ प्रसंस्करण के लिए एक एकीकृत फोटोनिक हार्डवेयर त्वरक प्रस्तावित किया।[58] लेखक अपने इलेक्ट्रॉनिक समकक्षों पर एकीकृत फोटोनिक्स के दो प्रमुख लाभों की पहचान करते हैं: (1) तरंगदैर्घ्य डिवीजन बहुसंकेतन के माध्यम से आवृत्ति कॉम्ब्स के संयोजन के माध्यम से बड़े पैमाने पर समानांतर डेटा स्थानांतरण, और (2) अत्यंत उच्च डेटा मॉडुलन गति।[58]उनकी प्रणाली प्रति सेकंड खरबों गुणा-संचय के संचालन को निष्पादित कर सकती है, जो डेटा-भारी एआई अनुप्रयोगों में फोटोनिक एकीकृत सर्किट फोटोनिक्स की क्षमता का संकेत देती है।[58]


नामकरण

2016 तक, क्षेत्र अभी भी प्रवाह में है और विक्रेता एआई त्वरक के लिए कितनी मात्रा में अपने स्वयं के विपणन शब्द को आगे बढ़ा रहे हैं, इस उम्मीद में कि उनके डिजाइन और अप्लिकेशन प्रोग्रामिंग अंतरफलक प्रमुख डिजाइन बन जाएंगे। इन उपकरणों के बीच सीमा पर कोई आम सहमति नहीं है, न ही वे सटीक रूप लेंगे; हालाँकि कई उदाहरण स्पष्ट रूप से क्षमताओं में ओवरलैप की उचित मात्रा के साथ इस नई जगह को भरने का लक्ष्य रखते हैं।

अतीत में जब उपभोक्ता ग्राफिक्स त्वरक उभरे, तो उद्योग ने अंततः एNVIDIA के स्व-निर्दिष्ट शब्द, जीपीयू को अपनाया,[59] ग्राफिक्स त्वरक के लिए सामूहिक संज्ञा के रूप में, जिसने डायरेक्ट 3D द्वारा प्रस्तुत एक मॉडल को लागू करने वाली समग्र ग्राफिक्स पाइपलाइन पर बसने से पहले कई रूप ले लिए थे।

संभावित अनुप्रयोग


यह भी देखें

संदर्भ

  1. ↑ "इंटेल ने Movidius Compute Stick USB AI Accelerator पेश किया". July 21, 2017. Archived from the original on August 11, 2017. Retrieved August 11, 2017.
  2. ↑ "Inspurs unveils GX4 AI Accelerator". June 21, 2017.
  3. ↑ Wiggers, Kyle (November 6, 2019) [2019], Neural Magic raises $15 million to boost AI inferencing speed on off-the-shelf processors, archived from the original on March 6, 2020, retrieved March 14, 2020
  4. ↑ "Google Designing AI Processors". Google using its own AI accelerators.
  5. ↑ "13 Sextillion & Counting: The Long & Winding Road to the Most Frequently Manufactured Human Artifact in History". Computer History Museum. April 2, 2018. Retrieved July 28, 2019.
  6. ↑ "Nvidia claims 'record performance' for Hopper MLPerf debut".
  7. ↑ John C. Dvorak: Intel’s 80170 chip has the theoretical intelligence of a cockroach in PC Magazine Volume 9 Number 10 (May 1990), p. 77, [1], retrieved May 16, 2021
  8. ↑ "convolutional neural network demo from 1993 featuring DSP32 accelerator". YouTube.
  9. ↑ "design of a connectionist network supercomputer".
  10. ↑ "सामान्य प्रयोजन के कंप्यूटर का अंत (नहीं)". YouTube.This presentation covers a past attempt at neural net accelerators, notes the similarity to the modern SLI GPGPU processor setup, and argues that general purpose vector accelerators are the way forward (in relation to RISC-V hwacha project. Argues that NN's are just dense and sparse matrices, one of several recurring algorithms)
  11. ↑ Ramacher, U.; Raab, W.; Hachmann, J.A.U.; Beichter, J.; Bruls, N.; Wesseling, M.; Sicheneder, E.; Glass, J.; Wurz, A.; Manner, R. (1995). Proceedings of 9th International Parallel Processing Symposium. pp. 774–781. CiteSeerX 10.1.1.27.6410. doi:10.1109/IPPS.1995.395862. ISBN 978-0-8186-7074-9. S2CID 16364797.
  12. ↑ 12.0 12.1 "Space Efficient Neural Net Implementation".
  13. ↑ 13.0 13.1 Gschwind, M.; Salapura, V.; Maischberger, O. (1996). "A Generic Building Block for Hopfield Neural Networks with On-Chip Learning". 1996 IEEE International Symposium on Circuits and Systems. Circuits and Systems Connecting the World. ISCAS 96. pp. 49–52. doi:10.1109/ISCAS.1996.598474. ISBN 0-7803-3073-0. S2CID 17630664.
  14. ↑ "क्वालकॉम नई स्नैपड्रैगन मशीन लर्निंग सॉफ्टवेयर डेवलपमेंट किट के साथ आपके मोबाइल उपकरणों को स्मार्ट बनाने में मदद करता है". Qualcomm.{{cite web}}: CS1 maint: url-status (link)
  15. ↑ Rubin, Ben Fox. "Qualcomm का Zeroth प्लेटफॉर्म आपके स्मार्टफोन को ज्यादा स्मार्ट बना सकता है". CNET (in English). Retrieved September 28, 2021.
  16. ↑ Gschwind, Michael; Hofstee, H. Peter; Flachs, Brian; Hopkins, Martin; Watanabe, Yukio; Yamazaki, Takeshi (2006). "सेल के मल्टीकोर आर्किटेक्चर में सिनर्जिस्टिक प्रोसेसिंग". IEEE Micro. 26 (2): 10–24. doi:10.1109/MM.2006.41. S2CID 17834015.
  17. ↑ De Fabritiis, G. (2007). "बायोमोलेक्युलर सिमुलेशन के लिए सेल प्रोसेसर का प्रदर्शन". Computer Physics Communications. 176 (11–12): 660–664. arXiv:physics/0611201. Bibcode:2007CoPhC.176..660D. doi:10.1016/j.cpc.2007.02.107. S2CID 13871063.
  18. ↑ सेल आर्किटेक्चर पर वीडियो प्रोसेसिंग और रिट्रीवल. CiteSeerX 10.1.1.138.5133.
  19. ↑ Benthin, Carsten; Wald, Ingo; Scherbaum, Michael; Friedrich, Heiko (2006). 2006 IEEE Symposium on Interactive Ray Tracing. pp. 15–23. CiteSeerX 10.1.1.67.8982. doi:10.1109/RT.2006.280210. ISBN 978-1-4244-0693-7. S2CID 1198101.
  20. ↑ "Development of an artificial neural network on a heterogeneous multicore architecture to predict a successful weight loss in obese individuals" (PDF).
  21. ↑ Kwon, Bomjun; Choi, Taiho; Chung, Heejin; Kim, Geonho (2008). 2008 5th IEEE Consumer Communications and Networking Conference. pp. 1030–1034. doi:10.1109/ccnc08.2007.235. ISBN 978-1-4244-1457-4. S2CID 14429828.
  22. ↑ Duan, Rubing; Strey, Alfred (2008). Euro-Par 2008 – Parallel Processing. Lecture Notes in Computer Science. Vol. 5168. pp. 665–675. doi:10.1007/978-3-540-85451-7_71. ISBN 978-3-540-85450-0.
  23. ↑ "AVX के साथ वीडियो के प्रदर्शन में सुधार". February 8, 2012.
  24. ↑ "microsoft research/pixel shaders/MNIST".
  25. ↑ "How GPU came to be used for general computation".
  26. ↑ "ImageNet Classification with Deep Convolutional Neural Networks" (PDF).
  27. ↑ "एनवीडिया गहन शिक्षा के विकास को चला रहा है". May 17, 2016.
  28. ↑ "एनवीडिया ने सेल्फ ड्राइविंग कारों के लिए पेश किया सुपरकंप्यूटर". January 6, 2016.
  29. ↑ "कैसे nvlink तेज और आसान मल्टी GPU कंप्यूटिंग को सक्षम करेगा". November 14, 2014.
  30. ↑ "A Survey on Optimized Implementation of Deep Learning Models on the NVIDIA Jetson Platform", 2019
  31. ↑ 31.0 31.1 Harris, Mark (May 11, 2017). "CUDA 9 Features Revealed: Volta, Cooperative Groups and More". Retrieved August 12, 2017.
  32. ↑ Sefat, Md Syadus; Aslan, Semih; Kellington, Jeffrey W; Qasem, Apan (August 2019). "CAPI-आधारित FPGA पर डीप न्यूरल नेटवर्क में हॉटस्पॉट को गति देना". 2019 IEEE 21st International Conference on High Performance Computing and Communications; IEEE 17th International Conference on Smart City; IEEE 5th International Conference on Data Science and Systems (HPCC/SmartCity/DSS): 248–256. doi:10.1109/HPCC/SmartCity/DSS.2019.00048. ISBN 978-1-7281-2058-4. S2CID 203656070.
  33. ↑ "एफपीजीए आधारित डीप लर्निंग एक्सेलेरेटर्स एएसआईसी से मुकाबला करते हैं". The Next Platform. August 23, 2016. Retrieved September 7, 2016.
  34. ↑ "प्रोजेक्ट ब्रेनवेव". Microsoft Research (in English). Retrieved June 16, 2020.
  35. ↑ "Google अपने Tensor Processing Unit के साथ मशीन लर्निंग को बढ़ावा देता है". May 19, 2016. Retrieved September 13, 2016.
  36. ↑ "चिप मोबाइल उपकरणों में गहन शिक्षा ला सकती है". www.sciencedaily.com. February 3, 2016. Retrieved September 13, 2016.
  37. ↑ "Deep Learning with Limited Numerical Precision" (PDF).
  38. ↑ Rastegari, Mohammad; Ordonez, Vicente; Redmon, Joseph; Farhadi, Ali (2016). "XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks". arXiv:1603.05279 [cs.CV].
  39. ↑ Khari Johnson (May 23, 2018). "इंटेल ने त्वरित एआई प्रशिक्षण के लिए नर्वाना न्यूरल नेट एल-1000 का अनावरण किया". VentureBeat. Retrieved May 23, 2018. ...Intel will be extending bfloat16 support across our AI product lines, including Intel Xeon processors and Intel FPGAs.
  40. ↑ Michael Feldman (May 23, 2018). "इंटेल ने एआई पोर्टफोलियो के लिए नया रोडमैप पेश किया". TOP500 Supercomputer Sites. Retrieved May 23, 2018. इंटेल की योजना अपने सभी AI उत्पादों में इस प्रारूप का समर्थन करने की है, जिसमें Xeon और FPGA लाइनें शामिल हैं
  41. ↑ Lucian Armasu (May 23, 2018). "इंटेल 2019 में अपना पहला न्यूरल नेटवर्क प्रोसेसर स्प्रिंग क्रेस्ट लॉन्च करेगा". Tom's Hardware. Retrieved May 23, 2018. Intel ने कहा कि NNP-L1000 bfloat16 को भी सपोर्ट करेगा, एक न्यूमेरिकल फॉर्मेट जिसे न्यूरल नेटवर्क के लिए सभी ML इंडस्ट्री प्लेयर्स द्वारा अपनाया जा रहा है। कंपनी अपने FPGAs, Xeons और अन्य ML उत्पादों में bfloat16 का भी समर्थन करेगी। Nervana NNP-L1000 2019 में रिलीज होने वाली है।
  42. ↑ "उपलब्ध TensorFlow ऑप्स | क्लाउड TPU | Google क्लाउड". Google Cloud. Retrieved May 23, 2018. यह पृष्ठ क्लाउड टीपीयू पर उपलब्ध TensorFlow Python APIs और ग्राफ़ ऑपरेटरों को सूचीबद्ध करता है।
  43. ↑ Elmar Haußmann (April 26, 2018). "Google के TPUv2 की तुलना ResNet-50 पर Nvidia के V100 से करना". RiseML Blog. Archived from the original on April 26, 2018. Retrieved May 23, 2018. क्लाउड टीपीयू के लिए, Google ने सिफारिश की है कि हम TensorFlow 1.7.0 के साथ आधिकारिक टीपीयू रिपॉजिटरी से bfloat16 कार्यान्वयन का उपयोग करें। टीपीयू और जीपीयू दोनों कार्यान्वयन संबंधित वास्तुकला पर मिश्रित-सटीक संगणना का उपयोग करते हैं और अधिकांश टेंसरों को अर्ध-परिशुद्धता के साथ संग्रहीत करते हैं।
  44. ↑ Tensorflow Authors (February 28, 2018). "TPU पर BFloat16 का उपयोग करते हुए ResNet-50". Google. Retrieved May 23, 2018.[permanent dead link]
  45. ↑ {{cite report |title=टेंसरफ्लो वितरण|author=Joshua V. Dillon |author2=Ian Langmore |author3=Dustin Tran |author4=Eugene Brevdo |author5=Srinivas Vasudevan |author6=Dave Moore |author7=Brian Patton |author8=Alex Alemi |author9=Matt Hoffman |author10=Rif A. Saurous |date=November 28, 2017 |id=Accessed May 23, 2018 |arxiv=1711.10604 |quote=All operations in टेंसरफ्लो वितरणare numerically stable across half, single, and double floating-point precisions (as TensorFlow dtypes: tf.bfloat16 (truncated floating point), tf.float16, tf.float32, tf.float64). Class constructors have a validate_args flag for numerical asserts |bibcode=2017arXiv171110604D}
  46. ↑ "What to Expect From Apple's Neural Engine in the A11 Bionic SoC – ExtremeTech". www.extremetech.com. Retrieved July 27, 2021.
  47. ↑ "फेसबुक के पास चिप डिजाइनरों के लिए एक नई जॉब पोस्टिंग है". April 19, 2018.
  48. ↑ "फेसबुक AI चिप की दौड़ में Amazon और Google से जुड़ता है". Financial Times. February 18, 2019.
  49. ↑ Amadeo, Ron (May 11, 2021). "सैमसंग और एएमडी कथित तौर पर इस साल के अंत में ऐप्पल के एम1 एसओसी को टक्कर देंगे". Ars Technica (in English). Retrieved July 28, 2021.
  50. ↑ Smith, Ryan. "The AI Race Expands: Qualcomm Reveals "Cloud AI 100" Family of Datacenter AI Inference Accelerators for 2020". www.anandtech.com. Retrieved September 28, 2021.
  51. ↑ Woodie, Alex (November 1, 2021). "सेरेब्रस डीप लर्निंग वर्कलोड के लिए त्वरक हिट करता है". Datanami. Retrieved August 3, 2022.
  52. ↑ "Cerebras launches new AI supercomputing processor with 2.6 trillion transistors". VentureBeat (in English). April 20, 2021. Retrieved August 3, 2022.
  53. ↑ Abu Sebastian; Tomas Tuma; Nikolaos Papandreou; Manuel Le Gallo; Lukas Kull; Thomas Parnell; Evangelos Eleftheriou (2017). "कम्प्यूटेशनल चरण-परिवर्तन मेमोरी का उपयोग करके अस्थायी सहसंबंध का पता लगाना". Nature Communications. 8 (1): 1115. arXiv:1706.00511. Bibcode:2017NatCo...8.1115S. doi:10.1038/s41467-017-01481-9. PMC 5653661. PMID 29062022.
  54. ↑ "एक नया मस्तिष्क-प्रेरित आर्किटेक्चर सुधार सकता है कि कंप्यूटर डेटा को कैसे संभालते हैं और एआई को आगे बढ़ाते हैं". American Institute of Physics. October 3, 2018. Retrieved October 5, 2018.
  55. ↑ Carlos Ríos; Nathan Youngblood; Zengguang Cheng; Manuel Le Gallo; Wolfram H.P. Pernice; C. David Wright; Abu Sebastian; Harish Bhaskaran (2018). "फोटोनिक प्लेटफॉर्म पर इन-मेमोरी कंप्यूटिंग". Science Advances. 5 (2): eaau5759. arXiv:1801.06228. Bibcode:2019SciA....5.5759R. doi:10.1126/sciadv.aau5759. PMC 6377270. PMID 30793028. S2CID 7637801.
  56. ↑ Zhong Sun; Giacomo Pedretti; Elia Ambrosi; Alessandro Bricalli; Wei Wang; Daniele Ielmini (2019). "क्रॉस-पॉइंट प्रतिरोधक सरणियों के साथ एक चरण में मैट्रिक्स समीकरणों को हल करना". Proceedings of the National Academy of Sciences. 116 (10): 4123–4128. Bibcode:2019PNAS..116.4123S. doi:10.1073/pnas.1815682116. PMC 6410822. PMID 30782810.
  57. ↑ 57.0 57.1 Marega, Guilherme Migliato; Zhao, Yanfei; Avsar, Ahmet; Wang, Zhenyu; Tripati, Mukesh; Radenovic, Aleksandra; Kis, Anras (2020). "लॉजिक-इन-मेमोरी परमाणु रूप से पतले अर्धचालक पर आधारित है". Nature. 587 (2): 72–77. Bibcode:2020Natur.587...72M. doi:10.1038/s41586-020-2861-0. PMC 7116757. PMID 33149289.
  58. ↑ 58.0 58.1 58.2 Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). "एक एकीकृत फोटोनिक टेन्सर का उपयोग करते हुए समानांतर कनवल्शनल प्रोसेसिंग". Nature. 589 (2): 52–58. arXiv:2002.00281. doi:10.1038/s41586-020-03070-1. PMID 33408373. S2CID 211010976.
  59. ↑ "NVIDIA launches the World's First Graphics Processing Unit, the GeForce 256". Archived from the original on February 27, 2016.
  60. ↑ "खरपतवार नियंत्रण के लिए मशीन दृष्टि प्रणाली का डिजाइन". CiteSeerX 10.1.1.7.342. Archived (PDF) from the original on June 23, 2010. Retrieved July 29, 2021. {{cite journal}}: Cite journal requires |journal= (help)
  61. ↑ "NVIDIA Automotive की ओर से सेल्फ़-ड्राइविंग कार तकनीक और समाधान". NVIDIA.
  62. ↑ "movidius दुनिया के सबसे बुद्धिमान ड्रोन को शक्ति प्रदान करता है". March 16, 2016.
  63. ↑ "Qualcomm Research brings server class machine learning to everyday devices–making them smarter [VIDEO]". October 2015.


बाहरी संबंध

Retrieved from ‘https://www.vigyanwiki.in/index.php?title=एआई_त्वरक&oldid=184409’