एल्गोरिथम पूर्वाग्रह: Difference between revisions
From Vigyanwiki
No edit summary |
No edit summary |
||
| (7 intermediate revisions by 3 users not shown) | |||
| Line 3: | Line 3: | ||
[[File:02-Sandvig-Seeing-the-Sort-2014-WEB.png|thumb|upright=1.4|अनुशंसा इंजन द्वारा किए गए निर्णयों को दर्शाने वाला एक फ़्लोचार्ट, लगभग 2001<ref>{{Cite web|url=https://worldwide.espacenet.com/publicationDetails/biblio?CC=us&NR=7113917&KC=&FT=E&locale=en_EP|title=Patent #US2001021914|last=Jacobi|first=Jennifer|date=13 September 2001|website=Espacenet|access-date=4 July 2018}}</ref>]] | [[File:02-Sandvig-Seeing-the-Sort-2014-WEB.png|thumb|upright=1.4|अनुशंसा इंजन द्वारा किए गए निर्णयों को दर्शाने वाला एक फ़्लोचार्ट, लगभग 2001<ref>{{Cite web|url=https://worldwide.espacenet.com/publicationDetails/biblio?CC=us&NR=7113917&KC=&FT=E&locale=en_EP|title=Patent #US2001021914|last=Jacobi|first=Jennifer|date=13 September 2001|website=Espacenet|access-date=4 July 2018}}</ref>]] | ||
{{Artificial intelligence}} | {{Artificial intelligence}} | ||
कलनविधीय | कलनविधीय पूर्वाग्रह, कंप्यूटर प्रणाली में व्यवस्थित और पुनरावृत्ति योग्य त्रुटियों का वर्णन करता है जो "अनुचित" परिणाम बताते हैं, जैसे कलन विधि के इच्छित फलन से एवं भिन्न तरीकों से एक श्रेणी को दूसरे पर "विशेषाधिकार" देना। | ||
[[पक्षपात| | [[पक्षपात|पूर्वाग्रह]] कई कारकों से समझा जा सकता है, जिसमें कलन विधि के डिजाइन या अनपेक्षित या अप्रत्याशित उपयोग या डेटा को कोडित करने, एकत्र करने, चयनित करने या कलन विधि को प्रशिक्षित करने के लिए उपयोग किए जाने से संबंधित निर्णयों तक सीमित नहीं है। उदाहरण के लिए, सर्च इंजन पूर्वाग्रह और [[सोशल मीडिया पूर्वाग्रह|सोशल मीडिया]] पूर्वाग्रह में कलन विधि पूर्वाग्रह देखा गया है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कलन विधि पूर्वाग्रह का अध्ययन सबसे अधिक कलन विधि से संबंधित है जो व्यवस्थित और अनुचित भेदभाव को दर्शाता है। इस पूर्वाग्रह को हाल ही में यूरोपीय संघ के [[सामान्य डेटा संरक्षण विनियम]] (2018) और प्रस्तावित [[आर्टिफिशियल इंटेलिजेंस एक्ट|कृत्रिम बुद्धिमत्ता अधिनियम]] (2021) जैसे कानूनी ढांचे में संबोधित किया गया है। | ||
जैसे-जैसे कलन विधि समाज, राजनीति, संस्थानों और व्यवहार को व्यवस्थित करने की अपनी क्षमता का विस्तार करते हैं, समाजशास्त्री उन तरीकों से चिंतित हो गए हैं जिनमें अप्रत्याशित उत्पादन और डेटा का | जैसे-जैसे कलन विधि समाज, राजनीति, संस्थानों और व्यवहार को व्यवस्थित करने की अपनी क्षमता का विस्तार करते हैं, समाजशास्त्री उन तरीकों से चिंतित हो गए हैं जिनमें अप्रत्याशित उत्पादन और डेटा का परिचालन भौतिक दुनिया को प्रभावित कर सकता है। क्योंकि कलन विधि को अधिकांशतः तटस्थ और निष्पक्ष माना जाता है, वे मानव विशेषज्ञता की तुलना में गलत कार्यविधि से अधिक अधिकार को प्रोजेक्ट कर सकते हैं (आंशिक रूप से स्वंयचालित क्रिया पूर्वाग्रह की मनोवैज्ञानिक घटना के कारण), और कुछ स्थितियों में, कलन विधि पर निर्भरता उनके परिणामों के लिए मानवीय जिम्मेदारी को विस्थापित कर सकती है। पूर्वाग्रह पूर्व-सम्मलित सांस्कृतिक, सामाजिक, या संस्थागत अपेक्षाओं के परिणामस्वरूप कलन विधि प्रणाली में प्रवेश कर सकते हैं; उनके डिजाइन की तकनीकी सीमाओं के कारण; या अप्रत्याशित संदर्भों में या दर्शकों द्वारा उपयोग किए जाने से जिन्हें सॉफ़्टवेयर के प्रारंभिक डिज़ाइन में नहीं माना जाता है। | ||
चुनाव परिणामों से लेकर [[ऑनलाइन अभद्र भाषा]] के प्रसार तक के स्थितियों में कलनविधीय | चुनाव परिणामों से लेकर [[ऑनलाइन अभद्र भाषा]] के प्रसार तक के स्थितियों में कलनविधीय पूर्वाग्रह का हवाला दिया गया है। यह आपराधिक न्याय, स्वास्थ्य देखभाल, और भर्ती, सम्मलित जातिय, सामाजिक आर्थिक और लैंगिक पूर्वाग्रहों को जोड़कर भी उत्पन्न हुआ है। गहरे रंग की त्वचा वाले चेहरों की सटीक पहचान करने के लिए चेहरे की पहचान तकनीक की सापेक्ष अक्षमता को काले पुरुषों की कई गलत गिरफ्तारियों से जोड़ा गया है, जो असंतुलित डेटासेट से उपजी एक समस्या है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कलन विधि पूर्वाग्रह को समझने, शोध करने और खोजने में समस्याएँ कलन विधि की मालिकाना प्रकृति के कारण बनी रहती हैं, जिन्हें सामान्यतः व्यापार रहस्यों के रूप में माना जाता है। यहां तक कि जब पूर्ण पारदर्शिता प्रदान की जाती है, तब भी कुछ कलन विधि की जटिलता उनके कामकाज को समझने में बाधा उत्पन्न करती है। इसके अतिरिक्त, कलन विधि बदल सकते हैं, या इनपुट या आउटपुट को उन तरीकों से प्रतिक्रिया दे सकते हैं जिन्हें अनुमानित नहीं किया जा सकता है या विश्लेषण के लिए आसानी से पुन: उत्पन्न नहीं किया जा सकता है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कई स्थितियों में, यहां तक कि एक ही वेबसाइट या एप्लिकेशन के भीतर, जांच करने के लिए कोई एकल कलन विधि नहीं है, बल्कि एक ही सेवा के उपयोगकर्ताओं के बीच कई परस्पर संबंधित कार्यक्रमों और डेटा इनपुट का एक नेटवर्क है। | ||
== परिभाषाएँ == | == परिभाषाएँ == | ||
[[File:A computer program for evaluating forestry opportunities under three investment criteria (1969) (20385500690).jpg|thumb|एक साधारण कंप्यूटर प्रोग्राम किस प्रकार निर्णय लेता है, इसके लिए 1969 का आरेख, एक बहुत ही सरल कलन विधि को दर्शाता है]]कलन विधि या [[एल्गोरिथम लक्षण वर्णन|कलन विधि लक्षण]] को परिभाषित करना मुश्किल है,<ref name="Striphas">{{cite web|url=http://culturedigitally.org/2012/02/what-is-an-algorithm/|title=What is an Algorithm? – Culture Digitally|last1=Striphas|first1=Ted|website=culturedigitally.org|access-date=20 November 2017}}</ref> लेकिन सामान्यतः निर्देशों की सूची के रूप में समझा जा सकता है जो यह निर्धारित करता है कि आउटपुट उत्पन्न करने के लिए प्रोग्राम [[आंकड़े]] को किस प्रकार पढ़ते हैं, किस प्रकार एकत्र करते हैं, किस प्रकार संसाधित करते हैं और किस प्रकार उसका विश्लेषण करते हैं।<ref name="Cormen">{{cite book|title=एल्गोरिदम का परिचय|url=https://archive.org/details/introductiontoal00corm_805|url-access=limited|last1= Cormen|first1=Thomas H.|last2=Leiserson|first2=Charles E.|last3=Rivest|first3=Ronald L.|last4=Stein|first4=Clifford|date=2009|publisher=MIT Press|isbn=978-0-262-03384-8|edition=3rd|location=Cambridge, Mass.|page=[https://archive.org/details/introductiontoal00corm_805/page/n25 5]}}</ref>{{rp|13}} यथार्थ रूप से तकनीकी परिचय के लिए, [[कलन विधि]] देखें। कंप्यूटर हार्डवेयर में प्रगति ने डेटा को प्रोसेस करने, स्टोर करने और ट्रांसमिट करने की क्षमता में वृद्धि की है। इसने [[ यंत्र अधिगम |यंत्र अधिगम]] और [[ कृत्रिम होशियारी |कृत्रिम बुद्धिमत्ता]] जैसी तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।<ref name="Kitchin" />{{rp|14–15}} डेटा का विश्लेषण और प्रसंस्करण करके, कलन विधि | [[File:A computer program for evaluating forestry opportunities under three investment criteria (1969) (20385500690).jpg|thumb|एक साधारण कंप्यूटर प्रोग्राम किस प्रकार निर्णय लेता है, इसके लिए 1969 का आरेख, एक बहुत ही सरल कलन विधि को दर्शाता है]]कलन विधि या [[एल्गोरिथम लक्षण वर्णन|कलन विधि लक्षण]] को परिभाषित करना मुश्किल है,<ref name="Striphas">{{cite web|url=http://culturedigitally.org/2012/02/what-is-an-algorithm/|title=What is an Algorithm? – Culture Digitally|last1=Striphas|first1=Ted|website=culturedigitally.org|access-date=20 November 2017}}</ref> लेकिन सामान्यतः निर्देशों की सूची के रूप में समझा जा सकता है जो यह निर्धारित करता है कि आउटपुट उत्पन्न करने के लिए प्रोग्राम [[आंकड़े]] को किस प्रकार पढ़ते हैं, किस प्रकार एकत्र करते हैं, किस प्रकार संसाधित करते हैं और किस प्रकार उसका विश्लेषण करते हैं।<ref name="Cormen">{{cite book|title=एल्गोरिदम का परिचय|url=https://archive.org/details/introductiontoal00corm_805|url-access=limited|last1= Cormen|first1=Thomas H.|last2=Leiserson|first2=Charles E.|last3=Rivest|first3=Ronald L.|last4=Stein|first4=Clifford|date=2009|publisher=MIT Press|isbn=978-0-262-03384-8|edition=3rd|location=Cambridge, Mass.|page=[https://archive.org/details/introductiontoal00corm_805/page/n25 5]}}</ref>{{rp|13}} चुनाव परिणामों से लेकर [[ऑनलाइन अभद्र भाषा]] के प्रसार तक के स्थितियों में कलनविधीय पूर्वाग्रह का हवाला दिया गया है। यथार्थ रूप से तकनीकी परिचय के लिए, [[कलन विधि]] देखें। कंप्यूटर हार्डवेयर में प्रगति ने डेटा को प्रोसेस करने, स्टोर करने और ट्रांसमिट करने की क्षमता में वृद्धि की है। इसने [[ यंत्र अधिगम |यंत्र अधिगम]] और [[ कृत्रिम होशियारी |कृत्रिम बुद्धिमत्ता]] जैसी तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।<ref name="Kitchin" />{{rp|14–15}} डेटा का विश्लेषण और प्रसंस्करण करके, कलन विधि सर्च इंजनों की रीढ़ हैं,<ref name="GoogleAlgorithms">{{cite web|title=Google खोज कैसे काम करता है|url=https://www.google.com/search/howsearchworks/algorithms/|access-date=19 November 2017}}</ref> सोशल मीडिया वेबसाइटों,<ref name="Luckerson">{{cite magazine|last1=Luckerson|first1=Victor|title=यहां बताया गया है कि आपका फेसबुक न्यूज फीड वास्तव में कैसे काम करता है|url=http://time.com/collection-post/3950525/facebook-news-feed-algorithm/|magazine=[[Time (magazine)|Time]]|access-date=19 November 2017}}</ref> अनुशंसा इंजन,<ref name="Vanderbilt">{{Cite magazine|last1=Vanderbilt|first1=Tom|title=नेटफ्लिक्स एल्गोरिदम के पीछे का विज्ञान जो तय करता है कि आप आगे क्या देखेंगे|url=https://www.wired.com/2013/08/qq_netflix-algorithm/|magazine=Wired|access-date=19 November 2017|date=2013-08-07}}</ref> ऑनलाइन रिटेल,<ref name="AngwinMattu">{{cite web|last1=Angwin|first1=Julia|author1-link=Julia Angwin|last2=Mattu|first2=Surya|title=Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't — ProPublica|url=https://www.propublica.org/article/amazon-says-it-puts-customers-first-but-its-pricing-algorithm-doesnt|website=ProPublica|access-date=19 November 2017|date=20 September 2016}}</ref> ऑनलाइन प्रचार,<ref name="Livingstone">{{cite web|last1=Livingstone|first1=Rob|title=ऑनलाइन विज्ञापन का भविष्य बड़ा डेटा और एल्गोरिदम है|url=http://theconversation.com/the-future-of-online-advertising-is-big-data-and-algorithms-69297 |website=The Conversation|access-date=19 November 2017}}</ref> और बहुत कुछ तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।<ref name="Hickman">{{Cite news|last1=Hickman|first1=Leo|title=कैसे एल्गोरिदम दुनिया पर राज करते हैं|url=https://www.theguardian.com/science/2013/jul/01/how-algorithms-rule-world-nsa|newspaper=The Guardian|access-date=19 November 2017|date=1 July 2013}}</ref> | ||
समकालीन [[सामाजिक विज्ञान]] उनके राजनीतिक और सामाजिक प्रभाव के कारण हार्डवेयर और सॉफ्टवेयर अनुप्रयोगों में अंतः स्थापित कलन विधि प्रक्रियाओं से संबंधित है, और कलन विधि की तटस्थता की अंतर्निहित धारणाओं पर प्रश्न करते हैं।<ref name="Seaver">{{cite web|url=https://static1.squarespace.com/static/55eb004ee4b0518639d59d9b/t/55ece1bfe4b030b2e8302e1e/1441587647177/seaverMiT8.pdf|title=एल्गोरिदम जानना|last1=Seaver|first1=Nick|publisher=Media in Transition 8, Cambridge, MA, April 2013|access-date=18 November 2017}}</ref>{{rp|2}}<ref name="Graham">{{cite journal|last1=Graham|first1=Stephen D.N.|title=सॉफ्टवेयर-सॉर्टेड भौगोलिक|journal=Progress in Human Geography|date=July 2016|volume=29|issue=5|pages=562–580|doi=10.1191/0309132505ph568oa|s2cid=19119278|url=http://dro.dur.ac.uk/194/1/194.pdf|type=Submitted manuscript}}</ref>{{rp|563}}<ref name="Tewell">{{cite journal|last1=Tewell|first1=Eamon|date=4 April 2016|title=Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy|url=http://muse.jhu.edu/article/613843|journal=Portal: Libraries and the Academy|volume=16|issue=2|pages=289–310|issn=1530-7131|access-date=19 November 2017|doi=10.1353/pla.2016.0017|s2cid=55749077}}</ref>{{rp|294}}<ref>{{Cite journal|url=https://hbr.org/2013/04/the-hidden-biases-in-big-data|title=बिग डेटा में छिपे हुए पूर्वाग्रह|last=Crawford|first=Kate|date=1 April 2013|journal=Harvard Business Review}}</ref> कलन विधि | समकालीन [[सामाजिक विज्ञान]] उनके राजनीतिक और सामाजिक प्रभाव के कारण हार्डवेयर और सॉफ्टवेयर अनुप्रयोगों में अंतः स्थापित कलन विधि प्रक्रियाओं से संबंधित है, और कलन विधि की तटस्थता की अंतर्निहित धारणाओं पर प्रश्न करते हैं।<ref name="Seaver">{{cite web|url=https://static1.squarespace.com/static/55eb004ee4b0518639d59d9b/t/55ece1bfe4b030b2e8302e1e/1441587647177/seaverMiT8.pdf|title=एल्गोरिदम जानना|last1=Seaver|first1=Nick|publisher=Media in Transition 8, Cambridge, MA, April 2013|access-date=18 November 2017}}</ref>{{rp|2}}<ref name="Graham">{{cite journal|last1=Graham|first1=Stephen D.N.|title=सॉफ्टवेयर-सॉर्टेड भौगोलिक|journal=Progress in Human Geography|date=July 2016|volume=29|issue=5|pages=562–580|doi=10.1191/0309132505ph568oa|s2cid=19119278|url=http://dro.dur.ac.uk/194/1/194.pdf|type=Submitted manuscript}}</ref>{{rp|563}}<ref name="Tewell">{{cite journal|last1=Tewell|first1=Eamon|date=4 April 2016|title=Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy|url=http://muse.jhu.edu/article/613843|journal=Portal: Libraries and the Academy|volume=16|issue=2|pages=289–310|issn=1530-7131|access-date=19 November 2017|doi=10.1353/pla.2016.0017|s2cid=55749077}}</ref>{{rp|294}}<ref>{{Cite journal|url=https://hbr.org/2013/04/the-hidden-biases-in-big-data|title=बिग डेटा में छिपे हुए पूर्वाग्रह|last=Crawford|first=Kate|date=1 April 2013|journal=Harvard Business Review}}</ref> कलन विधि पूर्वाग्रह शब्द व्यवस्थित और पुनरावृत्ति योग्य त्रुटियों का वर्णन करता है जो अनुचित परिणाम उत्पन्न करते हैं, जैसे कि दूसरों के ऊपर उपयोगकर्ताओं के एक मनमाने समूह को विशेषाधिकार देना। उदाहरण के लिए, एक [[ विश्वस्तता की परख |विश्वस्तता की जाँच]] कलन विधि किसी ऋण को अनुचित हुए बिना अस्वीकार कर सकता है, यदि वह प्रासंगिक वित्तीय मानदंडों को निरन्तर तौलता है। यदि कलन विधि उपयोगकर्ताओं के एक समूह को ऋण की सिफारिश करता है, लेकिन असंबंधित मानदंडों के आधार पर लगभग समान उपयोगकर्ताओं के दूसरे समूह को ऋण देने से बाध्य करता है, और यदि यह व्यवहार कई घटनाओं में पुनरावृत्ति किया जा सकता है, तो एक कलन विधि को पूर्वाग्रह के रूप में वर्णित किया जा सकता है।<ref name="FriedmanNissenbaum" />{{rp|332}} कलन विधि विकास प्रक्रिया या प्रशिक्षण डेटा में पूर्वाग्रहों के दौरान किए गए पूर्वाग्रहों के कारण एआई पूर्वाग्रह मशीन लर्निंग कलन विधि के आउटपुट में एक विसंगति है। यह पूर्वाग्रह इरादतन या असावधानीवश में हो सकता है (उदाहरण के लिए, यह एक कार्यकर्ता से प्राप्त पूर्वाग्रह डेटा से आ सकता है जो पहले कलन विधि अब से करने जा रहा है)। | ||
== कार्यविधि == | == कार्यविधि == | ||
पूर्वाग्रह को कई तरीकों से कलन विधि में प्रस्तुत किया जा सकता है। डेटासेट के संयोजन के समय, डेटा को मानव-डिज़ाइन किए गए [[सूचीबद्ध]] मानदंड के अनुसार एकत्र, डिजिटाइज़, अनुकूलित और [[डेटाबेस]] में दर्ज किया जा सकता है।<ref name="Gillespie et al">{{cite book|title=मीडिया टेक्नोलॉजीज|last1=Gillespie|first1=Tarleton|last2=Boczkowski|first2=Pablo|last3=Foot|first3=Kristin|publisher=MIT Press|year=2014|isbn=9780262525374|location=Cambridge|pages=1–30 }}</ref>{{rp|3}} इसके बाद, प्रोग्रामर्स उस डेटा का आकलन और सॉर्ट करने के कार्यविधि के लिए प्राथमिकताएं, या [[पदानुक्रम]] प्रदान करते हैं। इसके लिए डेटा को किस प्रकार वर्गीकृत किया जाता है, और कौन से डेटा को सम्मिलित या खारिज किया जाता है, इसके बारे में मानवीय निर्णयों की आवश्यकता होती है।<ref name="Gillespie et al" />{{rp|4}} कुछ कलन विधि मानव-चयनित मानदंडों के आधार पर अपना स्वयं का डेटा एकत्र करते हैं, जो मानव डिजाइनरों के पूर्वाग्रह को भी दर्शा सकता है।<ref name="Gillespie et al" />{{rp|8}} अन्य कलन विधि रूढ़िवादिता और वरीयताओं को सुदृढ़ कर सकते हैं क्योंकि वे मानव उपयोगकर्ताओं के लिए प्रासंगिक डेटा को संसाधित और प्रदर्शित करते हैं, उदाहरण के लिए, समान उपयोगकर्ता या उपयोगकर्ताओं के समूह के पिछले विकल्पों के आधार पर जानकारी का चयन करके।<ref name="Gillespie et al" />{{rp|6}} | |||
डेटा को | डेटा को एकत्रित करने और संसाधित करने से परे, डिजाइन के परिणामस्वरूप पूर्वाग्रह निकल सकते हैं।<ref name="TowCenter">{{cite web|last1=Diakopoulos|first1=Nicholas|title=Algorithmic Accountability: On the Investigation of Black Boxes {{!}}|url=https://towcenter.org/research/algorithmic-accountability-on-the-investigation-of-black-boxes-2/|website=towcenter.org|access-date=19 November 2017}}</ref> उदाहरण के लिए, कलन विधि जो संसाधनों के आवंटन या जांच (जैसे स्कूल प्लेसमेंट का निर्धारण) का निर्धारण करते हैं, असावधानीवश में एक श्रेणी के विरुद्ध भेदभाव कर सकते हैं जब समान उपयोगकर्ताओं (क्रेडिट स्कोर में) के आधार पर जोखिम का निर्धारण किया जाता है।<ref name="Lipartito">{{cite report|last1=Lipartito|first1=Kenneth|title=The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today|date=6 January 2011|doi=10.2139/SSRN.1736283 |ssrn=1736283|s2cid=166742927|url=https://mpra.ub.uni-muenchen.de/28142/1/MPRA_paper_28142.pdf|type=Submitted manuscript}}</ref>{{rp|36}} इस बीच, अनुशंसा इंजन जो उपयोगकर्ताओं को समान उपयोगकर्ताओं के साथ जोड़कर काम करते हैं, या जो अनुमानित विपणन लक्षणों का उपयोग करते हैं, वे गलत संघों पर भरोसा कर सकते हैं जो व्यापक जातीय, लिंग, सामाजिक-आर्थिक, या जातिय रूढ़िवादिता को दर्शाते हैं। एक और उदाहरण परिणामों में सम्मिलित और बहिष्कृत के लिए मानदंड निर्धारित करने से आता है। यह मानदंड सर्च परिणामों के लिए अप्रत्याशित परिणाम प्रस्तुत कर सकता है, जैसे उड़ान-अनुशंसा सॉफ़्टवेयर के साथ जो उन उड़ानों को छोड़ देता है जो प्रायोजन एयरलाइन के उड़ान पथों का पालन नहीं करते हैं।<ref name="TowCenter" />कलन विधि एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े [[डेटा सेट]] उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। यह कलन विधि प्रक्रियाओं को उन परिणामों की ओर झुका हुआ कर सकता है जो बड़े नमूनों के साथ अधिक निकटता से मेल खाते हैं, जो कम आबादी वाले डेटा की अवहेलना कर सकते हैं।<ref name="GoodmanFlaxman2016">{{Cite journal|last1=Goodman|first1=Bryce|last2=Flaxman|first2=Seth|title=एल्गोरिथम निर्णय लेने पर यूरोपीय संघ के नियम और "स्पष्टीकरण का अधिकार"|journal=[[AI Magazine]] |volume=38 |issue=3 |pages=50 |arxiv=1606.08813 |doi=10.1609/aimag.v38i3.2741 |year=2017|s2cid=7373959}}</ref>{{rp|4}} | ||
== इतिहास == | == इतिहास == | ||
=== प्रारंभिक समालोचना === | === प्रारंभिक समालोचना === | ||
[[File:Used Punchcard (5151286161).jpg|thumb|इस कार्ड का उपयोग सॉफ्टवेयर को पुराने मेनफ्रेम कंप्यूटर में लोड करने के लिए किया गया था। प्रत्येक बाइट (अक्षर 'ए', उदाहरण के लिए) छिद्र छिद्रों द्वारा दर्ज किया जाता है। हालांकि समकालीन कंप्यूटर अधिक जटिल हैं, वे डेटा एकत्र करने और संसाधित करने में इस मानवीय निर्णय लेने की प्रक्रिया को दर्शाते हैं।<ref name="Weizenbaum1976" />{{rp|70}}<ref name="Goffrey" />{{rp|16}}]]प्रारंभिक कंप्यूटर प्रोग्राम मानव तर्क और निगमन की नकल करने के लिए डिज़ाइन किए गए थे, और जब वे मानव तर्क को सफलतापूर्वक और | [[File:Used Punchcard (5151286161).jpg|thumb|इस कार्ड का उपयोग सॉफ्टवेयर को पुराने मेनफ्रेम कंप्यूटर में लोड करने के लिए किया गया था। प्रत्येक बाइट (अक्षर 'ए', उदाहरण के लिए) छिद्र छिद्रों द्वारा दर्ज किया जाता है। हालांकि समकालीन कंप्यूटर अधिक जटिल हैं, वे डेटा एकत्र करने और संसाधित करने में इस मानवीय निर्णय लेने की प्रक्रिया को दर्शाते हैं।<ref name="Weizenbaum1976" />{{rp|70}}<ref name="Goffrey" />{{rp|16}}]]प्रारंभिक कंप्यूटर प्रोग्राम मानव तर्क और निगमन की नकल करने के लिए डिज़ाइन किए गए थे, और जब वे मानव तर्क को सफलतापूर्वक और निरन्तर पुन: उत्पन्न करते हैं तो उन्हें कार्य करने के लिए माना जाता था। 1976 की अपनी पुस्तक [[कंप्यूटर शक्ति और मानव कारण]] में, कृत्रिम बुद्धिमत्ता के अग्रदूत [[जोसेफ व्हीटबाउम]] ने सुझाव दिया कि पूर्वाग्रह एक कार्यक्रम में उपयोग किए गए डेटा से उत्पन्न हो सकता है, लेकिन जिस तरह से एक कार्यक्रम को कोडित किया जाता है।<ref name="Weizenbaum1976" />{{rp|149}} | ||
वेइज़ेनबौम ने लिखा है कि [[कंप्यूटर प्रोग्राम]] कंप्यूटर के पालन के लिए मनुष्यों द्वारा बनाए गए नियमों का एक क्रम है। उन नियमों का | वेइज़ेनबौम ने लिखा है कि [[कंप्यूटर प्रोग्राम]] कंप्यूटर के पालन के लिए मनुष्यों द्वारा बनाए गए नियमों का एक क्रम है। उन नियमों का निरन्तर पालन करते हुए, ऐसे कार्यक्रम कानून का रूप धारण करते हैं,<ref name="Weizenbaum1976">{{cite book|last1=Weizenbaum|first1=Joseph|title=Computer Power and Human Reason: From Judgment to Calculation |url=https://archive.org/details/computerpowerhum0000weiz|url-access=registration|date=1976|publisher=W.H. Freeman|location=San Francisco|isbn=978-0-7167-0464-5}}</ref>{{rp|40}} अर्थात समस्याओं को हल करने के लिए एक विशिष्ट तरीका लागू करें। पूर्वाग्रह को कई तरीकों से कलन विधि में प्रस्तुत किया जा सकता है। कंप्यूटर जिन नियमों का पालन करता है, वे कंप्यूटर प्रोग्रामर की मान्यताओं पर आधारित होते हैं कि इन समस्याओं को किस प्रकार हल किया जा सकता है। इसका तात्पर्य है कि कोड प्रोग्रामर की कल्पना को सम्मिलित कर सकता है कि दुनिया किस प्रकार काम करती है, जिसमें उनके पूर्वाग्रह और अपेक्षाएं सम्मिलित हैं।<ref name="Weizenbaum1976" />{{rp|109}} जबकि एक कंप्यूटर प्रोग्राम इस तरह से पूर्वाग्रह को सम्मिलित कर सकता है, वीज़ेनबाम ने यह भी नोट किया कि मशीन को खिलाया गया कोई भी डेटा मानव निर्णय लेने की प्रक्रियाओं को अतिरिक्त रूप से दर्शाता है क्योंकि डेटा का चयन किया जा रहा है।<ref name="Weizenbaum1976" />{{rp|70, 105}} | ||
अंत में, उन्होंने कहा कि यदि उपयोगकर्ता परिणामों की व्याख्या किस प्रकार करें, इसके बारे में अस्पष्ट हैं तो मशीनें [[अनपेक्षित परिणाम]] के साथ अच्छी जानकारी भी स्थानांतरित कर सकती हैं।<ref name="Weizenbaum1976" />{{rp|65}} वेइज़ेनबौम ने कंप्यूटर प्रोग्राम द्वारा किए गए भरोसेमंद फैसलों के विरुद्ध चेतावनी दी है कि एक उपयोगकर्ता समझ में नहीं आता है, इस तरह के विश्वास की तुलना एक पर्यटक से की जाती है जो एक सिक्का टॉस पर बाएं या दाएं मुड़कर विशेष रूप से होटल के कमरे में अपना रास्ता | अंत में, उन्होंने कहा कि यदि उपयोगकर्ता परिणामों की व्याख्या किस प्रकार करें, इसके बारे में अस्पष्ट हैं तो मशीनें [[अनपेक्षित परिणाम]] के साथ अच्छी जानकारी भी स्थानांतरित कर सकती हैं।<ref name="Weizenbaum1976" />{{rp|65}} वेइज़ेनबौम ने कंप्यूटर प्रोग्राम द्वारा किए गए भरोसेमंद फैसलों के विरुद्ध चेतावनी दी है कि एक उपयोगकर्ता समझ में नहीं आता है, इस तरह के विश्वास की तुलना एक पर्यटक से की जाती है जो एक सिक्का टॉस पर बाएं या दाएं मुड़कर विशेष रूप से होटल के कमरे में अपना रास्ता सर्च सकता है। महत्वपूर्ण रूप से, पर्यटक के पास यह समझने का कोई आधार नहीं है कि वह अपने गंतव्य पर किस प्रकार या क्यों पहुंचा, और एक सफल आगमन का तात्पर्य यह नहीं है कि प्रक्रिया सटीक या विश्वसनीय है।<ref name="Weizenbaum1976" />{{rp|226}} | ||
कलन विधि | कलन विधि पूर्वाग्रह के एक प्रारंभिक उदाहरण के परिणामस्वरूप 60 से अधिक महिलाओं और जातीय अल्पसंख्यकों को सेंट जॉर्ज, लंदन विश्वविद्यालय में प्रवेश से वंचित कर दिया गया। 1982 से 1986 तक प्रति वर्ष जॉर्ज अस्पताल मेडिकल स्कूल, एक नई कंप्यूटर-मार्गदर्शन मूल्यांकन प्रणाली के कार्यान्वयन के आधार पर, जो प्रवेश में ऐतिहासिक प्रवृत्तियों के आधार पर महिलाओं और पुरुषों के लिए विदेशी नामों के साथ प्रवेश से बाध्य करती थी।<ref name="LowryMacpherson">{{cite journal|last1=Lowry|first1=Stella|last2=Macpherson|first2=Gordon|date=5 March 1988|title=पेशे पर धब्बा|url=http://europepmc.org/backend/ptpmcrender.fcgi?accid=PMC2545288&blobtype=pdf|journal=British Medical Journal|volume=296|issue=6623|pages=657–8|access-date=17 November 2017|pmid=3128356|pmc=2545288|doi=10.1136/bmj.296.6623.657}}</ref> जबकि उस समय कई स्कूलों ने अपनी चयन प्रक्रिया में समान पूर्वाग्रहों को नियोजित किया था, सेंट जॉर्ज एक कलन विधि के उपयोग के माध्यम से कथित पूर्वाग्रहों को स्वचालित करने के लिए सबसे उल्लेखनीय थे, इस प्रकार लोगों का ध्यान बहुत व्यापक पैमाने पर आकर्षित किया। | ||
हाल के वर्षों में, जब अधिक कलन विधि ने वास्तविक दुनिया के डेटा पर मशीन सीखने के तरीकों का उपयोग करना शुरू किया, तो डेटा में सम्मलित | हाल के वर्षों में, जब अधिक कलन विधि ने वास्तविक दुनिया के डेटा पर मशीन सीखने के तरीकों का उपयोग करना शुरू किया, तो डेटा में सम्मलित पूर्वाग्रह के कारण कलन विधि पूर्वाग्रह अधिक पाया जा सकता है। | ||
=== समसामयिक समालोचना और प्रतिक्रियाएं === | === समसामयिक समालोचना और प्रतिक्रियाएं === | ||
हालांकि अच्छी तरह से डिज़ाइन किए गए कलन विधि अधिकांशतः ऐसे परिणामों का निर्धारण करते हैं जो मनुष्यों के निर्णयों की तुलना में समान (या अधिक) न्यायसंगत हैं, | हालांकि अच्छी तरह से डिज़ाइन किए गए कलन विधि अधिकांशतः ऐसे परिणामों का निर्धारण करते हैं जो मनुष्यों के निर्णयों की तुलना में समान (या अधिक) न्यायसंगत हैं, पूर्वाग्रह के सन्दर्भ अभी भी होते हैं, और भविष्यवाणी करना और विश्लेषण करना मुश्किल होता है।<ref name="Miller">{{cite journal |last1=Miller |first1=Alex P. |title=Want Less-Biased Decisions? Use Algorithms |url=https://hbr.org/2018/07/want-less-biased-decisions-use-algorithms |journal=Harvard Business Review |access-date=31 July 2018 |date=26 July 2018}}</ref> कलन विधि पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। एक डिजाइनर, या डिजाइनरों की टीम द्वारा लिए गए निर्णय, एक कार्यक्रम के लिए बनाए गए कोड के कई टुकड़ों के बीच अस्पष्ट हो सकते हैं; समय के साथ इन निर्णयों और कार्यक्रम के परिणाम पर उनके सामूहिक प्रभाव को भुला दिया जा सकता है।<ref name="Introna1">{{cite journal|last1=Introna|first1=Lucas D.|s2cid=145190381|date=2 December 2011|title=कोड की एनफ्रेमिंग|journal=Theory, Culture & Society|volume=28|issue=6|pages=113–141|doi=10.1177/0263276411418131}}</ref>{{rp|115}}कलन विधि एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े [[डेटा सेट]] उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। सिद्धांत रूप में, ये पूर्वाग्रह समाज के अन्य तत्वों के साथ कोड [[साइबरनेटिक्स]] के रूप में विशिष्ट तकनीकों के संबंध में व्यवहार या स्क्रिप्ट के नए पैटर्न बना सकते हैं।<ref name="Bogost">{{cite web|url=https://www.theatlantic.com/technology/archive/2015/01/the-cathedral-of-computation/384300/|title=गणना का कैथेड्रल|last1=Bogost|first1=Ian|website=The Atlantic|access-date=19 November 2017|date=2015-01-15}}</ref> पूर्वाग्रह यह भी प्रभावित कर सकते हैं कि कलन विधि की आवश्यकता वाले [[डेटा बिंदु]]ओं के आसपास समाज खुद को किस प्रकार आकार देता है। उदाहरण के लिए, यदि डेटा किसी विशेष क्षेत्र में गिरफ्तारियों की उच्च संख्या दिखाता है, तो एक कलन विधि उस क्षेत्र में अधिक पुलिस गश्त लगा सकता है, जिससे अधिक गिरफ्तारियां हो सकती हैं।<ref name="IntronaWood">{{cite journal|last1=Introna|first1=Lucas|last2=Wood|first2=David|date=2004|title=Picturing algorithmic surveillance: the politics of facial recognition systems|url=http://nbn-resolving.de/urn:nbn:de:0168-ssoar-200675|journal=Surveillance & Society|volume=2|pages=177–198|access-date=19 November 2017}}</ref>{{rp|180}} | ||
कलन विधि कार्यक्रमों के निर्णयों को उन मनुष्यों के निर्णयों की तुलना में अधिक आधिकारिक के रूप में देखा जा सकता है, जिनकी वे सहायता करने के लिए हैं,<ref name="Introna2">{{cite journal|last1=Introna|first1=Lucas D.|date=21 December 2006|title=Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible|journal=Ethics and Information Technology|volume=9|issue=1|pages=11–25|doi=10.1007/s10676-006-9133-z|citeseerx=10.1.1.154.1313|s2cid=17355392}}</ref>{{rp|15}} लेखक [[क्ले शिर्की]] द्वारा कलन विधि प्राधिकरण के रूप में वर्णित एक प्रक्रिया।<ref name="ShirkyAuthority">{{cite web|url=http://www.shirky.com/weblog/2009/11/a-speculative-post-on-the-idea-of-algorithmic-authority/|title=एल्गोरिथम अथॉरिटी क्ले शिर्की के विचार पर एक सट्टा पोस्ट|last1=Shirky|first1=Clay|website=www.shirky.com|access-date=20 November 2017}}</ref> शिर्की | कलन विधि कार्यक्रमों के निर्णयों को उन मनुष्यों के निर्णयों की तुलना में अधिक आधिकारिक के रूप में देखा जा सकता है, जिनकी वे सहायता करने के लिए हैं,<ref name="Introna2">{{cite journal|last1=Introna|first1=Lucas D.|date=21 December 2006|title=Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible|journal=Ethics and Information Technology|volume=9|issue=1|pages=11–25|doi=10.1007/s10676-006-9133-z|citeseerx=10.1.1.154.1313|s2cid=17355392}}</ref>{{rp|15}} लेखक [[क्ले शिर्की]] द्वारा कलन विधि प्राधिकरण के रूप में वर्णित एक प्रक्रिया।<ref name="ShirkyAuthority">{{cite web|url=http://www.shirky.com/weblog/2009/11/a-speculative-post-on-the-idea-of-algorithmic-authority/|title=एल्गोरिथम अथॉरिटी क्ले शिर्की के विचार पर एक सट्टा पोस्ट|last1=Shirky|first1=Clay|website=www.shirky.com|access-date=20 November 2017}}</ref> शिर्की सर्च परिणामों जैसे विविध, अविश्वसनीय स्रोतों से मूल्य निकालने की एक अप्रबंधित प्रक्रिया को आधिकारिक मानने के निर्णय का वर्णन करने के लिए शब्द का उपयोग करता है।<ref name="ShirkyAuthority" />इस तटस्थता को विशेषज्ञों और मीडिया द्वारा उपयोग की जाने वाली भाषा द्वारा भी गलत कार्यविधि से प्रस्तुत किया जा सकता है जब परिणाम जनता के सामने प्रस्तुत किए जाते हैं। कलन विधि पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। उदाहरण के लिए, केवल उनकी लोकप्रियता की तुलना में महत्वपूर्ण रूप से व्यापक मानदंडों के आधार पर ट्रेंडिंग या लोकप्रिय के रूप में चयनित और प्रस्तुत किए गए समाचारों की एक सूची बनाई जा सकती है।<ref name="Gillespie et al" />{{rp|14}} | ||
उनकी सुविधा और अधिकार के कारण, कलन विधि को मानव से दूर उत्तरदायित्व सौंपने के साधन के रूप में सिद्धांतित किया जाता है।<ref name="Introna2" />{{rp|16}}<ref name="Ziewitz1">{{cite journal|last1=Ziewitz|first1=Malte|title=Governing Algorithms: Myth, Mess, and Methods|journal=Science, Technology, & Human Values|date=1 January 2016|volume=41|issue=1|pages=3–16|doi=10.1177/0162243915608948|s2cid=148023125|issn=0162-2439|url=http://revistas.ucm.es/index.php/ESMP/article/view/58040}}</ref>{{rp|6}} इसका वैकल्पिक विकल्पों, समझौता, या लचीलेपन को कम करने का प्रभाव हो सकता है।<ref name="Introna2" />{{rp|16}} समाजशास्त्री [[स्कॉट लश]] ने कलन विधि की आलोचनात्मक शक्ति के एक नए रूप के रूप में की है, जिसमें वे वास्तविक लक्ष्यों को उत्पन्न करने का एक आभासी साधन हैं। जहां पहले मानव व्यवहार ने डेटा एकत्र करने और अध्ययन करने के लिए उत्पन्न किया, शक्तिशाली कलन विधि तेजी से मानव व्यवहार को आकार और परिभाषित कर सकते थे।<ref name="Lash">{{cite journal|last1=Lash|first1=Scott|date=30 June 2016|title=आधिपत्य के बाद की शक्ति|journal=Theory, Culture & Society|volume=24|issue=3|pages=55–78|doi=10.1177/0263276407075956|s2cid=145639801}}</ref>{{rp|71}} | उनकी सुविधा और अधिकार के कारण, कलन विधि को मानव से दूर उत्तरदायित्व सौंपने के साधन के रूप में सिद्धांतित किया जाता है।<ref name="Introna2" />{{rp|16}}<ref name="Ziewitz1">{{cite journal|last1=Ziewitz|first1=Malte|title=Governing Algorithms: Myth, Mess, and Methods|journal=Science, Technology, & Human Values|date=1 January 2016|volume=41|issue=1|pages=3–16|doi=10.1177/0162243915608948|s2cid=148023125|issn=0162-2439|url=http://revistas.ucm.es/index.php/ESMP/article/view/58040}}</ref>{{rp|6}} इसका वैकल्पिक विकल्पों, समझौता, या लचीलेपन को कम करने का प्रभाव हो सकता है।<ref name="Introna2" />{{rp|16}} समाजशास्त्री [[स्कॉट लश]] ने कलन विधि की आलोचनात्मक शक्ति के एक नए रूप के रूप में की है, जिसमें वे वास्तविक लक्ष्यों को उत्पन्न करने का एक आभासी साधन हैं। जहां पहले मानव व्यवहार ने डेटा एकत्र करने और अध्ययन करने के लिए उत्पन्न किया, शक्तिशाली कलन विधि तेजी से मानव व्यवहार को आकार और परिभाषित कर सकते थे।<ref name="Lash">{{cite journal|last1=Lash|first1=Scott|date=30 June 2016|title=आधिपत्य के बाद की शक्ति|journal=Theory, Culture & Society|volume=24|issue=3|pages=55–78|doi=10.1177/0263276407075956|s2cid=145639801}}</ref>{{rp|71}} | ||
समाज पर कलन विधि के प्रभाव को लेकर चिंता ने गूगल और [[Microsoft|माइक्रोसॉफ्ट]] जैसे संगठनों में कार्यकारी समूहों का निर्माण किया है, जिन्होंने निष्पक्षता, उत्तरदायित्व और मशीन लर्निंग में पारदर्शिता।<ref name="Garcia">{{cite journal |last1=Garcia |first1=Megan |title=मशीन में नस्लवादी|journal=World Policy Journal |date=1 January 2016 |volume=33 |issue=4 |pages=111–117 |doi=10.1215/07402775-3813015 |s2cid=151595343 }}</ref>{{rp|115}} | समाज पर कलन विधि के प्रभाव को लेकर चिंता ने गूगल और [[Microsoft|माइक्रोसॉफ्ट]] जैसे संगठनों में कार्यकारी समूहों का निर्माण किया है, जिन्होंने निष्पक्षता, उत्तरदायित्व और मशीन लर्निंग में पारदर्शिता।<ref name="Garcia">{{cite journal |last1=Garcia |first1=Megan |title=मशीन में नस्लवादी|journal=World Policy Journal |date=1 January 2016 |volume=33 |issue=4 |pages=111–117 |doi=10.1215/07402775-3813015 |s2cid=151595343 }}</ref>{{rp|115}}गूगल के विचारों में सामुदायिक समूह सम्मिलित हैं जो कलन विधि के परिणामों की निगरानी करते हैं और उन आउटपुट को नियंत्रित या प्रतिबंधित करने के लिए मतदान करते हैं जिनके बारे में वे नकारात्मक परिणाम मानते हैं।<ref name="Garcia" />{{rp|117}}हाल के वर्षों में, निष्पक्षता, उत्तरदायित्व का अध्ययन और कलन विधि की पारदर्शिता (एफएटी) एफएसीसीटी नामक एक वार्षिक सम्मेलन के साथ अपने स्वयं के अंतःविषय अनुसंधान क्षेत्र के रूप में उभरा है।<ref>{{Cite web|url=https://facctconference.org/2021/press-release.html|title=ACM FAccT 2021 Registration | ||
गूगल के विचारों में सामुदायिक समूह सम्मिलित हैं जो कलन विधि के परिणामों की निगरानी करते हैं और उन आउटपुट को नियंत्रित या प्रतिबंधित करने के लिए मतदान करते हैं जिनके बारे में वे नकारात्मक परिणाम मानते हैं।<ref name="Garcia" />{{rp|117}} | |||
हाल के वर्षों में, निष्पक्षता, उत्तरदायित्व का अध्ययन और कलन विधि की पारदर्शिता (एफएटी) एफएसीसीटी नामक एक वार्षिक सम्मेलन के साथ अपने स्वयं के अंतःविषय अनुसंधान क्षेत्र के रूप में उभरा है।<ref>{{Cite web|url=https://facctconference.org/2021/press-release.html|title=ACM FAccT 2021 Registration | |||
|website=fatconference.org|access-date=2021-11-14}}</ref> आलोचकों ने सुझाव दिया है कि एफएटीकी पहल प्रभावी रूप से स्वतंत्र प्रहरी के रूप में काम नहीं कर सकती है, जब कई निगमों द्वारा अध्ययन किए जा रहे प्रणाली का निर्माण करके वित्त पोषित किया जाता है।<ref name="Ochigame">{{cite web |last1=Ochigame |first1=Rodrigo |title=The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation |url=https://theintercept.com/2019/12/20/mit-ethical-ai-artificial-intelligence/ |website=The Intercept |access-date=11 February 2020 |date=20 December 2019}}</ref> | |website=fatconference.org|access-date=2021-11-14}}</ref> आलोचकों ने सुझाव दिया है कि एफएटीकी पहल प्रभावी रूप से स्वतंत्र प्रहरी के रूप में काम नहीं कर सकती है, जब कई निगमों द्वारा अध्ययन किए जा रहे प्रणाली का निर्माण करके वित्त पोषित किया जाता है।<ref name="Ochigame">{{cite web |last1=Ochigame |first1=Rodrigo |title=The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation |url=https://theintercept.com/2019/12/20/mit-ethical-ai-artificial-intelligence/ |website=The Intercept |access-date=11 February 2020 |date=20 December 2019}}</ref> | ||
| Line 50: | Line 46: | ||
'''<big>प्रकार</big>''' | |||
=== पहले से सम्मलित === | === पहले से सम्मलित === | ||
कलन विधि में पहले से सम्मलित | कलन विधि में पहले से सम्मलित पूर्वाग्रह अंतर्निहित सामाजिक और संस्थागत [[विचारधारा]] का परिणाम है। इस तरह के विचार व्यक्तिगत डिजाइनरों या प्रोग्रामरों के भीतर व्यक्तिगत पूर्वाग्रह को प्रभावित या बना सकते हैं। इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं।<ref name="FriedmanNissenbaum" />{{rp|334}}<ref name="Tewell" />{{rp|294}} निष्फल चयनित इनपुट डेटा, या बस एक पूर्वाग्रह स्रोत से डेटा, मशीनों द्वारा बनाए गए परिणामों को प्रभावित करेगा।<ref name="Goffrey">{{cite book|last1=Goffrey|first1=Andrew|editor1-last=Fuller|editor1-first=Matthew|title=Software Studies: A Lexicon|url=https://archive.org/details/softwarestudiesl00full_007|url-access=limited|date=2008|publisher=MIT Press|location=Cambridge, Mass.|isbn=978-1-4356-4787-9|pages=[https://archive.org/details/softwarestudiesl00full_007/page/n29 15]–20|chapter=Algorithm}}</ref>{{rp|17}} सॉफ्टवेयर में पूर्व-सम्मलित पूर्वाग्रह को एनकोड करने से सामाजिक और संस्थागत पूर्वाग्रह को संरक्षित किया जा सकता है, और, सुधार के बिना, उस कलन विधि के सभी भविष्य के उपयोगों में पुनरावृत्ति किया जा सकता है।<ref name="Introna1" />{{rp|116}}<ref name="Ziewitz1" />{{rp|8}} | ||
पूर्वाग्रह के इस रूप का एक उदाहरण [[ब्रिटिश राष्ट्रीयता अधिनियम]] कार्यक्रम है, जिसे 1981 के ब्रिटिश राष्ट्रीयता अधिनियम के बाद नए ब्रिटिश नागरिकों के मूल्यांकन को स्वचालित करने के लिए डिज़ाइन किया गया है।<ref name="FriedmanNissenbaum" />{{rp|341}} कार्यक्रम ने कानून के सिद्धांतों को सटीक रूप से प्रतिबिंबित किया, जिसमें कहा गया था कि एक पुरुष केवल अपने वैध बच्चों का पिता होता है, जबकि एक महिला अपने सभी बच्चों की मां होती है, वैध हो या नहीं।<ref name="FriedmanNissenbaum" />{{rp|341}}<ref name="SergotEtAl">{{cite journal|last1=Sergot|first1=MJ|last2=Sadri|first2=F|last3=Kowalski|first3=RA|last4=Kriwaczek|first4=F|last5=Hammond|first5=P|last6=Cory|first6=HT|title=एक तर्क कार्यक्रम के रूप में ब्रिटिश राष्ट्रीयता अधिनियम|journal=Communications of the ACM|date=May 1986|volume=29|issue=5|pages=370–386|url=https://web.stanford.edu/class/cs227/Readings/BritishNationalityAct.pdf|access-date=18 November 2017|doi=10.1145/5689.5920|s2cid=5665107}}</ref>{{rp|375}} एक कलन विधि प्रक्रिया में एक विशेष तर्क को स्थानांतरित करने के अपने प्रयास में, बीएनएपी ने अपने कलन विधि में ब्रिटिश राष्ट्रीयता अधिनियम के तर्क को अंकित किया, जो अधिनियम के निरस्त होने पर भी इसे बनाए रखेगा।<ref name="FriedmanNissenbaum" />{{rp|342}} | |||
=== तकनीकी === | === तकनीकी === | ||
[[File:Three Surveillance cameras.jpg|thumb|निगरानी कैमरों के संयोजन में उपयोग किए जाने वाले चेहरे की पहचान करने वाले सॉफ़्टवेयर को सफेद चेहरों पर एशियाई और काले चेहरों को पहचानने में | [[File:Three Surveillance cameras.jpg|thumb|निगरानी कैमरों के संयोजन में उपयोग किए जाने वाले चेहरे की पहचान करने वाले सॉफ़्टवेयर को सफेद चेहरों पर एशियाई और काले चेहरों को पहचानने में पूर्वाग्रह प्रदर्शित करने के लिए पाया गया।<ref name="IntronaWood" />{{rp|191}}]]तकनीकी पूर्वाग्रह एक कार्यक्रम की सीमाओं, कम्प्यूटेशनल शक्ति, इसकी डिजाइन, या प्रणाली पर अन्य बाधाओं के माध्यम से निकल कर आता है।<ref name="FriedmanNissenbaum" />{{rp|332}} इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं। इस तरह का पूर्वाग्रह डिजाइन का एक संयम भी हो सकता है, उदाहरण के लिए, एक सर्च इंजन जो प्रति स्क्रीन तीन परिणाम दिखाता है, को शीर्ष तीन परिणामों को अगले तीन की तुलना में थोड़ा अधिक विशेषाधिकार देने के लिए समझा जा सकता है, जैसा कि एक एयरलाइन मूल्य प्रदर्शन में होता है।<ref name="FriedmanNissenbaum" />{{rp|336}} एक अन्य प्रकरण सॉफ्टवेयर का है जो परिणामों के उचित वितरण के लिए यादृच्छिकता पर निर्भर करता है। यदि [[यादृच्छिक संख्या पीढ़ी]] तंत्र वास्तव में यादृच्छिक नहीं है, तो यह पूर्वाग्रह का परिचय दे सकता है, उदाहरण के लिए, सूची के अंत या शुरुआत में वस्तुओं की ओर चयन को झुका हुआ करके पूर्वाग्रह का परिचय दे सकता है।<ref name="FriedmanNissenbaum" />{{rp|332}} | ||
एक विसंबंधित कलन विधि परिणामों को क्रमबद्ध करने के लिए असंबंधित जानकारी का उपयोग करता है, उदाहरण के लिए, एक उड़ान-मूल्य निर्धारण कलन विधि जो वर्णानुक्रम से परिणामों को छाँटता है, यूनाइटेड एयरलाइंस की तुलना में अमेरिकन एयरलाइंस के पक्ष में | एक विसंबंधित कलन विधि परिणामों को क्रमबद्ध करने के लिए असंबंधित जानकारी का उपयोग करता है, उदाहरण के लिए, एक उड़ान-मूल्य निर्धारण कलन विधि जो वर्णानुक्रम से परिणामों को छाँटता है, यूनाइटेड एयरलाइंस की तुलना में अमेरिकन एयरलाइंस के पक्ष में पूर्वाग्रह होगा।<ref name="FriedmanNissenbaum" />{{rp|332}} विपरीत भी लागू हो सकता है, जिसमें परिणामों का मूल्यांकन उन संदर्भों में किया जाता है जिनसे वे एकत्र किए गए हैं। महत्वपूर्ण बाहरी संदर्भ के बिना डेटा एकत्र किया जा सकता है: उदाहरण के लिए, जब निगरानी कैमरों द्वारा [[चेहरे की पहचान प्रणाली]] सॉफ़्टवेयर का उपयोग किया जाता है, लेकिन किसी अन्य देश या क्षेत्र में दूरस्थ कर्मचारियों द्वारा मूल्यांकन किया जाता है, या गैर-मानव कलन विधि द्वारा मूल्यांकन किया जाता है, इसके बारे में कोई जानकारी नहीं होती है। कैमरे का [[दृश्य क्षेत्र]] यह एक अपराध स्थल की अधूरी समझ उत्पन्न कर सकता है, उदाहरण के लिए, अपराध करने वालों के लिए संभावित रूप से गलत समझने वाले इसके बारे में कोई जानकारी नहीं देते है।<ref name="Graham" />{{rp|574}} | ||
अंत में, इस धारणा पर ठोस कदमों में निर्णयों को औपचारिक रूप देने का प्रयास करके तकनीकी | अंत में, इस धारणा पर ठोस कदमों में निर्णयों को औपचारिक रूप देने का प्रयास करके तकनीकी पूर्वाग्रह उत्पन्न किया जा सकता है कि मानव व्यवहार उसी तरह काम करता है। उदाहरण के लिए, सॉफ़्टवेयर यह निर्धारित करने के लिए डेटा बिंदुओं का वजन करता है कि एक जूरी पर भावना के प्रभाव को अनदेखा करते हुए प्रतिवादी को एक याचिका सौदा स्वीकार करना चाहिए या नहीं।<ref name="FriedmanNissenbaum" />{{rp|332}} पूर्वाग्रह के इस रूप का एक अन्य अनपेक्षित परिणाम साहित्यिक चोरी का पता लगाने वाले सॉफ़्टवेयर [[ Turnitin |तुरनीतिन]] में पाया गया, जो छात्र-लिखित पाठों की तुलना ऑनलाइन मिली जानकारी से करता है और एक संभावना स्कोर वापस करता है कि छात्र के काम की नकल की जाती है। क्योंकि सॉफ्टवेयर पाठ के लंबे तार की तुलना करता है, यह देशी समस्याओं की तुलना में अंग्रेजी के गैर-देशी समस्याओं की पहचान करने की अधिक संभावना है, क्योंकि बाद वाला समूह अलग-अलग शब्दों को बदलने, साहित्यिक पाठ के तार को तोड़ने, या कॉपी किए गए अंशों को अस्पष्ट करने में सक्षम हो सकता है। समानार्थी शब्द क्योंकि सॉफ्टवेयर की तकनीकी बाधाओं के परिणामस्वरूप देशी समस्याओं के लिए पहचान से बचना आसान है, यह एक ऐसा परिदृश्य बनाता है जहां टर्निटिन साहित्यिक चोरी के लिए अंग्रेजी के विदेशी-भाषियों की पहचान करता है जबकि अधिक देशी-समस्याओं को पता लगाने से बचने की अनुमति देता है।<ref name="Introna2" />{{rp|21–22}} | ||
=== आकस्मिक === | === आकस्मिक === | ||
उभरते गुण | उभरते गुण पूर्वाग्रह नए या अप्रत्याशित संदर्भों में कलन विधि पर उपयोग और निर्भरता का परिणाम है।<ref name="FriedmanNissenbaum" />{{rp|334}} ज्ञान के नए रूपों पर विचार करने के लिए कलन विधि को समायोजित नहीं किया जा सकता है, जैसे कि नई दवाएं या चिकित्सा सफलताएं, नए कानून, व्यापार मॉडल, या सांस्कृतिक मानदंडों को स्थानांतरित करना।<ref name="FriedmanNissenbaum" />{{rp|334,336}} यह यह समझने के लिए स्पष्ट रूपरेखा प्रदान किए बिना कि उनके बहिष्करण के लिए कौन जिम्मेदार है, प्रौद्योगिकी के माध्यम से समूहों को बाहर कर सकता है।<ref name="IntronaWood" />{{rp|179}}<ref name="Tewell" />{{rp|294}} इसी तरह, समस्याएँ तब उत्पन्न हो सकती हैं जब प्रशिक्षण डेटा (मशीन को भेजे गए नमूने, जिसके द्वारा यह कुछ निश्चित निष्कर्षों को मॉडल करता है) उन संदर्भों के साथ संरेखित नहीं होता है जो वास्तविक दुनिया में एक कलन विधि का सामना करते हैं।<ref name="Gillespie">{{cite web|url=http://culturedigitally.org/2014/06/algorithm-draft-digitalkeyword/|title=Algorithm [draft] [#digitalkeywords] – Culture Digitally|last1=Gillespie|first1=Tarleton|website=culturedigitally.org|access-date=20 November 2017}}</ref> | ||
1990 में, अमेरिकी मेडिकल छात्रों को रेजीडेंसी, राष्ट्रीय रेजीडेंसी मैच प्रोग्राम (एनआरएमपी) में रखने के लिए उपयोग किए जाने वाले सॉफ़्टवेयर में उभरते | 1990 में, अमेरिकी मेडिकल छात्रों को रेजीडेंसी, राष्ट्रीय रेजीडेंसी मैच प्रोग्राम (एनआरएमपी) में रखने के लिए उपयोग किए जाने वाले सॉफ़्टवेयर में उभरते पूर्वाग्रह के एक उदाहरण की पहचान की गई थी।<ref name="FriedmanNissenbaum" />{{rp|338}} कलन विधि को ऐसे समय में डिज़ाइन किया गया था जब कुछ विवाहित जोड़े एक साथ निवास की तलाश करेंगे। जैसे ही अधिक महिलाएं मेडिकल स्कूलों में प्रवेश करती हैं, अधिक छात्रों को अपने सहयोगियों के साथ निवास का अनुरोध करने की संभावना होती है। इस प्रक्रिया में प्रत्येक आवेदक को पूरे अमेरिका में नियुक्ति के लिए वरीयता सूची प्रदान करने की आवश्यकता होती है, जिसे तब क्रमबद्ध किया जाता था और सौंपा जाता था जब एक अस्पताल और एक आवेदक दोनों एक मैच के लिए सहमत होते थे। विवाहित जोड़ों के सन्दर्भ में जहां दोनों ने निवास की मांग की थी, कलन विधि पहले उच्च-रेटेड साथी के स्थान विकल्पों का वजन करता था। परिणाम प्लेसमेंट वरीयता में समझौता करने के अतिरिक्त पहले साथी को अत्यधिक पसंदीदा स्कूलों और दूसरे साथी को कम-वरीयता वाले स्कूलों का निरन्तर असाइनमेंट था।<ref name="FriedmanNissenbaum" />{{rp|338}}<ref name="Roth">{{cite journal|last1=Roth|first1=A. E. 1524–1528.|title=New physicians: A natural experiment in market organization|journal=Science|date=14 December 1990|volume=250|issue=4987|pages=1524–1528|url=https://stanford.edu/~alroth/science.html|access-date=18 November 2017|bibcode=1990Sci...250.1524R|doi=10.1126/science.2274783|pmid=2274783|s2cid=23259274}}</ref> | ||
अतिरिक्त आकस्मिक पूर्वाग्रहों में सम्मिलित हैं: | अतिरिक्त आकस्मिक पूर्वाग्रहों में सम्मिलित हैं: | ||
| Line 76: | Line 71: | ||
==== अप्रत्याशित उपयोग ==== | ==== अप्रत्याशित उपयोग ==== | ||
आकस्मिक | आकस्मिक पूर्वाग्रह तब हो सकता है जब एक कलन विधि का उपयोग अप्रत्याशित दर्शकों द्वारा किया जाता है। उदाहरण के लिए, मशीनों की आवश्यकता हो सकती है कि उपयोगकर्ता संख्याओं को पढ़, लिख या समझ सकें, या उन रूपकों का उपयोग करके एक इंटरफ़ेस से संबंधित हो जिन्हें वे नहीं समझते हैं।<ref name="FriedmanNissenbaum" />{{rp|334}} ये बहिष्करण मिश्रित हो सकते हैं, क्योंकि पूर्वाग्रह या बहिष्करण तकनीक समाज में अधिक गहराई से एकीकृत है।<ref name="IntronaWood" />{{rp|179}} | ||
बहिष्करण के अतिरिक्त, अंतिम उपयोगकर्ता द्वारा अपने स्वयं के ज्ञान के अतिरिक्त सॉफ़्टवेयर पर भरोसा करने से अप्रत्याशित उपयोग निकल सकते हैं। एक उदाहरण में, एक अप्रत्याशित उपयोगकर्ता समूह ने ब्रिटेन में कलन विधि | बहिष्करण के अतिरिक्त, अंतिम उपयोगकर्ता द्वारा अपने स्वयं के ज्ञान के अतिरिक्त सॉफ़्टवेयर पर भरोसा करने से अप्रत्याशित उपयोग निकल सकते हैं। एक उदाहरण में, एक अप्रत्याशित उपयोगकर्ता समूह ने ब्रिटेन में कलन विधि पूर्वाग्रह का नेतृत्व किया, जब ब्रिटिश राष्ट्रीय अधिनियम कार्यक्रम को [[ब्रिटिश राष्ट्रीयता कानून]] के लिए उपयुक्तता का मूल्यांकन करने के लिए कंप्यूटर वैज्ञानिकों और आव्रजन वकीलों द्वारा अवधारणा के सबूत के रूप में बनाया गया था। डिजाइनरों के पास आव्रजन कार्यालयों में अंतिम उपयोगकर्ताओं से परे कानूनी विशेषज्ञता तक पहुंच थी, जिनकी सॉफ्टवेयर और आव्रजन कानून दोनों की समझ अपरिष्कृत रही होगी। प्रश्नों को प्रशासित करने वाले एजेंट पूरी तरह से सॉफ्टवेयर पर निर्भर थे, जिसमें नागरिकता के वैकल्पिक रास्ते सम्मिलित नहीं थे, और नए केस कानूनों और कानूनी व्याख्याओं के बाद भी कलन विधि का उपयोग पुराना हो गया था। अप्रवासन कानून पर कानूनी रूप से समझदार माने जाने वाले उपयोगकर्ताओं के लिए एक कलन विधि डिजाइन करने के परिणामस्वरूप, सॉफ्टवेयर के कलन विधि ने अप्रत्यक्ष रूप से उन आवेदकों के पक्ष में पूर्वाग्रह किया, जो अधिक व्यापक मानदंडों के अतिरिक्त कलन विधि द्वारा निर्धारित कानूनी मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं। ब्रिटिश आप्रवासन कानून के मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं।<ref name="FriedmanNissenbaum" />{{rp|342}} | ||
==== [[ प्रतिक्रिया पाश ]] ==== | ==== [[ प्रतिक्रिया पाश ]] ==== | ||
यदि कलन विधि के लिए एकत्र किए गए डेटा का परिणाम वास्तविक दुनिया की प्रतिक्रियाओं में होता है, जो कलन विधि में वापस फीड किए जाते हैं, तो आपातकालीन | यदि कलन विधि के लिए एकत्र किए गए डेटा का परिणाम वास्तविक दुनिया की प्रतिक्रियाओं में होता है, जो कलन विधि में वापस फीड किए जाते हैं, तो आपातकालीन पूर्वाग्रह फीडबैक लूप या रिकर्सन भी बना सकते हैं।<ref name="JouvenalPredPol">{{cite news|last1=Jouvenal|first1=Justin|title=Police are using software to predict crime. Is it a 'holy grail' or biased against minorities?|url=https://www.washingtonpost.com/local/public-safety/police-are-using-software-to-predict-crime-is-it-a-holy-grail-or-biased-against-minorities/2016/11/17/525a6649-0472-440a-aae1-b283aa8e5de8_story.html|newspaper=Washington Post|access-date=25 November 2017|date=17 November 2016}}</ref><ref name="Chamma">{{cite web|last1=Chamma|first1=Maurice|title=भविष्य की पुलिसिंग|url=https://www.themarshallproject.org/2016/02/03/policing-the-future?ref=hp-2-111#.UyhBLnmlj|website=The Marshall Project|access-date=25 November 2017|date=2016-02-03}}</ref> उदाहरण के लिए, ओकलैंड, कैलिफोर्निया में तैनात [[ भविष्य कहनेवाला पुलिसिंग |भविष्य कहने वाला पुलिसिंग]] सॉफ्टवेयर (प्रेडपोल) के सिमुलेशन ने जनता द्वारा रिपोर्ट किए गए अपराध के आंकड़ों के आधार पर काले पड़ोस में पुलिस की उपस्थिति में वृद्धि का सुझाव दिया।<ref name="LumIsaac">{{cite journal|last1=Lum|first1=Kristian|last2=Isaac|first2=William|title=To predict and serve?|journal=Significance|date=October 2016|volume=13|issue=5|pages=14–19|doi=10.1111/j.1740-9713.2016.00960.x|doi-access=free}}</ref> अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि सर्च इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। सिमुलेशन ने दिखाया कि जनता ने पुलिस कारों की दृष्टि के आधार पर अपराध की सूचना दी, चाहे पुलिस कुछ भी कर रही हो। सिमुलेशन ने अपराध की अपनी भविष्यवाणियों के मॉडलिंग में पुलिस कार देखे जाने की व्याख्या की, और बदले में उन पड़ोस के भीतर पुलिस की उपस्थिति में और भी बड़ी वृद्धि होगी।<ref name="JouvenalPredPol" /><ref name="SmithPredPol">{{cite web|last1=Smith|first1=Jack|title=भविष्यवाणिय पुलिसिंग केवल नस्लीय पूर्वाग्रह को बढ़ाती है, अध्ययन से पता चलता है|url=https://mic.com/articles/156286/crime-prediction-tool-pred-pol-only-amplifies-racially-biased-policing-study-shows|website=Mic|access-date=25 November 2017}}</ref><ref name="LumIsaacFAQ">{{cite web|last1=Lum|first1=Kristian|last2=Isaac|first2=William|title=प्रिडिक्टिव पुलिसिंग और बायस पर अक्सर पूछे जाने वाले प्रश्न|url=https://hrdag.org/2016/11/04/faqs-predpol/|website=HRDAG|access-date=25 November 2017|date=1 October 2016}}</ref> [[मानवाधिकार डेटा विश्लेषण समूह]], जिसने सिमुलेशन का संचालन किया, ने चेतावनी दी कि जिन जगहों पर जातिय भेदभाव गिरफ्तारी का एक कारक है, ऐसे फीडबैक लूप पुलिसिंग में जाति ीय भेदभाव को मजबूत और स्थायी बना सकते हैं।<ref name="Chamma" />इस तरह के व्यवहार को प्रदर्शित करने वाले कलन विधि का एक अन्य प्रसिद्ध उदाहरण कम्पस (सॉफ़्टवेयर) है, एक ऐसा सॉफ़्टवेयर जो किसी व्यक्ति के आपराधिक अपराधी बनने की संभावना को निर्धारित करता है। सॉफ़्टवेयर की अधिकांशतः काले व्यक्तियों को अपराधियों के रूप में लेबल करने के लिए आलोचना की जाती है, जो दूसरों की तुलना में बहुत अधिक होने की संभावना है, और फिर डेटा को स्वयं में वापस फीड कर देता है, जब व्यक्ति पंजीकृत अपराधी बन जाते हैं, आगे उस डेटासेट द्वारा बनाए गए पूर्वाग्रह को लागू करते हैं जिस पर कलन विधि कार्य कर रहा है। | ||
ऑनलाइन वीडियो या समाचार लेखों की सिफारिश करने के लिए उपयोग की जाने वाली अनुशंसा प्रणाली फीडबैक लूप बना सकती है।<ref>{{Cite journal|last1=Sun|first1=Wenlong|last2=Nasraoui|first2=Olfa|last3=Shafto|first3=Patrick|date=2018|title=सूचना फ़िल्टरिंग की इंटरएक्टिव मशीन लर्निंग प्रक्रिया में पुनरावृत्त एल्गोरिथम पूर्वाग्रह|journal=Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management|location=Seville, Spain|publisher=SCITEPRESS - Science and Technology Publications|pages=110–118|doi=10.5220/0006938301100118|isbn=9789897583308|doi-access=free}}</ref> जब उपयोगकर्ता कलन विधि द्वारा सुझाई गई सामग्री पर क्लिक करते हैं, तो यह सुझावों के अगले सेट को प्रभावित करती है।<ref>{{Cite journal|last1=Sinha|first1=Ayan|last2=Gleich|first2=David F.|last3=Ramani|first3=Karthik|date=2018-08-09|title=नेटवर्क के लिए गॉस का नियम सीधे तौर पर सामुदायिक सीमाओं को प्रकट करता है|journal=Scientific Reports|volume=8|issue=1|pages=11909|doi=10.1038/s41598-018-30401-0|pmid=30093660|pmc=6085300|issn=2045-2322|bibcode=2018NatSR...811909S}}</ref> समय के साथ यह उपयोगकर्ताओं को [[फ़िल्टर बुलबुला]] में प्रवेश करने और महत्वपूर्ण या उपयोगी सामग्री से अनजान होने का कारण बन सकता है।<ref>{{Cite web|url=https://qz.com/1194566/google-is-finally-admitting-it-has-a-filter-bubble-problem/|title=Google आखिरकार स्वीकार कर रहा है कि उसे फ़िल्टर-बबल समस्या है|last1=Hao|first1=Karen|website=Quartz|date=February 2018 |access-date=2019-02-26}}</ref><ref>{{Cite web|url=http://fortune.com/2017/04/25/facebook-related-articles-filter-bubbles/|title=फेसबुक 'फिल्टर बबल्स' से लड़ने के लिए इस नए फीचर का परीक्षण कर रहा है|website=Fortune|access-date=2019-02-26}}</ref> | ऑनलाइन वीडियो या समाचार लेखों की सिफारिश करने के लिए उपयोग की जाने वाली अनुशंसा प्रणाली फीडबैक लूप बना सकती है।<ref>{{Cite journal|last1=Sun|first1=Wenlong|last2=Nasraoui|first2=Olfa|last3=Shafto|first3=Patrick|date=2018|title=सूचना फ़िल्टरिंग की इंटरएक्टिव मशीन लर्निंग प्रक्रिया में पुनरावृत्त एल्गोरिथम पूर्वाग्रह|journal=Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management|location=Seville, Spain|publisher=SCITEPRESS - Science and Technology Publications|pages=110–118|doi=10.5220/0006938301100118|isbn=9789897583308|doi-access=free}}</ref> जब उपयोगकर्ता कलन विधि द्वारा सुझाई गई सामग्री पर क्लिक करते हैं, तो यह सुझावों के अगले सेट को प्रभावित करती है।<ref>{{Cite journal|last1=Sinha|first1=Ayan|last2=Gleich|first2=David F.|last3=Ramani|first3=Karthik|date=2018-08-09|title=नेटवर्क के लिए गॉस का नियम सीधे तौर पर सामुदायिक सीमाओं को प्रकट करता है|journal=Scientific Reports|volume=8|issue=1|pages=11909|doi=10.1038/s41598-018-30401-0|pmid=30093660|pmc=6085300|issn=2045-2322|bibcode=2018NatSR...811909S}}</ref> समय के साथ यह उपयोगकर्ताओं को [[फ़िल्टर बुलबुला]] में प्रवेश करने और महत्वपूर्ण या उपयोगी सामग्री से अनजान होने का कारण बन सकता है।<ref>{{Cite web|url=https://qz.com/1194566/google-is-finally-admitting-it-has-a-filter-bubble-problem/|title=Google आखिरकार स्वीकार कर रहा है कि उसे फ़िल्टर-बबल समस्या है|last1=Hao|first1=Karen|website=Quartz|date=February 2018 |access-date=2019-02-26}}</ref><ref>{{Cite web|url=http://fortune.com/2017/04/25/facebook-related-articles-filter-bubbles/|title=फेसबुक 'फिल्टर बबल्स' से लड़ने के लिए इस नए फीचर का परीक्षण कर रहा है|website=Fortune|access-date=2019-02-26}}</ref> | ||
| Line 89: | Line 84: | ||
=== वाणिज्यिक प्रभाव === | === वाणिज्यिक प्रभाव === | ||
वाणिज्यिक कलन विधि को किसी उपयोगकर्ता की जानकारी के बिना कंपनियों के बीच वित्तीय व्यवस्थाओं या समझौतों का अदृश्य रूप से पक्ष लेने के लिए झुका हुआ किया जा सकता है, जो कलन विधि को निष्पक्ष होने की गलती कर सकता है। उदाहरण के लिए, [[अमेरिकन एयरलाइंस]] ने 1980 के दशक में एक फ्लाइट-फाइंडिंग कलन विधि बनाया। सॉफ्टवेयर ने विभिन्न एयरलाइनों से ग्राहकों के लिए उड़ानों की एक श्रृंखला प्रस्तुत की, लेकिन मूल्य या सुविधा की परवाह किए बिना, अपनी खुद की उड़ानों को बढ़ावा देने वाले कारकों को तौला। [[ संयुक्त राज्य कांग्रेस |संयुक्त राज्य कांग्रेस]] की गवाही में, एयरलाइन के अध्यक्ष ने स्पष्ट रूप से कहा कि प्रणाली को अधिमान्य उपचार के माध्यम से प्रतिस्पर्धात्मक लाभ प्राप्त करने के इरादे से बनाया गया था।<ref name="Sandvig1" />{{rp|2}}<ref name="FriedmanNissenbaum">{{cite journal|last1=Friedman|first1=Batya|last2=Nissenbaum|first2=Helen|title=कंप्यूटर सिस्टम में पूर्वाग्रह|journal=ACM Transactions on Information Systems|date=July 1996|volume=14|issue=3|pages=330–347|url=https://nissenbaum.tech.cornell.edu/papers/biasincomputers.pdf|access-date=10 March 2019|doi=10.1145/230538.230561|s2cid=207195759}}</ref>{{rp|331}} | |||
1998 के एक पेपर में गूगल का वर्णन करते हुए, कंपनी के संस्थापकों ने भुगतान प्लेसमेंट के संबंध में | 1998 के एक पेपर में गूगल का वर्णन करते हुए, कंपनी के संस्थापकों ने भुगतान प्लेसमेंट के संबंध में सर्च परिणामों में पारदर्शिता की नीति अपनाई थी, यह तर्क देते हुए कि विज्ञापन-वित्त पोषित सर्च इंजन स्वाभाविक रूप से विज्ञापनदाताओं के प्रति पूर्वाग्रह होंगे और उपभोक्ताओं की जरूरतों से दूर होंगे।<ref name="BrinPage98">{{cite web|last1=Brin|first1=Sergey|last2=Page|first2=Lawrence|title=एक खोज इंजन का एनाटॉमी|url=http://www7.scu.edu.au/1921/com1921.htm|website=www7.scu.edu.au|access-date=18 November 2017|archive-url=https://web.archive.org/web/20190702020902/http://www7.scu.edu.au/1921/com1921.htm|archive-date=2 July 2019|url-status=dead}}</ref> यह पूर्वाग्रह उपयोगकर्ता का एक अदृश्य परिचालन होगा।<ref name="Sandvig1">{{cite journal|last1=Sandvig|first1=Christian|last2=Hamilton|first2=Kevin|author-link3=Karrie Karahalios|last3=Karahalios|first3=Karrie|last4=Langbort|first4=Cedric|title=Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms|journal=64th Annual Meeting of the International Communication Association|date=22 May 2014|url=http://www-personal.umich.edu/~csandvig/research/Auditing%20Algorithms%20--%20Sandvig%20--%20ICA%202014%20Data%20and%20Discrimination%20Preconference.pdf|access-date=18 November 2017}}</ref>{{rp|3}} | ||
=== मतदान व्यवहार === | === मतदान व्यवहार === | ||
अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि | अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि सर्च इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। शोधकर्ताओं ने निष्कर्ष निकाला कि उम्मीदवारों के पास प्रतिस्पर्धा का कोई साधन नहीं है यदि एक एल्गोरिथ्म, इरादे के साथ या बिना इरादे के, प्रतिद्वंद्वी उम्मीदवार के लिए पेज लिस्टिंग को बढ़ावा देता है।<ref name="Epstein">{{cite journal|last1=Epstein|first1=Robert|last2=Robertson|first2=Ronald E.|title=सर्च इंजन मैनिपुलेशन इफ़ेक्ट (SEME) और चुनाव के परिणामों पर इसका संभावित प्रभाव|journal=Proceedings of the National Academy of Sciences|date=18 August 2015|volume=112|issue=33|pages=E4512–E4521|doi=10.1073/pnas.1419828112|pmid=26243876|bibcode=2015PNAS..112E4512E|pmc=4547273|doi-access=free}}</ref> जिन फेसबुक यूजर्स ने वोटिंग से जुड़े मैसेज देखे, उनके वोट देने की संभावना ज्यादा थी। फेसबुक उपयोगकर्ताओं के 2010 के एक यादृच्छिक परीक्षण ने उन उपयोगकर्ताओं के बीच 20% की वृद्धि (340,000 वोट) दिखाई, जिन्होंने मतदान को प्रोत्साहित करने वाले संदेशों के साथ-साथ अपने दोस्तों की छवियों को वोट दिया था।<ref name="Bond-etal">{{cite journal|last1=Bond|first1=Robert M.|last2=Fariss|first2=Christopher J.|last3=Jones|first3=Jason J.|last4=Kramer|first4=Adam D. I.|last5=Marlow|first5=Cameron|last6=Settle|first6=Jaime E.|last7=Fowler|first7=James H.|title=A 61-million-person experiment in social influence and political mobilization|journal=Nature|date=13 September 2012|volume=489|issue=7415|pages=295–8|doi=10.1038/nature11421|pmid=22972300|pmc=3834737|issn=0028-0836|bibcode=2012Natur.489..295B}}</ref> कानूनी विद्वान जोनाथन ज़िट्रेन ने चेतावनी दी है कि यह चुनावों में एक डिजिटल गेरीमांडरिंग प्रभाव उत्पन्न कर सकता है, एक मध्यस्थ द्वारा अपने एजेंडे को पूरा करने के लिए सूचना की चयनात्मक प्रस्तुति, अपने उपयोगकर्ताओं की सेवा करने के अतिरिक्त, यदि जानबूझकर परिचालन की जाती है।<ref name="Zittrain">{{cite journal|last1=Zittrain|first1=Jonathan|title=इंजीनियरिंग एक चुनाव|journal=Harvard Law Review Forum|date=2014|volume=127|pages=335–341|url=http://cdn.harvardlawreview.org/wp-content/uploads/2014/06/vol127_Symposium_Zittrain.pdf|access-date=19 November 2017}}</ref>{{rp|335}} | ||
=== लैंगिक भेदभाव === | === लैंगिक भेदभाव === | ||
2016 में, प्रस्तुत | 2016 में, प्रस्तुत व्यावसायिक नेटवर्किंग साइट [[ Linkedin |Linkedin]] को सर्च प्रश्नों के जवाब में महिलाओं के नामों के पुरुष रूपों की सिफारिश करने के लिए खोजा गया था। पुरुष नामों की सर्च में साइट ने समान अनुशंसाएं नहीं कीं। उदाहरण के लिए, एंड्रिया यह पूछने के लिए एक संकेत लाएगा कि क्या उपयोगकर्ता का तात्पर्य एंड्रयू है, लेकिन एंड्रयू के लिए पूछताछ में यह नहीं पूछा गया कि क्या उपयोगकर्ता एंड्रिया को ढूंढना चाहते हैं। कंपनी ने कहा कि यह साइट के साथ यूजर्स के इंटरेक्शन के विश्लेषण का परिणाम है।<ref name="Day">{{cite web|last1=Day|first1=Matt|title=कैसे LinkedIn का सर्च इंजन एक लैंगिक पूर्वाग्रह को दर्शा सकता है|url=https://www.seattletimes.com/business/microsoft/how-linkedins-search-engine-may-reflect-a-bias/|website=[[The Seattle Times]]|access-date=25 November 2017|date=31 August 2016}}</ref> | ||
2012 में, डिपार्टमेंटल स्टोर फ़्रैंचाइज़ [[ लक्ष्य कंपनी) |लक्ष्य कंपनी]] को महिला ग्राहकों के गर्भवती होने पर डेटा बिंदुओं को | 2012 में, डिपार्टमेंटल स्टोर फ़्रैंचाइज़ [[ लक्ष्य कंपनी) |लक्ष्य कंपनी]] को महिला ग्राहकों के गर्भवती होने पर डेटा बिंदुओं को एकत्रित करने के लिए उद्धृत किया गया था, भले ही उन्होंने इसकी घोषणा नहीं की थी, और फिर उस जानकारी को मार्केटिंग भागीदारों के साथ साझा किया।<ref name="CrawfordSchultz">{{cite journal|last1=Crawford|first1=Kate|last2=Schultz|first2=Jason|title=Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms|journal=Boston College Law Review|date=2014|volume=55|issue=1|pages=93–128|url=http://lawdigitalcommons.bc.edu/bclr/vol55/iss1/4/|access-date=18 November 2017}}</ref>{{rp|94}}<ref name="Duhigg">{{Cite news|last1=Duhigg|first1=Charles|title=कंपनियां आपके राज कैसे सीखती हैं|url=https://www.nytimes.com/2012/02/19/magazine/shopping-habits.html|newspaper=The New York Times Magazine |access-date=18 November 2017|date=16 February 2012}}</ref> क्योंकि डेटा की भविष्यवाणी की गई थी, प्रत्यक्ष रूप से देखे जाने या रिपोर्ट किए जाने के अतिरिक्त, कंपनी के पास उन ग्राहकों की गोपनीयता की रक्षा करने का कोई कानूनी दायित्व नहीं था।<ref name="CrawfordSchultz" />{{rp|98}} | ||
वेब | वेब सर्च कलन विधि पर भी पूर्वाग्रह का आरोप लगाया गया है। गूगल के परिणाम विषमलैंगिकता से संबंधित सर्च शब्दों में अश्लील सामग्री को प्राथमिकता दे सकते हैं, उदाहरण के लिए, समलैंगिक। यह पूर्वाग्रह तटस्थ खोजों में लोकप्रिय लेकिन यौन सामग्री दिखाने वाले सर्च इंजन तक फैला हुआ है। उदाहरण के लिए, शीर्ष 25 सबसे सेक्सी महिला एथलीट लेख महिला एथलीटों की खोजों में प्रथम-पृष्ठ परिणामों के रूप में प्रदर्शित होते हैं।<ref name="Noble">{{cite journal|last1=Noble|first1=Safiya|author-link=Safiya Noble|title=Missed Connections: What Search Engines Say about Women|journal=[[Bitch (magazine)|Bitch]] |date=2012|volume=12|issue=4|pages=37–41|url=https://safiyaunoble.files.wordpress.com/2012/03/54_search_engines.pdf}}</ref>{{rp|31}} 2017 में, गूगल ने इन परिणामों को उन अन्य परिणामों के साथ समायोजित किया जो घृणा समूहों, जाति वादी विचारों, बाल दुर्व्यवहार और पोर्नोग्राफ़ी, और अन्य परेशान करने वाली और आपत्तिजनक सामग्री के रूप में सामने आए।<ref name="Guynn2">{{cite news|last1=Guynn|first1=Jessica|title=Google खोज परिणामों में आपत्तिजनक सामग्री को फ़्लैग करना शुरू करता है|url=https://www.usatoday.com/story/tech/news/2017/03/16/google-flags-offensive-content-search-results/99235548/|access-date=19 November 2017|work=USA TODAY|agency=USA Today|date=16 March 2017}}</ref> अन्य उदाहरणों में नौकरी सर्च वेबसाइटों पर पुरुष आवेदकों को उच्च भुगतान वाली नौकरियों का प्रदर्शन सम्मिलित है।<ref name="SimoniteMIT">{{cite web|url=https://www.technologyreview.com/s/539021/probing-the-dark-side-of-googles-ad-targeting-system/|title=अध्ययन से पता चलता है कि Google की विज्ञापन-लक्ष्यीकरण प्रणाली भेदभाव कर सकती है|last1=Simonite|first1=Tom|website=MIT Technology Review|publisher=Massachusetts Institute of Technology|access-date=17 November 2017}}</ref> शोधकर्ताओं ने यह भी पहचाना है कि मशीनी अनुवाद पुरुष चूक के प्रति एक मजबूत प्रवृत्ति प्रदर्शित करता है।<ref>{{Cite arXiv|eprint = 1809.02208|last1 = Prates|first1 = Marcelo O. R.|last2 = Avelar|first2 = Pedro H. C.|last3 = Lamb|first3 = Luis|title = मशीनी अनुवाद में लैंगिक पूर्वाग्रह का आकलन -- Google अनुवाद के साथ एक केस स्टडी|year = 2018|class = cs.CY}}</ref> विशेष रूप से, यह विज्ञान, प्रौद्योगिकी, इंजीनियरिंग और गणित व्यवसायों सहित असंतुलित लिंग वितरण से जुड़े क्षेत्रों में देखा गया है।<ref>{{Cite journal |doi = 10.1007/s00521-019-04144-6|title = Assessing gender bias in machine translation: A case study with Google Translate|journal = Neural Computing and Applications|year = 2019|last1 = Prates|first1 = Marcelo O. R.|last2 = Avelar|first2 = Pedro H.|last3 = Lamb|first3 = Luís C.|volume = 32|issue = 10|pages = 6363–6381|arxiv = 1809.02208|s2cid = 52179151}}</ref> वास्तव में, वर्तमान मशीनी अनुवाद प्रणालियाँ महिला श्रमिकों के वास्तविक विश्व वितरण को पुन: प्रस्तुत करने में विफल हैं।<ref>{{cite news |last1=Claburn |first1=Thomas |title=बोफिन्स सेक्सिज्म के लिए गूगल ट्रांसलेट को कोसते हैं|url=https://www.theregister.com/2018/09/10/boffins_bash_google_translate_for_sexist_language/ |access-date=28 April 2022 |work=The Register |date=10 September 2018 |language=en}}</ref> | ||
2015 में, अमेजन डॉट कॉम ने एक कृत्रिम बुद्धिमत्ता प्रणाली को बंद कर दिया, जिसे उसने नौकरी के आवेदनों को स्क्रीन करने के लिए विकसित किया था, जब उन्हें एहसास हुआ कि यह महिलाओं के विरुद्ध | 2015 में, अमेजन डॉट कॉम ने एक कृत्रिम बुद्धिमत्ता प्रणाली को बंद कर दिया, जिसे उसने नौकरी के आवेदनों को स्क्रीन करने के लिए विकसित किया था, जब उन्हें एहसास हुआ कि यह महिलाओं के विरुद्ध पूर्वाग्रह था।<ref>{{cite news |last1=Dastin |first1=Jeffrey |title=अमेज़ॅन ने गुप्त एआई भर्ती उपकरण को स्क्रैप किया जो महिलाओं के खिलाफ पूर्वाग्रह दिखाता था|url=https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G |work=Reuters |date=October 9, 2018}}</ref> भर्ती उपकरण ने उन आवेदकों को बाहर कर दिया, जिन्होंने सभी महिला कॉलेजों में भाग लिया और पुनः शुरू किया जिसमें महिला शब्द सम्मिलित था।<ref>{{Cite web|last=Vincent|first=James|date=10 October 2018|title=अमेज़ॅन कथित तौर पर आंतरिक एआई भर्ती उपकरण को स्क्रैप करता है जो महिलाओं के खिलाफ पक्षपातपूर्ण था|url=https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report|website=The Verge}}</ref> संगीत स्ट्रीमिंग सेवाओं के साथ एक समान समस्या सामने आई- 2019 में, यह पता चला कि Spotify द्वारा उपयोग की जाने वाली अनुशंसा प्रणाली कलन विधि महिला कलाकारों के विरुद्ध पूर्वाग्रह थी।<ref>{{Cite web|title=Reflecting on Spotify's Recommender System – SongData|url=https://songdata.ca/2019/10/01/reflecting-on-spotifys-recommender-system/|access-date=2020-08-07|language=en-US}}</ref> स्पॉटीफी के गाने की सिफारिशों ने महिला कलाकारों की तुलना में अधिक पुरुष कलाकारों का सुझाव दिया। | ||
=== जातिय और जातीय भेदभाव === | === जातिय और जातीय भेदभाव === | ||
निर्णय लेने में जातिय पूर्वाग्रहों को अस्पष्ट करने के कार्यविधि के रूप में कलन विधि की आलोचना की गई है।<ref name="Buolamwini-Gebru">{{cite journal |last1=Buolamwini |first1=Joy |last2=Gebru |first2=Timnit |title=Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification |journal=Proceedings of Machine Learning Research |date=21 January 2018 |volume=81 |issue=2018 |pages=77–91 |url=http://proceedings.mlr.press/v81/buolamwini18a.html |access-date=27 September 2020}}</ref><ref name="Noble2">{{cite book |last1=Noble |first1=Safiya Umoja |title=Algorithms of Oppression: How Search Engines Reinforce Racism |date=20 February 2018 |publisher=NYU Press |location=New York |isbn=978-1479837243}}</ref><ref name="Nakamura1">{{cite book|title=निगरानी का नया मीडिया|last1=Nakamura|first1=Lisa|date=2009|publisher=Routledge|isbn=978-0-415-56812-8|editor1-last=Magnet|editor1-first=Shoshana|location=London|pages=149–162|editor2-last=Gates|editor2-first=Kelly}}</ref>{{rp|158}} अतीत में कुछ जाति और जातीय समूहों के साथ कैसा व्यवहार किया गया था, इसके कारण डेटा में अधिकांशतः छिपे हुए | निर्णय लेने में जातिय पूर्वाग्रहों को अस्पष्ट करने के कार्यविधि के रूप में कलन विधि की आलोचना की गई है।<ref name="Buolamwini-Gebru">{{cite journal |last1=Buolamwini |first1=Joy |last2=Gebru |first2=Timnit |title=Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification |journal=Proceedings of Machine Learning Research |date=21 January 2018 |volume=81 |issue=2018 |pages=77–91 |url=http://proceedings.mlr.press/v81/buolamwini18a.html |access-date=27 September 2020}}</ref><ref name="Noble2">{{cite book |last1=Noble |first1=Safiya Umoja |title=Algorithms of Oppression: How Search Engines Reinforce Racism |date=20 February 2018 |publisher=NYU Press |location=New York |isbn=978-1479837243}}</ref><ref name="Nakamura1">{{cite book|title=निगरानी का नया मीडिया|last1=Nakamura|first1=Lisa|date=2009|publisher=Routledge|isbn=978-0-415-56812-8|editor1-last=Magnet|editor1-first=Shoshana|location=London|pages=149–162|editor2-last=Gates|editor2-first=Kelly}}</ref>{{rp|158}} अतीत में कुछ जाति और जातीय समूहों के साथ कैसा व्यवहार किया गया था, इसके कारण डेटा में अधिकांशतः छिपे हुए पूर्वाग्रह हो सकते हैं।<ref>{{Cite journal |author1=Marco Marabelli |author2=Sue Newell |author3=Valerie Handunge |title=The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges |url=https://www.sciencedirect.com/science/article/abs/pii/S0963868721000305 |journal=Journal of Strategic Information Systems |year=2021 |volume=30 |issue=3 |pages=1–15|doi=10.1016/j.jsis.2021.101683 }}</ref> उदाहरण के लिए, समान अपराध करने वाले गोरे लोगों की तुलना में काले लोगों को लंबी सजा मिलने की संभावना है।<ref>{{Cite journal|last1=Alexander|first1=Rudolph|last2=Gyamerah|first2=Jacquelyn|date=September 1997|title=Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past?|journal=Journal of Black Studies|volume=28|issue=1|pages=97–111|doi=10.1177/002193479702800106|s2cid=152043501|issn=0021-9347}}</ref><ref>{{Cite journal|last=Petersilia|first=Joan|date=January 1985|title=Racial Disparities in the Criminal Justice System: A Summary|journal=Crime & Delinquency|volume=31|issue=1|pages=15–34|doi=10.1177/0011128785031001002|s2cid=146588630|issn=0011-1287}}</ref> इसका संभावित अर्थ यह हो सकता है कि एक प्रणाली डेटा में मूल पूर्वाग्रहों को बढ़ाती है। | ||
2015 में, गूगल ने माफी मांगी जब काले उपयोगकर्ताओं ने शिकायत की कि इसके फोटो एप्लिकेशन में एक छवि-पहचान कलन विधि ने उन्हें [[जातीय स्टीरियोटाइप]] के रूप में पहचाना।<ref name="Guynn">{{cite news|last1=Guynn|first1=Jessica|title=गूगल फोटोज ने काले लोगों को 'गोरिल्ला' करार दिया|url=https://www.usatoday.com/story/tech/2015/07/01/google-apologizes-after-photos-identify-black-people-as-gorillas/29567465/|access-date=18 November 2017|work=USA TODAY|agency=USA Today|publisher=USA Today|date=1 July 2015}}</ref> 2010 में, [[निकॉन]] कैमरों की आलोचना की गई जब छवि-पहचान कलन विधि ने | 2015 में, गूगल ने माफी मांगी जब काले उपयोगकर्ताओं ने शिकायत की कि इसके फोटो एप्लिकेशन में एक छवि-पहचान कलन विधि ने उन्हें [[जातीय स्टीरियोटाइप]] के रूप में पहचाना।<ref name="Guynn">{{cite news|last1=Guynn|first1=Jessica|title=गूगल फोटोज ने काले लोगों को 'गोरिल्ला' करार दिया|url=https://www.usatoday.com/story/tech/2015/07/01/google-apologizes-after-photos-identify-black-people-as-gorillas/29567465/|access-date=18 November 2017|work=USA TODAY|agency=USA Today|publisher=USA Today|date=1 July 2015}}</ref> 2010 में, [[निकॉन]] कैमरों की आलोचना की गई जब छवि-पहचान कलन विधि ने निरन्तर एशियाई उपयोगकर्ताओं से पूछा कि क्या वे पलक झपक रहे हैं।<ref name="Rose">{{Cite magazine|last1=Rose|first1=Adam|title=Are Face-Detection Cameras Racist?|url=http://content.time.com/time/business/article/0,8599,1954643,00.html|magazine=Time|access-date=18 November 2017|date=22 January 2010}}</ref> ऐसे उदाहरण [[बायोमेट्रिक डेटा]] सेट में पूर्वाग्रह के उत्पाद हैं।<ref name="Guynn" />बॉयोमीट्रिक डेटा शरीर के पहलुओं से तैयार किया जाता है, जिसमें जातिय विशेषताओं को या तो मनाया जाता है या अनुमान लगाया जाता है, जिसे बाद में डेटा बिंदुओं में स्थानांतरित किया जा सकता है।<ref name="Nakamura1" />{{rp|154}} वाक् पहचान तकनीक में उपयोगकर्ता के उच्चारण के आधार पर अलग-अलग सटीकता हो सकती है। यह उस लहजे के बोलने वालों के लिए प्रशिक्षण डेटा की कमी के कारण हो सकता है।<ref>{{Cite news|url=https://www.washingtonpost.com/graphics/2018/business/alexa-does-not-understand-your-accent/|title=एलेक्सा आपके उच्चारण को नहीं समझती है|newspaper=Washington Post}}</ref> | ||
दौड़ के बारे में बॉयोमीट्रिक डेटा भी देखे जाने के अतिरिक्त अनुमान लगाया जा सकता है। उदाहरण के लिए, 2012 के एक अध्ययन से पता चला है कि सामान्यतः अश्वेतों से जुड़े नामों से | दौड़ के बारे में बॉयोमीट्रिक डेटा भी देखे जाने के अतिरिक्त अनुमान लगाया जा सकता है। उदाहरण के लिए, 2012 के एक अध्ययन से पता चला है कि सामान्यतः अश्वेतों से जुड़े नामों से सर्च परिणाम मिलने की संभावना अधिक होती है, जो गिरफ्तारी के रिकॉर्ड को दर्शाता है, भले ही उस व्यक्ति के नाम का कोई पुलिस रिकॉर्ड हो या नहीं।<ref name="Sweeney">{{cite arXiv|last1=Sweeney|first1=Latanya|title=ऑनलाइन विज्ञापन वितरण में भेदभाव|date=28 January 2013|class=cs.IR|eprint=1301.6822}}</ref> 2015 के एक अध्ययन में यह भी पाया गया कि काले और एशियाई लोगों को जातिय और व्यावसायिक जोखिम डेटा के कारण फेफड़े के कार्य के भविष्यवाणी कलन विधि के मॉडल में सम्मिलित नहीं किए जाने के कारण फेफड़े कम काम करने वाले माने जाते हैं।<ref>{{Cite journal|last=Braun|first=Lundy|date=2015|title=Race, ethnicity and lung function: A brief history|journal=Canadian Journal of Respiratory Therapy |volume=51|issue=4|pages=99–101|issn=1205-9838|pmc=4631137|pmid=26566381}}</ref><ref>{{Cite journal|last1=Robinson|first1=Whitney R|last2=Renson|first2=Audrey|last3=Naimi|first3=Ashley I|date=2020-04-01|title=संरचनात्मक नस्लवाद के बारे में खुद को सिखाने से आपकी मशीन लर्निंग में सुधार होगा|journal=Biostatistics|volume=21|issue=2|pages=339–344|doi=10.1093/biostatistics/kxz040|pmid=31742353|pmc=7868043|issn=1465-4644|doi-access=free}}</ref> | ||
2019 में, एक शोध अध्ययन से पता चला कि [[सर्वश्रेष्ठ]] द्वारा बेचा गया एक हेल्थकेयर कलन विधि बीमार काले रोगियों पर सफेद रोगियों का पक्ष लेता है। कलन विधि भविष्यवाणी करता है कि भविष्य में रोगियों को स्वास्थ्य देखभाल प्रणाली पर कितना खर्च आएगा। हालांकि, लागत दौड़-तटस्थ नहीं है, क्योंकि समान संख्या में पुरानी स्थितियों वाले गोरे रोगियों की तुलना में काले रोगियों को प्रति वर्ष चिकित्सा लागत में लगभग $1,800 कम लगता है, जिसके कारण कलन विधि सफेद रोगियों को भविष्य की स्वास्थ्य समस्याओं के समान जोखिम वाले काले लोगों के रूप में स्कोर करता है। ऐसे मरीज जो काफी अधिक बीमारियों से पीड़ित थे।<ref>{{Cite news|url=https://www.washingtonpost.com/health/2019/10/24/racial-bias-medical-algorithm-favors-white-patients-over-sicker-black-patients/|title=एक चिकित्सा एल्गोरिथ्म में नस्लीय पूर्वाग्रह बीमार काले रोगियों की तुलना में गोरे रोगियों का पक्ष लेता है|first=Carolyn Y. |last=Johnson |date=24 October 2019|newspaper=Washington Post|language=en|access-date=2019-10-28}}</ref> | 2019 में, एक शोध अध्ययन से पता चला कि [[सर्वश्रेष्ठ]] द्वारा बेचा गया एक हेल्थकेयर कलन विधि बीमार काले रोगियों पर सफेद रोगियों का पक्ष लेता है। कलन विधि भविष्यवाणी करता है कि भविष्य में रोगियों को स्वास्थ्य देखभाल प्रणाली पर कितना खर्च आएगा। हालांकि, लागत दौड़-तटस्थ नहीं है, क्योंकि समान संख्या में पुरानी स्थितियों वाले गोरे रोगियों की तुलना में काले रोगियों को प्रति वर्ष चिकित्सा लागत में लगभग $1,800 कम लगता है, जिसके कारण कलन विधि सफेद रोगियों को भविष्य की स्वास्थ्य समस्याओं के समान जोखिम वाले काले लोगों के रूप में स्कोर करता है। ऐसे मरीज जो काफी अधिक बीमारियों से पीड़ित थे।<ref>{{Cite news|url=https://www.washingtonpost.com/health/2019/10/24/racial-bias-medical-algorithm-favors-white-patients-over-sicker-black-patients/|title=एक चिकित्सा एल्गोरिथ्म में नस्लीय पूर्वाग्रह बीमार काले रोगियों की तुलना में गोरे रोगियों का पक्ष लेता है|first=Carolyn Y. |last=Johnson |date=24 October 2019|newspaper=Washington Post|language=en|access-date=2019-10-28}}</ref> | ||
| Line 121: | Line 116: | ||
एक उदाहरण संयुक्त राज्य अमेरिका और [[प्रतिज्ञा मंडल]] में आपराधिक सजा में [[जोखिम आकलन]] का उपयोग है, न्यायाधीशों को कलन विधि से उत्पन्न स्कोर के साथ प्रस्तुत किया गया था जिसका उद्देश्य जोखिम को प्रतिबिंबित करना था कि एक कैदी अपराध दोहराएगा।<ref name="ProPublica">{{cite web|last1=Angwin|first1=Julia|last2=Larson|first2=Jeff|last3=Mattu|first3=Surya|last4=Kirchner|first4=Lauren|date=23 May 2016|title=Machine Bias — ProPublica|url=https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing|access-date=18 November 2017|website=ProPublica}}</ref> 1920 में शुरू होने वाली और 1970 में समाप्त होने वाली समय अवधि के लिए, एक अपराधी के पिता की राष्ट्रीयता उन जोखिम मूल्यांकन अंकों में एक विचार थी।<ref name="Harcourt">{{cite journal|last1=Harcourt|first1=Bernard|date=16 September 2010|title=रेस के लिए प्रॉक्सी के रूप में जोखिम|url=https://scholarship.law.columbia.edu/cgi/viewcontent.cgi?article=3568&context=faculty_scholarship |journal=Federal Sentencing Reporter |volume= 27 |issue=4 |page= 237|doi=10.1525/fsr.2015.27.4.237 |ssrn=1677654|s2cid=53611813 }}</ref>{{rp|4}} आज, ये स्कोर एरिज़ोना, कोलोराडो, डेलावेयर, केंटकी, लुइसियाना, ओक्लाहोमा, वर्जीनिया, वाशिंगटन और विस्कॉन्सिन में न्यायाधीशों के साथ साझा किए जाते हैं। प्रोपब्लिका द्वारा एक स्वतंत्र जांच में पाया गया कि स्कोर 80% समय गलत थे, और अश्वेतों को पुनरावर्तन के जोखिम में होने का सुझाव देने के लिए अनुपातहीन रूप से झुका हुआ था, गोरों की तुलना में 77% अधिक झुका हुआ था।<ref name="ProPublica" /> | एक उदाहरण संयुक्त राज्य अमेरिका और [[प्रतिज्ञा मंडल]] में आपराधिक सजा में [[जोखिम आकलन]] का उपयोग है, न्यायाधीशों को कलन विधि से उत्पन्न स्कोर के साथ प्रस्तुत किया गया था जिसका उद्देश्य जोखिम को प्रतिबिंबित करना था कि एक कैदी अपराध दोहराएगा।<ref name="ProPublica">{{cite web|last1=Angwin|first1=Julia|last2=Larson|first2=Jeff|last3=Mattu|first3=Surya|last4=Kirchner|first4=Lauren|date=23 May 2016|title=Machine Bias — ProPublica|url=https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing|access-date=18 November 2017|website=ProPublica}}</ref> 1920 में शुरू होने वाली और 1970 में समाप्त होने वाली समय अवधि के लिए, एक अपराधी के पिता की राष्ट्रीयता उन जोखिम मूल्यांकन अंकों में एक विचार थी।<ref name="Harcourt">{{cite journal|last1=Harcourt|first1=Bernard|date=16 September 2010|title=रेस के लिए प्रॉक्सी के रूप में जोखिम|url=https://scholarship.law.columbia.edu/cgi/viewcontent.cgi?article=3568&context=faculty_scholarship |journal=Federal Sentencing Reporter |volume= 27 |issue=4 |page= 237|doi=10.1525/fsr.2015.27.4.237 |ssrn=1677654|s2cid=53611813 }}</ref>{{rp|4}} आज, ये स्कोर एरिज़ोना, कोलोराडो, डेलावेयर, केंटकी, लुइसियाना, ओक्लाहोमा, वर्जीनिया, वाशिंगटन और विस्कॉन्सिन में न्यायाधीशों के साथ साझा किए जाते हैं। प्रोपब्लिका द्वारा एक स्वतंत्र जांच में पाया गया कि स्कोर 80% समय गलत थे, और अश्वेतों को पुनरावर्तन के जोखिम में होने का सुझाव देने के लिए अनुपातहीन रूप से झुका हुआ था, गोरों की तुलना में 77% अधिक झुका हुआ था।<ref name="ProPublica" /> | ||
एक अध्ययन जो जोखिम, जाति, और वैराग्यवाद की जांच करने के लिए निर्धारित किया गया है: भविष्य कहनेवाला | एक अध्ययन जो जोखिम, जाति, और वैराग्यवाद की जांच करने के लिए निर्धारित किया गया है: भविष्य कहनेवाला पूर्वाग्रह और असमान प्रभाव काले बनाम कोकेशियान प्रतिवादियों के लिए एक दो गुना (45 प्रतिशत बनाम 23 प्रतिशत) प्रतिकूल संभावना का आरोप लगाता है, जो उच्च जोखिम के रूप में गलत वर्गीकृत होने के अतिरिक्त होता है। अवलोकन के दो साल की अवधि में निष्पक्ष रूप से बिना किसी प्रलेखित पुनरावृत्ति के बने रहे।<ref>Skeem J, Lowenkamp C, Risk, Race, & Recidivism: Predictive Bias and Disparate Impact, (June 14, 2016). {{SSRN|2687339}}</ref> पूर्व-परीक्षण निरोध के संदर्भ में, एक कानून समीक्षा लेख का तर्क है कि कलन विधि जोखिम आकलन जाति के आधार पर संयुक्त राज्य अमेरिका के संविधान के समान संरक्षण अधिकारों में चौदहवें संशोधन का उल्लंघन करता है, क्योंकि कलन विधि को चेहरे के भेदभावपूर्ण होने का तर्क दिया जाता है, जिसके परिणामस्वरूप असमान उपचार होता है, और संकीर्ण रूप से भेदभावपूर्ण होने का तर्क दिया जाता है।<ref>{{Cite journal|last1=Thomas|first1=C.|last2=Nunez|first2=A.|date=2022|title=Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race|journal=[[Law & Inequality]]|language=en|volume=40|issue=2|pages=371–407|url=https://scholarship.law.umn.edu/cgi/viewcontent.cgi?article=1680&context=lawineq|doi=10.24926/25730037.649}}</ref> | ||
| Line 134: | Line 129: | ||
निगरानी कैमरा सॉफ़्टवेयर को स्वाभाविक रूप से राजनीतिक माना जा सकता है क्योंकि इसमें असामान्य व्यवहारों से सामान्य को अलग करने के लिए कलन विधि की आवश्यकता होती है, और यह निर्धारित करने के लिए कि निश्चित समय पर निश्चित स्थानों में कौन है।<ref name="Graham" />{{rp|572}} जाति ीय वर्णक्रम में चेहरों को पहचानने के लिए ऐसे कलन विधि की क्षमता को इसके प्रशिक्षण डेटाबेस में छवियों की जाति ीय विविधता द्वारा सीमित दिखाया गया है; यदि अधिकांश तस्वीरें एक जाति या लिंग की हैं, तो सॉफ्टवेयर उस जाति या लिंग के अन्य सदस्यों को पहचानने में बेहतर है।<ref name="Furl2002">{{cite journal|last1=Furl|first1=N|date=December 2002|title=Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis|journal=Cognitive Science|volume=26|issue=6|pages=797–815|doi=10.1207/s15516709cog2606_4|doi-access=free}}</ref> हालांकि, इन छवि-पहचान प्रणालियों के ऑडिट भी नैतिक रूप से भरे हुए हैं, और कुछ विद्वानों ने सुझाव दिया है कि प्रौद्योगिकी के संदर्भ में सदैव उन समुदायों पर असंगत प्रभाव पड़ेगा जिनके कार्यों पर अधिक निगरानी की जाती है।<ref name="Raji-Gebru-Mitchell-2020">{{cite journal |last1=Raji |first1=Inioluwa Deborah |last2=Gebru |first2=Timnit |last3=Mitchell |first3=Margaret |last4=Buolamwini |first4=Joy |last5=Lee |first5=Joonseok |last6=Denton |first6=Emily |title=Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing |journal=Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society |date=7 February 2020 |pages=145–151 |doi=10.1145/3375627.3375820 |url=https://dl.acm.org/doi/10.1145/3375627.3375820 |publisher=Association for Computing Machinery|arxiv=2001.00964 |isbn=9781450371100 |s2cid=209862419 }}</ref> | निगरानी कैमरा सॉफ़्टवेयर को स्वाभाविक रूप से राजनीतिक माना जा सकता है क्योंकि इसमें असामान्य व्यवहारों से सामान्य को अलग करने के लिए कलन विधि की आवश्यकता होती है, और यह निर्धारित करने के लिए कि निश्चित समय पर निश्चित स्थानों में कौन है।<ref name="Graham" />{{rp|572}} जाति ीय वर्णक्रम में चेहरों को पहचानने के लिए ऐसे कलन विधि की क्षमता को इसके प्रशिक्षण डेटाबेस में छवियों की जाति ीय विविधता द्वारा सीमित दिखाया गया है; यदि अधिकांश तस्वीरें एक जाति या लिंग की हैं, तो सॉफ्टवेयर उस जाति या लिंग के अन्य सदस्यों को पहचानने में बेहतर है।<ref name="Furl2002">{{cite journal|last1=Furl|first1=N|date=December 2002|title=Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis|journal=Cognitive Science|volume=26|issue=6|pages=797–815|doi=10.1207/s15516709cog2606_4|doi-access=free}}</ref> हालांकि, इन छवि-पहचान प्रणालियों के ऑडिट भी नैतिक रूप से भरे हुए हैं, और कुछ विद्वानों ने सुझाव दिया है कि प्रौद्योगिकी के संदर्भ में सदैव उन समुदायों पर असंगत प्रभाव पड़ेगा जिनके कार्यों पर अधिक निगरानी की जाती है।<ref name="Raji-Gebru-Mitchell-2020">{{cite journal |last1=Raji |first1=Inioluwa Deborah |last2=Gebru |first2=Timnit |last3=Mitchell |first3=Margaret |last4=Buolamwini |first4=Joy |last5=Lee |first5=Joonseok |last6=Denton |first6=Emily |title=Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing |journal=Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society |date=7 February 2020 |pages=145–151 |doi=10.1145/3375627.3375820 |url=https://dl.acm.org/doi/10.1145/3375627.3375820 |publisher=Association for Computing Machinery|arxiv=2001.00964 |isbn=9781450371100 |s2cid=209862419 }}</ref> | ||
उदाहरण के लिए, [[सीसीटीवी]] छवियों में व्यक्तियों की पहचान करने के लिए उपयोग किए गए सॉफ्टवेयर के 2002 के एक विश्लेषण में आपराधिक डेटाबेस के विरुद्ध चलाए जाने वाले | उदाहरण के लिए, [[सीसीटीवी]] छवियों में व्यक्तियों की पहचान करने के लिए उपयोग किए गए सॉफ्टवेयर के 2002 के एक विश्लेषण में आपराधिक डेटाबेस के विरुद्ध चलाए जाने वाले पूर्वाग्रह के कई उदाहरण पाए गए। सॉफ्टवेयर का मूल्यांकन महिलाओं की तुलना में अधिक बार पुरुषों की पहचान करने, युवा लोगों की तुलना में अधिक उम्र के लोगों की पहचान करने और गोरों की तुलना में अधिक बार एशियाई, अफ्रीकी-अमेरिकी और अन्य जातियों की पहचान करने के लिए किया गया था।<ref name="IntronaWood" />{{rp|190}} चेहरे की पहचान करने वाले सॉफ़्टवेयर के अतिरिक्त अध्ययनों ने गैर-आपराधिक डेटाबेस पर प्रशिक्षित होने पर विपरीत पाया है, सॉफ्टवेयर गहरे रंग की महिलाओं की पहचान करने में सबसे कम सटीक है।<ref>{{Cite journal|last1=Buolamwini|first1=Joy|last2=Gebru|first2=Timnit|date=2018|title=Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification|url=http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf|journal=Proceedings of Machine Learning Research|volume=81|page=1|via=MLR Press}}</ref> | ||
| Line 141: | Line 136: | ||
2011 में, गे हुकअप एप्लिकेशन [[ग्राइंडर]] के उपयोगकर्ताओं ने बताया कि [[Google Play|गूगल Play]] की सिफारिश कलन विधि ग्राइंडर को यौन अपराधियों को खोजने के लिए डिज़ाइन किए गए एप्लिकेशन से जोड़ रहा था, जिसे आलोचकों ने गलत कार्यविधि से समलैंगिकता के प्रति सामाजिक दृष्टिकोण # बाल यौन शोषण और पीडोफिलिया के साथ जोड़ा। लेखक माइक एनी ने द [[अटलांटिक]] में इस संघ की आलोचना की, यह तर्क देते हुए कि इस तरह के संघों ने संयुक्त राज्य में समलैंगिक पुरुषों के इतिहास को कलंकित किया।<ref name="Ananny">{{cite web|last1=Ananny|first1=Mike|title=समलैंगिक पुरुषों और यौन अपराधियों के लिए ऐप्स के बीच जिज्ञासु संबंध|url=https://www.theatlantic.com/technology/archive/2011/04/the-curious-connection-between-apps-for-gay-men-and-sex-offenders/237340/|website=The Atlantic|access-date=18 November 2017|date=2011-04-14}}</ref> 2009 में, ऑनलाइन रिटेलर अमेज़ॅन (कंपनी) ने एक कलन विधि परिवर्तन के बाद 57,000 पुस्तकों को डी-लिस्ट किया, जिसमें समीक्षकों द्वारा प्रशंसित उपन्यास [[ मानव त्रुटि |मानव त्रुटि]] जैसे विषमलैंगिकता या समलैंगिक विषयों को संबोधित करने वाली किसी भी पुस्तक को सम्मिलित करने के लिए अपनी वयस्क सामग्री ब्लैकलिस्ट का विस्तार किया।<ref name="Kafka2">{{cite web|last1=Kafka|first1=Peter|title=Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.'|url=http://allthingsd.com/20090412/did-amazon-really-fail-this-weekend-the-twittersphere-says-yes/|website=AllThingsD|access-date=22 November 2017}}</ref><ref name="Gillespie et al" />{{rp|5}}<ref name="Kafka">{{cite web|last1=Kafka|first1=Peter|title=अमेज़ॅन ने 'हैम-फ़ेड कैटलॉगिंग एरर' के लिए माफ़ी मांगी|url=http://allthingsd.com/20090413/amazon-apologizes-for-ham-fisted-cataloging-error/|website=AllThingsD|publisher=AllThingsD|access-date=22 November 2017}}</ref> | 2011 में, गे हुकअप एप्लिकेशन [[ग्राइंडर]] के उपयोगकर्ताओं ने बताया कि [[Google Play|गूगल Play]] की सिफारिश कलन विधि ग्राइंडर को यौन अपराधियों को खोजने के लिए डिज़ाइन किए गए एप्लिकेशन से जोड़ रहा था, जिसे आलोचकों ने गलत कार्यविधि से समलैंगिकता के प्रति सामाजिक दृष्टिकोण # बाल यौन शोषण और पीडोफिलिया के साथ जोड़ा। लेखक माइक एनी ने द [[अटलांटिक]] में इस संघ की आलोचना की, यह तर्क देते हुए कि इस तरह के संघों ने संयुक्त राज्य में समलैंगिक पुरुषों के इतिहास को कलंकित किया।<ref name="Ananny">{{cite web|last1=Ananny|first1=Mike|title=समलैंगिक पुरुषों और यौन अपराधियों के लिए ऐप्स के बीच जिज्ञासु संबंध|url=https://www.theatlantic.com/technology/archive/2011/04/the-curious-connection-between-apps-for-gay-men-and-sex-offenders/237340/|website=The Atlantic|access-date=18 November 2017|date=2011-04-14}}</ref> 2009 में, ऑनलाइन रिटेलर अमेज़ॅन (कंपनी) ने एक कलन विधि परिवर्तन के बाद 57,000 पुस्तकों को डी-लिस्ट किया, जिसमें समीक्षकों द्वारा प्रशंसित उपन्यास [[ मानव त्रुटि |मानव त्रुटि]] जैसे विषमलैंगिकता या समलैंगिक विषयों को संबोधित करने वाली किसी भी पुस्तक को सम्मिलित करने के लिए अपनी वयस्क सामग्री ब्लैकलिस्ट का विस्तार किया।<ref name="Kafka2">{{cite web|last1=Kafka|first1=Peter|title=Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.'|url=http://allthingsd.com/20090412/did-amazon-really-fail-this-weekend-the-twittersphere-says-yes/|website=AllThingsD|access-date=22 November 2017}}</ref><ref name="Gillespie et al" />{{rp|5}}<ref name="Kafka">{{cite web|last1=Kafka|first1=Peter|title=अमेज़ॅन ने 'हैम-फ़ेड कैटलॉगिंग एरर' के लिए माफ़ी मांगी|url=http://allthingsd.com/20090413/amazon-apologizes-for-ham-fisted-cataloging-error/|website=AllThingsD|publisher=AllThingsD|access-date=22 November 2017}}</ref> | ||
2019 में, यह पाया गया कि फेसबुक पर, मेरी महिला मित्रों की तस्वीरों की | 2019 में, यह पाया गया कि फेसबुक पर, मेरी महिला मित्रों की तस्वीरों की सर्च से बिकनी या समुद्र तट जैसे सुझाव मिले। इसके विपरीत, मेरे पुरुष मित्रों की तस्वीरों की सर्च से कोई परिणाम नहीं निकला गया।<ref>{{Cite news|url=https://www.wired.com/story/facebook-female-friends-photo-search-bug/|title=एक 'सेक्सिस्ट' सर्च बग फेसबुक से ज्यादा हमारे बारे में बताता है|last=Matsakis|first=Louise|date=2019-02-22|magazine=Wired|access-date=2019-02-26|issn=1059-1028}}</ref> | ||
चेहरे की पहचान करने वाली तकनीक को विपरीतलिंगी व्यक्तियों के लिए समस्याएँ उत्पन्न करते देखा गया है। 2018 में, उबेर ड्राइवरों की रिपोर्टें थीं जो विपरीतलिंगी थे या संक्रमण के समय चेहरे की पहचान करने वाले सॉफ़्टवेयर के साथ कठिनाई का सामना कर रहे थे, जिसे उबेर एक अंतर्निहित सुरक्षा उपाय के रूप में लागू करता है। इसके परिणामस्वरूप, ट्रांस उबेर ड्राइवरों के कुछ खातों को निलंबित कर दिया गया था, जिससे उनका किराया खर्च हो गया था और संभावित रूप से उन्हें नौकरी से हाथ धोना पड़ा था, यह सब चेहरे की पहचान करने वाले सॉफ़्टवेयर के कारण ट्रांस ड्राइवर के चेहरे को पहचानने में कठिनाई का सामना करना पड़ रहा था।<ref>{{Cite web|url=https://www.vox.com/future-perfect/2019/4/19/18412674/ai-bias-facial-recognition-black-gay-transgender|title=कुछ एआई का अस्तित्व ही नहीं होना चाहिए|date=2019-04-19}}</ref> यद्यपि इस समस्या का समाधान मशीन लर्निंग मॉडल के लिए प्रशिक्षण सेट में ट्रांस व्यक्तियों को सम्मिलित करना प्रतीत होता है, ट्रांस यूट्यूब वीडियो का एक उदाहरण जिसे प्रशिक्षण डेटा में उपयोग करने के लिए एकत्र किया गया था, वीडियो में सम्मिलित किए गए ट्रांस व्यक्तियों से सहमति प्राप्त नहीं हुई थी, जिसने गोपनीयता के उल्लंघन का प्रकरण | चेहरे की पहचान करने वाली तकनीक को विपरीतलिंगी व्यक्तियों के लिए समस्याएँ उत्पन्न करते देखा गया है। 2018 में, उबेर ड्राइवरों की रिपोर्टें थीं जो विपरीतलिंगी थे या संक्रमण के समय चेहरे की पहचान करने वाले सॉफ़्टवेयर के साथ कठिनाई का सामना कर रहे थे, जिसे उबेर एक अंतर्निहित सुरक्षा उपाय के रूप में लागू करता है। इसके परिणामस्वरूप, ट्रांस उबेर ड्राइवरों के कुछ खातों को निलंबित कर दिया गया था, जिससे उनका किराया खर्च हो गया था और संभावित रूप से उन्हें नौकरी से हाथ धोना पड़ा था, यह सब चेहरे की पहचान करने वाले सॉफ़्टवेयर के कारण ट्रांस ड्राइवर के चेहरे को पहचानने में कठिनाई का सामना करना पड़ रहा था।<ref>{{Cite web|url=https://www.vox.com/future-perfect/2019/4/19/18412674/ai-bias-facial-recognition-black-gay-transgender|title=कुछ एआई का अस्तित्व ही नहीं होना चाहिए|date=2019-04-19}}</ref> यद्यपि इस समस्या का समाधान मशीन लर्निंग मॉडल के लिए प्रशिक्षण सेट में ट्रांस व्यक्तियों को सम्मिलित करना प्रतीत होता है, ट्रांस यूट्यूब वीडियो का एक उदाहरण जिसे प्रशिक्षण डेटा में उपयोग करने के लिए एकत्र किया गया था, वीडियो में सम्मिलित किए गए ट्रांस व्यक्तियों से सहमति प्राप्त नहीं हुई थी, जिसने गोपनीयता के उल्लंघन का प्रकरण बनाया गया।<ref>{{Cite web|url=https://www.vox.com/future-perfect/2019/4/19/18412674/ai-bias-facial-recognition-black-gay-transgender|title=कुछ एआई का अस्तित्व ही नहीं होना चाहिए|last=Samuel|first=Sigal|date=2019-04-19|website=Vox|language=en|access-date=2019-12-12}}</ref> | ||
2017 में स्टैनफोर्ड यूनिवर्सिटी में एक अध्ययन भी किया गया था जिसमें मशीन लर्निंग प्रणाली में कलन विधि का परीक्षण किया गया था, जिसके बारे में कहा गया था कि यह किसी व्यक्ति के चेहरे की छवियों के आधार पर यौन अभिविन्यास का पता लगाने में सक्षम है।<ref>{{Cite journal|last1=Wang|first1=Yilun|last2=Kosinski|first2=Michal|date=2017-02-15|title=गहरे तंत्रिका नेटवर्क चेहरे की छवियों से यौन अभिविन्यास का पता लगाने में इंसानों की तुलना में अधिक सटीक हैं।|url=https://osf.io/zn79k/|journal=OSF|doi=10.17605/OSF.IO/ZN79K |language=en}}</ref> अध्ययन में मॉडल ने 81% समय में समलैंगिक और सीधे पुरुषों के बीच एक सही अंतर और 74% समय में समलैंगिक और सीधे महिलाओं के बीच एक सही अंतर की भविष्यवाणी की। इस अध्ययन के परिणामस्वरूप एलजीबीटीक्यूआईए समुदाय से प्रतिक्रिया हुई, जो संभावित नकारात्मक नतीजों से डरते थे कि यह कृत्रिम बुद्धिमत्ता प्रणाली एल जीबीटीक्यूआईए समुदाय के व्यक्तियों पर उनकी इच्छा के विरुद्ध बाहर होने के जोखिम में डाल सकता है।<ref>{{Cite news|url=https://www.theguardian.com/world/2017/sep/08/ai-gay-gaydar-algorithm-facial-recognition-criticism-stanford|title=एलजीबीटी समूह 'खतरनाक' एआई की निंदा करते हैं जो कामुकता का अनुमान लगाने के लिए आपके चेहरे का उपयोग करता है|last=Levin|first=Sam|date=2017-09-09|work=The Guardian|access-date=2019-12-12|language=en-GB|issn=0261-3077}}</ref> | 2017 में स्टैनफोर्ड यूनिवर्सिटी में एक अध्ययन भी किया गया था जिसमें मशीन लर्निंग प्रणाली में कलन विधि का परीक्षण किया गया था, जिसके बारे में कहा गया था कि यह किसी व्यक्ति के चेहरे की छवियों के आधार पर यौन अभिविन्यास का पता लगाने में सक्षम है।<ref>{{Cite journal|last1=Wang|first1=Yilun|last2=Kosinski|first2=Michal|date=2017-02-15|title=गहरे तंत्रिका नेटवर्क चेहरे की छवियों से यौन अभिविन्यास का पता लगाने में इंसानों की तुलना में अधिक सटीक हैं।|url=https://osf.io/zn79k/|journal=OSF|doi=10.17605/OSF.IO/ZN79K |language=en}}</ref> अध्ययन में मॉडल ने 81% समय में समलैंगिक और सीधे पुरुषों के बीच एक सही अंतर और 74% समय में समलैंगिक और सीधे महिलाओं के बीच एक सही अंतर की भविष्यवाणी की। इस अध्ययन के परिणामस्वरूप एलजीबीटीक्यूआईए समुदाय से प्रतिक्रिया हुई, जो संभावित नकारात्मक नतीजों से डरते थे कि यह कृत्रिम बुद्धिमत्ता प्रणाली एल जीबीटीक्यूआईए समुदाय के व्यक्तियों पर उनकी इच्छा के विरुद्ध बाहर होने के जोखिम में डाल सकता है।<ref>{{Cite news|url=https://www.theguardian.com/world/2017/sep/08/ai-gay-gaydar-algorithm-facial-recognition-criticism-stanford|title=एलजीबीटी समूह 'खतरनाक' एआई की निंदा करते हैं जो कामुकता का अनुमान लगाने के लिए आपके चेहरे का उपयोग करता है|last=Levin|first=Sam|date=2017-09-09|work=The Guardian|access-date=2019-12-12|language=en-GB|issn=0261-3077}}</ref> | ||
| Line 150: | Line 145: | ||
=== विकलांगता भेदभाव === | === विकलांगता भेदभाव === | ||
जबकि कलन विधि निष्पक्षता के तौर-तरीकों को | जबकि कलन विधि निष्पक्षता के तौर-तरीकों को पूर्वाग्रह के विभिन्न पहलुओं के आधार पर आंका गया है - जैसे लिंग, जाति और सामाजिक आर्थिक स्थिति, विकलांगता को अधिकांशतः सूची से बाहर कर दिया जाता है।<ref>{{Cite journal |last=Pal |first=G.C. |date=September 16, 2011 |title=Disability, Intersectionality and Deprivation: An Excluded Agenda |url=https://journals.sagepub.com/doi/abs/10.1177/097133361102300202?journalCode=pdsa |journal=Psychology and Developing Societies |volume=23(2), 159–176. |doi=10.1177/097133361102300202 |s2cid=147322669 |via=Sagepub}}</ref><ref>{{Cite journal |last1=Brinkman |first1=Aurora H. |last2=Rea-Sandin |first2=Gianna |last3=Lund |first3=Emily M. |last4=Fitzpatrick |first4=Olivia M. |last5=Gusman |first5=Michaela S. |last6=Boness |first6=Cassandra L. |last7=Scholars for Elevating Equity and Diversity (SEED) |date=2022-10-20 |title=Shifting the discourse on disability: Moving to an inclusive, intersectional focus. |url=http://doi.apa.org/getdoi.cfm?doi=10.1037/ort0000653 |journal=American Journal of Orthopsychiatry |volume=93 |pages=50–62 |language=en |doi=10.1037/ort0000653 |pmid=36265035 |issn=1939-0025}}</ref> वर्तमान में समाज में विकलांग लोगों को जिस हाशिए पर रखा जा रहा है, उसे कृत्रिम बुद्धिमत्ता प्रणाली और कलन विधि में अनुवादित किया जा रहा है, जिससे और भी अधिक बहिष्कार हो रहा है<ref>{{Cite web |last=Whittaker |first=Meredith |date=November 2019 |title=विकलांगता, पूर्वाग्रह और एआई|url=https://ainowinstitute.org/disabilitybiasai-2019.pdf}}</ref><ref>{{Cite web |title=Mission — Disability is Diversity — Dear Entertainment Industry, THERE'S NO DIVERSITY, EQUITY & INCLUSION WITHOUT DISABILITY |url=https://disabilityisdiversity.com/mission |access-date=2022-12-02 |website=Disability is Diversity |language=en-US}}</ref> विकलांगों की बदलती प्रकृति और इसके व्यक्तिपरक लक्षण वर्णन, कम्प्यूटेशनल रूप से संबोधित करना अधिक कठिन बना देता है। विकलांगों को परिभाषित करने में ऐतिहासिक गहराई की कमी, प्रश्नावली में इसकी घटनाओं और व्यापकता को एकत्रित करना, और मान्यता स्थापित करने से इसकी मात्रा और गणना में विवाद और अस्पष्टता बढ़ जाती है। अक्षमता की परिभाषा पर हाल ही में विकलांगता के एक चिकित्सा मॉडल से विकलांगता के एक सामाजिक मॉडल में स्थानांतरण पर बहस हुई है, जो यह स्थापित करता है कि विकलांगता लोगों की बातचीत और उनके पर्यावरण में बाधाओं के बीच बेमेल होने का परिणाम है, न कि हानि और स्वास्थ्य स्थितियों के कारण। विकलांगता स्थितिजन्य या अस्थायी भी हो सकती है,<ref>{{Cite web |title=माइक्रोसॉफ्ट डिजाइन|url=https://www.microsoft.com/design/inclusive/ |access-date=2022-12-02 |website=www.microsoft.com |language=en-us}}</ref> प्रवाह की एक निरंतर स्थिति में माना जाता है। विकलांग अविश्वसनीय रूप से विविध हैं,<ref>{{Cite web |last=Pulrang |first=Andrew |title=4 Ways To Understand The Diversity Of The Disability Community |url=https://www.forbes.com/sites/andrewpulrang/2020/01/03/4-ways-to-understand-the-diversity-of-the-disability-community/ |access-date=2022-12-02 |website=Forbes |language=en}}</ref> एक बड़े स्पेक्ट्रम के भीतर आते हैं, और प्रत्येक व्यक्ति के लिए अद्वितीय हो सकते हैं। लोगों की पहचान उनके द्वारा अनुभव की जाने वाली विशिष्ट प्रकार की विकलांगता, वे किस प्रकार सहायक तकनीकों का उपयोग करते हैं, और वे किसका समर्थन करते हैं, के आधार पर भिन्न हो सकते हैं। लोगों के अनुभवों में परिवर्तनशीलता का उच्च स्तर बहुत ही वैयक्तिकृत करता है कि विकलांगता किस प्रकार प्रकट हो सकती है। ओवरलैपिंग पहचान और चौराहे के अनुभव<ref>{{Cite journal |last1=Watermeyer |first1=Brian |last2=Swartz |first2=Leslie |date=2022-10-12 |title=विकलांगता और आलसी प्रतिच्छेदन की समस्या|url=https://doi.org/10.1080/09687599.2022.2130177 |journal=Disability & Society |volume=38 |issue=2 |pages=362–366 |doi=10.1080/09687599.2022.2130177 |s2cid=252959399 |issn=0968-7599}}</ref> आँकड़ों और डेटासेट से बाहर रखा गया है,<ref>{{Cite web |title=Disability Data Report 2021 |url=https://disabilitydata.ace.fordham.edu/reports/disability-data-initiative-2021-report/ |access-date=2022-12-02 |website=Disability Data Initiative |language=en}}</ref> इसलिए प्रशिक्षण डेटा में कम प्रतिनिधित्व और अस्तित्वहीन है।<ref>{{Cite journal |last=White |first=Jason J. G. |date=2020-03-02 |title=Fairness of AI for people with disabilities: problem analysis and interdisciplinary collaboration |url=https://doi.org/10.1145/3386296.3386299 |journal=ACM SIGACCESS Accessibility and Computing |issue=125 |pages=3:1 |doi=10.1145/3386296.3386299 |s2cid=211723415 |issn=1558-2337}}</ref> इसलिए, मशीन लर्निंग मॉडल को असमान रूप से प्रशिक्षित किया जाता है और कृत्रिम बुद्धिमान प्रणाली अधिक कलन विधि पूर्वाग्रह को बनाए रखते हैं।<ref>{{Cite web |title=AI language models show bias against people with disabilities, study finds {{!}} Penn State University |url=https://www.psu.edu/news/information-sciences-and-technology/story/ai-language-models-show-bias-against-people-disabilities/ |access-date=2022-12-02 |website=www.psu.edu |language=en}}</ref> उदाहरण के लिए, यदि वाक् निःशक्तता वाले लोगों को प्रशिक्षण ध्वनि नियंत्रण सुविधाओं और स्मार्ट एआई सहायकों में सम्मिलित नहीं किया गया है - तो वे सुविधा का उपयोग करने में असमर्थ हैं या गूगल होम या एलेक्सा से प्राप्त प्रतिक्रियाएँ बेसीमा निष्फल हैं। | ||
रूढ़िवादिता और कलंक को देखते हुए जो अभी भी विकलांगता के आसपास सम्मलित हैं, इन पहचान करने वाली विशेषताओं को प्रकट करने की संवेदनशील प्रकृति में बड़ी गोपनीयता चुनौतियां भी हैं, क्योंकि विकलांगता की जानकारी का खुलासा करना वर्जित हो सकता है और इस आबादी के विरुद्ध और भेदभाव को बढ़ावा दे सकता है, इसके लिए स्पष्ट विकलांगता डेटा उपलब्ध नहीं है कलन विधि प्रणाली के साथ बातचीत करने के लिए। विकलांग लोगों को अपनी विकलांगता स्थिति का खुलासा करने पर उनके सामाजिक समर्थन, स्वास्थ्य बीमा की लागत, कार्यस्थल भेदभाव और अन्य बुनियादी आवश्यकताओं के संबंध में अतिरिक्त नुकसान और जोखिम का सामना करना पड़ता है। कलन विधि सामाजिक व्यवस्थाओं और संरचनाओं में पहले से सम्मलित पूर्वाग्रहों को पुनः बनाकर इस अंतर को और बढ़ा रहे हैं।<ref>{{Cite web |last=Givens |first=Alexandra Reeve |date=2020-02-06 |title=एल्गोरिद्मिक पूर्वाग्रह विकलांग लोगों को कैसे प्रभावित करता है|url=https://slate.com/technology/2020/02/algorithmic-bias-people-with-disabilities.html |access-date=2022-12-02 |website=Slate Magazine |language=en}}</ref><ref>{{Cite journal |last=Morris |first=Meredith Ringel |date=2020-05-22 |title=एआई और पहुंच|url=https://doi.org/10.1145/3356727 |journal=Communications of the ACM |volume=63 |issue=6 |pages=35–37 |doi=10.1145/3356727 |arxiv=1908.08939 |s2cid=201645229 |issn=0001-0782}}</ref> | रूढ़िवादिता और कलंक को देखते हुए जो अभी भी विकलांगता के आसपास सम्मलित हैं, इन पहचान करने वाली विशेषताओं को प्रकट करने की संवेदनशील प्रकृति में बड़ी गोपनीयता चुनौतियां भी हैं, क्योंकि विकलांगता की जानकारी का खुलासा करना वर्जित हो सकता है और इस आबादी के विरुद्ध और भेदभाव को बढ़ावा दे सकता है, इसके लिए स्पष्ट विकलांगता डेटा उपलब्ध नहीं है कलन विधि प्रणाली के साथ बातचीत करने के लिए। विकलांग लोगों को अपनी विकलांगता स्थिति का खुलासा करने पर उनके सामाजिक समर्थन, स्वास्थ्य बीमा की लागत, कार्यस्थल भेदभाव और अन्य बुनियादी आवश्यकताओं के संबंध में अतिरिक्त नुकसान और जोखिम का सामना करना पड़ता है। कलन विधि सामाजिक व्यवस्थाओं और संरचनाओं में पहले से सम्मलित पूर्वाग्रहों को पुनः बनाकर इस अंतर को और बढ़ा रहे हैं।<ref>{{Cite web |last=Givens |first=Alexandra Reeve |date=2020-02-06 |title=एल्गोरिद्मिक पूर्वाग्रह विकलांग लोगों को कैसे प्रभावित करता है|url=https://slate.com/technology/2020/02/algorithmic-bias-people-with-disabilities.html |access-date=2022-12-02 |website=Slate Magazine |language=en}}</ref><ref>{{Cite journal |last=Morris |first=Meredith Ringel |date=2020-05-22 |title=एआई और पहुंच|url=https://doi.org/10.1145/3356727 |journal=Communications of the ACM |volume=63 |issue=6 |pages=35–37 |doi=10.1145/3356727 |arxiv=1908.08939 |s2cid=201645229 |issn=0001-0782}}</ref> | ||
| Line 156: | Line 151: | ||
=== गूगल खोज === | === गूगल खोज === | ||
जबकि उपयोगकर्ता स्वचालित रूप से पूर्ण होने वाले परिणाम उत्पन्न करते हैं, गूगल सेक्सिस्ट और जाति वादी स्वत: पूर्णता पाठ को हटाने में विफल रहा है। उदाहरण के लिए, उत्पीड़न के कलन विधि | दमन के एल्गोरिदम: किस प्रकार | जबकि उपयोगकर्ता स्वचालित रूप से पूर्ण होने वाले परिणाम उत्पन्न करते हैं, गूगल सेक्सिस्ट और जाति वादी स्वत: पूर्णता पाठ को हटाने में विफल रहा है। उदाहरण के लिए, उत्पीड़न के कलन विधि | दमन के एल्गोरिदम: किस प्रकार सर्च इंजन जातिवाद को मजबूत करते हैं साफिया नोबल काली लड़कियों की सर्च का एक उदाहरण नोट करता है, जिसके परिणामस्वरूप अश्लील चित्र होने की सूचना मिली थी। गूगल ने दावा किया कि वह उन पृष्ठों को तब तक मिटाने में असमर्थ था जब तक कि उन्हें गैर-कानूनी नहीं माना जाता।<ref>{{Cite book|title=Algorithms of Oppression: How Search Engines Reinforce Racism|last=Noble, Safiya Umoja|isbn=9781479837243|location=New York|oclc=987591529|date = 2018-02-20}}</ref> | ||
== शोध में बाधाएँ == | == शोध में बाधाएँ == | ||
कई समस्याएं बड़े पैमाने पर कलन विधि | कई समस्याएं बड़े पैमाने पर कलन विधि पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से यथार्थ रूप से अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं।<ref name="Seaver" />{{rp|5}} | ||
=== निष्पक्षता को परिभाषित करना === | === निष्पक्षता को परिभाषित करना === | ||
{{main|निष्पक्षता (मशीन लर्निंग)}} | {{main|निष्पक्षता (मशीन लर्निंग)}} | ||
कलन विधि | कलन विधि पूर्वाग्रह पर साहित्य ने निष्पक्षता के उपाय पर ध्यान केंद्रित किया है, लेकिन निष्पक्षता की परिभाषाएं अधिकांशतः एक-दूसरे और मशीन लर्निंग अनुकूलन की वास्तविकताओं के साथ असंगत होती हैं। उदाहरण के लिए, निष्पक्षता को परिणामों की समानता के रूप में परिभाषित करना केवल सभी लोगों के लिए समान परिणाम उत्पन्न करने वाली प्रणाली को संदर्भित कर सकता है, जबकि उपचार की समानता के रूप में परिभाषित निष्पक्षता स्पष्ट रूप से व्यक्तियों के बीच अंतरों पर विचार कर सकती है।<ref name="Friedler">{{cite arXiv |last1=Friedler |first1=Sorelle A. |last2=Scheidegger |first2=Carlos |last3=Venkatasubramanian |first3=Suresh |title=(आईएम) निष्पक्षता की संभावना पर|year=2016 |class=cs.CY |eprint=1609.07236}}</ref>{{rp|2}} परिणाम स्वरुप, निष्पक्षता को कभी-कभी एक मॉडल की सटीकता के साथ संघर्ष के रूप में वर्णित किया जाता है, जो सामाजिक कल्याण की प्राथमिकताओं और इन प्रणालियों को डिजाइन करने वाले विक्रेताओं की प्राथमिकताओं के बीच सहज तनाव का सुझाव देता है।<ref name="Hu">{{cite arXiv |last1=Hu |first1=Lily |last2=Chen |first2=Yiling |author2-link=Yiling Chen|title=निष्पक्ष वर्गीकरण के कल्याण और वितरण संबंधी प्रभाव|year=2018 |class=cs.LG |eprint=1807.01134 }}</ref>{{rp|2}} इस तनाव के जवाब में, शोधकर्ताओं ने उन प्रणालियों के डिजाइन और उपयोग पर अधिक ध्यान देने का सुझाव दिया है जो विशिष्ट अनुप्रयोगों और संदर्भों के लिए परिभाषित निष्पक्षता के साथ संभावित पूर्वाग्रह कलन विधि पर आधारित हैं।<ref name="Dwork">{{cite arXiv |last1=Dwork |first1=Cynthia |last2=Hardt |first2=Moritz |last3=Pitassi |first3=Toniann |last4=Reingold |first4=Omer |last5=Zemel |first5=Rich |title=जागरूकता के माध्यम से निष्पक्षता|date=28 November 2011 |class=cs.CC |eprint=1104.3913}}</ref> | ||
| Line 174: | Line 169: | ||
प्रतिक्रिया को अनुकूलित करने में इनपुट की श्रेणी में इस जटिलता का एक उदाहरण पाया जा सकता है। सोशल मीडिया साइट फेसबुक ने 2013 में उपयोगकर्ता के सोशल मीडिया फीड के लेआउट को निर्धारित करने के लिए कम से कम 100,000 डेटा बिंदुओं पर विचार किया।<ref name="McGee">{{cite web|last1=McGee|first1=Matt|title=EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors|url=https://marketingland.com/edgerank-is-dead-facebooks-news-feed-algorithm-now-has-close-to-100k-weight-factors-55908|website=Marketing Land|access-date=18 November 2017|date=16 August 2013}}</ref> इसके अतिरिक्त, प्रोग्रामरों की बड़ी टीमें एक दूसरे से सापेक्ष अलगाव में काम कर सकती हैं, और जुड़े हुए, विस्तृत कलन विधि के भीतर छोटे निर्णयों के संचयी प्रभावों से अनजान हो सकती हैं।<ref name="Introna1" />{{rp|118}} सभी कोड मूल नहीं हैं, और डेटा प्रोसेसिंग और डेटा इनपुट प्रणाली के बीच संबंधों का एक जटिल सेट बनाते हुए, अन्य पुस्तकालयों से उधार लिया जा सकता है।<ref name="Kitchin">{{cite journal|last1=Kitchin|first1=Rob|date=25 February 2016|title=एल्गोरिदम के बारे में गंभीर रूप से सोचना और शोध करना|url=http://mural.maynoothuniversity.ie/11591/1/Kitchin_Thinking_2017.pdf|journal=Information, Communication & Society|volume=20|issue=1|pages=14–29|doi=10.1080/1369118X.2016.1154087|s2cid=13798875}}</ref>{{rp|22}} | प्रतिक्रिया को अनुकूलित करने में इनपुट की श्रेणी में इस जटिलता का एक उदाहरण पाया जा सकता है। सोशल मीडिया साइट फेसबुक ने 2013 में उपयोगकर्ता के सोशल मीडिया फीड के लेआउट को निर्धारित करने के लिए कम से कम 100,000 डेटा बिंदुओं पर विचार किया।<ref name="McGee">{{cite web|last1=McGee|first1=Matt|title=EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors|url=https://marketingland.com/edgerank-is-dead-facebooks-news-feed-algorithm-now-has-close-to-100k-weight-factors-55908|website=Marketing Land|access-date=18 November 2017|date=16 August 2013}}</ref> इसके अतिरिक्त, प्रोग्रामरों की बड़ी टीमें एक दूसरे से सापेक्ष अलगाव में काम कर सकती हैं, और जुड़े हुए, विस्तृत कलन विधि के भीतर छोटे निर्णयों के संचयी प्रभावों से अनजान हो सकती हैं।<ref name="Introna1" />{{rp|118}} सभी कोड मूल नहीं हैं, और डेटा प्रोसेसिंग और डेटा इनपुट प्रणाली के बीच संबंधों का एक जटिल सेट बनाते हुए, अन्य पुस्तकालयों से उधार लिया जा सकता है।<ref name="Kitchin">{{cite journal|last1=Kitchin|first1=Rob|date=25 February 2016|title=एल्गोरिदम के बारे में गंभीर रूप से सोचना और शोध करना|url=http://mural.maynoothuniversity.ie/11591/1/Kitchin_Thinking_2017.pdf|journal=Information, Communication & Society|volume=20|issue=1|pages=14–29|doi=10.1080/1369118X.2016.1154087|s2cid=13798875}}</ref>{{rp|22}} | ||
अतिरिक्त जटिलता मशीन लर्निंग और उपयोगकर्ता इंटरैक्शन जैसे क्लिक, साइट पर बिताया गया समय और अन्य मेट्रिक्स के आधार पर कलन विधि के वैयक्तिकरण के माध्यम से होती है। ये व्यक्तिगत समायोजन कलन विधि को समझने के सामान्य प्रयासों को भ्रमित कर सकते हैं।कलनविधीय | अतिरिक्त जटिलता मशीन लर्निंग और उपयोगकर्ता इंटरैक्शन जैसे क्लिक, साइट पर बिताया गया समय और अन्य मेट्रिक्स के आधार पर कलन विधि के वैयक्तिकरण के माध्यम से होती है। ये व्यक्तिगत समायोजन कलन विधि को समझने के सामान्य प्रयासों को भ्रमित कर सकते हैं।कलनविधीय पूर्वाग्रह में न केवल संरक्षित श्रेणियां सम्मिलित हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं। <ref name="Granka">{{cite journal|last1=Granka|first1=Laura A.|date=27 September 2010|title=The Politics of Search: A Decade Retrospective|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/36914.pdf|journal=The Information Society|volume=26|issue=5|pages=364–374|doi=10.1080/01972243.2010.511560|s2cid=16306443|access-date=18 November 2017}}</ref>{{rp|367}}<ref name="Sandvig2" />{{rp|7}} एक अज्ञात स्ट्रीमिंग रेडियो सेवा ने बताया कि उसने अपने उपयोगकर्ताओं के व्यवहार के आधार पर उनके लिए चुने गए पांच अद्वितीय संगीत-चयन कलन विधि का उपयोग किया। यह अलग-अलग उपयोगकर्ताओं के बीच एक ही स्ट्रीमिंग सेवाओं के अलग-अलग अनुभव बनाता है, जिससे यह समझना कठिन हो जाता है कि ये कलन विधि क्या करते हैं।<ref name="Seaver" />{{rp|5}} | ||
उपयोगकर्ता की प्रतिक्रिया के आधार पर कलन विधि को फ़ाइन-ट्यून करने के लिए कंपनियाँ बार-बार ए/बी परीक्षण भी चलाती हैं। कई समस्याएं बड़े पैमाने पर कलन विधि | उपयोगकर्ता की प्रतिक्रिया के आधार पर कलन विधि को फ़ाइन-ट्यून करने के लिए कंपनियाँ बार-बार ए/बी परीक्षण भी चलाती हैं। कई समस्याएं बड़े पैमाने पर कलन विधि पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से यथार्थ रूप से अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं। दाहरण के लिए, सर्च इंजन [[बिंग (खोज इंजन)|बिंग (सर्च इंजन)]] प्रत्येक उपयोग और/या उपयोगकर्ता के बीच सेवा के अलग-अलग अनुभव बनाते हुए प्रति दिन अपनी सेवा के दस मिलियन सूक्ष्म रूपांतरों तक चला सकता है।<ref name="Seaver" />{{rp|5}} | ||
=== पारदर्शिता का अभाव === | === पारदर्शिता का अभाव === | ||
वाणिज्यिक कलन विधि मालिकाना हैं, और उन्हें व्यापार रहस्य माना जा सकता है।<ref name="Seaver" />{{rp|2}}<ref name="Sandvig2" />{{rp|7}}<ref name="IntronaWood" />{{rp|183}} कलन विधि को व्यापार रहस्य के रूप में मानना कंपनियों की सुरक्षा करता है, जैसे कि वेब | वाणिज्यिक कलन विधि मालिकाना हैं, और उन्हें व्यापार रहस्य माना जा सकता है।<ref name="Seaver" />{{rp|2}}<ref name="Sandvig2" />{{rp|7}}<ref name="IntronaWood" />{{rp|183}} कलन विधि को व्यापार रहस्य के रूप में मानना कंपनियों की सुरक्षा करता है, जैसे कि वेब सर्च इंजन, जहां एक पारदर्शी कलन विधि सर्च रैंकिंग में परिचालन करने की रणनीति प्रकट कर सकता है।<ref name="Granka" />{{rp|366}} यह अनुसंधानकर्ताओं के लिए यह पता लगाने के लिए साक्षात्कार या विश्लेषण करना कठिन बना देता है कि कलन विधि किस प्रकार कार्य करता है।<ref name="Kitchin" />{{rp|20}} आलोचकों का सुझाव है कि ऐसी गोपनीयता कलन विधि आउटपुट के उत्पादन या प्रसंस्करण में उपयोग किए जाने वाले संभावित अनैतिक तरीकों को भी अस्पष्ट कर सकती है।<ref name="Granka" />{{rp|369}} अन्य आलोचकों, जैसे कि वकील और अधिनियम विस्ट कतार्ज़ीना स्ज़िमिलेविक्ज़ ने सुझाव दिया है कि पारदर्शिता की कमी अधिकांशतः कलन विधि जटिलता के परिणामस्वरूप प्रच्छन्न होती है, कंपनियों को अपनी स्वयं की कलन विधि प्रक्रियाओं का खुलासा करने या जांच करने से बचाती है।<ref>{{Cite web|url=https://medium.com/@szymielewicz/black-boxed-politics-cebc0d5a54ad|title=ब्लैक बॉक्स्ड पॉलिटिक्स|last=Szymielewicz|first=Katarzyna|date=2020-01-20|website=Medium|language=en|access-date=2020-02-11}}</ref> | ||
=== संवेदनशील श्रेणियों के बारे में डेटा की कमी === | === संवेदनशील श्रेणियों के बारे में डेटा की कमी === | ||
व्यवहार में | व्यवहार में पूर्वाग्रह से निपटने को समझने में एक महत्वपूर्ण बाधा यह है कि भेदभाव-विरोधी कानून द्वारा संरक्षित व्यक्तियों की जनसांख्यिकी जैसी श्रेणियों पर अधिकांशतः डेटा एकत्र और संसाधित करते समय स्पष्ट रूप से विचार नहीं किया जाता है।<ref>{{Cite journal|last1=Veale|first1=Michael|last2=Binns|first2=Reuben|date=2017|title=Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data|journal=Big Data & Society|volume=4|issue=2|pages=205395171774353|doi=10.1177/2053951717743530|ssrn=3060763|doi-access=free}}</ref> कुछ स्थितियों में, इस डेटा को स्पष्ट रूप से एकत्र करने का अवसर बहुत कम होता है, जैसे कि [[डिवाइस फिंगरप्रिंट]], सर्वव्यापी कंप्यूटिंग और [[चीजों की इंटरनेट]] अन्य स्थितियों में, डेटा नियंत्रक प्रतिष्ठित कारणों से ऐसे डेटा को एकत्र करने की इच्छा नहीं रख सकता है, या क्योंकि यह एक बढ़े हुए दायित्व और सुरक्षा जोखिम का प्रतिनिधित्व करता है। यह भी प्रकरण हो सकता है कि, कम से कम यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम के संबंध में, ऐसा डेटा 'विशेष श्रेणी' प्रावधानों (अनुच्छेद 9) के अंतर्गत आता है, और इसलिए संभावित संग्रह और प्रसंस्करण पर अधिक प्रतिबंधों के साथ आता है। | ||
कुछ चिकित्सकों ने | कुछ चिकित्सकों ने पूर्वाग्रह को कम करने की अनुमति देने के लिए इन लापता संवेदनशील वर्गीकरणों का अनुमान लगाने और उन्हें आरोपित करने का प्रयास किया है, उदाहरण के लिए नामों से जातीयता का अनुमान लगाने के लिए प्रणाली बनाना,<ref>{{Cite journal|last1=Elliott|first1=Marc N.|last2=Morrison|first2=Peter A.|last3=Fremont|first3=Allen|last4=McCaffrey|first4=Daniel F.|last5=Pantoja|first5=Philip|last6=Lurie|first6=Nicole|date=June 2009|title=Using the Census Bureau's surname list to improve estimates of race/ethnicity and associated disparities|journal=Health Services and Outcomes Research Methodology|volume=9|issue=2|pages=69–83|doi=10.1007/s10742-009-0047-1|s2cid=43293144|issn=1387-3741}}</ref> हालांकि यह पूर्वाग्रह के अन्य रूपों को प्रस्तुत कर सकता है यदि सावधानी से नहीं किया गया।<ref>{{Cite journal|last1=Chen|first1=Jiahao|last2=Kallus|first2=Nathan|last3=Mao|first3=Xiaojie|last4=Svacha|first4=Geoffry|last5=Udell|first5=Madeleine|date=2019|title=Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved|url=http://dl.acm.org/citation.cfm?doid=3287560.3287594|journal=Proceedings of the Conference on Fairness, Accountability, and Transparency - FAT* '19|location=Atlanta, GA, USA|publisher=ACM Press|pages=339–348|doi=10.1145/3287560.3287594|isbn=9781450361255|arxiv=1811.11154|s2cid=58006233}}</ref> मशीन सीखने के शोधकर्ताओं ने क्रिप्टोग्राफ़िक गोपनीयता-बढ़ाने वाली तकनीकों जैसे कि सुरक्षित बहु-पार्टी संगणना को ऐसे तरीकों का प्रस्ताव करने के लिए तैयार किया है जिससे कलन विधि पूर्वाग्रह का मूल्यांकन किया जा सकता है या इन डेटा के बिना कभी भी [[स्पष्ट पाठ]] में मॉडेलर के लिए उपलब्ध नहीं हो सकता है।<ref>{{Cite journal|last1=Kilbertus|first1=Niki|last2=Gascon|first2=Adria|last3=Kusner|first3=Matt|last4=Veale|first4=Michael|last5=Gummadi|first5=Krishna|last6=Weller|first6=Adrian|date=2018|title=Blind Justice: Fairness with Encrypted Sensitive Attributes|url=http://proceedings.mlr.press/v80/kilbertus18a.html|journal=International Conference on Machine Learning|pages=2630–2639|bibcode=2018arXiv180603281K|arxiv=1806.03281}}</ref> | ||
कलनविधीय | कलनविधीय पूर्वाग्रह में न केवल संरक्षित श्रेणियां सम्मिलित हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं। इन स्थितियों में,अनुमानतः ही कभी आसानी से सुलभ या गैर-विवादास्पद जमीनी [[सच्चाई]] होती है, और ऐसी प्रणाली से पूर्वाग्रह को दूर करना अधिक कठिन होता है।<ref>{{Cite book|last1=Binns|first1=Reuben|last2=Veale|first2=Michael|last3=Kleek|first3=Max Van|last4=Shadbolt|first4=Nigel|date=13 September 2017|title=Like Trainer, Like Bot? Inheritance of Bias in Algorithmic Content Moderation|journal=Social Informatics|series=Lecture Notes in Computer Science|volume=10540|pages=405–415|arxiv=1707.01477|doi=10.1007/978-3-319-67256-4_32|isbn=978-3-319-67255-7|s2cid=2814848}}</ref> इसके अतिरिक्त, संरक्षित श्रेणियों की समझ की कमी से झूठे और आकस्मिक [[सहसंबंध]] निकल सकते हैं, उदाहरण के लिए, कार दुर्घटनाओं के ऐतिहासिक डेटा के आधार पर बीमा दरें जो संयोग से जातीय अल्पसंख्यकों के आवासीय समूहों के साथ ओवरलैप हो सकती हैं।<ref name="Claburn">{{cite web|last1=Claburn|first1=Thomas|title=EU Data Protection Law May End The Unknowable Algorithm – InformationWeek|url=https://www.informationweek.com/government/big-data-analytics/eu-data-protection-law-may-end-the-unknowable-algorithm/d/d-id/1326294?|website=InformationWeek|date=18 July 2016 |access-date=25 November 2017}}</ref> | ||
== समाधान == | == समाधान == | ||
नैतिक एआई पर 84 नीतिगत दिशानिर्देशों के एक अध्ययन में पाया गया कि अवांछित | नैतिक एआई पर 84 नीतिगत दिशानिर्देशों के एक अध्ययन में पाया गया कि अवांछित पूर्वाग्रह की निष्पक्षता और शमन चिंता का एक सामान्य बिंदु था, और तकनीकी समाधान, पारदर्शिता और निगरानी, उपाय का अधिकार और निगरानी में वृद्धि, और विविधता और समावेशन प्रयासों के मिश्रण के माध्यम से संबोधित किया गया था। .<ref name=":0">{{Cite journal|last1=Jobin|first1=Anna|last2=Ienca|first2=Marcello|last3=Vayena|first3=Effy|author-link3=Effy Vayena|date=2 September 2019|title=एआई नैतिकता दिशानिर्देशों का वैश्विक परिदृश्य|journal=Nature Machine Intelligence|volume=1|issue=9|pages=389–399|doi=10.1038/s42256-019-0088-2|arxiv=1906.11668|s2cid=201827642}}</ref> | ||
| Line 198: | Line 193: | ||
{{further|निष्पक्षता (मशीन लर्निंग)}} | {{further|निष्पक्षता (मशीन लर्निंग)}} | ||
ऐसे तरीकों और उपकरणों को बनाने के कई प्रयास किए गए हैं जो कलन विधि के भीतर पूर्वाग्रहों का पता लगा सकते हैं और उनका निरीक्षण कर सकते हैं। ये आकस्मिक क्षेत्र उन उपकरणों पर ध्यान केंद्रित करते हैं जो सामान्यतः कलन विधि की आंतरिक प्रक्रियाओं के अतिरिक्त प्रोग्राम द्वारा उपयोग किए जाने वाले (प्रशिक्षण) डेटा पर लागू होते हैं। ये विधियाँ किसी प्रोग्राम के आउटपुट और उसकी उपयोगिता का विश्लेषण भी कर सकती हैं और इसलिए इसके भ्रम मैट्रिक्स (या भ्रम की तालिका) का विश्लेषण सम्मिलित हो सकता है।<ref>https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Attacking discrimination with smarter machine learning</ref><ref>{{cite arXiv |eprint=1610.02413|last1=Hardt|first1=Moritz|title=पर्यवेक्षित शिक्षण में अवसर की समानता|last2=Price|first2=Eric|last3=Srebro|first3=Nathan|class=cs.LG|year=2016}}</ref><ref>https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft is developing a tool to help engineers catch bias in algorithms</ref><ref>https://qz.com/1268520/facebook-says-it-has-a-tool-to-detect-bias-in-its-artificial-intelligence/ Facebook says it has a tool to detect bias in its artificial intelligence</ref><ref>[https://github.com/pymetrics/audit-ai open source] Pymetrics audit-ai</ref><ref>https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics open-sources Audit AI, an algorithm bias detection tool</ref><ref>https://github.com/dssg/aequitas open source Aequitas: Bias and Fairness Audit Toolkit</ref><ref>https://dsapp.uchicago.edu/aequitas/ open-sources Audit AI, Aequitas at University of Chicago</ref><ref>https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Mitigating Bias in AI Models</ref> कलन विधि | ऐसे तरीकों और उपकरणों को बनाने के कई प्रयास किए गए हैं जो कलन विधि के भीतर पूर्वाग्रहों का पता लगा सकते हैं और उनका निरीक्षण कर सकते हैं। ये आकस्मिक क्षेत्र उन उपकरणों पर ध्यान केंद्रित करते हैं जो सामान्यतः कलन विधि की आंतरिक प्रक्रियाओं के अतिरिक्त प्रोग्राम द्वारा उपयोग किए जाने वाले (प्रशिक्षण) डेटा पर लागू होते हैं। ये विधियाँ किसी प्रोग्राम के आउटपुट और उसकी उपयोगिता का विश्लेषण भी कर सकती हैं और इसलिए इसके भ्रम मैट्रिक्स (या भ्रम की तालिका) का विश्लेषण सम्मिलित हो सकता है।<ref>https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Attacking discrimination with smarter machine learning</ref><ref>{{cite arXiv |eprint=1610.02413|last1=Hardt|first1=Moritz|title=पर्यवेक्षित शिक्षण में अवसर की समानता|last2=Price|first2=Eric|last3=Srebro|first3=Nathan|class=cs.LG|year=2016}}</ref><ref>https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft is developing a tool to help engineers catch bias in algorithms</ref><ref>https://qz.com/1268520/facebook-says-it-has-a-tool-to-detect-bias-in-its-artificial-intelligence/ Facebook says it has a tool to detect bias in its artificial intelligence</ref><ref>[https://github.com/pymetrics/audit-ai open source] Pymetrics audit-ai</ref><ref>https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics open-sources Audit AI, an algorithm bias detection tool</ref><ref>https://github.com/dssg/aequitas open source Aequitas: Bias and Fairness Audit Toolkit</ref><ref>https://dsapp.uchicago.edu/aequitas/ open-sources Audit AI, Aequitas at University of Chicago</ref><ref>https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Mitigating Bias in AI Models</ref> कलन विधि पूर्वाग्रह का पता लगाने के लिए व्याख्या करने योग्य एआई एक कलन विधि या लर्निंग मॉडल में पूर्वाग्रह के अस्तित्व का पता लगाने का एक सुझाया गया तरीका है।<ref>S. Sen, D. Dasgupta and K. D. Gupta, "An Empirical Study on Algorithmic Bias", 2020 IEEE 44th Annual Computers, Software, and Applications Conference (COMPSAC), Madrid, Spain, 2020, pp. 1189-1194, {{doi|10.1109/COMPSAC48688.2020.00-95}}.</ref> पूर्वाग्रह का पता लगाने के लिए मशीन लर्निंग का उपयोग करना, एआई ऑडिट करना कहलाता है, जहां ऑडिटर एक कलन विधि है जो एआई मॉडल और प्रशिक्षण डेटा के माध्यम से पूर्वाग्रह की पहचान करता है।<ref>{{Cite journal|last1=Zou|first1=James|last2=Schiebinger|first2=Londa|date=July 2018|title=AI can be sexist and racist — it's time to make it fair |journal=Nature|language=en|volume=559|issue=7714|pages=324–326|doi=10.1038/d41586-018-05707-8|pmid=30018439|bibcode=2018Natur.559..324Z|doi-access=free}}</ref> | ||
यह सुनिश्चित करना कि एक एआई उपकरण जैसे क्लासिफायरियर | यह सुनिश्चित करना कि एक एआई उपकरण जैसे क्लासिफायरियर पूर्वाग्रह से मुक्त है, संवेदनशील जानकारी को हटाने की तुलना में अधिक कठिन है | ||
इसके इनपुट संकेतों से, क्योंकि यह सामान्यतः अन्य संकेतों में निहित होता है। उदाहरण के लिए, शौक, खेल और स्कूलों में भाग लिया | इसके इनपुट संकेतों से, क्योंकि यह सामान्यतः अन्य संकेतों में निहित होता है। उदाहरण के लिए, शौक, खेल और स्कूलों में भाग लिया | ||
नौकरी के उम्मीदवार द्वारा सॉफ्टवेयर को अपना लिंग प्रकट किया जा सकता है, भले ही इसे विश्लेषण से हटा दिया गया हो। | नौकरी के उम्मीदवार द्वारा सॉफ्टवेयर को अपना लिंग प्रकट किया जा सकता है, भले ही इसे विश्लेषण से हटा दिया गया हो। | ||
| Line 207: | Line 202: | ||
और विषय के बारे में संवेदनशील जानकारी, जैसा कि पहले में प्रदर्शित किया गया था <ref>{{Cite conference| title =Right for the right reason: Training agnostic networks. | publisher =Springer | last1= Jia| first1 = Sen| last2= Welfare| first2 = Thomas | last3=Cristianini |first3 = Nello | date =2018 | conference = International Symposium on Intelligent Data Analysis}}</ref> जहां एक गहन शिक्षण नेटवर्क को एक ही समय में संरक्षित सुविधा के बारे में पूरी तरह से अज्ञेय होने के साथ-साथ एक कार्य सीखने के लिए प्रशिक्षित किया गया था। शब्द एम्बेडिंग के संदर्भ में एक सरल विधि प्रस्तावित की गई थी, और इसमें संरक्षित विशेषता से संबंधित जानकारी को हटाना सम्मिलित है।<ref name="Sutton">{{Cite conference| title =Biased embeddings from wild data: Measuring, understanding and removing. | publisher =Springer | last1= Sutton| first1 = Adam| last2= Welfare| first2 = Thomas | last3=Cristianini |first3 = Nello | date =2018 | conference = International Symposium on Intelligent Data Analysis}}</ref> | और विषय के बारे में संवेदनशील जानकारी, जैसा कि पहले में प्रदर्शित किया गया था <ref>{{Cite conference| title =Right for the right reason: Training agnostic networks. | publisher =Springer | last1= Jia| first1 = Sen| last2= Welfare| first2 = Thomas | last3=Cristianini |first3 = Nello | date =2018 | conference = International Symposium on Intelligent Data Analysis}}</ref> जहां एक गहन शिक्षण नेटवर्क को एक ही समय में संरक्षित सुविधा के बारे में पूरी तरह से अज्ञेय होने के साथ-साथ एक कार्य सीखने के लिए प्रशिक्षित किया गया था। शब्द एम्बेडिंग के संदर्भ में एक सरल विधि प्रस्तावित की गई थी, और इसमें संरक्षित विशेषता से संबंधित जानकारी को हटाना सम्मिलित है।<ref name="Sutton">{{Cite conference| title =Biased embeddings from wild data: Measuring, understanding and removing. | publisher =Springer | last1= Sutton| first1 = Adam| last2= Welfare| first2 = Thomas | last3=Cristianini |first3 = Nello | date =2018 | conference = International Symposium on Intelligent Data Analysis}}</ref> | ||
वर्तमान में, एक नए [[IEEE मानक संघ]] का प्रस्तुत तैयार किया जा रहा है जिसका उद्देश्य कलन विधि के रचनाकारों को | वर्तमान में, एक नए [[आईईईई]] [[IEEE मानक संघ|मानक संघ]] का प्रस्तुत तैयार किया जा रहा है जिसका उद्देश्य कलन विधि के रचनाकारों को पूर्वाग्रह के मुद्दों को खत्म करने और उनके कलन विधि के कार्य और संभावित प्रभावों के बारे में स्पष्ट पारदर्शिता (अर्थात अधिकारियों या [[अंतिम उपयोगकर्ता]]ओं के लिए) को निर्दिष्ट करने में मदद करना है। परियोजना को फरवरी 2017 को मंजूरी दी गई थी और इसे [https://www.computer.org/web/standards/s2esc सॉफ्टवेयर और सिस्टम इंजीनियरिंग मानक समिति] द्वारा प्रायोजित किया गया था, जो [[आईईईई कंप्यूटर सोसायटी]] द्वारा चार्टर्ड समिति है। जून 2019 में मतदान के लिए मानक का एक प्रस्तुत प्रस्तुत किए जाने की उम्मीद है।<ref>{{Cite journal|last=Koene|first=Ansgar|date=June 2017|title=Algorithmic Bias: Addressing Growing Concerns [Leading Edge]|journal=IEEE Technology and Society Magazine |volume=36 |issue=2 |pages=31–32 |doi=10.1109/mts.2017.2697080|issn=0278-0097|url=http://eprints.nottingham.ac.uk/44207/8/IEEE_Tech_Sociery_Magazine_AlgoBias_2017_AKoene.pdf}}<!--http://eprints.nottingham.ac.uk/44207/8/IEEE_Tech_Sociery_Magazine_AlgoBias_2017_AKoene.pdf--></ref><ref>{{Cite web|url=https://standards.ieee.org/project/7003.html|title=P7003 - Algorithmic Bias Considerations|website=standards.ieee.org|access-date=2018-12-03}}</ref> | ||
| Line 214: | Line 209: | ||
{{further|एल्गोरिथम पारदर्शिता}} | {{further|एल्गोरिथम पारदर्शिता}} | ||
एआई पर नैतिक दिशानिर्देश उत्तरदायित्व की आवश्यकता की ओर इशारा करते हैं, यह अनुशंसा करते हैं कि परिणामों की व्याख्या में सुधार के लिए कदम उठाए जाएं।<ref>{{Cite web|url=https://www.internetsociety.org/resources/doc/2017/artificial-intelligence-and-machine-learning-policy-paper/|title=Artificial Intelligence and Machine Learning: Policy Paper|last=The Internet Society|date=18 April 2017|website=Internet Society|access-date=11 February 2020}}</ref> इस तरह के समाधानों में मशीन लर्निंग कलन विधि में समझने के अधिकार पर विचार करना और उन स्थितियों में मशीन लर्निंग की तैनाती का विरोध करना सम्मिलित है जहां निर्णयों की व्याख्या या समीक्षा नहीं की जा सकती है।<ref name=":2">{{Cite web|url=https://www.weforum.org/whitepapers/how-to-prevent-discriminatory-outcomes-in-machine-learning|title=White Paper: How to Prevent Discriminatory Outcomes in Machine Learning|date=12 March 2018|website=World Economic Forum|access-date=11 February 2020}}</ref> इस दिशा में, [[DARPA|डीएआरपीए]] जैसे संगठनों के भीतर स्पष्ट करने [[व्याख्यात्मक कृत्रिम बुद्धि]] के लिए एक आंदोलन पहले से ही चल रहा है, जो | एआई पर नैतिक दिशानिर्देश उत्तरदायित्व की आवश्यकता की ओर इशारा करते हैं, यह अनुशंसा करते हैं कि परिणामों की व्याख्या में सुधार के लिए कदम उठाए जाएं।<ref>{{Cite web|url=https://www.internetsociety.org/resources/doc/2017/artificial-intelligence-and-machine-learning-policy-paper/|title=Artificial Intelligence and Machine Learning: Policy Paper|last=The Internet Society|date=18 April 2017|website=Internet Society|access-date=11 February 2020}}</ref> इस तरह के समाधानों में मशीन लर्निंग कलन विधि में समझने के अधिकार पर विचार करना और उन स्थितियों में मशीन लर्निंग की तैनाती का विरोध करना सम्मिलित है जहां निर्णयों की व्याख्या या समीक्षा नहीं की जा सकती है।<ref name=":2">{{Cite web|url=https://www.weforum.org/whitepapers/how-to-prevent-discriminatory-outcomes-in-machine-learning|title=White Paper: How to Prevent Discriminatory Outcomes in Machine Learning|date=12 March 2018|website=World Economic Forum|access-date=11 February 2020}}</ref> इस दिशा में, [[DARPA|डीएआरपीए]] जैसे संगठनों के भीतर स्पष्ट करने [[व्याख्यात्मक कृत्रिम बुद्धि]] के लिए एक आंदोलन पहले से ही चल रहा है, जो पूर्वाग्रह के उपाय से परे हैं।<ref>{{Cite web|url=https://www.darpa.mil/program/explainable-artificial-intelligence|title=व्याख्यात्मक आर्टिफिशियल इंटेलिजेंस|website=www.darpa.mil|access-date=2020-02-11}}</ref> उदाहरण के लिए, [[प्राइसवाटरहाउसकूपर्स]] यह भी सुझाव देते हैं कि मॉनिटरिंग आउटपुट का तात्पर्य प्रणाली को इस तरह से डिजाइन करना है जिससे यह सुनिश्चित किया जा सके कि प्रणाली के एकल घटकों को अलग किया जा सकता है और परिणाम निष्फल होने पर बंद कर दिया जा सकता है।<ref>{{Cite web|url=https://www.pwc.co.uk/services/risk-assurance/insights/accelerating-innovation-through-responsible-ai/responsible-ai-framework.html|title=जिम्मेदार एआई ढांचा|last=PricewaterhouseCoopers|website=PwC|language=en-gb|access-date=2020-02-11}}</ref> | ||
पारदर्शिता की दिशा में एक प्रारंभिक दृष्टिकोण में [[ खुला स्रोत सॉफ्टवेयर |खुला स्रोत सॉफ्टवेयर]] सम्मिलित था | कलन विधि का ओपन-सोर्सिंग।<ref>{{Cite book|last=Heald|first=David|title=Transparency: The Key to Better Governance?|date=2006-09-07|publisher=British Academy|isbn=978-0-19-726383-9|language=en|doi=10.5871/bacad/9780197263839.003.0002}}</ref> सॉफ्टवेयर कोड पर गौर किया जा सकता है और सोर्स-कोड-होस्टिंग सुविधाओं की तुलना|सोर्स-कोड-होस्टिंग सुविधाओं के माध्यम से सुधार प्रस्तावित किए जा सकते हैं। हालाँकि, यह दृष्टिकोण आवश्यक रूप से इच्छित प्रभाव उत्पन्न नहीं करता है। कंपनियाँ और संगठन सभी संभावित दस्तावेज़ीकरण और कोड साझा कर सकते हैं, लेकिन यदि दर्शक दी गई जानकारी को नहीं समझते हैं तो यह पारदर्शिता स्थापित नहीं करता है। इसलिए, पारदर्शिता के संबंध में इच्छुक आलोचनात्मक दर्शकों की भूमिका तलाशने लायक है। महत्वपूर्ण दर्शकों के बिना कलन विधि को जवाबदेह नहीं ठहराया जा सकता है।<ref>{{Cite journal|last1=Kemper|first1=Jakko|last2=Kolkman|first2=Daan|date=2019-12-06|title=Transparent to whom? No algorithmic accountability without a critical audience|journal=Information, Communication & Society|volume=22|issue=14|pages=2081–2096|doi=10.1080/1369118X.2018.1477967|issn=1369-118X|doi-access=free}}</ref> | पारदर्शिता की दिशा में एक प्रारंभिक दृष्टिकोण में [[ खुला स्रोत सॉफ्टवेयर |खुला स्रोत सॉफ्टवेयर]] सम्मिलित था | कलन विधि का ओपन-सोर्सिंग।<ref>{{Cite book|last=Heald|first=David|title=Transparency: The Key to Better Governance?|date=2006-09-07|publisher=British Academy|isbn=978-0-19-726383-9|language=en|doi=10.5871/bacad/9780197263839.003.0002}}</ref> सॉफ्टवेयर कोड पर गौर किया जा सकता है और सोर्स-कोड-होस्टिंग सुविधाओं की तुलना|सोर्स-कोड-होस्टिंग सुविधाओं के माध्यम से सुधार प्रस्तावित किए जा सकते हैं। हालाँकि, यह दृष्टिकोण आवश्यक रूप से इच्छित प्रभाव उत्पन्न नहीं करता है। कंपनियाँ और संगठन सभी संभावित दस्तावेज़ीकरण और कोड साझा कर सकते हैं, लेकिन यदि दर्शक दी गई जानकारी को नहीं समझते हैं तो यह पारदर्शिता स्थापित नहीं करता है। इसलिए, पारदर्शिता के संबंध में इच्छुक आलोचनात्मक दर्शकों की भूमिका तलाशने लायक है। महत्वपूर्ण दर्शकों के बिना कलन विधि को जवाबदेह नहीं ठहराया जा सकता है।<ref>{{Cite journal|last1=Kemper|first1=Jakko|last2=Kolkman|first2=Daan|date=2019-12-06|title=Transparent to whom? No algorithmic accountability without a critical audience|journal=Information, Communication & Society|volume=22|issue=14|pages=2081–2096|doi=10.1080/1369118X.2018.1477967|issn=1369-118X|doi-access=free}}</ref> | ||
| Line 221: | Line 216: | ||
=== उपचार का अधिकार === | === उपचार का अधिकार === | ||
एक नियामक दृष्टिकोण से, [[टोरंटो घोषणा]] कलन विधि | एक नियामक दृष्टिकोण से, [[टोरंटो घोषणा]] कलन विधि पूर्वाग्रह के कारण होने वाले नुकसान के लिए मानवाधिकार ढांचे को लागू करने की मांग करती है।<ref>{{Cite web|url=https://www.hrw.org/news/2018/07/03/toronto-declaration-protecting-rights-equality-and-non-discrimination-machine|title=The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems|date=2018-07-03|website=Human Rights Watch|language=en|access-date=2020-02-11}}</ref> इसमें इन कलन विधि के डिजाइनरों की ओर से उचित परिश्रम की उम्मीदें सम्मिलित हैं, और उत्तरदायित्व उत्पन्न करना जब निजी अभिनेता सार्वजनिक हितों की रक्षा करने में विफल होते हैं, यह देखते हुए कि ऐसे अधिकार जटिल, परस्पर प्रक्रियाओं के एक जाल के भीतर जिम्मेदारी निर्धारित करने की जटिलता से अस्पष्ट हो सकते हैं।<ref>{{Cite book |title=The Toronto Declaration: Protecting the Right to Equality and Non-Discrimination in Machine Learning Systems|publisher=Human Rights Watch|year=2018|url=https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_ENG_08-2018.pdf|pages=15}}</ref> अन्य ने स्पष्ट देयता बीमा तंत्र की आवश्यकता का प्रस्ताव दिया।<ref>{{Cite journal|last1=Floridi|first1=Luciano|last2=Cowls|first2=Josh|last3=Beltrametti|first3=Monica|last4=Chatila|first4=Raja|last5=Chazerand|first5=Patrice|last6=Dignum|first6=Virginia|last7=Luetge|first7=Christoph|last8=Madelin|first8=Robert|last9=Pagallo|first9=Ugo|last10=Rossi|first10=Francesca|last11=Schafer|first11=Burkhard|date=2018-12-01|title=AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations|journal=Minds and Machines|language=en|volume=28|issue=4|pages=703|doi=10.1007/s11023-018-9482-5|issn=1572-8641|pmc=6404626|pmid=30930541}}</ref> | ||
=== विविधता और समावेशन === | === विविधता और समावेशन === | ||
चिंता के बीच कि एआई प्रणाली का डिज़ाइन मुख्य रूप से गोरे, पुरुष इंजीनियरों का डोमेन है,<ref>{{Cite news|last=Crawford|first=Kate|url=https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html|title=Opinion {{!}} Artificial Intelligence's White Guy Problem|date=2016-06-25|work=[[The New York Times]] |access-date=2020-02-11|language=en-US|issn=0362-4331}}</ref> कई विद्वानों ने सुझाव दिया है कि एआई प्रणाली डिजाइन करने वालों के रैंक में समावेश का विस्तार करके कलन विधि | चिंता के बीच कि एआई प्रणाली का डिज़ाइन मुख्य रूप से गोरे, पुरुष इंजीनियरों का डोमेन है,<ref>{{Cite news|last=Crawford|first=Kate|url=https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html|title=Opinion {{!}} Artificial Intelligence's White Guy Problem|date=2016-06-25|work=[[The New York Times]] |access-date=2020-02-11|language=en-US|issn=0362-4331}}</ref> कई विद्वानों ने सुझाव दिया है कि एआई प्रणाली डिजाइन करने वालों के रैंक में समावेश का विस्तार करके कलन विधि पूर्वाग्रह को कम किया जा सकता है।<ref name=":2" /><ref name=":0" />उदाहरण के लिए, केवल 12% मशीन लर्निंग इंजीनियर महिलाएं हैं,<ref>{{Cite news|url=https://www.wired.com/story/artificial-intelligence-researchers-gender-imbalance/|title=AI Is the Future—But Where Are the Women?|magazine=Wired|access-date=2020-02-11|language=en|issn=1059-1028}}</ref> काले एआई नेताओं के साथ क्षेत्र में विविधता संकट की ओर इशारा करते हुए।<ref>{{Cite web|url=https://www.technologyreview.com/s/610192/were-in-a-diversity-crisis-black-in-ais-founder-on-whats-poisoning-the-algorithms-in-our/|title="We're in a diversity crisis": cofounder of Black in AI on what's poisoning algorithms in our lives|last=Snow|first=Jackie|website=MIT Technology Review|language=en-US|access-date=2020-02-11}}</ref> कृत्रिम बुद्धिमत्ता में ब्लैक और कृत्रिम बुद्धिमत्ता में क्वीर जैसे समूह कृत्रिम बुद्धिमत्ता समुदाय में अधिक समावेशी स्थान बनाने का प्रयास कर रहे हैं और निगमों की अधिकांशतः हानिकारक इच्छाओं के विरुद्ध काम करते हैं जो कृत्रिम बुद्धिमत्ता अनुसंधान के प्रक्षेपवक्र को नियंत्रित करते हैं।<ref>{{Cite news|url=https://www.technologyreview.com/2021/06/14/1026148/ai-big-tech-timnit-gebru-paper-ethics/|title=बिग टेक के नियंत्रण से एआई को पुनः प्राप्त करने की लड़ाई के अंदर|work=MIT Technology Review|access-date=2021-06-21|language=en-US|last=Hao|first=Karen|date=2021-06-14}}</ref> सरल समावेशिता प्रयासों की आलोचनाओं से पता चलता है कि विविधता कार्यक्रम असमानता के अतिव्यापी रूपों को संबोधित नहीं कर सकते हैं, और कलन विधि के डिजाइन के लिए [[अंतरंग नारीवाद]] के अधिक जानबूझकर लेंस को लागू करने के लिए कहा है।<ref>{{Cite journal|last=Ciston|first=Sarah|date=2019-12-29|title=इंटरसेक्शनल एआई आवश्यक है|journal=Journal of Science and Technology of the Arts|language=en|volume=11|issue=2|pages=3–8|doi=10.7559/citarj.v11i2.665|issn=2183-0088|doi-access=free}}</ref><ref name="DataFeminism">{{cite book |last1=D'Ignazio |first1=Catherine |last2=Klein |first2=Lauren F. |title=डेटा नारीवाद|date=2020 |publisher=MIT Press |isbn=978-0262044004}}</ref>{{rp|4}} कैंब्रिज विश्वविद्यालय के शोधकर्ताओं ने तर्क दिया है कि एआई की संस्कृति की सफेदी से जातिय विविधता को संबोधित करने में बाधा आती है।<ref>{{Cite journal|last1=Cave|first1=Stephen|last2=Dihal|first2=Kanta|date=2020-08-06|title=एआई की सफेदी|journal=Philosophy & Technology |volume=33 |issue=4 |pages=685–703 |language=en |doi=10.1007/s13347-020-00415-6 |issn=2210-5441|doi-access=free}}</ref> | ||
=== अंतर्विषयक और सहयोग === | === अंतर्विषयक और सहयोग === | ||
एआई प्रणाली के विकास में अंतःविषय और सहयोग को एकीकृत करना कलन विधि | एआई प्रणाली के विकास में अंतःविषय और सहयोग को एकीकृत करना कलन विधि पूर्वाग्रह से निपटने में महत्वपूर्ण भूमिका निभा सकता है। कंप्यूटर विज्ञान के बाहर के विषयों से अंतर्दृष्टि, विशेषज्ञता और दृष्टिकोण को एकीकृत करने से समाज पर डेटा संचालित समाधानों के प्रभाव की बेहतर समझ को बढ़ावा मिल सकता है। एआई अनुसंधान में इसका एक उदाहरण समुदायों में क्षमताओं को सक्षम करने के लिए पीएसीटी या भागीदारी दृष्टिकोण है, सामाजिक प्रभाव से संबंधित एआई संचालित समाधान विकसित करते समय सहयोग की सुविधा के लिए एक प्रस्तावित ढांचा।<ref>{{Cite journal |title=लाइब्रेरी - यूओएफए लाइब्रेरी|url=https://ezpa.library.ualberta.ca/ezpAuthen.cgi?url=https://dl.acm.org/doi/abs/10.1145/3461702.3462612 |access-date=2023-04-06 |website=ezpa.library.ualberta.ca |doi=10.1145/3461702.3462612| arxiv=2105.01774 | s2cid=233740121 | last1=Bondi | first1=Elizabeth | last2=Xu | first2=Lily | last3=Acosta-Navas | first3=Diana | last4=Killian | first4=Jackson A. | year=2021 }}</ref> यह ढांचा एआई फॉर सोशल गुड (एआई4एसजी) परियोजनाओं पर काम करते समय हितधारकों की भागीदारी के लिए मार्गदर्शक सिद्धांतों की पहचान करता है। पीएसीटी मानव-केंद्रित एआई समाधानों के डिजाइन में डीकोलोनाइजिंग और पावर-शिफ्टिंग प्रयासों के महत्व को सुधारने का प्रयास करता है। इस संबंध में एक शैक्षणिक पहल स्टैनफोर्ड यूनिवर्सिटी का मानव-केंद्रित कृत्रिम बुद्धिमत्ता संस्थान है जिसका उद्देश्य बहु-विषयक सहयोग को बढ़ावा देना है। संस्थान का मिशन मानव स्थिति में सुधार के लिए कृत्रिम बुद्धिमत्ता (एआई) अनुसंधान, शिक्षा, नीति और अभ्यास को आगे बढ़ाना है। <ref>{{Cite web |last=University |first=Stanford |date=2019-03-18 |title=स्टैनफोर्ड यूनिवर्सिटी ने मानव-केंद्रित आर्टिफिशियल इंटेलिजेंस संस्थान लॉन्च किया|url=https://news.stanford.edu/2019/03/18/stanford_university_launches_human-centered_ai/ |access-date=2023-04-06 |website=Stanford News |language=en}}</ref> | ||
बाहरी विशेषज्ञों और विभिन्न हितधारकों के साथ सहयोग से बुद्धिमान प्रणालियों के नैतिक, समावेशी और जवाबदेह विकास की सुविधा मिलती है। यह नैतिक विचारों को सम्मिलित करता है, सामाजिक और सांस्कृतिक संदर्भ को समझता है, मानव-केंद्रित डिजाइन को बढ़ावा देता है, तकनीकी विशेषज्ञता का लाभ उठाता है और नीति और कानूनी विचारों को संबोधित करता है।<ref>{{Cite journal |last1=Bondi |first1=Elizabeth |last2=Xu |first2=Lily |last3=Acosta-Navas |first3=Diana |last4=Killian |first4=Jackson A. |date=2021-07-21 |title=Envisioning Communities: A Participatory Approach Towards AI for Social Good |journal=Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society |pages=425–436 |doi=10.1145/3461702.3462612|arxiv=2105.01774 |isbn=9781450384735 |s2cid=233740121 }}</ref> एआई प्रणाली में | बाहरी विशेषज्ञों और विभिन्न हितधारकों के साथ सहयोग से बुद्धिमान प्रणालियों के नैतिक, समावेशी और जवाबदेह विकास की सुविधा मिलती है। यह नैतिक विचारों को सम्मिलित करता है, सामाजिक और सांस्कृतिक संदर्भ को समझता है, मानव-केंद्रित डिजाइन को बढ़ावा देता है, तकनीकी विशेषज्ञता का लाभ उठाता है और नीति और कानूनी विचारों को संबोधित करता है।<ref>{{Cite journal |last1=Bondi |first1=Elizabeth |last2=Xu |first2=Lily |last3=Acosta-Navas |first3=Diana |last4=Killian |first4=Jackson A. |date=2021-07-21 |title=Envisioning Communities: A Participatory Approach Towards AI for Social Good |journal=Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society |pages=425–436 |doi=10.1145/3461702.3462612|arxiv=2105.01774 |isbn=9781450384735 |s2cid=233740121 }}</ref> एआई प्रणाली में पूर्वाग्रह को प्रभावी ढंग से कम करने और यह सुनिश्चित करने के लिए कि एआई प्रौद्योगिकियां निष्पक्ष, पारदर्शी और जवाबदेह हैं, सभी विषयों में सहयोग आवश्यक है। | ||
== विनियमन == | == विनियमन == | ||
| Line 237: | Line 232: | ||
=== यूरोप === | === यूरोप === | ||
जनरल डेटा प्रोटेक्शन रेगुलेशन (जीडीपीआर), [[यूरोपीय संघ]] की संशोधित डेटा सुरक्षा व्यवस्था, जिसे 2018 में लागू किया गया था, अनुच्छेद 22 में प्रोफाइलिंग (सूचना विज्ञान) सहित स्वचालित व्यक्तिगत निर्णय लेने को संबोधित करता है। ये नियम पूरी तरह से स्वचालित निर्णयों को प्रतिबंधित करते हैं जिनमें महत्वपूर्ण या किसी व्यक्ति पर कानूनी प्रभाव, जब तक कि वे सहमति, अनुबंध, या यूरोपीय संघ कानून के सदस्य राज्य द्वारा स्पष्ट रूप से अधिकृत न हों। जहां उन्हें अनुमति दी जाती है, वहां सुरक्षा उपाय होने चाहिए, जैसे मानव-इन-द-लूप का अधिकार, और निर्णयों के स्पष्टीकरण के लिए एक गैर-बाध्यकारी अधिकार। जबकि इन विनियमों को सामान्यतः नया माना जाता है, [[डेटा संरक्षण निर्देश]] के अनुच्छेद 15 में, 1995 से पूरे यूरोप में लगभग समान प्रावधान सम्मलित हैं। 1970 के दशक के अंत से फ्रांसीसी कानून में मूल स्वचालित निर्णय नियम और सुरक्षा उपाय पाए गए।<ref>{{Cite journal|last=Bygrave|first=Lee A|journal=Computer Law & Security Review|volume=17|issue=1|pages=17–24|doi=10.1016/s0267-3649(01)00104-2|year=2001|title=Automated Profiling}}</ref> | जनरल डेटा प्रोटेक्शन रेगुलेशन (जीडीपीआर), [[यूरोपीय संघ]] की संशोधित डेटा सुरक्षा व्यवस्था, जिसे 2018 में लागू किया गया था, अनुच्छेद 22 में प्रोफाइलिंग (सूचना विज्ञान) सहित स्वचालित व्यक्तिगत निर्णय लेने को संबोधित करता है। ये नियम पूरी तरह से स्वचालित निर्णयों को प्रतिबंधित करते हैं जिनमें महत्वपूर्ण या किसी व्यक्ति पर कानूनी प्रभाव, जब तक कि वे सहमति, अनुबंध, या यूरोपीय संघ कानून के सदस्य राज्य द्वारा स्पष्ट रूप से अधिकृत न हों। जहां उन्हें अनुमति दी जाती है, वहां सुरक्षा उपाय होने चाहिए, जैसे मानव-इन-द-लूप का अधिकार, और निर्णयों के स्पष्टीकरण के लिए एक गैर-बाध्यकारी अधिकार। जबकि इन विनियमों को सामान्यतः नया माना जाता है, [[डेटा संरक्षण निर्देश]] के अनुच्छेद 15 में, 1995 से पूरे यूरोप में लगभग समान प्रावधान सम्मलित हैं। 1970 के दशक के अंत से फ्रांसीसी कानून में मूल स्वचालित निर्णय नियम और सुरक्षा उपाय पाए गए।<ref>{{Cite journal|last=Bygrave|first=Lee A|journal=Computer Law & Security Review|volume=17|issue=1|pages=17–24|doi=10.1016/s0267-3649(01)00104-2|year=2001|title=Automated Profiling}}</ref> | ||
जीडीपीआर प्रोफाइलिंग प्रणाली में कलन विधि | जीडीपीआर प्रोफाइलिंग प्रणाली में कलन विधि पूर्वाग्रह को संबोधित करता है, साथ ही इसे साफ करने के लिए संभावित सांख्यिकीय दृष्टिकोण, सीधे रिकेटल (कानून) 71 में,<ref name=":1">{{Cite journal|last1=Veale|first1=Michael|last2=Edwards|first2=Lilian|date=2018|title=Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling|journal=Computer Law & Security Review|volume=34 |issue=2 |pages=398–404 |doi=10.1016/j.clsr.2017.12.002|ssrn=3071679|s2cid=4797884 |url=http://discovery.ucl.ac.uk/10046182/1/Veale%201-s2.0-S026736491730376X-main%281%29.pdf}}</ref> यह नोट करते हुए कि<blockquote>नियंत्रक को प्रोफाइलिंग के लिए उपयुक्त गणितीय या सांख्यिकीय प्रक्रियाओं का उपयोग करना चाहिए, उपयुक्त तकनीकी और संगठनात्मक उपायों को लागू करना चाहिए ... जो जातिय या जातीय मूल, राजनीतिक राय, के आधार पर प्राकृतिक व्यक्तियों पर भेदभावपूर्ण प्रभावों को रोकता है, धर्म या विश्वास, व्यापार संघ की सदस्यता, आनुवंशिक या स्वास्थ्य की स्थिति या यौन अभिविन्यास, या जिसके परिणामस्वरूप इस तरह के प्रभाव वाले उपाय होते हैं। गायन की प्रकृति (कानून)।<ref>{{Cite journal|last1=Wachter|first1=Sandra|last2=Mittelstadt|first2=Brent|last3=Floridi|first3=Luciano|date=1 May 2017|title=सामान्य डेटा संरक्षण विनियम में स्वचालित निर्णय-निर्माण की व्याख्या का अधिकार क्यों मौजूद नहीं है|journal=International Data Privacy Law|volume=7|issue=2|pages=76–99|doi=10.1093/idpl/ipx005|issn=2044-3994|doi-access=free}}</ref> जबकि डेटा संरक्षण कानून के कार्यान्वयन पर सलाह देने वाले [[अनुच्छेद 29 वर्किंग पार्टी]] द्वारा इसे एक आवश्यकता के रूप में माना गया है,<ref name=":1" />इसके व्यावहारिक आयाम अस्पष्ट हैं। यह तर्क दिया गया है कि उच्च जोखिम डेटा प्रोफाइलिंग के लिए डेटा संरक्षण प्रभाव आकलन (डेटा सुरक्षा के भीतर अन्य पूर्व-खाली उपायों के साथ) कलन विधि भेदभाव के मुद्दों से निपटने का एक बेहतर तरीका हो सकता है, क्योंकि यह कलन विधि को तैनात करने वालों के कार्यों को प्रतिबंधित करता है, बजाय इसके कि उपभोक्ताओं को शिकायत दर्ज करने या परिवर्तन का अनुरोध करने की आवश्यकता।<ref name="Edwards">{{Cite journal|last1=Edwards|first1=Lilian|last2=Veale|first2=Michael|date=23 May 2017|title=Slave to the Algorithm? Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For|ssrn=2972855|journal=Duke Law & Technology Review|volume=16|pages=18–84|doi=}}</ref> | ||
=== संयुक्त राज्य === | === संयुक्त राज्य === | ||
संयुक्त राज्य अमेरिका के पास कलन विधि | संयुक्त राज्य अमेरिका के पास कलन विधि पूर्वाग्रह को नियंत्रित करने वाला कोई सामान्य कानून नहीं है, जो विभिन्न राज्य और संघीय कानूनों के माध्यम से समस्या का सामना कर रहा है, जो उद्योग, क्षेत्र और कलन विधि के उपयोग के कार्यविधि से भिन्न हो सकते हैं।<ref name="Singer">{{cite news|last1=Singer|first1=Natasha|title=उपभोक्ता डेटा संरक्षण कानून, एक महासागर के अलावा|url=https://www.nytimes.com/2013/02/03/technology/consumer-data-protection-laws-an-ocean-apart.html|access-date=26 November 2017|work=The New York Times|date=2 February 2013}}</ref> कई नीतियां [[संघीय व्यापार आयोग]] द्वारा स्व-प्रवर्तित या नियंत्रित होती हैं।<ref name="Singer" />2016 में, ओबामा प्रशासन ने राष्ट्रीय [[नेशनल आर्टिफिशियल इंटेलिजेंस रिसर्च एंड डेवलपमेंट स्ट्रैटेजिक प्लान|राष्ट्रीय कृत्रिम बुद्धिमत्ता सर्च और]] [[और]] [[विकास सामरिक योजना]] जारी किया,<ref name="ObamaAdmin">{{cite web|last1=Obama|first1=Barack|title=आर्टिफिशियल इंटेलिजेंस के भविष्य पर प्रशासन की रिपोर्ट|url=https://obamawhitehouse.archives.gov/blog/2016/10/12/administrations-report-future-artificial-intelligence|website=whitehouse.gov|publisher=National Archives|access-date=26 November 2017|date=12 October 2016}}</ref> जिसका उद्देश्य नीति निर्माताओं को कलन विधि के एक महत्वपूर्ण मूल्यांकन की दिशा में मार्गदर्शन करना था। इसने शोधकर्ताओं को इन प्रणालियों को डिजाइन करने की सिफारिश की जिससे कि उनके कार्य और निर्णय लेना पारदर्शी हो और मनुष्यों द्वारा आसानी से व्याख्या की जा सके, और इस प्रकार इन पूर्वाग्रहों को सीखने और पुनरावृत्ति के अतिरिक्त किसी भी पूर्वाग्रह के लिए जांच की जा सके। केवल मार्गदर्शन के उद्देश्य से, रिपोर्ट ने कोई कानूनी मिसाल नहीं बनाई।<ref name="NSTC">{{cite book|last1=and Technology Council|first1=National Science|title=नेशनल आर्टिफिशियल इंटेलिजेंस रिसर्च एंड डेवलपमेंट स्ट्रैटेजिक प्लान|date=2016|publisher=US Government|url=https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/national_ai_rd_strategic_plan.pdf|access-date=26 November 2017}}</ref>{{rp|26}} | ||
2017 में, [[न्यूयॉर्क शहर]] ने संयुक्त राज्य में पहला [[एल्गोरिथम जवाबदेही|कलन विधि उत्तरदायित्व]] बिल पारित किया।<ref name="Kirchner">{{cite web |last1=Kirchner |first1=Lauren |title=New York City Moves to Create Accountability for Algorithms — ProPublica |url=https://www.propublica.org/article/new-york-city-moves-to-create-accountability-for-algorithms |website=ProPublica |publisher=ProPublica |access-date=28 July 2018 |date=18 December 2017}}</ref> 1 जनवरी, 2018 को लागू हुए बिल में एक टास्क फोर्स के निर्माण की आवश्यकता थी, जो इस बारे में सिफारिशें प्रदान करती है कि एजेंसी स्वचालित निर्णय प्रणाली की जानकारी जनता के साथ किस प्रकार साझा की जा सकती है, और एजेंसियां उन स्थितियों को किस प्रकार संबोधित कर सकती हैं जहां एजेंसी द्वारा लोगों को नुकसान पहुंचाया जाता है। स्वचालित निर्णय प्रणाली।<ref name="NYC">{{cite web |title=The New York City Council - File #: Int 1696-2017 |url=http://legistar.council.nyc.gov/LegislationDetail.aspx?ID=3137815&GUID=437A6A6D-62E1-47E2-9C42-461253F9C6D0 |website=legistar.council.nyc.gov |publisher=New York City Council |access-date=28 July 2018 }}</ref> टास्क फोर्स को 2019 में आगे की नियामक कार्रवाई के लिए निष्कर्ष और सिफारिशें प्रस्तुत करने की आवश्यकता है।<ref name="Powles">{{cite magazine |last1=Powles |first1=Julia |title=न्यूयॉर्क शहर का साहसिक, त्रुटिपूर्ण प्रयास एल्गोरिथम को जवाबदेह बनाने का|url=https://www.newyorker.com/tech/elements/new-york-citys-bold-flawed-attempt-to-make-algorithms-accountable |magazine=The New Yorker |access-date=28 July 2018}}</ref> | 2017 में, [[न्यूयॉर्क शहर]] ने संयुक्त राज्य में पहला [[एल्गोरिथम जवाबदेही|कलन विधि उत्तरदायित्व]] बिल पारित किया।<ref name="Kirchner">{{cite web |last1=Kirchner |first1=Lauren |title=New York City Moves to Create Accountability for Algorithms — ProPublica |url=https://www.propublica.org/article/new-york-city-moves-to-create-accountability-for-algorithms |website=ProPublica |publisher=ProPublica |access-date=28 July 2018 |date=18 December 2017}}</ref> 1 जनवरी, 2018 को लागू हुए बिल में एक टास्क फोर्स के निर्माण की आवश्यकता थी, जो इस बारे में सिफारिशें प्रदान करती है कि एजेंसी स्वचालित निर्णय प्रणाली की जानकारी जनता के साथ किस प्रकार साझा की जा सकती है, और एजेंसियां उन स्थितियों को किस प्रकार संबोधित कर सकती हैं जहां एजेंसी द्वारा लोगों को नुकसान पहुंचाया जाता है। स्वचालित निर्णय प्रणाली।<ref name="NYC">{{cite web |title=The New York City Council - File #: Int 1696-2017 |url=http://legistar.council.nyc.gov/LegislationDetail.aspx?ID=3137815&GUID=437A6A6D-62E1-47E2-9C42-461253F9C6D0 |website=legistar.council.nyc.gov |publisher=New York City Council |access-date=28 July 2018 }}</ref> टास्क फोर्स को 2019 में आगे की नियामक कार्रवाई के लिए निष्कर्ष और सिफारिशें प्रस्तुत करने की आवश्यकता है।<ref name="Powles">{{cite magazine |last1=Powles |first1=Julia |title=न्यूयॉर्क शहर का साहसिक, त्रुटिपूर्ण प्रयास एल्गोरिथम को जवाबदेह बनाने का|url=https://www.newyorker.com/tech/elements/new-york-citys-bold-flawed-attempt-to-make-algorithms-accountable |magazine=The New Yorker |access-date=28 July 2018}}</ref> | ||
| Line 257: | Line 252: | ||
* [[सेंसटाइम]] | * [[सेंसटाइम]] | ||
== संदर्भ == | == संदर्भ == | ||
| Line 278: | Line 273: | ||
[[Category:Articles with invalid date parameter in template]] | [[Category:Articles with invalid date parameter in template]] | ||
[[Category:CS1]] | [[Category:CS1]] | ||
[[Category:CS1 British English-language sources (en-gb)]] | |||
[[Category:CS1 English-language sources (en)]] | |||
[[Category:Citation Style 1 templates|M]] | |||
[[Category:Collapse templates]] | |||
[[Category:Created On 01/06/2023]] | [[Category:Created On 01/06/2023]] | ||
[[Category:Good articles]] | [[Category:Good articles]] | ||
[[Category:Lua-based templates]] | |||
[[Category:Machine Translated Page]] | [[Category:Machine Translated Page]] | ||
[[Category:Navigational boxes| ]] | |||
[[Category:Navigational boxes without horizontal lists]] | |||
[[Category:Pages with script errors]] | [[Category:Pages with script errors]] | ||
[[Category:Short description with empty Wikidata description]] | [[Category:Short description with empty Wikidata description]] | ||
[[Category:Sidebars with styles needing conversion]] | |||
[[Category:Template documentation pages|Short description/doc]] | [[Category:Template documentation pages|Short description/doc]] | ||
[[Category:Templates Translated in Hindi]] | |||
[[Category:Templates Vigyan Ready]] | |||
[[Category:Templates based on the Citation/CS1 Lua module]] | |||
[[Category:Templates generating COinS|Cite magazine]] | |||
[[Category:Templates generating microformats]] | |||
[[Category:Templates that add a tracking category]] | |||
[[Category:Templates that are not mobile friendly]] | |||
[[Category:Templates that generate short descriptions]] | |||
[[Category:Templates using TemplateData]] | |||
[[Category:Wikipedia articles needing clarification from September 2021]] | |||
[[Category:Wikipedia fully protected templates|Cite magazine]] | |||
[[Category:Wikipedia metatemplates]] | |||
Latest revision as of 10:48, 23 June 2023
अनुशंसा इंजन द्वारा किए गए निर्णयों को दर्शाने वाला एक फ़्लोचार्ट, लगभग 2001[1]
| Part of a series on |
| Artificial intelligence |
|---|
 |
कलनविधीय पूर्वाग्रह, कंप्यूटर प्रणाली में व्यवस्थित और पुनरावृत्ति योग्य त्रुटियों का वर्णन करता है जो "अनुचित" परिणाम बताते हैं, जैसे कलन विधि के इच्छित फलन से एवं भिन्न तरीकों से एक श्रेणी को दूसरे पर "विशेषाधिकार" देना।
पूर्वाग्रह कई कारकों से समझा जा सकता है, जिसमें कलन विधि के डिजाइन या अनपेक्षित या अप्रत्याशित उपयोग या डेटा को कोडित करने, एकत्र करने, चयनित करने या कलन विधि को प्रशिक्षित करने के लिए उपयोग किए जाने से संबंधित निर्णयों तक सीमित नहीं है। उदाहरण के लिए, सर्च इंजन पूर्वाग्रह और सोशल मीडिया पूर्वाग्रह में कलन विधि पूर्वाग्रह देखा गया है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कलन विधि पूर्वाग्रह का अध्ययन सबसे अधिक कलन विधि से संबंधित है जो व्यवस्थित और अनुचित भेदभाव को दर्शाता है। इस पूर्वाग्रह को हाल ही में यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम (2018) और प्रस्तावित कृत्रिम बुद्धिमत्ता अधिनियम (2021) जैसे कानूनी ढांचे में संबोधित किया गया है।
जैसे-जैसे कलन विधि समाज, राजनीति, संस्थानों और व्यवहार को व्यवस्थित करने की अपनी क्षमता का विस्तार करते हैं, समाजशास्त्री उन तरीकों से चिंतित हो गए हैं जिनमें अप्रत्याशित उत्पादन और डेटा का परिचालन भौतिक दुनिया को प्रभावित कर सकता है। क्योंकि कलन विधि को अधिकांशतः तटस्थ और निष्पक्ष माना जाता है, वे मानव विशेषज्ञता की तुलना में गलत कार्यविधि से अधिक अधिकार को प्रोजेक्ट कर सकते हैं (आंशिक रूप से स्वंयचालित क्रिया पूर्वाग्रह की मनोवैज्ञानिक घटना के कारण), और कुछ स्थितियों में, कलन विधि पर निर्भरता उनके परिणामों के लिए मानवीय जिम्मेदारी को विस्थापित कर सकती है। पूर्वाग्रह पूर्व-सम्मलित सांस्कृतिक, सामाजिक, या संस्थागत अपेक्षाओं के परिणामस्वरूप कलन विधि प्रणाली में प्रवेश कर सकते हैं; उनके डिजाइन की तकनीकी सीमाओं के कारण; या अप्रत्याशित संदर्भों में या दर्शकों द्वारा उपयोग किए जाने से जिन्हें सॉफ़्टवेयर के प्रारंभिक डिज़ाइन में नहीं माना जाता है।
चुनाव परिणामों से लेकर ऑनलाइन अभद्र भाषा के प्रसार तक के स्थितियों में कलनविधीय पूर्वाग्रह का हवाला दिया गया है। यह आपराधिक न्याय, स्वास्थ्य देखभाल, और भर्ती, सम्मलित जातिय, सामाजिक आर्थिक और लैंगिक पूर्वाग्रहों को जोड़कर भी उत्पन्न हुआ है। गहरे रंग की त्वचा वाले चेहरों की सटीक पहचान करने के लिए चेहरे की पहचान तकनीक की सापेक्ष अक्षमता को काले पुरुषों की कई गलत गिरफ्तारियों से जोड़ा गया है, जो असंतुलित डेटासेट से उपजी एक समस्या है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कलन विधि पूर्वाग्रह को समझने, शोध करने और खोजने में समस्याएँ कलन विधि की मालिकाना प्रकृति के कारण बनी रहती हैं, जिन्हें सामान्यतः व्यापार रहस्यों के रूप में माना जाता है। यहां तक कि जब पूर्ण पारदर्शिता प्रदान की जाती है, तब भी कुछ कलन विधि की जटिलता उनके कामकाज को समझने में बाधा उत्पन्न करती है। इसके अतिरिक्त, कलन विधि बदल सकते हैं, या इनपुट या आउटपुट को उन तरीकों से प्रतिक्रिया दे सकते हैं जिन्हें अनुमानित नहीं किया जा सकता है या विश्लेषण के लिए आसानी से पुन: उत्पन्न नहीं किया जा सकता है। यह पूर्वाग्रह अनजाने में गोपनीयता के उल्लंघन से लेकर जाति, लिंग, विषमलैंगिकता और जातीयता के पूर्वाग्रह को मजबूत करने तक के प्रभाव डाल सकता है। कई स्थितियों में, यहां तक कि एक ही वेबसाइट या एप्लिकेशन के भीतर, जांच करने के लिए कोई एकल कलन विधि नहीं है, बल्कि एक ही सेवा के उपयोगकर्ताओं के बीच कई परस्पर संबंधित कार्यक्रमों और डेटा इनपुट का एक नेटवर्क है।
परिभाषाएँ
_(20385500690).jpg)
कलन विधि या कलन विधि लक्षण को परिभाषित करना मुश्किल है,[2] लेकिन सामान्यतः निर्देशों की सूची के रूप में समझा जा सकता है जो यह निर्धारित करता है कि आउटपुट उत्पन्न करने के लिए प्रोग्राम आंकड़े को किस प्रकार पढ़ते हैं, किस प्रकार एकत्र करते हैं, किस प्रकार संसाधित करते हैं और किस प्रकार उसका विश्लेषण करते हैं।[3]: 13 चुनाव परिणामों से लेकर ऑनलाइन अभद्र भाषा के प्रसार तक के स्थितियों में कलनविधीय पूर्वाग्रह का हवाला दिया गया है। यथार्थ रूप से तकनीकी परिचय के लिए, कलन विधि देखें। कंप्यूटर हार्डवेयर में प्रगति ने डेटा को प्रोसेस करने, स्टोर करने और ट्रांसमिट करने की क्षमता में वृद्धि की है। इसने यंत्र अधिगम और कृत्रिम बुद्धिमत्ता जैसी तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।[4]: 14–15 डेटा का विश्लेषण और प्रसंस्करण करके, कलन विधि सर्च इंजनों की रीढ़ हैं,[5] सोशल मीडिया वेबसाइटों,[6] अनुशंसा इंजन,[7] ऑनलाइन रिटेल,[8] ऑनलाइन प्रचार,[9] और बहुत कुछ तकनीकों के डिजाइन और अपनाने को बढ़ावा दिया है।[10]
समकालीन सामाजिक विज्ञान उनके राजनीतिक और सामाजिक प्रभाव के कारण हार्डवेयर और सॉफ्टवेयर अनुप्रयोगों में अंतः स्थापित कलन विधि प्रक्रियाओं से संबंधित है, और कलन विधि की तटस्थता की अंतर्निहित धारणाओं पर प्रश्न करते हैं।[11]: 2 [12]: 563 [13]: 294 [14] कलन विधि पूर्वाग्रह शब्द व्यवस्थित और पुनरावृत्ति योग्य त्रुटियों का वर्णन करता है जो अनुचित परिणाम उत्पन्न करते हैं, जैसे कि दूसरों के ऊपर उपयोगकर्ताओं के एक मनमाने समूह को विशेषाधिकार देना। उदाहरण के लिए, एक विश्वस्तता की जाँच कलन विधि किसी ऋण को अनुचित हुए बिना अस्वीकार कर सकता है, यदि वह प्रासंगिक वित्तीय मानदंडों को निरन्तर तौलता है। यदि कलन विधि उपयोगकर्ताओं के एक समूह को ऋण की सिफारिश करता है, लेकिन असंबंधित मानदंडों के आधार पर लगभग समान उपयोगकर्ताओं के दूसरे समूह को ऋण देने से बाध्य करता है, और यदि यह व्यवहार कई घटनाओं में पुनरावृत्ति किया जा सकता है, तो एक कलन विधि को पूर्वाग्रह के रूप में वर्णित किया जा सकता है।[15]: 332 कलन विधि विकास प्रक्रिया या प्रशिक्षण डेटा में पूर्वाग्रहों के दौरान किए गए पूर्वाग्रहों के कारण एआई पूर्वाग्रह मशीन लर्निंग कलन विधि के आउटपुट में एक विसंगति है। यह पूर्वाग्रह इरादतन या असावधानीवश में हो सकता है (उदाहरण के लिए, यह एक कार्यकर्ता से प्राप्त पूर्वाग्रह डेटा से आ सकता है जो पहले कलन विधि अब से करने जा रहा है)।
कार्यविधि
पूर्वाग्रह को कई तरीकों से कलन विधि में प्रस्तुत किया जा सकता है। डेटासेट के संयोजन के समय, डेटा को मानव-डिज़ाइन किए गए सूचीबद्ध मानदंड के अनुसार एकत्र, डिजिटाइज़, अनुकूलित और डेटाबेस में दर्ज किया जा सकता है।[16]: 3 इसके बाद, प्रोग्रामर्स उस डेटा का आकलन और सॉर्ट करने के कार्यविधि के लिए प्राथमिकताएं, या पदानुक्रम प्रदान करते हैं। इसके लिए डेटा को किस प्रकार वर्गीकृत किया जाता है, और कौन से डेटा को सम्मिलित या खारिज किया जाता है, इसके बारे में मानवीय निर्णयों की आवश्यकता होती है।[16]: 4 कुछ कलन विधि मानव-चयनित मानदंडों के आधार पर अपना स्वयं का डेटा एकत्र करते हैं, जो मानव डिजाइनरों के पूर्वाग्रह को भी दर्शा सकता है।[16]: 8 अन्य कलन विधि रूढ़िवादिता और वरीयताओं को सुदृढ़ कर सकते हैं क्योंकि वे मानव उपयोगकर्ताओं के लिए प्रासंगिक डेटा को संसाधित और प्रदर्शित करते हैं, उदाहरण के लिए, समान उपयोगकर्ता या उपयोगकर्ताओं के समूह के पिछले विकल्पों के आधार पर जानकारी का चयन करके।[16]: 6
डेटा को एकत्रित करने और संसाधित करने से परे, डिजाइन के परिणामस्वरूप पूर्वाग्रह निकल सकते हैं।[17] उदाहरण के लिए, कलन विधि जो संसाधनों के आवंटन या जांच (जैसे स्कूल प्लेसमेंट का निर्धारण) का निर्धारण करते हैं, असावधानीवश में एक श्रेणी के विरुद्ध भेदभाव कर सकते हैं जब समान उपयोगकर्ताओं (क्रेडिट स्कोर में) के आधार पर जोखिम का निर्धारण किया जाता है।[18]: 36 इस बीच, अनुशंसा इंजन जो उपयोगकर्ताओं को समान उपयोगकर्ताओं के साथ जोड़कर काम करते हैं, या जो अनुमानित विपणन लक्षणों का उपयोग करते हैं, वे गलत संघों पर भरोसा कर सकते हैं जो व्यापक जातीय, लिंग, सामाजिक-आर्थिक, या जातिय रूढ़िवादिता को दर्शाते हैं। एक और उदाहरण परिणामों में सम्मिलित और बहिष्कृत के लिए मानदंड निर्धारित करने से आता है। यह मानदंड सर्च परिणामों के लिए अप्रत्याशित परिणाम प्रस्तुत कर सकता है, जैसे उड़ान-अनुशंसा सॉफ़्टवेयर के साथ जो उन उड़ानों को छोड़ देता है जो प्रायोजन एयरलाइन के उड़ान पथों का पालन नहीं करते हैं।[17]कलन विधि एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े डेटा सेट उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। यह कलन विधि प्रक्रियाओं को उन परिणामों की ओर झुका हुआ कर सकता है जो बड़े नमूनों के साथ अधिक निकटता से मेल खाते हैं, जो कम आबादी वाले डेटा की अवहेलना कर सकते हैं।[19]: 4
इतिहास
प्रारंभिक समालोचना
.jpg)
इस कार्ड का उपयोग सॉफ्टवेयर को पुराने मेनफ्रेम कंप्यूटर में लोड करने के लिए किया गया था। प्रत्येक बाइट (अक्षर 'ए', उदाहरण के लिए) छिद्र छिद्रों द्वारा दर्ज किया जाता है। हालांकि समकालीन कंप्यूटर अधिक जटिल हैं, वे डेटा एकत्र करने और संसाधित करने में इस मानवीय निर्णय लेने की प्रक्रिया को दर्शाते हैं।[20]: 70 [21]: 16
प्रारंभिक कंप्यूटर प्रोग्राम मानव तर्क और निगमन की नकल करने के लिए डिज़ाइन किए गए थे, और जब वे मानव तर्क को सफलतापूर्वक और निरन्तर पुन: उत्पन्न करते हैं तो उन्हें कार्य करने के लिए माना जाता था। 1976 की अपनी पुस्तक कंप्यूटर शक्ति और मानव कारण में, कृत्रिम बुद्धिमत्ता के अग्रदूत जोसेफ व्हीटबाउम ने सुझाव दिया कि पूर्वाग्रह एक कार्यक्रम में उपयोग किए गए डेटा से उत्पन्न हो सकता है, लेकिन जिस तरह से एक कार्यक्रम को कोडित किया जाता है।[20]: 149
वेइज़ेनबौम ने लिखा है कि कंप्यूटर प्रोग्राम कंप्यूटर के पालन के लिए मनुष्यों द्वारा बनाए गए नियमों का एक क्रम है। उन नियमों का निरन्तर पालन करते हुए, ऐसे कार्यक्रम कानून का रूप धारण करते हैं,[20]: 40 अर्थात समस्याओं को हल करने के लिए एक विशिष्ट तरीका लागू करें। पूर्वाग्रह को कई तरीकों से कलन विधि में प्रस्तुत किया जा सकता है। कंप्यूटर जिन नियमों का पालन करता है, वे कंप्यूटर प्रोग्रामर की मान्यताओं पर आधारित होते हैं कि इन समस्याओं को किस प्रकार हल किया जा सकता है। इसका तात्पर्य है कि कोड प्रोग्रामर की कल्पना को सम्मिलित कर सकता है कि दुनिया किस प्रकार काम करती है, जिसमें उनके पूर्वाग्रह और अपेक्षाएं सम्मिलित हैं।[20]: 109 जबकि एक कंप्यूटर प्रोग्राम इस तरह से पूर्वाग्रह को सम्मिलित कर सकता है, वीज़ेनबाम ने यह भी नोट किया कि मशीन को खिलाया गया कोई भी डेटा मानव निर्णय लेने की प्रक्रियाओं को अतिरिक्त रूप से दर्शाता है क्योंकि डेटा का चयन किया जा रहा है।[20]: 70, 105
अंत में, उन्होंने कहा कि यदि उपयोगकर्ता परिणामों की व्याख्या किस प्रकार करें, इसके बारे में अस्पष्ट हैं तो मशीनें अनपेक्षित परिणाम के साथ अच्छी जानकारी भी स्थानांतरित कर सकती हैं।[20]: 65 वेइज़ेनबौम ने कंप्यूटर प्रोग्राम द्वारा किए गए भरोसेमंद फैसलों के विरुद्ध चेतावनी दी है कि एक उपयोगकर्ता समझ में नहीं आता है, इस तरह के विश्वास की तुलना एक पर्यटक से की जाती है जो एक सिक्का टॉस पर बाएं या दाएं मुड़कर विशेष रूप से होटल के कमरे में अपना रास्ता सर्च सकता है। महत्वपूर्ण रूप से, पर्यटक के पास यह समझने का कोई आधार नहीं है कि वह अपने गंतव्य पर किस प्रकार या क्यों पहुंचा, और एक सफल आगमन का तात्पर्य यह नहीं है कि प्रक्रिया सटीक या विश्वसनीय है।[20]: 226
कलन विधि पूर्वाग्रह के एक प्रारंभिक उदाहरण के परिणामस्वरूप 60 से अधिक महिलाओं और जातीय अल्पसंख्यकों को सेंट जॉर्ज, लंदन विश्वविद्यालय में प्रवेश से वंचित कर दिया गया। 1982 से 1986 तक प्रति वर्ष जॉर्ज अस्पताल मेडिकल स्कूल, एक नई कंप्यूटर-मार्गदर्शन मूल्यांकन प्रणाली के कार्यान्वयन के आधार पर, जो प्रवेश में ऐतिहासिक प्रवृत्तियों के आधार पर महिलाओं और पुरुषों के लिए विदेशी नामों के साथ प्रवेश से बाध्य करती थी।[22] जबकि उस समय कई स्कूलों ने अपनी चयन प्रक्रिया में समान पूर्वाग्रहों को नियोजित किया था, सेंट जॉर्ज एक कलन विधि के उपयोग के माध्यम से कथित पूर्वाग्रहों को स्वचालित करने के लिए सबसे उल्लेखनीय थे, इस प्रकार लोगों का ध्यान बहुत व्यापक पैमाने पर आकर्षित किया।
हाल के वर्षों में, जब अधिक कलन विधि ने वास्तविक दुनिया के डेटा पर मशीन सीखने के तरीकों का उपयोग करना शुरू किया, तो डेटा में सम्मलित पूर्वाग्रह के कारण कलन विधि पूर्वाग्रह अधिक पाया जा सकता है।
समसामयिक समालोचना और प्रतिक्रियाएं
हालांकि अच्छी तरह से डिज़ाइन किए गए कलन विधि अधिकांशतः ऐसे परिणामों का निर्धारण करते हैं जो मनुष्यों के निर्णयों की तुलना में समान (या अधिक) न्यायसंगत हैं, पूर्वाग्रह के सन्दर्भ अभी भी होते हैं, और भविष्यवाणी करना और विश्लेषण करना मुश्किल होता है।[23] कलन विधि पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। एक डिजाइनर, या डिजाइनरों की टीम द्वारा लिए गए निर्णय, एक कार्यक्रम के लिए बनाए गए कोड के कई टुकड़ों के बीच अस्पष्ट हो सकते हैं; समय के साथ इन निर्णयों और कार्यक्रम के परिणाम पर उनके सामूहिक प्रभाव को भुला दिया जा सकता है।[24]: 115 कलन विधि एक अनिश्चितता पूर्वाग्रह भी प्रदर्शित कर सकता है, जो बड़े डेटा सेट उपलब्ध होने पर अधिक विश्वसनीय आकलन प्रदान करता है। सिद्धांत रूप में, ये पूर्वाग्रह समाज के अन्य तत्वों के साथ कोड साइबरनेटिक्स के रूप में विशिष्ट तकनीकों के संबंध में व्यवहार या स्क्रिप्ट के नए पैटर्न बना सकते हैं।[25] पूर्वाग्रह यह भी प्रभावित कर सकते हैं कि कलन विधि की आवश्यकता वाले डेटा बिंदुओं के आसपास समाज खुद को किस प्रकार आकार देता है। उदाहरण के लिए, यदि डेटा किसी विशेष क्षेत्र में गिरफ्तारियों की उच्च संख्या दिखाता है, तो एक कलन विधि उस क्षेत्र में अधिक पुलिस गश्त लगा सकता है, जिससे अधिक गिरफ्तारियां हो सकती हैं।[26]: 180
कलन विधि कार्यक्रमों के निर्णयों को उन मनुष्यों के निर्णयों की तुलना में अधिक आधिकारिक के रूप में देखा जा सकता है, जिनकी वे सहायता करने के लिए हैं,[27]: 15 लेखक क्ले शिर्की द्वारा कलन विधि प्राधिकरण के रूप में वर्णित एक प्रक्रिया।[28] शिर्की सर्च परिणामों जैसे विविध, अविश्वसनीय स्रोतों से मूल्य निकालने की एक अप्रबंधित प्रक्रिया को आधिकारिक मानने के निर्णय का वर्णन करने के लिए शब्द का उपयोग करता है।[28]इस तटस्थता को विशेषज्ञों और मीडिया द्वारा उपयोग की जाने वाली भाषा द्वारा भी गलत कार्यविधि से प्रस्तुत किया जा सकता है जब परिणाम जनता के सामने प्रस्तुत किए जाते हैं। कलन विधि पूर्वाग्रह का विश्लेषण करने की जटिलता कार्यक्रमों और उनके डिजाइन की जटिलता के साथ बढ़ी है। उदाहरण के लिए, केवल उनकी लोकप्रियता की तुलना में महत्वपूर्ण रूप से व्यापक मानदंडों के आधार पर ट्रेंडिंग या लोकप्रिय के रूप में चयनित और प्रस्तुत किए गए समाचारों की एक सूची बनाई जा सकती है।[16]: 14
उनकी सुविधा और अधिकार के कारण, कलन विधि को मानव से दूर उत्तरदायित्व सौंपने के साधन के रूप में सिद्धांतित किया जाता है।[27]: 16 [29]: 6 इसका वैकल्पिक विकल्पों, समझौता, या लचीलेपन को कम करने का प्रभाव हो सकता है।[27]: 16 समाजशास्त्री स्कॉट लश ने कलन विधि की आलोचनात्मक शक्ति के एक नए रूप के रूप में की है, जिसमें वे वास्तविक लक्ष्यों को उत्पन्न करने का एक आभासी साधन हैं। जहां पहले मानव व्यवहार ने डेटा एकत्र करने और अध्ययन करने के लिए उत्पन्न किया, शक्तिशाली कलन विधि तेजी से मानव व्यवहार को आकार और परिभाषित कर सकते थे।[30]: 71
समाज पर कलन विधि के प्रभाव को लेकर चिंता ने गूगल और माइक्रोसॉफ्ट जैसे संगठनों में कार्यकारी समूहों का निर्माण किया है, जिन्होंने निष्पक्षता, उत्तरदायित्व और मशीन लर्निंग में पारदर्शिता।[31]: 115 गूगल के विचारों में सामुदायिक समूह सम्मिलित हैं जो कलन विधि के परिणामों की निगरानी करते हैं और उन आउटपुट को नियंत्रित या प्रतिबंधित करने के लिए मतदान करते हैं जिनके बारे में वे नकारात्मक परिणाम मानते हैं।[31]: 117 हाल के वर्षों में, निष्पक्षता, उत्तरदायित्व का अध्ययन और कलन विधि की पारदर्शिता (एफएटी) एफएसीसीटी नामक एक वार्षिक सम्मेलन के साथ अपने स्वयं के अंतःविषय अनुसंधान क्षेत्र के रूप में उभरा है।[32] आलोचकों ने सुझाव दिया है कि एफएटीकी पहल प्रभावी रूप से स्वतंत्र प्रहरी के रूप में काम नहीं कर सकती है, जब कई निगमों द्वारा अध्ययन किए जा रहे प्रणाली का निर्माण करके वित्त पोषित किया जाता है।[33]
प्रकार
पहले से सम्मलित
कलन विधि में पहले से सम्मलित पूर्वाग्रह अंतर्निहित सामाजिक और संस्थागत विचारधारा का परिणाम है। इस तरह के विचार व्यक्तिगत डिजाइनरों या प्रोग्रामरों के भीतर व्यक्तिगत पूर्वाग्रह को प्रभावित या बना सकते हैं। इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं।[15]: 334 [13]: 294 निष्फल चयनित इनपुट डेटा, या बस एक पूर्वाग्रह स्रोत से डेटा, मशीनों द्वारा बनाए गए परिणामों को प्रभावित करेगा।[21]: 17 सॉफ्टवेयर में पूर्व-सम्मलित पूर्वाग्रह को एनकोड करने से सामाजिक और संस्थागत पूर्वाग्रह को संरक्षित किया जा सकता है, और, सुधार के बिना, उस कलन विधि के सभी भविष्य के उपयोगों में पुनरावृत्ति किया जा सकता है।[24]: 116 [29]: 8
पूर्वाग्रह के इस रूप का एक उदाहरण ब्रिटिश राष्ट्रीयता अधिनियम कार्यक्रम है, जिसे 1981 के ब्रिटिश राष्ट्रीयता अधिनियम के बाद नए ब्रिटिश नागरिकों के मूल्यांकन को स्वचालित करने के लिए डिज़ाइन किया गया है।[15]: 341 कार्यक्रम ने कानून के सिद्धांतों को सटीक रूप से प्रतिबिंबित किया, जिसमें कहा गया था कि एक पुरुष केवल अपने वैध बच्चों का पिता होता है, जबकि एक महिला अपने सभी बच्चों की मां होती है, वैध हो या नहीं।[15]: 341 [34]: 375 एक कलन विधि प्रक्रिया में एक विशेष तर्क को स्थानांतरित करने के अपने प्रयास में, बीएनएपी ने अपने कलन विधि में ब्रिटिश राष्ट्रीयता अधिनियम के तर्क को अंकित किया, जो अधिनियम के निरस्त होने पर भी इसे बनाए रखेगा।[15]: 342
तकनीकी
निगरानी कैमरों के संयोजन में उपयोग किए जाने वाले चेहरे की पहचान करने वाले सॉफ़्टवेयर को सफेद चेहरों पर एशियाई और काले चेहरों को पहचानने में पूर्वाग्रह प्रदर्शित करने के लिए पाया गया।[26]: 191
तकनीकी पूर्वाग्रह एक कार्यक्रम की सीमाओं, कम्प्यूटेशनल शक्ति, इसकी डिजाइन, या प्रणाली पर अन्य बाधाओं के माध्यम से निकल कर आता है।[15]: 332 इस तरह के पूर्वाग्रह स्पष्ट और सचेत या निहित और अचेतन हो सकते हैं। इस तरह का पूर्वाग्रह डिजाइन का एक संयम भी हो सकता है, उदाहरण के लिए, एक सर्च इंजन जो प्रति स्क्रीन तीन परिणाम दिखाता है, को शीर्ष तीन परिणामों को अगले तीन की तुलना में थोड़ा अधिक विशेषाधिकार देने के लिए समझा जा सकता है, जैसा कि एक एयरलाइन मूल्य प्रदर्शन में होता है।[15]: 336 एक अन्य प्रकरण सॉफ्टवेयर का है जो परिणामों के उचित वितरण के लिए यादृच्छिकता पर निर्भर करता है। यदि यादृच्छिक संख्या पीढ़ी तंत्र वास्तव में यादृच्छिक नहीं है, तो यह पूर्वाग्रह का परिचय दे सकता है, उदाहरण के लिए, सूची के अंत या शुरुआत में वस्तुओं की ओर चयन को झुका हुआ करके पूर्वाग्रह का परिचय दे सकता है।[15]: 332
एक विसंबंधित कलन विधि परिणामों को क्रमबद्ध करने के लिए असंबंधित जानकारी का उपयोग करता है, उदाहरण के लिए, एक उड़ान-मूल्य निर्धारण कलन विधि जो वर्णानुक्रम से परिणामों को छाँटता है, यूनाइटेड एयरलाइंस की तुलना में अमेरिकन एयरलाइंस के पक्ष में पूर्वाग्रह होगा।[15]: 332 विपरीत भी लागू हो सकता है, जिसमें परिणामों का मूल्यांकन उन संदर्भों में किया जाता है जिनसे वे एकत्र किए गए हैं। महत्वपूर्ण बाहरी संदर्भ के बिना डेटा एकत्र किया जा सकता है: उदाहरण के लिए, जब निगरानी कैमरों द्वारा चेहरे की पहचान प्रणाली सॉफ़्टवेयर का उपयोग किया जाता है, लेकिन किसी अन्य देश या क्षेत्र में दूरस्थ कर्मचारियों द्वारा मूल्यांकन किया जाता है, या गैर-मानव कलन विधि द्वारा मूल्यांकन किया जाता है, इसके बारे में कोई जानकारी नहीं होती है। कैमरे का दृश्य क्षेत्र यह एक अपराध स्थल की अधूरी समझ उत्पन्न कर सकता है, उदाहरण के लिए, अपराध करने वालों के लिए संभावित रूप से गलत समझने वाले इसके बारे में कोई जानकारी नहीं देते है।[12]: 574
अंत में, इस धारणा पर ठोस कदमों में निर्णयों को औपचारिक रूप देने का प्रयास करके तकनीकी पूर्वाग्रह उत्पन्न किया जा सकता है कि मानव व्यवहार उसी तरह काम करता है। उदाहरण के लिए, सॉफ़्टवेयर यह निर्धारित करने के लिए डेटा बिंदुओं का वजन करता है कि एक जूरी पर भावना के प्रभाव को अनदेखा करते हुए प्रतिवादी को एक याचिका सौदा स्वीकार करना चाहिए या नहीं।[15]: 332 पूर्वाग्रह के इस रूप का एक अन्य अनपेक्षित परिणाम साहित्यिक चोरी का पता लगाने वाले सॉफ़्टवेयर तुरनीतिन में पाया गया, जो छात्र-लिखित पाठों की तुलना ऑनलाइन मिली जानकारी से करता है और एक संभावना स्कोर वापस करता है कि छात्र के काम की नकल की जाती है। क्योंकि सॉफ्टवेयर पाठ के लंबे तार की तुलना करता है, यह देशी समस्याओं की तुलना में अंग्रेजी के गैर-देशी समस्याओं की पहचान करने की अधिक संभावना है, क्योंकि बाद वाला समूह अलग-अलग शब्दों को बदलने, साहित्यिक पाठ के तार को तोड़ने, या कॉपी किए गए अंशों को अस्पष्ट करने में सक्षम हो सकता है। समानार्थी शब्द क्योंकि सॉफ्टवेयर की तकनीकी बाधाओं के परिणामस्वरूप देशी समस्याओं के लिए पहचान से बचना आसान है, यह एक ऐसा परिदृश्य बनाता है जहां टर्निटिन साहित्यिक चोरी के लिए अंग्रेजी के विदेशी-भाषियों की पहचान करता है जबकि अधिक देशी-समस्याओं को पता लगाने से बचने की अनुमति देता है।[27]: 21–22
आकस्मिक
उभरते गुण पूर्वाग्रह नए या अप्रत्याशित संदर्भों में कलन विधि पर उपयोग और निर्भरता का परिणाम है।[15]: 334 ज्ञान के नए रूपों पर विचार करने के लिए कलन विधि को समायोजित नहीं किया जा सकता है, जैसे कि नई दवाएं या चिकित्सा सफलताएं, नए कानून, व्यापार मॉडल, या सांस्कृतिक मानदंडों को स्थानांतरित करना।[15]: 334, 336 यह यह समझने के लिए स्पष्ट रूपरेखा प्रदान किए बिना कि उनके बहिष्करण के लिए कौन जिम्मेदार है, प्रौद्योगिकी के माध्यम से समूहों को बाहर कर सकता है।[26]: 179 [13]: 294 इसी तरह, समस्याएँ तब उत्पन्न हो सकती हैं जब प्रशिक्षण डेटा (मशीन को भेजे गए नमूने, जिसके द्वारा यह कुछ निश्चित निष्कर्षों को मॉडल करता है) उन संदर्भों के साथ संरेखित नहीं होता है जो वास्तविक दुनिया में एक कलन विधि का सामना करते हैं।[35]
1990 में, अमेरिकी मेडिकल छात्रों को रेजीडेंसी, राष्ट्रीय रेजीडेंसी मैच प्रोग्राम (एनआरएमपी) में रखने के लिए उपयोग किए जाने वाले सॉफ़्टवेयर में उभरते पूर्वाग्रह के एक उदाहरण की पहचान की गई थी।[15]: 338 कलन विधि को ऐसे समय में डिज़ाइन किया गया था जब कुछ विवाहित जोड़े एक साथ निवास की तलाश करेंगे। जैसे ही अधिक महिलाएं मेडिकल स्कूलों में प्रवेश करती हैं, अधिक छात्रों को अपने सहयोगियों के साथ निवास का अनुरोध करने की संभावना होती है। इस प्रक्रिया में प्रत्येक आवेदक को पूरे अमेरिका में नियुक्ति के लिए वरीयता सूची प्रदान करने की आवश्यकता होती है, जिसे तब क्रमबद्ध किया जाता था और सौंपा जाता था जब एक अस्पताल और एक आवेदक दोनों एक मैच के लिए सहमत होते थे। विवाहित जोड़ों के सन्दर्भ में जहां दोनों ने निवास की मांग की थी, कलन विधि पहले उच्च-रेटेड साथी के स्थान विकल्पों का वजन करता था। परिणाम प्लेसमेंट वरीयता में समझौता करने के अतिरिक्त पहले साथी को अत्यधिक पसंदीदा स्कूलों और दूसरे साथी को कम-वरीयता वाले स्कूलों का निरन्तर असाइनमेंट था।[15]: 338 [36]
अतिरिक्त आकस्मिक पूर्वाग्रहों में सम्मिलित हैं:
सहसंबंध
जब बड़े डेटा सेट की एक दूसरे से तुलना की जाती है तो अप्रत्याशित सहसंबंध निकल सकते हैं। उदाहरण के लिए, वेब-ब्राउज़िंग पैटर्न के बारे में एकत्र किया गया डेटा संवेदनशील डेटा (जैसे जाति या यौन अभिविन्यास) को चिन्हित करने वाले संकेतों के साथ संरेखित हो सकता है। कुछ व्यवहार या ब्राउज़िंग पैटर्न के अनुसार चयन करने से, अंतिम प्रभाव प्रत्यक्ष जाति या यौन अभिविन्यास डेटा के उपयोग के माध्यम से भेदभाव के समान होगा।[19]: 6 अन्य स्थितियों में, कलन विधि उन सहसंबंधों को समझने में सक्षम हुए बिना सहसंबंधों से निष्कर्ष निकालता है। उदाहरण के लिए, एक ट्राइएज प्रोग्राम ने उन अस्थमा रोगियों को कम प्राथमिकता दी जिन्हें निमोनिया नहीं था। कार्यक्रम कलन विधि ने ऐसा इसलिए किया क्योंकि यह केवल जीवित रहने की दरों की तुलना करता है: निमोनिया के साथ दमा रोगियों को सबसे अधिक खतरा होता है। ऐतिहासिक रूप से, इसी कारण से, अस्पताल सामान्यतः ऐसे अस्थमा रोगियों को सर्वोत्तम और तत्काल देखभाल प्रदान करते हैं।[37][clarification needed]
अप्रत्याशित उपयोग
आकस्मिक पूर्वाग्रह तब हो सकता है जब एक कलन विधि का उपयोग अप्रत्याशित दर्शकों द्वारा किया जाता है। उदाहरण के लिए, मशीनों की आवश्यकता हो सकती है कि उपयोगकर्ता संख्याओं को पढ़, लिख या समझ सकें, या उन रूपकों का उपयोग करके एक इंटरफ़ेस से संबंधित हो जिन्हें वे नहीं समझते हैं।[15]: 334 ये बहिष्करण मिश्रित हो सकते हैं, क्योंकि पूर्वाग्रह या बहिष्करण तकनीक समाज में अधिक गहराई से एकीकृत है।[26]: 179
बहिष्करण के अतिरिक्त, अंतिम उपयोगकर्ता द्वारा अपने स्वयं के ज्ञान के अतिरिक्त सॉफ़्टवेयर पर भरोसा करने से अप्रत्याशित उपयोग निकल सकते हैं। एक उदाहरण में, एक अप्रत्याशित उपयोगकर्ता समूह ने ब्रिटेन में कलन विधि पूर्वाग्रह का नेतृत्व किया, जब ब्रिटिश राष्ट्रीय अधिनियम कार्यक्रम को ब्रिटिश राष्ट्रीयता कानून के लिए उपयुक्तता का मूल्यांकन करने के लिए कंप्यूटर वैज्ञानिकों और आव्रजन वकीलों द्वारा अवधारणा के सबूत के रूप में बनाया गया था। डिजाइनरों के पास आव्रजन कार्यालयों में अंतिम उपयोगकर्ताओं से परे कानूनी विशेषज्ञता तक पहुंच थी, जिनकी सॉफ्टवेयर और आव्रजन कानून दोनों की समझ अपरिष्कृत रही होगी। प्रश्नों को प्रशासित करने वाले एजेंट पूरी तरह से सॉफ्टवेयर पर निर्भर थे, जिसमें नागरिकता के वैकल्पिक रास्ते सम्मिलित नहीं थे, और नए केस कानूनों और कानूनी व्याख्याओं के बाद भी कलन विधि का उपयोग पुराना हो गया था। अप्रवासन कानून पर कानूनी रूप से समझदार माने जाने वाले उपयोगकर्ताओं के लिए एक कलन विधि डिजाइन करने के परिणामस्वरूप, सॉफ्टवेयर के कलन विधि ने अप्रत्यक्ष रूप से उन आवेदकों के पक्ष में पूर्वाग्रह किया, जो अधिक व्यापक मानदंडों के अतिरिक्त कलन विधि द्वारा निर्धारित कानूनी मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं। ब्रिटिश आप्रवासन कानून के मानदंडों के एक बहुत ही संकीर्ण सेट में फिट बैठते हैं।[15]: 342
प्रतिक्रिया पाश
यदि कलन विधि के लिए एकत्र किए गए डेटा का परिणाम वास्तविक दुनिया की प्रतिक्रियाओं में होता है, जो कलन विधि में वापस फीड किए जाते हैं, तो आपातकालीन पूर्वाग्रह फीडबैक लूप या रिकर्सन भी बना सकते हैं।[38][39] उदाहरण के लिए, ओकलैंड, कैलिफोर्निया में तैनात भविष्य कहने वाला पुलिसिंग सॉफ्टवेयर (प्रेडपोल) के सिमुलेशन ने जनता द्वारा रिपोर्ट किए गए अपराध के आंकड़ों के आधार पर काले पड़ोस में पुलिस की उपस्थिति में वृद्धि का सुझाव दिया।[40] अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि सर्च इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। सिमुलेशन ने दिखाया कि जनता ने पुलिस कारों की दृष्टि के आधार पर अपराध की सूचना दी, चाहे पुलिस कुछ भी कर रही हो। सिमुलेशन ने अपराध की अपनी भविष्यवाणियों के मॉडलिंग में पुलिस कार देखे जाने की व्याख्या की, और बदले में उन पड़ोस के भीतर पुलिस की उपस्थिति में और भी बड़ी वृद्धि होगी।[38][41][42] मानवाधिकार डेटा विश्लेषण समूह, जिसने सिमुलेशन का संचालन किया, ने चेतावनी दी कि जिन जगहों पर जातिय भेदभाव गिरफ्तारी का एक कारक है, ऐसे फीडबैक लूप पुलिसिंग में जाति ीय भेदभाव को मजबूत और स्थायी बना सकते हैं।[39]इस तरह के व्यवहार को प्रदर्शित करने वाले कलन विधि का एक अन्य प्रसिद्ध उदाहरण कम्पस (सॉफ़्टवेयर) है, एक ऐसा सॉफ़्टवेयर जो किसी व्यक्ति के आपराधिक अपराधी बनने की संभावना को निर्धारित करता है। सॉफ़्टवेयर की अधिकांशतः काले व्यक्तियों को अपराधियों के रूप में लेबल करने के लिए आलोचना की जाती है, जो दूसरों की तुलना में बहुत अधिक होने की संभावना है, और फिर डेटा को स्वयं में वापस फीड कर देता है, जब व्यक्ति पंजीकृत अपराधी बन जाते हैं, आगे उस डेटासेट द्वारा बनाए गए पूर्वाग्रह को लागू करते हैं जिस पर कलन विधि कार्य कर रहा है।
ऑनलाइन वीडियो या समाचार लेखों की सिफारिश करने के लिए उपयोग की जाने वाली अनुशंसा प्रणाली फीडबैक लूप बना सकती है।[43] जब उपयोगकर्ता कलन विधि द्वारा सुझाई गई सामग्री पर क्लिक करते हैं, तो यह सुझावों के अगले सेट को प्रभावित करती है।[44] समय के साथ यह उपयोगकर्ताओं को फ़िल्टर बुलबुला में प्रवेश करने और महत्वपूर्ण या उपयोगी सामग्री से अनजान होने का कारण बन सकता है।[45][46]
प्रभाव
वाणिज्यिक प्रभाव
वाणिज्यिक कलन विधि को किसी उपयोगकर्ता की जानकारी के बिना कंपनियों के बीच वित्तीय व्यवस्थाओं या समझौतों का अदृश्य रूप से पक्ष लेने के लिए झुका हुआ किया जा सकता है, जो कलन विधि को निष्पक्ष होने की गलती कर सकता है। उदाहरण के लिए, अमेरिकन एयरलाइंस ने 1980 के दशक में एक फ्लाइट-फाइंडिंग कलन विधि बनाया। सॉफ्टवेयर ने विभिन्न एयरलाइनों से ग्राहकों के लिए उड़ानों की एक श्रृंखला प्रस्तुत की, लेकिन मूल्य या सुविधा की परवाह किए बिना, अपनी खुद की उड़ानों को बढ़ावा देने वाले कारकों को तौला। संयुक्त राज्य कांग्रेस की गवाही में, एयरलाइन के अध्यक्ष ने स्पष्ट रूप से कहा कि प्रणाली को अधिमान्य उपचार के माध्यम से प्रतिस्पर्धात्मक लाभ प्राप्त करने के इरादे से बनाया गया था।[47]: 2 [15]: 331
1998 के एक पेपर में गूगल का वर्णन करते हुए, कंपनी के संस्थापकों ने भुगतान प्लेसमेंट के संबंध में सर्च परिणामों में पारदर्शिता की नीति अपनाई थी, यह तर्क देते हुए कि विज्ञापन-वित्त पोषित सर्च इंजन स्वाभाविक रूप से विज्ञापनदाताओं के प्रति पूर्वाग्रह होंगे और उपभोक्ताओं की जरूरतों से दूर होंगे।[48] यह पूर्वाग्रह उपयोगकर्ता का एक अदृश्य परिचालन होगा।[47]: 3
मतदान व्यवहार
अमेरिका और भारत में अनिर्णीत मतदाताओं के बारे में अध्ययनों की एक श्रृंखला में पाया गया कि सर्च इंजन परिणाम मतदान परिणामों को लगभग 20% तक स्थानांतरित करने में सक्षम थे। शोधकर्ताओं ने निष्कर्ष निकाला कि उम्मीदवारों के पास प्रतिस्पर्धा का कोई साधन नहीं है यदि एक एल्गोरिथ्म, इरादे के साथ या बिना इरादे के, प्रतिद्वंद्वी उम्मीदवार के लिए पेज लिस्टिंग को बढ़ावा देता है।[49] जिन फेसबुक यूजर्स ने वोटिंग से जुड़े मैसेज देखे, उनके वोट देने की संभावना ज्यादा थी। फेसबुक उपयोगकर्ताओं के 2010 के एक यादृच्छिक परीक्षण ने उन उपयोगकर्ताओं के बीच 20% की वृद्धि (340,000 वोट) दिखाई, जिन्होंने मतदान को प्रोत्साहित करने वाले संदेशों के साथ-साथ अपने दोस्तों की छवियों को वोट दिया था।[50] कानूनी विद्वान जोनाथन ज़िट्रेन ने चेतावनी दी है कि यह चुनावों में एक डिजिटल गेरीमांडरिंग प्रभाव उत्पन्न कर सकता है, एक मध्यस्थ द्वारा अपने एजेंडे को पूरा करने के लिए सूचना की चयनात्मक प्रस्तुति, अपने उपयोगकर्ताओं की सेवा करने के अतिरिक्त, यदि जानबूझकर परिचालन की जाती है।[51]: 335
लैंगिक भेदभाव
2016 में, प्रस्तुत व्यावसायिक नेटवर्किंग साइट Linkedin को सर्च प्रश्नों के जवाब में महिलाओं के नामों के पुरुष रूपों की सिफारिश करने के लिए खोजा गया था। पुरुष नामों की सर्च में साइट ने समान अनुशंसाएं नहीं कीं। उदाहरण के लिए, एंड्रिया यह पूछने के लिए एक संकेत लाएगा कि क्या उपयोगकर्ता का तात्पर्य एंड्रयू है, लेकिन एंड्रयू के लिए पूछताछ में यह नहीं पूछा गया कि क्या उपयोगकर्ता एंड्रिया को ढूंढना चाहते हैं। कंपनी ने कहा कि यह साइट के साथ यूजर्स के इंटरेक्शन के विश्लेषण का परिणाम है।[52]
2012 में, डिपार्टमेंटल स्टोर फ़्रैंचाइज़ लक्ष्य कंपनी को महिला ग्राहकों के गर्भवती होने पर डेटा बिंदुओं को एकत्रित करने के लिए उद्धृत किया गया था, भले ही उन्होंने इसकी घोषणा नहीं की थी, और फिर उस जानकारी को मार्केटिंग भागीदारों के साथ साझा किया।[53]: 94 [54] क्योंकि डेटा की भविष्यवाणी की गई थी, प्रत्यक्ष रूप से देखे जाने या रिपोर्ट किए जाने के अतिरिक्त, कंपनी के पास उन ग्राहकों की गोपनीयता की रक्षा करने का कोई कानूनी दायित्व नहीं था।[53]: 98
वेब सर्च कलन विधि पर भी पूर्वाग्रह का आरोप लगाया गया है। गूगल के परिणाम विषमलैंगिकता से संबंधित सर्च शब्दों में अश्लील सामग्री को प्राथमिकता दे सकते हैं, उदाहरण के लिए, समलैंगिक। यह पूर्वाग्रह तटस्थ खोजों में लोकप्रिय लेकिन यौन सामग्री दिखाने वाले सर्च इंजन तक फैला हुआ है। उदाहरण के लिए, शीर्ष 25 सबसे सेक्सी महिला एथलीट लेख महिला एथलीटों की खोजों में प्रथम-पृष्ठ परिणामों के रूप में प्रदर्शित होते हैं।[55]: 31 2017 में, गूगल ने इन परिणामों को उन अन्य परिणामों के साथ समायोजित किया जो घृणा समूहों, जाति वादी विचारों, बाल दुर्व्यवहार और पोर्नोग्राफ़ी, और अन्य परेशान करने वाली और आपत्तिजनक सामग्री के रूप में सामने आए।[56] अन्य उदाहरणों में नौकरी सर्च वेबसाइटों पर पुरुष आवेदकों को उच्च भुगतान वाली नौकरियों का प्रदर्शन सम्मिलित है।[57] शोधकर्ताओं ने यह भी पहचाना है कि मशीनी अनुवाद पुरुष चूक के प्रति एक मजबूत प्रवृत्ति प्रदर्शित करता है।[58] विशेष रूप से, यह विज्ञान, प्रौद्योगिकी, इंजीनियरिंग और गणित व्यवसायों सहित असंतुलित लिंग वितरण से जुड़े क्षेत्रों में देखा गया है।[59] वास्तव में, वर्तमान मशीनी अनुवाद प्रणालियाँ महिला श्रमिकों के वास्तविक विश्व वितरण को पुन: प्रस्तुत करने में विफल हैं।[60]
2015 में, अमेजन डॉट कॉम ने एक कृत्रिम बुद्धिमत्ता प्रणाली को बंद कर दिया, जिसे उसने नौकरी के आवेदनों को स्क्रीन करने के लिए विकसित किया था, जब उन्हें एहसास हुआ कि यह महिलाओं के विरुद्ध पूर्वाग्रह था।[61] भर्ती उपकरण ने उन आवेदकों को बाहर कर दिया, जिन्होंने सभी महिला कॉलेजों में भाग लिया और पुनः शुरू किया जिसमें महिला शब्द सम्मिलित था।[62] संगीत स्ट्रीमिंग सेवाओं के साथ एक समान समस्या सामने आई- 2019 में, यह पता चला कि Spotify द्वारा उपयोग की जाने वाली अनुशंसा प्रणाली कलन विधि महिला कलाकारों के विरुद्ध पूर्वाग्रह थी।[63] स्पॉटीफी के गाने की सिफारिशों ने महिला कलाकारों की तुलना में अधिक पुरुष कलाकारों का सुझाव दिया।
जातिय और जातीय भेदभाव
निर्णय लेने में जातिय पूर्वाग्रहों को अस्पष्ट करने के कार्यविधि के रूप में कलन विधि की आलोचना की गई है।[64][65][66]: 158 अतीत में कुछ जाति और जातीय समूहों के साथ कैसा व्यवहार किया गया था, इसके कारण डेटा में अधिकांशतः छिपे हुए पूर्वाग्रह हो सकते हैं।[67] उदाहरण के लिए, समान अपराध करने वाले गोरे लोगों की तुलना में काले लोगों को लंबी सजा मिलने की संभावना है।[68][69] इसका संभावित अर्थ यह हो सकता है कि एक प्रणाली डेटा में मूल पूर्वाग्रहों को बढ़ाती है।
2015 में, गूगल ने माफी मांगी जब काले उपयोगकर्ताओं ने शिकायत की कि इसके फोटो एप्लिकेशन में एक छवि-पहचान कलन विधि ने उन्हें जातीय स्टीरियोटाइप के रूप में पहचाना।[70] 2010 में, निकॉन कैमरों की आलोचना की गई जब छवि-पहचान कलन विधि ने निरन्तर एशियाई उपयोगकर्ताओं से पूछा कि क्या वे पलक झपक रहे हैं।[71] ऐसे उदाहरण बायोमेट्रिक डेटा सेट में पूर्वाग्रह के उत्पाद हैं।[70]बॉयोमीट्रिक डेटा शरीर के पहलुओं से तैयार किया जाता है, जिसमें जातिय विशेषताओं को या तो मनाया जाता है या अनुमान लगाया जाता है, जिसे बाद में डेटा बिंदुओं में स्थानांतरित किया जा सकता है।[66]: 154 वाक् पहचान तकनीक में उपयोगकर्ता के उच्चारण के आधार पर अलग-अलग सटीकता हो सकती है। यह उस लहजे के बोलने वालों के लिए प्रशिक्षण डेटा की कमी के कारण हो सकता है।[72]
दौड़ के बारे में बॉयोमीट्रिक डेटा भी देखे जाने के अतिरिक्त अनुमान लगाया जा सकता है। उदाहरण के लिए, 2012 के एक अध्ययन से पता चला है कि सामान्यतः अश्वेतों से जुड़े नामों से सर्च परिणाम मिलने की संभावना अधिक होती है, जो गिरफ्तारी के रिकॉर्ड को दर्शाता है, भले ही उस व्यक्ति के नाम का कोई पुलिस रिकॉर्ड हो या नहीं।[73] 2015 के एक अध्ययन में यह भी पाया गया कि काले और एशियाई लोगों को जातिय और व्यावसायिक जोखिम डेटा के कारण फेफड़े के कार्य के भविष्यवाणी कलन विधि के मॉडल में सम्मिलित नहीं किए जाने के कारण फेफड़े कम काम करने वाले माने जाते हैं।[74][75]
2019 में, एक शोध अध्ययन से पता चला कि सर्वश्रेष्ठ द्वारा बेचा गया एक हेल्थकेयर कलन विधि बीमार काले रोगियों पर सफेद रोगियों का पक्ष लेता है। कलन विधि भविष्यवाणी करता है कि भविष्य में रोगियों को स्वास्थ्य देखभाल प्रणाली पर कितना खर्च आएगा। हालांकि, लागत दौड़-तटस्थ नहीं है, क्योंकि समान संख्या में पुरानी स्थितियों वाले गोरे रोगियों की तुलना में काले रोगियों को प्रति वर्ष चिकित्सा लागत में लगभग $1,800 कम लगता है, जिसके कारण कलन विधि सफेद रोगियों को भविष्य की स्वास्थ्य समस्याओं के समान जोखिम वाले काले लोगों के रूप में स्कोर करता है। ऐसे मरीज जो काफी अधिक बीमारियों से पीड़ित थे।[76]
नवंबर 2019 में यूसी बर्कले के शोधकर्ताओं द्वारा किए गए एक अध्ययन से पता चला है कि बंधक कलन विधि लेटिनो और अफ्रीकी अमेरिकियों के प्रति भेदभावपूर्ण रहा है, जो साख के आधार पर अल्पसंख्यकों के साथ भेदभाव करता है, जो अमेरिकी निष्पक्ष-उधार कानून में निहित है जो उधारदाताओं को पहचान के उपायों का उपयोग करने की अनुमति देता है। यदि कोई व्यक्ति ऋण प्राप्त करने के योग्य है। ये विशेष कलन विधि फिनटेक कंपनियों में सम्मलित थे और अल्पसंख्यकों के साथ भेदभाव करते दिखाए गए थे।[77][non-primary source needed]
कानून प्रवर्तन और कानूनी कार्यवाही
कलन विधि के पहले से ही कानूनी प्रणालियों में कई अनुप्रयोग हैं। इसका एक उदाहरण कम्पस (सॉफ्टवेयर) है, एक वाणिज्यिक कार्यक्रम जो अमेरिकी अदालतों द्वारा व्यापक रूप से उपयोग किया जाता है जिससे कि एक प्रतिवादी के पुनरावर्ती बनने की संभावना का आकलन किया जा सके। प्रोपब्लिका का दावा है कि काले प्रतिवादियों का औसत कम्पस -असाइन किया गया पुनर्वितरण जोखिम स्तर श्वेत प्रतिवादियों के औसत कम्पस -नियुक्त जोखिम स्तर से काफी अधिक है, और यह कि काले प्रतिवादियों को गलत कार्यविधि से सफेद प्रतिवादियों के रूप में लेबल उच्च-जोखिम सौंपे जाने की संभावना दोगुनी है।[78][79]
एक उदाहरण संयुक्त राज्य अमेरिका और प्रतिज्ञा मंडल में आपराधिक सजा में जोखिम आकलन का उपयोग है, न्यायाधीशों को कलन विधि से उत्पन्न स्कोर के साथ प्रस्तुत किया गया था जिसका उद्देश्य जोखिम को प्रतिबिंबित करना था कि एक कैदी अपराध दोहराएगा।[80] 1920 में शुरू होने वाली और 1970 में समाप्त होने वाली समय अवधि के लिए, एक अपराधी के पिता की राष्ट्रीयता उन जोखिम मूल्यांकन अंकों में एक विचार थी।[81]: 4 आज, ये स्कोर एरिज़ोना, कोलोराडो, डेलावेयर, केंटकी, लुइसियाना, ओक्लाहोमा, वर्जीनिया, वाशिंगटन और विस्कॉन्सिन में न्यायाधीशों के साथ साझा किए जाते हैं। प्रोपब्लिका द्वारा एक स्वतंत्र जांच में पाया गया कि स्कोर 80% समय गलत थे, और अश्वेतों को पुनरावर्तन के जोखिम में होने का सुझाव देने के लिए अनुपातहीन रूप से झुका हुआ था, गोरों की तुलना में 77% अधिक झुका हुआ था।[80]
एक अध्ययन जो जोखिम, जाति, और वैराग्यवाद की जांच करने के लिए निर्धारित किया गया है: भविष्य कहनेवाला पूर्वाग्रह और असमान प्रभाव काले बनाम कोकेशियान प्रतिवादियों के लिए एक दो गुना (45 प्रतिशत बनाम 23 प्रतिशत) प्रतिकूल संभावना का आरोप लगाता है, जो उच्च जोखिम के रूप में गलत वर्गीकृत होने के अतिरिक्त होता है। अवलोकन के दो साल की अवधि में निष्पक्ष रूप से बिना किसी प्रलेखित पुनरावृत्ति के बने रहे।[82] पूर्व-परीक्षण निरोध के संदर्भ में, एक कानून समीक्षा लेख का तर्क है कि कलन विधि जोखिम आकलन जाति के आधार पर संयुक्त राज्य अमेरिका के संविधान के समान संरक्षण अधिकारों में चौदहवें संशोधन का उल्लंघन करता है, क्योंकि कलन विधि को चेहरे के भेदभावपूर्ण होने का तर्क दिया जाता है, जिसके परिणामस्वरूप असमान उपचार होता है, और संकीर्ण रूप से भेदभावपूर्ण होने का तर्क दिया जाता है।[83]
ऑनलाइन अभद्र भाषा
2017 में आंतरिक फेसबुक दस्तावेजों के अनुसार, आपत्तिजनक सामग्री का आकलन करते समय ऑनलाइन अभद्र भाषा को हटाने के लिए डिज़ाइन किया गया एक फेसबुक कलन विधि काले बच्चों पर सफेद पुरुषों को लाभ देने के लिए पाया गया था।[84] एल्गोरिथ्म, जो कंप्यूटर प्रोग्राम और मानव सामग्री समीक्षकों का एक संयोजन है, को श्रेणियों के विशिष्ट उपसमुच्चय के अतिरिक्त व्यापक श्रेणियों की सुरक्षा के लिए बनाया गया था। उदाहरण के लिए, मुसलमानों की निंदा करने वाली पोस्ट को ब्लॉक कर दिया जाएगा, जबकि कट्टरपंथी मुसलमानों की निंदा करने वाली पोस्ट को अनुमति दी जाएगी। कलन विधि का एक अप्रत्याशित परिणाम काले बच्चों के विरुद्ध अभद्र भाषा की अनुमति देना है, क्योंकि वे सभी अश्वेतों के अतिरिक्त अश्वेतों के बच्चों के सबसेट की निंदा करते हैं, जबकि सभी गोरे लोग एक ब्लॉक को ट्रिगर करेंगे, क्योंकि गोरे और पुरुषों को उपसमुच्चय नहीं माना जाता है।[84]फेसबुक को विज्ञापन खरीदारों को उपयोगकर्ताओं की एक श्रेणी के रूप में यहूदी नफरत करने वालों को लक्षित करने की अनुमति देने के लिए भी पाया गया था, जिसके बारे में कंपनी ने कहा कि डेटा का आकलन और वर्गीकरण करने में उपयोग किए जाने वाले कलन विधि का एक अनजान परिणाम था। कंपनी के डिजाइन ने विज्ञापन खरीदारों को अफ्रीकी-अमेरिकियों को आवास विज्ञापनों को देखने से रोकने की भी अनुमति दी।[85]
जबकि कलन विधि का उपयोग अभद्र भाषा को ट्रैक करने और ब्लॉक करने के लिए किया जाता है, कुछ को काले उपयोगकर्ताओं द्वारा पोस्ट की गई जानकारी को फ़्लैग करने की संभावना 1.5 गुना अधिक और अफ़्रीकी अमेरिकी अंग्रेजी में लिखे जाने पर अभद्र भाषा के रूप में जानकारी को फ़्लैग करने की संभावना 2.2 गुना अधिक पाई गई।[86] अपशब्दों और विशेषणों के संदर्भ के बिना, उन समुदायों द्वारा उपयोग किए जाने पर भी, जिन्होंने उन्हें पुनः विनियोजित किया है, ध्वजांकित किया गया था।[87]
निगरानी
निगरानी कैमरा सॉफ़्टवेयर को स्वाभाविक रूप से राजनीतिक माना जा सकता है क्योंकि इसमें असामान्य व्यवहारों से सामान्य को अलग करने के लिए कलन विधि की आवश्यकता होती है, और यह निर्धारित करने के लिए कि निश्चित समय पर निश्चित स्थानों में कौन है।[12]: 572 जाति ीय वर्णक्रम में चेहरों को पहचानने के लिए ऐसे कलन विधि की क्षमता को इसके प्रशिक्षण डेटाबेस में छवियों की जाति ीय विविधता द्वारा सीमित दिखाया गया है; यदि अधिकांश तस्वीरें एक जाति या लिंग की हैं, तो सॉफ्टवेयर उस जाति या लिंग के अन्य सदस्यों को पहचानने में बेहतर है।[88] हालांकि, इन छवि-पहचान प्रणालियों के ऑडिट भी नैतिक रूप से भरे हुए हैं, और कुछ विद्वानों ने सुझाव दिया है कि प्रौद्योगिकी के संदर्भ में सदैव उन समुदायों पर असंगत प्रभाव पड़ेगा जिनके कार्यों पर अधिक निगरानी की जाती है।[89]
उदाहरण के लिए, सीसीटीवी छवियों में व्यक्तियों की पहचान करने के लिए उपयोग किए गए सॉफ्टवेयर के 2002 के एक विश्लेषण में आपराधिक डेटाबेस के विरुद्ध चलाए जाने वाले पूर्वाग्रह के कई उदाहरण पाए गए। सॉफ्टवेयर का मूल्यांकन महिलाओं की तुलना में अधिक बार पुरुषों की पहचान करने, युवा लोगों की तुलना में अधिक उम्र के लोगों की पहचान करने और गोरों की तुलना में अधिक बार एशियाई, अफ्रीकी-अमेरिकी और अन्य जातियों की पहचान करने के लिए किया गया था।[26]: 190 चेहरे की पहचान करने वाले सॉफ़्टवेयर के अतिरिक्त अध्ययनों ने गैर-आपराधिक डेटाबेस पर प्रशिक्षित होने पर विपरीत पाया है, सॉफ्टवेयर गहरे रंग की महिलाओं की पहचान करने में सबसे कम सटीक है।[90]
एलजीबीटीक्यू समुदाय के विरुद्ध भेदभाव
2011 में, गे हुकअप एप्लिकेशन ग्राइंडर के उपयोगकर्ताओं ने बताया कि गूगल Play की सिफारिश कलन विधि ग्राइंडर को यौन अपराधियों को खोजने के लिए डिज़ाइन किए गए एप्लिकेशन से जोड़ रहा था, जिसे आलोचकों ने गलत कार्यविधि से समलैंगिकता के प्रति सामाजिक दृष्टिकोण # बाल यौन शोषण और पीडोफिलिया के साथ जोड़ा। लेखक माइक एनी ने द अटलांटिक में इस संघ की आलोचना की, यह तर्क देते हुए कि इस तरह के संघों ने संयुक्त राज्य में समलैंगिक पुरुषों के इतिहास को कलंकित किया।[91] 2009 में, ऑनलाइन रिटेलर अमेज़ॅन (कंपनी) ने एक कलन विधि परिवर्तन के बाद 57,000 पुस्तकों को डी-लिस्ट किया, जिसमें समीक्षकों द्वारा प्रशंसित उपन्यास मानव त्रुटि जैसे विषमलैंगिकता या समलैंगिक विषयों को संबोधित करने वाली किसी भी पुस्तक को सम्मिलित करने के लिए अपनी वयस्क सामग्री ब्लैकलिस्ट का विस्तार किया।[92][16]: 5 [93]
2019 में, यह पाया गया कि फेसबुक पर, मेरी महिला मित्रों की तस्वीरों की सर्च से बिकनी या समुद्र तट जैसे सुझाव मिले। इसके विपरीत, मेरे पुरुष मित्रों की तस्वीरों की सर्च से कोई परिणाम नहीं निकला गया।[94]
चेहरे की पहचान करने वाली तकनीक को विपरीतलिंगी व्यक्तियों के लिए समस्याएँ उत्पन्न करते देखा गया है। 2018 में, उबेर ड्राइवरों की रिपोर्टें थीं जो विपरीतलिंगी थे या संक्रमण के समय चेहरे की पहचान करने वाले सॉफ़्टवेयर के साथ कठिनाई का सामना कर रहे थे, जिसे उबेर एक अंतर्निहित सुरक्षा उपाय के रूप में लागू करता है। इसके परिणामस्वरूप, ट्रांस उबेर ड्राइवरों के कुछ खातों को निलंबित कर दिया गया था, जिससे उनका किराया खर्च हो गया था और संभावित रूप से उन्हें नौकरी से हाथ धोना पड़ा था, यह सब चेहरे की पहचान करने वाले सॉफ़्टवेयर के कारण ट्रांस ड्राइवर के चेहरे को पहचानने में कठिनाई का सामना करना पड़ रहा था।[95] यद्यपि इस समस्या का समाधान मशीन लर्निंग मॉडल के लिए प्रशिक्षण सेट में ट्रांस व्यक्तियों को सम्मिलित करना प्रतीत होता है, ट्रांस यूट्यूब वीडियो का एक उदाहरण जिसे प्रशिक्षण डेटा में उपयोग करने के लिए एकत्र किया गया था, वीडियो में सम्मिलित किए गए ट्रांस व्यक्तियों से सहमति प्राप्त नहीं हुई थी, जिसने गोपनीयता के उल्लंघन का प्रकरण बनाया गया।[96]
2017 में स्टैनफोर्ड यूनिवर्सिटी में एक अध्ययन भी किया गया था जिसमें मशीन लर्निंग प्रणाली में कलन विधि का परीक्षण किया गया था, जिसके बारे में कहा गया था कि यह किसी व्यक्ति के चेहरे की छवियों के आधार पर यौन अभिविन्यास का पता लगाने में सक्षम है।[97] अध्ययन में मॉडल ने 81% समय में समलैंगिक और सीधे पुरुषों के बीच एक सही अंतर और 74% समय में समलैंगिक और सीधे महिलाओं के बीच एक सही अंतर की भविष्यवाणी की। इस अध्ययन के परिणामस्वरूप एलजीबीटीक्यूआईए समुदाय से प्रतिक्रिया हुई, जो संभावित नकारात्मक नतीजों से डरते थे कि यह कृत्रिम बुद्धिमत्ता प्रणाली एल जीबीटीक्यूआईए समुदाय के व्यक्तियों पर उनकी इच्छा के विरुद्ध बाहर होने के जोखिम में डाल सकता है।[98]
विकलांगता भेदभाव
जबकि कलन विधि निष्पक्षता के तौर-तरीकों को पूर्वाग्रह के विभिन्न पहलुओं के आधार पर आंका गया है - जैसे लिंग, जाति और सामाजिक आर्थिक स्थिति, विकलांगता को अधिकांशतः सूची से बाहर कर दिया जाता है।[99][100] वर्तमान में समाज में विकलांग लोगों को जिस हाशिए पर रखा जा रहा है, उसे कृत्रिम बुद्धिमत्ता प्रणाली और कलन विधि में अनुवादित किया जा रहा है, जिससे और भी अधिक बहिष्कार हो रहा है[101][102] विकलांगों की बदलती प्रकृति और इसके व्यक्तिपरक लक्षण वर्णन, कम्प्यूटेशनल रूप से संबोधित करना अधिक कठिन बना देता है। विकलांगों को परिभाषित करने में ऐतिहासिक गहराई की कमी, प्रश्नावली में इसकी घटनाओं और व्यापकता को एकत्रित करना, और मान्यता स्थापित करने से इसकी मात्रा और गणना में विवाद और अस्पष्टता बढ़ जाती है। अक्षमता की परिभाषा पर हाल ही में विकलांगता के एक चिकित्सा मॉडल से विकलांगता के एक सामाजिक मॉडल में स्थानांतरण पर बहस हुई है, जो यह स्थापित करता है कि विकलांगता लोगों की बातचीत और उनके पर्यावरण में बाधाओं के बीच बेमेल होने का परिणाम है, न कि हानि और स्वास्थ्य स्थितियों के कारण। विकलांगता स्थितिजन्य या अस्थायी भी हो सकती है,[103] प्रवाह की एक निरंतर स्थिति में माना जाता है। विकलांग अविश्वसनीय रूप से विविध हैं,[104] एक बड़े स्पेक्ट्रम के भीतर आते हैं, और प्रत्येक व्यक्ति के लिए अद्वितीय हो सकते हैं। लोगों की पहचान उनके द्वारा अनुभव की जाने वाली विशिष्ट प्रकार की विकलांगता, वे किस प्रकार सहायक तकनीकों का उपयोग करते हैं, और वे किसका समर्थन करते हैं, के आधार पर भिन्न हो सकते हैं। लोगों के अनुभवों में परिवर्तनशीलता का उच्च स्तर बहुत ही वैयक्तिकृत करता है कि विकलांगता किस प्रकार प्रकट हो सकती है। ओवरलैपिंग पहचान और चौराहे के अनुभव[105] आँकड़ों और डेटासेट से बाहर रखा गया है,[106] इसलिए प्रशिक्षण डेटा में कम प्रतिनिधित्व और अस्तित्वहीन है।[107] इसलिए, मशीन लर्निंग मॉडल को असमान रूप से प्रशिक्षित किया जाता है और कृत्रिम बुद्धिमान प्रणाली अधिक कलन विधि पूर्वाग्रह को बनाए रखते हैं।[108] उदाहरण के लिए, यदि वाक् निःशक्तता वाले लोगों को प्रशिक्षण ध्वनि नियंत्रण सुविधाओं और स्मार्ट एआई सहायकों में सम्मिलित नहीं किया गया है - तो वे सुविधा का उपयोग करने में असमर्थ हैं या गूगल होम या एलेक्सा से प्राप्त प्रतिक्रियाएँ बेसीमा निष्फल हैं।
रूढ़िवादिता और कलंक को देखते हुए जो अभी भी विकलांगता के आसपास सम्मलित हैं, इन पहचान करने वाली विशेषताओं को प्रकट करने की संवेदनशील प्रकृति में बड़ी गोपनीयता चुनौतियां भी हैं, क्योंकि विकलांगता की जानकारी का खुलासा करना वर्जित हो सकता है और इस आबादी के विरुद्ध और भेदभाव को बढ़ावा दे सकता है, इसके लिए स्पष्ट विकलांगता डेटा उपलब्ध नहीं है कलन विधि प्रणाली के साथ बातचीत करने के लिए। विकलांग लोगों को अपनी विकलांगता स्थिति का खुलासा करने पर उनके सामाजिक समर्थन, स्वास्थ्य बीमा की लागत, कार्यस्थल भेदभाव और अन्य बुनियादी आवश्यकताओं के संबंध में अतिरिक्त नुकसान और जोखिम का सामना करना पड़ता है। कलन विधि सामाजिक व्यवस्थाओं और संरचनाओं में पहले से सम्मलित पूर्वाग्रहों को पुनः बनाकर इस अंतर को और बढ़ा रहे हैं।[109][110]
गूगल खोज
जबकि उपयोगकर्ता स्वचालित रूप से पूर्ण होने वाले परिणाम उत्पन्न करते हैं, गूगल सेक्सिस्ट और जाति वादी स्वत: पूर्णता पाठ को हटाने में विफल रहा है। उदाहरण के लिए, उत्पीड़न के कलन विधि | दमन के एल्गोरिदम: किस प्रकार सर्च इंजन जातिवाद को मजबूत करते हैं साफिया नोबल काली लड़कियों की सर्च का एक उदाहरण नोट करता है, जिसके परिणामस्वरूप अश्लील चित्र होने की सूचना मिली थी। गूगल ने दावा किया कि वह उन पृष्ठों को तब तक मिटाने में असमर्थ था जब तक कि उन्हें गैर-कानूनी नहीं माना जाता।[111]
शोध में बाधाएँ
कई समस्याएं बड़े पैमाने पर कलन विधि पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से यथार्थ रूप से अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं।[11]: 5
निष्पक्षता को परिभाषित करना
कलन विधि पूर्वाग्रह पर साहित्य ने निष्पक्षता के उपाय पर ध्यान केंद्रित किया है, लेकिन निष्पक्षता की परिभाषाएं अधिकांशतः एक-दूसरे और मशीन लर्निंग अनुकूलन की वास्तविकताओं के साथ असंगत होती हैं। उदाहरण के लिए, निष्पक्षता को परिणामों की समानता के रूप में परिभाषित करना केवल सभी लोगों के लिए समान परिणाम उत्पन्न करने वाली प्रणाली को संदर्भित कर सकता है, जबकि उपचार की समानता के रूप में परिभाषित निष्पक्षता स्पष्ट रूप से व्यक्तियों के बीच अंतरों पर विचार कर सकती है।[112]: 2 परिणाम स्वरुप, निष्पक्षता को कभी-कभी एक मॉडल की सटीकता के साथ संघर्ष के रूप में वर्णित किया जाता है, जो सामाजिक कल्याण की प्राथमिकताओं और इन प्रणालियों को डिजाइन करने वाले विक्रेताओं की प्राथमिकताओं के बीच सहज तनाव का सुझाव देता है।[113]: 2 इस तनाव के जवाब में, शोधकर्ताओं ने उन प्रणालियों के डिजाइन और उपयोग पर अधिक ध्यान देने का सुझाव दिया है जो विशिष्ट अनुप्रयोगों और संदर्भों के लिए परिभाषित निष्पक्षता के साथ संभावित पूर्वाग्रह कलन विधि पर आधारित हैं।[114]
जटिलता
कलनविधीय प्रक्रियाएं जटिल प्रणाली हैं, जो अधिकांशतः उन लोगों की समझ से अधिक होती हैं जो उनका उपयोग करते हैं।[11]: 2 [115]: 7 हो सकता है कि बड़े पैमाने पर संचालन को बनाने में सम्मिलित लोगों द्वारा भी नहीं समझा जा सकता है।[116] कोड के इनपुट या आउटपुट के प्रत्येक क्रमपरिवर्तन को जानने में असमर्थता के कारण समकालीन कार्यक्रमों की विधियों और प्रक्रियाओं को अधिकांशतः अस्पष्ट कर दिया जाता है।[26]: 183 सामाजिक वैज्ञानिक ब्रूनो लटौर ने इस प्रक्रिया की पहचान ब्लैकबॉक्सिंग के रूप में की है, एक ऐसी प्रक्रिया जिसमें वैज्ञानिक और तकनीकी कार्य अपनी सफलता से अदृश्य हो जाते हैं। जब कोई मशीन कुशलतापूर्वक चलती है, जब कोई तथ्य सुलझा लिया जाता है, तो व्यक्ति को केवल उसके इनपुट और आउटपुट पर ध्यान देने की आवश्यकता होती है, न कि उसकी आंतरिक जटिलता पर। इस प्रकार, विरोधाभासी रूप से, जितना अधिक विज्ञान और प्रौद्योगिकी सफल होते हैं, उतने ही अधिक अपारदर्शी और अस्पष्ट हो जाते हैं।[117] अन्य लोगों ने ब्लैक बॉक्स रूपक की आलोचना की है, यह सुझाव देते हुए कि वर्तमान कलन विधि एक ब्लैक बॉक्स नहीं है, बल्कि आपस में जुड़े हुए नेटवर्क हैं।[118]: 92
प्रतिक्रिया को अनुकूलित करने में इनपुट की श्रेणी में इस जटिलता का एक उदाहरण पाया जा सकता है। सोशल मीडिया साइट फेसबुक ने 2013 में उपयोगकर्ता के सोशल मीडिया फीड के लेआउट को निर्धारित करने के लिए कम से कम 100,000 डेटा बिंदुओं पर विचार किया।[119] इसके अतिरिक्त, प्रोग्रामरों की बड़ी टीमें एक दूसरे से सापेक्ष अलगाव में काम कर सकती हैं, और जुड़े हुए, विस्तृत कलन विधि के भीतर छोटे निर्णयों के संचयी प्रभावों से अनजान हो सकती हैं।[24]: 118 सभी कोड मूल नहीं हैं, और डेटा प्रोसेसिंग और डेटा इनपुट प्रणाली के बीच संबंधों का एक जटिल सेट बनाते हुए, अन्य पुस्तकालयों से उधार लिया जा सकता है।[4]: 22
अतिरिक्त जटिलता मशीन लर्निंग और उपयोगकर्ता इंटरैक्शन जैसे क्लिक, साइट पर बिताया गया समय और अन्य मेट्रिक्स के आधार पर कलन विधि के वैयक्तिकरण के माध्यम से होती है। ये व्यक्तिगत समायोजन कलन विधि को समझने के सामान्य प्रयासों को भ्रमित कर सकते हैं।कलनविधीय पूर्वाग्रह में न केवल संरक्षित श्रेणियां सम्मिलित हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं। [120]: 367 [115]: 7 एक अज्ञात स्ट्रीमिंग रेडियो सेवा ने बताया कि उसने अपने उपयोगकर्ताओं के व्यवहार के आधार पर उनके लिए चुने गए पांच अद्वितीय संगीत-चयन कलन विधि का उपयोग किया। यह अलग-अलग उपयोगकर्ताओं के बीच एक ही स्ट्रीमिंग सेवाओं के अलग-अलग अनुभव बनाता है, जिससे यह समझना कठिन हो जाता है कि ये कलन विधि क्या करते हैं।[11]: 5
उपयोगकर्ता की प्रतिक्रिया के आधार पर कलन विधि को फ़ाइन-ट्यून करने के लिए कंपनियाँ बार-बार ए/बी परीक्षण भी चलाती हैं। कई समस्याएं बड़े पैमाने पर कलन विधि पूर्वाग्रह के अध्ययन को बाधित करती हैं, शैक्षणिक रूप से यथार्थ रूप से अध्ययन और सार्वजनिक समझ के आवेदन में बाधा डालती हैं। दाहरण के लिए, सर्च इंजन बिंग (सर्च इंजन) प्रत्येक उपयोग और/या उपयोगकर्ता के बीच सेवा के अलग-अलग अनुभव बनाते हुए प्रति दिन अपनी सेवा के दस मिलियन सूक्ष्म रूपांतरों तक चला सकता है।[11]: 5
पारदर्शिता का अभाव
वाणिज्यिक कलन विधि मालिकाना हैं, और उन्हें व्यापार रहस्य माना जा सकता है।[11]: 2 [115]: 7 [26]: 183 कलन विधि को व्यापार रहस्य के रूप में मानना कंपनियों की सुरक्षा करता है, जैसे कि वेब सर्च इंजन, जहां एक पारदर्शी कलन विधि सर्च रैंकिंग में परिचालन करने की रणनीति प्रकट कर सकता है।[120]: 366 यह अनुसंधानकर्ताओं के लिए यह पता लगाने के लिए साक्षात्कार या विश्लेषण करना कठिन बना देता है कि कलन विधि किस प्रकार कार्य करता है।[4]: 20 आलोचकों का सुझाव है कि ऐसी गोपनीयता कलन विधि आउटपुट के उत्पादन या प्रसंस्करण में उपयोग किए जाने वाले संभावित अनैतिक तरीकों को भी अस्पष्ट कर सकती है।[120]: 369 अन्य आलोचकों, जैसे कि वकील और अधिनियम विस्ट कतार्ज़ीना स्ज़िमिलेविक्ज़ ने सुझाव दिया है कि पारदर्शिता की कमी अधिकांशतः कलन विधि जटिलता के परिणामस्वरूप प्रच्छन्न होती है, कंपनियों को अपनी स्वयं की कलन विधि प्रक्रियाओं का खुलासा करने या जांच करने से बचाती है।[121]
संवेदनशील श्रेणियों के बारे में डेटा की कमी
व्यवहार में पूर्वाग्रह से निपटने को समझने में एक महत्वपूर्ण बाधा यह है कि भेदभाव-विरोधी कानून द्वारा संरक्षित व्यक्तियों की जनसांख्यिकी जैसी श्रेणियों पर अधिकांशतः डेटा एकत्र और संसाधित करते समय स्पष्ट रूप से विचार नहीं किया जाता है।[122] कुछ स्थितियों में, इस डेटा को स्पष्ट रूप से एकत्र करने का अवसर बहुत कम होता है, जैसे कि डिवाइस फिंगरप्रिंट, सर्वव्यापी कंप्यूटिंग और चीजों की इंटरनेट अन्य स्थितियों में, डेटा नियंत्रक प्रतिष्ठित कारणों से ऐसे डेटा को एकत्र करने की इच्छा नहीं रख सकता है, या क्योंकि यह एक बढ़े हुए दायित्व और सुरक्षा जोखिम का प्रतिनिधित्व करता है। यह भी प्रकरण हो सकता है कि, कम से कम यूरोपीय संघ के सामान्य डेटा संरक्षण विनियम के संबंध में, ऐसा डेटा 'विशेष श्रेणी' प्रावधानों (अनुच्छेद 9) के अंतर्गत आता है, और इसलिए संभावित संग्रह और प्रसंस्करण पर अधिक प्रतिबंधों के साथ आता है।
कुछ चिकित्सकों ने पूर्वाग्रह को कम करने की अनुमति देने के लिए इन लापता संवेदनशील वर्गीकरणों का अनुमान लगाने और उन्हें आरोपित करने का प्रयास किया है, उदाहरण के लिए नामों से जातीयता का अनुमान लगाने के लिए प्रणाली बनाना,[123] हालांकि यह पूर्वाग्रह के अन्य रूपों को प्रस्तुत कर सकता है यदि सावधानी से नहीं किया गया।[124] मशीन सीखने के शोधकर्ताओं ने क्रिप्टोग्राफ़िक गोपनीयता-बढ़ाने वाली तकनीकों जैसे कि सुरक्षित बहु-पार्टी संगणना को ऐसे तरीकों का प्रस्ताव करने के लिए तैयार किया है जिससे कलन विधि पूर्वाग्रह का मूल्यांकन किया जा सकता है या इन डेटा के बिना कभी भी स्पष्ट पाठ में मॉडेलर के लिए उपलब्ध नहीं हो सकता है।[125]
कलनविधीय पूर्वाग्रह में न केवल संरक्षित श्रेणियां सम्मिलित हैं, बल्कि राजनीतिक दृष्टिकोण जैसे कम आसानी से देखे जाने योग्य या संहिताबद्ध विशेषताओं से भी संबंधित हो सकते हैं। इन स्थितियों में,अनुमानतः ही कभी आसानी से सुलभ या गैर-विवादास्पद जमीनी सच्चाई होती है, और ऐसी प्रणाली से पूर्वाग्रह को दूर करना अधिक कठिन होता है।[126] इसके अतिरिक्त, संरक्षित श्रेणियों की समझ की कमी से झूठे और आकस्मिक सहसंबंध निकल सकते हैं, उदाहरण के लिए, कार दुर्घटनाओं के ऐतिहासिक डेटा के आधार पर बीमा दरें जो संयोग से जातीय अल्पसंख्यकों के आवासीय समूहों के साथ ओवरलैप हो सकती हैं।[127]
समाधान
नैतिक एआई पर 84 नीतिगत दिशानिर्देशों के एक अध्ययन में पाया गया कि अवांछित पूर्वाग्रह की निष्पक्षता और शमन चिंता का एक सामान्य बिंदु था, और तकनीकी समाधान, पारदर्शिता और निगरानी, उपाय का अधिकार और निगरानी में वृद्धि, और विविधता और समावेशन प्रयासों के मिश्रण के माध्यम से संबोधित किया गया था। .[128]
तकनीकी
ऐसे तरीकों और उपकरणों को बनाने के कई प्रयास किए गए हैं जो कलन विधि के भीतर पूर्वाग्रहों का पता लगा सकते हैं और उनका निरीक्षण कर सकते हैं। ये आकस्मिक क्षेत्र उन उपकरणों पर ध्यान केंद्रित करते हैं जो सामान्यतः कलन विधि की आंतरिक प्रक्रियाओं के अतिरिक्त प्रोग्राम द्वारा उपयोग किए जाने वाले (प्रशिक्षण) डेटा पर लागू होते हैं। ये विधियाँ किसी प्रोग्राम के आउटपुट और उसकी उपयोगिता का विश्लेषण भी कर सकती हैं और इसलिए इसके भ्रम मैट्रिक्स (या भ्रम की तालिका) का विश्लेषण सम्मिलित हो सकता है।[129][130][131][132][133][134][135][136][137] कलन विधि पूर्वाग्रह का पता लगाने के लिए व्याख्या करने योग्य एआई एक कलन विधि या लर्निंग मॉडल में पूर्वाग्रह के अस्तित्व का पता लगाने का एक सुझाया गया तरीका है।[138] पूर्वाग्रह का पता लगाने के लिए मशीन लर्निंग का उपयोग करना, एआई ऑडिट करना कहलाता है, जहां ऑडिटर एक कलन विधि है जो एआई मॉडल और प्रशिक्षण डेटा के माध्यम से पूर्वाग्रह की पहचान करता है।[139]
यह सुनिश्चित करना कि एक एआई उपकरण जैसे क्लासिफायरियर पूर्वाग्रह से मुक्त है, संवेदनशील जानकारी को हटाने की तुलना में अधिक कठिन है इसके इनपुट संकेतों से, क्योंकि यह सामान्यतः अन्य संकेतों में निहित होता है। उदाहरण के लिए, शौक, खेल और स्कूलों में भाग लिया नौकरी के उम्मीदवार द्वारा सॉफ्टवेयर को अपना लिंग प्रकट किया जा सकता है, भले ही इसे विश्लेषण से हटा दिया गया हो।
इसका समाधान समस्या में यह सुनिश्चित करना सम्मिलित है कि बुद्धिमान एजेंट के पास ऐसी कोई जानकारी नहीं है जिसका उपयोग संरक्षित के पुनर्निर्माण के लिए किया जा सके और विषय के बारे में संवेदनशील जानकारी, जैसा कि पहले में प्रदर्शित किया गया था [140] जहां एक गहन शिक्षण नेटवर्क को एक ही समय में संरक्षित सुविधा के बारे में पूरी तरह से अज्ञेय होने के साथ-साथ एक कार्य सीखने के लिए प्रशिक्षित किया गया था। शब्द एम्बेडिंग के संदर्भ में एक सरल विधि प्रस्तावित की गई थी, और इसमें संरक्षित विशेषता से संबंधित जानकारी को हटाना सम्मिलित है।[141]
वर्तमान में, एक नए आईईईई मानक संघ का प्रस्तुत तैयार किया जा रहा है जिसका उद्देश्य कलन विधि के रचनाकारों को पूर्वाग्रह के मुद्दों को खत्म करने और उनके कलन विधि के कार्य और संभावित प्रभावों के बारे में स्पष्ट पारदर्शिता (अर्थात अधिकारियों या अंतिम उपयोगकर्ताओं के लिए) को निर्दिष्ट करने में मदद करना है। परियोजना को फरवरी 2017 को मंजूरी दी गई थी और इसे सॉफ्टवेयर और सिस्टम इंजीनियरिंग मानक समिति द्वारा प्रायोजित किया गया था, जो आईईईई कंप्यूटर सोसायटी द्वारा चार्टर्ड समिति है। जून 2019 में मतदान के लिए मानक का एक प्रस्तुत प्रस्तुत किए जाने की उम्मीद है।[142][143]
पारदर्शिता और निगरानी
एआई पर नैतिक दिशानिर्देश उत्तरदायित्व की आवश्यकता की ओर इशारा करते हैं, यह अनुशंसा करते हैं कि परिणामों की व्याख्या में सुधार के लिए कदम उठाए जाएं।[144] इस तरह के समाधानों में मशीन लर्निंग कलन विधि में समझने के अधिकार पर विचार करना और उन स्थितियों में मशीन लर्निंग की तैनाती का विरोध करना सम्मिलित है जहां निर्णयों की व्याख्या या समीक्षा नहीं की जा सकती है।[145] इस दिशा में, डीएआरपीए जैसे संगठनों के भीतर स्पष्ट करने व्याख्यात्मक कृत्रिम बुद्धि के लिए एक आंदोलन पहले से ही चल रहा है, जो पूर्वाग्रह के उपाय से परे हैं।[146] उदाहरण के लिए, प्राइसवाटरहाउसकूपर्स यह भी सुझाव देते हैं कि मॉनिटरिंग आउटपुट का तात्पर्य प्रणाली को इस तरह से डिजाइन करना है जिससे यह सुनिश्चित किया जा सके कि प्रणाली के एकल घटकों को अलग किया जा सकता है और परिणाम निष्फल होने पर बंद कर दिया जा सकता है।[147]
पारदर्शिता की दिशा में एक प्रारंभिक दृष्टिकोण में खुला स्रोत सॉफ्टवेयर सम्मिलित था | कलन विधि का ओपन-सोर्सिंग।[148] सॉफ्टवेयर कोड पर गौर किया जा सकता है और सोर्स-कोड-होस्टिंग सुविधाओं की तुलना|सोर्स-कोड-होस्टिंग सुविधाओं के माध्यम से सुधार प्रस्तावित किए जा सकते हैं। हालाँकि, यह दृष्टिकोण आवश्यक रूप से इच्छित प्रभाव उत्पन्न नहीं करता है। कंपनियाँ और संगठन सभी संभावित दस्तावेज़ीकरण और कोड साझा कर सकते हैं, लेकिन यदि दर्शक दी गई जानकारी को नहीं समझते हैं तो यह पारदर्शिता स्थापित नहीं करता है। इसलिए, पारदर्शिता के संबंध में इच्छुक आलोचनात्मक दर्शकों की भूमिका तलाशने लायक है। महत्वपूर्ण दर्शकों के बिना कलन विधि को जवाबदेह नहीं ठहराया जा सकता है।[149]
उपचार का अधिकार
एक नियामक दृष्टिकोण से, टोरंटो घोषणा कलन विधि पूर्वाग्रह के कारण होने वाले नुकसान के लिए मानवाधिकार ढांचे को लागू करने की मांग करती है।[150] इसमें इन कलन विधि के डिजाइनरों की ओर से उचित परिश्रम की उम्मीदें सम्मिलित हैं, और उत्तरदायित्व उत्पन्न करना जब निजी अभिनेता सार्वजनिक हितों की रक्षा करने में विफल होते हैं, यह देखते हुए कि ऐसे अधिकार जटिल, परस्पर प्रक्रियाओं के एक जाल के भीतर जिम्मेदारी निर्धारित करने की जटिलता से अस्पष्ट हो सकते हैं।[151] अन्य ने स्पष्ट देयता बीमा तंत्र की आवश्यकता का प्रस्ताव दिया।[152]
विविधता और समावेशन
चिंता के बीच कि एआई प्रणाली का डिज़ाइन मुख्य रूप से गोरे, पुरुष इंजीनियरों का डोमेन है,[153] कई विद्वानों ने सुझाव दिया है कि एआई प्रणाली डिजाइन करने वालों के रैंक में समावेश का विस्तार करके कलन विधि पूर्वाग्रह को कम किया जा सकता है।[145][128]उदाहरण के लिए, केवल 12% मशीन लर्निंग इंजीनियर महिलाएं हैं,[154] काले एआई नेताओं के साथ क्षेत्र में विविधता संकट की ओर इशारा करते हुए।[155] कृत्रिम बुद्धिमत्ता में ब्लैक और कृत्रिम बुद्धिमत्ता में क्वीर जैसे समूह कृत्रिम बुद्धिमत्ता समुदाय में अधिक समावेशी स्थान बनाने का प्रयास कर रहे हैं और निगमों की अधिकांशतः हानिकारक इच्छाओं के विरुद्ध काम करते हैं जो कृत्रिम बुद्धिमत्ता अनुसंधान के प्रक्षेपवक्र को नियंत्रित करते हैं।[156] सरल समावेशिता प्रयासों की आलोचनाओं से पता चलता है कि विविधता कार्यक्रम असमानता के अतिव्यापी रूपों को संबोधित नहीं कर सकते हैं, और कलन विधि के डिजाइन के लिए अंतरंग नारीवाद के अधिक जानबूझकर लेंस को लागू करने के लिए कहा है।[157][158]: 4 कैंब्रिज विश्वविद्यालय के शोधकर्ताओं ने तर्क दिया है कि एआई की संस्कृति की सफेदी से जातिय विविधता को संबोधित करने में बाधा आती है।[159]
अंतर्विषयक और सहयोग
एआई प्रणाली के विकास में अंतःविषय और सहयोग को एकीकृत करना कलन विधि पूर्वाग्रह से निपटने में महत्वपूर्ण भूमिका निभा सकता है। कंप्यूटर विज्ञान के बाहर के विषयों से अंतर्दृष्टि, विशेषज्ञता और दृष्टिकोण को एकीकृत करने से समाज पर डेटा संचालित समाधानों के प्रभाव की बेहतर समझ को बढ़ावा मिल सकता है। एआई अनुसंधान में इसका एक उदाहरण समुदायों में क्षमताओं को सक्षम करने के लिए पीएसीटी या भागीदारी दृष्टिकोण है, सामाजिक प्रभाव से संबंधित एआई संचालित समाधान विकसित करते समय सहयोग की सुविधा के लिए एक प्रस्तावित ढांचा।[160] यह ढांचा एआई फॉर सोशल गुड (एआई4एसजी) परियोजनाओं पर काम करते समय हितधारकों की भागीदारी के लिए मार्गदर्शक सिद्धांतों की पहचान करता है। पीएसीटी मानव-केंद्रित एआई समाधानों के डिजाइन में डीकोलोनाइजिंग और पावर-शिफ्टिंग प्रयासों के महत्व को सुधारने का प्रयास करता है। इस संबंध में एक शैक्षणिक पहल स्टैनफोर्ड यूनिवर्सिटी का मानव-केंद्रित कृत्रिम बुद्धिमत्ता संस्थान है जिसका उद्देश्य बहु-विषयक सहयोग को बढ़ावा देना है। संस्थान का मिशन मानव स्थिति में सुधार के लिए कृत्रिम बुद्धिमत्ता (एआई) अनुसंधान, शिक्षा, नीति और अभ्यास को आगे बढ़ाना है। [161]
बाहरी विशेषज्ञों और विभिन्न हितधारकों के साथ सहयोग से बुद्धिमान प्रणालियों के नैतिक, समावेशी और जवाबदेह विकास की सुविधा मिलती है। यह नैतिक विचारों को सम्मिलित करता है, सामाजिक और सांस्कृतिक संदर्भ को समझता है, मानव-केंद्रित डिजाइन को बढ़ावा देता है, तकनीकी विशेषज्ञता का लाभ उठाता है और नीति और कानूनी विचारों को संबोधित करता है।[162] एआई प्रणाली में पूर्वाग्रह को प्रभावी ढंग से कम करने और यह सुनिश्चित करने के लिए कि एआई प्रौद्योगिकियां निष्पक्ष, पारदर्शी और जवाबदेह हैं, सभी विषयों में सहयोग आवश्यक है।
विनियमन
यूरोप
जनरल डेटा प्रोटेक्शन रेगुलेशन (जीडीपीआर), यूरोपीय संघ की संशोधित डेटा सुरक्षा व्यवस्था, जिसे 2018 में लागू किया गया था, अनुच्छेद 22 में प्रोफाइलिंग (सूचना विज्ञान) सहित स्वचालित व्यक्तिगत निर्णय लेने को संबोधित करता है। ये नियम पूरी तरह से स्वचालित निर्णयों को प्रतिबंधित करते हैं जिनमें महत्वपूर्ण या किसी व्यक्ति पर कानूनी प्रभाव, जब तक कि वे सहमति, अनुबंध, या यूरोपीय संघ कानून के सदस्य राज्य द्वारा स्पष्ट रूप से अधिकृत न हों। जहां उन्हें अनुमति दी जाती है, वहां सुरक्षा उपाय होने चाहिए, जैसे मानव-इन-द-लूप का अधिकार, और निर्णयों के स्पष्टीकरण के लिए एक गैर-बाध्यकारी अधिकार। जबकि इन विनियमों को सामान्यतः नया माना जाता है, डेटा संरक्षण निर्देश के अनुच्छेद 15 में, 1995 से पूरे यूरोप में लगभग समान प्रावधान सम्मलित हैं। 1970 के दशक के अंत से फ्रांसीसी कानून में मूल स्वचालित निर्णय नियम और सुरक्षा उपाय पाए गए।[163]
जीडीपीआर प्रोफाइलिंग प्रणाली में कलन विधि पूर्वाग्रह को संबोधित करता है, साथ ही इसे साफ करने के लिए संभावित सांख्यिकीय दृष्टिकोण, सीधे रिकेटल (कानून) 71 में,[164] यह नोट करते हुए कि
नियंत्रक को प्रोफाइलिंग के लिए उपयुक्त गणितीय या सांख्यिकीय प्रक्रियाओं का उपयोग करना चाहिए, उपयुक्त तकनीकी और संगठनात्मक उपायों को लागू करना चाहिए ... जो जातिय या जातीय मूल, राजनीतिक राय, के आधार पर प्राकृतिक व्यक्तियों पर भेदभावपूर्ण प्रभावों को रोकता है, धर्म या विश्वास, व्यापार संघ की सदस्यता, आनुवंशिक या स्वास्थ्य की स्थिति या यौन अभिविन्यास, या जिसके परिणामस्वरूप इस तरह के प्रभाव वाले उपाय होते हैं। गायन की प्रकृति (कानून)।[165] जबकि डेटा संरक्षण कानून के कार्यान्वयन पर सलाह देने वाले अनुच्छेद 29 वर्किंग पार्टी द्वारा इसे एक आवश्यकता के रूप में माना गया है,[164]इसके व्यावहारिक आयाम अस्पष्ट हैं। यह तर्क दिया गया है कि उच्च जोखिम डेटा प्रोफाइलिंग के लिए डेटा संरक्षण प्रभाव आकलन (डेटा सुरक्षा के भीतर अन्य पूर्व-खाली उपायों के साथ) कलन विधि भेदभाव के मुद्दों से निपटने का एक बेहतर तरीका हो सकता है, क्योंकि यह कलन विधि को तैनात करने वालों के कार्यों को प्रतिबंधित करता है, बजाय इसके कि उपभोक्ताओं को शिकायत दर्ज करने या परिवर्तन का अनुरोध करने की आवश्यकता।[166]
संयुक्त राज्य
संयुक्त राज्य अमेरिका के पास कलन विधि पूर्वाग्रह को नियंत्रित करने वाला कोई सामान्य कानून नहीं है, जो विभिन्न राज्य और संघीय कानूनों के माध्यम से समस्या का सामना कर रहा है, जो उद्योग, क्षेत्र और कलन विधि के उपयोग के कार्यविधि से भिन्न हो सकते हैं।[167] कई नीतियां संघीय व्यापार आयोग द्वारा स्व-प्रवर्तित या नियंत्रित होती हैं।[167]2016 में, ओबामा प्रशासन ने राष्ट्रीय राष्ट्रीय कृत्रिम बुद्धिमत्ता सर्च और और विकास सामरिक योजना जारी किया,[168] जिसका उद्देश्य नीति निर्माताओं को कलन विधि के एक महत्वपूर्ण मूल्यांकन की दिशा में मार्गदर्शन करना था। इसने शोधकर्ताओं को इन प्रणालियों को डिजाइन करने की सिफारिश की जिससे कि उनके कार्य और निर्णय लेना पारदर्शी हो और मनुष्यों द्वारा आसानी से व्याख्या की जा सके, और इस प्रकार इन पूर्वाग्रहों को सीखने और पुनरावृत्ति के अतिरिक्त किसी भी पूर्वाग्रह के लिए जांच की जा सके। केवल मार्गदर्शन के उद्देश्य से, रिपोर्ट ने कोई कानूनी मिसाल नहीं बनाई।[169]: 26
2017 में, न्यूयॉर्क शहर ने संयुक्त राज्य में पहला कलन विधि उत्तरदायित्व बिल पारित किया।[170] 1 जनवरी, 2018 को लागू हुए बिल में एक टास्क फोर्स के निर्माण की आवश्यकता थी, जो इस बारे में सिफारिशें प्रदान करती है कि एजेंसी स्वचालित निर्णय प्रणाली की जानकारी जनता के साथ किस प्रकार साझा की जा सकती है, और एजेंसियां उन स्थितियों को किस प्रकार संबोधित कर सकती हैं जहां एजेंसी द्वारा लोगों को नुकसान पहुंचाया जाता है। स्वचालित निर्णय प्रणाली।[171] टास्क फोर्स को 2019 में आगे की नियामक कार्रवाई के लिए निष्कर्ष और सिफारिशें प्रस्तुत करने की आवश्यकता है।[172]
भारत
31 जुलाई, 2018 को व्यक्तिगत डेटा बिल का ड्राफ्ट प्रस्तुत किया गया।[173] प्रस्तुत डेटा के भंडारण, प्रसंस्करण और प्रसारण के लिए मानकों का प्रस्ताव करता है। हालांकि यह कलन विधि शब्द का उपयोग नहीं करता है, यह किसी भी प्रसंस्करण या न्यासी द्वारा किए गए किसी भी प्रकार के प्रसंस्करण से होने वाले नुकसान के लिए प्रावधान करता है। यह डेटा के अनुचित उपयोग से उत्पन्न होने वाले नुकसान के स्रोत के रूप में डेटा प्रिंसिपल या किसी भी भेदभावपूर्ण उपचार के बारे में एक मूल्यांकन निर्णय से उत्पन्न सेवा, लाभ या अच्छे के किसी भी बाध्य या वापसी को परिभाषित करता है। यह मध्यलिंगी स्थिति के लोगों के लिए भी विशेष प्रावधान करता है।[174]
यह भी देखें
- कृत्रिम बुद्धि की नैतिकता
- निष्पक्षता (मशीन लर्निंग)
- कृत्रिम बुद्धिमत्ता में गलत लक्ष्य
- भविष्य कहने वाला पुलिसिंग
- सेंसटाइम
संदर्भ
- ↑ Jacobi, Jennifer (13 September 2001). "Patent #US2001021914". Espacenet. Retrieved 4 July 2018.
- ↑ Striphas, Ted. "What is an Algorithm? – Culture Digitally". culturedigitally.org. Retrieved 20 November 2017.
- ↑ Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2009). एल्गोरिदम का परिचय (3rd ed.). Cambridge, Mass.: MIT Press. p. 5. ISBN 978-0-262-03384-8.
- ↑ 4.0 4.1 4.2 Kitchin, Rob (25 February 2016). "एल्गोरिदम के बारे में गंभीर रूप से सोचना और शोध करना" (PDF). Information, Communication & Society. 20 (1): 14–29. doi:10.1080/1369118X.2016.1154087. S2CID 13798875.
- ↑ "Google खोज कैसे काम करता है". Retrieved 19 November 2017.
- ↑ Luckerson, Victor. "यहां बताया गया है कि आपका फेसबुक न्यूज फीड वास्तव में कैसे काम करता है". Time. Retrieved 19 November 2017.
- ↑ Vanderbilt, Tom (2013-08-07). "नेटफ्लिक्स एल्गोरिदम के पीछे का विज्ञान जो तय करता है कि आप आगे क्या देखेंगे". Wired. Retrieved 19 November 2017.
- ↑ Angwin, Julia; Mattu, Surya (20 September 2016). "Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't — ProPublica". ProPublica. Retrieved 19 November 2017.
- ↑ Livingstone, Rob. "ऑनलाइन विज्ञापन का भविष्य बड़ा डेटा और एल्गोरिदम है". The Conversation. Retrieved 19 November 2017.
- ↑ Hickman, Leo (1 July 2013). "कैसे एल्गोरिदम दुनिया पर राज करते हैं". The Guardian. Retrieved 19 November 2017.
- ↑ 11.0 11.1 11.2 11.3 11.4 11.5 Seaver, Nick. "एल्गोरिदम जानना" (PDF). Media in Transition 8, Cambridge, MA, April 2013. Retrieved 18 November 2017.
- ↑ 12.0 12.1 12.2 Graham, Stephen D.N. (July 2016). "सॉफ्टवेयर-सॉर्टेड भौगोलिक" (PDF). Progress in Human Geography (Submitted manuscript). 29 (5): 562–580. doi:10.1191/0309132505ph568oa. S2CID 19119278.
- ↑ 13.0 13.1 13.2 Tewell, Eamon (4 April 2016). "Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy". Portal: Libraries and the Academy. 16 (2): 289–310. doi:10.1353/pla.2016.0017. ISSN 1530-7131. S2CID 55749077. Retrieved 19 November 2017.
- ↑ Crawford, Kate (1 April 2013). "बिग डेटा में छिपे हुए पूर्वाग्रह". Harvard Business Review.
- ↑ 15.00 15.01 15.02 15.03 15.04 15.05 15.06 15.07 15.08 15.09 15.10 15.11 15.12 15.13 15.14 15.15 15.16 Friedman, Batya; Nissenbaum, Helen (July 1996). "कंप्यूटर सिस्टम में पूर्वाग्रह" (PDF). ACM Transactions on Information Systems. 14 (3): 330–347. doi:10.1145/230538.230561. S2CID 207195759. Retrieved 10 March 2019.
- ↑ 16.0 16.1 16.2 16.3 16.4 16.5 Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). मीडिया टेक्नोलॉजीज. Cambridge: MIT Press. pp. 1–30. ISBN 9780262525374.
- ↑ 17.0 17.1 Diakopoulos, Nicholas. "Algorithmic Accountability: On the Investigation of Black Boxes |". towcenter.org. Retrieved 19 November 2017.
- ↑ Lipartito, Kenneth (6 January 2011). The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today (PDF) (Submitted manuscript). doi:10.2139/SSRN.1736283. S2CID 166742927. SSRN 1736283.
- ↑ 19.0 19.1 Goodman, Bryce; Flaxman, Seth (2017). "एल्गोरिथम निर्णय लेने पर यूरोपीय संघ के नियम और "स्पष्टीकरण का अधिकार"". AI Magazine. 38 (3): 50. arXiv:1606.08813. doi:10.1609/aimag.v38i3.2741. S2CID 7373959.
- ↑ 20.0 20.1 20.2 20.3 20.4 20.5 20.6 Weizenbaum, Joseph (1976). Computer Power and Human Reason: From Judgment to Calculation. San Francisco: W.H. Freeman. ISBN 978-0-7167-0464-5.
- ↑ 21.0 21.1 Goffrey, Andrew (2008). "Algorithm". In Fuller, Matthew (ed.). Software Studies: A Lexicon. Cambridge, Mass.: MIT Press. pp. 15–20. ISBN 978-1-4356-4787-9.
- ↑ Lowry, Stella; Macpherson, Gordon (5 March 1988). "पेशे पर धब्बा". British Medical Journal. 296 (6623): 657–8. doi:10.1136/bmj.296.6623.657. PMC 2545288. PMID 3128356. Retrieved 17 November 2017.
- ↑ Miller, Alex P. (26 July 2018). "Want Less-Biased Decisions? Use Algorithms". Harvard Business Review. Retrieved 31 July 2018.
- ↑ 24.0 24.1 24.2 Introna, Lucas D. (2 December 2011). "कोड की एनफ्रेमिंग". Theory, Culture & Society. 28 (6): 113–141. doi:10.1177/0263276411418131. S2CID 145190381.
- ↑ Bogost, Ian (2015-01-15). "गणना का कैथेड्रल". The Atlantic. Retrieved 19 November 2017.
- ↑ 26.0 26.1 26.2 26.3 26.4 26.5 26.6 Introna, Lucas; Wood, David (2004). "Picturing algorithmic surveillance: the politics of facial recognition systems". Surveillance & Society. 2: 177–198. Retrieved 19 November 2017.
- ↑ 27.0 27.1 27.2 27.3 Introna, Lucas D. (21 December 2006). "Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible". Ethics and Information Technology. 9 (1): 11–25. CiteSeerX 10.1.1.154.1313. doi:10.1007/s10676-006-9133-z. S2CID 17355392.
- ↑ 28.0 28.1 Shirky, Clay. "एल्गोरिथम अथॉरिटी क्ले शिर्की के विचार पर एक सट्टा पोस्ट". www.shirky.com. Retrieved 20 November 2017.
- ↑ 29.0 29.1 Ziewitz, Malte (1 January 2016). "Governing Algorithms: Myth, Mess, and Methods". Science, Technology, & Human Values. 41 (1): 3–16. doi:10.1177/0162243915608948. ISSN 0162-2439. S2CID 148023125.
- ↑ Lash, Scott (30 June 2016). "आधिपत्य के बाद की शक्ति". Theory, Culture & Society. 24 (3): 55–78. doi:10.1177/0263276407075956. S2CID 145639801.
- ↑ 31.0 31.1 Garcia, Megan (1 January 2016). "मशीन में नस्लवादी". World Policy Journal. 33 (4): 111–117. doi:10.1215/07402775-3813015. S2CID 151595343.
- ↑ "ACM FAccT 2021 Registration". fatconference.org. Retrieved 2021-11-14.
- ↑ Ochigame, Rodrigo (20 December 2019). "The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation". The Intercept. Retrieved 11 February 2020.
- ↑ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (May 1986). "एक तर्क कार्यक्रम के रूप में ब्रिटिश राष्ट्रीयता अधिनियम" (PDF). Communications of the ACM. 29 (5): 370–386. doi:10.1145/5689.5920. S2CID 5665107. Retrieved 18 November 2017.
- ↑ Gillespie, Tarleton. "Algorithm [draft] [#digitalkeywords] – Culture Digitally". culturedigitally.org. Retrieved 20 November 2017.
- ↑ Roth, A. E. 1524–1528. (14 December 1990). "New physicians: A natural experiment in market organization". Science. 250 (4987): 1524–1528. Bibcode:1990Sci...250.1524R. doi:10.1126/science.2274783. PMID 2274783. S2CID 23259274. Retrieved 18 November 2017.
- ↑ Kuang, Cliff (21 November 2017). "Can A.I. Be Taught to Explain Itself?". The New York Times Magazine. Retrieved 26 November 2017.
- ↑ 38.0 38.1 Jouvenal, Justin (17 November 2016). "Police are using software to predict crime. Is it a 'holy grail' or biased against minorities?". Washington Post. Retrieved 25 November 2017.
- ↑ 39.0 39.1 Chamma, Maurice (2016-02-03). "भविष्य की पुलिसिंग". The Marshall Project. Retrieved 25 November 2017.
- ↑ Lum, Kristian; Isaac, William (October 2016). "To predict and serve?". Significance. 13 (5): 14–19. doi:10.1111/j.1740-9713.2016.00960.x.
- ↑ Smith, Jack. "भविष्यवाणिय पुलिसिंग केवल नस्लीय पूर्वाग्रह को बढ़ाती है, अध्ययन से पता चलता है". Mic. Retrieved 25 November 2017.
- ↑ Lum, Kristian; Isaac, William (1 October 2016). "प्रिडिक्टिव पुलिसिंग और बायस पर अक्सर पूछे जाने वाले प्रश्न". HRDAG. Retrieved 25 November 2017.
- ↑ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2018). "सूचना फ़िल्टरिंग की इंटरएक्टिव मशीन लर्निंग प्रक्रिया में पुनरावृत्त एल्गोरिथम पूर्वाग्रह". Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. Seville, Spain: SCITEPRESS - Science and Technology Publications: 110–118. doi:10.5220/0006938301100118. ISBN 9789897583308.
- ↑ Sinha, Ayan; Gleich, David F.; Ramani, Karthik (2018-08-09). "नेटवर्क के लिए गॉस का नियम सीधे तौर पर सामुदायिक सीमाओं को प्रकट करता है". Scientific Reports. 8 (1): 11909. Bibcode:2018NatSR...811909S. doi:10.1038/s41598-018-30401-0. ISSN 2045-2322. PMC 6085300. PMID 30093660.
- ↑ Hao, Karen (February 2018). "Google आखिरकार स्वीकार कर रहा है कि उसे फ़िल्टर-बबल समस्या है". Quartz. Retrieved 2019-02-26.
- ↑ "फेसबुक 'फिल्टर बबल्स' से लड़ने के लिए इस नए फीचर का परीक्षण कर रहा है". Fortune. Retrieved 2019-02-26.
- ↑ 47.0 47.1 Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (22 May 2014). "Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms" (PDF). 64th Annual Meeting of the International Communication Association. Retrieved 18 November 2017.
- ↑ Brin, Sergey; Page, Lawrence. "एक खोज इंजन का एनाटॉमी". www7.scu.edu.au. Archived from the original on 2 July 2019. Retrieved 18 November 2017.
- ↑ Epstein, Robert; Robertson, Ronald E. (18 August 2015). "सर्च इंजन मैनिपुलेशन इफ़ेक्ट (SEME) और चुनाव के परिणामों पर इसका संभावित प्रभाव". Proceedings of the National Academy of Sciences. 112 (33): E4512–E4521. Bibcode:2015PNAS..112E4512E. doi:10.1073/pnas.1419828112. PMC 4547273. PMID 26243876.
- ↑ Bond, Robert M.; Fariss, Christopher J.; Jones, Jason J.; Kramer, Adam D. I.; Marlow, Cameron; Settle, Jaime E.; Fowler, James H. (13 September 2012). "A 61-million-person experiment in social influence and political mobilization". Nature. 489 (7415): 295–8. Bibcode:2012Natur.489..295B. doi:10.1038/nature11421. ISSN 0028-0836. PMC 3834737. PMID 22972300.
- ↑ Zittrain, Jonathan (2014). "इंजीनियरिंग एक चुनाव" (PDF). Harvard Law Review Forum. 127: 335–341. Retrieved 19 November 2017.
- ↑ Day, Matt (31 August 2016). "कैसे LinkedIn का सर्च इंजन एक लैंगिक पूर्वाग्रह को दर्शा सकता है". The Seattle Times. Retrieved 25 November 2017.
- ↑ 53.0 53.1 Crawford, Kate; Schultz, Jason (2014). "Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms". Boston College Law Review. 55 (1): 93–128. Retrieved 18 November 2017.
- ↑ Duhigg, Charles (16 February 2012). "कंपनियां आपके राज कैसे सीखती हैं". The New York Times Magazine. Retrieved 18 November 2017.
- ↑ Noble, Safiya (2012). "Missed Connections: What Search Engines Say about Women" (PDF). Bitch. 12 (4): 37–41.
- ↑ Guynn, Jessica (16 March 2017). "Google खोज परिणामों में आपत्तिजनक सामग्री को फ़्लैग करना शुरू करता है". USA TODAY. USA Today. Retrieved 19 November 2017.
- ↑ Simonite, Tom. "अध्ययन से पता चलता है कि Google की विज्ञापन-लक्ष्यीकरण प्रणाली भेदभाव कर सकती है". MIT Technology Review. Massachusetts Institute of Technology. Retrieved 17 November 2017.
- ↑ Prates, Marcelo O. R.; Avelar, Pedro H. C.; Lamb, Luis (2018). "मशीनी अनुवाद में लैंगिक पूर्वाग्रह का आकलन -- Google अनुवाद के साथ एक केस स्टडी". arXiv:1809.02208 [cs.CY].
- ↑ Prates, Marcelo O. R.; Avelar, Pedro H.; Lamb, Luís C. (2019). "Assessing gender bias in machine translation: A case study with Google Translate". Neural Computing and Applications. 32 (10): 6363–6381. arXiv:1809.02208. doi:10.1007/s00521-019-04144-6. S2CID 52179151.
- ↑ Claburn, Thomas (10 September 2018). "बोफिन्स सेक्सिज्म के लिए गूगल ट्रांसलेट को कोसते हैं". The Register (in English). Retrieved 28 April 2022.
- ↑ Dastin, Jeffrey (October 9, 2018). "अमेज़ॅन ने गुप्त एआई भर्ती उपकरण को स्क्रैप किया जो महिलाओं के खिलाफ पूर्वाग्रह दिखाता था". Reuters.
- ↑ Vincent, James (10 October 2018). "अमेज़ॅन कथित तौर पर आंतरिक एआई भर्ती उपकरण को स्क्रैप करता है जो महिलाओं के खिलाफ पक्षपातपूर्ण था". The Verge.
- ↑ "Reflecting on Spotify's Recommender System – SongData" (in English). Retrieved 2020-08-07.
- ↑ Buolamwini, Joy; Gebru, Timnit (21 January 2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification". Proceedings of Machine Learning Research. 81 (2018): 77–91. Retrieved 27 September 2020.
- ↑ Noble, Safiya Umoja (20 February 2018). Algorithms of Oppression: How Search Engines Reinforce Racism. New York: NYU Press. ISBN 978-1479837243.
- ↑ 66.0 66.1 Nakamura, Lisa (2009). Magnet, Shoshana; Gates, Kelly (eds.). निगरानी का नया मीडिया. London: Routledge. pp. 149–162. ISBN 978-0-415-56812-8.
- ↑ Marco Marabelli; Sue Newell; Valerie Handunge (2021). "The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges". Journal of Strategic Information Systems. 30 (3): 1–15. doi:10.1016/j.jsis.2021.101683.
- ↑ Alexander, Rudolph; Gyamerah, Jacquelyn (September 1997). "Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past?". Journal of Black Studies. 28 (1): 97–111. doi:10.1177/002193479702800106. ISSN 0021-9347. S2CID 152043501.
- ↑ Petersilia, Joan (January 1985). "Racial Disparities in the Criminal Justice System: A Summary". Crime & Delinquency. 31 (1): 15–34. doi:10.1177/0011128785031001002. ISSN 0011-1287. S2CID 146588630.
- ↑ 70.0 70.1 Guynn, Jessica (1 July 2015). "गूगल फोटोज ने काले लोगों को 'गोरिल्ला' करार दिया". USA TODAY. USA Today. USA Today. Retrieved 18 November 2017.
- ↑ Rose, Adam (22 January 2010). "Are Face-Detection Cameras Racist?". Time. Retrieved 18 November 2017.
- ↑ "एलेक्सा आपके उच्चारण को नहीं समझती है". Washington Post.
- ↑ Sweeney, Latanya (28 January 2013). "ऑनलाइन विज्ञापन वितरण में भेदभाव". arXiv:1301.6822 [cs.IR].
- ↑ Braun, Lundy (2015). "Race, ethnicity and lung function: A brief history". Canadian Journal of Respiratory Therapy. 51 (4): 99–101. ISSN 1205-9838. PMC 4631137. PMID 26566381.
- ↑ Robinson, Whitney R; Renson, Audrey; Naimi, Ashley I (2020-04-01). "संरचनात्मक नस्लवाद के बारे में खुद को सिखाने से आपकी मशीन लर्निंग में सुधार होगा". Biostatistics. 21 (2): 339–344. doi:10.1093/biostatistics/kxz040. ISSN 1465-4644. PMC 7868043. PMID 31742353.
- ↑ Johnson, Carolyn Y. (24 October 2019). "एक चिकित्सा एल्गोरिथ्म में नस्लीय पूर्वाग्रह बीमार काले रोगियों की तुलना में गोरे रोगियों का पक्ष लेता है". Washington Post (in English). Retrieved 2019-10-28.
- ↑ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy (June 2019). "फिनटेक युग में उपभोक्ता-उधार भेदभाव". NBER Working Paper No. 25943. doi:10.3386/w25943. S2CID 242410791.
- ↑ Jeff Larson, Julia Angwin (2016-05-23). "हमने कम्पास रिकिडिविज़्म एल्गोरिथम का विश्लेषण कैसे किया". ProPublica (in English). Archived from the original on 29 April 2019. Retrieved 2020-06-19.
- ↑ "Commentary: Bad news. Artificial intelligence is biased". CNA (in English). 2019-01-12. Archived from the original on 12 January 2019. Retrieved 2020-06-19.
- ↑ 80.0 80.1 Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren (23 May 2016). "Machine Bias — ProPublica". ProPublica. Retrieved 18 November 2017.
- ↑ Harcourt, Bernard (16 September 2010). "रेस के लिए प्रॉक्सी के रूप में जोखिम". Federal Sentencing Reporter. 27 (4): 237. doi:10.1525/fsr.2015.27.4.237. S2CID 53611813. SSRN 1677654.
- ↑ Skeem J, Lowenkamp C, Risk, Race, & Recidivism: Predictive Bias and Disparate Impact, (June 14, 2016). SSRN 2687339
- ↑ Thomas, C.; Nunez, A. (2022). "Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race". Law & Inequality (in English). 40 (2): 371–407. doi:10.24926/25730037.649.
- ↑ 84.0 84.1 Angwin, Julia; Grassegger, Hannes (28 June 2017). "Facebook's Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children — ProPublica". ProPublica. Retrieved 20 November 2017.
- ↑ Angwin, Julia; Varner, Madeleine; Tobin, Ariana (14 September 2017). "Facebook Enabled Advertisers to Reach 'Jew Haters' — ProPublica". ProPublica. Retrieved 20 November 2017.
- ↑ Sap, Maarten; Card, Dallas; Gabriel, Saadia; Choi, Yejin; Smith, Noah A. (28 July – 2 August 2019). "अभद्र भाषा का पता लगाने में नस्लीय पूर्वाग्रह का जोखिम" (PDF). Proceedings of the 57th Annual Meeting of the Association for Computational Linguist. Florence, Italy: Association for Computational Linguistics. pp. 1668–1678. Archived (PDF) from the original on 2019-08-14.
- ↑ Ghaffary, Shirin (15 August 2019). "अभद्र भाषा का ऑनलाइन पता लगाने वाले एल्गोरिदम काले लोगों के खिलाफ पक्षपाती हैं". Vox. Retrieved 19 February 2020.
- ↑ Furl, N (December 2002). "Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis". Cognitive Science. 26 (6): 797–815. doi:10.1207/s15516709cog2606_4.
- ↑ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (7 February 2020). "Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing". Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. Association for Computing Machinery: 145–151. arXiv:2001.00964. doi:10.1145/3375627.3375820. ISBN 9781450371100. S2CID 209862419.
- ↑ Buolamwini, Joy; Gebru, Timnit (2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification" (PDF). Proceedings of Machine Learning Research. 81: 1 – via MLR Press.
- ↑ Ananny, Mike (2011-04-14). "समलैंगिक पुरुषों और यौन अपराधियों के लिए ऐप्स के बीच जिज्ञासु संबंध". The Atlantic. Retrieved 18 November 2017.
- ↑ Kafka, Peter. "Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.'". AllThingsD. Retrieved 22 November 2017.
- ↑ Kafka, Peter. "अमेज़ॅन ने 'हैम-फ़ेड कैटलॉगिंग एरर' के लिए माफ़ी मांगी". AllThingsD. AllThingsD. Retrieved 22 November 2017.
- ↑ Matsakis, Louise (2019-02-22). "एक 'सेक्सिस्ट' सर्च बग फेसबुक से ज्यादा हमारे बारे में बताता है". Wired. ISSN 1059-1028. Retrieved 2019-02-26.
- ↑ "कुछ एआई का अस्तित्व ही नहीं होना चाहिए". 2019-04-19.
- ↑ Samuel, Sigal (2019-04-19). "कुछ एआई का अस्तित्व ही नहीं होना चाहिए". Vox (in English). Retrieved 2019-12-12.
- ↑ Wang, Yilun; Kosinski, Michal (2017-02-15). "गहरे तंत्रिका नेटवर्क चेहरे की छवियों से यौन अभिविन्यास का पता लगाने में इंसानों की तुलना में अधिक सटीक हैं।". OSF (in English). doi:10.17605/OSF.IO/ZN79K.
- ↑ Levin, Sam (2017-09-09). "एलजीबीटी समूह 'खतरनाक' एआई की निंदा करते हैं जो कामुकता का अनुमान लगाने के लिए आपके चेहरे का उपयोग करता है". The Guardian (in British English). ISSN 0261-3077. Retrieved 2019-12-12.
- ↑ Pal, G.C. (September 16, 2011). "Disability, Intersectionality and Deprivation: An Excluded Agenda". Psychology and Developing Societies. 23(2), 159–176. doi:10.1177/097133361102300202. S2CID 147322669 – via Sagepub.
- ↑ Brinkman, Aurora H.; Rea-Sandin, Gianna; Lund, Emily M.; Fitzpatrick, Olivia M.; Gusman, Michaela S.; Boness, Cassandra L.; Scholars for Elevating Equity and Diversity (SEED) (2022-10-20). "Shifting the discourse on disability: Moving to an inclusive, intersectional focus". American Journal of Orthopsychiatry (in English). 93: 50–62. doi:10.1037/ort0000653. ISSN 1939-0025. PMID 36265035.
- ↑ Whittaker, Meredith (November 2019). "विकलांगता, पूर्वाग्रह और एआई" (PDF).
- ↑ "Mission — Disability is Diversity — Dear Entertainment Industry, THERE'S NO DIVERSITY, EQUITY & INCLUSION WITHOUT DISABILITY". Disability is Diversity (in English). Retrieved 2022-12-02.
- ↑ "माइक्रोसॉफ्ट डिजाइन". www.microsoft.com (in English). Retrieved 2022-12-02.
- ↑ Pulrang, Andrew. "4 Ways To Understand The Diversity Of The Disability Community". Forbes (in English). Retrieved 2022-12-02.
- ↑ Watermeyer, Brian; Swartz, Leslie (2022-10-12). "विकलांगता और आलसी प्रतिच्छेदन की समस्या". Disability & Society. 38 (2): 362–366. doi:10.1080/09687599.2022.2130177. ISSN 0968-7599. S2CID 252959399.
- ↑ "Disability Data Report 2021". Disability Data Initiative (in English). Retrieved 2022-12-02.
- ↑ White, Jason J. G. (2020-03-02). "Fairness of AI for people with disabilities: problem analysis and interdisciplinary collaboration". ACM SIGACCESS Accessibility and Computing (125): 3:1. doi:10.1145/3386296.3386299. ISSN 1558-2337. S2CID 211723415.
- ↑ "AI language models show bias against people with disabilities, study finds | Penn State University". www.psu.edu (in English). Retrieved 2022-12-02.
- ↑ Givens, Alexandra Reeve (2020-02-06). "एल्गोरिद्मिक पूर्वाग्रह विकलांग लोगों को कैसे प्रभावित करता है". Slate Magazine (in English). Retrieved 2022-12-02.
- ↑ Morris, Meredith Ringel (2020-05-22). "एआई और पहुंच". Communications of the ACM. 63 (6): 35–37. arXiv:1908.08939. doi:10.1145/3356727. ISSN 0001-0782. S2CID 201645229.
- ↑ Noble, Safiya Umoja (2018-02-20). Algorithms of Oppression: How Search Engines Reinforce Racism. New York. ISBN 9781479837243. OCLC 987591529.
{{cite book}}: CS1 maint: location missing publisher (link)- ↑ Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016). "(आईएम) निष्पक्षता की संभावना पर". arXiv:1609.07236 [cs.CY].
- ↑ Hu, Lily; Chen, Yiling (2018). "निष्पक्ष वर्गीकरण के कल्याण और वितरण संबंधी प्रभाव". arXiv:1807.01134 [cs.LG].
- ↑ Dwork, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Rich (28 November 2011). "जागरूकता के माध्यम से निष्पक्षता". arXiv:1104.3913 [cs.CC].
- ↑ 115.0 115.1 115.2 Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon (eds.). "एक एल्गोरिथम ऑडिट" (PDF). Data and Discrimination: Collected Essays.
- ↑ LaFrance, Adrienne (2015-09-18). "वेब को शक्ति प्रदान करने वाले एल्गोरिद्म केवल और अधिक रहस्यमय होते जा रहे हैं". The Atlantic. Retrieved 19 November 2017.
- ↑ Bruno Latour (1999). Pandora's Hope: Essays On the Reality of Science Studies. Cambridge, Massachusetts: Harvard University Press.
- ↑ Kubitschko, Sebastian; Kaun, Anne (2016). मीडिया और संचार अनुसंधान में नवीन तरीके. Springer. ISBN 978-3-319-40700-5. Retrieved 19 November 2017.
- ↑ McGee, Matt (16 August 2013). "EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors". Marketing Land. Retrieved 18 November 2017.
- ↑ 120.0 120.1 120.2 Granka, Laura A. (27 September 2010). "The Politics of Search: A Decade Retrospective" (PDF). The Information Society. 26 (5): 364–374. doi:10.1080/01972243.2010.511560. S2CID 16306443. Retrieved 18 November 2017.
- ↑ Szymielewicz, Katarzyna (2020-01-20). "ब्लैक बॉक्स्ड पॉलिटिक्स". Medium (in English). Retrieved 2020-02-11.
- ↑ Veale, Michael; Binns, Reuben (2017). "Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data". Big Data & Society. 4 (2): 205395171774353. doi:10.1177/2053951717743530. SSRN 3060763.
- ↑ Elliott, Marc N.; Morrison, Peter A.; Fremont, Allen; McCaffrey, Daniel F.; Pantoja, Philip; Lurie, Nicole (June 2009). "Using the Census Bureau's surname list to improve estimates of race/ethnicity and associated disparities". Health Services and Outcomes Research Methodology. 9 (2): 69–83. doi:10.1007/s10742-009-0047-1. ISSN 1387-3741. S2CID 43293144.
- ↑ Chen, Jiahao; Kallus, Nathan; Mao, Xiaojie; Svacha, Geoffry; Udell, Madeleine (2019). "Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved". Proceedings of the Conference on Fairness, Accountability, and Transparency - FAT* '19. Atlanta, GA, USA: ACM Press: 339–348. arXiv:1811.11154. doi:10.1145/3287560.3287594. ISBN 9781450361255. S2CID 58006233.
- ↑ Kilbertus, Niki; Gascon, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). "Blind Justice: Fairness with Encrypted Sensitive Attributes". International Conference on Machine Learning: 2630–2639. arXiv:1806.03281. Bibcode:2018arXiv180603281K.
- ↑ Binns, Reuben; Veale, Michael; Kleek, Max Van; Shadbolt, Nigel (13 September 2017). Like Trainer, Like Bot? Inheritance of Bias in Algorithmic Content Moderation. pp. 405–415. arXiv:1707.01477. doi:10.1007/978-3-319-67256-4_32. ISBN 978-3-319-67255-7. S2CID 2814848.
{{cite book}}:|journal=ignored (help)- ↑ Claburn, Thomas (18 July 2016). "EU Data Protection Law May End The Unknowable Algorithm – InformationWeek". InformationWeek. Retrieved 25 November 2017.
- ↑ 128.0 128.1 Jobin, Anna; Ienca, Marcello; Vayena, Effy (2 September 2019). "एआई नैतिकता दिशानिर्देशों का वैश्विक परिदृश्य". Nature Machine Intelligence. 1 (9): 389–399. arXiv:1906.11668. doi:10.1038/s42256-019-0088-2. S2CID 201827642.
- ↑ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Attacking discrimination with smarter machine learning
- ↑ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016). "पर्यवेक्षित शिक्षण में अवसर की समानता". arXiv:1610.02413 [cs.LG].
- ↑ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft is developing a tool to help engineers catch bias in algorithms
- ↑ https://qz.com/1268520/facebook-says-it-has-a-tool-to-detect-bias-in-its-artificial-intelligence/ Facebook says it has a tool to detect bias in its artificial intelligence
- ↑ open source Pymetrics audit-ai
- ↑ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics open-sources Audit AI, an algorithm bias detection tool
- ↑ https://github.com/dssg/aequitas open source Aequitas: Bias and Fairness Audit Toolkit
- ↑ https://dsapp.uchicago.edu/aequitas/ open-sources Audit AI, Aequitas at University of Chicago
- ↑ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Mitigating Bias in AI Models
- ↑ S. Sen, D. Dasgupta and K. D. Gupta, "An Empirical Study on Algorithmic Bias", 2020 IEEE 44th Annual Computers, Software, and Applications Conference (COMPSAC), Madrid, Spain, 2020, pp. 1189-1194, doi:10.1109/COMPSAC48688.2020.00-95.
- ↑ Zou, James; Schiebinger, Londa (July 2018). "AI can be sexist and racist — it's time to make it fair". Nature (in English). 559 (7714): 324–326. Bibcode:2018Natur.559..324Z. doi:10.1038/d41586-018-05707-8. PMID 30018439.
- ↑ Jia, Sen; Welfare, Thomas; Cristianini, Nello (2018). Right for the right reason: Training agnostic networks. International Symposium on Intelligent Data Analysis. Springer.
- ↑ Sutton, Adam; Welfare, Thomas; Cristianini, Nello (2018). Biased embeddings from wild data: Measuring, understanding and removing. International Symposium on Intelligent Data Analysis. Springer.
- ↑ Koene, Ansgar (June 2017). "Algorithmic Bias: Addressing Growing Concerns [Leading Edge]" (PDF). IEEE Technology and Society Magazine. 36 (2): 31–32. doi:10.1109/mts.2017.2697080. ISSN 0278-0097.
- ↑ "P7003 - Algorithmic Bias Considerations". standards.ieee.org. Retrieved 2018-12-03.
- ↑ The Internet Society (18 April 2017). "Artificial Intelligence and Machine Learning: Policy Paper". Internet Society. Retrieved 11 February 2020.
- ↑ 145.0 145.1 "White Paper: How to Prevent Discriminatory Outcomes in Machine Learning". World Economic Forum. 12 March 2018. Retrieved 11 February 2020.
- ↑ "व्याख्यात्मक आर्टिफिशियल इंटेलिजेंस". www.darpa.mil. Retrieved 2020-02-11.
- ↑ PricewaterhouseCoopers. "जिम्मेदार एआई ढांचा". PwC (in British English). Retrieved 2020-02-11.
- ↑ Heald, David (2006-09-07). Transparency: The Key to Better Governance? (in English). British Academy. doi:10.5871/bacad/9780197263839.003.0002. ISBN 978-0-19-726383-9.
- ↑ Kemper, Jakko; Kolkman, Daan (2019-12-06). "Transparent to whom? No algorithmic accountability without a critical audience". Information, Communication & Society. 22 (14): 2081–2096. doi:10.1080/1369118X.2018.1477967. ISSN 1369-118X.
- ↑ "The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems". Human Rights Watch (in English). 2018-07-03. Retrieved 2020-02-11.
- ↑ The Toronto Declaration: Protecting the Right to Equality and Non-Discrimination in Machine Learning Systems (PDF). Human Rights Watch. 2018. p. 15.
- ↑ Floridi, Luciano; Cowls, Josh; Beltrametti, Monica; Chatila, Raja; Chazerand, Patrice; Dignum, Virginia; Luetge, Christoph; Madelin, Robert; Pagallo, Ugo; Rossi, Francesca; Schafer, Burkhard (2018-12-01). "AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations". Minds and Machines (in English). 28 (4): 703. doi:10.1007/s11023-018-9482-5. ISSN 1572-8641. PMC 6404626. PMID 30930541.
- ↑ Crawford, Kate (2016-06-25). "Opinion | Artificial Intelligence's White Guy Problem". The New York Times (in English). ISSN 0362-4331. Retrieved 2020-02-11.
- ↑ "AI Is the Future—But Where Are the Women?". Wired (in English). ISSN 1059-1028. Retrieved 2020-02-11.
- ↑ Snow, Jackie. ""We're in a diversity crisis": cofounder of Black in AI on what's poisoning algorithms in our lives". MIT Technology Review (in English). Retrieved 2020-02-11.
- ↑ Hao, Karen (2021-06-14). "बिग टेक के नियंत्रण से एआई को पुनः प्राप्त करने की लड़ाई के अंदर". MIT Technology Review (in English). Retrieved 2021-06-21.
- ↑ Ciston, Sarah (2019-12-29). "इंटरसेक्शनल एआई आवश्यक है". Journal of Science and Technology of the Arts (in English). 11 (2): 3–8. doi:10.7559/citarj.v11i2.665. ISSN 2183-0088.
- ↑ D'Ignazio, Catherine; Klein, Lauren F. (2020). डेटा नारीवाद. MIT Press. ISBN 978-0262044004.
- ↑ Cave, Stephen; Dihal, Kanta (2020-08-06). "एआई की सफेदी". Philosophy & Technology (in English). 33 (4): 685–703. doi:10.1007/s13347-020-00415-6. ISSN 2210-5441.
- ↑ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021). "लाइब्रेरी - यूओएफए लाइब्रेरी". ezpa.library.ualberta.ca. arXiv:2105.01774. doi:10.1145/3461702.3462612. S2CID 233740121. Retrieved 2023-04-06.
- ↑ University, Stanford (2019-03-18). "स्टैनफोर्ड यूनिवर्सिटी ने मानव-केंद्रित आर्टिफिशियल इंटेलिजेंस संस्थान लॉन्च किया". Stanford News (in English). Retrieved 2023-04-06.
- ↑ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021-07-21). "Envisioning Communities: A Participatory Approach Towards AI for Social Good". Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society: 425–436. arXiv:2105.01774. doi:10.1145/3461702.3462612. ISBN 9781450384735. S2CID 233740121.
- ↑ Bygrave, Lee A (2001). "Automated Profiling". Computer Law & Security Review. 17 (1): 17–24. doi:10.1016/s0267-3649(01)00104-2.
- ↑ 164.0 164.1 Veale, Michael; Edwards, Lilian (2018). "Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling" (PDF). Computer Law & Security Review. 34 (2): 398–404. doi:10.1016/j.clsr.2017.12.002. S2CID 4797884. SSRN 3071679.
- ↑ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (1 May 2017). "सामान्य डेटा संरक्षण विनियम में स्वचालित निर्णय-निर्माण की व्याख्या का अधिकार क्यों मौजूद नहीं है". International Data Privacy Law. 7 (2): 76–99. doi:10.1093/idpl/ipx005. ISSN 2044-3994.
- ↑ Edwards, Lilian; Veale, Michael (23 May 2017). "Slave to the Algorithm? Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For". Duke Law & Technology Review. 16: 18–84. SSRN 2972855.
- ↑ 167.0 167.1 Singer, Natasha (2 February 2013). "उपभोक्ता डेटा संरक्षण कानून, एक महासागर के अलावा". The New York Times. Retrieved 26 November 2017.
- ↑ Obama, Barack (12 October 2016). "आर्टिफिशियल इंटेलिजेंस के भविष्य पर प्रशासन की रिपोर्ट". whitehouse.gov. National Archives. Retrieved 26 November 2017.
- ↑ and Technology Council, National Science (2016). नेशनल आर्टिफिशियल इंटेलिजेंस रिसर्च एंड डेवलपमेंट स्ट्रैटेजिक प्लान (PDF). US Government. Retrieved 26 November 2017.
- ↑ Kirchner, Lauren (18 December 2017). "New York City Moves to Create Accountability for Algorithms — ProPublica". ProPublica. ProPublica. Retrieved 28 July 2018.
- ↑ "The New York City Council - File #: Int 1696-2017". legistar.council.nyc.gov. New York City Council. Retrieved 28 July 2018.
- ↑ Powles, Julia. "न्यूयॉर्क शहर का साहसिक, त्रुटिपूर्ण प्रयास एल्गोरिथम को जवाबदेह बनाने का". The New Yorker. Retrieved 28 July 2018.
- ↑ "ईयू के जीडीपीआर के समान भारत व्यापक डेटा गोपनीयता विधेयक का वजन करता है". Insurance Journal. 2018-07-31. Retrieved 2019-02-26.
- ↑ "The Personal Data Protection Bill, 2018" (PDF). Ministry of Electronics & Information Technology, Government of India. 2018. Retrieved 29 April 2022.
अग्रिम पठन
- Baer, Tobias (2019). Understand, Manage, and Prevent Algorithmic Bias: A Guide for Business Users and Data Scientists. New York: Apress. ISBN 9781484248843.
- Noble, Safiya Umoja (2018). Algorithms of Oppression: How Search Engines Reinforce Racism. New York: New York University Press. ISBN 9781479837243.
