AI safety
ए. आई. सुरक्षा एक अंतःविषय क्षेत्र है जो दुर्घटनाओं, दुरुपयोग या अन्य हानिकारक परिणामों को रोकने से संबंधित है जो कृत्रिम बुद्धिमत्ता (ए. आई.) प्रणालियों के परिणामस्वरूप हो सकते हैं। इसमें मशीन नैतिकता और एआई संरेखण शामिल है, जिसका उद्देश्य एआई प्रणालियों को नैतिक और लाभकारी बनाना है, और एआई सुरक्षा में जोखिमों के लिए निगरानी प्रणालियों और उन्हें अत्यधिक विश्वसनीय बनाने सहित तकनीकी समस्याएं शामिल हैं। ए. आई. अनुसंधान के अलावा, इसमें ऐसे मानदंड और नीतियां विकसित करना शामिल है जो सुरक्षा को बढ़ावा देते हैं। ए. आई. शोधकर्ताओं की ए. आई. प्रौद्योगिकी द्वारा उत्पन्न जोखिम की गंभीरता और प्राथमिक स्रोतों के बारे में व्यापक रूप से अलग-अलग राय है-हालांकि सर्वेक्षणों से पता चलता है कि विशेषज्ञ उच्च परिणाम जोखिमों को गंभीरता से लेते हैं। ए. आई. शोधकर्ताओं के दो सर्वेक्षणों में, औसत उत्तरदाता समग्र रूप से ए. आई. के बारे में आशावादी था, लेकिन 5 प्रतिशत संभावना को "बेहद खराब (जैसे। मानव विलुप्त होना) "उन्नत ए. आई. का परिणाम। नैचुरल लैंग्वेज प्रोसेसिंग (एनएलपी) समुदाय के 2022 के एक सर्वेक्षण में, 37 प्रतिशत सहमत या कमजोर रूप से सहमत थे कि यह प्रशंसनीय है कि एआई निर्णय एक आपदा का कारण बन सकते हैं जो "कम से कम एक पूर्ण परमाणु युद्ध के रूप में खराब" है। विद्वान महत्वपूर्ण प्रणालियों की विफलताओं, पूर्वाग्रह और एआई सक्षम निगरानी से वर्तमान जोखिमों पर चर्चा करते हैं; तकनीकी बेरोजगारी, डिजिटल हेरफेर और शस्त्रीकरण से उभरते जोखिम; और भविष्य के कृत्रिम सामान्य बुद्धिमत्ता (एजीआई) एजेंटों के नियंत्रण को खोने से सट्टा जोखिम। कुछ लोगों ने एजीआई के बारे में चिंताओं की आलोचना की है, जैसे कि एंड्रयू एनजी जिन्होंने 2015 में उनकी तुलना "मंगल ग्रह पर अधिक आबादी के बारे में चिंता करने के लिए की थी, जब हमने अभी तक ग्रह पर पैर नहीं रखा है।" दूसरी ओर स्टुअर्ट जे. रसेल सावधानी बरतने का आग्रह करते हुए तर्क देते हैं कि "मानव सरलता को कम आंकने की तुलना में इसका अनुमान लगाना बेहतर है।" कंप्यूटर युग की शुरुआत में एआई से होने वाले जोखिमों पर गंभीरता से चर्चा शुरू हुईः 2008 से 2009 तक, एसोसिएशन फॉर द एडवांसमेंट ऑफ आर्टिफिशियल इंटेलिजेंस (एएएआई) ने एआई अनुसंधान और विकास के संभावित दीर्घकालिक सामाजिक प्रभावों का पता लगाने और उन्हें संबोधित करने के लिए एक अध्ययन शुरू किया। पैनल आम तौर पर विज्ञान-कथा लेखकों द्वारा व्यक्त किए गए कट्टरपंथी विचारों पर संदेह करता था, लेकिन इस बात पर सहमत था कि "अप्रत्याशित परिणामों को कम करने के लिए जटिल कम्प्यूटेशनल प्रणालियों के व्यवहारों की सीमा को समझने और सत्यापित करने के तरीकों पर अतिरिक्त शोध मूल्यवान होगा।" 2011 में, रोमन याम्पोल्स्की ने आर्टिफिशियल इंटेलिजेंस सम्मेलन के दर्शन और सिद्धांत में "एआई सुरक्षा इंजीनियरिंग" शब्द की शुरुआत की, जिसमें एआई प्रणालियों की पूर्व विफलताओं को सूचीबद्ध किया गया और तर्क दिया गया कि "एआई के अधिक सक्षम होने पर ऐसी घटनाओं की आवृत्ति और गंभीरता में लगातार वृद्धि होगी"। 2014 में, दार्शनिक निक बोस्ट्रोम ने पुस्तक सुपर इंटेलीजेंसः पाथ, डेंजर्स, स्ट्रैटेजीज प्रकाशित की। उनकी राय है कि ए. जी. आई. के उदय में विभिन्न सामाजिक मुद्दे पैदा करने की क्षमता है, जिसमें ए. आई. द्वारा कार्यबल के विस्थापन, राजनीतिक और सैन्य संरचनाओं में हेरफेर से लेकर मानव विलुप्त होने की संभावना तक शामिल हैं। उनके इस तर्क ने कि भविष्य की उन्नत प्रणालियाँ मानव अस्तित्व के लिए खतरा पैदा कर सकती हैं, एलन मस्क, बिल गेट्स और स्टीफन हॉकिंग को इसी तरह की चिंताओं को व्यक्त करने के लिए प्रेरित किया। 2015 में, दर्जनों कृत्रिम बुद्धिमत्ता विशेषज्ञों ने कृत्रिम बुद्धिमत्ता पर एक खुले पत्र पर हस्ताक्षर किए, जिसमें कृत्रिम बुद्धिमत्ता के सामाजिक प्रभावों पर शोध करने और ठोस दिशाओं को रेखांकित करने का आह्वान किया गया। आज तक इस पत्र पर यान लेकुन, शेन लेग, योशुआ बेंगियो और स्टुअर्ट रसेल सहित 8000 से अधिक लोगों ने हस्ताक्षर किए हैं। उसी वर्ष, प्रोफेसर स्टुअर्ट रसेल के नेतृत्व में शिक्षाविदों के एक समूह ने कैलिफोर्निया बर्कले विश्वविद्यालय में सेंटर फॉर ह्यूमन-कम्पेटिबल एआई की स्थापना की और फ्यूचर ऑफ लाइफ इंस्टीट्यूट ने "कृत्रिम बुद्धिमत्ता (एआई) को सुरक्षित, नैतिक और लाभकारी बनाए रखने" के उद्देश्य से अनुसंधान के लिए 65 लाख डॉलर का अनुदान दिया। 2016 में, व्हाइट हाउस ऑफिस ऑफ साइंस एंड टेक्नोलॉजी पॉलिसी और कार्नेगी मेलन यूनिवर्सिटी ने आर्टिफिशियल इंटेलिजेंस के लिए सुरक्षा और नियंत्रण पर सार्वजनिक कार्यशाला की घोषणा की, जो एआई के "फायदे और कमियों" की जांच करने के उद्देश्य से व्हाइट हाउस की चार कार्यशालाओं में से एक थी। उसी वर्ष, एआई सुरक्षा में ठोस समस्याएं-पहले और सबसे प्रभावशाली तकनीकी एआई सुरक्षा एजेंडों में से एक-प्रकाशित किया गया था। 2017 में, फ्यूचर ऑफ लाइफ इंस्टीट्यूट ने लाभकारी ए. आई. पर एसिलोमर सम्मेलन को प्रायोजित किया, जहां 100 से अधिक विचारकों ने लाभकारी ए. आई. के लिए सिद्धांत तैयार किए, जिसमें "रेस अवॉइडेंसः ए. आई. सिस्टम विकसित करने वाली टीमों को सुरक्षा मानकों में कटौती से बचने के लिए सक्रिय रूप से सहयोग करना चाहिए।" 2018 में, डीपमाइंड सेफ्टी टीम ने विनिर्देश, मजबूती और आश्वासन में एआई सुरक्षा समस्याओं को रेखांकित किया। अगले वर्ष, शोधकर्ताओं ने आई. सी. एल. आर. में एक कार्यशाला का आयोजन किया जो इन समस्या क्षेत्रों पर केंद्रित थी। 2021 में, एमएल सुरक्षा में अनसुलझी समस्याओं को प्रकाशित किया गया था, जिसमें मजबूती, निगरानी, संरेखण और प्रणालीगत सुरक्षा में अनुसंधान दिशाओं को रेखांकित किया गया था। 2023 में, ऋषि सुनक ने कहा कि वह चाहते हैं कि यूनाइटेड किंगडम "वैश्विक ए. आई. सुरक्षा विनियमन का भौगोलिक घर" बने और ए. आई. सुरक्षा पर पहले वैश्विक शिखर सम्मेलन की मेजबानी करे। अनुसंधान केंद्र ए. आई. सुरक्षा अनुसंधान क्षेत्रों में मजबूती, निगरानी और संरेखण शामिल हैं। ए. आई. प्रणालियाँ अक्सर प्रतिकूल उदाहरणों या "मशीन लर्निंग (एम. एल.) मॉडल के लिए इनपुट जो एक हमलावर ने जानबूझकर मॉडल को गलती करने के लिए डिज़ाइन किया है" के प्रति संवेदनशील होती हैं। उदाहरण के लिए, 2013 में, सेजेडी एट अल। यह पता चला कि किसी छवि में विशिष्ट अदृश्य गड़बड़ी जोड़ने से उसे उच्च आत्मविश्वास के साथ गलत वर्गीकृत किया जा सकता है। यह तंत्रिका नेटवर्क के साथ एक समस्या बनी हुई है, हालांकि हाल के काम में गड़बड़ी आम तौर पर इतनी बड़ी है कि बोधगम्य हो सकती है। दाहिनी ओर की सभी छवियों में अशांति लागू होने के बाद शुतुरमुर्ग होने की भविष्यवाणी की गई है। (बाएँ) एक सही ढंग से अनुमानित नमूना है, (मध्य) गड़बड़ी को 10x, (दाएँ) प्रतिकूल उदाहरण द्वारा आवर्धित किया जाता है। प्रतिकूल मजबूती अक्सर सुरक्षा से जुड़ी होती है। शोधकर्ताओं ने प्रदर्शित किया कि एक ऑडियो सिग्नल को अस्पष्ट रूप से संशोधित किया जा सकता है ताकि स्पीच-टू-टेक्स्ट सिस्टम इसे हमलावर द्वारा चुने गए किसी भी संदेश में ट्रांसक्रिप्ट कर सके। नेटवर्क घुसपैठ और मैलवेयर का पता लगाने वाली प्रणालियाँ भी प्रतिकूल रूप से मजबूत होनी चाहिए क्योंकि हमलावर अपने हमलों को डिटेक्टरों को मूर्ख बनाने के लिए डिज़ाइन कर सकते हैं। उद्देश्यों (पुरस्कार मॉडल) का प्रतिनिधित्व करने वाले मॉडल भी प्रतिकूल रूप से मजबूत होने चाहिए। उदाहरण के लिए, एक पुरस्कार मॉडल यह अनुमान लगा सकता है कि एक पाठ प्रतिक्रिया कितनी सहायक है और इस अंक को अधिकतम करने के लिए एक भाषा मॉडल को प्रशिक्षित किया जा सकता है। शोधकर्ताओं ने दिखाया है कि यदि एक भाषा मॉडल को लंबे समय तक प्रशिक्षित किया जाता है, तो यह बेहतर अंक प्राप्त करने और इच्छित कार्य पर खराब प्रदर्शन करने के लिए पुरस्कार मॉडल की कमजोरियों का लाभ उठाएगा। इस मुद्दे को पुरस्कार मॉडल की प्रतिकूल मजबूती में सुधार करके संबोधित किया जा सकता है। आम तौर पर, किसी अन्य ए. आई. प्रणाली का मूल्यांकन करने के लिए उपयोग की जाने वाली कोई भी ए. आई. प्रणाली प्रतिकूल रूप से मजबूत होनी चाहिए। इसमें निगरानी उपकरण शामिल हो सकते हैं, क्योंकि अधिक इनाम देने के लिए उनके साथ संभावित रूप से छेड़छाड़ भी की जा सकती है। अनिश्चितता के अनुमान की निगरानी मानव प्रचालक के लिए अक्सर यह आकलन करना महत्वपूर्ण होता है कि उन्हें एक ए. आई. प्रणाली पर कितना भरोसा करना चाहिए, विशेष रूप से चिकित्सा निदान जैसी उच्च-दांव वाली स्थितियों में। एमएल मॉडल आम तौर पर संभावनाओं को प्रदर्शित करके आत्मविश्वास व्यक्त करते हैं; हालाँकि, वे अक्सर अति आत्मविश्वास वाले होते हैं, विशेष रूप से उन स्थितियों में जो उन स्थितियों से अलग होती हैं जिन्हें संभालने के लिए उन्हें प्रशिक्षित किया गया था। अंशांकन अनुसंधान का उद्देश्य मॉडल की संभावनाओं को उस सही अनुपात के जितना संभव हो उतना निकटता से अनुरूप बनाना है जो मॉडल सही है। इसी तरह, विसंगति का पता लगाने या आउट-ऑफ-डिस्ट्रीब्यूशन (ओ. ओ. डी.) का पता लगाने का उद्देश्य यह पहचानना है कि कोई ए. आई. प्रणाली कब असामान्य स्थिति में है। उदाहरण के लिए, यदि एक स्वायत्त वाहन पर एक संवेदक खराब हो रहा है, या यह चुनौतीपूर्ण इलाके का सामना कर रहा है, तो इसे चालक को नियंत्रण लेने या खींचने के लिए सचेत करना चाहिए। विसंगति का पता लगाने को केवल विसंगत और गैर-विसंगत निवेशों में अंतर करने के लिए एक वर्गीकरणकर्ता को प्रशिक्षित करके लागू किया गया है, हालांकि अतिरिक्त तकनीकों की एक श्रृंखला उपयोग में है। दुर्भावनापूर्ण उपयोग का पता लगाने के लिए विद्वानों और सरकारी एजेंसियों ने चिंता व्यक्त की है कि एआई सिस्टम का उपयोग दुर्भावनापूर्ण अभिनेताओं को हथियार बनाने, जनमत में हेरफेर करने या साइबर हमलों को स्वचालित करने में मदद करने के लिए किया जा सकता है। ये चिंताएँ ओपनएआई जैसी कंपनियों के लिए एक व्यावहारिक चिंता हैं जो ऑनलाइन शक्तिशाली एआई उपकरणों की मेजबानी करती हैं। दुरुपयोग को रोकने के लिए, ओपनएआई ने पहचान प्रणाली का निर्माण किया है जो उपयोगकर्ताओं को उनकी गतिविधि के आधार पर चिह्नित या प्रतिबंधित करती है। पारदर्शिता तंत्रिका नेटवर्क को अक्सर ब्लैक बॉक्स के रूप में वर्णित किया गया है, जिसका अर्थ है कि यह समझना मुश्किल है कि वे बड़ी संख्या में गणनाओं के परिणामस्वरूप निर्णय क्यों लेते हैं। इससे असफलताओं का अनुमान लगाना चुनौतीपूर्ण हो जाता है। 2018 में, एक स्व-चालित कार ने एक पैदल यात्री की पहचान करने में विफल रहने के बाद उसकी हत्या कर दी। ए. आई. सॉफ्टवेयर की ब्लैक बॉक्स प्रकृति के कारण, विफलता का कारण स्पष्ट नहीं है। पारदर्शिता का एक महत्वपूर्ण लाभ व्याख्याशीलता है। कभी-कभी यह एक कानूनी आवश्यकता होती है कि निष्पक्षता सुनिश्चित करने के लिए निर्णय क्यों लिया गया, उदाहरण के लिए नौकरी के आवेदनों या क्रेडिट स्कोर असाइनमेंट को स्वचालित रूप से फ़िल्टर करने के लिए। एक अन्य लाभ विफलताओं के कारण को प्रकट करना है। 2020 की कोविड-19 महामारी की शुरुआत में, शोधकर्ताओं ने पारदर्शिता उपकरणों का उपयोग यह दिखाने के लिए किया कि चिकित्सा छवि वर्गीकरणकर्ता अप्रासंगिक अस्पताल लेबलों पर 'ध्यान दे रहे थे'। त्रुटियों को ठीक करने के लिए पारदर्शिता तकनीकों का भी उपयोग किया जा सकता है। उदाहरण के लिए, "जी. पी. टी. में तथ्यात्मक संघों का पता लगाना और उनका संपादन करना" पेपर में, लेखक उन मॉडल मापदंडों की पहचान करने में सक्षम थे जो एफिल टावर के स्थान के बारे में प्रश्नों के उत्तर देने के तरीके को प्रभावित करते थे। वे तब इस ज्ञान को 'संपादित' करने में सक्षम थे ताकि मॉडल प्रश्नों का जवाब दे सके जैसे कि यह विश्वास हो कि टावर फ्रांस के बजाय रोम में था। हालांकि इस मामले में, लेखकों ने एक त्रुटि को प्रेरित किया, इन तरीकों का उपयोग संभावित रूप से उन्हें कुशलता से ठीक करने के लिए किया जा सकता है। कंप्यूटर दृष्टि में मॉडल संपादन तकनीकें भी मौजूद हैं। अंत में, कुछ लोगों ने तर्क दिया है कि ए. आई. प्रणालियों की अपारदर्शिता जोखिम का एक महत्वपूर्ण स्रोत है और वे कैसे काम करते हैं, इसकी बेहतर समझ भविष्य में उच्च-परिणामी विफलताओं को रोक सकती है। "आंतरिक" व्याख्यात्मकता अनुसंधान का उद्देश्य एम. एल. मॉडल को कम अपारदर्शी बनाना है। इस शोध का एक लक्ष्य यह पहचानना है कि आंतरिक न्यूरॉन सक्रियण क्या दर्शाते हैं। उदाहरण के लिए, शोधकर्ताओं ने सी. एल. आई. पी. कृत्रिम बुद्धिमत्ता प्रणाली में एक न्यूरॉन की पहचान की जो स्पाइडर मैन वेशभूषा में लोगों की छवियों, स्पाइडर मैन के रेखाचित्रों और 'स्पाइडर' शब्द का जवाब देता है। इसमें इन न्यूरॉन्स या 'सर्किट' के बीच संबंधों की व्याख्या भी शामिल है। उदाहरण के लिए, शोधकर्ताओं ने ट्रांसफॉर्मर ध्यान में पैटर्न-मिलान तंत्र की पहचान की है जो इस बात में भूमिका निभा सकते हैं कि भाषा मॉडल अपने संदर्भ से कैसे सीखते हैं। "आंतरिक व्याख्या" की तुलना तंत्रिका विज्ञान से की गई है। दोनों ही मामलों में, लक्ष्य यह समझना है कि एक जटिल प्रणाली में क्या हो रहा है, हालांकि एम. एल. शोधकर्ताओं को सही माप लेने और मनमाने ढंग से क्षय करने में सक्षम होने का लाभ मिलता है। ट्रोजन एम. एल. मॉडल का पता लगाने में संभावित रूप से 'ट्रोजन' या 'पिछले दरवाजे' हो सकते हैंः कमजोरियां जो दुर्भावनापूर्ण अभिनेता दुर्भावनापूर्ण रूप से एक ए. आई. प्रणाली में निर्माण करते हैं। उदाहरण के लिए, एक ट्रोजन चेहरे की पहचान प्रणाली उस समय पहुंच प्रदान कर सकती है जब गहने का एक विशिष्ट टुकड़ा दिखाई दे रहा हो; या एक ट्रोजन स्वायत्त वाहन सामान्य रूप से तब तक काम कर सकता है जब तक कि एक विशिष्ट ट्रिगर दिखाई न दे। ध्यान दें कि एक ट्रोजन लगाने के लिए एक विरोधी के पास प्रणाली के प्रशिक्षण डेटा तक पहुंच होनी चाहिए। सी. एल. आई. पी. या जी. पी. टी.-3 जैसे कुछ बड़े मॉडलों के साथ ऐसा करना मुश्किल नहीं हो सकता है क्योंकि वे सार्वजनिक रूप से उपलब्ध इंटरनेट डेटा पर प्रशिक्षित होते हैं। शोधकर्ता 3 मिलियन प्रशिक्षण छवियों में से केवल 300 को बदलकर एक छवि वर्गीकरण में एक ट्रोजन लगाने में सक्षम थे। एक सुरक्षा जोखिम पैदा करने के अलावा, शोधकर्ताओं ने तर्क दिया है कि ट्रोजन परीक्षण और बेहतर निगरानी उपकरण विकसित करने के लिए एक ठोस सेटिंग प्रदान करते हैं। संरेखण प्रणालीगत सुरक्षा और सामाजिक-तकनीकी कारक एआई जोखिमों (और आम तौर पर तकनीकी जोखिमों) को दुरुपयोग या दुर्घटनाओं के रूप में वर्गीकृत करना आम बात है। कुछ विद्वानों ने सुझाव दिया है कि यह ढांचा कम है। उदाहरण के लिए, क्यूबा मिसाइल संकट स्पष्ट रूप से एक दुर्घटना या प्रौद्योगिकी का दुरुपयोग नहीं था। नीति विश्लेषक ज़्वेटस्लूट और डैफो ने लिखा, "दुरुपयोग और दुर्घटना के दृष्टिकोण केवल एक कारण श्रृंखला के अंतिम चरण पर ध्यान केंद्रित करते हैं जो नुकसान की ओर ले जाता हैः वह व्यक्ति जिसने प्रौद्योगिकी का दुरुपयोग किया, या वह प्रणाली जो अनपेक्षित तरीकों से व्यवहार करती है। अक्सर, हालांकि, प्रासंगिक कारण श्रृंखला बहुत लंबी होती है। जोखिम अक्सर 'संरचनात्मक' या 'प्रणालीगत' कारकों जैसे कि प्रतिस्पर्धी दबाव, नुकसान का प्रसार, तेज गति से विकास, उच्च स्तर की अनिश्चितता और अपर्याप्त सुरक्षा संस्कृति से उत्पन्न होते हैं। सुरक्षा इंजीनियरिंग के व्यापक संदर्भ में, 'संगठनात्मक सुरक्षा संस्कृति' जैसे संरचनात्मक कारक लोकप्रिय STAMP जोखिम विश्लेषण ढांचे में एक केंद्रीय भूमिका निभाते हैं। संरचनात्मक परिप्रेक्ष्य से प्रेरित होकर, कुछ शोधकर्ताओं ने सामाजिक-तकनीकी सुरक्षा कारकों में सुधार के लिए मशीन लर्निंग का उपयोग करने के महत्व पर जोर दिया है, उदाहरण के लिए, साइबर रक्षा के लिए एम. एल. का उपयोग करना, संस्थागत निर्णय लेने में सुधार करना और सहयोग को सुविधाजनक बनाना। साइबर रक्षा कुछ विद्वानों को चिंता है कि एआई साइबर हमलावरों और साइबर रक्षकों के बीच पहले से ही असंतुलित खेल को बढ़ा देगा। इससे 'फर्स्ट स्ट्राइक' प्रोत्साहन बढ़ेगा और अधिक आक्रामक और अस्थिर करने वाले हमले हो सकते हैं। इस जोखिम को कम करने के लिए, कुछ लोगों ने साइबर रक्षा पर अधिक जोर देने की वकालत की है। इसके अलावा, शक्तिशाली ए. आई. मॉडल को चोरी और दुरुपयोग से रोकने के लिए सॉफ्टवेयर सुरक्षा आवश्यक है। संस्थागत निर्णय लेने में सुधार आर्थिक और सैन्य क्षेत्रों में कृत्रिम बुद्धिमत्ता की प्रगति अभूतपूर्व राजनीतिक चुनौतियों को जन्म दे सकती है। कुछ विद्वानों ने ए. आई. दौड़ की गतिशीलता की तुलना शीत युद्ध से की है, जहां निर्णय लेने वालों की एक छोटी संख्या के सावधानीपूर्वक निर्णय अक्सर स्थिरता और तबाही के बीच के अंतर को स्पष्ट करते हैं। ए. आई. शोधकर्ताओं का तर्क है कि ए. आई. प्रौद्योगिकियों का उपयोग निर्णय लेने में सहायता के लिए भी किया जा सकता है। उदाहरण के लिए, शोधकर्ता एआई पूर्वानुमान और सलाहकार प्रणालियों को विकसित करना शुरू कर रहे हैं। सहयोग को सुविधाजनक बनाना कई सबसे बड़े वैश्विक खतरे (परमाणु युद्ध, जलवायु परिवर्तन, आदि) सहयोग की चुनौतियों के रूप में तैयार किए गए हैं। जैसा कि प्रसिद्ध कैदी की दुविधा के परिदृश्य में, कुछ गतिशीलता सभी खिलाड़ियों के लिए खराब परिणाम का कारण बन सकती है, भले ही वे अपने स्वार्थ में बेहतर तरीके से काम कर रहे हों। उदाहरण के लिए, किसी भी एक कारक के पास जलवायु परिवर्तन से निपटने के लिए मजबूत प्रोत्साहन नहीं है, भले ही कोई हस्तक्षेप न करे तो इसके परिणाम महत्वपूर्ण हो सकते हैं। ए. आई. सहयोग की एक प्रमुख चुनौती 'नीचे तक की दौड़' से बचना है। इस परिदृश्य में, देश या कंपनियां अधिक सक्षम एआई सिस्टम बनाने और सुरक्षा की उपेक्षा करने के लिए दौड़ती हैं, जिससे एक विनाशकारी दुर्घटना होती है जो इसमें शामिल सभी लोगों को नुकसान पहुंचाती है। इस तरह के परिदृश्यों के बारे में चिंताओं ने मनुष्यों के बीच और संभावित रूप से ए. आई. प्रणालियों के बीच सहयोग को सुविधाजनक बनाने के लिए राजनीतिक और तकनीकी दोनों प्रयासों को प्रेरित किया है। अधिकांश AI शोध अलग-अलग कार्यों (अक्सर 'एकल-खिलाड़ी' खेलों में) की सेवा के लिए व्यक्तिगत एजेंटों को डिजाइन करने पर केंद्रित है। विद्वानों ने सुझाव दिया है कि जैसे-जैसे ए. आई. प्रणालियाँ अधिक स्वायत्त हो जाती हैं, उनके परस्पर क्रिया करने के तरीके का अध्ययन और आकार देना आवश्यक हो सकता है। शासन में ए. आई. शासन व्यापक रूप से ए. आई. प्रणालियों के उपयोग और विकास का मार्गदर्शन करने के लिए मानदंडों, मानकों और विनियमों के निर्माण से संबंधित है। अनुसंधान ए. आई. सुरक्षा शासन अनुसंधान ए. आई. के संभावित प्रभावों में मूलभूत जांच से लेकर विशिष्ट अनुप्रयोगों तक है। मूलभूत पक्ष पर, शोधकर्ताओं ने तर्क दिया है कि बिजली और भाप इंजन से तुलना करते हुए एआई अपनी व्यापक प्रयोज्यता के कारण समाज के कई पहलुओं को बदल सकता है। कुछ कार्यों ने इन प्रभावों से उत्पन्न होने वाले विशिष्ट जोखिमों का अनुमान लगाने पर ध्यान केंद्रित किया है-उदाहरण के लिए, बड़े पैमाने पर बेरोजगारी, शस्त्रीकरण, दुष्प्रचार, निगरानी और शक्ति की एकाग्रता से जोखिम। अन्य कार्य अंतर्निहित जोखिम कारकों की खोज करते हैं जैसे कि तेजी से विकसित होने वाले ए. आई. उद्योग की निगरानी करने में कठिनाई, ए. आई. मॉडल की उपलब्धता और 'नीचे की ओर दौड़' गतिशीलता। डीपमाइंड में दीर्घकालिक शासन और रणनीति के प्रमुख एलन डैफो ने रेसिंग के खतरों और सहयोग की संभावित आवश्यकता पर जोर दिया हैः "यह एआई सुरक्षा और संरेखण के लिए एक आवश्यक और पर्याप्त शर्त के करीब हो सकता है कि उन्नत शक्तिशाली प्रणालियों को तैनात करने से पहले उच्च स्तर की सावधानी हो; हालाँकि, यदि अभिनेता पहले-मूवर्स या सापेक्ष लाभ के लिए बड़े रिटर्न के साथ एक डोमेन में प्रतिस्पर्धा कर रहे हैं, तो उन पर सावधानी का एक उप-इष्टतम स्तर चुनने के लिए दबाव डाला जाएगा।" कुछ विशेषज्ञों ने तर्क दिया है कि एआई को विनियमित करना बहुत जल्दी है, इस चिंता को व्यक्त करते हुए कि नियम नवाचार में बाधा डालेंगे और "अज्ञानता में विनियमित करने के लिए जल्दबाजी करना" मूर्खता होगी। अन्य, जैसे कि व्यवसायी एलोन मस्क, कम करने के लिए पूर्व-निर्धारित कार्रवाई का आह्वान करते हैं। औपचारिक विधान के अलावा, सरकारी एजेंसियों ने नैतिक और सुरक्षा अनुशंसाएँ प्रस्तुत की हैं। मार्च 2021 में, आर्टिफिशियल इंटेलिजेंस पर अमेरिकी राष्ट्रीय सुरक्षा आयोग ने बताया कि एआई में प्रगति "यह सुनिश्चित करना कि प्रणालियाँ सुरक्षा, मजबूती और विश्वसनीयता सहित लक्ष्यों और मूल्यों के साथ संरेखित हैं" को तेजी से महत्वपूर्ण बना सकती है। इसके बाद, राष्ट्रीय मानक और प्रौद्योगिकी संस्थान ने एआई जोखिम के प्रबंधन के लिए एक रूपरेखा का मसौदा तैयार किया, जो सलाह देता है कि जब "विनाशकारी जोखिम मौजूद हों-विकास और तैनाती को सुरक्षित तरीके से तब तक बंद कर दिया जाना चाहिए जब तक कि जोखिमों को पर्याप्त रूप से प्रबंधित नहीं किया जा सके।" सितंबर 2021 में, चीन जनवादी गणराज्य ने चीन में ए. आई. के उपयोग के लिए नैतिक दिशानिर्देश प्रकाशित किए, जिसमें इस बात पर जोर दिया गया कि ए. आई. निर्णय मानव नियंत्रण में रहने चाहिए और जवाबदेही तंत्र का आह्वान किया जाना चाहिए। उसी महीने, यूनाइटेड किंगडम ने अपनी 10-वर्षीय राष्ट्रीय ए. आई. रणनीति प्रकाशित की, जिसमें कहा गया है कि ब्रिटिश सरकार "गुटनिरपेक्ष कृत्रिम सामान्य बुद्धिमत्ता के दीर्घकालिक जोखिम और दुनिया के लिए इसके अप्रत्याशित परिवर्तनों को गंभीरता से लेती है।" रणनीति विनाशकारी जोखिमों सहित दीर्घकालिक ए. आई. जोखिमों का आकलन करने के लिए कार्यों का वर्णन करती है। ब्रिटिश सरकार ने ए. आई. सुरक्षा पर पहले प्रमुख वैश्विक शिखर सम्मेलन की योजना की घोषणा की है। यह 1 और 2 नवंबर 2023 को होने वाला है और "नीति निर्माताओं और विश्व नेताओं के लिए एआई के तत्काल और भविष्य के जोखिमों पर विचार करने का एक अवसर है और इन जोखिमों को विश्व स्तर पर समन्वित दृष्टिकोण के माध्यम से कैसे कम किया जा सकता है"। विशेष रूप से संयुक्त राज्य अमेरिका में सरकारी संगठनों ने भी तकनीकी ए. आई. सुरक्षा अनुसंधान के विकास को प्रोत्साहित किया है। इंटेलिजेंस एडवांस्ड रिसर्च प्रोजेक्ट्स एक्टिविटी ने ए. आई. प्रणालियों पर ट्रोजन हमलों की पहचान करने और उनसे बचाने के लिए ट्रोजाई परियोजना शुरू की। डी. ए. आर. पी. ए. समझाने योग्य कृत्रिम बुद्धिमत्ता पर अनुसंधान में संलग्न है और प्रतिकूल हमलों के खिलाफ मजबूती में सुधार करता है। और नेशनल साइंस फाउंडेशन सेंटर फॉर ट्रस्टवर्दी मशीन लर्निंग का समर्थन करता है, और अनुभवजन्य ए. आई. सुरक्षा अनुसंधान के लिए लाखों डॉलर का धन प्रदान कर रहा है। निगमित स्व-विनियमन ए. आई. प्रयोगशालाएँ और कंपनियाँ आम तौर पर सुरक्षा प्रथाओं और मानदंडों का पालन करती हैं जो औपचारिक कानून के बाहर आते हैं। शासन शोधकर्ताओं का एक उद्देश्य इन मानदंडों को आकार देना है। साहित्य में पाई जाने वाली सुरक्षा सिफारिशों के उदाहरणों में तृतीय-पक्ष लेखा परीक्षा करना, विफलताओं को खोजने के लिए इनाम की पेशकश करना, एआई घटनाओं को साझा करना (इस उद्देश्य के लिए एक एआई घटना डेटाबेस बनाया गया था), यह निर्धारित करने के लिए दिशानिर्देशों का पालन करना कि अनुसंधान या मॉडल प्रकाशित करना है या नहीं, और एआई प्रयोगशालाओं में सूचना और साइबर सुरक्षा में सुधार करना शामिल है। कंपनियों ने भी प्रतिबद्धता जताई है। कोहेरे, ओपनएआई और एआई21 ने दुरुपयोग को कम करने पर ध्यान केंद्रित करते हुए "भाषा मॉडल को तैनात करने के लिए सर्वोत्तम प्रथाओं" पर प्रस्ताव और सहमति व्यक्त की। रेसिंग-डायनेमिक्स में योगदान से बचने के लिए, ओपनएआई ने अपने चार्टर में यह भी कहा है कि "यदि कोई मूल्य-संरेखित, सुरक्षा-जागरूक परियोजना हमारे निर्माण से पहले एजीआई के करीब आती है, तो हम प्रतिस्पर्धा बंद करने और इस परियोजना की सहायता शुरू करने के लिए प्रतिबद्ध हैं" इसके अलावा, डीपमाइंड डेमिस हासाबिस के सीईओ, फेसबुक एआई यान लेकुन के निदेशक जैसे उद्योग के नेताओं ने एसिलोमर सिद्धांतों और स्वायत्त हथियारों के खुले पत्र जैसे खुले पत्रों पर हस्ताक्षर किए हैं। ए. आई. संरेखण भी देखें कृत्रिम बुद्धिमत्ता का पता लगाने वाला सॉफ्टवेयर संदर्भ बाहरी लिंक एम. एल. सुरक्षा में अनसुलझी समस्याएं फाउंडेशन मॉडल के अवसरों और जोखिमों पर विनाशकारी ए. आई. जोखिमों का एक अवलोकन ए. आई. दुर्घटनाएँः एक उभरता हुआ खतरा इंजीनियरिंग एक सुरक्षित विश्व कृत्रिम बुद्धिमत्ता कृत्रिम सामान्य बुद्धिमत्ता साइबरनेटिक्स से मौजूद जोखिम