AI safety
AI સલામતી એ એક આંતરશાખાકીય ક્ષેત્ર છે જે અકસ્માતો, દુરૂપયોગ અથવા અન્ય હાનિકારક પરિણામોને રોકવા સાથે સંબંધિત છે જે કૃત્રિમ બુદ્ધિ (AI) પ્રણાલીઓથી પરિણમી શકે છે. તેમાં મશીન નીતિશાસ્ત્ર અને AI સંરેખણનો સમાવેશ થાય છે, જેનો ઉદ્દેશ AI પ્રણાલીઓને નૈતિક અને ફાયદાકારક બનાવવાનો છે, અને AI સલામતીમાં જોખમો માટે દેખરેખ પ્રણાલીઓ અને તેમને અત્યંત વિશ્વસનીય બનાવવા સહિત તકનીકી સમસ્યાઓનો સમાવેશ થાય છે. AI સંશોધન ઉપરાંત, તેમાં સલામતીને પ્રોત્સાહન આપતા ધોરણો અને નીતિઓ વિકસાવવાનો સમાવેશ થાય છે. પ્રેરણાઓ AI સંશોધકો AI ટેકનોલોજી દ્વારા ઊભા થયેલા જોખમની તીવ્રતા અને પ્રાથમિક સ્રોતો વિશે વ્યાપકપણે જુદા જુદા મંતવ્યો ધરાવે છે-જોકે સર્વેક્ષણો સૂચવે છે કે નિષ્ણાતો ઉચ્ચ પરિણામ જોખમોને ગંભીરતાથી લે છે. AI સંશોધકોના બે સર્વેક્ષણોમાં, સરેરાશ પ્રતિભાવ આપનાર એકંદરે AI વિશે આશાવાદી હતા, પરંતુ "અત્યંત ખરાબ (દા. ત.)" પર 5 ટકા સંભાવના મૂકી હતી. માનવ લુપ્તતા) "અદ્યતન AI નું પરિણામ. નેચરલ લેંગ્વેજ પ્રોસેસિંગ (એનએલપી) સમુદાયના 2022ના સર્વેક્ષણમાં, 37 ટકા લોકો સંમત થયા હતા અથવા નબળા સંમત થયા હતા કે એ. આઈ. ના નિર્ણયો "ઓછામાં ઓછા સંપૂર્ણ પરમાણુ યુદ્ધ જેટલા ખરાબ" આપત્તિ તરફ દોરી શકે છે તે વાજબી છે. વિદ્વાનો નિર્ણાયક પ્રણાલીઓની નિષ્ફળતા, પૂર્વગ્રહ અને એ. આઈ. સક્ષમ દેખરેખ; તકનીકી બેરોજગારી, ડિજિટલ હેરફેર અને શસ્ત્રકરણથી ઉભરતા જોખમો; અને ભવિષ્યના કૃત્રિમ સામાન્ય બુદ્ધિ (એજીઆઈ) એજન્ટો પર નિયંત્રણ ગુમાવવાથી અનુમાનિત જોખમોની ચર્ચા કરે છે. કેટલાક લોકોએ એજીઆઈ વિશેની ચિંતાઓની ટીકા કરી છે, જેમ કે એન્ડ્રુ એનજી જેમણે 2015 માં તેમની સરખામણી "મંગળ પર વધુ પડતી વસ્તીની ચિંતા સાથે કરી હતી જ્યારે આપણે હજી સુધી ગ્રહ પર પગ મૂક્યો નથી". બીજી બાજુ સ્ટુઅર્ટ જે. રસેલ સાવચેતી રાખવાની વિનંતી કરે છે, અને દલીલ કરે છે કે "માનવ ચાતુર્યને ઓછો અંદાજ આપવા કરતાં તેની અપેક્ષા રાખવી વધુ સારી છે". કમ્પ્યુટર યુગની શરૂઆતમાં AIના જોખમોની ગંભીરતાપૂર્વક ચર્ચા થવા લાગીઃ 2008 થી 2009 સુધી, એસોસિએશન ફોર ધ એડવાન્સમેન્ટ ઓફ આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AAAI) એ AI સંશોધન અને વિકાસના સંભવિત લાંબા ગાળાના સામાજિક પ્રભાવોને શોધવા અને સંબોધવા માટે એક અભ્યાસ શરૂ કર્યો. પેનલ સામાન્ય રીતે વિજ્ઞાન-સાહિત્યના લેખકો દ્વારા વ્યક્ત કરવામાં આવેલા ક્રાંતિકારી મંતવ્યો અંગે શંકાસ્પદ હતી પરંતુ સંમત થઈ હતી કે "અનપેક્ષિત પરિણામોને ઘટાડવા માટે જટિલ કોમ્પ્યુટેશનલ સિસ્ટમોની વર્તણૂકોની શ્રેણીને સમજવા અને ચકાસવા માટેની પદ્ધતિઓ પર વધારાના સંશોધન મૂલ્યવાન રહેશે". 2011 માં, રોમન યામ્પોલ્સ્કીએ ફિલોસોફી એન્ડ થિયરી ઓફ આર્ટિફિશિયલ ઇન્ટેલિજન્સ પરિષદમાં "AI સેફ્ટી એન્જિનિયરિંગ" શબ્દ રજૂ કર્યો હતો, જેમાં AI સિસ્ટમોની અગાઉની નિષ્ફળતાઓની યાદી આપી હતી અને એવી દલીલ કરી હતી કે "જેમ જેમ AI વધુ સક્ષમ બનશે તેમ તેમ આવી ઘટનાઓની આવર્તન અને ગંભીરતા સતત વધશે". 2014 માં, ફિલસૂફ નિક બોસ્ટ્રોમે સુપર ઇન્ટેલિજન્સઃ પાથ્સ, ડેન્જર્સ, સ્ટ્રેટેજીઝ પુસ્તક પ્રકાશિત કર્યું. તેમનો અભિપ્રાય છે કે એ. જી. આઈ. નો ઉદય એ. આઈ. દ્વારા કાર્યબળના વિસ્થાપન, રાજકીય અને લશ્કરી માળખામાં હેરફેરથી માંડીને માનવ લુપ્ત થવાની સંભાવના સુધીના વિવિધ સામાજિક મુદ્દાઓ પેદા કરવાની ક્ષમતા ધરાવે છે. ભવિષ્યની અદ્યતન પ્રણાલીઓ માનવ અસ્તિત્વ માટે જોખમ ઊભું કરી શકે છે તેવી તેમની દલીલએ એલોન મસ્ક, બિલ ગેટ્સ અને સ્ટીફન હોકિંગને સમાન ચિંતાઓ વ્યક્ત કરવા માટે પ્રેરિત કર્યા. 2015 માં, ડઝનેક આર્ટિફિશિયલ ઇન્ટેલિજન્સ નિષ્ણાતોએ આર્ટિફિશિયલ ઇન્ટેલિજન્સ પર એક ખુલ્લા પત્ર પર હસ્તાક્ષર કર્યા હતા જેમાં AI ની સામાજિક અસરો પર સંશોધન અને નક્કર દિશાઓની રૂપરેખા આપવાની હાકલ કરવામાં આવી હતી. આજની તારીખે, આ પત્ર પર યાન લેકુન, શેન લેગ, યોશુઆ બેંગિયો અને સ્ટુઅર્ટ રસેલ સહિત 8000 થી વધુ લોકોએ હસ્તાક્ષર કર્યા છે. તે જ વર્ષે, પ્રોફેસર સ્ટુઅર્ટ રસેલની આગેવાની હેઠળના વિદ્વાનોના જૂથે યુનિવર્સિટી ઓફ કેલિફોર્નિયા બર્કલે ખાતે સેન્ટર ફોર હ્યુમન-કોમ્પેટિબલ AIની સ્થાપના કરી હતી અને ફ્યુચર ઓફ લાઇફ ઇન્સ્ટિટ્યુટે "આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) સલામત, નૈતિક અને ફાયદાકારક રહે તે સુનિશ્ચિત કરવાના હેતુથી" સંશોધન માટે $65 લાખનું અનુદાન આપ્યું હતું. 2016 માં, વ્હાઇટ હાઉસ ઓફિસ ઓફ સાયન્સ એન્ડ ટેક્નોલોજી પોલિસી અને કાર્નેગી મેલોન યુનિવર્સિટીએ આર્ટિફિશિયલ ઇન્ટેલિજન્સ માટે સલામતી અને નિયંત્રણ પર જાહેર વર્કશોપની જાહેરાત કરી હતી, જે એ. આઈ. ના "ફાયદા અને ખામીઓ" ની તપાસ કરવાના હેતુથી વ્હાઇટ હાઉસની ચાર વર્કશોપમાંથી એક હતી. તે જ વર્ષે, AI સલામતીમાં કોંક્રિટ પ્રોબ્લેમ્સ-પ્રથમ અને સૌથી પ્રભાવશાળી તકનીકી AI સલામતી એજન્ડાઓમાંથી એક-પ્રકાશિત કરવામાં આવી હતી. 2017 માં, ફ્યુચર ઓફ લાઇફ ઇન્સ્ટિટ્યુટે ફાયદાકારક AI પર એસિલોમર પરિષદને પ્રાયોજિત કરી હતી, જ્યાં 100 થી વધુ વિચારશીલ નેતાઓએ ફાયદાકારક AI માટે સિદ્ધાંતો ઘડ્યાં હતાં, જેમાં "રેસ અવોઇડન્સઃ AI સિસ્ટમો વિકસાવતી ટીમોએ સલામતીના ધોરણો પર કોર્નર-કટિંગ ટાળવા માટે સક્રિય સહકાર આપવો જોઈએ". 2018 માં, ડીપમાઇન્ડ સેફ્ટી ટીમે સ્પષ્ટીકરણ, મજબૂતાઈ અને ખાતરીમાં AI સલામતી સમસ્યાઓની રૂપરેખા આપી હતી. તે પછીના વર્ષે, સંશોધકોએ ICLR ખાતે એક વર્કશોપનું આયોજન કર્યું હતું જેણે આ સમસ્યાના ક્ષેત્રો પર ધ્યાન કેન્દ્રિત કર્યું હતું. 2021 માં, એમએલ સલામતીમાં વણઉકેલાયેલી સમસ્યાઓ પ્રકાશિત કરવામાં આવી હતી, જેમાં મજબૂતાઈ, દેખરેખ, સંરેખણ અને પ્રણાલીગત સલામતીમાં સંશોધન દિશાઓની રૂપરેખા આપવામાં આવી હતી. 2023માં, ઋષિ સુનાકે કહ્યું હતું કે તેઓ ઇચ્છે છે કે યુનાઇટેડ કિંગડમ "વૈશ્વિક AI સલામતી નિયમનનું ભૌગોલિક ઘર" બને અને AI સલામતી પર પ્રથમ વૈશ્વિક શિખર સંમેલનનું આયોજન કરે. સંશોધન કેન્દ્રો AI સલામતી સંશોધન ક્ષેત્રોમાં મજબૂતાઈ, દેખરેખ અને સંરેખણનો સમાવેશ થાય છે. મજબૂતાઇ વિરોધી મજબૂતાઇ એ. આઈ. સિસ્ટમો ઘણીવાર પ્રતિકૂળ ઉદાહરણો અથવા "મશીન લર્નિંગ (એમ. એલ.) મોડેલ્સ માટેના ઇનપુટ્સ કે જે હુમલાખોરે ઇરાદાપૂર્વક મોડેલને ભૂલ કરવા માટે ડિઝાઇન કર્યું છે" માટે સંવેદનશીલ હોય છે. ઉદાહરણ તરીકે, 2013 માં, સેજેડી એટ અલ. એવું જાણવા મળ્યું કે છબીમાં ચોક્કસ અદ્રશ્ય વિક્ષેપ ઉમેરવાથી તેને ઉચ્ચ આત્મવિશ્વાસ સાથે ખોટી રીતે વર્ગીકૃત કરી શકાય છે. ન્યુરલ નેટવર્ક્સમાં આ એક સમસ્યા બની રહી છે, જોકે તાજેતરના કાર્યોમાં વિક્ષેપ સામાન્ય રીતે એટલા મોટા હોય છે કે તે સમજી શકાય છે. વિક્ષેપ લાગુ થયા પછી જમણી બાજુની તમામ છબીઓ શાહમૃગ હોવાની આગાહી કરવામાં આવી છે. (ડાબે) એ યોગ્ય રીતે આગાહી કરાયેલ નમૂનો છે, (મધ્યમાં) વિક્ષેપ 10x, (જમણે) પ્રતિકૂળ ઉદાહરણ દ્વારા વિસ્તૃત કરવામાં આવે છે. પ્રતિકૂળ મજબૂતી ઘણીવાર સુરક્ષા સાથે સંકળાયેલી હોય છે. સંશોધકોએ દર્શાવ્યું હતું કે ધ્વનિ સંકેતને અસ્પષ્ટ રીતે સુધારી શકાય છે જેથી વાણી-થી-લખાણ પ્રણાલીઓ તેને હુમલાખોર પસંદ કરેલા કોઈપણ સંદેશમાં અનુલેખન કરી શકે. નેટવર્ક ઘૂસણખોરી અને માલવેર ડિટેક્શન સિસ્ટમ્સ પણ પ્રતિકૂળ રીતે મજબૂત હોવી જોઈએ કારણ કે હુમલાખોરો ડિટેક્ટર્સને મૂર્ખ બનાવવા માટે તેમના હુમલાની રચના કરી શકે છે. ઉદ્દેશો (પુરસ્કાર નમૂનાઓ) નું પ્રતિનિધિત્વ કરતા નમૂનાઓ પણ પ્રતિકૂળ રીતે મજબૂત હોવા જોઈએ. ઉદાહરણ તરીકે, પુરસ્કાર મોડેલ અંદાજ લગાવી શકે છે કે ટેક્સ્ટ પ્રતિસાદ કેટલો મદદરૂપ છે અને આ સ્કોરને મહત્તમ કરવા માટે ભાષા મોડેલને તાલીમ આપી શકાય છે. સંશોધકોએ દર્શાવ્યું છે કે જો કોઈ ભાષા મોડેલને લાંબા સમય સુધી તાલીમ આપવામાં આવે, તો તે વધુ સારા ગુણ પ્રાપ્ત કરવા અને ઇચ્છિત કાર્ય પર ખરાબ પ્રદર્શન કરવા માટે પુરસ્કાર મોડેલની નબળાઈઓનો લાભ લેશે. પુરસ્કાર મોડેલની પ્રતિકૂળ મજબૂતાઈમાં સુધારો કરીને આ મુદ્દાને સંબોધિત કરી શકાય છે. વધુ સામાન્ય રીતે, અન્ય AI પ્રણાલીનું મૂલ્યાંકન કરવા માટે ઉપયોગમાં લેવાતી કોઈપણ AI પ્રણાલી પ્રતિકૂળ રીતે મજબૂત હોવી જોઈએ. આમાં મોનિટરિંગ ટૂલ્સનો સમાવેશ થઈ શકે છે, કારણ કે તેમાં વધુ વળતર આપવા માટે સંભવિત રીતે ચેડા પણ થઈ શકે છે. અનિશ્ચિતતાનો અંદાજ લગાવવાનું નિરીક્ષણ માનવ સંચાલકો માટે ઘણીવાર એ જાણવું મહત્વપૂર્ણ છે કે તેઓએ AI સિસ્ટમ પર કેટલો વિશ્વાસ કરવો જોઈએ, ખાસ કરીને તબીબી નિદાન જેવી ઉચ્ચ દાવાની સેટિંગ્સમાં. એમ. એલ. મોડેલો સામાન્ય રીતે સંભાવનાઓનું ઉત્પાદન કરીને આત્મવિશ્વાસ વ્યક્ત કરે છે; જો કે, તેઓ ઘણીવાર વધુ પડતા આત્મવિશ્વાસ ધરાવતા હોય છે, ખાસ કરીને એવી પરિસ્થિતિઓમાં કે જે તેમને સંભાળવા માટે તાલીમ આપવામાં આવી હતી તેનાથી અલગ હોય છે. માપાંકન સંશોધનનો ઉદ્દેશ મોડેલની સંભાવનાઓને મોડેલના સાચા પ્રમાણ સાથે શક્ય તેટલી નજીકથી અનુરૂપ બનાવવાનો છે. તેવી જ રીતે, વિસંગતતા શોધ અથવા આઉટ-ઓફ-ડિસ્ટ્રિબ્યુશન (OOD) શોધનો હેતુ એ ઓળખવાનો છે કે જ્યારે AI સિસ્ટમ અસામાન્ય પરિસ્થિતિમાં હોય. ઉદાહરણ તરીકે, જો સ્વાયત્ત વાહન પરનું સેન્સર ખામીયુક્ત હોય, અથવા તે પડકારજનક ભૂપ્રદેશનો સામનો કરે છે, તો તેણે ડ્રાઇવરને નિયંત્રણ લેવા અથવા ખેંચવા માટે ચેતવણી આપવી જોઈએ. વિસંગત અને બિન-વિસંગત ઇનપુટ્સને અલગ પાડવા માટે વર્ગીકરણકર્તાને તાલીમ આપીને વિસંગતતા શોધનો અમલ કરવામાં આવ્યો છે, જો કે વધારાની તકનીકોની શ્રેણી ઉપયોગમાં છે. દુર્ભાવનાપૂર્ણ ઉપયોગને શોધી કાઢતાં વિદ્વાનો અને સરકારી એજન્સીઓએ ચિંતા વ્યક્ત કરી છે કે AI સિસ્ટમનો ઉપયોગ દુર્ભાવનાપૂર્ણ અભિનેતાઓને શસ્ત્રો બનાવવા, જાહેર અભિપ્રાયમાં હેરફેર કરવા અથવા સાયબર હુમલાઓને સ્વચાલિત કરવામાં મદદ કરવા માટે થઈ શકે છે. આ ચિંતાઓ ઓપનએઆઈ જેવી કંપનીઓ માટે વ્યવહારુ ચિંતા છે જે શક્તિશાળી AI ટૂલ્સને ઓનલાઇન હોસ્ટ કરે છે. દુરૂપયોગને રોકવા માટે, ઓપનએઆઈએ ડિટેક્શન સિસ્ટમ્સ બનાવી છે જે વપરાશકર્તાઓને તેમની પ્રવૃત્તિના આધારે ચિહ્નિત કરે છે અથવા પ્રતિબંધિત કરે છે. પારદર્શકતા ન્યુરલ નેટવર્કને ઘણીવાર બ્લેક બોક્સ તરીકે વર્ણવવામાં આવે છે, એટલે કે તે સમજવું મુશ્કેલ છે કે તેઓ મોટી સંખ્યામાં ગણતરીઓ કરે છે તેના પરિણામે તેઓ શા માટે નિર્ણયો લે છે. આ નિષ્ફળતાની આગાહી કરવી પડકારજનક બનાવે છે. 2018માં એક સેલ્ફ ડ્રાઇવિંગ કારે એક રાહદારીને ઓળખવામાં નિષ્ફળ જતાં તેનું મોત થયું હતું. AI સોફ્ટવેરના બ્લેક બોક્સની પ્રકૃતિને કારણે, નિષ્ફળતાનું કારણ અસ્પષ્ટ છે. પારદર્શિતાનો એક મહત્વપૂર્ણ લાભ સમજાવવાની ક્ષમતા છે. નિષ્પક્ષતાની ખાતરી કરવા માટે નિર્ણય શા માટે લેવામાં આવ્યો તે સમજાવવાની કેટલીકવાર કાનૂની જરૂરિયાત હોય છે, ઉદાહરણ તરીકે નોકરીની અરજીઓ અથવા ક્રેડિટ સ્કોર સોંપણીને આપમેળે ફિલ્ટર કરવા માટે. બીજો ફાયદો નિષ્ફળતાનું કારણ જાહેર કરવાનો છે. 2020 કોવિડ-19 રોગચાળાની શરૂઆતમાં, સંશોધકોએ એ બતાવવા માટે પારદર્શિતા સાધનોનો ઉપયોગ કર્યો હતો કે તબીબી છબી વર્ગીકરણકર્તાઓ અપ્રસ્તુત હોસ્પિટલ લેબલો પર 'ધ્યાન આપી રહ્યા હતા'. પારદર્શકતા તકનીકોનો ઉપયોગ ભૂલો સુધારવા માટે પણ થઈ શકે છે. ઉદાહરણ તરીકે, "જી. પી. ટી. માં તથ્યાત્મક સંગઠનોને શોધવું અને સંપાદિત કરવું" પેપરમાં, લેખકો એવા મોડલ પરિમાણોને ઓળખવામાં સક્ષમ હતા કે જે એફિલ ટાવરના સ્થાન વિશેના પ્રશ્નોના જવાબોને કેવી રીતે પ્રભાવિત કરે છે. પછી તેઓ આ જ્ઞાનને 'સંપાદિત' કરી શક્યા જેથી મોડેલ પ્રશ્નોના જવાબ આપી શકે જાણે કે તે માને છે કે ટાવર ફ્રાન્સની જગ્યાએ રોમમાં છે. જો કે આ કિસ્સામાં, લેખકોએ ભૂલને પ્રેરિત કરી, આ પદ્ધતિઓનો ઉપયોગ સંભવિત રીતે તેમને અસરકારક રીતે ઠીક કરવા માટે થઈ શકે છે. કમ્પ્યુટર દ્રષ્ટિમાં મોડેલ સંપાદન તકનીકો પણ અસ્તિત્વ ધરાવે છે. છેવટે, કેટલાક લોકોએ એવી દલીલ કરી છે કે AI પ્રણાલીઓની અપારદર્શકતા એ જોખમનું નોંધપાત્ર સ્રોત છે અને તેઓ કેવી રીતે કાર્ય કરે છે તેની વધુ સારી સમજણ ભવિષ્યમાં ઉચ્ચ-પરિણામની નિષ્ફળતાઓને અટકાવી શકે છે. "આંતરિક" અર્થઘટનક્ષમતા સંશોધનનો ઉદ્દેશ એમ. એલ. મોડેલોને ઓછા અપારદર્શક બનાવવાનો છે. આ સંશોધનનો એક ધ્યેય એ ઓળખવાનો છે કે આંતરિક ચેતાકોષ સક્રિયકરણ શું રજૂ કરે છે. ઉદાહરણ તરીકે, સંશોધકોએ સી. એલ. આઈ. પી. આર્ટિફિશિયલ ઇન્ટેલિજન્સ સિસ્ટમમાં એક ચેતાકોષની ઓળખ કરી જે સ્પાઈડર મેન કોસ્ચ્યુમ, સ્પાઈડરમેનના સ્કેચ અને 'સ્પાઈડર' શબ્દમાં લોકોની છબીઓને પ્રતિસાદ આપે છે. તેમાં આ ચેતાકોષો અથવા 'સર્કિટ્સ' વચ્ચેના જોડાણોને સમજાવવાનો પણ સમાવેશ થાય છે. ઉદાહરણ તરીકે, સંશોધકોએ ટ્રાન્સફોર્મર ધ્યાનમાં પેટર્ન-મેળ ખાતી પદ્ધતિઓ ઓળખી છે જે ભાષાના નમૂનાઓ તેમના સંદર્ભમાંથી કેવી રીતે શીખે છે તેમાં ભૂમિકા ભજવી શકે છે. "આંતરિક અર્થઘટનક્ષમતા" ની સરખામણી ન્યુરોસાયન્સ સાથે કરવામાં આવી છે. બંને કિસ્સાઓમાં, ધ્યેય એ સમજવાનો છે કે જટિલ પ્રણાલીમાં શું ચાલી રહ્યું છે, જો કે એમ. એલ. સંશોધકોને સંપૂર્ણ માપ લેવા અને મનસ્વી ઘટાડા કરવા માટે સક્ષમ હોવાનો ફાયદો છે. ટ્રોજન એમ. એલ. મોડેલોને શોધવામાં સંભવિત રીતે 'ટ્રોજન' અથવા 'બેકડોર્સ' હોઈ શકે છેઃ એવી નબળાઈઓ કે જે દુર્ભાવનાપૂર્ણ અભિનેતાઓ દુર્ભાવનાપૂર્ણ રીતે એ. આઈ. સિસ્ટમમાં નિર્માણ કરે છે. ઉદાહરણ તરીકે, જ્યારે દાગીનાનો ચોક્કસ ટુકડો જોવામાં આવે ત્યારે ટ્રોજન ચહેરાની ઓળખ પ્રણાલી ઍક્સેસ આપી શકે છે; અથવા ટ્રોજન સ્વાયત્ત વાહન સામાન્ય રીતે ત્યાં સુધી કાર્ય કરી શકે છે જ્યાં સુધી કોઈ ચોક્કસ ટ્રિગર દેખાતું નથી. નોંધ લો કે વિરોધી પાસે ટ્રોજન રોપવા માટે સિસ્ટમના તાલીમ ડેટાની ઍક્સેસ હોવી આવશ્યક છે. સી. એલ. આઈ. પી. અથવા જી. પી. ટી.-3 જેવા કેટલાક મોટા મોડેલો સાથે આવું કરવું મુશ્કેલ ન પણ હોઈ શકે કારણ કે તેઓ જાહેરમાં ઉપલબ્ધ ઇન્ટરનેટ ડેટા પર પ્રશિક્ષિત છે. સંશોધકો 3 મિલિયન તાલીમ છબીઓમાંથી માત્ર 300 બદલીને છબી વર્ગીકરણમાં ટ્રોજન રોપવામાં સક્ષમ હતા. સુરક્ષાનું જોખમ ઊભું કરવા ઉપરાંત, સંશોધકોએ એવી દલીલ કરી છે કે ટ્રોજન પરીક્ષણ અને વધુ સારા દેખરેખ સાધનો વિકસાવવા માટે નક્કર સેટિંગ પ્રદાન કરે છે. સંરેખણ પ્રણાલીગત સલામતી અને સામાજિક તકનીકી પરિબળો AI જોખમો (અને વધુ સામાન્ય રીતે તકનીકી જોખમો) ને દુરૂપયોગ અથવા અકસ્માતો તરીકે વર્ગીકૃત કરવા માટે સામાન્ય છે. કેટલાક વિદ્વાનોએ સૂચવ્યું છે કે આ માળખું ઓછું પડે છે. ઉદાહરણ તરીકે, ક્યુબન મિસાઇલ કટોકટી સ્પષ્ટ રીતે એક અકસ્માત અથવા તકનીકીનો દુરુપયોગ ન હતો. નીતિ વિશ્લેષકો ઝ્વેટસ્લૂટ અને ડેફોએ લખ્યું હતું કે, "દુરૂપયોગ અને અકસ્માતના પરિપ્રેક્ષ્યો નુકસાન તરફ દોરી જતી કારણદર્શક સાંકળના છેલ્લા પગલા પર જ ધ્યાન કેન્દ્રિત કરે છેઃ એટલે કે, જે વ્યક્તિએ તકનીકીનો દુરુપયોગ કર્યો હોય, અથવા સિસ્ટમ કે જે અનિચ્છનીય રીતે વર્તે છે. ઘણીવાર, જોકે, સંબંધિત કારણભૂત સાંકળ ઘણી લાંબી હોય છે". જોખમો ઘણીવાર સ્પર્ધાત્મક દબાણ, નુકસાનનો ફેલાવો, ઝડપી વિકાસ, ઉચ્ચ સ્તરની અનિશ્ચિતતા અને અપૂરતી સલામતી સંસ્કૃતિ જેવા 'માળખાકીય' અથવા 'પ્રણાલીગત' પરિબળોમાંથી ઉદ્ભવે છે. સલામતી ઇજનેરીના વ્યાપક સંદર્ભમાં, 'સંસ્થાકીય સલામતી સંસ્કૃતિ' જેવા માળખાકીય પરિબળો લોકપ્રિય STAMP જોખમ વિશ્લેષણ માળખામાં કેન્દ્રિય ભૂમિકા ભજવે છે. માળખાકીય પરિપ્રેક્ષ્યથી પ્રેરિત, કેટલાક સંશોધકોએ સામાજિક તકનીકી સલામતી પરિબળોને સુધારવા માટે મશીન લર્નિંગનો ઉપયોગ કરવાના મહત્વ પર ભાર મૂક્યો છે, ઉદાહરણ તરીકે, સાયબર સંરક્ષણ માટે એમ. એલ. નો ઉપયોગ કરવો, સંસ્થાકીય નિર્ણય લેવામાં સુધારો કરવો અને સહકારની સુવિધા આપવી. સાયબર સંરક્ષણ કેટલાક વિદ્વાનોને ચિંતા છે કે AI સાયબર હુમલાખોર અને સાયબર ડિફેન્ડર્સ વચ્ચે પહેલેથી જ અસંતુલિત રમતને વધુ તીવ્ર બનાવશે. આ 'ફર્સ્ટ સ્ટ્રાઇક' પ્રોત્સાહનોમાં વધારો કરશે અને વધુ આક્રમક અને અસ્થિર હુમલાઓ તરફ દોરી શકે છે. આ જોખમને ઘટાડવા માટે, કેટલાક લોકોએ સાયબર સંરક્ષણ પર વધુ ભાર મૂકવાની હિમાયત કરી છે. વધુમાં, શક્તિશાળી AI મોડેલોને ચોરી થતા અને તેનો દુરુપયોગ થતો અટકાવવા માટે સોફ્ટવેર સુરક્ષા આવશ્યક છે. સંસ્થાકીય નિર્ણય પ્રક્રિયામાં સુધારો આર્થિક અને લશ્કરી ક્ષેત્રોમાં AIની પ્રગતિ અભૂતપૂર્વ રાજકીય પડકારોને વેગ આપી શકે છે. કેટલાક વિદ્વાનોએ AI જાતિ ગતિશીલતાની સરખામણી શીત યુદ્ધ સાથે કરી છે, જ્યાં નાની સંખ્યામાં નિર્ણય લેનારાઓના સાવચેતીભર્યા ચુકાદાઓ ઘણીવાર સ્થિરતા અને આપત્તિ વચ્ચેના તફાવતની જોડણી કરે છે. AI સંશોધકોએ દલીલ કરી છે કે AI તકનીકોનો ઉપયોગ નિર્ણય લેવામાં મદદ કરવા માટે પણ થઈ શકે છે. ઉદાહરણ તરીકે, સંશોધકોએ AI આગાહી અને સલાહકાર પ્રણાલીઓ વિકસાવવાનું શરૂ કર્યું છે. સહકારને સરળ બનાવવો ઘણા મોટા વૈશ્વિક જોખમો (પરમાણુ યુદ્ધ, આબોહવા પરિવર્તન, વગેરે) સહકારના પડકારો તરીકે ઘડવામાં આવ્યા છે. જાણીતા કેદીની મૂંઝવણની સ્થિતિની જેમ, કેટલીક ગતિશીલતા બધા ખેલાડીઓ માટે નબળા પરિણામો તરફ દોરી શકે છે, પછી ભલે તેઓ તેમના સ્વ-હિતમાં શ્રેષ્ઠ રીતે કામ કરતા હોય. ઉદાહરણ તરીકે, જો કોઈ હસ્તક્ષેપ ન કરે તો પરિણામો નોંધપાત્ર હોઈ શકે છે, તેમ છતાં આબોહવા પરિવર્તનને સંબોધવા માટે કોઈ એક અભિનેતા પાસે મજબૂત પ્રોત્સાહનો નથી. એક મુખ્ય AI સહકાર પડકાર 'તળિયેની દોડ' ટાળવાનો છે. આ દૃશ્યમાં, દેશો અથવા કંપનીઓ વધુ સક્ષમ AI પ્રણાલીઓ બનાવવા અને સલામતીની અવગણના કરવા માટે દોડાવે છે, જે આપત્તિજનક અકસ્માત તરફ દોરી જાય છે જે તેમાં સામેલ દરેકને નુકસાન પહોંચાડે છે. આ પ્રકારના દૃશ્યો વિશેની ચિંતાઓએ મનુષ્યો વચ્ચે અને સંભવિત રીતે AI સિસ્ટમો વચ્ચે પણ સહકારને સરળ બનાવવા માટે રાજકીય અને તકનીકી પ્રયાસો બંનેને પ્રેરિત કર્યા છે. મોટાભાગના AI સંશોધન અલગ-અલગ કાર્યો (ઘણીવાર 'સિંગલ-પ્લેયર' રમતોમાં) કરવા માટે વ્યક્તિગત એજન્ટોની રચના કરવા પર ધ્યાન કેન્દ્રિત કરે છે. વિદ્વાનોએ સૂચવ્યું છે કે જેમ જેમ AI પ્રણાલીઓ વધુ સ્વાયત્ત બને છે, તેમ તેમ તેમની ક્રિયાપ્રતિક્રિયાનો અભ્યાસ કરવો અને તેને આકાર આપવો જરૂરી બની શકે છે. શાસનમાં AI શાસન વ્યાપકપણે AI પ્રણાલીઓના ઉપયોગ અને વિકાસને માર્ગદર્શન આપવા માટે ધોરણો, ધોરણો અને નિયમો બનાવવા સાથે સંબંધિત છે. સંશોધન એ. આઈ. સલામતી શાસન સંશોધન એ. આઈ. ની સંભવિત અસરોની પાયાની તપાસથી લઈને ચોક્કસ કાર્યક્રમો સુધીની શ્રેણી ધરાવે છે. પાયાની બાજુએ, સંશોધકોએ એવી દલીલ કરી છે કે AI તેની વ્યાપક ઉપયોગિતાને કારણે સમાજના ઘણા પાસાઓને બદલી શકે છે, તેની સરખામણી વીજળી અને વરાળ એન્જિન સાથે કરી શકાય છે. કેટલાક કાર્યોએ આ અસરોમાંથી ઉદ્ભવતા ચોક્કસ જોખમોની ધારણા કરવા પર ધ્યાન કેન્દ્રિત કર્યું છે-ઉદાહરણ તરીકે, સામૂહિક બેરોજગારી, શસ્ત્રકરણ, ખોટી માહિતી, દેખરેખ અને સત્તાની સાંદ્રતાના જોખમો. અન્ય કાર્ય અંતર્ગત જોખમી પરિબળોની શોધ કરે છે જેમ કે ઝડપથી વિકસતા AI ઉદ્યોગ પર દેખરેખ રાખવાની મુશ્કેલી, AI મોડેલોની ઉપલબ્ધતા અને 'રેસ ટુ ધ બોટમ' ગતિશીલતા. ડીપમાઇન્ડ ખાતે લાંબા ગાળાના શાસન અને વ્યૂહરચનાના વડા એલન ડેફોએ રેસિંગના જોખમો અને સહકારની સંભવિત જરૂરિયાત પર ભાર મૂક્યો છેઃ "એ. આઈ. સલામતી અને સંરેખણ માટે જરૂરી અને પૂરતી શરતની નજીક હોઈ શકે છે કે અદ્યતન શક્તિશાળી પ્રણાલીઓને તૈનાત કરતા પહેલા ઉચ્ચ સ્તરની સાવધાની રાખવી જોઈએ; જો કે, જો અભિનેતાઓ ફર્સ્ટ-મૂવર્સ અથવા સંબંધિત લાભ માટે મોટા વળતર સાથે કોઈ ક્ષેત્રમાં સ્પર્ધા કરી રહ્યા હોય, તો તેમના પર ઉપ-શ્રેષ્ઠ સ્તરની સાવધાની પસંદ કરવા માટે દબાણ કરવામાં આવશે". સરકારી કાર્યવાહી કેટલાક નિષ્ણાતોએ એવી દલીલ કરી છે કે એ. આઈ. નું નિયમન કરવું ખૂબ જ વહેલું છે, ચિંતા વ્યક્ત કરી છે કે નિયમો નવીનીકરણને અવરોધે છે અને "અજ્ઞાનતામાં નિયમન કરવા માટે ઉતાવળ કરવી" મૂર્ખતાપૂર્ણ હશે. અન્ય, જેમ કે ઉદ્યોગપતિ એલોન મસ્ક, ઘટાડવા માટે પૂર્વ-અસરકારક પગલાં લેવાની હાકલ કરે છે. ઔપચારિક કાયદાની બહાર, સરકારી એજન્સીઓએ નૈતિક અને સલામતીની ભલામણો રજૂ કરી છે. માર્ચ 2021માં, યુ. એસ. નેશનલ સિક્યુરિટી કમિશન ઓન આર્ટિફિશિયલ ઇન્ટેલિજન્સએ અહેવાલ આપ્યો હતો કે AIમાં પ્રગતિ "સલામતી, મજબૂતાઈ અને વિશ્વસનીયતા સહિત લક્ષ્યો અને મૂલ્યો સાથે સિસ્ટમો સંરેખિત છે તેની ખાતરી" આપવાનું વધુને વધુ મહત્વપૂર્ણ બનાવી શકે છે. ત્યારબાદ, નેશનલ ઇન્સ્ટિટ્યૂટ ઓફ સ્ટાન્ડર્ડ્સ એન્ડ ટેક્નોલોજીએ AI જોખમનું સંચાલન કરવા માટે એક માળખાનો મુસદ્દો તૈયાર કર્યો, જે સલાહ આપે છે કે જ્યારે "આપત્તિજનક જોખમો હાજર હોય-વિકાસ અને જમાવટ સલામત રીતે બંધ થવી જોઈએ જ્યાં સુધી જોખમોનું પૂરતું સંચાલન કરી શકાતું નથી". સપ્ટેમ્બર 2021 માં, પીપલ્સ રીપબ્લિક ઓફ ચાઇનાએ ચીનમાં AI ના ઉપયોગ માટે નૈતિક માર્ગદર્શિકા પ્રકાશિત કરી હતી, જેમાં એ વાત પર ભાર મૂકવામાં આવ્યો હતો કે AI નિર્ણયો માનવ નિયંત્રણ હેઠળ રહેવા જોઈએ અને જવાબદારી તંત્ર માટે હાકલ કરવી જોઈએ. તે જ મહિનામાં, યુનાઇટેડ કિંગડમે તેની 10 વર્ષની રાષ્ટ્રીય AI વ્યૂહરચના પ્રકાશિત કરી, જેમાં જણાવાયું છે કે બ્રિટિશ સરકાર "બિન-સંરેખિત આર્ટિફિશિયલ જનરલ ઇન્ટેલિજન્સના લાંબા ગાળાના જોખમને અને વિશ્વ માટે તેનો અર્થ જે અણધાર્યા ફેરફારો હશે તેને ગંભીરતાથી લે છે". આ વ્યૂહરચના આપત્તિજનક જોખમો સહિત લાંબા ગાળાના AI જોખમોનું મૂલ્યાંકન કરવા માટેની ક્રિયાઓનું વર્ણન કરે છે. બ્રિટિશ સરકારે AI સલામતી પર પ્રથમ મુખ્ય વૈશ્વિક શિખર સંમેલનની યોજનાઓની જાહેરાત કરી છે. આ 1લી અને 2જી નવેમ્બર 2023ના રોજ થવાનું છે અને "નીતિ ઘડવૈયાઓ અને વિશ્વ નેતાઓ માટે AIના તાત્કાલિક અને ભાવિ જોખમો અને વૈશ્વિક સંકલિત અભિગમ દ્વારા આ જોખમોને કેવી રીતે ઘટાડી શકાય તે અંગે વિચારણા કરવાની તક છે". ખાસ કરીને યુનાઇટેડ સ્ટેટ્સમાં સરકારી સંસ્થાઓએ પણ તકનીકી AI સલામતી સંશોધનના વિકાસને પ્રોત્સાહન આપ્યું છે. ઇન્ટેલિજન્સ એડવાન્સ્ડ રિસર્ચ પ્રોજેક્ટ્સ એક્ટિવિટીએ AI સિસ્ટમો પર ટ્રોઝન હુમલાઓને ઓળખવા અને તેનાથી રક્ષણ આપવા માટે ટ્રોજાઇ પ્રોજેક્ટની શરૂઆત કરી હતી. DARPA સમજાવી શકાય તેવી કૃત્રિમ બુદ્ધિ પર સંશોધન અને પ્રતિકૂળ હુમલાઓ સામે મજબૂતાઈમાં સુધારો કરે છે. અને નેશનલ સાયન્સ ફાઉન્ડેશન સેન્ટર ફોર ટ્રસ્ટવર્દી મશીન લર્નિંગને ટેકો આપે છે, અને પ્રયોગમૂલક AI સલામતી સંશોધન માટે લાખો ડોલરનું ભંડોળ પૂરું પાડે છે. કોર્પોરેટ સ્વ-નિયમન AI પ્રયોગશાળાઓ અને કંપનીઓ સામાન્ય રીતે સલામતી પ્રથાઓ અને ધોરણોનું પાલન કરે છે જે ઔપચારિક કાયદાની બહાર આવે છે. શાસન સંશોધકોનો એક ઉદ્દેશ આ ધોરણોને આકાર આપવાનો છે. સાહિત્યમાં જોવા મળતી સલામતી ભલામણોના ઉદાહરણોમાં તૃતીય-પક્ષ ઓડિટિંગ કરવું, નિષ્ફળતાઓ શોધવા માટે બક્ષિસની ઓફર કરવી, AI ઘટનાઓને વહેંચવી (આ હેતુ માટે AI ઘટના ડેટાબેઝ બનાવવામાં આવ્યો હતો), સંશોધન અથવા મોડેલો પ્રકાશિત કરવા કે નહીં તે નક્કી કરવા માટે માર્ગદર્શિકાનું પાલન કરવું અને AI પ્રયોગશાળાઓમાં માહિતી અને સાયબર સુરક્ષામાં સુધારો કરવો. કંપનીઓએ પણ પ્રતિબદ્ધતા વ્યક્ત કરી છે. કોહેરે, ઓપનએઆઈ અને એ. આઈ. 21 એ દુરુપયોગ ઘટાડવા પર ધ્યાન કેન્દ્રિત કરીને "ભાષાના નમૂનાઓને લાગુ કરવા માટેની શ્રેષ્ઠ પદ્ધતિઓ" પર પ્રસ્તાવ મૂક્યો અને સંમત થયા. રેસિંગ-ડાયનેમિક્સમાં યોગદાન આપવાનું ટાળવા માટે, ઓપનએઆઈએ તેમના ચાર્ટરમાં એમ પણ કહ્યું છે કે "જો કોઈ મૂલ્ય-સંરેખિત, સલામતી-સભાન પ્રોજેક્ટ આપણે કરીએ તે પહેલાં એજીઆઈ બનાવવાની નજીક આવે, તો અમે આ પ્રોજેક્ટ સાથે સ્પર્ધા કરવાનું બંધ કરવા અને સહાય કરવાનું શરૂ કરવા માટે પ્રતિબદ્ધ છીએ" ઉપરાંત, ડીપમાઇન્ડના સીઇઓ ડેમિસ હાસાબિસ, ફેસબુક એઆઈના ડિરેક્ટર યાન લેકુન જેવા ઉદ્યોગ અગ્રણીઓએ એસિલોમર સિદ્ધાંતો અને સ્વાયત્ત શસ્ત્રોના ખુલ્લા પત્ર જેવા ખુલ્લા પત્રો પર હસ્તાક્ષર કર્યા છે. AI સંરેખણ પણ જુઓ આર્ટિફિશિયલ ઇન્ટેલિજન્સ ડિટેક્શન સોફ્ટવેર સંદર્ભો બાહ્ય કડીઓ ફાઉન્ડેશન મોડલ્સની તકો અને જોખમો પર એમએલ સલામતીમાં વણઉકેલાયેલી સમસ્યાઓ વિનાશક AI જોખમોની ઝાંખી AI અકસ્માતોઃ એક ઊભરતો ખતરો ઇજનેરી એક સુરક્ષિત વિશ્વ આર્ટિફિશિયલ ઇન્ટેલિજન્સથી અસ્તિત્વમાં રહેલું જોખમ સાયબરનેટિક્સ