AI safety
এআই নিরাপত্তা একটি আন্তঃবিষয়ক ক্ষেত্র যা দুর্ঘটনা, অপব্যবহার বা কৃত্রিম বুদ্ধিমত্তা (এআই) সিস্টেমের ফলে হতে পারে এমন অন্যান্য ক্ষতিকারক পরিণতি প্রতিরোধের সাথে সম্পর্কিত। এটি মেশিন নৈতিকতা এবং এআই সারিবদ্ধকরণকে অন্তর্ভুক্ত করে, যার লক্ষ্য এআই সিস্টেমগুলিকে নৈতিক এবং উপকারী করে তোলা, এবং এআই সুরক্ষা ঝুঁকির জন্য পর্যবেক্ষণ ব্যবস্থা এবং সেগুলিকে অত্যন্ত নির্ভরযোগ্য করে তোলা সহ প্রযুক্তিগত সমস্যাগুলিকে অন্তর্ভুক্ত করে। কৃত্রিম বুদ্ধিমত্তা গবেষণার পাশাপাশি, এর সঙ্গে এমন নিয়মাবলী ও নীতিগুলির বিকাশ জড়িত যা সুরক্ষার প্রচার করে। অনুপ্রেরণা এআই গবেষকদের এআই প্রযুক্তি দ্বারা সৃষ্ট ঝুঁকির তীব্রতা এবং প্রাথমিক উৎস সম্পর্কে ব্যাপকভাবে ভিন্ন মতামত রয়েছে-যদিও সমীক্ষাগুলি পরামর্শ দেয় যে বিশেষজ্ঞরা উচ্চ পরিণতির ঝুঁকিগুলিকে গুরুত্ব সহকারে নেন। এআই গবেষকদের দুটি সমীক্ষায়, মধ্যবর্তী উত্তরদাতা সামগ্রিকভাবে এআই সম্পর্কে আশাবাদী ছিলেন, তবে 5 শতাংশ সম্ভাবনাকে "অত্যন্ত খারাপ" (যেমন। মানব বিলুপ্তি) "উন্নত এআই-এর ফলাফল। ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) সম্প্রদায়ের 2022 সালের একটি সমীক্ষায়, 37 শতাংশ একমত বা দুর্বলভাবে একমত যে এটি যুক্তিসঙ্গত যে এআই সিদ্ধান্তগুলি এমন একটি বিপর্যয়ের দিকে নিয়ে যেতে পারে যা "কমপক্ষে একটি সর্বাত্মক পারমাণবিক যুদ্ধের মতো খারাপ"। পণ্ডিতরা সমালোচনামূলক সিস্টেমের ব্যর্থতা, পক্ষপাত এবং এআই সক্ষম নজরদারি থেকে বর্তমান ঝুঁকি নিয়ে আলোচনা করেছেন; প্রযুক্তিগত বেকারত্ব, ডিজিটাল কারসাজি এবং অস্ত্রশস্ত্র থেকে উদীয়মান ঝুঁকি; এবং ভবিষ্যতের কৃত্রিম সাধারণ বুদ্ধিমত্তা (এজিআই) এজেন্টদের নিয়ন্ত্রণ হারানোর অনুমানমূলক ঝুঁকি। কেউ কেউ এ. জি. আই সম্পর্কে উদ্বেগের সমালোচনা করেছেন, যেমন অ্যান্ড্রু এনজি যিনি 2015 সালে তাদের "মঙ্গল গ্রহে অতিরিক্ত জনসংখ্যার বিষয়ে উদ্বেগের সাথে তুলনা করেছেন যখন আমরা এখনও গ্রহে পা রাখিনি।" অন্যদিকে স্টুয়ার্ট জে রাসেল সতর্কতার আহ্বান জানিয়ে যুক্তি দিয়েছিলেন যে "মানুষের দক্ষতাকে অবমূল্যায়ন করার চেয়ে পূর্বাভাস দেওয়া ভাল"। কম্পিউটার যুগের শুরুতে এআই-এর ঝুঁকিগুলি নিয়ে গুরুত্ব সহকারে আলোচনা করা শুরু হয়ঃ 2008 থেকে 2009 সাল পর্যন্ত, অ্যাসোসিয়েশন ফর দ্য অ্যাডভান্সমেন্ট অফ আর্টিফিশিয়াল ইন্টেলিজেন্স (এএএআই) এআই গবেষণা ও উন্নয়নের সম্ভাব্য দীর্ঘমেয়াদী সামাজিক প্রভাবগুলি অন্বেষণ ও সমাধানের জন্য একটি গবেষণা শুরু করে। প্যানেলটি সাধারণত বিজ্ঞান-কল্পকাহিনী লেখকদের দ্বারা প্রকাশিত মৌলবাদী মতামত সম্পর্কে সংশয়ী ছিল তবে একমত হয়েছিল যে "অপ্রত্যাশিত ফলাফলগুলি হ্রাস করার জন্য জটিল গণনামূলক ব্যবস্থার আচরণের পরিসীমা বোঝার এবং যাচাই করার পদ্ধতির উপর অতিরিক্ত গবেষণা মূল্যবান হবে"। 2011 সালে, রোমান ইয়ামপোলস্কি আর্টিফিশিয়াল ইন্টেলিজেন্সের দর্শন ও তত্ত্ব সম্মেলনে "এআই সেফটি ইঞ্জিনিয়ারিং" শব্দটি প্রবর্তন করেছিলেন, এআই সিস্টেমগুলির পূর্ববর্তী ব্যর্থতাগুলি তালিকাভুক্ত করে এবং যুক্তি দিয়েছিলেন যে "এআইগুলি আরও সক্ষম হওয়ার সাথে সাথে এই জাতীয় ঘটনাগুলির ফ্রিকোয়েন্সি এবং গুরুতরতা অবিচ্ছিন্নভাবে বৃদ্ধি পাবে"। 2014 সালে দার্শনিক নিক বস্ট্রম সুপার ইন্টেলিজেন্সঃ পাথস, ডেঞ্জার্স, স্ট্র্যাটেজিস বইটি প্রকাশ করেন। তাঁর মতে, এ. জি. আই-এর উত্থানের ফলে বিভিন্ন সামাজিক সমস্যা তৈরি হওয়ার সম্ভাবনা রয়েছে, যার মধ্যে রয়েছে কৃত্রিম বুদ্ধিমত্তা দ্বারা কর্মশক্তির স্থানচ্যুতি, রাজনৈতিক ও সামরিক কাঠামোর কারসাজি, এমনকি মানব বিলুপ্তির সম্ভাবনা। তাঁর যুক্তি যে ভবিষ্যতের উন্নত ব্যবস্থা মানুষের অস্তিত্বের জন্য হুমকিস্বরূপ হতে পারে, এলন মাস্ক, বিল গেটস এবং স্টিফেন হকিংকেও অনুরূপ উদ্বেগ প্রকাশ করতে প্ররোচিত করেছিল। 2015 সালে, কয়েক ডজন কৃত্রিম বুদ্ধিমত্তা বিশেষজ্ঞ কৃত্রিম বুদ্ধিমত্তার সামাজিক প্রভাব নিয়ে গবেষণা এবং সুনির্দিষ্ট দিকনির্দেশনার রূপরেখা দেওয়ার আহ্বান জানিয়ে কৃত্রিম বুদ্ধিমত্তার উপর একটি খোলা চিঠিতে স্বাক্ষর করেছেন। আজ অবধি, ইয়ান লেকুন, শেন লেগ, ইয়োশুয়া বেঞ্জিও এবং স্টুয়ার্ট রাসেল সহ 8000 জনেরও বেশি লোক এই চিঠিতে স্বাক্ষর করেছেন। একই বছরে, অধ্যাপক স্টুয়ার্ট রাসেলের নেতৃত্বে একদল শিক্ষাবিদ ইউনিভার্সিটি অফ ক্যালিফোর্নিয়া বার্কলেতে সেন্টার ফর হিউম্যান-কমপ্যাটিবল এআই প্রতিষ্ঠা করেন এবং ফিউচার অফ লাইফ ইনস্টিটিউট "কৃত্রিম বুদ্ধিমত্তা (এআই) নিরাপদ, নৈতিক এবং উপকারী থাকা নিশ্চিত করার" লক্ষ্যে গবেষণার জন্য 65 লক্ষ মার্কিন ডলার অনুদান প্রদান করে। 2016 সালে, হোয়াইট হাউস অফিস অফ সায়েন্স অ্যান্ড টেকনোলজি পলিসি এবং কার্নেগি মেলন ইউনিভার্সিটি দ্য পাবলিক ওয়ার্কশপ অন সেফটি অ্যান্ড কন্ট্রোল ফর আর্টিফিশিয়াল ইন্টেলিজেন্স ঘোষণা করে, যা এআই-এর "সুবিধা এবং ত্রুটিগুলি" তদন্তের লক্ষ্যে হোয়াইট হাউসের চারটি কর্মশালার একটি ক্রম ছিল। একই বছরে, কৃত্রিম বুদ্ধিমত্তার নিরাপত্তায় কংক্রিট সমস্যা-প্রথম এবং সবচেয়ে প্রভাবশালী প্রযুক্তিগত কৃত্রিম বুদ্ধিমত্তার সুরক্ষা এজেন্ডাগুলির মধ্যে একটি-প্রকাশিত হয়েছিল। 2017 সালে, ফিউচার অফ লাইফ ইনস্টিটিউট উপকারী এআই-এর উপর এসিলোমার সম্মেলনকে স্পনসর করেছিল, যেখানে 100 জনেরও বেশি চিন্তাশীল নেতারা উপকারী এআই-এর জন্য নীতি প্রণয়ন করেছিলেন যার মধ্যে রয়েছে "রেস অ্যাভয়েডেন্সঃ এআই সিস্টেমগুলি বিকাশকারী দলগুলিকে সুরক্ষার মানগুলিতে কোণ-কাটা এড়াতে সক্রিয়ভাবে সহযোগিতা করা উচিত"। 2018 সালে, ডিপমাইন্ড সেফটি টিম নির্দিষ্টকরণ, মজবুততা এবং আশ্বাসের ক্ষেত্রে এআই নিরাপত্তা সমস্যার রূপরেখা তৈরি করে। পরের বছর, গবেষকরা আইসিএলআর-এ একটি কর্মশালার আয়োজন করেন যা এই সমস্যাগুলির উপর দৃষ্টি নিবদ্ধ করে। 2021 সালে, এম. এল. নিরাপত্তায় অমীমাংসিত সমস্যাগুলি প্রকাশিত হয়েছিল, যা দৃust়তা, পর্যবেক্ষণ, সারিবদ্ধকরণ এবং পদ্ধতিগত সুরক্ষার ক্ষেত্রে গবেষণার দিকনির্দেশনার রূপরেখা তৈরি করেছিল। 2023 সালে, ঋষি সুনাক বলেছিলেন যে তিনি চান যুক্তরাজ্য "বৈশ্বিক এআই নিরাপত্তা নিয়ন্ত্রণের ভৌগলিক আবাস" হয়ে উঠুক এবং এআই নিরাপত্তা নিয়ে প্রথম বৈশ্বিক শীর্ষ সম্মেলনের আয়োজন করুক। গবেষণা কেন্দ্র এআই নিরাপত্তা গবেষণার ক্ষেত্রগুলির মধ্যে রয়েছে দৃঢ়তা, পর্যবেক্ষণ এবং সারিবদ্ধকরণ। দৃঢ়তা প্রতিকূল দৃঢ়তা এআই সিস্টেমগুলি প্রায়শই প্রতিকূল উদাহরণ বা "মেশিন লার্নিং (এমএল) মডেলের ইনপুটগুলির জন্য ঝুঁকিপূর্ণ যা কোনও আক্রমণকারী ইচ্ছাকৃতভাবে মডেলটিকে ভুল করার জন্য ডিজাইন করেছে"। উদাহরণস্বরূপ, 2013 সালে, সেজেডি এবং অন্যান্যরা। আবিষ্কার করেছেন যে কোনও ছবিতে নির্দিষ্ট অদৃশ্য বিশৃঙ্খলা যুক্ত করার ফলে এটি উচ্চ আত্মবিশ্বাসের সাথে ভুল শ্রেণিবদ্ধ হতে পারে। এটি নিউরাল নেটওয়ার্কগুলির একটি সমস্যা হিসাবে অব্যাহত রয়েছে, যদিও সাম্প্রতিক গবেষণায় বিশৃঙ্খলা সাধারণত বোধগম্য হওয়ার জন্য যথেষ্ট বড়। ডানদিকের সমস্ত ছবিগুলি বিশৃঙ্খলা প্রয়োগের পরে একটি উটপাখী হতে পারে বলে পূর্বাভাস দেওয়া হয়েছে। (বামে) একটি সঠিকভাবে পূর্বাভাস দেওয়া নমুনা, (মাঝখানে) 10x দ্বারা বিবর্ধিত প্রয়োগ করা বিশৃঙ্খলা, (ডানদিকে) প্রতিকূল উদাহরণ। প্রতিকূল দৃঢ়তা প্রায়শই নিরাপত্তার সঙ্গে যুক্ত থাকে। গবেষকরা দেখিয়েছেন যে একটি অডিও সংকেতকে অদৃশ্যভাবে পরিবর্তন করা যেতে পারে যাতে স্পিচ-টু-টেক্সট সিস্টেমগুলি আক্রমণকারীর পছন্দের যে কোনও বার্তায় এটি প্রতিলিপি করে। নেটওয়ার্ক অনুপ্রবেশ এবং ম্যালওয়্যার সনাক্তকরণ ব্যবস্থাও অবশ্যই প্রতিকূলভাবে শক্তিশালী হতে হবে কারণ আক্রমণকারীরা ডিটেক্টরদের বোকা বানানোর জন্য তাদের আক্রমণগুলি ডিজাইন করতে পারে। যে মডেলগুলি উদ্দেশ্যগুলির প্রতিনিধিত্ব করে (পুরস্কার মডেল) সেগুলিও অবশ্যই প্রতিকূলভাবে শক্তিশালী হতে হবে। উদাহরণস্বরূপ, একটি রিওয়ার্ড মডেল একটি পাঠ্য প্রতিক্রিয়া কতটা সহায়ক তা অনুমান করতে পারে এবং এই স্কোরটি সর্বাধিক করার জন্য একটি ভাষা মডেলকে প্রশিক্ষণ দেওয়া যেতে পারে। গবেষকরা দেখিয়েছেন যে, যদি কোনও ভাষার মডেলকে দীর্ঘ সময়ের জন্য প্রশিক্ষিত করা হয়, তবে এটি আরও ভাল স্কোর অর্জনের জন্য পুরস্কার মডেলের দুর্বলতাগুলিকে কাজে লাগাবে এবং কাঙ্ক্ষিত কাজে আরও খারাপ কাজ করবে। পুরস্কার মডেলের প্রতিকূল দৃঢ়তা উন্নত করে এই সমস্যার সমাধান করা যেতে পারে। আরও সাধারণভাবে, অন্য এআই সিস্টেমের মূল্যায়নের জন্য ব্যবহৃত যে কোনও এআই সিস্টেম অবশ্যই প্রতিকূলভাবে শক্তিশালী হতে হবে। এর মধ্যে নজরদারি সরঞ্জাম অন্তর্ভুক্ত থাকতে পারে, কারণ এগুলিকে আরও বেশি পুরস্কার দেওয়ার জন্য সম্ভাব্যভাবে বিকৃত করা হতে পারে। পর্যবেক্ষণ অনিশ্চয়তার অনুমান মানব অপারেটরদের জন্য প্রায়শই একটি এআই সিস্টেমকে কতটা বিশ্বাস করা উচিত তা অনুমান করা গুরুত্বপূর্ণ, বিশেষত চিকিৎসা নির্ণয়ের মতো উচ্চ-ঝুঁকির সেটিংসে। এমএল মডেলগুলি সাধারণত সম্ভাব্যতা প্রকাশ করে আত্মবিশ্বাস প্রকাশ করে; তবে, তারা প্রায়শই অতিরিক্ত আত্মবিশ্বাসী হয়, বিশেষত এমন পরিস্থিতিতে যা তাদের পরিচালনা করার জন্য প্রশিক্ষিত করা হয়েছিল তার থেকে আলাদা। ক্রমাঙ্কন গবেষণার লক্ষ্য হল মডেলের সম্ভাব্যতা যতটা সম্ভব সঠিক অনুপাতের সাথে সামঞ্জস্যপূর্ণ করা। একইভাবে, অসঙ্গতি সনাক্তকরণ বা আউট-অফ-ডিস্ট্রিবিউশন (ওওডি) সনাক্তকরণের লক্ষ্য হল কোনও এআই সিস্টেম কখন অস্বাভাবিক পরিস্থিতিতে রয়েছে তা চিহ্নিত করা। উদাহরণস্বরূপ, যদি কোনও স্বায়ত্তশাসিত গাড়ির কোনও সেন্সর ত্রুটিযুক্ত হয়, বা এটি চ্যালেঞ্জিং ভূখণ্ডের মুখোমুখি হয়, তবে এটি চালককে নিয়ন্ত্রণ নিতে বা টানতে সতর্ক করবে। ব্যতিক্রমী এবং অ-ব্যতিক্রমী ইনপুটগুলি আলাদা করার জন্য একটি শ্রেণীবিভাগকে প্রশিক্ষণ দিয়ে ব্যতিক্রমী সনাক্তকরণ বাস্তবায়িত করা হয়েছে, যদিও অতিরিক্ত কৌশলগুলির একটি পরিসীমা ব্যবহার করা হয়। বিদ্বেষপূর্ণ ব্যবহার সনাক্তকরণ পণ্ডিত এবং সরকারী সংস্থাগুলি উদ্বেগ প্রকাশ করেছে যে এআই সিস্টেমগুলি বিদ্বেষপূর্ণ অভিনেতাদের অস্ত্র তৈরি করতে, জনমতকে পরিচালনা করতে বা সাইবার আক্রমণগুলি স্বয়ংক্রিয় করতে সহায়তা করতে ব্যবহার করা যেতে পারে। এই উদ্বেগগুলি ওপেনএআই-এর মতো সংস্থাগুলির জন্য একটি ব্যবহারিক উদ্বেগ যা অনলাইনে শক্তিশালী এআই সরঞ্জামগুলি হোস্ট করে। অপব্যবহার রোধ করার জন্য, ওপেনএআই সনাক্তকরণ ব্যবস্থা তৈরি করেছে যা ব্যবহারকারীদের তাদের কার্যকলাপের উপর ভিত্তি করে চিহ্নিত বা সীমাবদ্ধ করে। স্বচ্ছতা স্নায়বিক নেটওয়ার্কগুলিকে প্রায়শই ব্ল্যাক বক্স হিসাবে বর্ণনা করা হয়, যার অর্থ তারা যে বিপুল সংখ্যক গণনা সম্পাদন করে তার ফলস্বরূপ কেন তারা সিদ্ধান্ত নেয় তা বোঝা কঠিন। এটি ব্যর্থতার পূর্বাভাস দেওয়া চ্যালেঞ্জিং করে তোলে। 2018 সালে, একটি স্ব-চালিত গাড়ি তাদের সনাক্ত করতে ব্যর্থ হওয়ার পরে একজন পথচারীকে হত্যা করেছিল। এআই সফ্টওয়্যারটির ব্ল্যাক বক্স প্রকৃতির কারণে, ব্যর্থতার কারণ অস্পষ্ট রয়ে গেছে। স্বচ্ছতার একটি গুরুত্বপূর্ণ সুবিধা হল ব্যাখ্যামূলকতা। কখনও কখনও ন্যায্যতা নিশ্চিত করার জন্য কেন কোনও সিদ্ধান্ত নেওয়া হয়েছিল তার ব্যাখ্যা প্রদান করা একটি আইনি প্রয়োজনীয়তা, উদাহরণস্বরূপ কাজের আবেদন বা ক্রেডিট স্কোর অ্যাসাইনমেন্ট স্বয়ংক্রিয়ভাবে ফিল্টার করার জন্য। আরেকটি সুবিধা হল ব্যর্থতার কারণ প্রকাশ করা। 2020 সালের কোভিড-19 মহামারীর শুরুতে গবেষকরা স্বচ্ছতা সরঞ্জাম ব্যবহার করে দেখিয়েছিলেন যে মেডিকেল ইমেজ ক্লাসিফায়ারগুলি অপ্রাসঙ্গিক হাসপাতালের লেবেলগুলিতে 'মনোযোগ দিচ্ছে'। ত্রুটি সংশোধন করতে স্বচ্ছতা কৌশলও ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, "জিপিটি-তে ফ্যাক্টুয়াল অ্যাসোসিয়েশনগুলি সনাক্ত করা এবং সম্পাদনা করা" গবেষণাপত্রে, লেখকরা মডেল পরামিতিগুলি সনাক্ত করতে সক্ষম হয়েছিলেন যা আইফেল টাওয়ারের অবস্থান সম্পর্কে প্রশ্নের উত্তর দেওয়ার ক্ষেত্রে প্রভাবিত করেছিল। তারা তখন এই জ্ঞানকে 'সম্পাদনা' করতে সক্ষম হয়েছিল যাতে মডেলটি প্রশ্নের উত্তর দিতে পারে যেন এটি বিশ্বাস করে যে টাওয়ারটি ফ্রান্সের পরিবর্তে রোমে ছিল। যদিও এই ক্ষেত্রে, লেখকরা একটি ত্রুটি প্ররোচিত করেছিলেন, এই পদ্ধতিগুলি দক্ষতার সাথে সেগুলি ঠিক করার জন্য সম্ভাব্যভাবে ব্যবহার করা যেতে পারে। কম্পিউটার ভিশনে মডেল সম্পাদনা কৌশলও বিদ্যমান। পরিশেষে, কেউ কেউ যুক্তি দিয়েছেন যে এআই সিস্টেমগুলির অস্বচ্ছতা ঝুঁকির একটি উল্লেখযোগ্য উৎস এবং তারা কীভাবে কাজ করে সে সম্পর্কে আরও ভাল ধারণা ভবিষ্যতে উচ্চ-পরিণতি ব্যর্থতা প্রতিরোধ করতে পারে। "অভ্যন্তরীণ" ব্যাখ্যামূলক গবেষণার লক্ষ্য হল এম. এল মডেলগুলিকে কম অস্বচ্ছ করে তোলা। এই গবেষণার একটি লক্ষ্য হল অভ্যন্তরীণ স্নায়ুকোষের সক্রিয়তা কী প্রতিনিধিত্ব করে তা চিহ্নিত করা। উদাহরণস্বরূপ, গবেষকরা সি. এল. আই. পি কৃত্রিম বুদ্ধিমত্তা ব্যবস্থায় একটি স্নায়ুকোষ চিহ্নিত করেছেন যা মাকড়সার মানুষের পোশাকে মানুষের ছবি, মাকড়সার স্কেচ এবং 'মাকড়সা' শব্দটির প্রতি সাড়া দেয়। এতে এই স্নায়ুকোষ বা 'সার্কিট'-এর মধ্যে সংযোগ ব্যাখ্যা করাও জড়িত। উদাহরণস্বরূপ, গবেষকরা ট্রান্সফরমারের মনোযোগের ক্ষেত্রে প্যাটার্ন-ম্যাচিং প্রক্রিয়া চিহ্নিত করেছেন যা ভাষার মডেলগুলি তাদের প্রসঙ্গ থেকে কীভাবে শেখে তাতে ভূমিকা রাখতে পারে। "অভ্যন্তরীণ ব্যাখ্যার" সঙ্গে স্নায়ুবিজ্ঞানের তুলনা করা হয়েছে। উভয় ক্ষেত্রেই, লক্ষ্য হল একটি জটিল ব্যবস্থায় কী ঘটছে তা বোঝা, যদিও এম. এল গবেষকদের নিখুঁত পরিমাপ নিতে এবং নির্বিচারে অপসারণ করতে সক্ষম হওয়ার সুবিধা রয়েছে। ট্রোজান এমএল মডেলগুলি সনাক্ত করার ক্ষেত্রে সম্ভাব্য 'ট্রোজান' বা 'ব্যাকডোর' থাকতে পারেঃ দুর্বলতা যা বিদ্বেষপূর্ণ অভিনেতারা বিদ্বেষপূর্ণভাবে একটি এআই সিস্টেমে তৈরি করে। উদাহরণস্বরূপ, একটি ট্রোজানযুক্ত মুখের স্বীকৃতি ব্যবস্থা যখন কোনও নির্দিষ্ট গহনা দেখা যায় তখন অ্যাক্সেস দিতে পারে; অথবা একটি ট্রোজানযুক্ত স্বায়ত্তশাসিত যানবাহন একটি নির্দিষ্ট ট্রিগার দৃশ্যমান না হওয়া পর্যন্ত স্বাভাবিকভাবে কাজ করতে পারে। মনে রাখবেন যে ট্রোজান লাগানোর জন্য একজন প্রতিপক্ষের অবশ্যই সিস্টেমের প্রশিক্ষণ তথ্যের অ্যাক্সেস থাকতে হবে। সি. এল. আই. পি বা জি. পি. টি-3-এর মতো কিছু বড় মডেলের ক্ষেত্রে এটি করা কঠিন নাও হতে পারে কারণ তারা সর্বজনীনভাবে উপলব্ধ ইন্টারনেট ডেটাতে প্রশিক্ষিত। গবেষকরা 3 মিলিয়ন প্রশিক্ষণ চিত্রের মধ্যে মাত্র 300 টি পরিবর্তন করে একটি চিত্র শ্রেণিবিন্যাসে একটি ট্রোজান লাগাতে সক্ষম হন। একটি নিরাপত্তা ঝুঁকি তৈরি করার পাশাপাশি, গবেষকরা যুক্তি দিয়েছেন যে ট্রোজানগুলি পরীক্ষা এবং আরও ভাল পর্যবেক্ষণ সরঞ্জাম বিকাশের জন্য একটি কংক্রিট সেটিং প্রদান করে। বিন্যাস পদ্ধতিগত নিরাপত্তা এবং সামাজিক-প্রযুক্তিগত কারণগুলি এআই ঝুঁকি (এবং আরও সাধারণভাবে প্রযুক্তিগত ঝুঁকি)-কে অপব্যবহার বা দুর্ঘটনা হিসাবে শ্রেণীবদ্ধ করা সাধারণ। কিছু পণ্ডিত পরামর্শ দিয়েছেন যে এই কাঠামোটি স্বল্প। উদাহরণস্বরূপ, কিউবার ক্ষেপণাস্ত্র সংকট স্পষ্টভাবে একটি দুর্ঘটনা বা প্রযুক্তির অপব্যবহার ছিল না। নীতি বিশ্লেষক জোয়েটস্লুট এবং ডাফো লিখেছেন, "অপব্যবহার এবং দুর্ঘটনার দৃষ্টিভঙ্গি শুধুমাত্র ক্ষতির দিকে পরিচালিত একটি কার্যকারণ শৃঙ্খলের শেষ ধাপের দিকে মনোনিবেশ করেঃ অর্থাৎ, যে ব্যক্তি প্রযুক্তির অপব্যবহার করেছেন, বা যে ব্যবস্থাটি অনিচ্ছাকৃতভাবে আচরণ করেছে। প্রায়শই, যদিও, প্রাসঙ্গিক কার্যকারণ শৃঙ্খলা অনেক দীর্ঘ হয়। ঝুঁকিগুলি প্রায়শই প্রতিযোগিতামূলক চাপ, ক্ষতির বিস্তার, দ্রুতগতির বিকাশ, উচ্চ স্তরের অনিশ্চয়তা এবং অপর্যাপ্ত সুরক্ষা সংস্কৃতির মতো 'কাঠামোগত' বা 'পদ্ধতিগত' কারণগুলি থেকে উদ্ভূত হয়। নিরাপত্তা প্রকৌশলের বিস্তৃত প্রেক্ষাপটে, 'সাংগঠনিক নিরাপত্তা সংস্কৃতি'-র মতো কাঠামোগত বিষয়গুলি জনপ্রিয় স্ট্যাম্প ঝুঁকি বিশ্লেষণ কাঠামোতে কেন্দ্রীয় ভূমিকা পালন করে। কাঠামোগত দৃষ্টিকোণ থেকে অনুপ্রাণিত হয়ে, কিছু গবেষক সামাজিক-প্রযুক্তিগত সুরক্ষা কারণগুলির উন্নতির জন্য মেশিন লার্নিং ব্যবহারের গুরুত্বের উপর জোর দিয়েছেন, উদাহরণস্বরূপ, সাইবার প্রতিরক্ষার জন্য এমএল ব্যবহার, প্রাতিষ্ঠানিক সিদ্ধান্ত গ্রহণের উন্নতি এবং সহযোগিতা সহজতর করা। সাইবার প্রতিরক্ষা কিছু পণ্ডিত চিন্তিত যে এআই সাইবার আক্রমণকারী এবং সাইবার ডিফেন্ডারদের মধ্যে ইতিমধ্যে ভারসাম্যহীন খেলাটিকে আরও বাড়িয়ে তুলবে। এটি 'ফার্স্ট স্ট্রাইক' প্রণোদনা বৃদ্ধি করবে এবং আরও আক্রমণাত্মক ও অস্থিতিশীল আক্রমণের দিকে পরিচালিত করতে পারে। এই ঝুঁকি হ্রাস করার জন্য, কেউ কেউ সাইবার প্রতিরক্ষার উপর আরও বেশি জোর দেওয়ার পক্ষে সওয়াল করেছেন। উপরন্তু, শক্তিশালী এআই মডেলগুলি চুরি এবং অপব্যবহার থেকে রক্ষা করার জন্য সফ্টওয়্যার সুরক্ষা অপরিহার্য। প্রাতিষ্ঠানিক সিদ্ধান্ত গ্রহণের উন্নতি অর্থনৈতিক ও সামরিক ক্ষেত্রে কৃত্রিম বুদ্ধিমত্তার অগ্রগতি অভূতপূর্ব রাজনৈতিক চ্যালেঞ্জকে ত্বরান্বিত করতে পারে। কিছু পণ্ডিত এআই জাতি গতিশীলতাকে শীতল যুদ্ধের সাথে তুলনা করেছেন, যেখানে অল্প সংখ্যক সিদ্ধান্ত গ্রহণকারীদের সতর্ক বিচার প্রায়শই স্থিতিশীলতা এবং বিপর্যয়ের মধ্যে পার্থক্যকে বানান করে। এআই গবেষকরা যুক্তি দিয়েছেন যে এআই প্রযুক্তিগুলি সিদ্ধান্ত গ্রহণে সহায়তা করতেও ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, গবেষকরা এআই পূর্বাভাস এবং পরামর্শমূলক ব্যবস্থা তৈরি করতে শুরু করেছেন। সহযোগিতা সহজতর করা বিশ্বের অনেক বড় হুমকি (পারমাণবিক যুদ্ধ, জলবায়ু পরিবর্তন ইত্যাদি)। সহযোগিতাকে চ্যালেঞ্জ হিসেবে চিহ্নিত করা হয়েছে। সুপরিচিত বন্দীদের দ্বিধাদ্বন্দ্বের দৃশ্যের মতো, কিছু গতিশীলতা সমস্ত খেলোয়াড়দের জন্য খারাপ ফলাফলের দিকে নিয়ে যেতে পারে, এমনকি যখন তারা তাদের স্বার্থে সর্বোত্তমভাবে কাজ করে। উদাহরণস্বরূপ, জলবায়ু পরিবর্তন মোকাবেলায় কোনও একক অভিনেতার শক্তিশালী প্রণোদনা নেই যদিও কেউ হস্তক্ষেপ না করলে এর পরিণতি উল্লেখযোগ্য হতে পারে। একটি প্রধান এআই সহযোগিতা চ্যালেঞ্জ হল 'নীচের দিকে দৌড়' এড়ানো। এই পরিস্থিতিতে, দেশ বা সংস্থাগুলি আরও সক্ষম এআই সিস্টেম তৈরি করতে এবং সুরক্ষাকে অবহেলা করার জন্য দৌড়াদৌড়ি করে, যার ফলে একটি বিপর্যয়কর দুর্ঘটনা ঘটে যা জড়িত প্রত্যেকের ক্ষতি করে। এই ধরনের পরিস্থিতি সম্পর্কে উদ্বেগ মানুষের মধ্যে এবং সম্ভাব্য এআই সিস্টেমের মধ্যে সহযোগিতা সহজতর করার জন্য রাজনৈতিক এবং প্রযুক্তিগত উভয় প্রচেষ্টাকে অনুপ্রাণিত করেছে। বেশিরভাগ এআই গবেষণা বিচ্ছিন্ন ফাংশনগুলি (প্রায়শই 'একক খেলোয়াড়' গেমগুলিতে) পরিবেশন করার জন্য পৃথক এজেন্ট ডিজাইন করার উপর দৃষ্টি নিবদ্ধ করে। পণ্ডিতরা পরামর্শ দিয়েছেন যে এআই সিস্টেমগুলি আরও স্বায়ত্তশাসিত হয়ে ওঠার সাথে সাথে তাদের মিথস্ক্রিয়া অধ্যয়ন এবং আকৃতি দেওয়া অপরিহার্য হয়ে উঠতে পারে। প্রশাসনে এআই প্রশাসন এআই ব্যবস্থার ব্যবহার ও বিকাশকে গাইড করার জন্য নিয়ম, মান এবং প্রবিধান তৈরির সাথে ব্যাপকভাবে জড়িত। গবেষণা এআই নিরাপত্তা প্রশাসন গবেষণা এআই-এর সম্ভাব্য প্রভাবগুলির ভিত্তিগত তদন্ত থেকে শুরু করে নির্দিষ্ট প্রয়োগ পর্যন্ত বিস্তৃত। ভিত্তিগত দিক থেকে, গবেষকরা যুক্তি দিয়েছেন যে এআই তার বিস্তৃত প্রয়োগের কারণে সমাজের অনেক দিককে রূপান্তরিত করতে পারে, এটিকে বিদ্যুৎ এবং বাষ্প ইঞ্জিনের সাথে তুলনা করে। কিছু কাজ এই প্রভাবগুলি থেকে উদ্ভূত হতে পারে এমন নির্দিষ্ট ঝুঁকিগুলির পূর্বাভাসের উপর দৃষ্টি নিবদ্ধ করেছে-উদাহরণস্বরূপ, গণ বেকারত্ব, অস্ত্রকরণ, ভুল তথ্য, নজরদারি এবং ক্ষমতার কেন্দ্রীকরণ থেকে ঝুঁকি। অন্যান্য কাজগুলি অন্তর্নিহিত ঝুঁকির কারণগুলি যেমন দ্রুত বিকশিত এআই শিল্প পর্যবেক্ষণের অসুবিধা, এআই মডেলগুলির প্রাপ্যতা এবং 'নীচের দিকে দৌড়' গতিশীলতার অন্বেষণ করে। ডিপমাইন্ডের দীর্ঘমেয়াদী শাসন ও কৌশলের প্রধান অ্যালান ডাফো রেসিংয়ের বিপদ এবং সহযোগিতার সম্ভাব্য প্রয়োজনের উপর জোর দিয়েছেনঃ "এটি এআই নিরাপত্তা এবং সারিবদ্ধকরণের জন্য একটি প্রয়োজনীয় এবং পর্যাপ্ত শর্তের কাছাকাছি হতে পারে যে উন্নত শক্তিশালী সিস্টেমগুলি মোতায়েনের আগে উচ্চ মাত্রার সতর্কতা থাকতে পারে; তবে, যদি অভিনেতারা ফার্স্ট-মুভার বা আপেক্ষিক সুবিধার জন্য বড় রিটার্ন সহ একটি ডোমেনে প্রতিযোগিতা করে, তবে তাদের একটি উপ-সর্বোত্তম স্তরের সতর্কতা বেছে নেওয়ার জন্য চাপ দেওয়া হবে।" কিছু বিশেষজ্ঞ যুক্তি দেখিয়েছেন যে এআই নিয়ন্ত্রণ করা খুব তাড়াতাড়ি, এই উদ্বেগ প্রকাশ করে যে প্রবিধানগুলি উদ্ভাবনকে বাধা দেবে এবং "অজ্ঞতার মধ্যে নিয়ন্ত্রণ করতে তাড়াহুড়ো করা" বোকামি হবে। অন্যরা, যেমন ব্যবসায়ী ম্যাগনেট ইলন মাস্ক, প্রশমিত করার জন্য পূর্ব-কার্যকর পদক্ষেপের আহ্বান জানিয়েছেন। আনুষ্ঠানিক আইনের বাইরে, সরকারি সংস্থাগুলি নৈতিক ও নিরাপত্তা সংক্রান্ত সুপারিশ পেশ করেছে। 2021 সালের মার্চ মাসে, ইউএস ন্যাশনাল সিকিউরিটি কমিশন অন আর্টিফিশিয়াল ইন্টেলিজেন্স জানিয়েছে যে এআই-এর অগ্রগতি "নিরাপত্তা, দৃঢ়তা এবং বিশ্বাসযোগ্যতা সহ লক্ষ্য এবং মূল্যবোধের সাথে সিস্টেমগুলি সংযুক্ত রয়েছে তা নিশ্চিত করা" ক্রমবর্ধমান গুরুত্বপূর্ণ করে তুলতে পারে। পরবর্তীকালে, ন্যাশনাল ইনস্টিটিউট অফ স্ট্যান্ডার্ডস অ্যান্ড টেকনোলজি এআই ঝুঁকি পরিচালনার জন্য একটি কাঠামোর খসড়া তৈরি করে, যা পরামর্শ দেয় যে যখন "বিপর্যয়কর ঝুঁকি উপস্থিত থাকে-ঝুঁকিগুলি পর্যাপ্তভাবে পরিচালনা না করা পর্যন্ত উন্নয়ন এবং স্থাপনার নিরাপদ পদ্ধতিতে বন্ধ করা উচিত"। 2021 সালের সেপ্টেম্বরে, গণপ্রজাতন্ত্রী চীন চীনে এআই ব্যবহারের জন্য নৈতিক নির্দেশিকা প্রকাশ করে, জোর দিয়ে বলে যে এআই সিদ্ধান্তগুলি মানুষের নিয়ন্ত্রণে থাকা উচিত এবং জবাবদিহিতা ব্যবস্থার আহ্বান জানানো উচিত। একই মাসে, যুক্তরাজ্য তার 10 বছরের জাতীয় এআই কৌশল প্রকাশ করেছে, যেখানে বলা হয়েছে যে ব্রিটিশ সরকার "জোট-নিরপেক্ষ কৃত্রিম সাধারণ বুদ্ধিমত্তার দীর্ঘমেয়াদী ঝুঁকি এবং বিশ্বের জন্য যে অপ্রত্যাশিত পরিবর্তনগুলি বোঝাবে তা গুরুত্ব সহকারে নেয়।" কৌশলটি বিপর্যয়কর ঝুঁকি সহ দীর্ঘমেয়াদী এআই ঝুঁকি মূল্যায়নের পদক্ষেপগুলি বর্ণনা করে। ব্রিটিশ সরকার এআই সুরক্ষার উপর প্রথম বড় বৈশ্বিক শীর্ষ সম্মেলনের পরিকল্পনা ঘোষণা করেছে। এটি 2023 সালের 1লা এবং 2রা নভেম্বর অনুষ্ঠিত হওয়ার কথা এবং এটি "নীতিনির্ধারক এবং বিশ্ব নেতাদের জন্য এআই-এর তাৎক্ষণিক এবং ভবিষ্যতের ঝুঁকিগুলি এবং বিশ্বব্যাপী সমন্বিত পদ্ধতির মাধ্যমে কীভাবে এই ঝুঁকিগুলি হ্রাস করা যেতে পারে তা বিবেচনা করার একটি সুযোগ"। সরকারি সংস্থাগুলি, বিশেষ করে মার্কিন যুক্তরাষ্ট্রে, প্রযুক্তিগত এআই নিরাপত্তা গবেষণার বিকাশকে উৎসাহিত করেছে। ইন্টেলিজেন্স অ্যাডভান্সড রিসার্চ প্রজেক্টস অ্যাক্টিভিটি এআই সিস্টেমে ট্রোজান আক্রমণগুলি সনাক্ত ও সুরক্ষার জন্য ট্রোজাই প্রকল্প শুরু করে। ডিএআরপিএ ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তার উপর গবেষণা এবং প্রতিকূল আক্রমণের বিরুদ্ধে দৃঢ়তা উন্নত করে। এবং ন্যাশনাল সায়েন্স ফাউন্ডেশন সেন্টার ফর ট্রাস্টওয়ার্দি মেশিন লার্নিংকে সমর্থন করে এবং অভিজ্ঞতামূলক এআই সুরক্ষা গবেষণার জন্য লক্ষ লক্ষ ডলার তহবিল সরবরাহ করছে। কর্পোরেট স্ব-নিয়ন্ত্রণ এআই ল্যাব এবং সংস্থাগুলি সাধারণত আনুষ্ঠানিক আইনের বাইরে থাকা সুরক্ষা অনুশীলন এবং নিয়মগুলি মেনে চলে। শাসন গবেষকদের একটি লক্ষ্য হল এই নিয়মগুলিকে রূপ দেওয়া। সাহিত্যে পাওয়া নিরাপত্তা সুপারিশের উদাহরণগুলির মধ্যে রয়েছে তৃতীয় পক্ষের নিরীক্ষা করা, ব্যর্থতা খুঁজে বের করার জন্য অনুদান প্রদান করা, এআই ঘটনাগুলি ভাগ করে নেওয়া (এই উদ্দেশ্যে একটি এআই ঘটনার ডাটাবেস তৈরি করা হয়েছিল), গবেষণা বা মডেল প্রকাশ করা হবে কিনা তা নির্ধারণের জন্য নির্দেশিকা অনুসরণ করা এবং এআই ল্যাবগুলিতে তথ্য এবং সাইবার সুরক্ষার উন্নতি করা। কোম্পানিগুলিও প্রতিশ্রুতি দিয়েছে। কোহেরে, ওপেনএআই এবং এআই21 অপব্যবহার প্রশমিত করার দিকে মনোনিবেশ করে "ভাষার মডেল স্থাপনের জন্য সর্বোত্তম অনুশীলন" প্রস্তাব এবং সম্মত হয়েছে। রেসিং-ডাইনামিক্সে অবদান এড়াতে, ওপেনএআই তাদের সনদে আরও বলেছে যে "যদি কোনও মূল্য-সমন্বিত, সুরক্ষা-সচেতন প্রকল্প আমাদের করার আগে এজিআই নির্মাণের কাছাকাছি আসে, তবে আমরা এই প্রকল্পের সাথে প্রতিযোগিতা বন্ধ করতে এবং সহায়তা শুরু করতে প্রতিশ্রুতিবদ্ধ" এছাড়াও, ডিপমাইন্ড ডেমিস হাসাবিসের সিইও, ফেসবুক এআই-এর পরিচালক ইয়ান লেকুন-এর মতো শিল্প নেতারা এসিলোমার নীতি এবং স্বায়ত্তশাসিত অস্ত্র উন্মুক্ত চিঠির মতো খোলা চিঠিতে স্বাক্ষর করেছেন। আরও দেখুন এআই সারিবদ্ধকরণ কৃত্রিম বুদ্ধিমত্তা সনাক্তকরণ সফ্টওয়্যার রেফারেন্স বাহ্যিক লিঙ্কগুলি ফাউন্ডেশনের মডেলগুলির সুযোগ এবং ঝুঁকির উপর এমএল সুরক্ষায় অমীমাংসিত সমস্যা বিপর্যয়মূলক এআই দুর্ঘটনার ঝুঁকিগুলির একটি সংক্ষিপ্ত বিবরণ একটি উদীয়মান হুমকি প্রকৌশল একটি নিরাপদ বিশ্ব কৃত্রিম বুদ্ধিমত্তা থেকে অস্তিত্বের ঝুঁকি কৃত্রিম সাধারণ বুদ্ধিমত্তা সাইবারনেটিক্স