Foundation models
একটি ভিত্তি মডেল (বেস মডেল নামেও পরিচিত) একটি বড় মেশিন লার্নিং (এমএল) মডেল যা স্কেলে প্রচুর পরিমাণে তথ্যের উপর প্রশিক্ষিত (প্রায়শই স্ব-তত্ত্বাবধানে শেখা বা আধা-তত্ত্বাবধানে শেখা) যাতে এটি বিস্তৃত পরিসরের সাথে খাপ খাইয়ে নেওয়া যায়। ফাউন্ডেশন মডেলগুলি কৃত্রিম বুদ্ধিমত্তা (এআই) সিস্টেমগুলি কীভাবে তৈরি করা হয় তার একটি বড় রূপান্তর আনতে সহায়তা করেছে, যেমন বিশিষ্ট চ্যাটবট এবং অন্যান্য ব্যবহারকারী-মুখী এআইকে শক্তিশালী করে। স্ট্যানফোর্ড ইনস্টিটিউট ফর হিউম্যান-সেন্টার্ড আর্টিফিশিয়াল ইন্টেলিজেন্স (এইচ. এ. আই) সেন্টার ফর রিসার্চ অন ফাউন্ডেশন মডেলস (সি. আর. এফ. এম) এই শব্দটিকে জনপ্রিয় করেছে। ভিত্তি মডেলগুলির প্রাথমিক উদাহরণগুলি ছিল গুগলের বিইআরটি এবং বিভিন্ন প্রাথমিক জিপিটি ফাউন্ডেশন মডেল সহ প্রাক-প্রশিক্ষিত ভাষা মডেল (এলএম), যার মধ্যে উল্লেখযোগ্যভাবে ওপেনএআই-এর "জিপিটি-এন" সিরিজ অন্তর্ভুক্ত রয়েছে। এই ধরনের বিস্তৃত মডেলগুলি মেডিকেল কোডের মতো বিভিন্ন ধরনের লক্ষ্যযুক্ত ডেটাসেট ব্যবহার করে টাস্ক এবং/অথবা ডোমেন নির্দিষ্ট মডেলের জন্য ব্যবহার করা যেতে পারে। পাঠ্য ছাড়াও, ড্যাল-ই, ফ্লেমিংগো, ফ্লোরেন্স এবং নূর সহ বেশ কয়েকটি ভিজ্যুয়াল এবং মাল্টিমোডাল ভিত্তি মডেল তৈরি করা হয়েছে। ভিজ্যুয়াল ফাউন্ডেশন মডেল (ভি. এফ. এম)-কে পাঠ্য-ভিত্তিক এল. এল. এম-এর সঙ্গে যুক্ত করে পরিশীলিত কার্য-নির্দিষ্ট মডেল তৈরি করা হয়েছে। সাধারণ চিত্র বিভাজনের জন্য মেটা এআই দ্বারা সেগমেন্ট এনিথিংও রয়েছে। রিইনফোর্সমেন্ট লার্নিং এজেন্টদের জন্য রয়েছে গুগল ডিপমাইন্ডের গ্যাটো। সংজ্ঞা স্ট্যানফোর্ড ইনস্টিটিউট ফর হিউম্যান-সেন্টার্ড আর্টিফিশিয়াল ইন্টেলিজেন্স (এইচ. এ. আই) সেন্টার ফর রিসার্চ অন ফাউন্ডেশন মডেলস (সি. আর. এফ. এম) 2021 সালের আগস্টে "ফাউন্ডেশন মডেল" শব্দটি তৈরি করে, অস্থায়ীভাবে উল্লেখ করে যে "যে কোনও মডেল যা বিস্তৃত তথ্যের উপর প্রশিক্ষিত (সাধারণত স্কেলে স্ব-তত্ত্বাবধান ব্যবহার করে) যা বিস্তৃত ডাউনস্ট্রিম কাজের সাথে খাপ খাইয়ে নেওয়া যেতে পারে (যেমন, সূক্ষ্ম-সুরযুক্ত)"। এটি তাদের পর্যবেক্ষণের উপর ভিত্তি করে ছিল যে বিদ্যমান ওভারল্যাপিং পদগুলি পর্যাপ্ত ছিল না, এই বলে যে '(বড়) ভাষা মডেল' খুব সংকীর্ণ ছিল কারণ ফোকাস কেবল ভাষা নয়; 'স্ব-তত্ত্বাবধানে মডেল' প্রশিক্ষণের উদ্দেশ্যের জন্য খুব নির্দিষ্ট ছিল; এবং 'পূর্ব-প্রশিক্ষিত মডেল' পরামর্শ দিয়েছিল যে উল্লেখযোগ্য ক্রিয়াটি 'পূর্ব-প্রশিক্ষণের' পরে ঘটেছিল। অনেকগুলি শর্ত বিবেচনা করার পরে, তারা পদ্ধতি, স্থাপত্য বা বাস্তবায়নের পরিবর্তে উদ্দেশ্যমূলক ক্রিয়াকলাপের (অর্থাৎ পরবর্তী উন্নয়নের জন্য উপযুক্ততা) উপর জোর দেওয়ার জন্য "ভিত্তি মডেল"-এর উপর স্থির হন। তারা আরও লক্ষ্য করেছেন যে ধারণাটি সত্যিই নতুন নয়, কারণ এটি গভীর স্নায়বিক নেটওয়ার্ক এবং স্ব-তত্ত্বাবধানে শিক্ষার উপর ভিত্তি করে, তবে জোর দিয়ে বলেছেন যে সাম্প্রতিক বছরগুলিতে এই ক্ষেত্রটি যে মাত্রায় বিকশিত হয়েছে এবং যে কোনও মডেলের জন্য ক্রমবর্ধমান সম্ভাবনা বিভিন্ন উদ্দেশ্যে ব্যবহার করা, একটি নতুন শব্দ নিশ্চিত করেছে। একটি ভিত্তি মডেল হল একটি "এআই সিস্টেম তৈরির দৃষ্টান্ত" যেখানে প্রচুর পরিমাণে লেবেলবিহীন ডেটার উপর প্রশিক্ষিত একটি মডেলকে অনেক প্রয়োগের সাথে খাপ খাইয়ে নেওয়া যেতে পারে। ভিত্তি মডেলগুলি "স্কেলে বিস্তৃত তথ্যের উপর প্রাক-প্রশিক্ষণের মাধ্যমে বিভিন্ন ডাউনস্ট্রিম জ্ঞানীয় কাজের সাথে খাপ খাইয়ে নেওয়ার জন্য ডিজাইন করা হয়েছে।" ভিত্তি মডেলের মূল বৈশিষ্ট্যগুলি হল উত্থান এবং সমজাতীয়করণ। যেহেতু প্রশিক্ষণের তথ্য মানুষের দ্বারা লেবেল করা হয় না, তাই মডেলটি স্পষ্টভাবে এনকোড করার পরিবর্তে আবির্ভূত হয়। যে বৈশিষ্ট্যগুলি প্রত্যাশিত ছিল না সেগুলি প্রদর্শিত হতে পারে। উদাহরণস্বরূপ, একটি বড় ভাষার ডেটাসেটে প্রশিক্ষিত একটি মডেল স্পষ্টভাবে প্রোগ্রাম না করেই তার নিজস্ব গল্প তৈরি করতে বা পাটিগণিত করতে শিখতে পারে। উপরন্তু, এই বৈশিষ্ট্যগুলি কখনও কখনও ডাউনস্ট্রিম স্কেলিং আইনগুলির বিরতির কারণে আগে থেকে ভবিষ্যদ্বাণী করা কঠিন হতে পারে। সমজাতীয়করণের অর্থ হল একই পদ্ধতি অনেক ক্ষেত্রে ব্যবহার করা হয়, যা শক্তিশালী অগ্রগতির অনুমতি দেয় তবে "ব্যর্থতার একক পয়েন্ট"-এর সম্ভাবনাও দেয়। যেহেতু ভিত্তি মডেলগুলি একটি বিশাল ডেটাসেটে পূর্ব-প্রশিক্ষিত, তাই তারা নির্দিষ্ট "ব্যক্তিগত" ধারণাগুলি পরিচালনা করতে সক্ষম নয় যা একজন ব্যবহারকারী আগ্রহী হতে পারে। সম্পূর্ণ মডেলটিকে পুনরায় প্রশিক্ষণ না দিয়ে ব্যক্তিগত, নির্দিষ্ট আইটেমগুলির সাথে একটি ভিত্তি মডেলকে বাড়ানোর জন্য একাধিক পদ্ধতি তৈরি করা হয়েছিল। উদাহরণস্বরূপ, অল্প-শট চিত্র পুনরুদ্ধারের জন্য এটি দেখানো হয়েছিল যে কীভাবে একটি দৃষ্টি-ভাষা ভিত্তি মডেল (সি. এল. আই. পি) এর শব্দভাণ্ডারে নতুন ধারণা যুক্ত করে অভিযোজিত করা যায়। টেক্সট-টু-ইমেজ প্রজন্মের জন্য, টেক্সচুয়াল ইনভার্সন নামে একটি পদ্ধতি একইভাবে সিস্টেমের নতুন ধারণা শেখানোর জন্য ব্যবহার করা যেতে পারে যা পরে সেই ধারণাগুলির সাথে একত্রিত করা যেতে পারে যা ভিত্তি মডেলটি ইতিমধ্যে পরিচিত। সুযোগ এবং ঝুঁকি একটি 2021 এআরএক্সআইভি প্রতিবেদনে "ভাষা, দৃষ্টি, রোবোটিক্স, যুক্তি এবং মানুষের মিথস্ক্রিয়া" সম্পর্কিত ভিত্তি মডেলের সক্ষমতা, প্রযুক্তিগত নীতি, যেমন "মডেল আর্কিটেকচার, প্রশিক্ষণ পদ্ধতি, তথ্য, ব্যবস্থা, সুরক্ষা, মূল্যায়ন এবং তত্ত্ব", তাদের প্রয়োগ, উদাহরণস্বরূপ আইন, স্বাস্থ্যসেবা এবং শিক্ষা এবং সমাজে তাদের সম্ভাব্য প্রভাব, যার মধ্যে রয়েছে "বৈষম্য, অপব্যবহার, অর্থনৈতিক ও পরিবেশগত প্রভাব, আইনি ও নৈতিক বিবেচনা"। দ্য ইকোনমিস্ট-এ ভিত্তি মডেল সম্পর্কে একটি নিবন্ধে উল্লেখ করা হয়েছে যে "কেউ কেউ আশঙ্কা করছেন যে প্রযুক্তির অবহেলা বিস্তার অর্থনৈতিক ও রাজনৈতিক শক্তিকে আরও কেন্দ্রীভূত করবে"। তথ্যসূত্র প্রাকৃতিক ভাষা প্রক্রিয়াকরণ গণনামূলক ভাষাবিজ্ঞান অধ্যয়নের গণনামূলক ক্ষেত্র ভাষা মডেলিং তত্ত্বাবধানহীন শিক্ষা গভীর শিক্ষা