Chinchilla AI
চিনচিলা হ 'ল ডিপমাইন্ডের গবেষণা দল দ্বারা বিকশিত বড় ভাষার মডেলগুলির একটি পরিবার, যা 2022 সালের মার্চ মাসে উপস্থাপিত হয়েছিল। এটির নাম দেওয়া হয়েছে "চিনচিলা" কারণ এটি "গোফার" নামে একটি পূর্ববর্তী মডেল পরিবারের তুলনায় আরও উন্নত। উভয় মডেল পরিবারকে বড় ভাষার মডেলের স্কেলিং আইনগুলি তদন্ত করার জন্য প্রশিক্ষণ দেওয়া হয়েছিল। এটি জিপিটি-3-কে ছাড়িয়ে যাওয়ার দাবি করেছে। এটি ডাউনস্ট্রিম ব্যবহারকে উল্লেখযোগ্যভাবে সহজতর করে কারণ এর জন্য অনুমান এবং সূক্ষ্ম-সুরের জন্য অনেক কম কম্পিউটার শক্তির প্রয়োজন হয়। পূর্বে নিযুক্ত ভাষা মডেলগুলির প্রশিক্ষণের উপর ভিত্তি করে, এটি নির্ধারিত হয়েছে যে যদি কোনও মডেলের আকার দ্বিগুণ হয়, তবে প্রশিক্ষণ টোকেনের সংখ্যাও দ্বিগুণ হতে হবে। এই অনুমানটি ডিপমাইন্ড দ্বারা চিনচিলা এআই প্রশিক্ষণের জন্য ব্যবহার করা হয়েছে। খরচের দিক থেকে গোফারের মতো, চিনচিলার 70বি প্যারামিটার এবং চারগুণ বেশি ডেটা রয়েছে। এমএমএলইউ বেঞ্চমার্কে (ম্যাসিভ মাল্টিটাস্ক ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং পরিমাপ) চিনচিলার গড় নির্ভুলতা 67.5%, যা গোফারের পারফরম্যান্সের তুলনায় 7 শতাংশ বেশি। 2023 সালের 12ই জানুয়ারি পর্যন্ত চিনচিলা এআই এখনও পরীক্ষার পর্যায়ে রয়েছে। চিনচিলা সীমিত গণনামূলক সম্পদ সহ বড় স্বতঃস্ফূর্ত ভাষা মডেলের জন্য একটি কার্যকর প্রশিক্ষণ দৃষ্টান্ত বিকাশে অবদান রাখে। চিনচিলা দল সুপারিশ করে যে প্রতিটি মডেলের আকার দ্বিগুণ করার জন্য প্রশিক্ষণ টোকেনের সংখ্যা দ্বিগুণ করা উচিত, যার অর্থ বৃহত্তর, উচ্চমানের প্রশিক্ষণ ডেটাসেট ব্যবহার করা ডাউনস্ট্রিম কাজগুলিতে আরও ভাল ফলাফলের দিকে পরিচালিত করতে পারে। স্থাপত্য গোফার পরিবার এবং চিনচিলা পরিবার উভয়ই ট্রান্সফরমার মডেলের পরিবার। বিশেষত, এগুলি মূলত জিপিটি-2-এর মতো, বিভিন্ন আকার এবং ছোটখাটো পরিবর্তন সহ। গোফার পরিবার লেয়ারনরমের পরিবর্তে আরএমএসনরম ব্যবহার করে; পরম অবস্থানগত এনকোডিংয়ের পরিবর্তে আপেক্ষিক অবস্থানগত এনকোডিং। চিনচিলা পরিবার গোফার পরিবারের মতোই, কিন্তু অ্যাডাম অপ্টিমাইজারের পরিবর্তে অ্যাডামডাব্লু-এর সাথে প্রশিক্ষিত। গোফার পরিবারে 44 মিলিয়ন প্যারামিটার থেকে 280 বিলিয়ন প্যারামিটার পর্যন্ত ক্রমবর্ধমান আকারের 6টি মডেল রয়েছে। তারা ডিফল্টরূপে বৃহত্তমটিকে "গোফার" হিসাবে উল্লেখ করে। চিনচিলা পরিবারের ক্ষেত্রেও একই ধরনের নামকরণের নিয়ম প্রযোজ্য। 1ম সারণিতে পুরো গোফার পরিবার দেখানো হয়েছেঃ 4র্থ সারণিতে 70-বিলিয়ন-পরামিতি চিনচিলাকে গোফার 280বি-র সঙ্গে তুলনা করা হয়েছে। তথ্যসূত্র চ্যাটবট বড় ভাষার মডেল