BLOOM (language model)
বিগ সায়েন্স লার্জ ওপেন-সায়েন্স ওপেন-অ্যাক্সেস মাল্টিলিঙ্গুয়াল ল্যাঙ্গুয়েজ মডেল (ব্লুম) একটি ট্রান্সফরমার-ভিত্তিক বড় ভাষার মডেল। এটি 1,000-এরও বেশি এআই গবেষক দ্বারা তৈরি করা হয়েছিল যাতে বড় আকারের জনসাধারণের প্রবেশাধিকারের জন্য একটি বিনামূল্যে বড় ভাষার মডেল সরবরাহ করা যায়। মার্চ থেকে জুলাই 2022 পর্যন্ত প্রায় 366 বিলিয়ন টোকেনের উপর প্রশিক্ষিত, এটি 176 বিলিয়ন পরামিতি সহ ওপেনএআই-এর জিপিটি-3-এর বিকল্প হিসাবে বিবেচিত হয়। ব্লুম মেগাট্রন-এলএম জিপিটি-2 থেকে পরিবর্তিত একটি ডিকোডার-শুধুমাত্র ট্রান্সফরমার মডেল স্থাপত্য ব্যবহার করে। ব্লুম প্রকল্পটি শুরু করেছিলেন হাগিং ফেস-এর একজন সহ-প্রতিষ্ঠাতা। হিউজিংফেসের বিগসায়েন্স টিম, মাইক্রোসফ্ট ডিপস্পিড টিম, এনভিডিয়া মেগাট্রন-এলএম টিম, আইডিআরআইএস/জেএনসিআই টিম, পাইটর্চ টিম এবং বিগসায়েন্স ইঞ্জিনিয়ারিং ওয়ার্কগ্রুপের স্বেচ্ছাসেবক সহ ছয়টি প্রধান গোষ্ঠী এতে জড়িত ছিল। ব্লুমকে 46টি প্রাকৃতিক ভাষা এবং 13টি প্রোগ্রামিং ভাষার তথ্য ব্যবহার করে প্রশিক্ষণ দেওয়া হয়েছিল। ব্লুম-এর প্রশিক্ষণ ডেটাসেট হিসাবে মোট 1 দশমিক 6 টেরাবাইট প্রাক-প্রক্রিয়াজাত পাঠ্যকে 350 বিলিয়ন অনন্য টোকেনে রূপান্তরিত করা হয়েছিল। তথ্যসূত্র বড় ভাষার মডেল উৎপাদক প্রাক-প্রশিক্ষিত ট্রান্সফরমার