GPT-1
2017 সালে গুগলের ট্রান্সফরমার স্থাপত্য আবিষ্কারের পর জেনারেটিভ প্রি-ট্রেইন্ড ট্রান্সফরমার 1 (জিপিটি-1) ওপেনএআই-এর বড় ভাষার মডেলগুলির মধ্যে প্রথম ছিল। 2018 সালের জুন মাসে, ওপেনএআই "জেনারেটিভ প্রাক-প্রশিক্ষণের মাধ্যমে ভাষা বোঝার উন্নতি" শীর্ষক একটি গবেষণাপত্র প্রকাশ করে, যেখানে তারা একটি জেনারেটিভ প্রাক-প্রশিক্ষিত ট্রান্সফরমারের সাধারণ ধারণা সহ সেই প্রাথমিক মডেলটি প্রবর্তন করে। সেই সময় পর্যন্ত, সেরা-পারফর্মিং নিউরাল এনএলপি মডেলগুলি প্রাথমিকভাবে প্রচুর পরিমাণে ম্যানুয়ালি লেবেলযুক্ত ডেটা থেকে তত্ত্বাবধানে শেখার কাজ করে। তত্ত্বাবধানে শেখার উপর এই নির্ভরতা তাদের ডেটাসেটগুলির ব্যবহারকে সীমাবদ্ধ করেছিল যা ভালভাবে ব্যাখ্যা করা হয়নি, পাশাপাশি অত্যন্ত বড় মডেলগুলিকে প্রশিক্ষণ দেওয়া নিষিদ্ধভাবে ব্যয়বহুল এবং সময়সাপেক্ষ করে তোলে; অনেক ভাষা (যেমন সোয়াহিলি বা হাইতিয়ান ক্রেওল) কর্পাস-বিল্ডিংয়ের জন্য উপলব্ধ পাঠ্যের অভাবের কারণে এই ধরনের মডেলগুলি ব্যবহার করে অনুবাদ এবং ব্যাখ্যা করা কঠিন। বিপরীতে, একটি জিপিটি-র "আধা-তত্ত্বাবধানে" পদ্ধতির দুটি পর্যায় জড়িত ছিলঃ একটি তত্ত্বাবধানহীন উৎপাদক "প্রাক-প্রশিক্ষণ" পর্যায় যেখানে প্রাথমিক পরামিতি নির্ধারণের জন্য একটি ভাষা মডেলিং উদ্দেশ্য ব্যবহার করা হয়েছিল এবং একটি তত্ত্বাবধানকৃত বৈষম্যমূলক "সূক্ষ্ম-সুরকরণ" পর্যায় যেখানে এই পরামিতিগুলি একটি লক্ষ্য কাজের সাথে খাপ খাইয়ে নেওয়া হয়েছিল। ট্রান্সফর্মার স্থাপত্যের ব্যবহার, মনোযোগ-বর্ধিত আর. এন. এন-এর সাথে জড়িত পূর্ববর্তী কৌশলগুলির বিপরীতে, জিপিটি মডেলগুলিকে পুনরাবৃত্ত পদ্ধতির মাধ্যমে অর্জন করা যেতে পারে তার চেয়ে বেশি কাঠামোগত মেমরি প্রদান করে; এর ফলে "বিভিন্ন কাজ জুড়ে শক্তিশালী স্থানান্তর কর্মক্ষমতা" হয়। বুককর্পাস বুককর্পাসকে বেছে নেওয়ার কারণটি আংশিকভাবে একটি প্রশিক্ষণ ডেটাসেট হিসাবে বেছে নেওয়া হয়েছিল কারণ অবিচ্ছিন্ন পাঠ্যের দীর্ঘ অনুচ্ছেদগুলি মডেলটিকে দীর্ঘ পরিসরের তথ্য পরিচালনা করতে শিখতে সহায়তা করেছিল। এতে বিভিন্ন ঘরানার 7,000-এরও বেশি অপ্রকাশিত কথাসাহিত্য রয়েছে। সেই সময়ে উপলব্ধ বাকি ডেটাসেটগুলি বড় হলেও, এই দীর্ঘ-পরিসীমা কাঠামোর অভাব ছিল (একটি বাক্য স্তরে "অদলবদল" করা হচ্ছে)। বুককর্পাস পাঠ্যটি এফ. টি. এফ. আই লাইব্রেরি দ্বারা মানসম্মত বিরামচিহ্ন এবং হোয়াইটস্পেসে পরিষ্কার করা হয়েছিল এবং তারপরে স্প্যাসাই দ্বারা টোকেনাইজ করা হয়েছিল। জিপিটি-1 স্থাপত্য একটি বারো-স্তরের ডিকোডার-শুধুমাত্র ট্রান্সফরমার ছিল, যেখানে বারোটি মুখোশযুক্ত স্ব-মনোযোগের মাথা ব্যবহার করা হয়েছিল, যার প্রতিটি 64-মাত্রিক অবস্থা (মোট 768টির জন্য) ছিল। সাধারণ স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের পরিবর্তে, অ্যাডাম অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করা হয়েছিল; প্রথম 2,000 আপডেটে শূন্য থেকে শেখার হার রৈখিকভাবে সর্বোচ্চ 2.5x10−4-এ বৃদ্ধি করা হয়েছিল এবং কোসাইন সময়সূচী ব্যবহার করে 0-এ অ্যানিল করা হয়েছিল। ফাইন-টিউনিং নির্দিষ্ট কাজের সাথে খাপ খাইয়ে নেওয়া হলেও, এর প্রাক-প্রশিক্ষণ ছিল না; বিভিন্ন কাজ সম্পাদনের জন্য, এর অন্তর্নিহিত টাস্ক-অ্যাগনস্টিক মডেল আর্কিটেকচারে ন্যূনতম পরিবর্তন করা হয়েছিল। তা সত্ত্বেও, জিপিটি-1 এখনও বিভিন্ন ভাষা প্রক্রিয়াকরণ কাজে পূর্ববর্তী মাপকাঠিতে উন্নতি করেছে, বিভিন্ন বৈচিত্র্যময় কাজে টাস্ক-ওরিয়েন্টেড আর্কিটেকচারের সাথে বৈষম্যমূলকভাবে প্রশিক্ষিত মডেলগুলিকে ছাড়িয়ে গেছে। কার্যকারিতা এবং মূল্যায়ন জিপিটি-1 প্রাকৃতিক ভাষা অনুমানের (পাঠ্যগত এনটেলমেন্ট নামেও পরিচিত) কাজের উপর পূর্ববর্তী সেরা ফলাফলের তুলনায় 5.8% এবং 1.5% উন্নতি অর্জন করেছে, বিভিন্ন ডেটাসেট থেকে জোড়া বাক্য ব্যাখ্যা করার ক্ষমতা মূল্যায়ন করে এবং তাদের মধ্যে সম্পর্ককে "এনটেলমেন্ট", "দ্বন্দ্ব" বা "নিরপেক্ষ" হিসাবে শ্রেণীবদ্ধ করে। এই ধরনের ডেটাসেটের উদাহরণগুলির মধ্যে রয়েছে কিউ. এন. এল. আই (উইকিপিডিয়া নিবন্ধ) এবং মাল্টি. এন. এল. আই (অন্যান্য উৎসের মধ্যে প্রতিলিপি করা বক্তৃতা, জনপ্রিয় কল্পকাহিনী এবং সরকারী প্রতিবেদন); এটি একইভাবে প্রশ্নের উত্তর এবং সাধারণ যুক্তি সম্পর্কিত দুটি কাজে পূর্ববর্তী মডেলগুলিকে ছাড়িয়ে গেছে-আর. এ. সি. ই-তে 5.7%, মধ্য ও উচ্চ বিদ্যালয়ের পরীক্ষার লিখিত প্রশ্ন-উত্তর জুটির একটি ডেটাসেট, এবং স্টোরি ক্লোজ টেস্টে 8.9%। কুওরা প্রশ্ন জোড়া (কিউকিউপি) ডেটাসেট ব্যবহার করে দুটি বাক্য একে অপরের প্যারাফ্রেজ কিনা তা ভবিষ্যদ্বাণী করার ক্ষমতা মূল্যায়ন করে জিপিটি-1 শব্দার্থিক সাদৃশ্য (বা প্যারাফ্রেজ সনাক্তকরণ) এর উপর পূর্ববর্তী সেরা-পারফর্মিং মডেলগুলির তুলনায় 4.2% উন্নতি করেছে। জি. পি. টি-1 ভাষাগত গ্রহণযোগ্যতার কর্পাস (সি. ও. এল. এ) ব্যবহার করে পাঠ্য শ্রেণিবিন্যাসের কাজে পূর্ববর্তী সেরা 35-এর তুলনায় 45.4 স্কোর অর্জন করেছে। পরিশেষে, জিপিটি-1 একটি মাল্টি-টাস্ক পরীক্ষা, জিএলইউই-তে সামগ্রিকভাবে 72.8 (আগের রেকর্ড 68.9-এর তুলনায়) স্কোর অর্জন করেছে। রেফারেন্স বড় ভাষার মডেল এমআইটি লাইসেন্স ওপেনএআই ব্যবহার করে জেনারেটিভ প্রাক-প্রশিক্ষিত ট্রান্সফরমার সফ্টওয়্যার