GPT-1
جنریٹو پری ٹرینڈ ٹرانسفارمر 1 (جی پی ٹی-1) 2017 میں گوگل کی ٹرانسفارمر فن تعمیر کی ایجاد کے بعد اوپن اے آئی کے بڑے زبان کے ماڈلز میں سے پہلا تھا۔ جون 2018 میں، اوپن اے آئی نے "جنریٹو پری ٹریننگ کے ذریعے زبان کی تفہیم کو بہتر بنانا" کے عنوان سے ایک مقالہ جاری کیا، جس میں انہوں نے اس ابتدائی ماڈل کو جنریٹو پری ٹرینڈ ٹرانسفارمر کے عمومی تصور کے ساتھ متعارف کرایا۔ اس وقت تک، بہترین کارکردگی کا مظاہرہ کرنے والے نیورل این ایل پی ماڈلز بنیادی طور پر دستی طور پر لیبل شدہ ڈیٹا کی بڑی مقدار سے سپروائزڈ لرننگ کا استعمال کرتے تھے۔ سپروائزڈ لرننگ پر اس انحصار نے ان کے ڈیٹا سیٹس کے استعمال کو محدود کر دیا جو اچھی طرح سے بیان نہیں کیے گئے تھے، اس کے علاوہ انتہائی بڑے ماڈلز کو تربیت دینا ممنوع طور پر مہنگا اور وقت طلب بنا دیا۔ بہت سی زبانیں (جیسے سواحلی یا ہیتی کریول) کارپس بلڈنگ کے لیے دستیاب متن کی کمی کی وجہ سے ایسے ماڈلز کا استعمال کرتے ہوئے ترجمہ اور تشریح کرنا مشکل ہے۔ اس کے برعکس، جی پی ٹی کے "نیم نگرانی شدہ" نقطہ نظر میں دو مراحل شامل تھے: ایک غیر نگرانی شدہ پیداواری "پری ٹریننگ" مرحلہ جس میں ابتدائی پیرامیٹرز طے کرنے کے لیے زبان ماڈلنگ کا مقصد استعمال کیا گیا تھا، اور ایک نگرانی شدہ امتیازی "فائن ٹیوننگ" مرحلہ جس میں ان پیرامیٹرز کو ہدف کے کام کے مطابق ڈھال لیا گیا تھا۔ ٹرانسفارمر فن تعمیر کے استعمال نے، توجہ بڑھانے والے آر این این پر مشتمل پچھلی تکنیکوں کے برعکس، جی پی ٹی ماڈلز کو اس سے زیادہ منظم میموری فراہم کی جو بار بار میکانزم کے ذریعے حاصل کی جا سکتی تھی۔ اس کے نتیجے میں "متنوع کاموں میں مضبوط منتقلی کی کارکردگی" ہوئی۔ بک کارپس کو منتخب کرنے کی وجہ کو جزوی طور پر ایک تربیتی ڈیٹا سیٹ کے طور پر منتخب کیا گیا تھا کیونکہ مسلسل متن کے لمبے حصوں نے ماڈل کو طویل فاصلے کی معلومات کو سنبھالنا سیکھنے میں مدد کی تھی۔ اس میں مختلف انواع کی 7000 سے زیادہ غیر شائع شدہ افسانے کی کتابیں تھیں۔ اس وقت دستیاب باقی ڈیٹا سیٹس، بڑے ہونے کے باوجود، اس طویل فاصلے کے ڈھانچے کی کمی تھی (جملے کی سطح پر "شفل" کیا جا رہا تھا)۔ بک کارپس متن کو ایف ٹی ایف وائی لائبریری نے معیاری پنکٹیوشن اور وائٹ اسپیس میں صاف کیا اور پھر اسپاسی کے ذریعے ٹوکنائز کیا گیا۔ فن تعمیر جی پی ٹی-1 فن تعمیر ایک بارہ پرتوں والا صرف ڈیکوڈر ٹرانسفارمر تھا، جس میں بارہ نقاب پوش خود توجہ والے سروں کا استعمال کیا گیا تھا، جن میں سے ہر ایک میں 64 جہتی ریاستیں تھیں (کل 768 کے لیے)۔ سادہ سٹوچسٹک گریڈینٹ ڈیسنٹ کے بجائے، ایڈم آپٹیمائزیشن الگورتھم کا استعمال کیا گیا تھا۔ سیکھنے کی شرح کو پہلے 2,000 اپ ڈیٹس کے دوران صفر سے زیادہ سے زیادہ 2.5 × 10−4 تک لکیری طور پر بڑھایا گیا تھا، اور کوسین شیڈول کا استعمال کرتے ہوئے 0 پر اینیل کیا گیا تھا۔ اگرچہ ٹھیک ٹیوننگ کو مخصوص کاموں کے لیے ڈھال لیا گیا تھا، لیکن اس کی پہلے سے تربیت مختلف کاموں کو انجام دینے کے لیے نہیں تھی، اس کے بنیادی ٹاسک-اگنوسٹک ماڈل فن تعمیر میں کم سے کم تبدیلیاں کی گئیں۔ اس کے باوجود، جی پی ٹی-1 نے کئی متنوع کاموں پر ٹاسک پر مبنی آرکیٹیکچرز کے ساتھ امتیازی طور پر تربیت یافتہ ماڈلز کو پیچھے چھوڑتے ہوئے، کئی زبان کی پروسیسنگ کے کاموں میں پچھلے معیارات پر اب بھی بہتری لائی ہے۔ کارکردگی اور تشخیص جی پی ٹی-1 نے قدرتی زبان کے تخمینے (جسے ٹیکسٹول اینٹیلمنٹ بھی کہا جاتا ہے) کے کاموں پر پچھلے بہترین نتائج کے مقابلے میں 5.8 فیصد اور 1.5 فیصد بہتری حاصل کی، جس میں مختلف ڈیٹا سیٹوں سے جملوں کے جوڑوں کی تشریح کرنے اور ان کے درمیان تعلقات کو "اینٹیلمنٹ"، "تضاد" یا "غیر جانبدار" کے طور پر درجہ بندی کرنے کی صلاحیت کا جائزہ لیا گیا۔ اس طرح کے ڈیٹا سیٹوں کی مثالوں میں کیو این ایل آئی (ویکیپیڈیا کے مضامین) اور ملٹی این ایل آئی (نقل شدہ تقریر، مقبول افسانے، اور دیگر ذرائع کے درمیان سرکاری رپورٹیں) شامل ہیں۔ اس نے اسی طرح سوال کے جواب اور عام فہم استدلال سے متعلق دو کاموں پر پچھلے ماڈلز کو پیچھے چھوڑ دیا-آر اے سی ای پر 5.7 فیصد، مڈل اور ہائی اسکول کے امتحانات کے تحریری سوال و جواب کے جوڑوں کا ڈیٹا سیٹ، اور اسٹوری کلوز ٹیسٹ پر 8.9 فیصد۔ جی پی ٹی-1 میں سابقہ بہترین کارکردگی کا مظاہرہ کرنے والے ماڈلز پر بامعنی مماثلت (یا پیرا فریز کا پتہ لگانے) پر 4.2 ٪ کی بہتری آئی، اس بات کی پیش گوئی کرنے کی صلاحیت کا جائزہ لیتے ہوئے کہ آیا دو جملے ایک دوسرے کے پیرا فریز ہیں، کوورا سوالیہ جوڑے (کیو کیو پی) ڈیٹا سیٹ کا استعمال کرتے ہوئے۔ جی پی ٹی-1 نے کارپس آف لنگوسٹک ایکسیپٹیبلٹی (کولا) کا استعمال کرتے ہوئے متن کی درجہ بندی کے کام میں 45.4 کا اسکور حاصل کیا، جس کے مقابلے میں پچھلی بہترین کارکردگی 35.0 تھی۔ آخر میں، جی پی ٹی-1 نے ملٹی ٹاسک ٹیسٹ، جی ایل یو ای پر مجموعی طور پر 72.8 کا اسکور (68.9 کے پچھلے ریکارڈ کے مقابلے میں) حاصل کیا۔ حوالہ جات بڑے زبان کے ماڈل جنریٹو پری ٹرینڈ ٹرانسفارمر سافٹ ویئر جو ایم آئی ٹی لائسنس اوپن اے آئی کا استعمال کرتے ہیں