کاغذ "توجہ صرف آپ کی ضرورت ہے" نے پہلی بار ٹرانسفارمر ماڈل کی تجویز پیش کی، جس کا بعد کے ایل ایل ایم پر گہرا اثر پڑا۔ براہ کرم اس مقالے میں بیان کردہ ٹرانسفارمر کا بنیادی بنیادی خیال دیں۔
ٹرانسفارمر ایک گہرا سیکھنے والا ماڈل ہے جو خود توجہ دینے کے طریقہ کار کو اپناتا ہے، ان پٹ ڈیٹا کے ہر حصے کی اہمیت کو الگ الگ وزن دیتا ہے۔ یہ بنیادی طور پر نیچرل لینگویج پروسیسنگ (NLP) اور کمپیوٹر وژن (CV) کے شعبوں میں استعمال ہوتا ہے۔   ریکرنٹ نیورل نیٹ ورکس (RNNs) کی طرح، ٹرانسفارمرز کو ترتیب وار ان پٹ ڈیٹا پر کارروائی کرنے کے لیے ڈیزائن کیا گیا ہے، جیسا کہ قدرتی زبان، ترجمہ اور متن کا خلاصہ جیسے کاموں کے لیے ایپلی کیشنز کے ساتھ۔ تاہم، RNNs کے برعکس، ٹرانسفارمرز پورے ان پٹ کو ایک ساتھ پروسس کرتے ہیں۔ توجہ کا طریقہ کار ان پٹ ترتیب میں کسی بھی پوزیشن کے لیے سیاق و سباق فراہم کرتا ہے۔ مثال کے طور پر، اگر ان پٹ ڈیٹا قدرتی زبان کا جملہ ہے، تو ٹرانسفارمر کو ایک وقت میں ایک لفظ پر کارروائی کرنے کی ضرورت نہیں ہے۔ یہ RNNs سے زیادہ متوازی ہونے کی اجازت دیتا ہے اور اس وجہ سے تربیت کے اوقات کو کم کرتا ہے۔   ٹرانسفارمرز کو 2017 میں گوگل برین کی ایک ٹیم نے متعارف کرایا تھا اور یہ تیزی سے NLP مسائل کے لیے پسند کا ماڈل بن رہے ہیں، RNN ماڈلز جیسے طویل مدتی میموری (LSTM) کی جگہ لے رہے ہیں۔ اضافی تربیت کا متوازی ہونا بڑے ڈیٹاسیٹس پر تربیت کی اجازت دیتا ہے۔ اس کی وجہ سے پہلے سے تربیت یافتہ نظام جیسے BERT (ٹرانسفارمرز سے دو طرفہ انکوڈر نمائندگان) اور GPT (جنریٹو پری ٹرینڈ ٹرانسفارمر) کی ترقی ہوئی، جنہیں بڑے لینگویج ڈیٹا سیٹس جیسے کہ ویکیپیڈیا کارپس اور کامن کرال کے ساتھ تربیت دی گئی تھی، اور یہ ٹھیک ہو سکتے ہیں۔ مخصوص کاموں کے لیے بنایا گیا ہے۔
یہ مقالہ واسوانی، آشیش اور شازیر، نوم اور پرمار، نکی اینڈ اُزکوریٹ، جیکب اینڈ جونز، لیون اینڈ گومز، ایڈن اینڈ قیصر، لوکاز اور پولوسوخن، ایلیا کا ہے۔ اور 2017 میں شائع ہوا۔ اس نے ماڈلز کی بعد میں آنے والی GPT سیریز اور ماڈلز کی BERT سیریز کی بنیاد رکھی۔ GPT ماڈل ٹرانسفومر کا ڈیکوڈر حصہ استعمال کرتا ہے، جبکہ BERT ماڈل ٹرانسفومر کا انکوڈر حصہ استعمال کرتا ہے۔ ٹرانسفارمر ماڈل کے بنیادی بنیادی فن تعمیر میں شامل ہیں: خود توجہ دینے کا طریقہ کار، پوزیشنل انکوڈنگ، انکوڈر-ڈیکوڈر آرکیٹیکچر، ملٹی ہیڈ اٹینشن۔  ٹرانسفارمر توجہ کے طریقہ کار کا استعمال کرتے ہوئے پچھلے RNN/LSTM ماڈل کے مشکل متوازی مسئلہ کو مؤثر طریقے سے حل کرتا ہے۔ خود توجہ کا استعمال NLP میں محدود لیبل والے ڈیٹا کا مسئلہ حل کرتا ہے۔ ان پٹ ٹیکسٹ میں ترتیب کی معلومات کو Positional Encoding کے ذریعے محفوظ کیا جاتا ہے۔ اور ملٹی ہیڈ اٹینشن ٹرانسفارمر کو CNN ماڈل میں چینل کے تصور کی طرح تربیتی ڈیٹا کے مختلف نمونوں کو سیکھنے کی اجازت دیتا ہے۔