اقترحت ورقة "الانتباه هو كل ما تحتاجه" نموذج المحول للمرة الأولى ، والتي كان لها تأثير عميق على LLM اللاحقة. الرجاء إعطاء الفكرة الأساسية الأساسية للمحول الموصوفة في هذه الورقة
Context:المحول هو نموذج التعلم العميق الذي يتبنى آلية الاهتمام الذاتي، ويزن بشكل مختلف أهمية كل جزء من بيانات الإدخال. يتم استخدامه بشكل أساسي في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، تم تصميم المحولات لمعالجة بيانات الإدخال المتسلسلة ، مثل اللغة الطبيعية ، مع التطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك ، على عكس RNNs ، المعالجات معالجة المدخلات بأكملها في وقت واحد. آلية الانتباه توفر السياق لأي موقع في تسلسل الإدخال. على سبيل المثال، إذا كانت بيانات الإدخال عبارة عن جملة لغة طبيعية، فإن المحول لا يحتاج إلى معالجة كلمة واحدة في كل مرة. هذا يسمح بالتوازي أكثر من RNNs وبالتالي يقلل من أوقات التدريب.  تم تقديم المحولات في عام 2017 من قبل فريق في Google Brain وتصبح بشكل متزايد نموذجًا للاختيار لمشاكل NLP ، لتحل محل نماذج RNN مثل الذاكرة طويلة الأجل القصيرة (LSTM). التوازي التدريبي الإضافي يسمح بالتدريب على مجموعات بيانات أكبر. أدى ذلك إلى تطوير أنظمة مدربة مسبقًا مثل BERT (تمثيلات الترميز ثنائي الاتجاه من المحولات) و GPT (محولات التوليد المدربة مسبقًا) ، والتي تم تدريبها مع مجموعات بيانات لغة كبيرة ، مثل ويكيبيديا كوربوس و Common Crawl ، ويمكن ضبطها بدقة لمهام محددة.
هذه الورقة من تأليف فاسواني ، آشيش وشازير ، نعوم وبارمار ، نيكي وأوسكورييت ، جاكوب وجونز ، ليون وجوميز ، أيدان وكايزر ، لوكاش وبولوسوخين ، إيليا. ونشرت في عام 2017. وضع الأساس لسلسلة النماذج GPT اللاحقة وسلسلة BERT من النماذج. يستخدم نموذج GPT الجزء المفكك من Transfomer ، بينما يستخدم نموذج BERT الجزء المشفّر من Transfomer. تتضمن الهندسة المعمارية الأساسية لنموذج المحول: آلية الانتباه الذاتي ، ترميز الموقع ، هندسة ترميز المبرمجة ، إضافة الرأس المتعدد. يحل المحول بشكل فعال المشكلة المتوازية الصعبة لنموذج RNN / LSTM السابق باستخدام آلية الانتباه. استخدام الانتباه الذاتي يحل مشكلة محدودية البيانات المسماة في البرمجة الطبيعية الوطنية. يتم الحفاظ على المعلومات المتسلسلة في نص الإدخال من خلال الترميز الموضعي. وتركيز الرؤوس المتعددة يسمح لـ"ترانسفورمور" بتعلم أنماط مختلفة من بيانات التدريب مماثلة لمفهوم القناة في نموذج "سي إن إن".