"Diqqat qilish - bu sizga kerak bo'lgan narsa" nomli ta'sirchan qog'ozda mualliflar Transformer deb nomlangan original arxitekturani taqdim etishdi. Ushbu arxitektura an'anaviy ravishda takrorlanadigan neyron tarmoqlariga (RNN) tayangan ketma-ketlik muammolarini hal qilish uchun paradigmani o'zgartiradi. RNNlar uzoq ketma-ketliklarni hal qilishda cheklovlarga ega bo'lgan, bu esa ushbu muammolarni bartaraf etish vositasi sifatida e'tibor mexanizmlarini ishlab chiqishga olib kelgan. E'tibor mexanizmlari bilan erishilgan yutuqlarga qaramay, RNNlar sohasida katta cheklov qolmoqda. Xususan, ketma-ketliklarni bir vaqtning o'zida bir element bilan davolash kerak edi, bu esa katta ma'lumotlar to'plami uchun hisoblash qimmat va vaqt talab qiladigan jaray
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence