Maqolada "Transformer" deb nomlangan yangi turdagi neyron tarmoq taklif etiladi, u kirish ketma-ketliklarini qayta ishlash uchun faqat diqqat mexanizmlaridan foydalanadi (tiklanish va yig'ilish o'rniga).Mualliflar ushbu modelni ikkita mashina tarjimasi vazifalarida sinab ko'rishdi va uning oldingi modellarga qaraganda yaxshiroq ishlashini, o'qitish tezroq bo'lganligini va kamroq hisoblash quvvati talab qilinganligini aniqladilar.Ayniqsa, ularning modeli inglizcha-nemischa tarjima vazifasida 28.4 ball va inglizcha-frantsuzcha tarjima vazifasida 41.8 ballga erishdi, bu esa oldingi natijalardan ancha yuqori.Ular Transformerni inglizcha saylov okrugini tahlil qilish kabi boshqa vazifalarga ham qo'llash mumkinligini ko'rsatdilar.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence