Bir vaqtning o'zida barcha kirish ketma-ketligini qayta ishlash transformatorlarga katta kontekstlardagi bog'liqliklarni aniqlash imkonini beradi, ammo bu qimmatga tushadi. E'tibor mexanizmining hisoblash talablari kirish ketma-ketligi uzunligining kvadratiga mutanosib ravishda o'sadi. Bu kirish belgisi uchun belgilangan hisoblash bo'lgan RNNlarga nisbatan noqulaylikdir. Shuningdek, transformatorlar past sifatli ma'lumotlar bilan o'qitilganda ortiqcha moslashishga moyilligi borligi haqida ba'zi dalillar mavjud.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence