Transformator arxitekturasi Vasvani va boshqalar tomonidan 2017 yilda chop etilgan "E'tibor - bu sizga kerak bo'lgan narsa" nomli maqolada ixtiro qilingan. Maqolada transformator modeli ketma-ketlik o'rganish vazifalari, masalan, mashina tarjimasi uchun takrorlanadigan neyron tarmoqlariga (RNN) muqobil sifatida taqdim etilgan. Transformator arxitekturasi o'ziga e'tibor mexanizmlariga tayanadi, bu esa takrorlanadigan ulanishlarsiz ketma-ketlikdagi elementlar o'rtasidagi uzoq masofali bog'liqliklarni ushlab turishga imkon beradi.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence