Transformator - bu til yoki nutq kabi ketma-ket ma'lumotlarni qayta ishlash uchun ishlatiladigan neyron tarmoq arxitekturasining bir turi. Transformator arxitekturasining asosiy yangiligi uning diqqat mexanizmi bo'lib, u modelga kirish ketma-ketligining turli qismlariga e'tibor qaratishga va bashoratlarni amalga oshirishda ularni o'lchashga imkon beradi. E'tibor mexanizmi, bashoratlarni amalga oshirishda kirish ketma-ketligining barcha qismlari bir xil muhim emasligi printsipi asosida ishlaydi. Masalan, bir jumla bir tildan boshqa tilga tarjima qilganda, model to'g'ri tarjima qilish uchun jumla mavzusiga, fe'lga va ob'ektga e'tibor qaratishi kerak bo'lishi mumkin. E'tibor mexanizmi modelga butun ketma-ketlikni belgilangan tarzda qayta ishlashdan ko'ra, kirish
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence