Transformer mashina o'rganish modellarida e'tibor - bu ketma-ketliklarni qayta ishlashda turli xil kirish elementlarining ahamiyatini o'lchash uchun ishlatiladigan mexanizmdir. Standart e'tiborda, har bir o'rgangan og'irliklarning bitta to'plami kirish elementlarining og'irlangan summasini hisoblash uchun ishlatiladi, bu erda og'irliklar kirish elementi va so'rov vektorining o'xshashligi bilan belgilanadi. Ko'p boshli e'tibor standart e'tibor mexanizmini bir nechta parallel e'tibor operatsiyalarini yoki "boshi" ni bajarish orqali kengaytiradi. Har bir bosh alohida og'irliklarni o'rganadi va kirish ketma-ketligining turli xil ifodasini e'tiborga oladi. Har bir boshning chiqishlari keyinchalik birlashtirib, oxirgi chiqishni hosil qilish uchun o'zgartiriladi. Matematik nuq
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence