Intuition: Transformer mashina o'rganish modellarida e'tibor mexanizmlari modelga chiqish hosil qilishda ketma-ketlikda turli so'zlar yoki belgilarning ahamiyatini o'lchashga imkon beradi. Asosiy maqsad modelga tegishli ma'lumotlarga e'tibor qaratish va ahamiyatsiz qismlarni e'tiborsiz qoldirishdir. Oddiy (bir boshli) e'tibor bu og'irliklarni bitta kontekst yoki nuqtai nazardan kelib chiqqan holda hisoblaydi. Aksincha, ko'p boshli e'tibor ushbu e'tibor mexanizmini ko'p boshlarga bo'lib, modelga so'zlar o'rtasidagi turli munosabatlarni va kontekstni parallel ravishda ushlab turishga imkon beradi. Bu shuni anglatadiki, har bir bosh ma'lumotlarning turli jihatlari yoki naqshlariga e'tibor qaratishni o'rganishi mumkin, bu esa kirish ketma-ket
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence