Transformer mashina o'rganish modelida ko'p boshli e'tibor - bu e'tibor mexanizmining modelga bir vaqtning o'zida kirish ketma-ketligining turli qismlariga e'tibor qaratishga imkon beradigan o'zgarishi. Intuition: Oddiy e'tibor kirish ketma-ketligi qiymatlarining og'irlikdagi yig'indisini hisoblash orqali ishlaydi, bu erda og'irliklar so'rov vektori va har bir kirish vektorlari o'rtasidagi o'xshashlik bilan belgilanadi. Ko'p boshli e'tibor bu g'oyani bir qadam oldinga suradi, bu modelga bir nechta diqqat og'irliklari yoki "boshilar" to'plamlarini parallel ravishda hisoblash imkonini beradi, har biri kirish ketma-ketligining turli qismlariga e'tibor beradi. Har bir boshning chiqishlari keyinchalik to'planib, chiziqli ravishda o'zgart
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence