Ushbu kod parchasi diqqat mexanizmining chuqur o'rganish modelidagi, ayniqsa tabiiy tilni qayta ishlash (NLP) vazifalarida amalga oshirilishi bilan bog'liq. Tabiiy tilni qayta ishlashda, diqqat mexanizmidan foydalanib, amaldagi vazifa bilan bog'liq bo'lgan ketma-ketlikning ma'lum qismlarini, masalan, til tarjimasi yoki matnni tasniflash. E'tibor mexanizmining ishlashi ketma-ketlikning turli qismlariga og'irliklarni berish va keyin ushbu og'irliklardan foydalanib ketma-ketlik elementlarining og'irlik summasini hisoblashdir. Ushbu kod parchasida, attnMaskMul va attnMaskAdd - bu diqqat skorlariga maska qo'llash uchun ishlatiladigan ikkita matritsa, ular kirish ketma-ketligi va maqsad ketma-ketligi o'rtasidagi o'xshashlikka asoslangan
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence