Ushbu kod parchasi, ehtimol, diqqat mexanizmini chuqur o'rganish modelining amalga oshirilishidan kelib chiqadi. Xususan, u diqqat ballari matrisidagi ba'zi elementlarni niqoblash uchun ishlatiladi, bu esa kirish ketma-ketligi elementlari o'rtasidagi haqiqiy bo'lmagan bog'liqliklarni o'z ichiga oladi. Kod avval ikki matritsa yaratadi, attnMaskMul va attnMaskAdd, ikkalasi ham seqLen tomonidan ketma-ket ket ket ket ketlashtirilgan va ma'lumotlar turi FLOAT32. Ushbu matritsalar uchburchakli niqob hosil qiluvchi qiymatlarga to'ldirilgan, bu erda diagonaldan yuqori qiymatlari attnMaskMul uchun 1.0 va attnMaskAdd uchun 0.0 ga, diagonaldan pastki qiymatlari attnMaskMul uchun 0.0 ga va attnMAdd uchun
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence