Ushbu kodning qismlari neyronlar tarmog'i modelining diqqatli ko'p boshi bilan amalga oshirilmoqda. Ushbu kodning birinchi ikkita satri uchburchak qiymatlarni o'z ichiga olgan ikkita kvadrat matritsa yaratadi. Birinchi matritsa "attnMaskMul" asosiy diagonaldan tashqarida nol bilan boshlangan, ikkinchi matritsa "attnMaskAdd" esa asosiy diagonaldan tashqarida salbiy cheksiz bilan boshlangan. Oxirgi satr "att" matritsa va "attnMaskMul" matritsa o'rtasida matritsa ko'paytirishni amalga oshiradi, shundan so'ng "nMaskAdd" matritsa qo'shiladi. Ushbu operatsiya "att" matritsining ba'zi qismlarini ushbu yashirilgan qismlarga salbiy qiymatlarni tayinlab, maskaralash imkonini beradi. Masalan, bu mashhur model
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence