Har bir kirishning nisbiy ahamiyati LSTMning joriy yashirin holatini ketma-ketlikdagi har bir kirish bilan taqqoslaydigan ball funksiyasi tomonidan belgilanadi. Ball funksiyasi turli shakllarda bo'lishi mumkin, ammo odatda ishlatiladiganlari orasida nuqta natijasi, qo'shma e'tibor va ko'paytuvchi e'tibor mavjud. Ball funksiyasi har bir kirish uchun ball ishlab chiqaradi, bu uning hozirgi yashirin holatga mosligini ko'rsatadi. Ushbu balllar keyinchalik softmax funksiyasidan foydalanib, kirishlar bo'yicha ehtimollik taqsimotini hosil qilish uchun normallashtiriladi. Ushbu ehtimollik taqsimoti har bir kirishning chiqish uchun nisbiy ahamiyatini ifodalaydi, yuqori ehtimolliklar esa katta ahamiyatni ko'rsatadi. Kirishlarning og'irlangan summasi keyinchalik ushbu ehtimollik taqsimotini ishlatish orqali hisoblanadi, bu esa joriy chiqish uchun muhimroq bo'
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence