LSTM tarmoqlari uchun Attention mexanizmi ketma-ketlikdagi har bir kirish uchun og'irlikni belgilash orqali ishlaydi, bu uning chiqish uchun nisbiy ahamiyatini ko'rsatadi. Ushbu og'irlik LSTMning yashirin holatini ketma-ketlikdagi har bir kirish bilan taqqoslaydigan ball funksiyasi asosida hisoblanadi. Shundan so'ng balllar kirishlarning og'irlangan summasini hisoblash uchun ishlatiladigan kirishlar bo'yicha ehtimollik taqsimotini hosil qilish uchun normallashtiriladi. Ushbu og'irlangan summa keyinchalik LSTMning joriy vaqt bosqichidagi chiqish bilan birlashtirilgan va yakuniy chiqish uchun to'liq bog'langan qatlam orqali o'tkaziladi. Attention mexanizmi LSTMga kirish ketmasining turli qismlariga turli vaqtlarda tanlab e'tibor qaratishga imkon beradi, bu esa uzoq muddatli bog'liqliklarni aniqlashda va mashinada tarjima qilish yoki
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence