Kvantlashtirish - bu mashina o'rganish modeli siqilishida modelning og'irliklari va faolliklarini ifodalash uchun ishlatiladigan bitlar sonini kamaytirish uchun ishlatiladigan usul. INT4 kvantlashtirish sxemasi - bu transformator modelini siqishda ishlatiladigan kvantlashtirishning alohida turi. INT4 kvantlashtirishda qiymatlar faqat 4 bitdan foydalanib ifodalanadi. Xususan, asl qiymatlarning diapazoni 16 ta teng bo'lgan qismlarga bo'linadi va har bir qismga noyob 4 bitli kod beriladi. Qiymatlar keyinchalik tegishli qismning markaziga yaxlitlanadi va 4 bitli kod yaxlitlangan qiymatni ifodalash uchun ishlatiladi. Bu samarali siqish usuli bo'lishi mumkin, chunki transformator modelidagi og'irliklar va faolliklar nisbiy darajada kichik qiymatlarga ega bo'ladi va INT4 kvantlashtirish ko'pincha ushbu qiymatlarni yuqori
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence