Yuqorida aytib o'tilganidek, tokenlashtirish ishlatiladi, chunki u modelga turli xil tillar, so'z boyliklari va formatlarni boshqarish va hisoblash va xotira xarajatlarini osonlikcha kamaytirishga imkon beradi. Tokenlashtirish LLMlarga yordam berishining sababi, u qayta ishlash kerak bo'lgan ma'lumotlar hajmini kamaytirishga imkon beradi, masalan, agar sizda 5000 ta belgi uzunligi bo'lgan matn bo'lsa (shu jumladan, nuqta, bo'sh joylar va boshqalar) belgilar to'plamlarini bitta tokenga aylantirib, uning uzunligini kamaytirish mumkin.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence