Tokenlashtirish jarayoni matnni kichikroq birliklarga bo'lishdan iborat. Masalan, ingliz tilida tokenizatsiya qilish hind tiliga qaraganda qimmatroq bo'lishi mumkin, chunki tuzilishi va talablari farq qiladi.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence