Bu belgilar so'zlar, iboralar yoki hatto alohida belgilar bo'lishi mumkin. Matnni belgilarga bo'lish matnni tahlil qilishni osonlashtiradi va so'zlarning tezligini hisoblash yoki naqshlarni aniqlash kabi vazifalarni bajarishi mumkin. Matnni standartlashtirishga imkon beradi. Masalan, barcha so'zlarni standart shaklga aylantirishga yordam beradi. Masalan, barcha so'zlarni kichik harflarga aylantirish mumkin, shunda "Hola" va "Nola" o'rtasidagi farq yo'q. ** Ma'lumotlarni qayta ishlash samaradorligini yaxshilash **: Matnni belgilarga bo'lishish kerak bo'lgan ma'lumotlar miqdori kamayadi. Ushbu belgilar so'zlarni qayta ishlashda butun matnni bir marta qayta ishlashda, belgilar alohida-alohida ishlatilishi mumkin.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence