Tokenizatsiya - bu kirish / chiqish matnni kichikroq bo'linmalarga bo'lish jarayoni, shunda LLM AI modellari tilni qayta ishlaydi / hosil qiladi. Tokenlar belgilar, so'zlar, subso'zlar yoki matn yoki kodning boshqa qismlari bo'lishi mumkin, bu tanlangan tokenizatsiya usuli yoki sxemasiga bog'liq. Tokenlarga raqamli qiymat yoki identifikatorlar beriladi va ketma-ketlik yoki vektorlarga tashkil etiladi, ular modeldan kiritilgan yoki hosil qilinadi.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence