Siz to'g'ri yo'lda! His-tuyg'ularni tahlil qilish matnni uning asosiy tushunchalari yoki ifodalarigacha distillantirishni o'z ichiga oladi, bu esa tokenlashtirish qismidir. Tokenlashtirish - matnni alohida so'zlar yoki iboralarga ajratish jarayoni, ko'pincha tokenlar deb ataladi. Mashina ta'limiga asoslangan his-tuyg'ularni tahlil qilishda, algoritm belgilar va ularning mos keladigan his-tuyg'ular o'rtasidagi o'zaro munosabatlarni aniqlash uchun belgilab qo'yilgan ma'lumotlar to'plamlaridan o'rganadi. Ushbu ma'lumotlar to'plamlari odamlar tomonidan yaratilgan bo'lib, ular matnlarga qo'lda his-tuyg'ular belgilarini (yomon, salbiy yoki neytral) beradilar. Algoritm ushbu belgilab qo'
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence