O'ylaymanki, siz bu holda men asosiy til modeli sifatida asoslangan transformator modeli qanday ishlashini so'rayapsiz. Transformer arxitekturasi birinchi marta 2017 yil 12 iyunda A. Vaswani va boshqalar tomonidan "Attention is all you need" nomli kitobida tasvirlangan. Transformer modeli kirish ketma-ketligini chiqindi ketma-ketligiga o'zgartirish uchun ishlatiladi. Bu, masalan, tildan tilga o'tish yoki avvalgi suhbatdan javobga o'tish bo'lishi mumkin. Kirish dastlab kodlovchida bir qator tokenlarga aylantiriladi va bu pozitsiyaga asoslangan kodlash bilan birlashtirilgan. Natijada hosil bo'lgan vektorlar bir qator ko'p boshliqli diqqat-e'tiborli feed-layeri va format-layeri orqali o'tadi, keyin ular kodlashning bir necha bosqichiga ega bo'ladi.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence