ViT-transformatorlar odatda 768 (masalan, ViT-Base) 1024 (masalan, ViT-Large) 2048 (masalan, ViT-Huge) o'lchamdagi ko'chirish vektorlaridan foydalanadilar. Andrei-Cristian Rad o'zining Medium haqidagi maqolasi bo'yicha ViT arxitekturasida har bir tekis patchni d o'lchamiga chiziqli ravishda loyihalashni o'rganadigan shakli (p2 * c, d) ning o'rganilishi mumkin bo'lgan ko'chirish tensori ishlatilishini tushuntiradi. Ushbu d o'lcham arxitekturada doimiy bo'lib, ko'pchilik komponentlarda ishlatiladi. Shunday qilib, 768 dan 2048 gacha bo'lgan o'lchamlar keng tarqalgan va tadqiqotlarda o'rganilgan.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence