Ko'rish transformatori bir qator o'z-o'zini o'zi e'tiborini jalb qiladigan qatlamlardan foydalanib tasvirlarni qayta ishlaydi. Ishlab chiqarishdan oldin, tasvir belgilangan o'lchamdagi bir-biriga to'xtalib ketmaydigan patchlarga (masalan, 16x16 piksel) bo'linadi, keyin ular chiziqli ravishda uzluksiz vektor tasvirga o'rnatiladi. Ushbu o'rnatilgan vektorlar transformator qatlamlari orqali qayta ishlanadi. O'rnatilgan vektorning uzunligi odatda ko'rish transformatori dizayni va kirish tasvir patchlarining o'lchami bilan belgilanadi. Google tomonidan ViT (Vision Transformer) kabi umumiy ko'rish transformatorlari 768 yoki 1024 o'lchamdagi ko'rish vektoridan foydalanadi. Ko'rish transformatorlarining boshqa variatsiyalari, masalan, DeiT (Data-efficient
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence