OpenAI ning CLIP modelida asosiy g'oya quyidagicha: o'zini nazorat qilish orqali rasm va matnni moslashtirish va bog'lash. Xususan, quyidagi qadamlar mavjud: 1. Rasmni qayta ishlash: kiritiladigan rasmni xususiyat vektoriga aylantirish, bu erda ResNet-50 dan xususiyatlarni olish ishlatiladi. 2. Matnni qayta ishlash: kiritiladigan matnni Transformer modeli orqali matnni xususiyat vektoriga aylantirish. 3. Moslashish yo'qotish: rasm xususiyat vektorini va matnni xususiyat vektorini o'zaro bog'liq bo'lgan o'rta qatlamga kiritish, kalkulyatorning ichki qismi moslamalar sifatida ishlatiladi va etiketka bilan taqqoslanadi, moslash yo'qotishlarini hisoblaydi. 4. prognoz qilish: bir rasm va bir nechta matnni hisoblash uchun bir rasm va bir nechta matnni hisoblash, har bir matnga mos keladigan rasmlar
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence