モダリティの1つとしてテキストを含むアーキテクチャは、インターネットデータから大量の常識的な知識を得ることができ、低データのモダリティのより良い一般化につながります。テキストイメージのペアに加えて、テキストのみのデータセットを活用できる画像分類アーキテクチャであるVision OUIを紹介します。LAION-5Bデータセットで微調整する前に、一般的なクロールコーパスのろ過されたサブセットでトレーニングします。結果のモデルは、業界標準モデルに匹敵するパフォーマンスを備えた13の異なるベンチマークでSOTAを実現します。さらに、99％の精度を保持しながら、3倍のパフォーマンスの向上に対してモデルを蒸留します。
Architectures that include text as one of their modalities can gain a large assortment of common-sense knowledge from Internet data, which leads to better generalization in low-data modalities. We introduce Vision Oui, an image classification architecture capable of harnessing text-only datasets in addition to text-image pairs. We train on a filtered subset of the Common Crawl corpus before finetuning on the LAION-5B dataset. The resulting model achieves SOTA on 13 different benchmarks with comparable performance to industry standard models. We further distill the model for 3x performance gains while retaining 99% accuracy.