視覚変圧器は、一般にサイズの埋め込みベクターを使用します。

768（例：vit-base）
1024（例：vit-large）
2048（例：vit-huge）

Andrei-Cristian Radは、Mediumに関する記事で、Vit Architectureが各フラットパッチを寸法dに直線的に投影することを学習するトレーニング可能な埋め込みテンソル（p²*c、d）を使用していると説明しています。このディメンションDはアーキテクチャでは一定であり、ほとんどのコンポーネントで使用されています。

したがって、768〜2048の寸法が一般的であり、研究で調査されています。
一般に、埋め込みサイズが大きくなると、モデルはより微細な関係と表現をキャプチャできますが、パラメーターのカウントと過剰適合のリスクも増加させることができます。したがって、これはトレードオフであり、使用される正確なサイズは、利用可能な特定のユースケースとデータに依存します。
Vision Transformers commonly use embedding vectors of size:

768 (e.g. ViT-Base)
1024 (e.g. ViT-Large)
2048 (e.g. ViT-Huge)

Andrei-Cristian Rad explains in his article on Medium that the ViT architecture uses a trainable embedding tensor of shape (p²*c, d), which learns to linearly project each flat patch to dimension d. This dimension d is constant in the architecture and is used in most of the components.

So anywhere from 768 to 2048 dimensions is common and has been explored in research.
In general, larger embedding sizes allow the model to capture more fine-grained relationships and representations, but also increase parameter count and risk of overfitting. So it's a tradeoff, and the exact size used will depend on the specific use case and data available.