Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
ビジョン変圧器には、埋め込みベクトルがどのくらい一般的ですか？

### Response:

視覚変圧器は、一般にサイズの埋め込みベクターを使用します。

768（例：vit-base）
1024（例：vit-large）
2048（例：vit-huge）

Andrei-Cristian Radは、Mediumに関する記事で、Vit Architectureが各フラットパッチを寸法dに直線的に投影することを学習するトレーニング可能な埋め込みテンソル（p²*c、d）を使用していると説明しています。このディメンションDはアーキテクチャでは一定であり、ほとんどのコンポーネントで使用されています。

したがって、768〜2048の寸法が一般的であり、研究で調査されています。
一般に、埋め込みサイズが大きくなると、モデルはより微細な関係と表現をキャプチャできますが、パラメーターのカウントと過剰適合のリスクも増加させることができます。したがって、これはトレードオフであり、使用される正確なサイズは、利用可能な特定のユースケースとデータに依存します。