ビジョントランスは、一連の自己触媒層を使用して画像を処理します。処理前に、画像は固定サイズの非重複パッチ（16x16ピクセルなど）に分割され、その後、連続ベクトル表現に直線的に埋め込まれます。これらの埋め込まれたベクトルは、変圧器層を介して処理されます。

埋め込みベクトルの長さは、通常、ビジョントランスの設計と入力画像パッチのサイズによって決定されます。GoogleによるVIT（Vision Transformer）などの一般的な視覚変圧器は、768または1024の寸法のベクトルサイズを埋め込みます。DEIT（データ効率の高い画像トランス）などの視覚変圧器の他のバリエーションも、同様の埋め込みサイズを使用しています。ただし、埋め込みベクトルの特定の長さは、特定のアーキテクチャと、モデルの複雑さ、パフォーマンス、効率の間の望ましいトレードオフによって異なる場合があります。

一般に、視力変圧器の埋め込みベクトルの長さはモデル設計によって決定され、数百から数千の次元の範囲です。ベクトルサイズが大きいほど、モデルの表現はより表現力がありますが、これは計算の複雑さとメモリの要件の増加を犠牲にします。
A vision transformer processes images using a series of self-attention layers. Before processing, the image is divided into fixed-size non-overlapping patches (e.g., 16x16 pixels), which are then linearly embedded into a continuous vector representation. These embedded vectors are then processed through the transformer layers.

The length of the embedding vector is typically determined by the design of the vision transformer and the size of the input image patches. Common vision transformers like ViT (Vision Transformer) by Google use an embedding vector size of 768 or 1024 dimensions. Other variations of vision transformers, like DeiT (Data-efficient Image Transformer), also use similar embedding sizes. However, the specific length of the embedding vector may vary depending on the specific architecture and the desired trade-off between model complexity, performance, and efficiency.

In general, the length of the embedding vector in vision transformers is determined by the model design and can range from a few hundred to a few thousand dimensions. The larger the vector size, the more expressive the model's representation, but this comes at the cost of increased computational complexity and memory requirements.