視覚変圧器と言語変圧器における注意の実装は、主に入力表現とシーケンスの長さが異なります。

言語変圧器では、入力は通常、単語やサブワードなどの個別のトークンのシーケンスであり、1つのホットベクトルまたは埋め込みとして表されます。シーケンスの長さは非常に長く、場合によっては最大数千トークンです。注意メカニズムは、シーケンスのさまざまな部分に選択的に注意を払うために使用され、モデルがトークン間の複雑な関係を学習し、自然言語生成タスクなどの出力シーケンスを生成することができます。

対照的に、ビジョン変圧器では、入力は通常、画像パッチのセットであり、それぞれが高次元ベクトルとして表されます。シーケンスの長さは、言語変圧器と比較してはるかに短く、通常は数百のパッチしかありません。注意メカニズムは、さまざまなパッチに参加し、それらの間の空間的関係をキャプチャするために使用され、モデルがオブジェクトの検出や画像分類などの下流タスクに適した表現を学習できるようにします。

入力表現とシーケンスの長さは異なりますが、注意メカニズムの基本的なアイデアは両方のタイプの変圧器で同じままです。さまざまなレベルの重要性を持つ入力のさまざまな部分に参加し、参加した情報を使用して出力表現を生成します。
The implementation of attention in vision transformers and language transformers differs mainly in the input representations and the sequence lengths.

In language transformers, the input is typically a sequence of discrete tokens, such as words or subwords, represented as one-hot vectors or embeddings. The sequence length can be quite long, up to several thousand tokens in some cases. The attention mechanism is used to selectively attend to different parts of the sequence, allowing the model to learn complex relationships between the tokens and generate output sequences, such as in natural language generation tasks.

In contrast, in vision transformers, the input is usually a set of image patches, each of which is represented as a high-dimensional vector. The sequence length is much shorter compared to language transformers, typically only a few hundred patches. The attention mechanism is used to attend to different patches and capture spatial relationships between them, allowing the model to learn representations that are suitable for downstream tasks, such as object detection or image classification.

Although the input representations and sequence lengths differ, the basic idea of the attention mechanism remains the same in both types of transformers: attend to different parts of the input with varying levels of importance, and use the attended information to generate output representations.