視覚変圧器と言語変圧器における注意の実装は、主に注意メカニズムが適用される入力のタイプが異なります。

言語変圧器では、通常、文またはドキュメントを表す一連の単語埋め込みに注意が払われます。クエリベクトルは、シーケンス内の現在の位置から導出され、キーと値ベクトルはシーケンス内のすべての位置から導出されます。注意メカニズムにより、モデルは入力シーケンスのさまざまな部分に注意を払うことができ、機械翻訳や言語モデリングなどのタスクに特に効果的であることが示されています。

対照的に、視覚変圧器では、通常、画像を表すパッチのグリッドに注意が適用されます。クエリベクトルは各パッチから導出され、キーと値ベクトルはグリッド内のすべてのパッチから派生します。注意メカニズムにより、モデルは画像のさまざまな領域に注意を払うことができ、画像分類やオブジェクト検出などのタスクに効果的であることが示されています。

視覚変圧器における注意の実装の重要な違いの1つは、位置埋め込みの使用です。これは、グリッド内のパッチ間の空間的関係に関する情報をモデルに提供します。これらの位置埋め込みは、通常、注意メカニズムに供給される前にパッチ埋め込みに追加され、モデルがコンテンツとパッチの位置の両方に注意することができます。

全体として、注意の基本的なアイデアはビジョントランスと言語変圧器の両方で同じですが、特定の実装の詳細は、入力データの性質と手元のタスクに基づいて異なります。
The implementation of attention in vision transformers and language transformers differs primarily in the type of input that the attention mechanism is applied to.

In language transformers, attention is typically applied to a sequence of word embeddings that represent a sentence or a document. The query vector is derived from the current position in the sequence, and the key and value vectors are derived from all positions in the sequence. The attention mechanism allows the model to attend to different parts of the input sequence, and has been shown to be particularly effective for tasks such as machine translation and language modeling.

In contrast, in vision transformers, attention is typically applied to a grid of patches that represent an image. The query vector is derived from each patch, and the key and value vectors are derived from all patches in the grid. The attention mechanism allows the model to attend to different regions of the image, and has been shown to be effective for tasks such as image classification and object detection.

One key difference in the implementation of attention in vision transformers is the use of positional embeddings, which provide the model with information about the spatial relationships between patches in the grid. These positional embeddings are typically added to the patch embeddings before they are fed into the attention mechanism, allowing the model to attend to both the content and the position of the patches.

Overall, while the basic idea of attention is the same in both vision transformers and language transformers, the specific implementation details differ based on the nature of the input data and the task at hand.