視覚変圧器と言語変圧器における注意の実装は、入力データの性質とモデルの構造により異なります。

言語変圧器では、入力データは、モデルによって一度に1つずつ処理される単語やサブワードなどのトークンのシーケンスで構成されています。言語変圧器の注意メカニズムは、トークン間の意味のある関係を抽出するために、入力シーケンスのさまざまな部分に注意するように設計されています。入力シーケンスは通常、複数のセグメントまたは「ヘッド」に分割され、各ヘッドはそのセグメントのトークン間の関係に基づいて一連の注意ウェイトを計算します。次に、異なるヘッドの出力を連結し、直線的に変換して最終的な注意出力を生成します。

Vision Transformersでは、入力データは、モデルによってフラット化され処理される2Dパッチのシーケンスとして表される画像で構成されています。Vision Transformersの注意メカニズムは、オブジェクトの検出や画像分類など、手元のタスクに関連する機能を抽出するために、画像のさまざまな部分に参加するように設計されています。言語変圧器とは異なり、視覚変圧器の注意メカニズムは通常、複数のセグメントやヘッドを使用しません。代わりに、単一の注意マトリックスを使用して、画像内のパッチのすべてのペア間で注意力を計算し、その後、パッチの加重合計を生成するために使用されます。注意メカニズムの出力は、通常、さらなる処理のためにフィードフォワードニューラルネットワークに供給されます。

全体として、基礎となる注意の原則は言語とビジョン変圧器で類似していますが、特定の実装は、入力データの一意の特性とモデルの構造に合わせて調整されています。
The implementation of attention in vision transformers and language transformers is different due to the nature of the input data and the structure of the models.

In language transformers, the input data consists of sequences of tokens, such as words or subwords, which are processed by the model one at a time. The attention mechanism in language transformers is designed to attend to different parts of the input sequence in order to extract meaningful relationships between the tokens. The input sequence is typically divided into multiple segments or "heads", and each head computes a set of attention weights based on the relationships between the tokens in that segment. The outputs of the different heads are then concatenated and linearly transformed to produce the final attention output.

In vision transformers, the input data consists of images represented as a sequence of 2D patches, which are flattened and processed by the model. The attention mechanism in vision transformers is designed to attend to different parts of the image in order to extract features that are relevant for the task at hand, such as object detection or image classification. Unlike language transformers, the attention mechanism in vision transformers typically does not use multiple segments or heads. Instead, it uses a single attention matrix to compute attention weights between all pairs of patches in the image, which are then used to produce a weighted sum of the patches. The output of the attention mechanism is then typically fed into a feedforward neural network for further processing.

Overall, while the underlying principles of attention are similar in language and vision transformers, the specific implementations are tailored to the unique characteristics of the input data and the structure of the models.