トランス機械学習モデルでは、注意はシーケンスを処理する際に異なる入力要素の重要性を比較検討するために使用されるメカニズムです。標準的な注意では、学習した重みの単一セットを使用して、入力要素の加重合計を計算します。ここで、重みは入力要素とクエリベクトルの類似性によって決定されます。

マルチヘッドの注意は、複数の並列注意操作または「ヘッド」を実行することにより、標準的な注意メカニズムを拡張します。各ヘッドは、個別のウェイトセットを学習し、入力シーケンスの異なる表現に参加します。次に、各ヘッドの出力を連結および変換して最終出力を生成します。

数学的な観点から、マルチヘッドの注意では、クエリ、キー、および値ベクトルはそれぞれ複数の小さなベクトル、または「ヘッド」に分割され、並列で処理されます。各ヘッドの出力は、スケーリングされたDOT製品の注意メカニズムを使用して計算されます。このメカニズムは、そのヘッドのクエリとキーベクターの類似性によって重みが決定されます。

次に、各ヘッドの出力が連結され、線形層を通過して最終出力を生成します。これにより、モデルは入力要素とクエリベクトルの間のさまざまなタイプの関係をキャプチャでき、複雑な入力シーケンスを表す能力を向上させることができます。
In Transformer machine learning models, attention is a mechanism used to weigh the importance of different input elements when processing sequences. In standard attention, a single set of learned weights is used to compute a weighted sum of the input elements, where the weights are determined by the similarity between the input element and a query vector.

Multi-head attention extends the standard attention mechanism by performing multiple parallel attention operations, or "heads". Each head learns a separate set of weights and attends to a different representation of the input sequence. The outputs of each head are then concatenated and transformed to produce the final output.

From a mathematical perspective, in multi-head attention, the query, key, and value vectors are each split into multiple smaller vectors, or "heads", which are then processed in parallel. The output of each head is computed using a scaled dot-product attention mechanism, where the weights are determined by the similarity between the query and key vectors for that head.

The outputs of each head are then concatenated and passed through a linear layer to produce the final output. This allows the model to capture different types of relationships between the input elements and the query vector, improving its ability to represent complex input sequences.