注意メカニズムは、トランスモデルの最も重要な特性の1つです。これにより、モデルは各処理ステップで入力のさまざまな部分に重量を置くことができ、モデルが入力をより完全かつ重要な表現にすることができます。

注意メカニズムは、入力（通常は単語）と「相談」と呼ばれる内部表現の間の「注意スコア」を計算することで機能します。これらの注意スコアは、「コンテキストベクトル」を計算するために使用されます。これは、コンサルテーションの表現と組み合わせて出力を生成します。

注意メカニズムは、モデルが自動翻訳やテキスト生成などのタスクにとって重要でない、関連性の低い部分を無視して、入力の関連部分に「焦点を合わせる」ことができるため、重要です。さらに、注意メカニズムは平行化可能です。つまり、GPUとTPUで効率的に実装できるため、大規模な変圧器モデルをトレーニングできます。
O mecanismo de atenção é uma das características mais importantes dos modelos Transformer. Ele permite que o modelo dê peso a diferentes partes da entrada em cada etapa da processamento, permitindo que o modelo faça uma representação mais completa e significativa da entrada.

O mecanismo de atenção funciona calculando uma "pontuação de atenção" entre as entradas (geralmente palavras) e uma representação interna chamada de "consulta". Estas pontuações de atenção são, em seguida, usadas para calcular um "vetor de contexto", que é combinado com a representação da consulta para produzir uma saída.

O mecanismo de atenção é importante porque permite que o modelo "concentre-se" nas partes relevantes da entrada, ignorando as partes menos relevantes, o que é crucial para tarefas como tradução automática ou geração de texto. Além disso, o mecanismo de atenção é paralelizável, o que significa que ele pode ser implementado de forma eficiente em GPUs e TPUs, tornando possível o treinamento de modelos Transformer de grande escala.