注意（英語：注意）は、人工ニューラルネットワークで認知的注意を模倣するテクノロジーです。このメカニズムは、ニューラルネットワークの入力データ内の一部の部分の重みを強化し、他の部分の重みを弱めて、データの最も重要な部分でネットワークの注意点を集中させることができます。コンテキストに応じて、データ内のどの部分が他の部分よりも重要です。注意メカニズムは、グラデーションドロップ方法を通じてトレーニングできます。
自己注意は、注意メカニズムのバリアントです。これは、同じシーケンスの特性を計算するための単一シーケンスの異なる位置に関連する一種の注意メカニズムです。機械の読み取り、抽象要約、または画像の説明に非常に役立つことが証明されています。
注意力机制（英语：attention）是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。
自注意力（self attention）是注意力机制的一个变体。是一种与单个序列的不同位置相关的注意力机制，以计算同一序列的表征。它已被证明在机器阅读、抽象概括或图像描述生成中非常有用。