変圧器は、自然言語などのシーケンスデータを含むタスクに優れた一種のニューラルネットワークです。主な革新は、「自己注意」と呼ばれるものからもたらされます。つまり、モデルは、入力シーケンスのどの部分が入力シーケンスの他の部分に関連して重要であるかを学習できます。
Transformers are a type of neural network that excels at tasks involving sequence data, such as natural language. The main innovation comes from something called "self attention", which means the model can learn which parts of the input sequence matters in relation to which other parts of the input sequence.