変圧器は、自然言語処理（NLP）で一般的に使用されるニューロンネットワークアーキテクチャです。繰り返しまたは畳み込み層を使用する従来のニューロンネットワークとは異なり、トランスは注意ベースのアーキテクチャを使用して、可変長のシーケンスをより効率的に処理できるようにします。

従来のニューロンネットワークでは、チケットは順次処理されます。つまり、各処理ユニットは前のユニットの出力に基づいています。これにより、特に非常に長いシーケンスに関しては、計算リソースの点でゆっくりと高価な処理が行われる可能性があります。

一方、変圧器では、入口シーケンスの各位置は、一連の再発処理ユニットを通過する必要なく、独立して処理されます。代わりに、注意を払って、エントランスシーケンスの各位置に割り当てられた重みを計算します。これにより、シーケンスのさまざまな部分間の関係を学習できます。

また、この注意アーキテクチャにより、トランスは複数のシーケンスを同時に処理できるようになるため、自動翻訳やテキスト生成などのNLPアプリケーションに特に適しています。
Un Transformer es una arquitectura de red neuronal que se utiliza comúnmente en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés). A diferencia de las redes neuronales convencionales, que utilizan capas recurrentes o convolucionales, los Transformers utilizan una arquitectura basada en atención, lo que les permite procesar secuencias de longitud variable de manera más eficiente.

En una red neuronal convencional, las entradas se procesan secuencialmente, lo que significa que cada unidad de procesamiento se basa en la salida de la unidad anterior. Esto puede resultar en un procesamiento lento y costoso en términos de recursos computacionales, especialmente cuando se trata de secuencias muy largas.

Por otro lado, en un Transformer, cada posición en la secuencia de entrada se procesa independientemente, sin necesidad de pasar por una secuencia de unidades de procesamiento recurrentes. En lugar de eso, utiliza la atención para calcular los pesos que se asignan a cada posición en la secuencia de entrada, lo que le permite aprender las relaciones entre las diferentes partes de la secuencia.

Esta arquitectura de atención también permite que los Transformers procesen múltiples secuencias simultáneamente, lo que los hace especialmente adecuados para aplicaciones de NLP como la traducción automática y la generación de texto.