El documento "La atención es todo lo que necesitas" propuso por primera vez el modelo Transformer, que tuvo un profundo impacto en el LLM posterior. Indica la idea central de Transformer descrita en este documento
Un transformador es un modelo de aprendizaje profundo que adopta el mecanismo de autoatención, ponderando diferencialmente la importancia de cada parte de los datos de entrada. Se utiliza principalmente en los campos del procesamiento del lenguaje natural (PLN) y la visión por ordenador (VC).

Al igual que las redes neuronales recurrentes (RNN), los transformadores están diseñados para procesar datos de entrada secuenciales, como el lenguaje natural, con aplicaciones a tareas como la traducción y el resumen de textos. Sin embargo, a diferencia de las RNN, los transformadores procesan toda la entrada a la vez. El mecanismo de atención proporciona contexto para cualquier posición en la secuencia de entrada. Por ejemplo, si los datos de entrada son una frase en lenguaje natural, el transformador no tiene que procesar una palabra cada vez. Esto permite una mayor paralelización que las RNN y, por tanto, reduce los tiempos de entrenamiento.

Los transformadores fueron introducidos en 2017 por un equipo de Google Brain y se están convirtiendo cada vez más en el modelo de elección para los problemas de PNL, sustituyendo a los modelos RNN como la memoria a largo plazo (LSTM). La paralelización adicional del entrenamiento permite entrenar en conjuntos de datos más grandes. Esto condujo al desarrollo de sistemas preentrenados como BERT (Bidirectional Encoder Representations from Transformers) y GPT (Generative Pre-trained Transformer), que se entrenaron con grandes conjuntos de datos lingüísticos, como el Corpus de Wikipedia y Common Crawl, y pueden ajustarse para tareas específicas.
Este artículo es de Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. y se publicó en 2017. Sentó las bases para la posterior serie de modelos GPT y la serie de modelos BERT. El modelo GPT utiliza la parte decodificadora de Transfomer, mientras que el modelo BERT utiliza la parte codificadora de Transfomer. La arquitectura del núcleo principal del modelo Transfomer incluye: Mecanismo de Autoatención, Codificación Posicional, Arquitectura Codificador-Decodificador, Atensión Multicabezal.
Transformer resuelve eficazmente el difícil problema paralelo del anterior modelo RNN/LSTM utilizando el mecanismo de Atención. El uso de la Autoatención resuelve el problema de los datos etiquetados limitados en la PNL. La información de secuencia del texto de entrada se conserva mediante la Codificación Posicional. Y la Atención Multicabezal permite a Transformer aprender diferentes patrones de datos de entrenamiento, de forma similar al concepto de Canal en el modelo CNN.