Un Transformer es una arquitectura de red neuronal que se utiliza comúnmente en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés). A diferencia de las redes neuronales convencionales, que utilizan capas recurrentes o convolucionales, los Transformers utilizan una arquitectura basada en atención, lo que les permite procesar secuencias de longitud variable de manera más eficiente.

En una red neuronal convencional, las entradas se procesan secuencialmente, lo que significa que cada unidad de procesamiento se basa en la salida de la unidad anterior. Esto puede resultar en un procesamiento lento y costoso en términos de recursos computacionales, especialmente cuando se trata de secuencias muy largas.

Por otro lado, en un Transformer, cada posición en la secuencia de entrada se procesa independientemente, sin necesidad de pasar por una secuencia de unidades de procesamiento recurrentes. En lugar de eso, utiliza la atención para calcular los pesos que se asignan a cada posición en la secuencia de entrada, lo que le permite aprender las relaciones entre las diferentes partes de la secuencia.

Esta arquitectura de atención también permite que los Transformers procesen múltiples secuencias simultáneamente, lo que los hace especialmente adecuados para aplicaciones de NLP como la traducción automática y la generación de texto.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence