Un Transformer es un tipo de modelo de lenguaje natural basado en atención que fue introducido por Vaswani et al. en 2017. A diferencia de las redes neuronales convencionales, que procesan secuencias de entrada de manera secuencial, los Transformers procesan todas las posiciones de la secuencia simultáneamente, lo que les permite capturar mejor las relaciones a largo plazo entre las palabras. Además, los Transformers utilizan mecanismos de atención para determinar la importancia relativa de cada palabra en la entrada en función del contexto, lo que les permite centrarse en las palabras más relevantes para la tarea en cuestión. Esto los hace particularmente eficaces para tareas de lenguaje natural como la traducción automática, la generación de texto y el análisis de sentimientos.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence