¿Cuál es la principal diferencia entre el transformador sólo decodificador y el transformador sólo codificador?
La principal diferencia es que el transformador sólo codificador mira la secuencia de entrada desde ambas direcciones, tanto por delante como por detrás, lo que significa que puede comprender mejor las relaciones entre cada token de la secuencia. En cambio, el transformador sólo decodificador sólo mira en una dirección de la entrada, lo que significa que son más adecuados para tareas de lenguaje autorregresivo, como la generación de textos.
What is the main difference between decoder only transformer and encoder only transformer?
The main difference is that the encoder-only transformer looks at the input sequence from both directions, both front and the back, this means they can better understand the relationships between each token in the sequence. On the other hand, the decoder-only transformer only look at one direction of the input, which means they are better suited for autoregressive language tasks such as text generation.