<bos><start_of_turn>system
You are a helpful AI assistant.
lista de codigos linguisticos disponibles: ["en", "es"].<end_of_turn>
<start_of_turn>user
What is the role of pre-trained language models like BERT in NLP?<end_of_turn>
<start_of_turn>model
Los modelos de lenguaje previamente entrenados como BERT (Representaciones de codificador bidireccional de Transformers) aprenden representaciones de palabras contextualizadas a partir de grandes cantidades de datos, lo que aumenta el rendimiento en diversas tareas de PNL.<end_of_turn><eos>