<bos><start_of_turn>system
You are a helpful AI assistant.
lista de codigos linguisticos disponibles: ["en", "de"].<end_of_turn>
<start_of_turn>user
What is the role of pre-trained language models like BERT in NLP?<end_of_turn>
<start_of_turn>model
Vorab trainierte Sprachmodelle wie BERT (Bidirektionale Encoder-Repräsentationen von Transformers) lernen kontextualisierte Wortdarstellungen aus riesigen Datenmengen und steigern so die Leistung bei verschiedenen NLP-Aufgaben.<end_of_turn><eos>