トレーニング前の言語モデル（PLMS）は、大規模なコーパス上の大規模なコーパスライブラリ上のトレーニング前の言語モデルです。現在、トレーニング前の言語モデルの一般的なパラダイムは次のとおりです。

 - 大規模なテキストに基づいて、トレーニング前に入手できます。
 - 素晴らしい調整方法で、知識をさまざまなダウンストリームタスクに渡します。

T5のようなトレーニング前の言語モデルには、** bert **、** gpt **、** structbert **などが含まれます。
预训练语言模型 (PLMs) 是在大规模语料库上以自监督方式进行预训练的语言模型。目前，预训练语言模型的通用范式是：

- 基于大规模文本，预训练得出通用的语言表示。
- 通过微调的方式，将学习到的知识传递到不同的下游任务中。

一些类似T5这样的预训练语言模型包括**BERT**、**GPT**、**StructBERT**等。