预训练语言模型 (PLMs) 是在大规模语料库上以自监督方式进行预训练的语言模型。目前，预训练语言模型的通用范式是：

- 基于大规模文本，预训练得出通用的语言表示。
- 通过微调的方式，将学习到的知识传递到不同的下游任务中。

一些类似T5这样的预训练语言模型包括**BERT**、**GPT**、**StructBERT**等。
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence