header-icon
目前，世界上有许多公开可用的预训练语言模型，其中包括BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）、ELMo（Embeddings from Language Models）、XLNet（Generalized Autoregressive Pretraining）等。BERT 是一种基于双向 Transformer 的预训练模型，可以用于多种自然语言处理任务，如文本分类、句子相似度计算等。GPT 是一种基于 Transformer 的预训练模型，可以用于文本生成、文本分类等任务。ELMo 是一种基于语言模型的预训练模型，可以用于文本分类、句子相似度计算等任务。XLNet 是一种基于自回归预训练的模型，可以用于文本分类、句子相似度计算等任务。
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence