トレーニング前の言語モデルは機械学習モデルです。大規模なテキストデータによる監視されていない学習があり、さまざまな自然言語処理タスクに適用できるという一般的な言語表現を学習します。このモデルは、テキスト、完了文、対話、機械翻訳などのタスクを生成するために使用できます。

トレーニング前の言語モデルは通常、ニューラルネットワークを使用してモデル化し、モデルをトレーニングするために「自己スーパービジョン学習」と呼ばれるテクノロジーを使用します。Self -Supervision Learningとは、モデルをトレーニングするために署名されていないデータの使用を指します。そのため、トレーニングモデルをより効率的にする手動ラベルデータの必要はありません。

最も人気のある事前に訓練された言語モデルの1つはBert（変圧器からの双方向エンコーダーの再現）です。変圧器アーキテクチャを使用してモデルを使用して、高品質のテキスト表現を生成し、さまざまな自然言語処理タスクで最も高度な結果を達成できます。他の有名なトレーニング前の言語モデルには、GPT（一般的な訓練を受けた変圧器）およびXLNETが含まれます。
预训练语言模型是一种机器学习模型，它通过对大规模文本数据进行无监督学习，学习出一个通用的语言表示，能够应用于各种自然语言处理任务。这种模型可以用来自动生成文本、完成句子、对话和机器翻译等任务。

预训练语言模型通常使用神经网络来建模，并使用一种称为“自监督学习”的技术来训练模型。自监督学习是指使用未标记的数据来训练模型，因此不需要人工标记数据，这使得训练模型更加高效。

最流行的预训练语言模型之一是BERT（Bidirectional Encoder Representations from Transformers），它使用Transformer架构进行建模，可以生成高质量的文本表示，并在多种自然语言处理任务中取得了最先进的结果。其他知名的预训练语言模型包括GPT（Generative Pre-trained Transformer）和XLNet等。