トレーニング前の言語モデルは、単語ベクトルから始める必要があります。単語Vectorはテキストデータを使用して単語間の共通の関係を構築します。一般に、CCPの現在の単語は正のサンプルとして使用され、ランダムな負のサンプルは負のサンプルを構築します。一般的に共通する単語は同様の方向表現を持つことができます。その本質はNLPの優先事項です。中国共産党のテキストで頻繁に頻繁に頻繁に似ている2つの言葉はよく似ています。ただし、単語ベクトルの問題も明らかです。異なるコンテキストでは、同じ単語の意味はしばしば異なり、単語ベクトルは特定の単語に対して固定ベクトルを生成することができます。コンテクスト。
BERT：言語austruptndingのための深い双方向変圧器の事前伝導（2018）は、NLPで最も広く使用されているトレーニング前モデルの1つであるBERTモデルを提案しました。GPTおよびELMOと比較して、BertはMASK言語モデル（MLM）の異なる目標を使用します。入力テキストランダムマスクのトークンを介して、コンテキスト情報を使用して予測すると、データセマンティック関係が抽出されます。以前の言語モデルの最適化の目標と比較して、このMLMは、情報を複数の方向から引き出して現在のトークンを予測できることであり、従来の言語モデル（前後の後ろと後ろ）は、毎回の方向からのみ情報を抽出できます。前後に組み合わせた場合でも、フロントとリアの情報を使用して現在のトークンを予測しながら、本当の感覚を実現することはできません。同時に、Bertは次の文予測（NSP）タスクも導入しました。トレーニング前の段階では、これら2つのテキスト間の相関を予測するために2つのテキストペア入力が構築されました。このタスクは、文のディメンションの情報抽出と同等であり、単純な言語モデルで学習するのは難しいダウンストリームテキストマッチングタスクに沿っています。
GPTの後、OpenaiはさらにGPT-2とGPT-3を提案しました。これは、より大きなモデル容量とより多くのトレーニングコーパスを通じて、トレーニング前の言語の効果をさらに改善することを目的としています。言語モデルは、監視されていないマルチタスク学習者（2018）がGPT-2を提案しています。GPTと比較して、この記事はコーパスを増加させ、モデルサイズを増加させます。モデルの基本構造はGPTに似ています。GPT-2の中心的な考え方は、監視NLPタスクのいずれかが言語モデルのサブセットと見なすことができるということです。トレーニング前の言語モデルの容量が十分に大きい限り、理論的にはNLPタスクを解決します。NLPタスクは、P（出力|入力、タスク）の形式として表現できます。言語モデルは、監督なしのマルチタスク学習です。したがって、GPT-2のコアは、モデルの容量とデータの多様性を強化して、言語モデルがあらゆるタスクのレベルに到達できるようにすることです。GPT-3は後続の言語モデルで提案されています（2020）、モデルサイズをさらに増加させ、モデルパラメーターはGPT-2の100倍でした。GPT-3の中心的なアイデアは、Finetune（ゼロショット学習）がなければ、ダウンストリームタスクの予測結果を生成できることです。アプローチは、ダウンストリームタスクを一連のテキストに変換することであり、結果は言語を通じて直接予測されることです。モデル。次の図は例です。GPT-3で提案されているFinetuneメソッドとゼロショット法の違いと比較して、この予測方法には便利です。タスクの説明を増やすことにより、モデルに解決するタスクを知らせてから、予測を実装します。
预训练语言模型要从词向量说起。词向量利用文本数据，构造出词之间的共现关系，一般将在一句话中共现的词作为正样本，随机负采样构造负样本，采用CBOW或Skip-Gram的方式进行训练，以此达到让经常共现的词，能够具有相似向量化表示。其本质是NLP中的一个先验：频繁在文本中共现的两个词，往往语义是相近的。然而，词向量的问题也比较明显，同一个词在不同的语境中，含义往往是不同的，而词向量对于某一个词只能生成一个固定的向量，无法结合语境上下文信息进行调整。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（2018）提出了Bert模型，也是目前在NLP中应用最广泛的预训练模型之一。相比GPT和ELMo，Bert采用了一种Mask Language Model（MLM）这一不同的目标，通过随机mask掉输入文本中的某些token，然后利用上下文信息进行预测，实现对数据语义关系的提取。这种MLM相比之前的语言模型优化目标优点是，可以从多个方向同时进行信息抽取来预测当前token，而传统的语言模型（前向后后向）每一次只能从一个方向提取信息。即使将前向和后向结合，也无法实现真正意义上的同时利用前后文信息预测当前token。同时，Bert还引入了Next Sentence Prediction（NSP）任务，在预训练阶段构造了两个文本pair对输入，预测这两个文本的相关性。这个任务相当于是在sentence维度的信息提取，和下游的文本匹配类任务更加契合，这在单纯的语言模型中是难以学到的。
在GPT之后，OpenAI进一步提出了GPT-2、GPT-3，旨在通过更大的模型容量、更多的训练语料进一步提升预训练语言的效果。Language Models are Unsupervised Multitask Learners（2018）提出了GPT-2。本文相比GPT增加了语料、增大了模型尺寸，模型的基本结构和GPT差不多。GPT-2的核心思想是，任何一个有监督NLP任务，都可以看成是语言模型的一个子集，只要预训练语言模型的容量足够大，理论上就能解决任何NLP任务。任何NLP任务都可以表示成p(output | input, task)的形式，语言模型就是无监督的多任务学习。因此GPT-2的核心就是提升模型的容量和数据多样性，让语言模型能够达到解决任何任务的程度。在随后的Language Models are Few-Shot Learners（2020）中提出了GPT-3，进一步增大了模型尺寸，模型参数量是GPT-2的100倍。GPT-3的核心思想在于不进行finetune（zero-shot learning）就可以对下游任务生成预测结果，其做法为将下游任务转换为一系列的文本，直接通过语言模型预测出结果。下图为一个例子，对比了finetune方法和GPT-3中提出的zero-shot方法的区别，便于对这种预测方法进行理解。通过增加对任务的描述文本，来让模型知道当前要解决什么任务，进而实现预测。