human
トレーニング前の言語モデルとは何ですか？
gpt
トレーニング前の言語モデルとは、コーパスのバッチを介したトレーニングモデルを指し、その後、この予備的なトレーニングモデルに基づいて使用したトレーニングまたは言語モデルを継続します。
human
詳細に紹介できますか？
gpt
トレーニング前の言語モデルは、単語ベクトルから始める必要があります。単語Vectorはテキストデータを使用して単語間の共通の関係を構築します。一般に、CCPの現在の単語は正のサンプルとして使用され、ランダムな負のサンプルは負のサンプルを構築します。一般的に共通する単語は同様の方向表現を持つことができます。その本質はNLPの優先事項です。中国共産党のテキストで頻繁に頻繁に頻繁に似ている2つの言葉はよく似ています。ただし、単語ベクトルの問題も明らかです。異なるコンテキストでは、同じ単語の意味はしばしば異なり、単語ベクトルは特定の単語に対して固定ベクトルを生成することができます。コンテクスト。
BERT：言語austruptndingのための深い双方向変圧器の事前伝導（2018）は、NLPで最も広く使用されているトレーニング前モデルの1つであるBERTモデルを提案しました。GPTおよびELMOと比較して、BertはMASK言語モデル（MLM）の異なる目標を使用します。入力テキストランダムマスクのトークンを介して、コンテキスト情報を使用して予測すると、データセマンティック関係が抽出されます。以前の言語モデルの最適化の目標と比較して、このMLMは、情報を複数の方向から引き出して現在のトークンを予測できることであり、従来の言語モデル（前後の後ろと後ろ）は、毎回の方向からのみ情報を抽出できます。前後に組み合わせた場合でも、フロントとリアの情報を使用して現在のトークンを予測しながら、本当の感覚を実現することはできません。同時に、Bertは次の文予測（NSP）タスクも導入しました。トレーニング前の段階では、これら2つのテキスト間の相関を予測するために2つのテキストペア入力が構築されました。このタスクは、文のディメンションの情報抽出と同等であり、単純な言語モデルで学習するのは難しいダウンストリームテキストマッチングタスクに沿っています。
GPTの後、OpenaiはさらにGPT-2とGPT-3を提案しました。これは、より大きなモデル容量とより多くのトレーニングコーパスを通じて、トレーニング前の言語の効果をさらに改善することを目的としています。言語モデルは、監視されていないマルチタスク学習者（2018）がGPT-2を提案しています。GPTと比較して、この記事はコーパスを増加させ、モデルサイズを増加させます。モデルの基本構造はGPTに似ています。GPT-2の中心的な考え方は、監視NLPタスクのいずれかが言語モデルのサブセットと見なすことができるということです。トレーニング前の言語モデルの容量が十分に大きい限り、理論的にはNLPタスクを解決します。NLPタスクは、P（出力|入力、タスク）の形式として表現できます。言語モデルは、監督なしのマルチタスク学習です。したがって、GPT-2のコアは、モデルの容量とデータの多様性を強化して、言語モデルがあらゆるタスクのレベルに到達できるようにすることです。GPT-3は後続の言語モデルで提案されています（2020）、モデルサイズをさらに増加させ、モデルパラメーターはGPT-2の100倍でした。GPT-3の中心的なアイデアは、Finetune（ゼロショット学習）がなければ、ダウンストリームタスクの予測結果を生成できることです。アプローチは、ダウンストリームタスクを一連のテキストに変換することであり、結果は言語を通じて直接予測されることです。モデル。次の図は例です。GPT-3で提案されているFinetuneメソッドとゼロショット法の違いと比較して、この予測方法には便利です。タスクの説明を増やすことにより、モデルに解決するタスクを知らせてから、予測を実装します。