Large language modelsに関する以下の文章を踏まえると、OpenAIのGPTシリーズの2018年最初のモデルは、どのようなコーパスで訓練されたのでしょうか？
大規模言語モデル (LLM) は、自己教師あり学習を使用して大量のラベルなしテキストでトレーニングされた、多くのパラメーター (通常は数十億以上の重み) を持つニューラル ネットワークで構成される言語モデルです。 LLM は 2018 年頃に登場し、さまざまなタスクで優れたパフォーマンスを発揮します。 これにより、自然言語処理研究の焦点が、特定のタスクに特化した教師ありモデルをトレーニングするという以前のパラダイムから移されました。

プロパティ
大規模言語モデルという用語には正式な定義はありませんが、パラメータを持つ深層学習モデルを指すことがよくあります。 数十億ドル以上と数えられます。 LLM は、1 つの特定のタスク (感情分析、固有表現認識、数学的推論など) のためにトレーニングされるのではなく、幅広いタスクに優れた汎用モデルです。 彼らがタスクを達成するスキルと、彼らが実行できるタスクの範囲は、それらに依存しない形で、彼らに費やされたリソースの量 (データ、パラメータ サイズ、計算能力) の関数であると思われます。 

文中の次の単語を予測するという単純なタスクでトレーニングされていますが、十分なトレーニングとパラメータ数を備えたニューラル言語モデルは、人間の言語の構文と意味論の多くを捕捉できることがわかっています。 さらに、大規模な言語モデルは世界に関するかなりの一般知識を実証し、トレーニング中に大量の事実を「記憶」することができます。

幻覚
主な記事: 幻覚 (人工知能)
人工知能一般 、特に大規模な言語モデルでは、「幻覚」は自信に満ちた反応であり、モデルのトレーニング データによって正当化されるとは思えません。

創発的な能力

次のようなタスクを含む多くの自然言語ベンチマークで 質問応答として、モデルは特定のスケール (この場合、トレーニング計算によって測定) に達するまではランダムな偶然と同等のパフォーマンスを発揮し、その時点でパフォーマンスが急激に向上します。 これらは創発的な能力の例です。
大規模な言語モデルでは観察されているが、より単純なモデルには存在しない (およびモデルに明示的に設計されていない) 予測不可能な能力は、通常「創発的な能力」と呼ばれます。 研究者らは、そのような能力は「より小型のモデルのパフォーマンスを単純に推定するだけでは予測できない」と指摘しています。 これらの機能は、プログラムされたり設計されたりするのではなく、場合によっては LLM が公的に展開された後にのみ発見されます。 何百もの新たな能力が説明されています。 例としては、多段階の算術、大学レベルの試験の受験、単語の意図された意味の特定、思考連鎖の促し、国際音声アルファベットの解読、単語の文字の解読、ヒングリッシュの段落内の不快な内容の特定などが挙げられます。 

アーキテクチャとトレーニング
大規模な言語モデルでは、トランスフォーマー アーキテクチャが最も一般的に使用されており、2018 年以降、シーケンシャル データの標準ディープ ラーニング技術となっています。 (以前は、LSTM などのリカレント アーキテクチャが最も一般的でした)。 LLM は、注釈のないテキストに対して教師なしの方法でトレーニングされます。 左から右への変換器は、前のコンテキストを考慮して、トレーニング データ内の次の単語に割り当てられる確率を最大化するようにトレーニングされます。 あるいは、LLM は、前後のコンテキストへのアクセスが与えられた単語に確率分布を割り当てる双方向変換器 (BERT の例のように) を使用することもできます。 次の単語を予測するタスクや「空白を埋める」タスクに加えて、LLM は、次の文のペアを予測する次文予測 (NSP) などのデータ分布の理解をテストする補助タスクでトレーニングされる場合があります。 

初期の LLM は、数十億単語のオーダーを持つコーパスでトレーニングされました。 OpenAI の GPT シリーズの最初のモデルは、9 億 8,500 万語で構成される BookCorpus で 2018 年にトレーニングされました。 同年、BERT は BookCorpus と英語版 Wikipedia の組み合わせでトレーニングされ、合計 33 億語になりました。 それ以来、LLM のトレーニング コーパスは桁違いに増加し、数千億または数兆のトークンに達しました。

LLM のトレーニングには計算コストがかかります。 2020 年の調査では、15 億のパラメータ モデル (当時の最先端技術より 1 ～2桁小さい) のトレーニングにかかるコストは 160 万ドルと見積もられています。
ブックコーパス（BookCorpus）です。