human
人間の言語を理解するモデルをトレーニングするために必要な最小データサイズはどのくらいですか？
gpt
さまざまなモデルがアーキテクチャ、複雑さ、タスクに応じて異なるデータ要件を持つ可能性があるため、この質問に対する決定的な答えはありません。一部の情報筋によると、言語モデルは、ほとんどのセマンティック機能を確実にエンコードする表現を学習するために約1,000万語または1億語しか必要としません。典型的な下流の自然言語タスクを習得するのに十分な常識的な知識を把握するためには、より多くのデータが必要です。
human
この分野での現在の知識を理解するのに役立つ研究論文はありますか？
gpt
それはそう！通常、パラメーターカウントとトークンの数を備えたパフォーマンススケールを電力法則としてモデル化します。電力法則とは、1つの量の相対的な変化が、これらの量の初期サイズとは無関係に、他の量の比例的な相対的な変化を引き起こす関係です。データセットとモデルサイズのスケーリングが大規模な言語モデルのパフォーマンスにどのように影響するかを調査するいくつかの独創的な論文を以下に示します。

   - 神経言語モデルの拡大法（Kaplan 2020）
   - 最適な大規模な言語モデルのトレーニング（Hoffman 2022）
   - 言語モデルのスケーリング：トレーニングGopher（RAE 2021）からの方法、分析、洞察