それはそう！通常、パラメーターカウントとトークンの数を備えたパフォーマンススケールを電力法則としてモデル化します。電力法則とは、1つの量の相対的な変化が、これらの量の初期サイズとは無関係に、他の量の比例的な相対的な変化を引き起こす関係です。データセットとモデルサイズのスケーリングが大規模な言語モデルのパフォーマンスにどのように影響するかを調査するいくつかの独創的な論文を以下に示します。

   - 神経言語モデルの拡大法（Kaplan 2020）
   - 最適な大規模な言語モデルのトレーニング（Hoffman 2022）
   - 言語モデルのスケーリング：トレーニングGopher（RAE 2021）からの方法、分析、洞察
Indeed! Typically model performance scales with parameter count and number of tokens as a power law. A power law is a relationship in which a relative change in one quantity gives rise to a proportional relative change in the other quantity, independent of the initial size of those quantities. Here are some seminal papers that investigate how scaling dataset and model size affects the performance of large language models.

  - Scaling Laws for Neural Language Models (Kaplan 2020)
  - Training Compute-Optimal Large Language Models (Hoffman 2022)
  -  Scaling Language Models: Methods, Analysis & Insights from Training Gopher (Rae 2021)