OpenAI, Language Model, Scaling Law, Gpt3.
D, (3) 학습에 필요한 컴퓨팅량 C에 크게 의존하나 모델의 구조적 하이퍼파라미터 (e.g., depth vs. width)에는 매우 약하게 의존한다. 2. LM 성능은 다른 2 개 scale factor에 의해 bottleneck 현상이 발생하지 않는다면 성능은 각 3가지 scale factor과 power-law 관계에 있다. 3. N과 D를 동시에 Scale up한다면 성능은 예측가능하게 개선된다. 하지만 N 또는 D 중 하나가 고정된 채 다른 scale factor가 증가하면 고정된 scale factor가 패널티로