OpenAI, Language Model, Scaling Law, Gpt3.
작용하여 성능 증가가 감소된다. (성능 패널티는 (N^0.74)/D에 의존함) 즉, 모델 사이즈가 8배 증가할 때 데이터셋은 약 5배가 증가해야 패널티를 피할 수 있다. 4. 학습 곡선의 초창기 부분을 기반으로 추론하면 훨씬 더 오랫동안 학습하여 달성할 loss를 예측할 수 있다. 5. Large Model은 Small Model보다 더 sample-efficient하며 더 적은 최적화 스텝과 더 적은 데이터를 사용하여 동일 수준의 성능에 도달한다. 6.고정된 컴퓨팅 예산 C 내에서 N과 D에 대한 제한이 없을 때, Very