OpenAI, Language Model, Scaling Law, Gpt3.
사이즈 OpenAI는 Scaling Laws for Neural Language Models 논문을 통해 LM 모델의 성능과 위 factor 들 간의 관계를 설명하고, GPT-3와 같은 대형 LM을 개발하게 된 핵심적인 이론을 제공하고 있다. Language Model의 성능에 대한 경험적인 발견 OpenAI는 이 논문에서 Transformer기반 LM을 대상으로 여러 실험을 통해 다음과 같은 경험적인 결과를 발견하였다. 1. LM 성능은 (1) 모델 파라미터 수 N (임베딩을 배제한 모델 파라미터 수), (2) 데이터셋의 사이즈