OpenAI, Language Model, Scaling Law, Gpt3.
OpenAI가 2020년 초에 발표한 Scaling Laws for Neural Language Models 논문은 Large Model 도입의 근거를 본격적으로 제시한다. Background 2017년 Transformer이 발표된 이후로, 대부분의 Language Model(이하 LM)들은 Transformer를 기반으로 개발되고 있다. LM들은 성능 개선을 위해 단 3년만에 최초 Transformer의 사이즈에 비해 수 백배 더 커졌다. Transformer(‘17)가 465M 파라미터를 가진 반면, GPT-3(‘20)은