OpenAI, Language Model, Scaling Law, Gpt3.
Transformer보다 376배 커진 175B의 파라미터를 갖는다. 2021년도에 발표된 Switch-C 모델은 1.6TB의 파라미터를 가지며 Wu Dao 2.0은 GPT-3보다 10배 큰 1.75TB 모델이다. From State of AI Report 2020 LM 모델의 파라미터를 scaling up하여 LM 모델의 성능을 높이고 LM 모델이 할 수 있는 경계를 더욱 더 확장할 수 있다. 딥러닝 모델의 성능은 다음과 같은 여러 factor에 의존한다. 모델 아키텍처 모델 사이즈 학습에 필요한 컴퓨팅 능력 학습 데이터셋