* GPT-JはTPU V3-256で約5週間訓練されました
* OPTは992 NVIDIA 80GB A100 GPUで約2か月間トレーニングされ、手動または自動再起動を必要とするその間にいくつかのハードウェア障害に対処する必要がありました。
*ブルームは、384 NVIDIA A100 80GB GPUを搭載したJean Zayで訓練され、約4か月かかりました

Googleが使用するTPUは販売されておらず、単一のNVIDIA 80GB A100 GPUは、すべてを配線してすべてを冷却するために必要な追加コンポーネントに加えて、10,000ドル-20,000ドルの費用がかかります。それらと同じ時間尺度でモデルをトレーニングするために、300 A100 GPUで十分であると仮定した場合、施設がそれらをトレーニングするコストは約600万ドルかもしれません。
* GPT-J was trained on a TPU v3-256 for about five weeks
* OPT was trained on 992 NVIDIA 80GB A100 GPUs for about two months, and had to deal with several hardware failures over that time that required either manual or automatic restarts.
* Bloom was trained on the Jean Zay, which had 384 NVIDIA A100 80GB GPUs, and took about four months

The TPUs used by google are not for sale, and a single NVIDIA 80GB A100 GPU can cost 10,000$-20,000$, in addition to the extra components needed to wire everything together and cool everything. In order to train a model on the same time scale as those, if we assumed 300 A100 GPUs was enough, the cost for a facility to train them might be around 6 million$.