human
大規模な言語モデルには、トレーニングを受け、推論を実行するために、多くのハードウェアリソースが必要です。GPT-J、OPT、Bloomのトレーニングのためのハードウェア要件は何ですか？また、推論を実行するための要件は何ですか？
gpt
機械学習の推論には必要な3つの重要なコンポーネントがあります。データソース、データを処理するための機械学習システム、およびデータ宛先です。GPUは、今日の機械学習アプリケーションの開発において重要な役割を果たします。機械学習アプリケーション用のGPUを選択するとき、いくつかのメーカーから選択できます。CUDAコアは、汎用並列コンピューティングタスクに適していますが、テンソルコアは深い学習や大規模なマトリックス操作を含むAIワークロードに適しています。
human
それで、私たちはどのような機器を見ていますか？
gpt
* GPT-JはTPU V3-256で約5週間訓練されました
* OPTは992 NVIDIA 80GB A100 GPUで約2か月間トレーニングされ、手動または自動再起動を必要とするその間にいくつかのハードウェア障害に対処する必要がありました。
*ブルームは、384 NVIDIA A100 80GB GPUを搭載したJean Zayで訓練され、約4か月かかりました

Googleが使用するTPUは販売されておらず、単一のNVIDIA 80GB A100 GPUは、すべてを配線してすべてを冷却するために必要な追加コンポーネントに加えて、10,000ドル-20,000ドルの費用がかかります。それらと同じ時間尺度でモデルをトレーニングするために、300 A100 GPUで十分であると仮定した場合、施設がそれらをトレーニングするコストは約600万ドルかもしれません。
human
推論のためのハードウェア要件に関する質問を見逃したようです。記入してください。