human
大規模な言語モデルには、トレーニングを受け、推論を実行するために、多くのハードウェアリソースが必要です。GPT-J、OPT、Bloomのトレーニングのためのハードウェア要件は何ですか？また、推論を実行するための要件は何ですか？
gpt
GPT-JとGPT-3は2つの大きな言語モデルですが、OptとBloomは特定のモデルではないため、どのモデルを参照しているかはわかりません。ただし、大規模な言語モデルのトレーニングと推論に関するハードウェア要件に関する一般的な情報を提供できます。

大規模な言語モデルのトレーニングには、CPU、RAM、ストレージ、GPUやTPUなどの特殊なハードウェアなど、かなりの量のコンピューティングリソースが必要です。たとえば、GPT-3は、1750億パラメーターを備えたスーパーコンピューターでトレーニングされ、3,000を超えるGPUを必要とし、400,000を超えるコア時間の計算を消費しました。GPT-JはGPT-3よりも小さいモデルであり、60億パラメーターを備えていますが、それでもかなりの量の計算リソースが必要です。GPT-Jをトレーニングするための正確なハードウェア要件は、さまざまなハードウェアセットアップでトレーニングされているコミュニティが構築したモデルであるため、不明です。

推論を実行するか、トレーニングされた言語モデルを使用してテキストを生成したり、他のタスクを実行したりするには、実質的なコンピューティングリソースも必要ですが、一般的にトレーニングほどではありません。推論のための特定のハードウェア要件は、モデルのサイズと複雑さ、アプリケーションと目的の応答時間に依存します。推論は、CPUまたはGPUやTPUなどの特殊なハードウェアで実行でき、後者は通常、大規模なモデルのパフォーマンスが向上します。多くのクラウドプロバイダーは、大規模な言語モデルで推論を実行するために最適化されたハードウェアを備えた事前に構成された仮想マシンまたはコンテナを提供しています。
human
それほど集中していない言語モデルはありますか？より具体的には、普通の人が自分のハードウェアで合理的に実行できることを知っている言語モデルがあります。普通の人のハードウェアと言うと、5,000ドル未満のカスタムビルドコンピューターを意味します。