human
言語モデルをトレーニングするために手頃な価格のGPUをお勧めしますか？
gpt
言語モデルをトレーニングするための最も手頃なGPUは、特定の要件に大きく依存します。最大の要因は、必要なGPUメモリの量です。Tim Dettmersによれば、https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/、最も費用対効率の高い（パフォーマンスと比較して）ディープラーニングのGPUはRTX 4070 Ti（12 gb）。安価なオプションには、12GBのRAMもあるが、推論とトレーニングのパフォーマンスが低い使用済みのRTX 3060 GPUが含まれます。大まかなガイドとして、画像生成には少なくとも12GB、言語モデルに一般的な変圧器を使用するには少なくとも24GBが必要です。言語モデルの場合、24GBのGPUメモリがあるため、基本的にRTX 3090、3090TI、または4090を取得することを強制します。

13Bを超えるパラメーターを備えた大規模な言語モデルは、多くの場合、GPUメモリ容量、または複数のカードをトレーニングするためにはるかに強力なカードを必要とし、手頃な価格ではありません。ただし、8ビットの推論やトレーニングなどのモデルを最適化するための深い学習シーンや、市場のダイナミクスが頻繁に変化するため、多くの改善が行われます。
human
それは私の予算からです、私は恐れています。GPUを購入せずに言語モデルをトレーニングすることは可能ですか？
gpt
AWS、Google Cloud、Vast.ai、Paperspaceなどの企業からクラウドでGPU時間をレンタルできます。または、モデルが十分に小さい場合は、現在のGPUでトレーニングしたり、Google ColabやKaggleなどの無料ティアを使用してサービスを使用できる場合があります。
human
Google Colab Freeサービスで自分のChatGptを訓練するのにどれくらい時間がかかりますか？
gpt
Colabs Freeサービスは時間とコンピューティングパワーに限定されるため、大きなモデルほど能力がない可能性のある小さなモデルのみをトレーニングできます。小規模なモデルは、より大きなモデルをトレーニングするのにそれほど時間は必要ないので、もちろんデータセットに応じて、それほど時間はかかりません。