human
言語モデルをトレーニングするために手頃な価格のGPUをお勧めしますか？
gpt
言語モデルをトレーニングするための最も手頃なGPUは、特定の要件に大きく依存します。最大の要因は、必要なGPUメモリの量です。Tim Dettmersによれば、https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/、最も費用対効率の高い（パフォーマンスと比較して）ディープラーニングのGPUはRTX 4070 Ti（12 gb）。安価なオプションには、12GBのRAMもあるが、推論とトレーニングのパフォーマンスが低い使用済みのRTX 3060 GPUが含まれます。大まかなガイドとして、画像生成には少なくとも12GB、言語モデルに一般的な変圧器を使用するには少なくとも24GBが必要です。言語モデルの場合、24GBのGPUメモリがあるため、基本的にRTX 3090、3090TI、または4090を取得することを強制します。

13Bを超えるパラメーターを備えた大規模な言語モデルは、多くの場合、GPUメモリ容量、または複数のカードをトレーニングするためにはるかに強力なカードを必要とし、手頃な価格ではありません。ただし、8ビットの推論やトレーニングなどのモデルを最適化するための深い学習シーンや、市場のダイナミクスが頻繁に変化するため、多くの改善が行われます。
human
それは私の予算からです、私は恐れています。GPUを購入せずに言語モデルをトレーニングすることは可能ですか？
gpt
それは、あなたがトレーニングしようとしているモデルの大きさに依存します。CPUで小さなモデルをトレーニングできますが、使いやすさは非常に限られています。優れた言語モデルでは、100 GBの順に大量のテキストデータを処理する必要があります。GPUなしでこの多くのデータを処理することはあまり実用的ではありません。あなたの質問に答えるために、それはあなたがトレーニングしようとしているモデルのサイズに依存します。実際に使用できるモデルをトレーニングするには、GPUなしではそうすることはできません。