human
言語モデルをトレーニングするために手頃な価格のGPUをお勧めしますか？
gpt
言語モデルをトレーニングするための最も手頃なGPUは、特定の要件に大きく依存します。最大の要因は、必要なGPUメモリの量です。Tim Dettmersによれば、https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/、最も費用対効率の高い（パフォーマンスと比較して）ディープラーニングのGPUはRTX 4070 Ti（12 gb）。安価なオプションには、12GBのRAMもあるが、推論とトレーニングのパフォーマンスが低い使用済みのRTX 3060 GPUが含まれます。大まかなガイドとして、画像生成には少なくとも12GB、言語モデルに一般的な変圧器を使用するには少なくとも24GBが必要です。言語モデルの場合、24GBのGPUメモリがあるため、基本的にRTX 3090、3090TI、または4090を取得することを強制します。

13Bを超えるパラメーターを備えた大規模な言語モデルは、多くの場合、GPUメモリ容量、または複数のカードをトレーニングするためにはるかに強力なカードを必要とし、手頃な価格ではありません。ただし、8ビットの推論やトレーニングなどのモデルを最適化するための深い学習シーンや、市場のダイナミクスが頻繁に変化するため、多くの改善が行われます。
human
それは私の予算からです、私は恐れています。GPUを購入せずに言語モデルをトレーニングすることは可能ですか？
gpt
AWS、Google Cloud、Vast.ai、Paperspaceなどの企業からクラウドでGPU時間をレンタルできます。または、モデルが十分に小さい場合は、現在のGPUでトレーニングしたり、Google ColabやKaggleなどの無料ティアを使用してサービスを使用できる場合があります。
human
Google Colab Freeサービスで自分のChatGptを訓練するのにどれくらい時間がかかりますか？
gpt
Google Colabは、ChatGPTの規模でモデルをトレーニングするのに十分ではありません。ただし、TPU（テンソル処理ユニット）の提供により、60億パラメーターを使用してGPT-Jのスケールでモデルをプロンプト（微調整の形式）に促すことができます。または、モデルを完全に微調整することもできますが、より多くのVRAMが必要になるため、GPT-2の一部のバージョンなどの小さなモデルでのみ実行できます。