human
私の機械学習研究プロジェクトでは、特定の強化学習タスクのために、大規模な言語モデル（LLM）を微調整したいと思います。このタスクでは、エージェントは実行環境（Python Replなど）によって補強されたLLMです。エージェントは、正式な検証剤と対話します。エージェントの目標は、エンジニアリングタスクを解決することです。以下の条件を満たす事前に訓練されたモデルから始めたい：
*モデルは、100 GPU時間未満でA100 NVIDIA GPUを使用して効率的に微調整できます。
*アカデミックペーパー（Arxivなど）およびコード（Githubなど）で訓練されています。
*公開されています。

次のことをしてください。
1.私の目的に最適なモデルはどのようなモデルですか？私の条件を繰り返さないでください。代わりに、モデルを選ぶときに他に何を見るべきかについてアドバイスをしてください。
2.そのようなモデルを見つける方法を説明します。事前に訓練されたLLMモデルのリストを含むウェブサイトへの参照を提供するか、そのようなリストを見つけるための適切な検索クエリを提供します。
3.私が使用するためのいくつかの（3..5）オプションを提供し、特定の目的のためにそれぞれの利点と短所をリストします。
gpt
モデルサイズ：小規模なモデルは微調整が速くなりますが、より複雑なエンジニアリングタスクを解決する能力がない場合があります。一方、より大きなモデルはより多くの容量を持っていますが、微調整にはより多くの計算リソースが必要になる場合があります。
事前削除タスク：前削減タスクは、データのタイプとモデルが使用されるタスクのタイプの観点から微調整タスクに似ている必要があります。たとえば、微調整されたタスクにエンジニアリングの問題の解決が含まれる場合、エンジニアリングテキストのコーパスで前提とされていたモデルは、パフォーマンスが向上する場合があります。
ベンチマークデータセットのパフォーマンス：言語理解のための接着剤ベンチマークなど、微調整タスクに関連するベンチマークデータセット上のモデルのパフォーマンスを調べる必要があります。
Openai、Hugging Face、GoogleのTensorflow Research CloudなどのWebサイトで「事前に訓練された大規模モデル」を検索することで、事前に訓練されたモデルを見つけることができます。また、「Art Language Models」に関するセクションがあるPapers with CodeなどのWebサイトでベンチマークの結果を探すこともできます。

ここにあなたの特定の目的のために考慮するためのいくつかのオプションがあります：

Openai GPT-3：現在利用可能な最大の言語モデルの1つで、1750億パラメーターがあります。多様なインターネットテキストでトレーニングされており、さまざまなベンチマークデータセットで強力なパフォーマンスを示しています。利点には、大きなサイズと多様なトレーニングデータが含まれますが、不利な点は、それを微調整するのに必要な高い計算コストです。

BERT：大量のテキストデータで事前に処理された変圧器ベースのモデル。さまざまなベンチマークデータセットでうまく機能することが示されており、微調整に比べて比較的速いです。利点には、比較的小さいサイズと高速の微調整が含まれますが、GPT-3などの大規模なモデルと比較して、不利な点は限られた容量です。

Roberta：モデルサイズが大きく、より広範な前orainingを備えたバートに対する改善。ベンチマークデータセットでBERTよりも優れた性能を発揮することが示されており、より強力なモデルを望んでいるが、微調整の計算コストを合理的に保ちたい人にとっては良い選択肢です。利点には、Bertと比較してパフォーマンスの向上が含まれますが、不利な点はBertと比較して大きいサイズであり、微調整の計算コストが増加する可能性があります。