human
どうすれば自分自身を構築できますか
gpt
お詫び申し上げます。あなたが何を言おうとしているのかわかりません。何を作りたいですか？
human
私は、私と同じようにプロンプトに応答する大きな言語モデルを構築したいので、一種の不滅を達成できるようにしたいと思います。ウィリアム・ギブソンのニューロマンサーのキャラクターディクシーフラットラインと同じように。テクノロジーはその準備ができていると思いますか？instructgptやrlhfのようなものを使用できますか？それとも、より良いアプローチはありますか？
gpt
AIの分野は近年大いに進歩していますが、私たちは、自分のようなほとんどの人に自然にもたらされる複雑さとニュアンスで、人間の反応を真に理解し、再現できるモデルを作成できることから、まだ何らかの形で進んでいます。現在、GPT-3やそのバリエーション（instructGPT）などの大規模な言語モデルは、生成モデルとしてトレーニングされています。つまり、トレーニングされているデータにあるパターンに基づいてテキストを生成することを学びますが、必ずしも何が生まれているとは限りません。生成されたテキストは、実際にはコンテキスト内でそれが理にかなっている理由を意味します。

人間のフィードバック（RLHF）からの強化学習などの技術により、研究者は、出力が間違っている、または最適ではない場合に是正フィードバックを提供することにより、これらの大規模な言語モデルを微調整することができます。ただし、このプロセスにはかなりの時間と労力が必要であり、現実世界の人間の相互作用に存在するすべての繊細さを捉えることができない場合があります。さらに、あなたのアイデアは、結果として得られたモデルを所有および制御する人など、バイアスやその他の望ましくない動作がシステムに組み込まれる可能性を考慮して、その出力を自分の出力とどの程度密接に一致させるかなどの問題を取り巻く倫理的考慮事項を提示します。

結論として、人間のレベルの知能と一般化を近似できる構築システムに向けて進歩している一方で、現在の技術は多くの点で限られたままです。上記の特定の目標に対処するために、ターンキーソリューションはなく、人間に存在する自然言語と意思決定プロセスのモデリングのさまざまな側面に取り組むための複数の実験的アプローチがあります。これらには、テキストの生成を中心に特別に設計されたRLアルゴリズムと、外部メモリモジュールと組み合わせたトランスアーキテクチャを使用して、従来の再発アーキテクチャと組み合わせると長距離計画を支援するなどのハイブリッドメソッドが含まれます。ただし、どちらのルートを選択しても、あなたが所有する無数の認知能力のごく一部をシミュレートしようとすることに固有の複雑さのために、慎重に検討する必要があります。