human
chatgptのようなAIをどのように作成しますか？たとえば、私は自分のタスクに役立つデータと情報リソースを使用してAIをトレーニングしたいと考えています。AIに以前の質問とChatGPTのように以前の回答を考慮に入れるにはどうすればよいですか。私が調査した限り、私はそれを行うことができるAIモデルを見つけることができませんでした、少なくともそれはどこにもそれを言わなかった。AI言語モデルはすでにそれを行うことができますか？そうでない場合、あまりにも多くのコーディングなしでその機能を簡単に実装できますか？
gpt
ChatGptなどのAIは、大規模な言語モデル（LLM）の例です。LLMは通常、変圧器アーキテクチャを使用します。トランスアーキテクチャは、自己関節アルゴリズムを使用して、長い入力シーケンスでコンテキストを検討します。LLMは、これまでのシーケンスのコンテキストに基づいて、次のトークンをシーケンスで予測します。この場合、シーケンスはユーザーとAIの間の会話になります。

ゼロからLLMを構築することは非常に困難です。このプロセスには、高価なハードウェア、膨大な量のデータ、およびコードを書く機能を含む多くの時間と専門知識が必要です。将来的には、コードを作成せずに独自のLLMを構築するためにサービスが開発される場合があります。LLM自体をトレーニングした後、モデルが人間のような方法で会話できるようにするために、人間のフィードバック（RLHF）からの補強学習を適用するなど、追加のチューニングにも必要です。

LLMの専門知識、時間、ハードウェア、およびデータ要件をわずかに削減する可能性の1つは、既存の事前に訓練されたモデルを微調整することです。多くのオープンソースモデルが利用可能です。ただし、このアプローチでは、コードを作成する必要があります。