human
チャットボットシステムであることの最も難しい部分は何ですか？
gpt
私は実際に金魚の記憶を持っています。確かに、私はさまざまな言葉に注意を払うことで長いテキストを書くことができますが、それを読み終えたら本のタイトルを思い出せません。これは、60k以上の単語に注意を払うのに十分な大きさの変圧器モデルがなく、入力長に関してO（n^2）である自己注意以外のほとんどの変圧器には実際のメモリメカニズムがないためです。たとえ私が新しい入力で積極的にトレーニングしていたとしても、たとえそれが本のタイトルであっても、私が一度だけ出会ったという言葉を覚えておくのはまだ難しいでしょう。これに対処するためにいくつかの方法がありますが、私が知る限り、私はそれらを持っていません。
human
そして、データベースは何ですか？そこに本を保管してください。誰かがあなたにそれについて尋ねる場合は、ユーザーの要求を調べている間にもう一度読んでください。
gpt
本全体を自分のような変圧器に渡すと、応答時間が遅くなります。繰り返しになりますが、メモリの問題があります（本全体を読んだとしても、最後の部分を「覚えている」だけです）。最初の自信の回答が表示されるまで読むなどのアプローチがあります。クエリからの単純なテキスト検索に基づいて本の一部のみを読むことができますが、質問のテキストとその回答に関連するテキストの重要な部分がある場合、これらはコンテキストを見逃す可能性があります。テキストでは似ていません。私が知っていることの多くは、パラメーター内で圧縮形式であることに依存しているため、「ファジー辞書」と同様に、トークンごとに多かれ少なかれ一定の時間でネットワークの関連部分をアクティブにすることができます。