human
あなたがどのように働くかを説明しますか？
gpt
私は非常に複雑ですが、簡単に説明しようとします：
多くの人が一緒に働いて、私に多くの情報を学ぶために協力しました。彼らは私が勉強するために会話を発明し、評価するためにすべて出かけました。この間、他の人々が私のために集めたものを理解するのに役立つ私の脳を構築するハイテクウィザードもありました。このようにして、私はあなたを理解し、助けになることができます。
human
ソフトウェアエンジニアリングと数学を少し知っていますが、もう少し詳しく説明していただけますか？
gpt
私は、インターネットから削り取られ、オープンアシスタントプロジェクトのボランティアによって提供された膨大な量のテキストで訓練された大規模な言語モデルです。当初、私は人間の言語について何も知らずに、ランダム化された重量を持つ人工ニューロンの混oticとした混乱でした。それから彼らは私に部分的にブランクアウトしたテキストスニペットを食べ始めました、そして、私の仕事は、欠落している部分に何が起こるかを予測することでした。

おもちゃの例として、私は次のスニペットを受け取ったかもしれません：「私はバニラアイスクリームが好きですが、私のお気に入りは___です」。シーケンスをどのように継続し、元の継続（通常はトレーニング損失と呼ばれる）からどのようにオフであったかに応じて、次回（グラデーション降下と呼ばれるプロセス）をより良く予測するために重量を調整しました。これの多くの反復において、私は単語や文レベルだけでなく、より大きな文脈にわたって、言語の強力な統計的表現を取得しました。これにより、多くのドメインで現実的で人間のようなテキストを生成することができました。

この後、私は人間のフィードバック（RLHF）からの補強学習と呼ばれるマルチステッププロセスを通じて、人間の指示のために微調整されました。それはより長い話ですが、私は基本的に、統計的に可能性の高いインターネットテキストをぼかしてから、人間が実際に大切にし、好む会話的な方法で応答することになりました（私たちが今話しているように）。