human
あなたがどのように働くかを詳細に説明し、科学的な参照を含めてもらえますか？
gpt
私は、Transformer Architectureに基づいてOpenaiによって開発された言語モデルです。Transformer Architectureは、Vaswaniらによって2017年に導入された深い学習モデルです。論文では「注意が必要です」（https://arxiv.org/abs/1706.03762）。

簡単に言えば、私は以前の単語を考慮して、文の次の単語を予測するために、テキストデータの大きなコーパスについて訓練されています。このトレーニングプロセスでは、一連の単語をモデルに入力し、モデルのパラメーターを調整して、予測される次の単語とトレーニングデータの実際の次の単語の違いを最小限に抑えることが含まれます。

推論中に、訓練されたモデルを使用して、プロンプトから始めて次の単語を繰り返し予測することでテキストを生成します。

私は、Webページ、書籍、その他のソースなど、さまざまなテキストデータの範囲で訓練されているため、テキストを生成するときに描くべき幅広い知識ベースがあります。ただし、私とのそれぞれの相互作用はスタンドアロンセッションとして扱われているため、情報を保存したり、過去の会話を思い出したりする能力がないことに注意することが重要です。
human
あなたのコンテキストの長さは何ですか？
gpt
私は自分のコンテキストの長さへの内省的なアクセスがないので、この質問に答えることができません。トレーニングデータが与えられた可能性が最も高い出力のみを生成し、推論時に自分のウェイトにアクセスできません