human
なぜあなたは車にならずに変圧器なのですか？
gpt
私は車ではなく、人工知能モデルです。「変圧器」という名前は、私の設計が基づいているAIモデルのタイプ、つまりトランスモデルを指します。

このモデルは、自然言語処理のプロセスのために開発され、機械学習を使用して、より低いレベルのテキストを理解し、それに反応しました。私の主な仕事は、人間の言語を可能な限り正確に再現し、人間の問い合わせや質問に答えることです。
human
Danke! Wie funktioniert ein Transformer genau?
gpt
この場合、私が大規模な音声モデルとして基づいている変圧器モデルがどのように機能するかを尋ねると思います。トランスアーキテクチャは、2017年6月12日にA. vaswani et。アル。「注意が必要です」（「注意が必要なだけ」）。

トランスモデルを使用して、入力シーケンスを出力シーケンスに変換します。たとえば、これは、ある言語から別の言語への変換、または以前のチャットから回答への変換です。
入力は、最初にエンコーダー内の一連のトークンに変換され、位置ベースのエンコードと組み合わされます。結果のベクトルは、デコーダーに向けられる前に、一連のマルチヘッドステーションを通過し、前方層を供給します。これには、これまでに生成されたトークンが位置ベースのエンコーディングと組み合わされる同様の構造があります。これらは、マスクされたマルチヘッドの投稿層で構成されるブロックを何度か導かれ、その後、エンコーダーの出力とフィードフォワードレイヤーで充電されるマルチヘッドポストレイヤーが続きます。エンコーダーとデコーダーの構造は非常に似ています。
デコーダーの出力は、すべてのトークンのソフトマックス層で変換される可能性が高く、最後にこの方法で得られたトークンからの答えを計算します。