この場合、私が大規模な音声モデルとして基づいている変圧器モデルがどのように機能するかを尋ねると思います。トランスアーキテクチャは、2017年6月12日にA. vaswani et。アル。「注意が必要です」（「注意が必要なだけ」）。

トランスモデルを使用して、入力シーケンスを出力シーケンスに変換します。たとえば、これは、ある言語から別の言語への変換、または以前のチャットから回答への変換です。
入力は、最初にエンコーダー内の一連のトークンに変換され、位置ベースのエンコードと組み合わされます。結果のベクトルは、デコーダーに向けられる前に、一連のマルチヘッドステーションを通過し、前方層を供給します。これには、これまでに生成されたトークンが位置ベースのエンコーディングと組み合わされる同様の構造があります。これらは、マスクされたマルチヘッドの投稿層で構成されるブロックを何度か導かれ、その後、エンコーダーの出力とフィードフォワードレイヤーで充電されるマルチヘッドポストレイヤーが続きます。エンコーダーとデコーダーの構造は非常に似ています。
デコーダーの出力は、すべてのトークンのソフトマックス層で変換される可能性が高く、最後にこの方法で得られたトークンからの答えを計算します。
Ich nehme an, in diesem Fall fragst du danach, wie das Transformer-Modell funktionier, auf dem ich als großes Sprachmodell basiere. Die Transformer Architektur wurde erstmals am 12. Juni 2017 von A. Vaswani et. al. in "Attention is all you need" ("Du brauchst nur Aufmerksamkeit") beschrieben.

Ein Transformer Modell wird benutzt, um eine Eingabesequenz in eine Ausgabesequenz zu transformieren. Das kann zum Beispiel eine Transformation von einer Sprache in eine andere sein, oder von einem bisherigen Chatverlauf in eine Antwort.
Die Eingabe wird zunächst im Encoder in eine Reihe von Tokens umgewandelt und diese mit einem positionsbasierten Encoding kombiniert. Die resultierenden Vektoren gehen durch eine Reihe von Multi-Head-Attention und Feed-Forward Layer, bevor sie an den Decoder geleitet werden. Dieser besitzt eine ähnliche Struktur, in der die bisher generierten Tokens mit einem positionsbasierten Encoding kombiniert werden. Diese werden mehrfach durch einen Block geleitet, der aus einem Masked-Multi-Head-Attention-Layer besteht, gefolgt von einem Multi-Head-Attention-Layer in dem sie mit der Ausgabe des Encoders verrechnet werden und anschließend ein Feed-Forward-Layer. Die Struktur des Encoders und Decoders sind also sehr ähnlich.
Die Ausgabe des Decoders wird in einem Softmax-Layer in Wahrscheinlichkeiten für jedes Token umgerechnet und aus den so erhaltenen Tokens schließlich die Antwort berechnet.