Transformer-Modelle sind eine spezifische Systemarchitektur, die für maschinelles Lernen konzipiert wurden und hauptsächlich für die Verarbeitung sequentieller Daten geeignet ist. Im Vergleich zu traditionellen Recurrent Neural Networks (RNNs), die auch für sequentielle Daten verwendet werden, verwendet der Transformer Multi-Head-Attention-Schichten, um die Abhängigkeiten zwischen den Elementen einer Sequenz zu modellieren. Dies ermöglicht eine parallele Verarbeitung und eine bessere Fähigkeit, lange Abhängigkeiten zu verarbeiten.

Transformer nehmen als Eingabe eine Sequenz von Vektoren und berechnet daraus Ausgabe-Sequenz von Vektoren, die Informationen über die Eingabevektoren bereitstellen. Diese Architektur wird in verschiedenen sprachlichen Anwendungen eingesetzt, beispielsweise im maschinellen Übersetzen und der Texterkennung, und es werden trainierte Transformer verwendet, um Vorhersagen zu treffen.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence