以前は、NLPの言語モデルの最先端は、単語がコンテキストに表示される順序で単語を一度に1つずつ順番に処理するRNNモデルでした。したがって、これらのモデルは、NLPのコンテキストでは基本的な長いテキスト入力を通じて、コンテキスト関係を維持する際に並行して貧弱ではありません。

2017年に導入されたモデルであるトランスは、これらの問題をさまよいます。トランスは注意のメカニズムを使用します。これは、最も有用な単語に「注意を払う」ために、文の次の単語を予測します。これらの注意のメカニズムにより、トランスは単語の入力のシーケンスを一度に詳しく説明し、単語間の距離に関係なく単語間の関連する中毒を世界的に詳しく説明します。その結果、変圧器は非常に平行であり、はるかに大きなモデルをより大きな速度でトレーニングし、文脈上の手がかりを使用して、テキストを苦しめる多くの曖昧さの問題を解決できます。

これまでに最も使用されるモデルは、このアーキテクチャに基づいています。これらは、バート、双方向、およびGPT、単方向です。
数年前まで、バートは最も使用されていましたが、主にモデルのサイズが大幅に増加し、2番目のアプローチがはるかに人気があります。
Precedentemente lo stato dell'arte per i modelli linguistici della NLP erano i modelli RNN che elaborano le parole in sequenza, nell'ordine in cui appaiono nel contesto, una parola alla volta. Di conseguenza, questi modelli sono difficili da parallelizzare e poveri nel mantenere le relazioni contestuali attraverso lunghi input di testo che, nel contesto della NLP, è fondamentale.

Il Transformer, un modello introdotto nel 2017, aggira questi problemi. I trasformatori utilizzano un meccanismo di attenzione, che "presta attenzione" alle parole più utili per prevedere la parola successiva in una frase. Con questi meccanismi di attenzione, i Transformers elaborano una sequenza di input di parole tutte in una volta e mappano le dipendenze rilevanti tra le parole indipendentemente dalla distanza tra le parole appaiono nel testo. Di conseguenza, i Transformer sono altamente parallelizzabili, possono addestrare modelli molto più grandi a una velocità maggiore e utilizzare indizi contestuali per risolvere molti problemi di ambiguità che affliggono il testo.

I modelli più usati ad oggi si basano su questa architettura. Questi sono BERT, bidirezionale, e GPT, unidirezionale.
Fino a pochi anni fa BERT era il più utilizzato ma grazie principalmente all'aumento massiccio delle dimensioni dei modelli e dei dataset con cui allenarli il secondo approccio sta avendo molta più popolarità.