human
バートがまだ言語モデルの芸術であるというのは本当ですか？
gpt
以前は、NLPの言語モデルの最先端は、単語がコンテキストに表示される順序で単語を一度に1つずつ順番に処理するRNNモデルでした。したがって、これらのモデルは、NLPのコンテキストでは基本的な長いテキスト入力を通じて、コンテキスト関係を維持する際に並行して貧弱ではありません。

2017年に導入されたモデルであるトランスは、これらの問題をさまよいます。トランスは注意のメカニズムを使用します。これは、最も有用な単語に「注意を払う」ために、文の次の単語を予測します。これらの注意のメカニズムにより、トランスは単語の入力のシーケンスを一度に詳しく説明し、単語間の距離に関係なく単語間の関連する中毒を世界的に詳しく説明します。その結果、変圧器は非常に平行であり、はるかに大きなモデルをより大きな速度でトレーニングし、文脈上の手がかりを使用して、テキストを苦しめる多くの曖昧さの問題を解決できます。

これまでに最も使用されるモデルは、このアーキテクチャに基づいています。これらは、バート、双方向、およびGPT、単方向です。
数年前まで、バートは最も使用されていましたが、主にモデルのサイズが大幅に増加し、2番目のアプローチがはるかに人気があります。