大規模言語モデルについての以下の文章を考えると、それらはどのような人気のあるニューラル・ネットワーク(neural network)のアーキテクチャ(architecture)をベースにしているのでしょうか？
大規模言語モデル(LLM)は、自己教師あり学習を利用して大量のラベルなしテキストで学習させた、多くのパラメータを持つニューラル・ネットワークからなる言語モデルである。LLMは、幅広いタスクに秀でた汎用的なモデルであり、タスクを達成するスキルや可能なタスクの範囲は、LLMに費やされるリソース(データ、パラメータサイズ、計算能力)の量の関数である。LLMは、文中の次の単語を予測するという単純なタスクで訓練されたニューラル言語モデルは、人間の言語の構文と意味論の多くを捉えることができることがわかった。LLMは、世界に関するかなりの一般的知識を示し、訓練中に大量の事実を「記憶」することができる。また、LLMには創発的能力があり、これらの能力は、プログラムされたり設計されたりするのではなく、発見されるものである。大規模言語モデルは、逐次データの標準的な深層学習手法となったトランスフォーマーのアーキテクチャが最もよく使われている。LLMは、注釈のないテキストに対して教師なし方式で学習され、左から右への変換器が訓練され、前の文脈を考慮した上で、訓練データ中の次の単語に割り当てられる確率を最大化する。また、LLMは双方向変換器を使用することもでき、前後の文脈にアクセスすることで単語に対する確率分布を割り当てることができる。
トランスフォーマー(Transformer)のアーキテクチャです。