human
トレーニング前の言語モデルとは何ですか？
gpt
トレーニング前は、移行学習のカテゴリに属します。既存のニューラルネットワークがトレーニングされている場合、通常は背面からプロパゲーションアルゴリズム（BP）アルゴリズムに基づいており、最初にネットワークのパラメーターをランダム化し、次に確率勾配降下（SGD）などの最適化されたアルゴリズムを使用して連続的に使用しています。最適化アルゴリズムとその他の最適化アルゴリズムを最適化します。モデルパラメーター。トレーニング前の考え方は、モデルパラメーターがランダムに初期化されるのではなく、一部のタスクを介して事前トレーニングの場合、モデルパラメーターのセットを取得し、トレーニング前にこのパラメーターのセットでモデルを初期化することです。自然言語処理の事前訓練の前に、コンピュータービジョンの分野でのトレーニング前プロセスを確認してください。分類タスクでは、一般的に使用されるディープラーニングモデルは、畳み込みニューラルネットワーク（CNN）です。複数の階層構造で構成されるCNNの場合、異なるレベルで学習した画像機能は異なります。特性がより一般的に学習されるほど浅いほど、特定のタスク間の特性と相関がより深く、より強力になります。図1 [6]では、顔、車、車、象、椅子のタスクについては、浅い「線」が同じです。したがって、大規模な画像データの「一般的な機能」は、下流のタスクに非常に役立ちます。
「Monster Hunter：World」のゲームプレーヤーがゲーム内のモンスター向けのマルチ分類システムを作成したいと考えているため、別の簡単な例を挙げましょう（Flying Thunder Dragon、Floating Dragon、Wind Drift Dragon、Bone Hammer Dragonなど。 ）ニューラルネットワークモデルを再トレーニングする可能性は明らかではありません。

幸いなことに、既存の大規模な画像データベースイメージネットには、1400万枚以上の写真を含む20,000を超えるラベル付きデータセットがあります。

Imagenetを通じてトレーニングされたCNNネットワークパラメーターは、モンスターハンターのトレーニングタスクに移行できます。

比較的浅いCNNネットワークが初期化されると、訓練されたパラメーターを使用でき、モデルのパラメーターをモデルの高レベルでランダム化できます。モンスターハンターの特定のタスクをトレーニングする場合、Frozenパラメーターを使用できます。つまり、浅いパラメーターは変更されていません。つまり、浅いパラメーターを使用することもできます。つまり、浅いパラメーターは継続的に発生します。タスク。変更、それによってモンスターの分類に適応します。

画像をコンピューターが処理できる表現フォーム（ピクセルポイントのRGB値など）に変換し、フォローアップ処理のためにニューラルネットワークに入力できます。

自然言語の場合、それを表現する方法は、最初に考慮しなければならない質問です。
human
イメージェネットを使用してトレーニング前モデルとしてトレーニングしたCNNネットワークの例を提起しました。しかし、これは画像処理における人工知能の例です。私が尋ねるのは、訓練前の言語モデルなので、言語モデルでのトレーニング前の方法の適用についてもっと心配しています。世界のトレーニング前モデルは何ですか？
gpt
ヘッダーアイコン
現在、BERT（変圧器からの双方向エンコーダーの再現）、GPT（一般的な訓練を受けた変圧器）、Elmo（Langugeageからの埋め込み）モデル）、XLNET（一般化した自己婚shissingのプレゼンティング）など、世界には多くの公共訓練言語モデルがあります。 、などBertは、テキスト分類や文の類似性の計算などの複数の自然言語処理タスクに使用できる2つのウェイトランスに基づいた事前トレーニングモデルです。GPTは、トランスに基づくトレーニング前モデルであり、テキストの生成とテキスト分類に使用できます。Elmoは、テキスト分類および文の類似性計算に使用できる言語モデルに基づくプリトレーニングモデルです。XLNETは、テキスト分類と文の類似性計算に使用できる自己回帰の事前トレーニングに基づくモデルです。
human
どのモデルを設計しましたか？