トレーニング前は、移行学習のカテゴリに属します。既存のニューラルネットワークがトレーニングされている場合、通常は背面からプロパゲーションアルゴリズム（BP）アルゴリズムに基づいており、最初にネットワークのパラメーターをランダム化し、次に確率勾配降下（SGD）などの最適化されたアルゴリズムを使用して連続的に使用しています。最適化アルゴリズムとその他の最適化アルゴリズムを最適化します。モデルパラメーター。トレーニング前の考え方は、モデルパラメーターがランダムに初期化されるのではなく、一部のタスクを介して事前トレーニングの場合、モデルパラメーターのセットを取得し、トレーニング前にこのパラメーターのセットでモデルを初期化することです。自然言語処理の事前訓練の前に、コンピュータービジョンの分野でのトレーニング前プロセスを確認してください。分類タスクでは、一般的に使用されるディープラーニングモデルは、畳み込みニューラルネットワーク（CNN）です。複数の階層構造で構成されるCNNの場合、異なるレベルで学習した画像機能は異なります。特性がより一般的に学習されるほど浅いほど、特定のタスク間の特性と相関がより深く、より強力になります。図1 [6]では、顔、車、車、象、椅子のタスクについては、浅い「線」が同じです。したがって、大規模な画像データの「一般的な機能」は、下流のタスクに非常に役立ちます。
「Monster Hunter：World」のゲームプレーヤーがゲーム内のモンスター向けのマルチ分類システムを作成したいと考えているため、別の簡単な例を挙げましょう（Flying Thunder Dragon、Floating Dragon、Wind Drift Dragon、Bone Hammer Dragonなど。 ）ニューラルネットワークモデルを再トレーニングする可能性は明らかではありません。

幸いなことに、既存の大規模な画像データベースイメージネットには、1400万枚以上の写真を含む20,000を超えるラベル付きデータセットがあります。

Imagenetを通じてトレーニングされたCNNネットワークパラメーターは、モンスターハンターのトレーニングタスクに移行できます。

比較的浅いCNNネットワークが初期化されると、訓練されたパラメーターを使用でき、モデルのパラメーターをモデルの高レベルでランダム化できます。モンスターハンターの特定のタスクをトレーニングする場合、Frozenパラメーターを使用できます。つまり、浅いパラメーターは変更されていません。つまり、浅いパラメーターを使用することもできます。つまり、浅いパラメーターは継続的に発生します。タスク。変更、それによってモンスターの分類に適応します。

画像をコンピューターが処理できる表現フォーム（ピクセルポイントのRGB値など）に変換し、フォローアップ処理のためにニューラルネットワークに入力できます。

自然言語の場合、それを表現する方法は、最初に考慮しなければならない質問です。
预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于后向传播（Back Propagation，BP）算法，先对网络中的参数进行随机初始化，再利用随机梯度下降（Stochastic Gradient Descent，SGD）等优化算法不断优化模型参数。而预训练的思想是，模型参数不再是随机初始化的，而是通过一些任务进行预先训练，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。在正式探讨自然语言处理的预训练之前，回顾一下计算机视觉领域的预训练过程。在图片分类任务中，常用的深度学习模型是卷积神经网络（Convolutional Neural Network，CNN）。对于由多个层级结构组成的CNN来说，不同层学到的图像特征是不一样的，越浅的层学到的特征越通用，越深的层学到的特征和具体任务的关联性越强。在图1中[6]，对基于人脸（Faces）、汽车（Cars）、大象（Elephants）和椅子（Chairs）的任务而言，最浅层的通用特征“线条”都是一样的。因此，在大规模图片数据上预先获取“通用特征”，会对下游任务有非常大的帮助。
再举个简单的例子，假设一个《怪物猎人：世界》的游戏玩家想给游戏中的怪物（如飞雷龙、浮空龙、风漂龙、骨锤龙等）做一个多分类系统，而有标注的数据只有游戏中的若干图片，重新训练一个神经网络模型显然不太可能。

幸运的是，现有的大规模图片数据库ImageNet 中一共有20000多类标注好的数据集，包含超过1400 万张图片。

通过ImageNet 训练出来的CNN 网络参数，可以迁移至怪物猎人的训练任务中。

在比较浅层的CNN网络初始化时，可以使用已经训练好的参数，而在模型的高层，其参数可以随机初始化。在训练怪物猎人的特定任务时，既可以采用冻结（Frozen）参数的方式，也就是浅层参数一直保持不变；也可以采用微调的方式，也就是浅层参数仍然随着任务的训练不断发生改变，从而更加适应怪物的分类。

将图片转换为计算机可以处理的表示形式（如像素点的RGB 值），就可以输入至神经网络进行后续处理。

对自然语言来说，如何进行表示是首先要考虑的问题。