ここに私が見つけたいくつかの自己コードされた事前トレーニング言語モデルがあります：

--Pert
-質量
 - ユニルム
-ENIE1.0
-ernie（木）
-mtdnn
-ENIE2.0
 - スパンバート
 - ロベルタ
以下是我找到的一些自编码预训练语言模型：

- BERT
- MASS
- UNILM
- ERNIE1.0
- ERNIE(THU)
- MTDNN
- ERNIE2.0
- SpanBERT
- RoBERTa