# 海馬の記憶インデックスに着想を得たリプレイによる 言語処理タスクの継続学習

前川在 上垣外英剛 船越孝太郎 奥村学
東京工業大学
\{maekawa, kamigaito, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

継続学習は過去に学習したタスクへの破滅的忘却を防ぎつつ新しいタスクを学習することを目的とする. その手法の一つである生成的リプレイは過去のタスクのデータを生成モデルにより生成し，新しいタスクのデータに加えることで破滅的忘却を防ぐ.しかし，この手法には生成サンプルの質や偏りによって継続学習の性能が低下するという問題がある. 本研究では，脳の海馬の記憶インデックスに着想を得て，学習サンプルの圧縮表現を用いた条件付けにより，過去の特定の学習サンプルをリプレイ時に生成可能な生成的リプレイの手法を提案する. SST，QA-SRL，WOZ の 3 つの異なる言語処理タスクのデータセットを対象とした実験の結果，提案手法は継続学習における性能の向上を示した.

## 1 はじめに

新しいタスクを次々と学習する継続学習の能力は，人間のような知能システムを実現する上での基本要件の一つである [1]. また, 汎用的な継続学習システムの実現は，新しいタスクに対する学習コス卜を大幅に減らすため，実応用においても重要であると考えられる。しかしながら，ニューラルネットワークで新しいタスクを学習すると，過去に学習したタスクに対する性能が著しく低下する破滅的忘却と呼ばれる現象が起こる [2].

破滅的忘却は，新しいタスクと同時に過去のタスクを再学習することで対処可能であるが，そのためには過去の全タスクのデータを保持しておく必要があり，ストレージ容量やプライバシーの観点から問題が生じる場合がある。これに対し，実サンプルの代わりに，生成モデルによる擬似サンプルを利用する生成的リプレイという手法がある [3]. 一般に生成的リプレイでは，過去の学習サンプルだけでな
く，タスクに相応しい未知のサンプルの生成も想定するが，実際に適切な未知のサンプルを生成することは困難であり，質の低いサンプルを生成する原因になる。また，生成されるサンプルが直前に学習したタスクに偏ってしまうという問題がある.

継続学習を実現している生物の脳では，海馬インデックス理論 [4] によると，海馬が新皮質の活動パターンを圧縮表現に符号化して記憶し，それをインデックス情報として新皮質に投射することで過去の活動パターンが想起されると考えられている. 本研究では，この海馬の働きに着想を得て，学習サンプルの圧縮表現による記憶インデックスを用いた生成的リプレイの手法を提案する。各学習サンプルを圧縮表現に符号化する Encoder と，それを記憶インデックスとして保持する海馬モジュールを導入し，記憶インデックスを用いた条件付けによって，リプレイとして過去の特定の学習サンプルを生成することを可能にする。

SST，QA-SRL，WOZ の 3 つの異なる言語処理夕スクのデータセットを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能を向上させることが可能であることを示した.

## 2 関連研究

ニューラルネットワークを用いた継続学習の研究は大きく，正則化ベース，アーキテクチャベース， リプレイベースの 3 つの手法に分類される。

正則化ベースの手法では，過去のタスクに対して重要なパラメータが変化しないように制約を加えて破滅的忘却を防ぐ. 各パラメータの重要度の推定には，フィッシャー情報行列を利用する手法 [5] や，勾配の大きさを利用する手法 [6] がある.

アーキテクチャベースの手法は，ネットワーク構造の工夫によってタスク間の知識の干渉を防ぐ. タスクごとにネットワークを拡張する手法 [7] や，
(a) Train

(b) Replay

図 1 提案手法の概要

フィルタを用いてネットワークをプルーニングする手法 [8] がある.

リプレイベースの手法では，過去に学習したデー タを新しいタスクとともに再学習するリプレイを用いる. d'Autume ら [9] は，学習データを保持するエピソード記憶モジュールを導入し，リプレイと推論時のパラメータの局所適応に利用した. Shin ら [3] は，生成モデルによる擬似サンプルを利用する生成的リプレイを提案した。言語処理タスクを対象とした生成的リプレイの手法には, LAMOL [10] がある. LAMOL は，タスクとサンプル生成を言語モデルで同時に学習し, 単一のモデルのみで継続学習を行う. LAMOL の派生手法として, 知識蒸留を組み合わせた手法 $[11,12]$ や，生成サンプルのうち忘却度が高いものをリプレイとする手法 [13] がある.

一般に生成的リプレイの手法では，過去の学習サンプルを必要としない一方で, 生成サンプルの質や偏りによる継続学習の性能低下が生じる. そこで本研究では，LAMOL における生成サンプルの質や偏りを改善するために，記憶インデックスによる条件付けを用いて, リプレイとして過去の特定の学習サンプルを生成できる手法を提案する.

## 3 提案手法

提案手法の概要を図 1 に示す. 提案手法ではタスクの学習と同時に Autoencoder としてサンプル生成を学習する。 その際に得られる特徴べクトルを記憶インデックスとして海馬モジュールで保持し，リプレイ時に条件付けとして Decoder に与えて，対応する学習サンプルを生成する. また，タスク自体も同じ Decoderに学習させる.

## 3.1 モデル

提案手法は，学習サンプルを符号化する Encoder， タスクとサンプル生成を行う Decoder，記憶イン
デックスを保持する海馬モジュールから構成される. 以下では各モジュールの詳細を説明する。

## 3.1.1 Encoder

BERT [14] を用いて学習サンプルを固定長の特徴ベクトルに符号化する. 通常行われる BERT の学習と同様に，先頭につけた [CLS]トークンの埋め込みべクトル $\boldsymbol{h}_{[\mathrm{CLS}]} \in \mathbb{R}^{H}$ を入力全体を表す特徴表現として利用し，重み行列 $\boldsymbol{W}_{\mathrm{E}} \in \mathbb{R}^{P \times H}$ と活性化関数 $\tanh$ を用いて， $P$ 次元の特徴べクトル $\boldsymbol{h} \in \mathbb{R}^{P}$ に変換する (式 1 ).

$
\boldsymbol{h}=\tanh \left(\boldsymbol{W}_{\mathrm{E}} \boldsymbol{h}_{[\mathrm{CLS}]}\right)
$

Encoder のパラメータは，3.2 節で述べる事前学習でのみ最適化を行い，継続学習時は固定する。これは，継続学習の過程で学習時と生成時とで特徴べクトルにズレが生じ，記憶インデックスによる制御可能性が著しく低下することを防ぐためである.

## 3.1.2 Decoder

LAMOL [10] のアイデアに基づき，GPT-2 [15] を用いてタスクとサンプル生成を同時に学習する.

提案手法では, サンプル生成時に, Encoder で符号化した特徴ベクトル $\boldsymbol{h}$ による条件付けを行う. 固定長のベクトルを用いて GPT-2 のテキスト生成を制御する方法については，先行研究 $[16,17]$ によっていくつかの手法が提案されており，そのうち本研究では，以下で説明するように，Embedding 層と Self-Attention 層を利用する手法を用いる.

Embedding 特徴ベクトル $\boldsymbol{h}$ から, 重み行列 $\boldsymbol{W}_{\mathrm{D}} \in \mathbb{R}^{H \times P}$ を用いて GPT-2 の入力埋め込みと同じ $H$ 次元のベクトルに変換し, 各入力トークンの単語埋め込み $\boldsymbol{h}_{\mathrm{WE}}$ と位置埋め込み $\boldsymbol{h}_{\mathrm{PE}}$ を足し合わせ，新たな入力埋め込み $\boldsymbol{h}_{\mathrm{Emb}}=\boldsymbol{h}_{\mathrm{WE}}+\boldsymbol{h}_{\mathrm{PE}}+\boldsymbol{W}_{\mathrm{D}} \boldsymbol{h}$ とする.

Self-Attention 特徴ベクトル $\boldsymbol{h}$ を重み行列 $\boldsymbol{W}_{\mathrm{M}} \in$ $\mathbb{R}^{L H \times P}$ による線形変換で $\boldsymbol{h}_{\mathrm{Mem}} \in \mathbb{R}^{L H}$ に変換し， $L$個の $H$ 次元ベクトル $\left[\boldsymbol{h}_{\mathrm{Mem}, 1}, \ldots, \boldsymbol{h}_{\mathrm{Mem}, L}\right]$ に分割する. ただし， $L$ は GPT-2 の層数である. 各 $l$ 層目の Self-Attention において， $\boldsymbol{h}_{\text {Mem,l }}$ を Key, Value ベクトルに変換して追加の参照情報として利用し， $x_{t}$ を $x_{<t}$ と $\boldsymbol{h}_{\mathrm{Mem}, l}$ の両方で条件づける.

## 3.1.3 海馬モジュール

海馬モジュールは，記憶インデックスとして各学習サンプルの特徴ベクトルを保持する．具体的に

は，新しいタスクの学習時，Encoder で符号化した特徴ベクトルをタスクごとに分けて保存する。リプレイ時に，特徴べクトルを過去のすべてのタスクから同じ数ずつランダムに取り出して, Decoder のサンプル生成の条件付けに使用する.

## 3.2 事前学習

記憶インデックスとして利用する特徴ベクトルは，Decoder で元の学習サンプルを復元できるだけの十分な情報を含んでいることが望ましい. しかし, BERT の事前学習によって獲得された [CLS] の埋め込みと，ランダムに初期化された $\boldsymbol{W}_{\mathrm{E}}$ による線形変換では不十分であると考えられる。そこで，テキストコーパスを用いて教師なしで Autoencoderを事前学習することで，十分な情報を持った特徴べクトルへの符号化を実現する.

また，言語モデルを Autoencoder と同時に学習する.これは, Autoencoder の学習により, GPT-2 が元々持つ言語モデルの情報を失うことを防ぐためである.したがって，事前学習では， Autoencoder の損失と言語モデルの損失の和 $L=L_{\mathrm{AE}}+L_{\mathrm{LM}}$ を最小化するよう, Encoder と Decoder のパラメータを最適化する.

## 3.3 継続学習

## 3.3.1 データ形式

LAMOL と同様に, decaNLP フォーマット [18] に基づき, Context と Question から Answerを予測する質問応答として，すべてのタスクを Decoderの GPT-2 で学習する (図 2(a)). サンプル生成は, Encoder で Context, Question, Answer 全体を符号化した特徴べクトルから，元の入力を復元する Autoencoder として学習する (図 2(b)).

## 3.3.2 学習の流れ

継続学習の問題として，タスク列 $\left.\{T_{1}, T_{2}, \ldots\right.\}$ を考える. 新しいタスク $T_{i}(i>1)$ の学習前に, 海馬モジュールから特徵ベクトルを $\gamma\left|T_{i}\right|$ 個取り出し, Decoder で対応するサンプルを生成する．ただし， $\left|T_{i}\right|$ はタスク $T_{i}$ の学習サンプルの数であり, $\gamma$ はリプレイの割合である. 生成サンプルのうち, [ANS] が 1 つでないものと，BERT および GPT-2 の最大系列長を超えているものは棄却し，残りをリプレイとして新しいタスクのデータに加える。

図 2 (a) [ANS] を生成の開始位置を示す特殊トークンとし，質問応答としてタスクを学習. (b) Encoder で符号化した特徴べクトルによる条件付けを用いて，Decoder で開始トークン [GEN] からサンプル全体を生成.

タスクの損失 $L_{\mathrm{QA}}$ と Autoencoder の損失 $L_{\mathrm{AE}}$ を, サンプル生成の損失の重み $\lambda$ を用いて $L=L_{\mathrm{QA}}+\lambda L_{\mathrm{AE}}$ として，Decoderを学習する。

## 4 実験

## 4.1 実験設定

データセット decaNLP [18] から，感情分析 (SST)，意味役割付与 (QA-SRL), 対話状態追跡 (WOZ) の 3 つの異なるタスクのデータセットを使用

トセットを利用した.

比較手法全手法で GPT-22)を使用し，各タスクを 9 epoch ずつ学習した. 以下に各手法を示す.

提案手法: Encoder には $\mathrm{BERT}_{\mathrm{BASE}}{ }^{3}$ を使用し，サンプル生成の損失の重みは $\lambda=0.25$, 特徴ベクトルの次元数 $P$ は 128 とした. 先行研究 [10] に合わせ，リプレイの割合は $\gamma=0.05,0.2$ とした.

LAMOL: 提案手法によるリプレイの条件付けの有効性を検証するためのベースライン．言語モデルとして生成を学習し, [GEN] から top- $k$ サンプリング $(k=20)$ でリプレイサンプルを生成する.

Task-specific tokens: Sun ら [10] が提案した，タスクごとに開始トークンを変え，生成サンプルが過去の全タスクで均等になるよう制御する手法. 提案手法と LAMOL のそれぞれに適用した。

Real sample: 提案手法のリプレイを実サンプルに置き換える。提案手法の性能上限と考えられる。

Fine-tuning: タスクを 1 つずつファインチューニングする。継続学習の性能下限と考えられる。

Multitask: 全タスクのデータセットを混合し同時に学習する。継続学習の性能上限と考えられる。

評価指標継続学習の性能評価のために，以下の 2 つの評価指標を用いる. ここで $a_{j, i} \in[0,100]$ は夕

表 1 各手法の全 6 パターンの学習順序に対する実験結果とそれらの平均及び標準偏差. 各スコアは 2 回実行した結果の平均. Proposal および LAMOL の上付き文字はリプレイの割合 $\gamma$ を表し，下付き文字はそれぞれ共通の開始トークン (GEN), Task-specific tokens（TASK），Real sample（REAL）を表す.

図 32 回目のリプレイに含まれる各タスクの生成サンプルの割合

スク $T_{i}$ を学習後のタスク $T_{j}$ の評価結果を表す.

Average Score $\in[0,100]:$ 最終的なモデルの各タスクの評価結果 $a_{T, i}$ の算術平均.

Forgetting Measure $\in[-100,100]:$ Chaudhry ら [20] が提案した，過去のタスクの忘却度合い. ただし， decaNLP タスクの評価指標に合わせて -100 100の値をとる．値が小さいほど望ましい。

$
F_{T}=\frac{1}{T-1} \sum_{i=1}^{T-1} f_{T, i} \quad\left(f_{T, i}=\max _{j<T} a_{j, i}-a_{T, i}\right)
$

## 4.2 実験結果

6 パターンすべての学習順序について実験を行った結果を表 1 に示す. まず, Fine-tuning の結果から，新しいタスクの学習によって, 過去のタスクに対する破滅的忘却が生じることが確認できる. 提案手法の結果は，すべての条件で LAMOL の性能を大きく上回っており，タスクの学習順序に対する性能のばらつきも抑えられている。これは，継続学習に対して提案手法が有効であることを示している。

各実験における 2 回目のリプレイ時の生成サン
プルをタスクごとに分類4)した結果を図 3 に示す. LAMOL では生成サンプルの多くが直前のタスクのものになっており, Task-specific tokens の効果も学習順序によって大きく差がある。これに対して，提案手法は生成サンプルの偏りを大幅に抑えられており，記憶インデックスによる条件付けがうまく機能していると考えられる。また，リプレイの偏りがほとんど同じ場合についても，継続学習の性能で提案手法が LAMOL を上回っていることから，生成サンプルの質が改善されていることが示唆される.

## 5 おわりに

本稿では，言語処理タスクの継続学習に対して，海馬の記憶インデックスに着想を得た制御可能な生成的リプレイの手法を提案した。複数の異なる言語処理タスクを対象とした実験の結果，提案手法は生成サンプルの偏りを防ぎ，継続学習の性能を向上させることを示した. 今後は，海馬モジュールの記憶容量を削減する方法についても取り組みたい.

4） BERTによる分類モデルを作成して使用した.

## 参考文献

[1] German I Parisi, Ronald Kemker, Jose L Part, Christopher Kanan, and Stefan Wermter. Continual lifelong learning with neural networks: A review. Neural Networks, Vol. 113, pp. 54-71, 2019

[2] Michael McCloskey and Neal J. Cohen. Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, Vol. 24, pp. 109-165, 1989.

[3] Hanul Shin, Jung Kwon Lee, Jaehong Kim, and Jiwon Kim. Continual learning with deep generative replay. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 2990-2999. Curran Associates, Inc., 2017.

[4] Timothy J Teyler and Jerry W Rudy. The hippocampal indexing theory and episodic memory: updating the index. Hippocampus, Vol. 17, No. 12, pp. 1158-1169, 2007.

[5] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka GrabskaBarwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[6] Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny, Marcus Rohrbach, and Tinne Tuytelaars. Memory aware synapses: Learning what (not) to forget. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 139-154, 2018.

[7] Andrei A Rusu, Neil C Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, and Raia Hadsell. Progressive neural networks. arXiv preprint arXiv:1606.04671, 2016.

[8] Arun Mallya and Svetlana Lazebnik. Packnet: Adding multiple tasks to a single network by iterative pruning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7765-7773, June 2018.

[9] Cyprien de Masson d'Autume, Sebastian Ruder, Lingpeng Kong, and Dani Yogatama. Episodic memory in lifelong language learning. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 13122-13131. Curran Associates, Inc., 2019.

[10] Fan-Keng Sun, Cheng-Hao Ho, and Hung-Yi Lee. Lamol: Language modeling for lifelong language learning. In International Conference on Learning Representations, 2019.

[11] Yung-Sung Chuang, Shang-Yu Su, and Yun-Nung Chen. Lifelong language knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2914-2924, Online, November 2020. Association for Computational Linguistics.
[12] Jingyuan Sun, Shaonan Wang, Jiajun Zhang, and Chengqing Zong. Distill and replay for continual language learning. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3569-3579, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Heejeong Choi and Pilsung Kang. Lifelong language learning with the most forgotten knowledge. IEEE Access, Vol. 9, pp. 57941-57948, 2021.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46784699, Online, November 2020. Association for Computational Linguistics.

[17] Le Fang, Tao Zeng, Chaochun Liu, Liefeng Bo, Wen Dong, and Changyou Chen. Transformer-based conditional variational autoencoder for controllable story generation. arXiv preprint arXiv:2101.00828, 2021.

[18] Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, and Richard Socher. The natural language decathlon: Multitask learning as question answering. arXiv preprint arXiv:1806.08730, 2018.

[19] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[20] Arslan Chaudhry, Puneet K Dokania, Thalaiyasingam Ajanthan, and Philip HS Torr. Riemannian walk for incremental learning: Understanding forgetting and intransigence. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 532-547, 2018.

## A 付録

## A. 1 継続学習に使用したタスクの詳細

表 2 使用したタスク，データセット，評価指標

 & Who is based somewhere? & COG & 6414 & 2201 & $\mathrm{nF1}$ \\
Goal-Oriented Dialogue & WOZ & I am looking for African food & What is the change in state ? & food: African; & 2536 & 1646 & dsEM \\

## A. 2 忘却の過程

図4 それぞれの手法の各学習順序における忘却の過程


# Test Time Augmentation for Cross-lingual Text Classification

Artsem Zhyvalkouski
Tokyo City University
artsem20@ipl.cs.tcu.ac.jp
}

Shiho Hoshi Nobesawa
Tokyo City University
shiho@tcu.ac.jp
}

\begin{abstract}
Recently, in order to face the problem of the lack of labeled data for languages other than English, language models based on BERT were extended to tackle the task of cross-lingual transfer. Such multilingual models have been known to perform well on the target language data without actually being trained on it, but the need to improve their accuracy still exists. In this paper, we present an approach to improve the accuracy of such models by utilizing machine translation and test time augmentation, widely used in computer vision, but not thoroughly researched in natural language processing. We show that our method demonstrates improvement without training additional models or collecting more labeled data.
\end{abstract
## 1 Introduction

## 1.1 Multilingual Language Models

Recently, a highly accurate masked language model BERT[1] is widely used. It is pre-trained with a large amount of unlabeled data, such as Wikipedia[2]. Training is performed by randomly removing a word from a sentence and making the model predict what the removed word is. It can be said that this is a method of extracting features of sentences, such as word2vec[3] or FastText[4]. As an application of this model, firstly it is trained on a large amount of unlabeled data in advance. Next, it is trained further with data for tasks such as text classification or question answering.

Another recent trend is to train multilingual models that extend BERT to multiple languages. Typical models include mBERT[1], XLM[5] and XLM-R[6]. The background of multilingual models is that there is currently a lack of non-English labeled data. Unlike BERT, mBERT is pre-trained with a large amount of data in 104 languages. The application process is illustrated on Figure 1. As a con-

Figure 1 Application of multilingual models

crete application, firstly it is trained with a large amount of unlabeled multilingual data, then it is trained with labeled English data for a particular task. And finally, the inference is performed in the target language, for example, French. By doing so, it is known that high accuracy can be achieved even in the target language without actually having any labeled data for the target language. As another example, we can take a multilingual pre-trained model, fine-tune it on English data for Question Answering and then perform inference in Japanese, so the model can answer questions in Japanese, without actually being trained on them. One of the purposes of this research is to improve the accuracy of such multilingual models.

## 1.2 Test Time Augmentation

Another concept that is used in this research is Test Time Augmentation. Let us start with Train Time Augmentation. This is a method to increase the training data in an artificial manner. For example, in the case of natural language processing, there is back-translation[7]. An example of the back-translation method is shown on Figure 2. With this method machine translation from the original language $A$ to another language $B$ is performed. Then, once again machine translation from language $B$ to the original language $A$ is performed. For instance, you can translate En-

Figure 2 Back-translation algorithm[7]

glish into Japanese and then Japanese into English again to create different sentences without changing their meaning. Xie et al. insisted that the accuracy can be significantly improved by using this method[7].

Unlike Train Time Augmentation, Test Time Augmentation is performed for models that have already been trained. As Shorten et al. and Buslaev et al. described this is a commonly used technique in image processing to improve accuracy $[8,9]$. An example of the Test Time Augmentation technique for images is shown on Figure 3. For example,

Figure 3 Test Time Augmentation in image processing

firstly an image to be predicted is mirrored or rotated. Then the inference is performed for the resulting images separately, and finally, the average is taken to summarize the predicted values.

In the field of image processing, this method is also known to improve accuracy[9]. However, the situation is not so much considered in the field of natural language processing. We can see its investigation in the research by Howard et al.[10] where they utilize back-translation in test time for classification with the ULMFiT model[11], which is based on LSTM[12]. Liu mentioned an empirical result where name swapping augmentation was used in test time to improve accuracy on the Gender Pronoun Resolution task[13]. However, there seems to be very little research done on using Test Time Augmentation with multilingual data or on cross-lingual tasks. As another purpose of this research, we also aim to draw more attention to Test Time Augmentation in natural language processing.

## 2 Test Time Augmentation for Crosslingual Text Classification

## 2.1 Overview

The flow of the proposed method is presented on Figure 4. Since multilingual models can handle various lan-

Figure 4 Proposed method flow

guages, we believe that data augmentation is possible by machine translation. First, we translate the text in the target language into texts in various other languages. Then we make separate predictions for all the texts and finally put together all the predictions. As a way of summarizing, we are going to use averaging and weighted averaging. For weighted averaging, we utilize the Nelder-Mead optimization method[14] to find the best weights for the validation dataset and then use the obtained weights on the test dataset. We suppose that simple averaging may not be enough since we cannot be sure about the most appropriate augmentation language.

## 2.2 Algorithm

Here we explain the proposed algorithm step by step.

1. Translate the text $T_{L}$ in the target language $L$ with the machine translation model $M_{A_{i}}^{\text {trans }}$ into the text $T_{A_{i}}$ in the additional language $A_{i} . N$ is a number of
additional languages.

$
T_{A_{i}}=M_{A_{i}}^{\text {trans }}\left(T_{L}\right), 0 \leq i<N
$

2. Obtain the predicted probability vectors $p_{L}$ and $p_{A_{i}}$ for the texts $T_{L}$ and $T_{A_{i}}$ respectively by using the fine-tuned multilingual model $M^{\text {multi }}$ for text classification.

$
p_{L}=M^{\text {multi }}\left(T_{L}\right), p_{A_{i}}=M^{\text {multi }}\left(T_{A_{i}}\right), 0 \leq i<N
$

3. Obtain the final predicted probability vector $p_{w}$ by performing weighted averaging using the weights vector $w$ optimized for the validation dataset using the Nelder-Mead method[14].

$
p_{w}=w_{N} p_{L}+\Sigma_{j=0}^{N-1} w_{j} p_{A_{j}}
$

4. Predict the final class $C$ by using the highest probability in the vector $p_{w}$.

$
C=\operatorname{argmax} p_{w}
$

As a result, we get the final predicted class $C$, which is in our case is one of the contradiction, neutral or entailment classes.

 & Contradiction \\

## 3 Dataset

We use the XNLI dataset[15]. A few samples from the dataset are presented in Table 1.

It has classification data for 15 languages: English, French, Spanish, German, Greek, Bulgarian, Russian, Turkish, Arabic, Vietnamese, Thai, Chinese, Hindi, Swahili and Urdu. There are about 5,000 test and 2,500 validation pairs for each language, so it results in 112,500 annotated pairs. The pairs are obtained by human translation from English. The task is called textual entailment, which is a 3 class classification of two sentences called premise and hypothesis. Classes include contradiction, neutral and entailment. We use this dataset since it is a standard for evaluating Cross-lingual Text Classification used in the state-of-the-art research [5, 6].

## 4 Results

We perform two different experiments using a pretrained mBERT model, which also trained on the English XNLI data, thus evaluating the model in a cross-lingual transfer manner.

## 4.1 Experiment 1: Evaluation on a Single Additional Language

In this setting, we use the original English translations released in the XNLI dataset and simply average predictions in the original language with predictions using the English translations. The results for each language are shown on Figure 5.

Figure 5 Experiment 1: Comparison with previous methods and our method using evaluation on a single additional language

We compare our method with previous methods, such as using the target language and using English translations[6].

At first, we can notice that the performance on English translations is higher for most of the languages, except for Vietnamese. This can be explained by the following facts: the model was fine-tuned on the English samples; the largest amount of the pre-training data is in English. As for Vietnamese, it is hard to draw any conclusions, but we suppose it may relate to the quality of the given English translations. We can see that by using the proposed method and aggregating both predictions the accuracy for all of the languages either improves or is equal to the best previous method. This indicates that both the original texts and English translations provide a meaningful signal to the model. From the results, we may suppose that in a setting when the target language training data is not available, it is recommended to utilize English translations with our method to improve the accuracy without collecting more data or fine-tuning additional models.

## 4.2 Experiment 2: Evaluation on Multipule Additional Languages

In this setting we use the Marian MT models[16] to translate the original language into not only into English, but also into close and far languages. We use our own definition of close and far languages. The results for each language are shown on Figure 6. As a close language we

Figure 6 Experiment 2: Comparison with previous methods and our method using evaluation on multiple additional languages

use the language from the same group which has the highest number of articles in Wikipedia. For a close language we use the language from a different family which has the highest number of articles in Wikipedia. The reasoning behind choosing close and far languages is to account for the trade-off between translation quality and signal diversity. A close language can be easier to translate, so the data quality is higher, but it will provide presumably less diversity since the syntax structure will be similar. Vice versa, a far language might be more difficult to translate, although the syntax structure could be different and the translation might have more diverse word usage with similar semantics. For both languages, we use the one with the highest number of articles on Wikipedia because the model was pre-trained on it so we can obtain more meaningful representations. It is needed to mention that this reasoning is a pure assumption and in the perfect scenario the most useful augmentation language must be found using tuning on the validation set. As in Experiment 1, we compare our method with previous methods: using the target language and using English translations. For the proposed methods we use two settings: English augmentation and augmentation with English, close and far languages.

From the results, we can see that for each language one of the proposed settings improves the accuracy or performs on par. The 3-language setting improves the accuracy or performs on par for all of the languages except for Mandarin, for which the English augmentation setting performs best.
This may be explained by the quality of translations from Mandarin to other languages. The fact that the highest accuracy improvement is observed for low-resource languages such as Urdu, Hindi and Swahili is presumably due to the quality of the model's representations for their translations. We also conclude that choosing the most suitable augmentation language for each target language may be an appropriate step during the model tuning.

## 5 Discussion

We can notice that for each language the proposed method either outperforms or performs on par with the previous methods. We also can see that by using the proposed technique the accuracy on the XNLI dataset can be improved by around $2 \%$ for each language on average. Especially for low-resource Hindi, Urdu and Swahili, the performance is increased significantly (4-7\%).

It is needed to mention that in this research we proposed only using one-step machine translation as augmentation, whereas back-translation or any other text augmentation technique can be utilized. We also observe that for each language the best additional language and its performance seem to be different so that may be a topic for future research. Moreover, in this research we examined the natural language task of cross-lingual text classification, a similar Test Time Augmentation method might be applied to various other tasks such as question answering or namedentity recognition. The model we used is mBERT which is smaller than XLM-R or recent XLM-R XL[17], which outperforms even priorly best monolingual RoBERTa[18] on English. This implies that larger and more accurate models can also be investigated with our method.

## 6 Conclusion

Due to the lack of labeled data for other languages than English, multilingual models are being widely used recently. Although they are already achieving relatively high accuracy, we propose a method that can further improve the accuracy of such models by machine translation and test time augmentation. We show that our method improves the accuracy by 2-7\% on the XNLI dataset which is a standard for evaluating multilingual models. As for the practical usage of our method, the accuracy of cross-lingual classification models can be improved without additionally collecting more data or training new models.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Wikipedia contributors. Plagiarism - Wikipedia, the free encyclopedia, 2004. [Online; accessed 22-July-2004].

[3] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomás Mikolov. Enriching word vectors with subword information. CoRR, Vol. abs/1607.04606, , 2016.

[5] Guillaume Lample and Alexis Conneau. Cross-lingual language model pretraining. CoRR, Vol. abs/1901.07291, , 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, and Quoc V. Le. Unsupervised data augmentation, 2019. cite arxiv:1904.12848.

[8] Alexander Buslaev, Vladimir I. Iglovikov, Eugene Khvedchenya, Alex Parinov, Mikhail Druzhinin, and Alexandr A. Kalinin. Albumentations: Fast and flexible image augmentations. Information, Vol. 11, No. 2, 2020

[9] Connor Shorten and Taghi M. Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6 , pp. 1-48, 2019

[10] Sam Shleifer. Low resource text classification with ulmfit and backtranslation. CoRR, Vol. abs/1903.09244, , 2019.

[11] Jeremy Howard and Sebastian Ruder. Fine-tuned language models for text classification. CoRR, Vol. abs/1801.06146, , 2018.

[12] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, pp. 1735-80, 121997.

[13] Bo Liu. Anonymized BERT: an augmentation approach to the gendered pronoun resolution challenge. CoRR, Vol. abs/1905.01780, , 2019.

[14] John Ashworth Nelder and Roger Mead. A Simplex Method for Function Minimization. The Computer Journal, Vol. 7, No. 4, pp. 308-313, 011965.

[15] Alexis Conneau, Guillaume Lample, Ruty Rinott, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov. XNLI: Evaluating cross-lingual sentence representations, 2018.

[16] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[17] Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, and Alexis Conneau. Larger-scale transformers for multilingual masked language modeling. CoRR, Vol. abs/2105.00572, , 2021.

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# NLP モデルの性能の再現可能な測定に向けて :再現性の時間軸モデルと日本の NLP 研究の再現性の簡易的調査

竹下昌志 ${ }^{1}$ ジェプカ・ラファウ $2{ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
\{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

再現性は研究の信頼性を評価する上で重要な指標であるが，「再現性」とその関連用語の定義は混迷している。そこで本稿では，時間軸で再現性の諸側面を分類する概念モデルを提案する。これによって既存の定義と今後提案される定義を包括して再現性を理解することができる．次に，再現性を改善するための方法を検討する。最後に，近年の日本の NLP 研究の再現性を簡易的に調査する. その結果，特にコードが公開されておらず，追試する者にとって難しい状況であることが明らかとなった。

## 1 はじめに

再現性は科学にとって重要である ${ }^{1)}$.「再現性」とは，広義には，論文で記述されていることを繰り返すことができるという研究およびその研究結果の性質である．実験結果が再現できない場合はその実験結果に対する疑義が生じ，再現できればその実験結果の信頼性が向上する。また追試が行われていない場合，その実験結果の信頼性は不明である. 本大会のワークショップ「NLP における再現性 $\rfloor^{2)}$ の概要で述べられているように，「実験の再現性は健全な議論のために不可欠の条件である」.

しかし，「再現性」やその関連用語の定義は混迷しており，対立する定義も存在する（表 1 及び付録 A)「再現性」の定義が定まらなければ，人々が 「再現性」で意味することが異なるために議論が整理されず，研究の再現性の評価が困難になる.

そこで本稿では「再現性」の様々な定義を捉える包括的な概念モデルである再現性の時間軸モデルを

提案する.この概念モデルでは，再現性を何らかの測定の再現性であるとし，測定前，測定結果，測定後の再現性をそれぞれ区別する。また本稿では，この再現性モデルの下で二つのことを議論する．第一に，再現性をどのように向上させるかを検討する （3 節)．第二に，日本の NLP 研究で再現性がどれほど確保されているかを簡易的に調査する（4 節）.

## 2 再現性の時間軸モデル

再現性とその他の関連用語に関しては様々な定義がなされているが，定義は一致していない3)．そこで本稿では，再現性の定義について各提案を包括的に整理するために，測定前，測定結果，測定後の再現性にそれぞれ分類する再現性の時間軸モデルを提案する. 既存の定義と, 私たちの提案する再現性の分類との対応を表 1 に示す.

本節ではまず再現性の時間軸モデルの利点を説明し，次にこの概念モデルの詳細を説明する。

## 2.1 再現性の時間軸モデルの利点

既存の再現性の定義の仕方は，「再現性」に一つの側面だけを認めるか，実験に関する様々な側面に関して再現性をそれぞれ定義するかのいずれかである（表 1 及び付録 A）。しかし，測定には他にも様々な事物が関わるため，このように再現性を定義することは有限ではなく，望ましくないと考える。

本稿で提案する再現性の時間軸モデルでは，既存の定義と今後提案される定義を時間軸上に分類することで包括的に捉えられるため，再現性の理解や分類に有用であると考える。また再現性の諸側面を時間という概念的に同じ側面で分類することができるため，分類の仕方として適切であると考える.

3）再現性や反復性の定義をめぐる議論を本稿で網羅的に扱うことはできない．他分野での定義を含めた用語法を概観するものとして Plesser [6]を参照.
表 1 既存の再現性関連の用語の定義と，再現性の時間軸モデルとの対応表. 各項目の説明は付録 $\mathrm{A}$ を参照.

## 2.2 測定前の再現性

測定前の再現性は，測定を再現するために必要な手続きや機器などを繰り返すことができるか否かを意味する. Belz [5] は測定に関わる条件を対象条件，測定法条件，測定手続条件に分類している. 対象条件は測定機器に関する条件であり，測定に用いたコードやモデルなどが含まれる4)．測定法条件には評価指標とその実装者が含まれる. 測定手続条件には用いたテストデータや実行環境などが含まれる.これらの条件を繰り返せるということが測定前を再現できることを意味する。

## 2.3 測定結果の再現性

測定結果の再現性は，測定結果を繰り返すことができるか否かを意味する。「結果」には，測定によって得られた値やその値を統計的に処理した値（例：平均値）を含み，また Cohen ら [3] に合わせて値の比較も含める．そのため，信頼区間の推定結果や統計検定の結果も「結果」に含まれる。

測定結果の再現性に，測定前の再現性は必要でも十分でもない. 必要でない理由は, 例えば高価な GPU やコンパイル・実行環境を再現することは困難だが，それにもかかわらず同一の測定結果（正解率など）を得ることは可能である。十分でない理由は, 深層学習モデルの場合, 完全に測定前の再現性を満たさない限り, 重みの初期値などのランダム性のために測定結果が厳密に再現されないことがありうるからである.

## 2.4 測定後の再現性

測定後の再現性とは，測定結果を用いた推論とその結論を繰り返すことができるか否かを意味する。

別の測定結果から同じ結論を導く推論も，同じ測定結果から別の結論を導く推論も可能である [2].前者の例として, BERT [8] は様々なタスクで成功を

収めていることから，別々の測定結果から「BERT は優れた性能をもつ」という同じ結論を導く推論は可能である. また後者の例として, ある研究者が自身の提案手法を英語の分類タスクで実験し, 良い分類精度が得られた後に「提案手法は優れた分類性能をもつ」と推論したとする. しかし別の研究者は他の言語では良い精度が得られない（一般化できない）可能性を考慮し，この推論に同意しないとする.この場合, 同じ測定結果から異なる結論・推論になったため，測定後の再現は失敗している.

## 3 測定の再現性の改善に向かって

本節では以上の概念整理の下で，各再現性を改善させるための方法を検討する。

## 3.1 測定前・結果・後の再現性の改善

すべての再現性の改善に共通することは，実験を繰り返すために必要な事柄を明示することである. ACL Rolling Review（ARR）は実験設定の詳細の明示化のために，付録のページ数を論文のページ数制限に含めないとし，また副次資料の提出も認めている5).また ARR は責任ある研究チェックリスト [9] を提示しており，一部は再現性のチェックリストとしての役割が意図されている。こうしたチェックリストを満たすことは重要である6).

## 3.2 測定前の再現性の改善

測定前の再現性の改善には，2.2 節で紹介した Belz [5] の三条件を満たすことが重要である．特に， コードとデータの公開は測定前の再現性の改善に重要であり,「必須の前提条件」[12]である.

また，実験で用いたランダムシード値（RS 値）も明示されるのがよいと考える. ARR や NeurIPS のチェックリスト [13] には, RS 值をいくつ用いたのかや，RS 值によるランダム性を明示することが含まれているが，RS 值自体の明示化には何も述べてない. 測定前の再現性を厳密に満たすことを目指す

図13.4節の実験について, livedoorニュースコーパス上で日本語のマスク言語モデルを 25 個の RS 値（0～24） で fine-tuning した結果のヒストグラムを示す. 縦軸はその階級値に属する個数で，横軸は9クラス分類の正解率を表す。実験の詳細を付録 B に示す.

表 23.4 節の実験での各モデルの正解率の平均値と標準偏差.

のであれば，RS 値の明示化は重要である.

## 3.3 測定結果の再現性の改善

測定結果の再現性の改善のためには，測定によって得られた結果の明示化が重要である。一部の論文では統計検定が行われているが，どの実験のどの値に関して何の統計検定を行ったのかが明示されていないことがある [14].これを明示することはチェリーピッキングの疑義を晴らす上で重要である.

また，ハイパーパラメータやモデル構造の探索結果を仮説検証型の研究として報告するのは HARKing [15] につながり, 問題がある [16, 10]. HARKing とは "Hypothesizing After the Results are Know”（結果を知った後に仮説を作る）の略称で，結果を得た後にその結果に合うように仮説を形成することを意味する。これが問題であることは， テストデータを用いた学習モデルでのテストデータの予測結果を，あたかもテストデータを学習に使ってないかのように報告することと類似していることから理解できる. Gencouglu ら [16] は複数の院生を用いた手作業によるハイパーパラメータやモデルの探索を院生降下法（Grad Student Descent）と称し， これによってなぜそのモデルやハイパーパラメータが優れているのかが分からなくなると論じている.

測定結果の再現性の観点からは，こうした実践は 「知見の再現性」 [3] を低下させる．「知見の再現性」表 3 測定前の再現性の調査結果。

 &  \\

には，測定によって得られた値の比較を伴い，統計検定の結果などが含まれる. 例えば， $p$ 值が $5 \%$ の有意水準を下回っていたとしても，20 回に 1 回はそのような結果が期待される。そのため, 院生降下法などによる探索的研究で複数回の試行を行った場合に $p$ 值が偶然有意水準を下回ることがありえる. その結果を元に論文の「ストーリー」を組み立てて仮説検証型の研究として報告するのは HARKing にあたり，問題がある.

## 3.4 測定後の再現性の改善

測定後の再現性を改善するためには，測定によって得られた結果の限界に注意すべきである. ARR のチェックリストの最初の項目は「A1. あなたの研究の限界を述べたか?」であり, 強い仮定の明示,自分の主張の範囲の反省などが含まれる.

深層学習モデルの実験には RS 值に依存したランダム性があるため $[17,18]$, 単一の RS 値のみを用いた実験によって既存手法の精度を超えたとしても，それが偶然そうなった可能性を考慮すべきである ${ }^{8)}$. RS 值による精度の変動の一例として， livedoor ニュースコーパス9)を用いたニュース記事分類タスクの実験結果を図 1 及び表 2 に示す. 実験に用いたモデルは日本語コーパスで事前学習された BERT ${ }^{10)}$, RoBERTa [20] ${ }^{11)}$, DistilBERT [21] ${ }^{12)}$ である．実験の詳細を付録 Bに記載する．また，用いたコードを以下の脚注の URL で公開している13).結果として, 例えば, BERT の正解率と RoBERTa

7）このうち 1 本の論文では複数の RS 值を使用したかどうかの記述が見つからなかったが，複数回の試行を行っていた.

8）深層学習のランダム性を考慮した適切な実験方法とその結果の報告に関する議論として Agarwal ら [19]を参照.

9) https://www. rondhuit.com/download.html\#ldcc

10) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

11) https://huggingface.co/rinna/japanese-roberta-base

12) https://github.com/BandaiNamcoResearchInc/

DistilBERT-base-jp/blob/main/docs/GUIDE.md

13) https://github.com/Language-Media-Lab/ reproducibility-random-seed/
表 4 関連する論文の測定後の再現度の調査結果. NLP2021 の調査対象 25 本中残りの 6 本の論文のうち 3 本はルールベースの手法であり，うち 1 本では交差検証を行っていた．その他の 3 本はデータ分析を行っていた.

の正解率をそれぞれ一つずつ組み合わせた場合に BERT の正解率が RoBERTa の正解率を超えた割合は $4.64 \%$ であった.この結果より，二つのモデルを比較して一方が他方より優れていると言うためには,複数の RS 值を用いた実験を行うことが重要であることが示唆される.また，ここでは統計検定の結果や効果量の報告が有用である ${ }^{14)}$ 。例えば，RoBERTa での実験の平均值と BERT での実験の平均值が等しいという帰無仮説の下でのスチューデントの両側 $t$検定での $p$ 值は $3.83 \times 10^{-11}$ であった.このことから， RoBERTa の livedoor ニュースコーパスでの平均的な分類性能は BERT より優れていると推論することは合理的だと考える.

## 4 日本の NLP 研究における再現度

本節では日本の NLP 研究の再現性を簡易的に調査する. 調査対象は，言語処理学会第 27 回年次大会（NLP2021）で発表された論文からランダムに選ばれた 25 本 ${ }^{15)}$ ，会誌『自然言語処理』 28 巻 $3 ， 4$ 号に掲載された一般論文 17 本である.

## 4.1 測定前の再現度

測定前の再現性を確保するためにはコードやデー タの公開が重要である. しかし，少なくともコードはあまり公開されてない. Wieling ら [12]による調査によれば，コード公開とデータ公開のどちらも改善されつつあるが，2016年の ACL で発表された論文に関して，データが共有されたのは全体の $86.3 \%$, コードが共有されたのは全体の $59.3 \%$ であった ${ }^{16)}$.

本稿で調査したコード・データの公開状況の結果を表 3 に示す.データ公開については半分以上の論文が少なくとも部分的に公開しているか公開されているデータを用いていた. プライバシーの問題があるため，データは公開可能な範囲で公開されるのがよいと考える。一方コード公開に関しては,『自然言語処理』の一つの論文以外はすべて非公開だっ

た. 本稿の調査ではメール等で問い合わせてないため，もしメール等で問い合わせればこの割合は増えるかもしれないが，論文自体に公開情報を載せることがよいと考える.

## 4.2 測定結果の再現度

Belz ら [4]による様々な追試のメタ分析によれば，同一条件下での実験 (つまり測定前の再現性が確保されている実験）で元論文と厳密に同じスコアが得られた実験は全体の $14.03 \%$ であり，1\% 以上スコアが異なる追試結果は全体の約 6 割であった.

日本の NLP 研究における測定結果の再現性を調査するには実際に追試が行われる必要があるが，私たちの知る限り，公開で行われたことはない. 国際的には，人工知能系の学会で再現実験チャレンジがここ数年行われている $[23,24]$. 今後日本でも行われることを期待する。

## 4.3 測定後の再現度

測定後の再現性を直接評価することは困難であるが，複数の RS 値の使用や統計検定の実施を調べることで間接的かつ定量的に評価できる. Dror ら [14] による調査によれば，2017 年の ACL と TACL で，統計検定を行うべき研究で適切な検定の実施を確認できたのは，ACLでは 180 本中 36 本 $(20 \%)$ で， TACL では 33 本中 18 本（約 $54.5 \%$ ）だった.

本稿での調査結果を表 4 に示す. 査読付きの『自然言語処理』では半分以上の論文がランダム性を考慮した結果の報告を行っているが，NLP2021では半分に満たなかった。今後はランダム性を考慮した実験を行い，結果が適切に報告されるのが望ましい。

## 5 まとめ

本稿では，既存の再現性の定義や説明を包括して整理できる再現性の時間軸モデルを提案した。またこのモデルの下で，各時間軸での再現性を改善する方法について議論した. 最後に, 日本の NLP 研究の再現性の簡易的調査を行った。本稿の議論は再現性の改善への小さな一歩であり，また今後，再現性に関する議論が活発に行われることを期待する。

## 謝辞

日本の NLP 研究の再現性を調査するにあたって手伝っていただいた同僚の吉井瑞貴さんに感謝します。

## 参考文献

[1] Fiona Fidler and John Wilcox. Reproducibility of Scientific Results. In Edward N. Zalta, editor, The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University, Summer 2021 edition, 2021.

[2] Steven N. Goodman, Daniele Fanelli, and John P. A. Ioannidis. What does research reproducibility mean? Science Translational Medicine, Vol. 8, No. 341, pp. 341ps12-341ps12, 2016.

[3] K. Bretonnel Cohen, Jingbo Xia, Pierre Zweigenbaum, Tiffany Callahan, Orin Hargraves, Foster Goss, Nancy Ide, Aurélie Névéol, Cyril Grouin, and Lawrence E. Hunter. Three dimensions of reproducibility in natural language processing. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[4] Anya Belz, Shubham Agarwal, Anastasia Shimorina, and Ehud Reiter. A systematic review of reproducibility research in natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 381-393, Online, April 2021. Association for Computational Linguistics.

[5] Anya Belz. Quantifying reproducibility in NLP and ML. arXiv preprint arXiv:2109.01211, 2021.

[6] Hans E. Plesser. Reproducibility vs. replicability: A brief history of a confused terminology. Frontiers in Neuroinformatics, Vol. 11, p. 76, 2018.

[7] Odd Erik Gundersen and Sigbjørn Kjensmo. State of the art: Reproducibility in artificial intelligence. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] ACL Rolling Review. Arr responsible nlp research checklist, 2021, https://aclrollingreview.org/responsibleNLPresearch/.

[10] Samuel J Bell and Onno P Kampman. Perspectives on machine learning from psychology's reproducibility crisis. arXiv preprint arXiv:2104.08878, 2021.

[11] Emiel van Miltenburg, Chris van der Lee, and Emiel Krahmer. Preregistering NLP research. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 613-623, Online, June 2021. Association for Computational Linguistics.

[12] Martijn Wieling, Josine Rawee, and Gertjan van Noord. Squib: Reproducibility in computational linguistics: Are we willing to share? Computational Linguistics, Vol. 44, No. 4, pp. 641-649, December 2018.

[13] NeurIPS 2021. Neurips paper checklist, 2021, https://neurips . cc/Conferences/2021/PaperInformation/PaperChecklist.

[14] Rotem Dror, Gili Baumer, Segev Shlomov, and Roi Reichart. The hitchhiker's guide to testing statistical significance in natural language processing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 1383-1392, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Norbert L. Kerr. Harking: Hypothesizing after the results are known. Personality and Social Psychology Review, Vol. 2, No. 3, pp. 196-217, 1998. PMID: 15647155.

[16] Oguzhan Gencoglu, Mark van Gils, Esin Guldogan, Chamin Morikawa, Mehmet Süzen, Mathias Gruber, Jussi Leinonen, and Heikki Huttunen. Hark side of deep learning-from grad student descent to automated machine learning. arXiv preprint arXiv:1904.07633, 2019.

[17] Nils Reimers and Iryna Gurevych. Reporting score distributions makes a difference: Performance study of LSTM-networks for sequence tagging. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 338-348, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[18] Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, and Noah Smith. Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping. arXiv preprint arXiv:2002.06305, 2020

[19] Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron C Courville, and Marc Bellemare. Deep reinforcement learning at the edge of the statistical precipice. Advances in Neural Information Processing Systems, Vol. 34, , 2021.

[20] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. Computing Research Repository, Vol. arXiv:1907.11692, , 2019.

[21] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[22] 阿部真人. データ分析に必須の知識・考え方統計学入門 :仮説検定から統計モデリングまで重要トピックを完全網羅. ソシム, 2021 .

[23] Joelle Pineau, Philippe Vincent-Lamarre, Koustuv Sinha, Vincent Larivière, Alina Beygelzimer, Florence d' Alché Buc, Emily Fox, Hugo Larochelle. Improving reproducibility in machine learning research: a report from the neurips 2019 reproducibility program. Journal of Machine Learning Research, Vol. 22, , 2021.

[24] Anya Belz, Anastasia Shimorina, Shubham Agarwal, and Ehud Reiter. The ReproGen shared task on reproducibility of human evaluations in NLG: Overview and results. In Proceedings of the 14th International Conference on Natural Language Generation, $\mathrm{pp}$. 249-258, Aberdeen, Scotland, UK, August 2021. Association for Computational Linguistics.

[25] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019

## A 表 1 の各項目の説明

Goodman ら [2] は「方法の再現性」，「結果の再現性」,「推論の再現性」という 3 つの再現性を提案している.「方法の再現性」とは，同じ結果を得るための実験方法や手続き自体を繰り返すことができるという性質である。「結果の再現性」は可能な限り同じ手続きで別の研究チームが同じ結果を得られるという性質であり，Goodman らによれば，これは従来の複製性（Replicability）に対応する。「推論の再現性」は結果の分析や考察から同じ結論を導けるという性質である.

Cohen ら [3] は「結論の再現性」「知見の再現性」「値の再現性」という 3 種類の再現性を提案し, 別の概念として複製性または反復性（Repeatability）を提案している.ここで複製性は「方法の再現性」に対応し, 「知見の再現性」は「結果の再現性」に対応するが，「発見の性質」は值の比較に基づくとされる.「值の再現性」は測定結果の值自体を繰り返して確認できるかという性質であり，結論の再現性は，論文の「結論」の項目の記述であるとしている。

Belz ら [4] および Belz [5] は，再現性と複製性（または反復性）の両方を測定結果の性質として定義している. Belz らは，複製性を実験時刻以外が同じ条件の下での測定結果（の分布）であると定義し，再現性を異なる条件下での測定結果（の分布）であると定義している。

## B livedoor ニュースコーパス上での 実験詳細

livedoor ニュースコーパスのデータセットの統計情報を表 5 に記載する。本実験では本データセットを $6: 2: 2$ の割合で学習セット $(4,420$ 件 $)$, 検証セット ( 1,473 件), テストセット（1,474 件）に分割した. 各データにはタイトルと本文が含まれているが，本実験では本文のみを用いた.

本実験で使用したハイパーパラメータを表 6 に示す. 使用した三つのモデルでハイパーパラメータは共通である。また，本実験では早期終了を用いており，検証セットでの損失が 3 回連続で更新されなかった場合に，その時点までで検証セットで最も損失が小さいモデルを用いてテストセットで評価した.

17) https://pytorch.org/docs/stable/generated/torch optim. AdamW.html表 5 livedoor ニュースコーパスの各カテゴリ内のデー 夕数.

表 6 実験に用いたハイパーパラメータ. 本実験では三つのモデルすべてで共通のハイパーパラメータを使用した. AdamW の学習率以外のハイパーパラメータは Pytorch のデフォルト設定を用いた ${ }^{17)}$.

## C 再現性調査の対象とした NLP2021 の論文の発表番号一覧

A6-1, A8-4, B7-2, B7-3, C4-2, C8-4, D1-4, D2-2, D5-3, D6-3, D8-1, E9-3, P1-3, P1-6, P3-4, P3-12, P3-17, P4-6, P4-21, P5-14, P6-15, P6-20, P7-14, P8-1, P9-14


# クラス定義文を用いた Wikipedia 記事の分類

林歓樹 1 中山功太 ${ }^{2,3}$ 関根聡 ${ }^{2}$
1 早稲田大学基幹理工学部情報理工学科 2 理化学研究所 AIP ${ }^{3}$ 筑波大学情報生命学術院
rainline@akane.waseda.jp \{kouta.nakayama, satoshi.sekine\}@riken.jp

## 概要

本稿では、文書分類の一手法としてクラス定義文と深層学習を用いた手法を提案する。本手法は、 Zero-shot 設定にも適用可能といった特徴がある。提案手法のモデルを Wikipedia 構造化プロジェクト 「森羅 2021」の多言語分類タスクで提出した結果、全参加者のモデルの中で 30 言語中 17 言語でトップの性能を示した。また、Zero-shot 設定でも実験を行い、提案手法が一定の有効性を持つことを示した。 その結果から Zero-shot 予測に適した定義文について議論を行なった。

## 1 はじめに

近年深層学習を文章分類タスクへ適用した事例が多く報告されている。その中でも訓練時に現れなかったクラスを分類時に認識できるようにする Zero-shot 学習が盛んに研究されている [1]。

「森羅プロジェクト」[2]では、Wikipedia 上の知識を機械が認識できるような形式に構造化することを目標に、多くの人の協働のもとでリソースの構築を行なっている。その中の分類タスクでは、Wikipedia 記事を拡張固有表現1) に基づいたカテゴリーへ分類する。

本稿では、Wikipedia 記事の分類タスクを解くため、クラス定義文を深層学習と併せて利用することで分類を行う手法を提案する。実験によって、定義文を用いたアプローチが文章分類タスクで有効であること、また、Zero-shot 設定においても定義文を用いたアプローチが有効であることを示す。

## 2 SHINRA2021ML

SHINRA2021ML は、30 言語の Wikipedia 記事を拡張固有表現に基づいた約 220 のカテゴリーに分類をするタスクである。本タスクでは分類済み日本語 Wikipedia 記事から言語間リンクが張られている他

1) http://liat-aip.sakura.ne.jp/ene/ene8.1/definition_jp/言語の記事を訓練データとして用いている。本来は複数クラスへの分類タスクだが、訓練データのうち複数クラスに分類される例が $2.50 \%$ と非常に少ないため、今回は単一クラスの分類タスクとして扱う。

## 3 関連研究

今まで提案された多言語における Wikipedia 記事の分類手法として、多言語 BERT モデル [3] を全言語で学習させたのち、各言語のモデルを作成してその言語ごとの学習データのみで fine-tuning するという手法が提案されている $[4]$ 。その際用いられる学習データは Wikipedia 記事本文のみである。また本文以外の情報を学習データに利用した手法も提案されている [5]。記事本文の他に、記事同士の関係を表した知識グラフ、画像情報、記事のレイアウト、拡張固有表現の階層情報を学習データとして利用している。また、Wikipedia 自身のカテゴリ情報のみを用いて分類する手法も提案されている [6]。

Aly らは、クラス定義文を利用した Zero-shot 固有表現抽出の手法を提案している [1]。対象とする文にクラス定義文を連結して深層学習モデルに入力することで訓練時に現れないクラスの抽出を行なっている。

本研究では、Wikipedia の記事の分類にクラス定義文の情報を利用する手法を提案する。さらに Zero-shot 設定での分類も行う。

## 4 提案手法

一般的なクラス分類モデルでは、深層学習モデルの出力ベクトルと、各行が各クラスに対応する学習可能な行列との積を取ることでクラス予測を行う。 そのため、各クラスに付与された情報を用いることができない。対して、提案手法では後者の行列をクラスに付与された定義文を元に生成する。つまり、文章を埋め込むモデルの出力べクトルとクラス定義文を埋め込むモデルの出力行列の積により最終的なクラスを予測する。

## Wikipedia 記事の埋め込み表現の取得方法 初め

に Wikipedia 記事の文章を、WordPiece[7] により分割し、トークン列 $\mathbf{x}=\left(x_{1}, x_{2}, \ldots, x_{p}\right)$ を得る。 $p$ は深層学習モデルへの入力長である。WordPiece はサブワードの考え方を用いた分割の一手法である。次に、104 言語で事前学習された多言語 BERT モデル [3] を用いて得られたトークン列から埋め込みべクトル $\mathbf{v} \in \mathbb{R}^{n}$ を得る。2)ここで $\mathrm{n}$ は埋め込みべクトルの次元数である。

## クラス定義文の埋め込み表現の取得方法 SHINRA2021ML タスクでは階層的な拡張固有表現 の末端カテゴリーへの分類を行う。そのため我々は 本実験では、未端カテゴリーのクラス定義文のみを 用いる。拡張固有表現の $i$ 番目の末端カテゴリの 定義文に対し、Wikipedia 記事と同様の前処理を行 い、トークン列 $\mathbf{t}_{i}=\left(t_{i, 1}, t_{i, 2}, \ldots, t_{i, q}\right)$ を得る。 $q$ は深層学習モデルへの入力長である。その後、学習済み 多言語 BERT を用いて、埋め込みべクトル $\mathbf{g}_{i} \in \mathbb{R}^{n}$ を得る。また、すべての定義文を埋め込むことで行列 $G \in \mathbb{R}^{c \times n}$ を得る。 $c$ は末端カテゴリーの総数で ある。

クラス分類得られた文章埋め込みベクトル $v$ と定義文埋め込み行列 $G$ の積により、最終的な各クラスの予測確率 $\mathbf{p} \in \mathbb{R}^{c}$ を得る。

$
\mathbf{s}=\operatorname{softmax}\left(\mathbf{t} G^{\boldsymbol{\top}}\right)
$

最終的な予測クラス $y$ は、次のように求まる。

$
y=\underset{i \in\{1, \ldots, c\}}{\arg \max } \mathbf{s}_{i}
$

損失関数には、交差エントロピー誤差を用いる。

## 5 実験

## 5.1 実験 1: ベースラインとの比較

データセット森羅 2021 において配布された 30 言語の Wikipedia 記事とその分類先カテゴリの教師データを学習に用いた。評価は森羅 2021 のテストデータで行った。

実験対象モデル以下の 2 つのモデルの評価を行なった。

mBERT ベースラインモデル。 multilingual BERT によって Wikipedia 記事の本文の埋め込み表現を

2）この際トークン列に対してそれぞれ文章の先頭と終端を示す特殊トークン [CLS] と [SEP] を結合する。得て、1 層の線形層を用いて分類を行うモデル。 mBERT_def 提案手法。2つの multilingual BERTを用いて Wikipedia 記事と定義文の埋め込み表現をそれぞれ得て、その類似度によって分類を行うモデル。

学習設定分類先カテゴリ数は $c=221$ である。記事と定義文の埋め込みベクトルの次元数は $n=768$ を使用した。各モデルはエポック数 8 、ミニバッチサイズ 64 で学習を行なった。学習率は $5.0 \times 10^{-5}$ に設定した。Wikipedia 記事の埋め込み表現の入力長は $p=512$ に設定した。また、定義文の埋め込み表現の入力長は $q=93$ に設定した。

## 5.2 実験 2: Zero-shot 設定

Zero-shot 設定での実験を行なった。

データセット森羅 2021 において配布された 30 言語の Wikipedia 記事とその分類先カテゴリの教師データのうち、正解クラスを出現頻度順にソートしたときに、上位 $80 \%$ のクラスを学習データ、80〜 90 \%のクラスをテストデータとして用いた。評価はテストデータを用いて行なった。クラスの分割については表 1 に示す。

実験対象モデル mBERT_def のみで実験を行なった。

学習設定分類先カテゴリ数は学習時は $c=32$,推論時は $c=26$ である。記事と定義文の埋め込みべクトルの次元数は $n=768$ を使用した。各モデルはエポック数 8、ミニバッチサイズ 64 で学習を行なった。学習率は $5.0 \times 10^{-5}$ に設定した。Wikipedia 記事の埋め込み表現の入力長は $p=512$ に設定した。また、定義文の埋め込み表現の入力長は $q=93$ に設定した。

## 6 評価結果

## 6.1 実験 1

各モデルの森羅 2021 のテストデータによる各言語に対する評価結果を表 2 に示す。mBERT_def の結果は、mBERT より 28 言語のうち 17 言語で性能が向上した。

また、全参加者のモデルの中で、mBERT_def が 30 言語のうち 17 言語で最も良い性能を示した。定義文を用いたアプローチが性能の向上につながっていることがわかる。
表 1 実験 2 のクラス分割

## 6.2 実験 2

Zero-shot 設定での各クラスごとの評価結果を表 3 に示す。全体としての F1 値のマイクロ平均は 0.30 とあまり高くない数字だが、クラスごとに見ると 0.70 を超えるクラスがいくつかあり、定義文を用いたアプローチが一定の有効性を示している。

予測性能の差に関する定義文の分析最も F1 値が高かった 3 クラスと低かった 3 クラスについて詳細な分析を行なった結果を表 4 に示す。ここで本文とは Wikipedia 記事本文の先頭 512 単語のことである。また、定義文の単語とは、定義分に含まれる単語から"an"や"of"などのストップワードを除いたものである。F1 值が高い 3 クラスのうち Reptile と Era は、定義文に含まれる単語のうち本文に含まれる単語の割合が高く、F1 值が 0 の 3 クラスは低いことがわかる。このことから、定義文に含まれる単語が Wikipedia 記事本文に含まれていると F1 值が高くなる傾向があると言える。しかし、 Astronominal_Object_Otherクラスに関しては、定義文の単語のうち本文に含まれる単語の割合が低いのにもかかわらず高い F1 值を出している。これは表 5 に示した定義文を見ると、Astronominal_Object_Other クラスの定義文は例示を多用していたり注釈がつ表 2 実験 1 のテストデータに対する結果

いていたりと他の定義文と比べて長くなっている。 これによってより多い単語を定義文に含むため、 Wikipedia 記事本文に定義文の単語が含まれる割合が高くなると考えられる。実際、表 4 に示したように、Astronominal_Object_Otherクラスでは、本文に定義文の単語が一つでも含まれる割合が高くなっている。以上から、定義文の単語が記事本文に含まれる割合が高いとき、または定義文の長さが長く、定義文の単語が記事本文に含まれやすくなっているときに F1 值が高くなる傾向があると考えられる。
表 3 実験 2 のテストデータに対する結果

表 4 実験 2 の定義文に関する分析

 &  \\

Era & 0.74 & 0.426 & 0.844 \\
Astronomical_ & 0.71 & 0.122 & 0.962 \\
Object_Other & & & 0.768 \\
animal_disease & 0 & 0.267 & 0.674 \\
Academic & 0 & 0.296 & 0.817 \\
Theory & 0 & 0.306 &

表 5 定義文の例

 \\
& subordinate categories (1.5.4.1 - \\
& 1.5.4.3).Examples are a galaxy, neb- \\
ula, comet, satellite, interstellar sub- \\
stance, planetary system, etc. An ar- \\
tificial satellite is not included here

## 7 おわりに

本研究では、森羅 2021 の多言語分類タスクにおいて、定義文を用いたアプローチが有効であること、また、Zero-shot の設定でも定義文を用いたアプローチがある程度有効であることを示した。また、 Zero-shot 設定の実験から、どのようなクラス定義文が文書分類に役立つのかを示した。この結果から、 Wikipedia の文書分類に限らない、他のタスクへの応用が考えられる。また、各言語ごとの詳細な分析を行うことで、更なる性能向上につなげられる可能性がある。それらについては今後の課題とする。

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

[1] Rami Aly, Andreas Vlachos, and Ryan McDonald. Leveraging type descriptions for zero-shot named entity recognition and classification. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[2] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In Proceedings of NTCIR-15, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL HLT 2019, 2019.

[4] The Viet Bui and Phuong Le-Hong. Cross-lingual extended named entity classification of wikipedia articles. In Proceedings of NTCIR-15, 2020.

[5] Hiyori Yoshikawa, Chunpeng Ma, Aili Shen, Qian Sun, Chenbang Huang, Guillaume Pelat, Akiva Miura, Daniel Beck, Timothy Baldwin, and Tomoya Iwakura. Uom-fj at the ntcir- 15 shinra2020-ml task. In Proceedings of NTCIR-15, 2020.

[6] Masaharu Yoshioka and Yoshiaki Koitabashi. Hukb at shinra2020$\mathrm{ml}$ task. In Proceedings of NTCIR-15, 2020

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Moham-
mad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.


# 多段の数量推論タスクに対する 適応的なモデルの振る舞いの検証

青木洋一 ${ }^{1}$ 工藤慧音 ${ }^{1}$ Ana Brassard ${ }^{3,1}$ 栗林樹生 ${ }^{1,2}$ 吉川将司 1,3 乾健太郎 ${ }^{1,3}$
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
\{youichi.aoki.p2,keito.kudo.q4\}@dc.tohoku.ac.jp,
ana.brassard@riken.jp, \{kuribayashi,yoshikawa,inui\}@tohoku.ac.jp

## 概要

数量推論において, Transformer [1] ベースのモデルは演算の複雑さが異なる問題に対しても常に固定の層の数で推論が行われるため, 演算をモデル内部で表現することが難しいと考えられる. 本稿では問題に応じて層の深さを適応的に変化させるモデルである PonderNet [2] が多段の推論を要する数量推論タスクに対してどのように作用するのかを検証した. その結果, 形式言語によって構成される数量推論デー タセットの中でも簡単な演算に対しての正解率は非適応的なモデルと適応的なモデルでは大きな差は見られなかったが, 適応的なモデルの層の深さは入力に応じて変化することが確認できた.

## 1 はじめに

深層学習ベースの自然言語処理システムの数量推論性能が向上することは科学や金融などの分野における応用において有益である一方, 数量推論に対する全体的な解決策はまだ見つかっていない [3].例えば, 算術演算を要する読解問題タスクである DROP [4] に対して, GenBERT [5] が高い精度を達成する一方で, FinQA [6] のような現実の問題に近い設定の場合,ニューラルネットワークは人間のパフォーマンスにははるかに及ばない事が分かっている. また, 学習時に見たことがない桁の数に対する操作や演算を行えない外挿 [7] の問題も有名である.

このような問題は, モデルの構造が数量推論に適していない事に起因すると本稿では仮説する。一般的に使われている Transformer ベースのモデルに解かせる場合，「1+1」や，「922×312」のように演算の複雑さが異なる問題に対しても, 常に固定の層の数で推論が行われる. したがって, 問題に応じて層の深さが変化する事がないモデルは演算を内部で表現
することが難しいと考えられる。

本稿では, 問題に応じて層の深さが適応的に変化するモデルとして, PonderNet [2] が多段の推論を要する数量推論タスクに対してどのように作用するのかを検証し, 非適応的なモデルとの比較を行う. PonderNet などの適応的なモデルは入力に応じて行う推論の深さを変化させる事により, 質問応答や多段推論など, 数量推論ではない他のタスクでは非適応的なモデルよりも高い精度を達成することが分かっている.

実験では, 多段の推論を要する推量推論タスクにおいて, 適応的な機構を持つ Ponder Transformer の振る舞いを検証し, 標準的な Transformerなどの非適応的なモデルと比較を行う. データセットは形式言語によって構成され, 解答に要する推論の深さを明示的に定めることが可能となっている. また, 形式言語で書かれたデータセットは, DROP のような自然言語上の数量推論データセットから問題の構造のみ取り出したものと考えることができるため, 形式言語上でモデルの振る舞いを検証することは, 自然言語上での数量推論に対するモデルの振る舞いを検証する手助けになると考えられる。

本稿では, 現状で確認できている範囲の結果を共有し, 最後に冒頭の仮説を検証するための今後の方針を整理する. 実験の結果, 形式言語によって構成される数量推論データセットの中でも簡単な演算に対しての正解率は非適応的なモデルと適応的なモデルでは大きな差は見られなかったが, 入力に応じて適応的なモデルの層の深さが変化することが確認できた.

## 2 PonderNet

標準的なニューラルネットワークでは, 入力に応じて層の数が増減することは無い.一方で,一部では

図 1 Ponder Transformer

そのような仕組みをモデルに組み込む研究が注目されており [8, 9], 本研究では中でも PonderNet [2] に着目する. PonderNet は大力に基づいて再帰回数を調整する事ができ, また, 既存のアーキテクチャに対しても簡単に適用可能なアルゴリズムである.

アーキテクチャ： PonderNet の基本となるアー キテクチャは, 入力 $x$, 状態 $h_{n}$ として, ステップ関数 $s$ を用いて式(1)のように表される.

$
y_{n}, h_{n}, \lambda_{n}=s\left(x, h_{n-1}\right)
$

式 (1) のステップ関数 $s$ は, MLP [10] や LSTM [11] などの任意のニューラルネットワークや, Transformer の 1 層として考えることができる. また,このステップ関数 $s$ は最大 $N$ 回まで再帰的に適用され, 各 $n$ 回目のモデルの出力が $y_{n}$ となる. $\lambda_{n}$ はこの $n$ 回目の再帰的処理を停止する確率, $h_{n}$ は $h_{0}$ を初期状態とした時の中間状態である. モデルは $\lambda_{n}$ の值を元に停止するかどうかの決定を行い, 停止した際の $y_{n}$ の値がモデルの出力となる.

損失関数： 損失関数は,ラベルを $y$ として, 再構築項 $L_{R e c}$ と正則化項 $L_{R e g}$ で式 2 のように構成される。

$
\begin{gathered}
L=L_{R e c}+\beta L_{R e g} \\
=\sum_{n=1}^{N} p_{n} \mathscr{L}\left(y, y_{n}\right)+\beta \operatorname{KL}\left(P \| P_{G}\left(\cdot ; \lambda_{p}\right)\right)
\end{gathered}
$

$p_{n}$ は $\lambda_{n}$ によって求められる $n$ ステップ目で初めて停止する確率 $\left(p_{n}=\lambda_{n} \prod_{j=1}^{n-1}\left(1-\lambda_{j}\right)\right), P$ は $p_{n}$ の分布である (i.e., $P(n)=p_{n}$ ). また, $L_{R e c}$ は, タスクで定義された損失関数 $\mathscr{L}$ の停止確率による期待値, $L_{R e g}$ は $P$ と式 3 のように定義された事前分布（Nで切
り捨てられた幾何分布, $\lambda_{p}$ でパラメータ化されたもの）の間の KL ダイバージェンスである.

$
P_{G}\left(n ; \lambda_{p}\right)=\lambda_{p} \prod_{j=1}^{n-1}\left(1-\lambda_{p}\right)
$

## 3 人工数量推論データセット

本研究では, 事前学習用の簡単なデータセットとメインの多段推論用のデータセットの 2 つをプログラムによって人工的に生成し, 実験に用いる.

## 3.1 事前学習用データセット

多段推論で訓練する前にモデルが簡単な数量推論が可能になるように事前学習を行う. 図 2 上のように, 数値は $0 \sim 199$ の範囲, 演算子は足し算「+」の 1 種類, 各式は 2 項演算によって構成されたデータセットを用いる. 事例の数は $40 \mathrm{~K}$ である.

## 3.2 多段推論用データセット

各モデルの比較に用いるデータセットとしては,図 2 下のようなデータセットを作成した. データセットは図のように数値の範囲が数値は $0 \sim 199$, 演算子は足し算「+」の 1 種類, 変数は $\mathrm{a} \sim \mathrm{e} の 5$ 種類で構成されている.

このデータでは, 式は $\mathrm{b}=\mathrm{a}+1$ のような (最後の質問を除いた) 文脈中に出現するカンマ区切りの文字列と定義し, 「 $c=23+b, a=1, b=a+1, b=? 」$ という事例の場合, 式の数は 3 である. また，「推論の深さ」は，「解答に必要な式の数」として定義する. 文脈中には解答に必要のない式もダミーの式として含まれてい
事前学習用データセット

Q: $25+32=$ A: 57

多段推論用データセット

推論の深さが1の場合

$\mathrm{Q}: \mathrm{e}=34, \mathrm{c}=\mathrm{e}+3, \mathrm{e}=$ ?

A: 34

推論の深さが2の場合

Q: $b=12+a, d=b+3, c=11, a=c+67, a=$ ?

A: 78

推論の深さが3の場合

Q: $a=65+c, c=43+d, d=11, a=$ ?

A: 119

図 2 データセット概要図

るが,これらは問題を解くことに要する「推論の深さ」には影響しない. よって, 図 2 の深さ 2 の例は $c=11 \rightarrow a=c+67$ という推論過程を踏むため深さ 2 とみなされる。

検証にこのような形式言語による多段推量推論夕スクを採用する強みは，

1. データの分布をコントロールする事ができる

2. 推論の深さなど問題の形式を自由に調整できる

の 2 点である. 1 に関しては, DNN モデルは, データセット中の分布の偏りに敏感であり, 本来の問題の構造に依らない解法を見つけてしまうことが知られている $[12,13]$. 人工データを用いる事によりこの問題を極力排し, モデルの数量推論能力をより直接的に評価することができる. 2 に関しては, 推論の深さ,数値の範囲やダミーの式の有無など, 検証に必要な要素を自由に制御可能なことにより,DNN モデルの数量推論に関する強みや限界を詳細に評価できる。

## 4 実験

## 4.1 モデル

以降の実験では以下のモデルを事前学習用データセット (§ 3.1) で事前学習し, 多段推論用データセッ卜 (§ 3.2)で追加学習・評価を行う.

Vanilla Transformer: エンコーダ層, デコーダ層が共に 6 層ずつの標準的な Transformer.
Ponder Transformer: PonderNet ( $\begin{aligned} & (2)\end{aligned}$ を Transformer 層に適用したものである. エンコーダ層， デコーダ層が共に 1 層ずつの図 1 のような Transformer の亜種であり, 図中の停止ノードの出力である停止確率を元にループの回数が決定する. 今回の実験では, エンコーダ層の [CLS] トークンに当たる出力を停止ノード (線形層) に入力し, 停止確率 $\lambda_{n}$ を求める. また, 最大停止回数 $N$ は 6 , 損失関数の正則化項 $L_{\text {Reg }}$ に対する重み $\beta$ は $\{0.1,0.01,0.001\}$ を探索して最適な値, 幾何分布を決定するパラメータ $\lambda_{p}$ は $1 / 4$ とした.

Loop Transformer: Ponder Transoformer と同様に, エンコーダ層, デコーダ層が共に 1 層ずつの Transformer であり, 同じ層に繰り返し表現ベクトル列を入力する (i.e., Vanilla Transformer の層間のパラメータを共有した亜種). Ponder Transformer と異なる点としてはループの回数が動的に変化せず, 6 回で固定されている点である.

各モデルに共通するハイパーパラメータとして，最適化手法は Adam [14], 学習率は 0.0001 , 埋め込みベクトルの大きさは 512 , アテンション層のユニッ卜数は 512,アテンションヘッドの数は 8 とした. また, 入力に対する埋め込みは文字単位で行い, タスクは 1 棪ずつの生成で解く.

## 4.2 多段の数量推論

学習・評価セット中に含まれる推論の深さ (§3) = $1,2,3$ の事例の割合を変化させながらモデルの性能を評価した (表 1). 各設定ごとにデータセット全体を生成したのち, 学習・訓練データの割合が $8: 2$ となるようにランダムに分割した. また, ランダムにダミー の推論ステップを使う事で各事例中の式の数は 1～ 4 の範囲になるように設計する。

Ponder Transformer と Vanilla, Loop Transformer を比較すると,精度による違いはあまり見られなかった。 これは簡単な足し算のみのデータ上での比較であるためと考えられ, 今後更に複雑な問題上でも比較を行っていく必要がある. しかしながら, 推論の染さ 1 のものが解ける段階から深さ 2 の問題が解けるようになるためには, 実験データに含まれる推論の深さ 2 の事例数が $5 K$ では不十分だった (表 3 行目) のに対し, 推論の深さが 3 の事例を解くことができるためには, データ中に推論の深さ 3 の事例を $5 \mathrm{~K}$ 含めるだけで正解率がほぼ 1.0 になるという興味深い現象が見られた.ここから, 推論の深さ 2 の問題の解き方

図 3 解答に必要な式の数が 2 , 文脈中に出現する式の数が 2 4 の事例に対する Ponder Transformer の再帰回数のヒストグラム

の知識があれば, 深さ 3 の問題に対しては少量の事例のみで足りることが見て取れる.

表 1 推論の深さ (解答に必要な式の数) の割合を変化させた場合の正解率. $x / y / z$ は推論の深さが $1 / 2 / 3$ の事例が学習・評価データに合計して $\mathrm{x}, \mathrm{y}, \mathrm{z}$ 個あることを表している

## 4.3 Ponder Transformer の再帰回数に関す る分析

以下の実験では, 再度推論の深さ $1,2,3$ の事例をそれぞれ $1 \mathrm{~K}, 15 \mathrm{~K}, 15 \mathrm{~K}$ 個用意し, 学習・訓練データに 8:2でランダムに分割しモデルを訓練した. 学習させたモデルに対して, 推論の深さが 2 , 式の数が 2 4 の事例に対する再帰回数の変化を調査した. 具体例として,「a=1, b=a+1, b=?」は推論の深さが 2 ,式の数が 2 の事例であり, ダミ一の式を加えることが式の数の増加に対応する。

実験の結果, 図 3 のように, ダミーの式が増えるにつれてモデルの再帰回数も増加し, ダミーの式の有無にも依存してモデルが計算を行なっている事が分かった. これは, 今回構築したデータセットが文脈中に出現する変数の中からランダムにその値を問う形式になっていることに起因していると考えられる.例えば，「c=23+b a=1, b=a+1, b=?」のような入力に対しては, b の値だけではなく文脈中に出現するどの変数の値に対してもモデルが回答可能なように $a, c$ の値も同時に計算していると仮説が考えられる.

図 4 文脈中に出現する式の数が 4 , 解答に必要な式が 1３の事例に対する Ponder Transformer の再帰回数のヒストグラム

また, 各事例中の式は, 他の式に出現していない変数に対し演算を行い, 鎖状に多段の数量推論を表現しているため, 推論鎖の長さがモデルの再帰回数の変化に反映されたということが図から観察される。

続いて, 文脈中に出現する式の数を固定して推論の深さを変化させた場合に対する再帰回数を調査した. 結果は図 4 のように, 解答に必要な式の数とは直接的に関係なく再帰回数が決定した.これは上記で述べたように, 答えるのに必要な式だけを見ているのではなく, 全ての変数の値を計算しているという仮説と一致する結果である。

## 5 おわりに

本稿では, PonderNet が数量推論においてどのように作用するのかを人工的なデータセットを用いて検証した. その結果, 簡単な演算に対する正解率は非適応的/適応的なモデル間では大きな差は見られなかったが, PonderNetが問題の構造に応じて再帰回数を変化させるていることが確認できた. この挙動に対する説明としての仮説を実験の節では提示したが, 仮説に対する厳密な評価は今後の課題である.

今回の実験は簡単な足し算のみのデータセット上での比較であったが, 我々は今後人工数量推論問題を用いてさらなる調査を行う予定である. 将来的には数量推論において, 適応的なモデルを用いて簡単な演算に対しては推論過程を短く行うように学習し, 複雑な演算に対してはより長い推論を行うことによる汎化性の向上を目指している.

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研

費 JP20J22697, 20K23314 の助成を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[2] Andrea Banino, Jan Balaguer, and Charles Blundell. Pondernet: Learning to ponder, 2021.

[3] Avijit Thawani, Jay Pujara, Pedro A. Szekely, and Filip Ilievski. Representing numbers in nlp: a survey and a vision, 2021

[4] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. Drop: A reading comprehension benchmark requiring discrete reasoning over paragraphs, 2019.

[5] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models, 2020.

[6] Zhiyu Chen, Wenhu Chen, Charese Smiley, Sameena Shah, Iana Borova, Dylan Langdon, Reema Moussa, Matt Beane, Ting-Hao Huang, Bryan Routledge, and William Yang Wang. Finqa: A dataset of numerical reasoning over financial data, 2021.

[7] Eric Wallace, Yizhong Wang, Sujian Li, Sameer Singh, and Matt Gardner. Do NLP models know numbers? probing numeracy in embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5307-5315, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Alex Graves. Adaptive computation time for recurrent neural networks, 2017.

[9] Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, and Lukasz Kaiser. Universal transformers. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[10] David E. Rumelhart and James L. McClelland. Learning Internal Representations by Error Propagation, pp. 318-362. 1987.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[12] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[13] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Em- pirical Methods in Natural Language Processing, pp. 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization, 2017.


# Transformer を多層にする際の勾配消失問題と解決法について

高瀬翔 1 清野舜 2,3 小林堸介 4,3 鈴木潤 3,2
${ }^{1}$ 東京工業大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 東北大学 ${ }^{4}$ Preferred Networks
sho.takase@nlp.c.titech.ac.jp shun.kiyono@riken.jp
sosk@preferred.jp jun.suzuki@tohoku.ac.jp

## 概要

Transformer は機械翻訳や要約のような系列変換タスクをはじめ，様々なタスクに用いられている。他のニューラルネットワークと同様に，Transformer も性能向上のためには層の数を増やす戦略が取られるが，例えば 18 層以上のように多層化する場合には学習の安定性のために Layer Normalization（LN）の位置を変えた構造を使うことが主流になっている。本研究では，オリジナルの構造での多層化における学習の不安定性は LN による勾配消失であることを示し，Residual Connection を追加するだけで多層化が可能になることを示す．また，多層化において主流の LN の位置を変えた構造は性能が低いことを実験的に示し，提案手法により性能に悪影響を与えることなく多層化できることを示す.

## 1 はじめに

多層ニューラルネットワークの学習において，勾配の爆発や消失を防ぐために Batch Normalization [1] や Residual Connection [2] が考案されてきた. Batch Normalization は適用位置を変化させたときの挙動も議論されており，性能の高い多層のネットワークを構築するためには構造にも気を配る必要がある [3].

機械翻訳や要約のような系列変換タスクをはじめ，自然言語処理の様々なタスクに用いられている Transformer では Layer Normalization（LN）[4] が採用されている [5]. Transformer についても LN の適用位置に関しての議論がある. 最初に提案された構造である Post-LN は多層にすると勾配消失問題で学習が不安定になり，サブレイヤの入力に LN を適用する Pre-LN と呼ばれる構造（各構造を図示した図 2 も参照のこと）の方が学習が安定していると示されている [6,7]. 例えば， 18 層 Transformer エンコーダ・ デコーダについて，機械翻訳で広く使われている WMT 英-独の訓練および開発データでの損失値を図

(a) Train loss

(b) Valid loss図 118 層 Transformer エンコーダ・デコーダの訓練デー タ，開発データの損失値.

1 の (a)，(b) に示した. この図から Post-LN は損失値が高いままで，学習を続けても性能が改善されていないことが分かる.このため，多層の Transformer では Pre-LN を採用した研究が多い $[8,9]$.

Pre-LN と Post-LN との議論では学習の安定性が沮上に上がることがほとんどであり，性能差に言及した研究は少ない.しかしながら，Liu らは機械翻訳において，学習が成功した場合（例えば 6 層のように多層でない場合）には Post-LN が Pre-LN よりも高い性能を達成したことを報告している [10]. この結果は学習の不安定性に目をつぶれば，Post-LN は Pre-LN よりも優れていることを示唆している.

そこで本研究では，Post-LN の学習の安定性向上に取り組む. 特に，本研究では図 1 のような，学習を続けても性能が改善されない現象を学習の不安定性とし，これの改善に取り組む。まず，Post-LN を多層にした際に学習が不安定になる問題は LN による勾配消失が原因であることを示す。加えて， Post-LN と Pre-LN との性能差がどこに起因するかを調査する，上記の観測に基づき，Post-LNに Residual Connection を追加するだけで，学習パラメータの追加や計算コストを増加させることなく，高い性能を維持したまま多層での学習を安定させることが可能になると示す。

(a) Post-LN

(b) Pre-LN

(c) Post-LN with B2T connection

図 2 Transformerを用いたエンコーダ・デコーダの構造. (a) は Post-LN，(b) は Pre-LN，(c) は Post-LN に提案手法を組み合わせたものである.

## 2 Post-LN と Pre-LN

本節では Post-LN と Pre-LNを概説する. オリジナルの Transformer [5] では各 Residual Connection の後に LN を置く，Post-LN となっている. サブレイヤへの入力を $x$ ，フィードフォワードネットやマルチヘッドアテンションのようなサブレイヤを $\mathscr{F}(\cdot)$ とすると，Post-LNは次のようになる：

$
\operatorname{PostLN}(x)=\mathrm{LN}(x+\mathscr{F}(x)) .
$

一方，Pre-LN は各サブレイヤの前にLNを置く：

$
\operatorname{PreLN}(x)=x+\mathscr{F}(\mathrm{LN}(x)) .
$

図 2 の (a) と (b) はそれぞれ Post-LN と Pre-LN を図示したものである.

## 3 Transformer における勾配

Liu らが報告しているように，Post-LN では勾配消失が発生する [10]. 図 3 は機械翻訳で広く使われている WMT 英独の訓練データにおける，18 層 Transformer エンコーダ・デコーダの (a) エンコーダ側と (b) デコーダ側の各層の勾配のノルムを示したものである. この図における勾配のノルムは対数目盛りとしてあるため，デコーダ側において Post-LN の勾配は層が浅くなるにつれ指数的に減少していることが分かる。すなわち，Post-LN のデコーダ側では勾配消失が発生しており，この勾配消失が図 1 に

(a) Encoder side

(b) Decoder side図 3 Transformer エンコーダ・デコーダの勾配のノルム.

示したように多層 Post-LN の学習を不安定にしていると考えられる。

勾配消失の詳細な原因を知るため，図 2(a)の (1) (5) における勾配のノルムを調査した. 図 4 は 18 層目の (1) - (5) における勾配のノルムを示している. この図から，(4) から (3)，(2) から (1) で勾配が大きく減衰していることが分かる。この勾配が大きく減衰している点はLN の位置と合致しており，LNが勾配消失の原因であると推測される。

さらに Post-LN と Pre-LN との勾配のながれの違いを探るために，式 (1)と (2) の微分值を計算する.各微分値は次のようになる：

$
\begin{aligned}
\frac{\partial \operatorname{PostLN}(x)}{\partial x} & =\frac{\partial \mathrm{LN}(x+\mathscr{F}(x))}{\partial(x+\mathscr{F}(x))}\left(1+\frac{\partial \mathscr{F}(x)}{\partial x}\right), \\
\frac{\partial \operatorname{PreLN}(x)}{\partial x} & =1+\frac{\partial \mathscr{F}(\mathrm{LN}(x))}{\partial \mathrm{LN}(x)} \frac{\partial \mathrm{LN}(x)}{\partial x} .
\end{aligned}
$

(1) (2) (3)
Location of Figure $1(\mathrm{a})$

$(5)$

図 4 WMT 英-独で学習した際の 18 層の Post-LNにおける 18 層目のデコーダの各位置における勾配のノルム.

式 (3) のように，Post-LN の微分はLN の微分およびサブレイヤ F と Residual Connection の微分の積となる.これに対し, Pre-LNの微分は Residual Connection の微分が LN の微分と独立の項となっている．LN の微分が勾配を大きく減衰させたとしても，この Residual Connection の微分が勾配を維持するため，Pre-LNでは勾配消失が発生していないと考えられる。

## 4 各層による変換

Post-LN では LNによって勾配が減衰し，これによって低層では勾配消失が発生しうる。このため多層の Post-LN の学習は困難であるが，実験の節にあるように，学習に成功した場合は Post-LN は Pre-LN よりも高い性能を達成する.この性能差は各層における変換の程度に依存すると考えられる。

図 5 は Transformer エンコーダ・デコーダについて, WMT データセット内のいくつかの系列を入力した際の，各層の出力間のコサイン類似度を平均し図示したものである. この図において，Pre-LNの左下の類似度は Post-LN の左下の値よりも高いことが分かる. すなわち, Post-LN と比較して, Pre-LN は最初の層と最終層の出力との類似度が高い. 式 (2) のとおり，Pre-LNでは入力 $x$ が Residual Connection によってサブレイヤの $\mathscr{F}(\cdot)$ を回避しており，その結果, 入力 $x$ が最終層の出力に直接足し込まれる. これにより勾配消失は防ぐことができるが，各層からの出力の類似度が高くなってしまう。言い換えれば，Pre-LN は入力を変換する作用が Post-LNよりも小さく，これが Pre-LNが Post-LNよりも性能が低い原因であると考えられる.

(a) Post-LN

(b) Pre-LN

(c) B2T connection図 5 各層からの出力間のコサイン類似度.

## 5 提案手法: B2T Connection

本節では Post-LN の高い性能を維持したまま多層化する手法を提案する．多層化による勾配消失を防ぐためには式 (4) にあるような，微分した際に勾配を維持する項が必要である。これを満たすため，各層における最後の LN 以外の LNを回避する Residual Connection を追加する1). 図 2(c) の赤い矢印で示したように，提案手法は各層への入力をフィードフォワードネットの結果へと結合する。本研究ではこれを Bottom-to-Top (B2T) Connection と呼ぶ。詳細には次式で表現される：

$
x_{\mathrm{inp}}+x_{\mathrm{ffn}}+\mathrm{FFN}\left(x_{\mathrm{ffn}}\right)
$

ここで $x_{\mathrm{inp}}$ は層への入力， $x_{\mathrm{ffn}}$ はフィードフォワー ドネットへの入力， $\mathrm{FFN}(\cdot)$ はフィードフォワードネットである. つまり， $x_{\text {inp }}$ はセルフおよびエンコーダ・デコーダ間のマルチヘッドアテンション後の LNを回避し，勾配の維持に貢献する. 実際,図 3(b) は B2T Connection が 18 層のエンコーダ・デコーダにおいて勾配消失を防いでいることを示しており, 図 1 に示すように学習も安定している。また, 図 5(c) は B2T Connection は出力間の類似度の傾向が Post-LN と似ており，層ごとの変換を Pre-LN よりも行えることを示している。

## 6 機械翻訳での実験

系列変換タスクとして，機械翻訳タスクでの実験を行う．要約，自動音声認識タスクについては付録に記した。

1）各層の最後の LN も含め全ての LNを回避する Residual Connection も試してみたが，性能が大きく低下した．全ての LNを回避した場合には大力が出力に直接つながることになり，節 4 で議論したように各層での変換作用が小さくなり， Post-LN の利点が消失するからであると考えられる.

## 6.1 データセット

機械翻訳タスクはオリジナルの Transformerをはじめ, Transformer エンコーダ・デコーダの性能を調べるために広く使われているタスクである $[5,11,6,7,10]$. 本研究では広く使われている， WMT 英-独の 450 万文対を含む訓練データを用いる $[5,11]$. 既存研究と同様, 語彙の構築には BPE [12] を用いる．性能評価には newstest2013-2016 を用いる。

## 6.2 比較手法

実験では Post-LN，Pre-LN，Post-LN に提案手法である B2T Connectionを組み合わせたもの（B2T Connection）の比較を行う．層の数は広く使われている設定および多層の設定として 6 層と 18 層を採用する。中間層の次元数については Vaswani ら [5] の base 設定と同一の値とする，上記に加えて，多層 Post-LN の学習を安定化する, 下記の既存手法と比較を行う．なお，既存手法は学習を安定化させるために追加のパラメータおよび計算を要する。

DLCL Wang らは下層の出力の重み付き和を次の層への入力とする, Dynamic Linear Combination of Layers（DLCL）を提案した [6]. 各層内に Residual Connection を追加する提案手法とは異なり，DLCL は各層間を接続する経路を設ける. 各出力への重みはパラメータであり学習によって適切な值を得る.

Admin 多層の Transformer の学習を安定化させるため, Liu らは Adaptive Model Initialization (Admin) を提案した [10]. これは, 各層の出力の分散を元に初期化したパラメータを導入することで，学習初期での安定性を高めている。追加したパラメータを初期化するためには各層の出力が必要であるため，実際に学習を開始する前に, 複数回の前向き計算を要する。すなわち，本手法はパラメータを追加していることに加え，必要とする計算量も増加している.

## 6.3 結果

表 1 に newstest2013-2016における各手法の SacreBLEU [14] ${ }^{2)}$ で計算した BLEU スコアとその平均值を示した. 表 1 の上部は 6 層, 下部は 18 層の結果を示している。表 1 の上部から，Pre-LN の BLEU スコアは他の手法と比べて低いことが分かる。すなわ

2) SacreBLEU の signature は BLEU+nrefs:1+case:mixed+ eff:no+tok:13a+smooth:exp+version:2.0.0.表 1 WMT newstest2013-2016 における各手法の BLEU ス

ち，構造として Post-LNを用いた方が Pre-LNよりも高い性能を達成している.

表 1 の下部では，18 層，すなわち，多層にした際に素朴な Post-LN は学習が失敗していることを示している。具体的には図 1 に示したように，学習を続けても性能が改善しなかった.これに対し，提案手法（B2T Connection）は学習に成功しており，また， Pre-LNよりも高い性能を達成している.これらの結果から, Post-LN は学習が成功すれば Pre-LN よりも高い性能を達成すること，提案手法は Post-LN の利点を維持しつつ多層の学習の安定性を向上させていることが分かる.

従来手法との比較では提案手法が同等以上の性能を達成しており, 追加での学習パラメータや計算コストを要求しない点も鑑みると提案手法が優れていると言える. 付録に要約タスクでの比較も示した.

## 7 おわりに

本研究では Post-LN の学習の安定性向上に取り組んだ. Post-LNを多層にした際は LNによる勾配消失のために学習が不安定になることを示し， Pre-LN と Post-LN の性能差が各層での変換の差に起因する可能性を示した. Post-LNの利点を維持したまま多層での学習を安定させる手法として，B2T Connection という，層内の LNを回避する Residual Connection を提案した. 系列変換タスクでの実験を通して以下の 3 点を明らかにした. 1. Post-LN は学習が成功すれば Pre-LN よりも高い性能を達成可能である. 2. 提案手法により多層 Post-LN の学習が安定する. 3. 提案手法は Post-LN の利点を維持したまま学習を安定させることで，多層にした際に Pre-LN よりも高い性能を達成できる.

## 謝辞

本研究は JSPS 科研費 JP21K17800 および JST, ACT-X，JPMJAX200I の助成を受けたものです。また，本研究の一部（基礎研究）は JST ムーンショット JPMJMS2011 の助成を受けたものです.

## 参考文献

[1] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of ICML, Vol. 37, pp. 448-456, 2015.

[2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

[3] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. In Bastian Leibe, Jiri Matas, Nicu Sebe, and Max Welling, editors, ECCV, pp. 630-645, 2016.

[4] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization, 2016.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008. 2017.

[6] Qiang Wang, Bei Li, Tong Xiao, Jingbo Zhu, Changliang Li, Derek F. Wong, and Lidia S. Chao. Learning deep transformer models for machine translation. In Proceedings of ACL, pp. 1810-1822, 2019.

[7] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tie-Yan Liu. On layer normalization in the transformer architecture. In Proceedings of ICML, pp. 10524-10533, 2020.

[8] Alexei Baevski and Michael Auli. Adaptive input representations for neural language modeling. In Proceedings of ICLR, 2019.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, pp. 18771901, 2020.

[10] Liyuan Liu, Xiaodong Liu, Jianfeng Gao, Weizhu Chen, and Jiawei Han. Understanding the difficulty of training transformers. In Proceedings of EMNLP, pp. 5747-5763, 2020.

[11] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of WMT, pp. 1-9, 2018.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neu- ral machine translation of rare words with subword units. In Proceedings of ACL, pp. 1715-1725, 2016.

[13] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of NAACL-HLT, pp. 5767-5780, 2021.

[14] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of WMT, pp. 186-191, 2018.

[15] Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of EMNLP, pp. 379-389, 2015.

[16] Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of AKBC-WEKEX, pp. 95-100, 2012.

[17] Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In NeurIPS, pp. 90549065, 2019.

[18] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of WMT, pp. 1-61, 2019.

[19] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An asr corpus based on public domain audio books. In ICASSP, pp. 5206-5210, 2015 .

[20] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. Fairseq S2T: Fast speech-to-text modeling with fairseq. In Proceedings of AACL-IJCNLP, pp. 33-39, 2020.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of EMNLP, pp. 66-71, 2018.
表 2 見出し文生成 [15] における各手法の ROUGE-1，2， LのF-1スコア（それぞれ R-1，R-2，R-Lとする．

表 3 LibriSpeechにおける各手法の単語誤り率.

## A 要約・自動音声認識での実験

## A. 1 データセット

生成型要約タスクは機械翻訳に並んで代表的な系列変換タスクある. 本研究ではニュースの 1 文目を入力とし，見出し文を生成する見出し文生成に取り組む. Rush ら [15]によって Annotated English Gigaword [16] から構築されたデータセットを用いる. 本データセットは 380 万文対の訓練データと 1951 文対のテストデータからなる. また, 既存研究 [13] にならい, REALNEWS [17] と NewsCrawl [18] から構築した 1300 万文対の追加の訓練データを用いる. 機械翻訳と同様，BPE で語彙の構築を行う.

加えて，言語以外のモダリティとして自動音声認識での実験を行う. 英語の音声認識で広く使われているデータセットとして LibriSpeech [19] を用いる. 既存研究 [20] にならい, 利用可能な全ての訓練データを学習に用い, 開発，テストセットについて Clean と Otherの 2 種を用いる. デコーダ側の語彙は SentencePiece [21] で構築する.

## A. 2 比較手法

要約においては機械翻訳タスクでの実験と同様,

Post-LN, Pre-LN, B2T connection, DLCL, Admin との比較を行う. 層の数は 6 層および 18 層とする.

自動音声認識では Post-LN，Pre-LN，B2T connec- tion の比較を行う. なお，従来研究 [20] はエンコー ダ側を多層にすることで性能が向上することを示しているため，本実験ではエンコーダ側のみ多層にし，デコーダ側の層数は 6 層で固定とする. エンコーダ側の層数は 6 層および 12 層とする.

## A. 3 結果

表 2 に見出し文生成のテストデータにおける ROUGE-1，2，LのF-1 スコアを示す. 層の数が 6 層の場合には Post-LN および提案手法は Pre-LN よりも高いスコアを達成している. 18 層の場合には Post-LN は学習に失敗してしまっているが，提案手法は学習に成功しており, Pre-LNよりも高い性能を達成している. この結果から, 見出し文生成においても，学習に成功すれば Post-LN は Pre-LN よりも高い性能を達成可能なこと，提案手法は Post-LN の利点を活かしたまま多層にした際の学習の安定性を向上させることが分かる.

既存研究である DLCL [6]，Admin [10] との比較では， 6 層， 18 層のどちらの場合でも提案手法が高い性能を達成している。機械翻訳タスクでの結果とあわせると，提案手法はこれら従来手法と同等以上の性能を達成すると言える。なお，提案手法には追加での学習パラメータや計算コストを要求しない点を再度強調したい。

表 3 に各手法の単語誤り率を示す. エンコーダの層数が 6 層の場合には，機械翻訳や要約タスクと同様，Post-LN および提案手法が良い性能を達成している. エンコーダの層数が 12 層の場合には素朴な Post-LN は学習に失敗してしまっているが，提案手法は学習に成功しており, dev-clean を除いて Pre-LN よりも高い性能を達成している。この結果も機械翻訳や要約タスクと同様，提案手法は多層にした際の学習の安定性を向上させること, Post-LN のように高い性能を達成可能であることを示している。


# ニューラル言語モデルの効率的な学習に向けた 代表データ集合の獲得

鈴木潤1,2* 全炳河 ${ }^{1}$ 賀沢秀人1
${ }^{1}$ Google 合同会社 ${ }^{2}$ 東北大学
\{junsuzuki, heigazen, kazawa\}@google.com

## 概要

本稿では，大規模な学習データから選択した少量の代表データ集合を用いてニューラル言語モデルを学習した際に, 元の学習データ全てで学習した場合と同等な性能を達成できるかという研究課題について検証する。実験では，二つの特性の違う言語モデルの尤度差に基づく選別方法により代表データ集合を獲得し，GLEUベンチマークデータで評価をおこなった. 元データの 20 分の 1 から 50 分の 1 程度まで削減した代表データ集合から学習したニューラル言語モデルの GLUE 平均スコアが, 全データから学習した場合と同等であることを示す.

## 1 はじめに

自然言語処理の研究分野では, 2017 年頃からニューラル言語モデルの研究が注目され, 以降数多くの研究成果が報告されている $[1,2,3,4,5,6]$. これまでに発表された多くの研究において，ニューラル言語モデルを事前学習済みモデルとして解きたいタスクに特化したモデルに組み込むことで，事前学習済みニューラル言語モデルを用いない場合と比較して飛躍的に性能を向上できることを示している. つまり，特定のタスクに依存しない大規模な生テキストから学習した事前学習済みニューラル言語モデルは, 多種多様な自然言語処理タスクの汎用特徵量 (universal feature) として効果的に機能することを示している.このことからも，ニューラル言語モデルは，昨今の自然言語処理の成功の根幹を担う必須の基盤技術と言える。

事前学習済みニューラル言語モデルに関しては,最近の様々な研究により, 学習データ量, および, モデルサイズを大きくすることが比較的一貫性をもって性能を向上できる二大要因であることが検証され，実験的に立証されている $[2,3,6]$. ただし， その性能向上の効率に関しては，例えばデータ量やモデルサイズに対して概ね対数線形程度で効果が得られる場合が多いことも同時に知られている $[7,8]$. つまり，あるデータ量で得られる性能からデータを増やして得られる性能向上と同程度の性能向上をさらに目指す場合は，増やしたデータの 10 倍増やす必要がある.このことから，より性能の高い言語モデルを獲得するには，膨大な量の学習データ，および，その処理に必要な大規模な計算リソースが必要になることを意味する．実際に，性能の高い事前学習済みニューラル言語モデルは，潤沢な計算リソー スを持つ大手企業や研究機関からリリースされることがほとんどであり，例えば大学の研究室などの多くの計算リソースや研究資金を持たない場合は，高性能な事前学習済みニューラル言語モデルを構築するのは非常に困難である. このようにな現状から，事前学習済みニューラル言語モデルのような重要な基盤研究を，多数の研究機関で取り組むことができない状況が発生していると考えられる. 重要な要素技術の研究に対して広く研究者が参加できないのはあまり適切な状況とは言えない。

そこで，本稿では，ニューラル言語モデルの学習データに着目し，大規模なニューラル言語モデルを学習する際に用いるデータから，同等かそれ以上の性能を持つニューラル言語モデルを学習できる部分集合を抽出できるかについて検証をおこなう．本稿では，便宜上，ある特定のデータセットに対して， そのデータセットの性質を適切に保持する部分集合を「代表データ集合」と呼ぶこととする。もし，効果的な代表データ集合を抽出できれば，現実的な計算リソースおよび研究資金で事前学習済みニューラル言語モデルの研究ができるようになり，より多くの研究者が参加し分野の発展がより早く進むことが期待できる。
^{*}$ Google Visiting Researcher として実施した研究成果
}

## 2 関連研究

本研究と同様に，少ない計算資源と研究資金で事前学習済み言語モデルの研究を実現することを主目的とした取り組みが既になされている [9]. この論文では，24 時間で BERT[2] の学習を実現するために必要な学習時の設定やモデルの改良などを示している (通称 24hBERT). この論文により, 計算リソー スが少ない環境でもニューラル言語モデルの効率的に学習する知見が数多く示されている。

これまでのニューラル言語モデルの研究では，性能向上の方策の一つとしてデータ量を増やしていった.しかし, 最近では, Common Craw1 ${ }^{11}$ などの現在比較的簡単に取得可能な生テキストのうち最大級のデータ（webテキスト）を使うのが当たり前となり， これ以上は安易にデータが増やせない状況になってきた.このように，データ量増加に関して頭打ちになりつつあることから，次に量から質を高める方向が注目されるようになった. 実際に，データの質を制御あるいは向上させることで，最終的なニューラル言語モデルの性能が向上したという報告も散見されるようになった [10]. 従来のように方法論としてモデルの改良ではなく，データに焦点をあてデータを改良することで最終的なタスク性能を向上させようという取り組み（例：[11,12,12]）を，最近ではデータ中心 $\mathrm{AI}$ (Data-centric AI）研究と総称し新たに注目すべき研究カテゴリとなっている2). 本研究も，こういったデータに着目した研究の一環と捉えることができる.

## 3 代表データ集合の選別

本来，この代表データ集合という用語を定義するために，データセットの性質と計測方法など上記の説明を定量的かつ明確に計算するための定義が必要であるが，ここでは直接的な定義は設けない。その代わり，目的タスクにおいて，データ全体を用いた時と同等かそれ以上の性能を達成することができる部分集合のデータと定義する. つまり, 直接の計測は困難なので，目的タスクの性能をもって，代表データ集合が元のデータ集合の性質を保持していると間接的に計測する方法をとる。本稿においては，言語モデルの性能について評価することが目的であるため，言語モデルの性能評価に一般的に用いられ

るベンチマークデータの性能を比較することで，効果的な代表データ集合が獲得できたかを判断する。

代表データ集合を選出する方法論には，多くの方法が考えられる.ここでは，簡単な方法論として文献 [13] にて提案された尤度差に基づく方法論を取り上げる. 注意点として, 本手法は全く何もない状態から代表データを抽出する汎用の方法ではない。また，それを目指しているわけでもない。あくまでも最新のニューラル言語モデルが存在し, その学習が可能な環境があることを前提とし，それを出発点として，いかに有用な代表データ集合を選別できるかを考える。これは，代表データ集合を一度作成することができれば，以降はこのデータを使うことで，少ないデータから高品質な言語モデルを作成できるようになり，言語モデルそのものの研究を限定された計算環境しかない場合でも実行できるようにしたい，という目的を達成するためである.

## 3.1 尤度差に基づく選別

言語モデルに効果的なデータかどうかを判断する方法として，文献 [13] にて提案された二つの言語モデルの尤度差を利用する方法を, 本研究の目的に合わせた形で流用する。この方法は, 特定のドメインに特化したデータ (in-domain data) から学習した言語モデルと，特定のドメインに特化しないデータ (non-domain-specific data) から学習した言語モデルにより計算される対象テキストの尤度差により，特定のドメインにより適したデータを選別する方法である．以降ここでは，便宜上，前者を特化型言語モデル，後者を汎用言語モデルと呼ぶことにする。また，評価対象となる文章を $X$ とする。このとき，特化型言語モデル $M_{I}$ による $X$ の尤度を $L_{M_{I}}(X)$, 汎用言語モデルによる $X$ の尤度を $L_{\mu_{N}}(X)$ とすると，尤度差に基づくスコア $S_{L}$ は以下の式により計算できる。

$
S_{L}=L_{\Omega_{I}}(X)-L_{\mu_{N}}(X)
$

ただし，ここでの $L_{M_{I}}(\cdot), L_{M_{N}}(\cdot)$ は. 文章中に出現する各単語の対数尤度の和を用いる。

前に述べた通り，本研究では「少ないデータから学習したニューラル言語モデルでも性能が高い」ことが目的である. そこで，特化型言語モデルとして，事前学習済みニューラル言語モデルを用いて， ある自然言語処理タスクを実行した際に，より高い性能が得られると考えられるデータで学習された

ニューラル言語モデルと仮定する. 具体的に利用する学習データに関しては，実験（4 節）にて述べる。 また, 汎用言語モデルは，通常の手順により得られるニューラル言語モデルと仮定する。

## 3.2 ランキング

本研究において実際に実現したいことは，代表データ集合の獲得であるが，扱えるデータ集合の量は実際には各ユーザの計算機環境や研究資金に依存して決まるので, 事前に規定するのは難しい. そこで今回は，代表データ集合として適切かどうかを表すスコアを個々のデータに付与する方法を採用する.これにより, 実際に利用したいユーザの環境に応じて，そのスコアの順番に従って上位のデータを取得することで，代表データ集合を利用者が比較的自由に取得できる仕組みとする。

## 4 実験

本稿では, 従来通り大規模なデータを使って学習した通常の事前学習済みニューラル言語モデルと，代表データ集合を使って学習したニューラル言語モデルの性能を比較し, 本研究で用いた代表データ集合の選出方法が有効か検証することを目的に実験を実施する．以降，簡単のため， 3 節の方法で得られる代表データ集合をRepSet と表記する。

## 4.1 ベースラインニューラル言語モデル

本実験では，ベースとなるニューラル言語モデルとして Text-to-text Transfer-Transformer (T5)[3] を用いた. ニューラル言語モデルの性能は, モデルサイズにより大きく変わることが知られている. 本実験で

タ), Base ( $2250 \mathrm{M}$ パラメタ), Large ( $\approx 800 \mathrm{M}$ パラメタ), $\mathrm{XL}(\sim 3 \mathrm{~B}$ パラメタ)の 4 モデルを用いた. モデルパラメタや学習時のハイパーパラメタの設定は, 基本的に上記文献およびサイトで配布されている設定に従う.

## 4.2 学習用/評価用データセット

本実験で用いるデータセットは 2 種類ある。一つは，ニューラル言語モデルの学習用データである生テキストの集合であり，もう一つは，言語モデルの性能評価に用いるべンチマークデータである.

表 $1 \mathrm{C} 4$ データ，および，代表データ集合 (RepSet) に関する統計量. \#docs: 文書数, \#words: 単語数（トークン区切り未使用), ratio: C4 (default) に対する filesizeでの比率.

まず，ニューラル言語モデルの学習用データとして, Colossal Clean Crawled Corpus (C4) データ $[3]^{4}$ ) を用いた. また，ニューラル言語モデルの評価用ベンチマークデータとしては, GLUEデータセット [15]を用いた. 本実験の全てのデータは Tensorflow Datasets (tfds) から直接呼び出して利用した.

ここで注意点として，本実験の評価は全て開発用データの結果である. 本実験では，データの傾向を調査することが目的であり，設定を変えて多数の実験を実施することになる.このような場合には，評価用データを用いるのは不適切と考えられるため5)，開発用データにて評価するのは妥当と考えられる。

## 4.3 実験で用いる設定

RepSetを得るには，式 1 に示した特化型ニューラル言語モデル $M_{I}$ と汎用ニューラル言語モデル $M_{N}$ が必要となる. 本実験では，それぞれの目的に合った学習データを用意することで 2 種類のニューラル言語モデルを区別して構築する。まず，汎用言語モデル $\mu_{N}$ の学習には標準的な $\mathrm{C} 4$ データを用いた. 次に, 特化型ニューラル言語モデル $M_{I}$ の学習用には，C4 の部分集合として事前に定義されている $4 /$ realnewslike と 4 //webtextlike を選択した. 更に，これらのデータに文献 [10] に紹介されている重複削除 (deduplication) の処理を適用した.これらのデータ集合から学習した $M_{I}$ および $M_{N}$ を用いて式 1 により C4 データ内の各事例のスコア付け，および，ランキングを実施した.

次に RepSet として，4つのサイズの違う集合 RpeSet-1, 2, 3, 4 を用意した. 表 1 に，C4 の全体のデータサイズ，および，作成した RepSet の規模に関する統計量を示す.更に，RepSet と同じデータ量

図 1 データ選択基準 RepSet と RANDOM の違いによる平均 GLUE スコアの比較. 図中のプロット点は左から RpeSet-1, RpeSet-2, RpeSet-3, RpeSet-4, C4 (default) $の$ 值.

図 2 モデルサイズの違いによる平均 GLUE スコアの比較. 図中のプロット点は左から RpeSet-1, RpeSet-2, RpeSet-3, RpeSet-4, C4 (default) の值.

をランダムに抽出したデータ集合（以下，このデー 夕集合をRANDOM と呼ぶ）を用意した。

RepSet または RANDOM を使い事前学習済みニュー ラル言語モデルとして T5をそれぞれ学習した. その後, GLUE の学習データを全て統合し一括でファインチューニングした6) 最終的に得られたファインチューニング済みモデルを GLUE ベンチマークデー タを用いて比較することで，間接的に RepSet の有効性を検証する。

## 4.4 実験結果および検証

図 1 に, データ選択基準 RepSet と RANDOM の違いによる平均 GLUE スコア（縦軸）とデータ量（横軸：対数スケール）の関係および比較を示す. モデルサイズとしては Small と Base の結果である. 次に，図 2 にモデルサイズ Small, Base, Large, XL に対する RepSet の結果をプロットした.

6）タスク毎にファインチューニングしタスク毎の特化モデルを構築するのではなく, 全タスクの評価に一つのモデルを使用する設定である.本実験においては，基本的な性質としてデータ量は多ければ多いほど性能は安定的に高くなるという傾向が見られた。同様に，モデルサイズに関しても，モデルサイズが大きくなればなるほど性能が高くなった (Small $<$ Base $<$ Large $<\mathrm{XL}$ ). これらの結果は直感やこれまでの多くの研究成果と同じ傾向の結果と言える。

次に，データを選択する際にRepSetを使うことで RANDOMよりも良い結果が得られることがわかった. つまり，少ないデータ量の設定でも RepSet が効果的なデータを選択できていることを示唆している.例えば，RepSetを用いることで，データ量（ファイルサイズ）を 21 分の 1 程度までなら Small から XL まで全てのモデルサイズで性能を維持できるという結果になった. このことから，T5 の論文と同等の実験をしようと思った際に， 21 分の 1，あるいは， Base であれば 47 分の 1 程度のデータ量でも同様の実験ができることが期待できる．ただし，モデルサイズが大きくなると，データ選択でデータ量を減らした際に，性能の劣化が早く訪れることが観測されたので注意が必要である (例: XL の RepSet-3 と 4).

RANDOM によりデータ量を削減する場合に，事前の予測ほど性能の低下は大きくなかった，これは，元データに冗長性があることが想定される。 よって，㔯長性を排除する方法論を組み合わせることで，更に性能向上できる可能性が考えられる.

## 5 おわりに

本稿では，大規模な学習データから代表データ集合を選択しニューラル言語モデルを学習した際に，元の学習データ全てで学習したニューラル言語モデルと同等な性能を達成できるか, という研究課題の検証をおこなった. 本稿の実験では，尤度差に基づくランキングにより獲得した代表データ集合は，元データの 21 分の 1 程度のデータ量でも GLUE の平均性能の観点で同等の性能が得られることを示した. また，ランダム選択の場合は，データ量を減らした場合に顕著に性能が低下することも示した. これらの結果から, 少ない計算リソースと研究資金しかない研究組織においても最先端の事前学習済み言語モデルの研究をやりやすくする，という本研究の最終目的の実現可能性を示した. 代表データ集合を利用することで，事前学習済み言語モデルを改善する研究が更に推進することを期待する。

## 謝辞

本研究に関して Google 合同会社澤井裕一郎氏にアドバイスを頂きました. 感謝いたします.

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep Contextualized Word Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Textto-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pretraining for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[7] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language Models, 2020.

[8] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B. Brown, Prafulla Dhariwal, Scott Gray, Chris Hallacy, Benjamin Mann, Alec Radford, Aditya Ramesh, Nick Ryder, Daniel M. Ziegler, John Schulman, Dario Amodei, and Sam McCandlish. Scaling Laws for Autoregressive Generative Modeling, 2020.

[9] Peter Izsak, Moshe Berchansky, and Omer Levy. How to Train BERT with an Academic Budget. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10644-10652, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan
Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating Training Data Makes Language Models Better, 2021.

[11]

[12] Timothy Nguyen, Roman Novak, Lechao Xiao, and Jaehoon Lee. Dataset Distillation with Infinitely Wide Convolutional Networks, 2021.

[13] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In Proceedings of the ACL 2010 Conference Short Papers, pp. 220-224, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[14] Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, 2021.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# Iterative Back-translation は対訳語彙を獲得できるか?

谷川琢磨秋葉友良塚田元
豊橋技術科学大学
}

\{tanigawa.takuma.fu, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp
## 概要

ニューラル機械翻訳におけるデータ拡張手法として, Iterative Back-translation (IBT) が知られている. IBT は，翻訳対象言語対の 2 つの単言語コーパスを相互に逆翻訳とモデルの更新を繰り返し行うことで，疑似対訳データと翻訳モデルの質を向上させる手法である.IBT は効果的な手法であることが知られているが，その知識獲得の過程は十分に解明されていない. 本研究では, IBT を用いたドメイン適応を対象に，単言語コーパスからどのような過程でターゲットドメインの対訳語彙を獲得しているかについて調査を行った. その結果，反復を繰り返すごとに対訳語彙を獲得していき，最終的には獲得可能な 6 割以上の対訳語彙が獲得できていることが示された.

## 1 はじめに

近年のニューラル機械翻訳（NMT）における有効的なデータ拡張手法として, Iterative Backtranslation(IBT)[1][2] が知られている. IBT は，翻訳対象言語対の 2 つの単言語コーパスを相互に逆翻訳とモデルの更新を繰り返し行うことで，疑似対訳データと翻訳モデルの質を向上させる手法である.

IBT は効果的なデータ拡張手法であることが実験的に示されている一方，その原理については十分に明らかになっているとは言えない. 特に，互いに対応関係のない 2 言語の単言語コーパスから，実際に翻訳に関する知識が獲得されるかどうか，詳細に調べた研究は存在しない. そこで本研究では，IBTを用いたドメイン適応の問題設定を対象に，単言語コーパスからドメイン固有の対訳語彙が獲得されるかどうかを調査することで，IBT の知識獲得の過程を明らかにする。その際，対訳語彙を 2 つの単言語コーパスから獲得するには，少なくとも対訳となる単語対それぞれが各単言語コーパスに存在する必要があると考えられるため, 理想的な設定として単語対が必ず含まれることが保証されるコンパラブルコーパスを用いた実験も行った．加えて，翻訳モデルの処理単位が対訳語彙の獲得に与える影響を調査するために，サブワード単位および単語単位の翻訳モデルで比較を行った。

## 2 Iterative Back-translation(IBT)

Iterative Back-translation(IBT) に基づくドメイン適応手法の手順を説明する．ここで，Xと $\mathrm{Y}$ はそれぞれの言語を示し，言語 $\mathrm{X}$ から $\mathrm{Y}$ の翻訳を X-Y，Y からXへの翻訳を Y-X と記す。

いて, Model ${ }_{X-Y} 0$ と Model $_{\mathrm{Y}-\mathrm{X} 0}$ を学習する.
2. $\mathrm{i}$ を 0 に初期化して以下を反復する.

2.1ターゲットドメインの単言語コーパス $\mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ を Model $_{\mathrm{Y}-\mathrm{X}}$ により翻訳し，疑似対訳コー パス ( $\left.\mathrm{C}_{\mathrm{X}}^{\text {in }}, \mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}\right)$ を作成する. 疑似対訳コー パスと（ $\mathrm{C}_{\mathrm{X}}^{\text {out }}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}$ )を結合した学習データを用いて， Model ${ }_{X-Y}$ から Fine-tuning を行い $\operatorname{Model}_{X-Y}(i+1)$ を学習する.

2.2ターゲットドメインの単言語コーパス $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$ を Model ${ }_{X-Y} \mathrm{i}$ にり翻訳し，疑似対訳コー パス（ $\mathrm{C}_{\mathrm{Y}}^{\text {in }}, \mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$ )を作成する. 疑似対訳コー

を用いて， Model $\mathrm{Y}_{\mathrm{Y}-\mathrm{X}}$ から Fine-tuning を行い Model $_{Y-X}(i+1)$ を学習する.

$2.3 \mathrm{i} \leftarrow \mathrm{i}+1$

## 3 調査手法

ターゲットドメインの知識獲得の過程を確認するために，本実験では対訳語彙の獲得を調査した.言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の対訳語彙獲得を調査するために行った手順は以下のとおりである.

1. 言語 $\mathrm{X}$ のソースドメインの学習データ (対訳コーパス) に存在する単語集合 $\mathrm{O}_{\mathrm{X}}$ とターゲットドメインの学習データ (単言語コーパス) に存

図 1 Iterative Back-translation の手順

在する単語集合 $\mathrm{I}_{\mathrm{X}}$ をそれぞれ求め，ターゲットドメインの学習データにのみ存在する単語集合 $\mathrm{D}_{\mathrm{X}}=\mathrm{I}_{\mathrm{X}}-\mathrm{O}_{\mathrm{X}}$ を特定する. 同様に言語 $\mathrm{Y}$ の $\mathrm{D}_{\mathrm{Y}}=\mathrm{I}_{\mathrm{Y}}-\mathrm{O}_{\mathrm{Y}}$ も求める.

2. Moses[3] の単語アライメントツールを用いて, テストデータにおける言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の単語アライメントを求める ${ }^{11}$ ．テストデータ中でアライメントされた単語対 $\left(w_{X}, w_{Y}\right)$ について，両言語の単語がともに $\mathrm{D}_{\mathrm{X}} ， \mathrm{D}_{\mathrm{Y}}$ に含まれているもの $\mathrm{T}=\left.\{\left(\mathrm{w}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}}\right) \mid \mathrm{w}_{\mathrm{X}} \in \mathrm{D}_{\mathrm{X}} \wedge \mathrm{w}_{\mathrm{Y}} \in \mathrm{D}_{\mathrm{Y}}\right.\}$ を獲得目標の対訳語彙とする。

3. 調査対象の翻訳モデルによってテストデータの翻訳を行い， $\mathrm{T}$ の対訳語彙の入力側の単語 $\mathrm{w}_{\mathrm{X}}$ それぞれに対して，対応する単語 $\mathrm{w}_{\mathrm{Y}}$ が翻訳結果に出力されていれば，その対訳単語対 $\left(\mathrm{w}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}}\right)$ が獲得できているとみなす.

翻訳モデルごとに対訳語彙の獲得を比較するために，テストデータの対訳語彙 $\mathrm{T}$ に含まれる入力単語延べ数に対する対訳語を獲得できた割合を対訳語彙獲得率と定義し, 本研究の評価指標とした。

## 4 実験

IBT によってドメイン適応を行い，翻訳モデルの翻訳結果からターゲットドメインの対訳語彙獲得を確認することにより，ドメイン知識の獲得を調査する。また，コーパスの前処理や単言語コーパスの違

1）単語アライメントの精度を向上させるため，ドメイン適応実験で単言語コーパスとして利用するものも含め、利用できる対訳コーパスを全て用いて EM 学習を行った。
いによって対訳語彙の獲得にどの程度影響を与えるのか調査する.

## 4.1 データセット

ソースドメインの対訳コーパスには，対訳 440,288 文からなる Wikipedia 日英京都関連文書対訳コーパス (KFTT)を用いた. ターゲットドメインの単言語コーパスには，英語と日本語の対訳コーパスである Asian Scientific Paper Excerpt Corpus (ASPEC)[4] の対訳データの全文 100 万文を 50 万文ずつ分割して，両言語に前半 50 万文を単言語コーパスとして使用したコンパラブルなもの (以降，この単言語コーパス対を CP と表記) と，英語の前半 50 万文と日本語の後半 50 万文をそれぞれ使用した非コンパラブルなもの (以降，NCP と表記) について調査した。 $\mathbf{C P}$ は各言語の単言語コーパスに，同じコンテキストで対訳語が出現する理想的な条件，NCP は必ずしも同じコンテキストで対訳語が出現するとは限らない現実的な条件，に相当する。テストデータと開発デー タには ASPEC 指定のものを用いた。

コーパスの前処理については，処理単位をサブワードとした場合と単語の場合の 2 通りを実験した. 処理単位をサブワードとする場合は，すべてのテキストデータに対して NFKC 正規化を行い，さらに英語データに対しては Moses[3] のトークナイザによる形態素解析と truecaserによる小文字化を行った. そして，両言語を Sentence Piece [5] を用いてサブワード単位の分割を行った。ボキャブラリサイズは 16,000 に設定した。処理単位を単語とする場合は，同様に NFKC 正規化を行った後，日本語デー タには MeCab[6] を用いた形態素解析，英語データに対しては Moses のトークナイザによる形態素解析と truecaserによる小文字化を行った. truecaser と Sentence Piece のモデルの学習には，ソースドメインの対訳コーパスとターゲットドメインの単言語コー パスの両方を用いた。

調査対象の対訳語彙を求める際の単語アライメン卜作成には，ASPEC コーパスに NFKC 正規化，形態素解析，全英単語の小文字化の前処理を行った．英語の形態素解析には Moses のトークナイザを，日本語には MeCabを使用した。その後，Mosesを用いた単語アライメントを作成するために，どちらかの言語で 40 単語を超える文を含む文ぺアの削除を行った. EM 学習には，ターゲットドメインの利用できる全ての対訳データを用いて単語アライメントを作
表 1 調査対象対訳語彙の統計

成し, 調査対象のテストデータの単語アライメントだけを実験に利用した. 文ぺア削除後のテストデー タのサイズは 1,557 文対であった.

## 4.2 実験方法

3 章の手順に従って対訳語彙の特定を行った. まず，KFTT 対訳コーパスに出現する単語集合 $\mathrm{O}_{\mathrm{En}}, \mathrm{O}_{\mathrm{Ja}}$, ASPEC 単言語コーパスに出現する単語集合 $\mathrm{I}_{\mathrm{En}}, \mathrm{I}_{\mathrm{Ja}}$ ，からターゲットドメインの ASPEC 単言語コーパスにのみ存在する単語 $\mathrm{D}_{\mathrm{En}}, \mathrm{D}_{\mathrm{Ja}}$ を求めた. その後，テストデータ間の単語アライメントを作成して，作成したアライメントと $\mathrm{D}_{\mathrm{En}} ， \mathrm{D}_{\mathrm{Ja}}$ を用いて調査対象の対訳語彙 $\mathrm{T}$ を特定した。

翻訳モデルの学習は 2 章で記述した IBT の手順に従った。まず，ソースドメイン対訳コーパス KFTT から翻訳モデル Model0を学習し，ターゲットドメイン単言語コーパスである ASPEC Model0を用いて翻訳して疑似対訳コーパスを作成した。次に， KFTT の対訳コーパスと ASPEC の疑似対訳コーパスを連結した学習データを用いて Model0を fine-tuning して翻訳モデル Model1を得た. その後, 再び単言語コーパスを Model1を用いて翻訳して疑似対訳コーパスを作成した. 以降もこのような手順を双方向かつ反復的に行うことでモデルの学習を行った.

次に，学習した各種モデルを用いてテストデータを翻訳した。翻訳モデルの処理単位をサブワードとした場合は，翻訳結果のサブワード列をデトークナイズした後, 日本語は MeCabによる形態素解析を行い，単語列に変換した. 得られた単語列に対して，3章の手順に従って翻訳結果に対訳語彙が出力されているか確認を行った.

## 4.3 実験条件

ニューラル機械翻訳システムには OpenNMT[7] を用いた. モデルには Transformer を使用し, 最適化アルゴリズムには Adam を用いて学習率を 2 とした. 学習ステップは Model0 では 30000 ステップ,以降の Model では 5,000 ステップずつ学習を行い続け，開発データに対する accuracy が 3 回連続で向上

図 2 英日方向の対訳語彙獲得率

図 3 英日方向の BLEU

しない場合に終了し，もっとも高かった accuracy のモデルを選択した. 処理単位を単語とする場合は， ボキャブラリサイズ 50,000 に加えて，調査対象の対訳語彙の単語をすべてボキャブラリに追加した. これは，単語単位の翻訳の場合，そもそもボキャブラリに含まれない単語を出力することはできないため，語彙獲得不可能となってしまうからである.翻訳のボキャブラリには含まれているという条件の下で，対訳語彙獲得を調査した. また，単語単位の翻訳モデルでは，翻訳時に未知語を入力側のもっともらしい単語にそのまま置き換える OpenNMT の replace_unkを使用した. モデルの翻訳精度の評価には BLEUを用いた.

## 4.4 実験結果

表 1 に調查対象の対訳語彙に関する統計を示す.英日と日英方向の翻訳実験それぞれについて，単言語コーパス対がコンパラブルである場合 $(\mathbf{C P})$ と非コンパラブルである場合 $(\mathbf{N C P})$ ，翻訳単位をサブワードとした場合 (subword) と単語とした場合 (word), の組み合わせで $2 \times 2=4$ 通りの実験を行った. 図 2 と図 3 に，英日方向の対訳語彙獲得率と翻訳性能の結果を，それぞれ示す.また図 4 と図 5 に，日英方向の対訳語彙獲得率と翻訳性能の結果

図 4 日英方向の対訳語彙獲得率

図 5 日英方向の BLEU

を，それぞれ示す. 各グラフの横軸は，IBT の反復回数を示し, Model0がソースドメイン対訳コーパスだけで学習した場合, Model1 が一度だけターゲットドメインの単言語コーパスを逆翻訳した場合 [8], Model2 以降が IBT に相当する.

実験結果から，どの翻訳方向と実験状況の場合でも，IBT の反復を繰り返すことで対訳語彙獲得率が徐々に上昇するとともに翻訳性能 (BLEU) も向上していることがわかる. 理想的な条件である $\mathbf{C P}+$ subword において，対訳語彙獲得率は英日方向で約 $67 \%$, 日英方向で $61 \%$ となり, 獲得可能な 6 割以上の対訳語彙が獲得できた。現実的な条件である NCP+subword においても，英日方向で約 $63 \%$, 日英方向で $59 \%$ と 6 割前後の対訳語彙が獲得されていた.この結果から, IBT は対訳語彙の獲得が可能で, その性質が翻訳性能の向上に寄与していると考えられる. また，両言語で対訳語が同じコンテキストで出現するとは限らない現実的な条件である NCP でさえ対訳獲得獲得はそれほど低下しなかったことから，IBT は使用する単言語コーパス対に依存せずロバストに語彙獲得できることが示された.

処理単位がサブワードである場合と単語の場合を比較すると， subword は word よりも高い対訳語彙獲得率を達成した。これにより, 対訳語彙獲得に表 2 実際に獲得できた対訳語彙の例

は処理単位をサブワードとすることの有効性が示された. 実際，Model0，すなわちソースドメインの対訳コーパスのみで学習した場合，ターゲットドメインの対訳は獲得できないはずであるが，それでも subword の場合は少量の対訳語彙が獲得できている.これは，サブワードを使用するだけで音訳的な対訳語の獲得 (例えば、albumin とアルブミン、UHV と UHV、など) ができているためである.しかしながら，単語単位であってもIBT の反復によって 4 割程度の対訳語彙獲得が達成できていることから，サブワードの利用が対訳語彙獲得の必要条件ではないことを示している.

NCP+subword の設定で，実際に獲得できた対訳語彙の例を表 2 に示す. 科学技術論文ドメインである ASPECから，trivial ではない対訳語が多数獲得できていることがわかる. また，IBT の繰り返しによる翻訳結果の変化の例を付録の表 3 に示す.

## 5 結論

本研究では，IBT のターゲットドメインの知識の獲得過程を，対訳語彙の獲得を確認することで調査を行った. 結果として, IBTの反復を繰り返すごとに対訳語彙を獲得していき，最終的にターゲットドメインの獲得可能な対訳語彙の 6 割以上を獲得したことを確認した. 同様に BLEU も向上していることから，IBTではドメイン内コーパスの対訳語彙を獲得することによって，翻訳性能の向上に寄与していることが明らかになった。 また，IBT は利用する単言語コーパスがコンパラブルかそうでないかに関わらず，単言語コーパスのみから対訳語彙の単語同士の関係を学習できていること，翻訳の処理単位にサブワードを用いることで対訳語彙獲得率を向上させること，がわかった.

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$

の助成を受けた。

## 参考文献

[1] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative Back-Translation for Neural Machine Translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[2] 森田知熙, 秋葉友良, 塚田元. Fine-Tuninng と混成的な逆翻訳サンプリングに基づくNMT の双方向反復的教師なし適応の改善. 言語処理学会第 27 回年次大会発表論文集,pp.1669-1673, 2021.

[3] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[4] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC' 16), pp. 2204-2208, 2016.

[5] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018

[6] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis, In Proceedings of the Conference on Emprical Methods in Natural Language Processing, pp.230237, 2004.

[7] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation. In Proceedings of ACL 2017, System Demonstrations, pp 67-72, 2017.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch, Improving Neural Machine Translation Models with Monolingual Data, In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.86-96, 2016.

## A 付録

表 3 対訳語彙獲得の例