# Fine-Tuninng と混成的な逆翻訳サンプリングに基づく NMT の双方向反復的教師なし適応の改善

森田 知熙
morita.tomohiro.al@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba.tomoyoshi.tk@tut.jp tsukada.hajime.hl@tut.jp

## 1 はじめに

機械翻訳においては，学習に使用する対訳コーパスの量と質が最終的な翻訳精度に直結する。しかしながら，対訳コーパスは単言語コーパスに比べて収集，構築が困難である．そのため，豊富な単言語コーパスを活用し，ドメイン内での翻訳精度を向上させるドメイン適応の研究が盛んに行われている.

中でも，Sennrich ら [1] は単言語コーパスを利用した半教師あり学習手法として単言語コーパスを逆翻訳して疑似対訳コーパスを生成し，翻訳モデルを学習することで翻訳精度の向上を達成した.

さらに Hoang ら [2], Zhang[3] らはこの手法を双方向に繰り返し行う，つまり疑似対訳コーパスの生成と翻訳モデルの学習を 2 つの言語間で交互に繰り返すことでさらなる翻訳精度の向上を達成している.この手法では，疑似対訳コーパスにより翻訳精度が改善された翻訳モデルにより更に質の高い疑似対訳コーパスを生成できるため，これを繰り返すことで翻訳精度を大きく改善することができる。また，森田ら [4] 藤澤ら [5], Jin ら [6] はこれらの手法のドメイン適応での有効性を評価している。

本論文では，単言語コーパスを利用した繰り返しの半教師あり学習によるドメイン適応手法において，さらに fine-tuning により，以前の翻訳モデルから再学習する方法を提案する。また，繰り返し学習の際，疑似対訳コーパスの単調化を防ぐため，beam search による逆翻訳文と random sampling による逆翻訳文を組み合わせることで疑似対訳コーパスの質を維持しつつ多様性を増加させる逆翻訳手法を提案する。

科学技術論文ドメインから特許ドメインへの適応について英日翻訳，日英翻訳の実験を行った結果， fine-tuning を行わない既存の繰り返し学習手法に対して，英日方向で+2.59 BLEU が向上した. さらに， random sampling と beam searchにより生成した疑似対訳コーパスを併用することで，最終的な BLEU 值はそれぞれ英日方向で 40.58 , 日英方向で 38.22 となり，完全な対訳コーパスで教師あり学習を行った Oracle モデルの BLEU 値 $(41.95,40.04)$ に迫る翻訳精度を達成した。

## 2 関連研究

ニューラル機械翻訳におけるドメイン適応手法は，主にターゲットドメインに対訳コーパスがあることを前提とした教師あり学習手法と，単言語コー パスを利用する半教師あり学習手法を用いたものに大別され，本論文は後者に該当する。

対訳コーパスに比べ収集，構築が容易な半教師あり学習は様々な手法が提案されている. Gülçehre ら [7] はターゲット側の単言語コーパスから学習した言語モデルを利用する方法を提案している. Cehng ら [8] はオートエンコーダを用いて単言語コーパスと対訳コーパスを組み合わせて学習する方法を提案している. Zhang ら [3] も同様にオートエンコーダを用いて翻訳と文の並べ替えを同時に学習するマルチタスク学習手法を提案している。これらの手法は単言語コーパスを用いるために翻訳システムの変更が必要となる.

一方で，翻訳モデルの大規模な変更を必要としない半教師あり学習手法も多く提案されている. Currey ら [9] はターゲット側の文をそのままソー ス側にコピーして入力する方法を提案している. Sennrich ら [1] は少量の対訳コーパスから学習したターゲット側の翻訳モデルで単言語コーパスを逆翻訳し，疑似対訳コーパスとして利用する方法を提案している。今村ら [10][11][12] は，Sennrich らの手法を拡張し，逆翻訳の際に random sampling を用いることで，疑似ソース文に多様性を持たせることで翻訳品質が向上することを報告している. Graça ら

[13] は，今村ら [10][11]の提案を踏まえ，N-ベストサンプリングにより探索空間を制限することで高品質な疑似対訳コーパスのみを生成する方法を提案している.

Zhang ら [3] や Hoang ら [2] は Sennrich らの手法を拡張し，ターゲット側だけでなくソース側の翻訳モデルも同様の手順で性能を改善することで，双方向の翻訳モデルの性能を改善する. さらに二つの性能が改善されたモデルで単言語コーパスをもう一度逆翻訳し，疑似対訳コーパスの質を向上させることができる。これを繰り返し，二つの言語間で双方向に疑似対訳コーパスの生成と翻訳モデルの更新を同時に繰り返し行うことにより翻訳精度のさらなる改善を達成している. また, Jin ら [6] や藤澤ら [5], 森田ら [4] はこれらの手法のドメイン適応での実験を行っており，その有効性を評価している。これらの手法では, 各繰り返しで直前のモデルで生成した疑似対訳コーパスを用いて一から次の翻訳モデルを学習している.

## 3 提案法

本論文で提案する手法は，Zhang ら [3]，Hoang ら [2], Jin ら [6], 森田ら [4] や藤澤ら [5] の双方向反復的教師なし適応手法をもとに，fine-tuning を取り入れたものである.

従来の双方向反復的教師なし適応手法 [4] では,同時に両方向の翻訳モデルの性能を改善するが，実際には両方向の翻訳モデルは交差する関係にあり，独立した二つの系列として交わることはない.

そのため，二つの系列どうしで翻訳精度に差が生じ，また，優れた系列側の知識をもう一つの系列の性能改善に活かせないという問題があった. 藤澤ら [5] は異なる系列の疑似対訳コーパスをもう一つの系列の疑似対訳コーパスと結合することで翻訳精度を改善できることを報告しているが，学習データが増大するために, 繰り返し学習全体の時間の増大を避けることができない.

本論文で提案する手法は，翻訳モデルを学習する際，一からモデルを学習するのではなく一つ前のモデルから fine-tuning することで異なる二つの系列の疑似対訳コーパスの知識を学習することができる. また，学習データのサイズは従来手法 [4] と変わらないため, 繰り返し学習全体の時間コストも増加しないという利点がある.

源言語を $\mathrm{X}$ ，目的言語を $\mathrm{Y}$ とし，Xから $\mathrm{Y} へ$ の翻訳を X-Y，YからXへの翻訳を $\mathrm{Y}-\mathrm{X}$ とす. 提案法の手順は以下のとおりである。（図 1)

1 ドメイン外対訳コーパス $\left(D_{X}^{\text {out }}, D_{Y}^{\text {out }}\right)$ から両方向の翻訳モデル $\left(\right.$ Model $_{X-Y} 0$, Model $\left._{Y-X} 0\right)$ を学習する。

2 以下の手順で $\operatorname{Model}_{X-Y}(i)$ を更新する.

2.1 Model $_{Y-X} i$ で単言語コーパス $D_{Y}^{i n}$ を翻訳し，疑似対訳コーパス $\left(D_{X}^{i n^{\prime}}, D_{Y}^{i n}\right)$ を得る.

2.2 疑似対訳コーパス $\left(D_{X}^{i n^{\prime}}, D_{Y}^{i n}\right)$ と対訳コー パス $\left(D_{X}^{\text {out }}, D_{Y}^{\text {out }}\right)$ を混合し, $\operatorname{Model}_{X-Y}(i)$ から fine-tuning を行い $\operatorname{Model}_{X-Y}(i+1)$ を得る.

3 以下の手順で Model $_{Y-X} i$ を更新する.

3.1 Model $_{X-Y} i$ で単言語コーパス $D_{X}^{i n}$ を翻訳し，疑似対訳コーパス $D_{Y}^{i n}{ }^{\prime}, D_{X}^{i n}$ を得る.

3.2 疑似対訳コーパス $\left(D_{Y}^{i n^{\prime}}, D_{X}^{i n}\right)$ と対訳コー パス $\left(D_{Y}^{\text {out }}, D_{X}^{\text {out }}\right)$ を混合し, $\operatorname{Model}_{Y-X} i$ から fine-tuning を行い $\operatorname{Mode}_{Y-X}(i+1)$ を得る.

$4 \mathrm{i} \leftarrow \mathrm{i}+1$ としてステップ 2 に戻る.

また，今村ら [12] は，逆翻訳による半教師あり学習手法において， random sampling により疑似原文を複数生成することで翻訳精度が向上することを指摘しているが，学習データが増大するために，学習時間が増加するという欠点がある。さらに, Edunov ら [14] は，初期対訳コーパスサイズが小さい場合，逆翻訳器の翻訳精度が低いために, beam search 以外の逆翻訳手法は逆効果になることを報告している.

そこで，疑似対訳コーパスを生成する際に，半分を beam search，もう半分を random sampling により逆翻訳し，これらを混合する Combining Sampling を提案する. この手法は, 逆翻訳器の性能が低い場合でも，ノイズが小さい beam search による翻訳文が混在するため疑似対訳コーパスの質の低下を防ぎつつ多様性の増加を期待できる。 さらに，学習データサイズが増加しないため, 繰り返し学習においてもデメリットなしで使用できる.

なお，学習データの質の偏りを防ぐため，逆翻訳の際に 1 行ごとに交互にサンプリング方法を切り替え，また上記の手順で翻訳モデルの更新を行うたびに単言語コーパスの偶数行と奇数行を入れ替える.

## 4 実験

in domain

Parallel corpus

図 1 fine-tuning を導入した双方向反復的教師なし適応手法の流れ

## 4.1 データセット

ドメイン外の対訳コーパスとして Asian Scientific Paper Excerpt Corpus(ASPEC)[15]を，ドメイン内の単言語コーパスとして NTCIR8-PATENT を使用した.

ASPEC コーパスには訓練データが約 300 万文対するが，この内，先頭から 100 万文対をドメイン内対訳コーパスとして使用した。

PATENT コーパスは約 318 万文対の訓練データの内，英語と日本語の単言語コーパスが対訳にならないように，先頭の 10 万文対を除いたものを半分に分割し, 先頭の 154 万文を英語の単言語コーパス,後ろの 154 万文を日本語の単言語コーパスとして使用した. 事前の処理として，両コーパスのすべてのデータを NFKC 正規化し，英語側のコーパスは Moses[16] に付属するトークナイザーでトークナイズしたあと, Moses[16] の truecaser で大文字小文字の表記の統一を行った. また, 学習前の事前処理として SentencePiece[17] により各データをサブワード化した. SentencePiece のモデルの学習には，ドメイン外対訳コーパスとドメイン内単言語コーパスを結合したものを用いた.

## 4.2 実験方法

ドメイン外対訳コーパスである ASPECコーパスを使用し，英日，日英方向の翻訳モデル (Model0)を学習する. 次に, 学習した日英翻訳モデルで, ドメイン内単言語コーパスである NTCIR8-PATENTコー
パスを逆翻訳し疑似対訳コーパスを作成する。この対訳コーパスと ASPECコーパスを混合し，新たに英日方向の翻訳システムを学習する．英語の単言語コーパスに対しても同様の手順で疑似対訳コー パスを生成し，新たに日英翻訳モデルを学習する。 これを Model1 とし，以降翻訳システムを学習するごとに Mode12, Model3, ...ModelN とする. ただし, Model2 以降は，翻訳システムを学習する際に，一つ前の同方向のモデルから fine-tuning を行う. Model2 の英日翻訳システムは, Model1 の英日翻訳システムから fine-tuning し，日英方向の翻訳モデルは Model1 の日英翻訳モデルから fine-tuning する. Model3 の翻訳システムも同様に Model 2 の翻訳システムから fine-tuning し，以降これを繰り返す。

ベースラインとして，fine-tuningを行わない通常の繰り返し学習を行ったモデルと性能を比較する。 また，逆翻訳の方法による疑似対訳コーパスの質の違いも調べるため，以下の 5 つのモデルで性能の比較を行う。

Oracle NTCIRコーパス約 300 万文を完全な対訳コーパスとして APSEC コーパスと結合し通常の教師あり学習を行う。

Baseline fine-tuningを行わず，通常の繰り返し学習を行う [4]. beam searchにより逆翻訳を行う。

Best Sampling 通常の beam searchにより逆翻訳を行う.

Random Sampling 尤度の高い文ではなく，モデルの事後確率による random sampling により文を
生成し逆翻訳を行う.

Combining Sampling 上記の二つの方法を組み合わせて疑似対訳コーパスを作成する. 英日方向では，単言語コーパスの偶数行を random sampling, 奇数行を beam searchにより逆翻訳し，日英方向では奇数行を random sampling, 偶数行を beam searchにより逆翻訳する。ただし，翻訳システムの更新が Model1, Model2, ...ModelN と進むごとに偶数行と奇数行を入れ替える.

## 4.3 実験条件

翻訳システムとして, OpenNMT-py[18] の Transformerを使用した. エンコーダ，デコーダともに 6 層とし，隠れ層の次元を 512 とした。最適化には Adam を使用した. サブワードの分割サイズは $16 \mathrm{~K}$

学習ステップは, ASPECコーパスのみから学習を行う初期モデルは 10000 ステップ, 以降の ASPEC コーパスと PATENTコーパスから学習を行うモデルは 25000 ステップとした. また, 初期モデルでは 1000 ステップ，以降のモデルでは 2500 ステップごとに翻訳モデルを保存し，性能評価は BLEU[19] により行った. 英日翻訳では, テストセットの翻訳結果をデトークナイズしたあとに, Meacb により分かち書きし，評価を行った. 開発データでの BLEUが最も高いモデルをテストデータでの性能評価, 及び単言語コーパスの逆翻訳に用いた。

## 4.4 実験結果

各条件において Mode19 まで学習したなかで， NTCIRコーパスの開発データに対する BLEU 值が最も高い Model のテストデータに対する BLEUを表 1 に示す. 各条件でのすべてのモデルの BLEU 值は付録に示す. fine-tuning を行わないモデルに比べ, beam search による fine-tuning を行ったモデル (Fine tuning + Best Sampling)では英日方向では+2.59 BLEU値が向上したが，日英方向では-2.29 BLEU 値が下がった. しかし，二つの逆翻訳手法を組み合わせたモデル (Combining Sampling) は最も大きく BLEU 值が向上し, fine-tuning を行わないモデルに比べ英日方向で+4.67, 日英方向で $+2.78 \mathrm{BLEU}$ 值が向上した. random sampling で逆翻訳をしたモデルではベースラインよりも BLEU 值が低くなっている。これは， random sampling では逆翻訳文の質が低下し，ステップが進むごとに疑似対訳コーパスの質が低くなるためであると考えられる. 同様の結果は、先行研究 [14] において、初期モデルの性能が低い場合は random Sampling が有効でないことが示されている。一方で Combining Sampling で翻訳精度が大きく向上していることから， beam searchによる最もノイズの少ない翻訳文を混ぜることにより，初期モデルの精度が低い場合でも疑似対訳コーパスの質の低下を防ぐことができていると考えられる。

以上から，Combining Sampling は，従来の逆翻訳手法 [10][11][12][13] では翻訳精度の改善が困難であった初期モデルの精度が低い場合でも翻訳精度を改善することができると言える。

ただし，今回は beam search と Random sampling による逆翻訳文の割合を $1: 1$ として実験を行ったがより最適な混合割合がある可能性は残っている。

## 5 おわりに

本論文では，繰り返し学習によるドメイン適応手法で，fine-tuning を行うことでさらに翻訳精度が向上することを確認した。これは，異なる系列の翻訳モデルの知見を利用することができるためであると考えられ，手法は異なるが藤沢ら [5] の主張と一致する。また，疑似対訳コーパスを生成する際に beam search と random sampling による逆翻訳した文を混合することで翻訳精度がより大きく改善され，通常の教師あり学習を行った Oracle モデルに迫る翻訳精度を得た。

今後の研究としては beam search と random sampling による逆翻訳文の適切な混合割合を調査したい。また，ドメイン外対訳コーパスに対しても同様に逆翻訳文を混合することで翻訳精度が向上するかを実験したい.

謝辞本研究は JSPS 科研費 $19 \mathrm{~K} 11980$ および 18H01062 の助成を受けた.

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics. https://www.aclweb.org/anthology/P16-1009.

[2] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics. https: //www.aclweb.org/anthology/W18-2703.

[3] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018. https://ojs.aaai.org/ index.php/AAAI/article/view/11248.

[4] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討. 言語処理学会第 25 回年次大会発表論文集, pp. 1451-1454. Information Processing Society of Japan, March 2019. https://www.anlp.jp/ proceedings/annual_meeting/2019/pdf_dir/A6-1.pdf.

[5] 藤澤兼太, 秋葉友良, 塚田元. ニューラル機械翻訳における双方向反復的教師なし適応の改善. 言語処理学会第 26 回年次大会発表論文集, pp. 744-747. Association for Natural Language Processing, March 2020. https://www.anlp.jp/proceedings/ annual_meeting/2020/pdf_dir/P3-26.pdf.

[6] Di Jin, Z̄Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. A simple baseline to semi-supervised domain adaptation for machine translation, 2020. https://arxiv.org/abs/2001.08140.

[7] Çaglar Gülçehre, Orhan Firat, Kelvin Xu, Kyunghyun Cho, Loïc Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. On using monolingual corpora in neural machine translation. CoRR, Vol. abs/1503.03535, , 2015. http://arxiv. org/abs/1503.03535.

[8] Yong Cheng, Wei Xu, Zhongjun He, Wei He, Hua Wu, Maosong Sun, and Yang Liu. Semi-supervised learning for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1965-1974, Berlin, Germany, August 2016. Association for Computational Linguistics. https://www.aclweb.org/ anthology/P16-1185.

[9] Anna Currey, Antonio Valerio Miceli Barone, and Kenneth Heafield. Copied monolingual data improves low-resource neural machine translation. In Proceedings of the Second Conference on Machine Translation, pp. 148-156, Copenhagen, Denmark, September 2017. Association for Computational Linguistics. https://www.aclweb.org/anthology/W17-4715.

[10] 今村賢治, 藤田篤, 隅田英一郎. 単言語コーパスと逆翻訳を用いたエンコーダー・デコーダーの訓練法. 言語処理学会第 24 回年次大会発表論文集, pp. 29-32. Information Processing Society of Japan, March 2018. https://www.anlp.jp/ proceedings/annual_meeting/2018/pdf_dir/B1-3.pdf.

[11] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, Melbourne, Australia, July 2018. Association for Computational Linguistics. https://www.aclweb.org/anthology/W18-2707.

[12] 今村賢治, 藤田篤, 隅田英一郎. サンプリング生成に基づく複数逆翻訳を用いたニューラル機械翻訳. 人工知能学会論文誌, Vol. 35, No. 3, pp. A-JA9_19, 2020. https://www.jstage.jst.go.jp/article/tjsai/35/3/ 35 A-JA9/ article/-char/ja/.
[13] Miguel Graça, Yunsu Kim, Julian Schamper, Shahram Khadivi, and Hermann Ney. Generalizing back-translation in neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 45-52, Florence, Italy, August 2019. Association for Computational Linguistics. https://www.aclweb.org/anthology/W19-5205.

[14] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, October-November 2018. Association for Computational Linguistics. https://www. aclweb.org/anthology/D18-1045.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA). https: //www.aclweb.org/anthology/L16-1350.

[16] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics. https://www.aclweb.org/anthology/P07-2045.

[17] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics. https: //www.aclweb.org/anthology/D18-2012.

[18] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander M. Rush. Opennmt: Open-source toolkit for neural machine translation. CoRR, Vol. abs/1701.02810, , 2017. http: //arxiv.org/abs/1701.02810.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics. https://www.aclweb.org/anthology/P02-1040.

## A 付録

表 2 Fine tuning + Best Sampling の各繰り返しごとの BLEU 值 ASPEC NTCIR

表 3 Fine tuning + Random Sampling の各繰り返しごとの BLEU 值 ASPEC NTCIR

表 4 Fine tuning + Combining Sampling の各繰り返しごとの BLEU 値


# 日本語話し言葉書き言葉変換による 大学講義の日英翻訳の精度向上

中尾亮太 Chenhui Chu 黒橋禎夫
京都大学大学院情報学研究科
\{nakao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 1 はじめに

教育の国際化により、外国人留学生が増えてきている。これに伴い、日本語を勉強中の学生をサポー トする必要が増加している。この需要に応えるため、日本語講義の英訳システムを株式会社アドバンスド・メディアとの協力により開発した。本システムは講師が日本語で話す音声を、音声認識器によってテキストデータに変換し、おおよそ文単位となるように適当な位置で分割した日本語字幕と、それを機械翻訳した英語字幕を生徒のスマートフォンや講義室のスクリーンにリアルタイムで表示する。これにより講義内容の理解の補助と同時に日本語の習得を手助けできる。

本システムは講義音声を他言語字幕に翻訳する既存のシステム [1][2] と同様に、音声認識器や翻訳モデルをそれぞれ独立したコンポーネントとして構成する。音声認識器は株式会社アドバンスド・メディアが、文区切り器と日英翻訳モデルは我々が開発した。

ここで用いる機械翻訳モデルに関して、広く利用可能な日本語テキストの多くは書き言葉で記録されているため、このモデルも書き言葉のコーパスで事前訓練されている。一方、講義では話し言葉が用いられる。

そこで、本研究では日本語の話し言葉と書き言葉の違いに着目し、翻訳の前処理として書き言葉に自動変換することで翻訳精度を向上させる。そのために、大学講義の書き起こしとそれを書き言葉に変換したもの、対応する英文の 3 つ組からなるコーパスを作成した。次にそれを用いて話し言葉書き言葉変換モデルと日英翻訳モデルを学習させた。その結果として、話し言葉書き言葉変換が日英翻訳の精度を向上させることを示した（図 1)。

図 1 大学講義の日英翻訳システムの概要

## 2 関連研究

## 2.1 話し言葉と書き言葉の違い

話し言葉に特有の現象を、島津ら [3] は4つに大別している。
- 語彙的な現象：音韻的な縮約、口語的な助詞、敬語、感動詞
- 省略：格助詞・判定詞の省略

-冗長な表現：言い直し、繰り返し、言い換元、言い淀み

・文の概念がないことに関連する現象 : 名詞句・助詞句発話、格助詞での中止、ねじれ、倒置

他に話し言葉の性質について言及した研究として [4] があるが、作業者にとって過剰に広範かつ詳細であるため、本研究でのコーパス構築作業にあたっては [3]を参考にした。

これらのうち、どの現象を本研究の対象とするかは次章以降で議論する。

## 2.2 話し言葉の自動整形

日本語の話し言葉を自動で修正し読みやすくする事例として国会会議録を音声データから自動で書き起こす研究がある [5]。これを含めて音声認識分野の研究では書き起こしの忠実性や発話者の意図の尊

表 1 書き起こしの講義名と文数

重のため、言い直しや繰り返しはそのままテキストに残す場合が多く、㔯長な部分を修正するとしても文末の「ですね」などに限られる。本研究では、後続の翻訳タスクでの影響を重要視し、2.1 章に示した話し言葉と書き言葉の違いを可能な限り網羅するような修正を施す。

## 2.3 非流暢性の除去による翻訳精度向上

[6][7] のように、フィラーや冗長な表現を除去することで翻訳精度を向上させる研究は存在する。 しかし日本語では、それらだけでなく「ですんで」「こっから」のような音韻的な縮約による違いも多く見られる。本研究では非流暢性だけでなく語彙的な現象による翻訳精度への影響を調査する。また、整形されたテキストを字幕として提供することは日本語初学者が勉強するに当たり、辞書を引きやすくなる、標準的な日本語を覚えられるなどのメリットがある。

## 3 コーパスの構築

ここで示すデータは京都大学で 2019 年度に行われた 5 つの講義の書き起こしをもとに構築した。表 1 に講義名と分割後の文の数を示す。以後、この書

## 3.1 話し言葉書き言葉変換コーパスの構築

2.1 章で述べた話し言葉と書き言葉の違いを具体例とともに作業者に提示して変換を依頼した。ただし、それらの話し言葉と書き言葉違いのうち、「名詞句・助詞句発言」「ねじれ」はコンテキストへの依存性の高さや専門的な内容に言及している場合の判断の難しさから、作業者には変換を指示しなかった。また、講義で使われる敬語の多くは丁寧語であり、書き言葉でもよく見られる表現であるため、「敬語」に関する違いも変換対象としなかった。変換後のデータを以後 $\mathrm{J}_{\text {書 }}$ と表記する。 $\mathrm{J}_{\text {話 }}-\mathrm{J}^{\text {書 }}$ の訓練

表 2 構築したデータセットの文数

開発・テストセットの文数を表 2 に示す。

## 3.2 対訳コーパスの構築と統合

講義の書き起こし文から「こんにちは。」などの改めて翻訳する価値の低い文や内容の重複する文を除いて翻訳業者に依頼し、日英対訳コーパスを作成した。この英訳を以後 $\mathrm{E} と$ 表記する。これと話し言葉書き言葉変換コーパスを統合し、 $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ データセットを構築した。統合されたデータの文数は表 2 に示す。

## 4 話し言葉書き言葉変換

## 4.1 手法

LaserTagger[8] は、Sequence to Sequence の問題を Sequence Labeling として解くことが出来るモデルで、小さいデータセットでも良い性能を出せることと推論が高速であることが特徴である。話し言葉と書き言葉変換のタスクは、 2.1 章で示したように、多くは語彙の変換や削除で対応できるため、 LaserTagger が適用できる。ただし、倒置の修正は多くのトークンにまたがる変換であるため LaserTagger では解くことが難しいというデメリットがある。一方 Sequence to Sequence の手法はそのような制限はないため解ける可能性がある。

LaserTagger に必要となる事前訓練された BERT[9] モデルは、日本語 Wikipedia で訓練された $\mathrm{BERT}_{\text {large }}[10]$ を用いる。また、LaserTagger の Decoderには Transformer Decoder を使用した。

比較対象として、Sequence to Sequence のタスクで標準的なモデルである Transformer[11] を単言語コー パスで事前訓練できる手法である MASS[12]を用いて日本語話し言葉コーパス [13] で事前訓練したモデルを用いる。パラメータは MASS 著者による参考実装と同じものを用いた。

し、評価には SARI[14] という指標を用いる。文の単純化のタスクで提案された指標で、1-gram から

表 3 話し言葉書き言葉変換の評価

4-gram ごとの追加、維持の F1 スコアと削除の適合率の平均をスコアとする。

## 4.2 結果と考察

結果を表 3 に示す。Transformer+MASS に比べ、 LaserTagger が高い精度を持っていることがわかる。 これは話し言葉と書き言葉でほとんどのトークンが同一であるというタスクの特性によるところが大きい。

## 5 話し言葉書き言葉変換の日英翻訳 への影響

## 5.1 手法

日本語話し言葉書き言葉変換モデルには、 4 章で述べた LaserTaggerを用いる。

日英翻訳モデルには Transformer を用いる。科学技術振興機構 (JST) が ASPEC[15] と同様の手法で、科学技術論文の概要の和文と英文をアラインメントして構築した日英対訳コーパス（訓練データ数：約

スの $\mathrm{J}_{\text {話 }}-\mathrm{E}$ または $\mathrm{J}_{\text {書 }}-\mathrm{E}$ で fine tuning を行う。本実験では参考実装である tensor2tensor[16] に実装された transformer_big モデルを利用する。2,000 ステップごとに開発データの翻訳を行って BLEU スコアを算出し、10 回連続で精度向上が見られなかったときに学習を中断する early stopping を行う。ただし fine tuning 時は 200 ステップごとに算出する。

この実験では表 2 の $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}$ のデータ全体は使わず、 $\mathrm{J}_{\text {話 }} \mathrm{J}_{\text {書 }}-\mathrm{E}$ の対応がついている部分のみを用

Transformer は $\mathrm{J}_{\text {書 }}-\mathrm{E}$ のペアで fine tuning を行う。これによって話し言葉を自動で書き言葉に変換した後に日英翻訳を行うことができる。比較対象として、 $\mathrm{J}_{\text {話 }}-\mathrm{E}$ を学習させた Transformer に $\mathrm{J}_{\text {話 }}$ のテストデータを入力する場合と、 $\mathrm{J}_{\text {書 }}-\mathrm{E}$ を学習させた Transformer に $\mathrm{J}_{\text {書 }}$ のテストデータを入力する場合を考える。前者は話し言葉書き言葉変換による精度の変化を定量化するのに使い、後者は話し言葉書き言葉変換による精度向上の上限の指標とする。

最終的な評価指標には sacrebleu[17] による BLEU

表 4 話し言葉書き言葉変換による翻訳精度への影響スコアを使用する。

## 5.2 結果と考察

以後、LaserTaggerによる出力を LT と表記し、*-E はそれぞれ対応する日英翻訳モデルからの出力を表すこととする。

結果を表 4 に示す。話し言葉書き言葉変換により BLEU スコアが向上しており、 $\mathrm{J}_{\text {書 }}-\mathrm{E}$ と同等のスコアを示した。

実際の変換結果を表 5 に示す。

る例である。LaserTagger は繰り返しを適切に削除することで簡潔な英訳の生成に成功している。

表 5 （中上）では音韻的な縮約と話し言葉に特有の終助詞「ね」を含む例で、LaserTagger は修正に成功している。また、修正後のテキストの英訳は「できる」の意味が訳出されておりより適切なものとなっている。しかし、このような語彙的な現象の修正による英訳の改善は珍しいことがわかった。例えば音韻的な縮約「んです」を含む 48 例の英訳を調査したところ、過半数は意味のある変化が見られず、改善した例と悪化した例の量の差も大きくなかった。

表 5 （中下）は倒置を含んでおり、LaserTagger は修正することができずに単に「、ちょうど」を削除している。また、「なんです」という音韻的な縮約を「なのです」に修正しているが、この例では $\mathrm{J}_{\mathbf{z}}-\mathrm{E}$ に問題は見られない。

表 5 （下）は LaserTagger が変換に失敗した影響で英訳にも問題が伝播している例である。「次の次」 は繰り返しにはなっているが削除すべき部分ではなく、これを削除してしまったために英訳の情報が欠けている。また、英訳には影響は見られないものの 「であれば」が不自然に挿入されていたり「は」だけが残っていたりと文法的におかしくなっている。

## 6 おわりに

本研究では日本語の話し言葉と書き言葉の違いに着目し、両者の違いを表すデータセットを構築した

 \\

話し言葉書き言葉変換による修正を期待する箇所、緑字は逆に修正すべきでない箇所、青字は修正ミスを表す。)

上で、話し言葉から書き言葉に自動で変換する手法を用いて日英翻訳の精度が向上することを示した。

今後の課題として、本研究では取り扱わなかったが、音声認識に誤りがある場合はそれがそのまま英訳されてしまう問題がある。今回のように翻訳の前処理としてそれらを修正したり、翻訳モデルを誤りに対してロバストにすることで対処するか、音声から直接翻訳テキストを生成する手法によりこれを解決できる可能性がある。

また、データ量の不足から関西弁などの方言を標準語に修正することはできていない。翻訳コーパスとして方言を含んだ日本語テキストは非常に少なく翻訳モデルの精度に影響があると考えられ、また外国人留学生をサポートするという目的においても標準語での字幕を提供することには価値がある。

謝辞本研究は、科研費\#19K20343 の助成を受けたものである。また、京都大学における講義翻訳プロジェクトを立ち上げられた大嶋正裕工学部長、協力いただいた株式会社アドバンスド・メディアに感謝致します。

## 参考文献

[1] Markus Müller, Thai Son Nguyen, Jan Niehues, Eunah Cho, Bastian Krüger, Thanh-Le Ha, Kevin Kilgour, Matthias Sperber, Mohammed Mediani, Sebastian Stüker, and Alex Waibel. Lecture translator - speech translation framework for simultaneous lecture translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 82-86, San Diego, California, June 2016. Association for Computational Linguistics.

[2] 須藤克仁, 林輝昭, 西村優汰, 中村哲. 授業アーカイブの翻訳字幕自動作成システムの試作. 研究報告自然言語処理 (NL), Vol. 2019, No. 15, pp. 1-4, 2019.

[3] 島津明, 中野幹生, 堂坂浩二, 川森雅仁. 話し言葉対話の計算モデル. コロナ社, 第 1 版, 22014.

[4] 杉戸清樹, 前川喜久雄, 小磯花絵, 西川賢哉, 間淵洋子, 小椋秀樹, 山口昌也, 丸山岳彦, 高梨克也, 内元清貴, 藤本雅子, 菊池英明, 五十嵐陽介,塚原渉. 日本語話し言葉コーパスの構築法, 3 2006. https://pj.ninjal.ac.jp/corpus_center/ csj/k-report-f/CSJ_rep.pdf.

[5] 秋田祐哉, 三村正人, 河原達也. 会議録作成支援のための国会審議の音声認識システム. 電子情報通信学会論文誌, Vol. 93-D, No. 9, pp. 1736-1744, 2010.

[6] Wen Wang, Gokhan Tur, Jing Zheng, and Necip Fazil Ayan. Automatic disfluency removal for improving spoken language translation. In 2010 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5214-5217, 2010.

[7] Elizabeth Salesky, Susanne Burger, Jan Niehues, and Alex Waibel. Towards fluent translations from disfluent speech. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 921-926, 2018.

[8] Eric Malmi, Sebastian Krause, Sascha Rothe, Daniil Mirylenka, and Aliaksei Severyn. Encode, tag, realize: High-precision text editing. In EMNLP-IJCNLP, 2019.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[10] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208, 32019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[12] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning, pp. 5926-5936, 2019.

[13] 前川喜久雄. 『日本語話し言葉コーパス』の概要. 日本語科学, Vol. 15, pp. 111-133, apr 2004.

[14] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415,
2016.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[16] Ashish Vaswani, Samy Bengio, Eugene Brevdo, Francois Chollet, Aidan N. Gomez, Stephan Gouws, Llion Jones, Lukasz Kaiser, Nal Kalchbrenner, Niki Parmar, Ryan Sepassi, Noam Shazeer, and Jakob Uszkoreit. Tensor2tensor for neural machine translation. CoRR, Vol. abs/1803.07416, , 2018.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, oct 2018. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 単語埋め込みを用いた正則化による言語モデルの追加事前学習

西田光甫西田京介吉田仙
日本電信電話株式会社NTTメディアインテリジェンス研究所
\{ kosuke.nishida.ap, kyosuke.nishida.rx, sen.yoshida.tu \}@hco.ntt.co.jp

## 1 はじめに

膨大なコーパスと計算機を利用して学習する事前学習済み言語モデルが，自然言語処理タスクで高い性能を発揮している [1].これらのモデルは，広範な話題を含むコーパスで言語モデルの事前学習をすることで，言わば「テキストの読み方の理解」を獲得する.

一方で，機械学習の一部の問題にはドメイン依存性が存在することが知られている. 事前学習済み言語モデルもドメイン依存性を持ち，一般的なドメインで事前学習を行なったモデルは，目的ドメインでの膨大な事前学習を追加することでさらに高い性能を発揮する [2]. また, Task-Adaptive PreTraining (TAPT) と呼ばれる手法では，目的タスクの教師デー タに含まれるテキストを用いた事前学習を追加するだけで精度が向上することを示した [3]. 目的タスクのテキストを用いた事前学習は，通常の事前学習に比べて遥かに短い時間で実行可能である。これらの手法は，事前学習を追加することでドメイン適応が可能であることを示している.

本研究では，単語埋め込みを利用したドメイン適応に注目する。背景には，事前学習済み言語モデルは既にテキストの読み方を理解しているため，ドメインにおける単語の意味を理解することでドメイン適応が可能なのではないか，という発想がある.

我々は単語埋め込みを用いた正則化による言語モデルの追加事前学習を含む新たな Fine-Tuning 手法を提案する. 提案手法ではまず，単語埋め込み学習手法である fastText [4]を用いて目的タスクのテキストから目的ドメインの単語埋め込みを獲得する。次に, 言語モデルの追加事前学習に並行して目的ドメインの単語埋め込みに言語モデルの単語埋め込みを近づける学習を行う. 最後に通常の Fine-Tuning を行う. 提案手法は, TAPT 同様に少ないデータ数での事前学習を追加する手法であるため, 短い計算時間で学習できる. また, 単語埋め込みは事前学習済み言語モデルに比べて浅いモデルから学習できるため, 少リソースでの学習に適していると考えられる. fastTextを利用することで，言語モデルが採用しているサブワードレベルの語彙に対しても単語埋め込みを得ることができる。本稿では，医療ドメインと Wikipedia ドメインの機械読解タスク（BioASQ [5] およびSQuAD 1.1 [6]）において，提案手法が通常の Fine-Tuning 及び TAPTを利用した Fine-Tuning を上回る精度を達成することを示す.

## 2 準備

## 2.1 事前学習済み言語モデル

本研究では事前学習済み言語モデルの単語埋め込みに注目する. 語彙を $V_{\mathrm{LM}}$ とし, モデルに入力されるトークン系列を $X \in V_{\mathrm{LM}}^{l}$ とする. ただし $l$ はトークン系列長である。事前学習済み言語モデルの埋め込み層は, パラメータとして単語埋め込み行列 $E \in \mathbb{R}^{V_{\mathrm{LM}} \times d_{\mathrm{LM}}}$ を持つ. ただし， $d_{\mathrm{LM}}$ は埋め込み次元である.このとき, $i$ 番目の入力トークン $x_{i}$ の単語埋め込みは $E_{x_{i}}$ である.

事前学習済み言語モデルの語彙 $V_{\mathrm{LM}}$ は，例えば BERTでは, WordPiece [7]によって作成された 30,000 語である. WordPiece ではトークンの区切りとしてサブワードを採用しており，例えば 'tokenizing’ は 'token'と '\#\#izing'に分割される. WordPiece では全サブワードが 1 文字の初期状態から尤度が高くなるようにサブワードを連結していき，規定の語彙数になるまで語彙を増やす。

## 2.2 fastText

fastText は，サブワードの情報を用いて単語埋め込みを計算する手法である [4]. fastText の skipgram [8] では, 単語 $x_{i}$ から周辺語 $x_{j} \quad\left(j \in C_{i}\right)$ を予測する夕スクを解くことで単語埋め込みを学習する（ $C_{i}$ は任意に窓幅を指定可能な周辺インデックスの集合).具体的には，位置 $i$ の単語について，学習コーパス

における全ての周辺語を正例とし，語彙 $V_{\mathrm{FT}}$ からランダムにサンプリングした負例 $\mathcal{N}_{i}$ を用いて，下記の目的関数の最大化を行う:

$
\sum_{i}\left.\{\sum_{j \in C_{i}} \log \left(1+e^{-s\left(x_{i}, x_{j}\right)}\right)+\sum_{x \in \mathcal{N}_{i}} \log \left(1+e^{s\left(x_{i}, x\right)}\right)\right.\} .
$

すなわち，正例に対しては $x_{i}, x_{j}$ のスコア $s\left(x_{i}, x_{j}\right)$ が大きく，負例に対してはスコアが低くなるような学習を行う。

fastText はスコア関数 $s$ をモデリングするために単語 $v \in V_{\mathrm{FT}}$ に対して，v の部分文字列（サブワー ド）の集合 $S_{v}$ を考慮する特徴を持つ. 入力側の単語 $x_{i}$ と出力側の単語 $x_{j}$ のスコアは

$
s\left(x_{i}, x_{j}\right)=\sum_{w \in S_{x_{i}}} W_{\mathrm{in}, w}^{\top} W_{\text {out }, x_{j}}
$

と表される. ここで， $W_{\text {in }} \in \mathbb{R}^{N \times d_{\mathrm{FT}}}$ は入力側の単語埋め込み, $W_{\text {out }} \in \mathbb{R}^{V_{\mathrm{FT}} \times d_{\mathrm{FT}}}$ は出力側の単語埋め込みである。また， $d_{\mathrm{FT}}$ は埋め込み次元， $N$ はサブワー ドの語彙数に関わる任意の大きな数である。なお fastText の実装では，考慮する部分文字列の数には制限を設けず，指定した長さ（デフォルト值は 3 文字以上 6 文字以内）の部分文字列を全て考慮する。部分文字列 $w$ は $N$ 以下（デフォルト値は $2,000,000$ ) のインデックスにハッシュ化されることで埋め込み $W_{\text {in }, w}$ を得る.

以上の学習手法により，fastText はサブワードを考慮した単語埋め込み $W_{\text {in }}$ を得る。推論時は， $\sum_{w \in S_{v}} W_{\mathrm{in}, w}$ を単語 $v$ の埋め込みとする. fastText はサブワードの情報を利用した学習によって，他の手法よりも少ないデータ数で単語類似度を学習することが報告されている [4].

## 3 提案手法

提案手法は，(1) fastText の追加学習，(2) 事前学習済み言語モデルの追加事前学習, (3) Fine-Tuning 93 段階の手順を行う.

fastText の追加学習公開されている fastText ${ }^{1}$ の埋め込み $W_{\text {in }}$ を初期値として，目的のタスクの訓練データをコーパスとした fastText の学習を行い，新たな fastText の埋め込みを得る。得られた fastText $の$埋め込みから，事前学習済み言語モデルの語彙 $V_{\mathrm{LM}}$ の埋め込み $F \in \mathbb{R}^{V_{\mathrm{LM}} \times d_{\mathrm{FT}}}$ を推論する. 他の単語埋め込み手法と異なり fastText はサブワードの埋め込みを保持しているため，サブワード分割を採用してい

1) https://fasttext.cc/表 1 各データセットの統計値. 訓練・評価データは下流タスクのデータとしてのサンプル数である. 訓練テキス卜は追加事前学習のデータとしての単語数である。

る事前学習済み言語モデルの語彙の埋め込み行列を得ることができる2).

事前学習済み言語モデルの追加事前学習モデルに入力されるトークン系列を $X \in V_{\mathrm{LM}}^{l}$ とする. 追加事前学習時は, 言語モデルの損失関数 $L_{\mathrm{LM}}(X)$ に $L^{2}$ ノルム正則化を加えた学習を行う。つまり，損失関数は正則化の対象トークンの集合を $R(X)$ として

$
L_{\mathrm{LM}}(X)+\frac{1}{|R(X)|} \sum_{x_{i} \in R(X)}\left.\|f\left(E_{x_{i}}\right)-F_{x_{i}}\right.\|_{2}^{2}
$

である. 正則化の対象 $R(X)$ は，ランダムに選んだ全体の $50 \%$ のトークンから，ストップワードと fastText で考慮する最短部分文字列長を下回る長さのサブワードを除いたトークンである.

埋め込みの写像 $f$ は $d_{\mathrm{LM}}$ 次元ベクトルを $d_{\mathrm{FT}}$ 次元ベクトルに写す関数

$
f(z)=\mathrm{LN}\left(W_{f} z+b_{f}\right)
$

である. LN は Layer Normalization [9] である。 $W_{f} \in$ $\mathbb{R}^{d_{\mathrm{FT}} \times d_{\mathrm{LM}}}, b_{f} \in \mathbb{R}^{d_{\mathrm{FT}}}$ は学習可能なパラメータである.

目的関数は，第一項によって言語モデルの忘却を抑えつつ第二項によって単語埋め込みのドメイン適応を行うように設計されている．以上の学習を，目的のタスクの訓練データをコーパスとして行う.

Fine-Tuning Fine-Tuning では, 追加事前学習で得られたモデルを初期値として通常の Fine-Tuning を行う.

## 4 評価

## 4.1 データセット

提案手法を 2 種の機械読解データセットで評価した. 各データセットの統計値を表 1 に示す．実験設定を付録に示す.

SQuAD SQuAD1.1 は Wikipedia の 1 段落を参照して質問に回答するタスクである [6]. 予め 1 つの質問には 1 つの参照テキストが紐づけられている.

入力は質問と参照テキストを連結したトークン系列である. 回答は参照テキストに文字列として含まれているため，区間を抽出することで回答とする. 出力は回答の始点と終点のインデックスであり，言語モデルに 2 次元への線形変換層を追加して Fine-Tuning することで回答区間を訓練・予測する. 評価指標は完全一致（EM）と部分一致（F1）である.

BioASQ BioASQ5 は医療ドメインの質問応答データセットである [5]. 先行研究 [2] に従い，ファクトイド型の質問を SQuAD と同様の形式に前処理して評価した. 評価指標の Strict Accuracy (SACC), Lenient Accuracy (LACC), Mean Reciprocal Rank (MRR) はそれぞれトップ 1 の予測の正解率，トップ 100 の予測に正解が含まれる率, 正解の順位の逆数の平均である。訓練をランダムなシードで 5 回行い，それらの結果の平均を用いた. 本データセットは訓練データが少ないため，SQuADを使った Fine-Tuning の後に BioASQを使った Fine-Tuning を行う 2 段階の Fine-Tuning を行った [10].

## 4.2 比較手法

本稿では, 事前学習済み言語モデルとして, BERTbase-cased [1]，BioBERT [2]，RoBERTa-base [11] を用いた. BERT-base-cased モデルは English Wikipedia （25 億語）と BookCorpus [12]（8 億語）をコーパスとして事前学習している. BioBERT は BERT-basecased モデルを初期値として, 更に PubMed の概要と PMC の論文から成る計 180 億語のコーパスで事前学習したモデルである．RoBERTa は BERT-base-cased モデルよりも広範な話題を含む $160 \mathrm{~GB}$ のテキストから事前学習をしている。

これらの事前学習済み言語モデルに対して，(1) そのまま Fine-Tuning をする手法，(2)TAPT，つまり正則化項なしの追加事前学習の後 Fine-Tuning を行う手法，(3) 提案手法の 3 つの学習手法を比較した.

## 4.3 実験結果

## 提案手法は医療ドメインへの適応において有効 か？ BioASQ タスクの結果を表 2 に示す.

BERT-base-cased モデルは事前学習中に医療ドメインのテキストでの学習を行わない。そのため,医療ドメインへのドメイン適応における性能を BERT-base-cased モデルを用いて評価できる.

BERT-base-cased モデルでは, 提案手法によって表 2 BioASQ の開発データによる評価結果. 数字に付与した記号は，提案手法と TAPT の 5 回の結果について paired $t$-test を実施した結果を示す (*: $p<.05)$

SACC/LACC/MRR で 3.80/0.29/2.39 ポイントの精度向上が確認できた.これは，TAPT による精度向上 0.86/0.16/0.55 ポイントを大幅に上回る值である．追加事前学習がドメイン適応において効果的であることとともに，単語埋め込みの正則化によってドメインへの適応が更に進むことが考えられる.

また，各手法で学習されたモデルの単語埋め込みを $\mathrm{t}$-SNE で描画した結果を付録に示す．提案手法は訓練テキスト数としてはTAPT と同じであるにも関わらず，膨大な医療ドメインのコーパスで学習した BioBERT に近い単語埋め込みを学習していることが示唆されている。

提案手法は目的ドメインで事前学習した言語モデルにおいて有効か？ BioBERT モデルは潤沢な医療ドメインのテキストで事前学習をした言語モデルである. BioBERT からの追加事前学習では，TAPT で一部指標が僅かに向上するものの，全体として性能が大きく向上することはなかった。これは，目的タスクのテキストを使う追加事前学習によって学習できる知識を，BioBERT が既に保持しているためと考えられる。

[3] は，TAPT が目的ドメインに適応した言語モデルの性能を更に向上することを指摘している。この目的ドメインに適応した言語モデルとは, RoBERTa を初期値として，目的ドメインで収集したコーパスで追加事前学習を行なったモデルである. しかし， BioBERT では，彼らが用いたよりも大きな 180 億語のコーパスで事前学習を行なっている. ドメイン適応済みの言語モデルに対する目的タスクのテキストによる追加事前学習の効果の有無は，ドメイン適応時のコーパス量，目的タスクのテキスト数，モデルサイズなどの条件に依存していると考えられる。

提案手法は一般的なドメインのタスクに対しても有効か？SQuAD タスクの評価結果を表 3 に示す. SQuAD では, BERT-base-cased モデルからの追加事
表 3 SQuAD の開発データによる評価結果.

前学習を行う場合，TAPT と提案手法でともに精度の向上がなかった. これは, BioBERT からの追加事前学習が医療ドメインで効果がなかったことと同じ理由で説明できる.

RoBERTa モデルからの追加事前学習を行う場合,提案手法によって EM/F1 で 0.79/0.46 ポイントの精度向上が確認できた. これは，TAPT による精度向上 $0.25 / 0.05$ ポイントを上回る値であり，全比較手法の中で最高の精度である。

SQuAD は Wikipedia 記事に関する質問応答をするタスクである．BERT-base-cased は事前学習コーパスの多くが Wikipedia であるため，追加事前学習の効果がなかった. しかし，RoBERTa は広範な話題をカバーするために更に多くのコーパスから事前学習を行っている。そのため, Wikipedia が事前学習中に利用されているにも関わらず，追加の事前学習によって Wikipedia 単独に適応することが精度向上に繋がったと考えられる。

事前学習のデータ数を増やすことで事前学習済み言語モデルの性能は向上する傾向にあることが知られている $[13,14]$. 本実験は，多くのデータで事前学習した言語モデルに対して提案手法を適用することで，事前学習中に含まれるドメインのタスクであっても更に性能が向上することを示している.

提案手法は異なる言語モデルやサブワード分割法に対しても有効か？ BERT-base-cased モデルは WordPiece によってサブワード分割を行なっているが，RoBERTa は単語分割を行わずにバイトレベルでのサブワード分割を行う. 提案手法は表 2 では BERT-base-cased モデル，表 3 では RoBERTa モデルを用いてそれぞれ精度向上を確認しており，言語モデルやサブワード分割法に依存せずに効果があると考えられる. 主要なサブワード分割法には他に SentencePiece [15] があり，さらなる検討が望ましい.

追加事前学習で言語モデルと単語埋め込みはどのように学習が進むか？ BioASQタスクにおいて提

図 1 学習曲線. 左の軸は損失関数第一項，右の軸は損失関数第二項の値を示す.

案手法が BERT-base-cased モデルの追加事前学習を行なった際の学習曲線を図 1 に示す. 学習は単語埋め込みに関する第二項が先行する形で進むことが観察できる．また，言語モデルに関する第一項は推論時の減少が途中で止まり，以降は訓練データのみでの減少となる。一方，単語埋め込みに関しては訓練・推論時の乘離が起きずに学習が進む。

## 5 おわりに

本研究では目的タスクの教師データをコーパスとしたドメイン適応に取り組んだ。本研究の貢献を以下に示す。

本研究の独自性 fastTextを用いて目的ドメインにおける単語埋め込みを獲得し，単語埋め込みに関する $L^{2}$ ノルム正則化を加えた事前学習を Fine-Tuning 前に追加する新たな Fine-Tuning 手順を提案した. 提案手法は，言語モデルの忘却を抑えつつ言語モデルの単語埋め込みを目的ドメインにおける単語埋め込みに近づけることで，目的ドメインにおける単語の意味を獲得する効果を持つ.

本研究の重要性医療ドメインへのドメイン適応において，通常の Fine-Tuning 及び言語モデルの事前学習のみを追加する Fine-Tuning 手法に比べて提案手法が高い精度を示すことを確認した。また， Wikipedia ドメインにおいても広範な話題を含むコーパスで事前学習した RoBERTa モデルの性能を提案手法が向上させることを確認した.

近年，より多くのデータから学習したより多くのパラメータを持つ事前学習済み言語モデルの公開が続いている [16]. 本研究で提案した追加事前学習を含む新たな Fine-Tuning 手法は，そのような多くのデータで学習した言語モデルに対して，目的ドメインの知識を与える重要な手法であると考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT, pp. 4171-4186, 2019.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[3] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In $A C L$, pp. 8342-8360, July 2020.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Coтputational Linguistics, Vol. 5, pp. 135-146, 2017.

[5] George Tsatsaronis, Georgios Balikas, Prodromos Malakasiotis, Ioannis Partalas, Matthias Zschunke, Michael R Alvers, Dirk Weissenborn, Anastasia Krithara, Sergios Petridis, Dimitris Polychronopoulos, Yannis Almirantis, John Pavlopoulos, Nicolas Baskiotis, Patrick Gallinari, Thierry Artieres, Axel Ngonga, Norman Heino, Eric Gaussier, Liliana Barrio-Alvers, Michael Schroeder, Ion Androutsopoulos, and Georgios Paliouras. An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition. BMC Bioinformatics, Vol. 16, p. 138, 2015.

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. NIPS, Vol. 26, pp. 3111-3119, 2013.

[9] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[10] Georg Wiese, Dirk Weissenborn, and Mariana Neves. Neural domain adaptation for biomedical question answering. In CoNLL 2017, pp. 281-289, 2017.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[12] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like vi- sual explanations by watching movies and reading books. In $I C C V$, pp. 19-27, 2015.

[13] Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, and Michael Auli. Cloze-driven pretraining of selfattention networks. In EMNLP-IJCNLP, pp. 5360-5369, 2019.

[14] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In ICLR, 2019.

[15] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP: System Demonstrations, pp. 66-71, 2018.

[16] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro. Megatron$\mathrm{lm}$ : Training multi-billion parameter language models using gpu model parallelism. arXiv preprint arXiv:1909.08053, 2019.

[17] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[18] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In NIPS, pp. 8024-8035. 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In EMNLP: System Demonstrations, pp. 38-45, 2020.

[20] Steven Bird, Ewan Klein, and Edward Loper. Natural Language Processing with Python. O'Reilly Media, Inc., 2009.

[21] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

## A 付録

実験設定実験は NVIDIA GeForce GTX 1080Ti (11GB) 1 枚で行った. 最適化手法は Adam [17]を用いた. 実験で用いたハイパーパラメータを表 4 と表 5 に示す。実装は PyTorch [18] 及び Transformers [19] を，ストップワードは NLTK [20]を，単語ベースのトークナイザは spaCy [21]を用いた。

表 4 言語モデルの訓練に用いたハイパーパラメータ. スラッシュで区切られているのものはSQuAD/BioASQ の 1 段階目/BioASQ の 2 段階目である.

表 5 fastText の訓練に用いたハイパーパラメータ. 記載の変数以外はデフォルト値を用いた.

追加事前学習によって単語埋め込みは変化しているか？ 各モデルの単語埋め込みを t-SNE によって描画した結果を示す. 図 2 に BERT-base-cased モデル, 図 3 に BioASQ の追加事前学習を TAPT で行なったモデル, 図 4 に BioASQ の追加事前学習を提案手法で行なったモデル, 図 5 に BioBERT モデルの単語埋め込み層を示す. 描画の際は，BioASQ で頻出のサブワードから，ストップワード・長さが 3 以下のサブワードを除き，上位 1000 語で $\mathrm{t}$-SNE モデルを作成した後に上位 30 語を描画した。

図中では, 'cell', 'cells', 'gene', 'genes', 'protein' の 5 単語を赤文字で記している。これらの単語は医療ドメインに特有の物質名であるが，BERT-base-cased モデルと TAPT の学習結果では大きく離れた箇所に位置している. 一方, 提案手法と BioBERT モデルでは近い箇所に集まっている。提案手法は訓練データ数としては TAPT と同じであるにも関わらず，膨大な医療ドメインのコーパスで学習した BioBERT に近い単語埋め込みを学習していることが示唆されている.

図 2 BERT-base-cased の埋め込み層

図 3

TAPT の学習結果の埋め込み層

図 4

提案手法の学習結果の埋め込み層

図 5 BioBERT の埋め込み層


# 特徵マップによる説明の信頼性評価手法の定量的分析

$\dagger$ 東北大学 $¥$ 理化学研究所
${ }^{1}$ asazuma.yuya.r7@dc.tohoku.ac.jp ${ }^{2}$ kazuaki.hanawa@riken.jp ${ }^{3}$ inui@tohoku.ac.jp

## 1 はじめに

機械学習モデルの性能が日々向上している一方で，未だに多くのモデルは自身の動作について十分な説明を行うことができない。特に，医療分野においては判断結果に根拠を持つことが要求されているため，機械学習モデルの動作を説明するための手法が研究されている.

説明手法の優劣を議論するには説明の有効性を評価する必要がある. 最も単純な方法は人間の直観に基づく方法 (Plausibility) で，人手でアノテーションした特徴マップとの一致度を測る。

しかし，人間の直観に基づく手法のみでは不十分であることが指摘されており [1]，あくまで説明は判断根拠の明示を目的にしているため，機械の内部動作に基づいていることが要求される (Faithfulness). ゆえに，人間の直観に頼らない評価法も必要になる。

そのため，各研究において信頼性に則した説明手法の評価が行われている [2][3][4][5][6]. 多種多様な評価方法で説明手法の信頼性が主張されている一方で，それらの評価方法自体の関係性は十分に考慮されていない．また，データセットやモデルの特性から受ける影響に関しても分析されていない。 よって，同一の信頼性を議論しているつもりでもそれぞれ別種の性質を評価している可能性が存在する.

本研究では，既存の信頼性評価手法について定量的な評価を行う。問題の簡略化のために扱う説明の形式を特徵マップに限定し，以下の解明を目的に実験を行う。

・データセットの特性による評価結果の変化

・複数の評価手法における結果の一貫性・変化

最終的に，各評価手法がどの程度データセットの影響を受けるか分析し, 各手法に一貫する性質について考察を行った.

図 1 ある入力例に対する特徴マップの生成例

## 2 説明の生成手法

1 節で述べたように, 本研究では説明として特徴マップのみを扱う. 特徴マップとは, 出力要素に対する入力要素の重要度を求める手法である．ある感情分析タスクにおける特徴マップの例を図 1 に示す. 感情に関わる単語に強い重要度が与えられていることが確認できる.

本節では，これ以降，検証に使用する四つの特徴マップの生成手法について説明する。

## 2.1 Saliency Map

Saliency Map は入力に対する出力の勾配を求めるシンプルな手法である [7]. 勾配の逆伝搬によって容易に計算することができるため，ベースライン手法として扱われることが多い。

## 2.2 Input X Gradient

上述した Saliency Map を拡張した手法であり，勾配に入力特徴量を乗算する [8]. 単純な手法であるが，生成された特徴マップは入力特徴量を考慮することが可能になる.

## 2.3 Integrated Gradients

Integrated Gradeints は, 文献 [9] で考案された特徴マップ生成法である. 生成法が満たすべき公理として Sensitivity と Implementation Invariance を定義し， これらを満たす手法としてベースライン入力から入力例に対するモデルの勾配を積分することで，特徴
表 1 本研究で使用するデータセットの統計値

図 $2 \mathrm{LSTM}+$ Attention model $の$ 図解

マップの生成を行う.

## 2.4 Attention Weights

近年の NLP 界隈において広く普及した手法に Attention Mechanism が存在する [10]. 隠れ層の重み付けを行うため, Attention Weights は入力特徴の重要度に近しいものとして学習される. ゆえに, 一種の特徴マップとして扱うことができる [11].

## 3 実験条件

## 3.1 データセット

本稿ではテキスト分類タスクを分析の対象とする. コーパスとしてIMDB, SST, AG News, 20 News を使用する．ただし問題の単純化のためにすべてのコーパスを 2 值分類タスクに変換する．例として， 20 News は 20 值の分類問題であるため，9番と 10 番ラベルの 2 值分類問題として扱う.

表 1 に使用するデータセットの統計値を示す.この条件設定は文献 [4] に合わせたものである.

## 3.2 モデル

テキスト分類モデルとして LSTM に基づくモデルを使用する. Attention Weightsを取得する必要があるため，LSTM + Attention Layer を含むモデルを使用する．図 2 に使用したモデルを図解する。

上述のモデルについて，3.1 節のコーパスで訓練を行った. 訓練後のテストセットにおける Accuracy, F1 スコアを表 2 に示す.

図 3 本研究の実験手順の図解

## 3.3 評価手法

本研究では図 3 に示すように，説明手法の信頼性を評価する 3 つの手法について検証を行う．4，5， 6 節において，タスク・コーパスの違いにおける傾向の変化を評価する． 7 節において，手法横断的に分析を行う.

## 4 ERASER 法を用いた検証

特徴マップの信頼性評価手法として著名な研究に ERASER 法がある [3]. これは，特徵マップの降順に入力特徵を削除した際の出力の変化を観測する評価方法である. 同様の評価手法が，人間の主観的評価に依存しない評価として多くの研究に採用されている [6][12].

本実験で使用する ERASER 法は以下の手順で構成される.

1. 出力ラベルが変化するまで，対応する特徴マップの値が高い順に入力要素を MASK する

2. 削除率 $=$ MASK した要素数 / 入力要素数を計算

3. 全要素を MASK しても変化しなかった場合，削除率 $=1.0$ とする

特徴マップが入力要素の重要度を捉えていた場合，重要な入力特徵量から消去することになるため，早い段階で出力が変化すると考えられる．よって，多くの入力における削除率が低いほどその解釈性手法が優秀であると述べることができる.

## 4.1 実験

3 節で述べた実験設定において ERASER 法の検証を行う．データセット毎の傾向を確認するため，消去率の平均を求めたものを表 3 に示す.

図 4 弱学習器のモデル図解

データセット間で比較を行うと，同じ説明手法でも削除率の值が全く異なることが確認できる. 表 2 において精度の高い IMDB，AG News 間で比較すると大きな差が存在するため, 本来のタスクとしての難易度が無関係であることも確認できる.

一方で，多くのタスクにおいて Integrated Gradients, Input X Gradient が優秀であり, Saliency や Attention Weights は奮わない結果であることが確認できる。ゆえに，データセットを通して，解釈手法間の順位的な傾向は保たれていると考えることができる。

## 5 弱学習器による検証方法

S.Wiegreffe らは弱学習器を使用した Attention Weights の正当性検証を行っている [5]. 図 4 にモデルの概要を示す. 特徴マップを出力への重み付けとして使用し，LSTM 層を多層パーセプトロンに置換する. 特徴マップが重要度として適切な値になっていなければ精度が大きく下がると考えられるため，一種の信頼性の評価手法として用いる.

本来は Attention Weights のための手法であるが，本研究では一般的な特徴マップを生成する手法に拡張する. そのためにいくつかの実験条件を追加する.

・ 3.2 節のモデルから特徴マップを生成する

・モデルが予測したラベルに対して特徴マップを生成する (教師ラベルを使用しない)

・特徴マップのノルムを 1.0 に正規化する

・ベースライン手法として Uniform，Random を追加する
- Uniform: 特徵マップを均一として扱う
- Random: 特徴マップを毎回ランダムに生成する

## 5.1 実験

3 節で述べた実験設定において弱学習器を用いた検証を行う. それぞれ訓練した弱学習器において， テストセットにおける F1 score を求めたものを表 4 に示す.

実験結果より，データセットによって傾向が異なることが確認できる。IMDB・AG News では解釈手法間の差が微小な二方で, SST・20 News では大きな差が発生することが確認できた. 手法間の順位関係もデータセットによって大きく異なり, $\mathrm{IMDB} \cdot \mathrm{AG}$ News では Integrated Gradients，Input X Gradient が高い精度となるが，SST では Uniform が最も優秀になる一方で Input X Gradient の精度が低下してしまう。 よって，この手法はデータセットの特性に大きな影響を受けると考えられる。また，精度の変化も微小なものであることが多い.

一方で図 5 に示すように，IMDB における訓練時の Validation Loss の推移を観測すると手法間で収束の特性が大きく異なることが確認できる. Integrated Gradients・Input X Gradient が早期に収束する一方で，Saliency・Attention Weights は収束に時間が必要となる.

収束が早い要因として，重み付けの前後の線形層を十分に訓練しなくても精度が出せることが考えられる．現に，線形層を十分に訓練する必要のある Uniform は最も収束が遅い結果となる. 仮説止まりではあるものの，特徴マップがモデルの分類に有効な特徵量であるほど，収束が早くなる可能性が存在する．そのため，Loss の収束特性が意味を持つ可能性が十分に考えられる.

図 5 IMDB における訓練時の Validation Loss の推移

## 6 シャッフルを用いた検証方法

文献 [4] では Attention Weights の頑健性評価のため，シャッフルを用いた実験が行われた. Attention Weights が分類において有効な特徴量であれば， シャッフルによって出力が大きく乱れるため，モデルに対する特徴マップの信頼性を測ることが可能と考えられる。

本来は Attention Weights のための手法であるが，本研究では一般的な特徴マップを生成する手法に拡張する。実験は以下の手順で行う。

1. 弱学習器モデルを用いて入力 $\boldsymbol{x}$ ・特徴マップから出力ラベルの予測確率 $\boldsymbol{y}$ を求める

2. 重み付けに使用した特徴マップをランダムに入れ替える

3. 再度, 出力ラベルの予測確率 $\hat{\boldsymbol{y}}$ を求める

4. 出力ラベルの変化を Total Validation Distance (TVD) を用いて計算する

5. 2〜4を 100 回試行し，TVD の中央値を取る

TVD は以下の式で計算する。TVD は確率分布の距離尺度となるため, TVD が大きな值を取るほどシャッフルによって出力が乱れているとみなすことができる.

$
T V D(\boldsymbol{y}, \hat{\boldsymbol{y}})=\frac{1}{2} \sum_{i}\left|y_{i}-\hat{y}_{i}\right|
$

## 6.1 実験

それぞれの解釈手法・データセットについて実験を行い，TVD の平均値を計算した結果を表 5 に示す.

平均値の値の傾向は ERASER 法より安定するものの, 同一の評価手法でもデータセットによる値の変化はある程度確認できる。例として， $\mathrm{SST} ・ \mathrm{AG}$ News における Saliency の TVD は. 093 と非常に低い值となるが，IMDB では. 273 と大きい値となる。ゆえに，データセットを跨いだ値の比較検証は不可能表 5 データセット・解釈手法毎の TVD の平均値

であると言える.

各データセットにおける順位的な関係に注目すると，Input X Gradient が特に優秀であり，次点で Integrated Gradients が高いスコアとなる.この 2 手法が優秀である点は ERASER 法や弱学習器の収束特性で見られた傾向と一致する。

## 7 議論

多くの評価手法・データセットに共通して Integrated Gradients と Input X Gradient は高いスコアを記録しており，手法間の性能差は小さいものになる.また，Saliency は殆どの実験で他手法より劣る結果となる。由えに今回の実験設定では，特徴マップの生成手法ごとに一貫した順位的な性質が確認できる.

一方で，各評価手法が同一の性質を測定しているとは断言できない. ERASER 法/IMDB における Saliency $\cdot$ Attention Weights と Integrated Gradients $\cdot$ Input X Gradient には確たる差が存在するものの, シャッフル法 / IMDB では差が小さい. ゆえに，現状の研究成果では評価手法間に何らかの関連性が推測できるものの，同一の性質を測定していると断定することができない.

同一性を検証するためには，各評価手法がどのような性質を分析しているか調査する必要がある.今後の研究では, 評価手法を最大化するような特徴マップの性質を特定するなど，より定性的な検証を中心に行う予定である。

また, データセットよりも粒度の細かい単位での検証や，モデルのパラメータの考慮など，より多くの条件で実験できるよう改良する予定である.

## 参考文献

[1] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 41984205, Online, July 2020. Association for Computational Linguistics.

[2] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Good-
fellow, Moritz Hardt, and Been Kim. Sanity checks for saliency maps. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, $A d-$ vances in Neural Information Processing Systems, Vol. 31, pp. 9505-9515. Curran Associates, Inc., 2018.

[3] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 44434458, Online, July 2020. Association for Computational Linguistics.

[4] Sarthak Jain and Byron C. Wallace. Attention is not Explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3543-3556, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Sarah Wiegreffe and Yuval Pinter. Attention is not not explanation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 11-20, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Sofia Serrano and Noah A. Smith. Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 29312951, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. CoRR, Vol. abs/1312.6034, , 2013.

[8] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning important features through propagating activation differences. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 3145-3153, International Convention Centre, Sydney, Australia, 06-11 Aug 2017. PMLR.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 33193328, International Convention Centre, Sydney, Australia, 06-11 Aug 2017. PMLR.

[10] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate, 2014. cite arxiv:1409.0473Comment: Accepted at ICLR 2015 as oral presentation.

[11] Jiwei Li, Will Monroe, and Dan Jurafsky. Understanding neural networks through representation erasure. CoRR, Vol. abs/1612.08220, , 2016.

[12] Akash Kumar Mohankumar, Preksha Nema, Sharan Narasimhan, Mitesh M. Khapra, Balaji Vasan Srinivasan, and Balaraman Ravindran. Towards transparent and explainable attention models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4206-4216, Online, July 2020. Association for Computational Linguistics.


# 離散記号処理に対する近似的な微分構造の考察と 数量推論を要する文章読解問題への応用

吉川 将司 1,2
東北大学 1
yoshikawa@tohoku.ac.jp

## 1 はじめに

本稿では，離散記号処理モジュール $F$ を中間層として持つような深層学習モデルを構築し，全体を誤差逆伝搬法によって end-to-end に学習する方法を検討する。また，その応用例として電卓モジュール付き文章読解モデル（図 1）を実装し，実験を行う.

F は一般に Python インタープリタのようなプログラムを考える．しかし，当然ながら $F$ の微分則は不明であるし，また一般的にDNN の中間の活性化を離散值に落とせば勾配が 0 になってしまい，F より上流のモジュールを，最終タスクの損失に関する勾配によって学習させることができない. そこで，本稿では argmax 活性化に対する微分可能な緩和を行う Gumbel Softmax trick (§ 3.1)を一般化し，F に対する擬似的な Jacobi 行列を構築する方法を提案する.

記号推論を要する問題として，数量推論を要する文章読解 (DROP [1]) に取り組み，深層学習モデルに，F として簡単な二項四則演算プログラム（電卓と呼ぶ）を取り込むことを考える、数量推論は深層学習による自然言語処理では難題であり, 近年の巨大な言語モデルでも限られたパターンしか対応できないことが報告されている [2]. 本研究は，現状の言語モデルの延長ではこの問題は解決できないと考え，外部モジュールを組み込む方策を検討する。

## 2 問題設定

具体的なモデルの構造について本旨に関係する範囲で整理し，詳細は付録 $\mathrm{A}$ にまとめる.1) 文章と質問を $P, Q$ とし，対応する答え（正解ラベル）を $y^{\star}$,

1） 記法： $\boldsymbol{e}_{k}(k \in \mathbb{N})$ で $k$ 番目が 1 の適当な次元の one-hot ベクトルとする. 語彙 $\mathscr{V}$ は全順序集合とし $w \in \mathscr{V}$ に対し $\boldsymbol{e}_{\mathrm{w}}$ とも書く．また 1 はすべての要素が 1 のべクトルである. $n-1$次元単体は $\Delta^{n}=\left.\{\mu \in \mathbb{R}^{n} \mid \forall \mu_{i} \geq 0, \sum_{i=1}^{n} \mu_{i}=1\right.\}$ とし，タイプライター書体の $\operatorname{argmax}(\boldsymbol{x})$ は $\boldsymbol{x} \in \mathbb{R}^{n}$ 中の最大要素 $x_{i}$ について $\boldsymbol{e}_{i}$ を返す関数とする.これは一般的な演算子を使って $\operatorname{argmax}(\boldsymbol{x})=\arg \max _{\boldsymbol{\mu} \in \Delta^{n}} \boldsymbol{x}^{\top} \boldsymbol{\mu}$ と書ける. $\operatorname{argmax}$ に関する議論では $x_{i}$ の大きさが同率一位になることはないと仮定する.乾健太郎 ${ }^{1,2}$

理化学研究所 ${ }^{2}$

inui@ecei.tohoku.ac.jp

$\boldsymbol{P}$ : The commander recruited 802 Polish families in Spain. Q: Were there more Japanese The householder recruited 231 or Polish families in Span? Japanese families in Spain ..

図 1 電卓付き文章読解モデル. 詳細は本文参照.

モデルの予測を $y$ ，損失を $\mathscr{L}\left(y, y^{\star}\right)$ とする.これら変数の具体的な構造には立ち入らず， $\mathscr{L}$ は $y$ で微分できると仮定する（e.g., 確率分布間の KL 誤差）.

モデルベースの文章読解モデルとして GenBERT [3] を用い，それに対して電卓機能を追加する. パラメータ $\psi$ の関数として GenBERT $\psi$ は BERT [4] に基づき，“[CLS $Q$ [SEP] $P$ ” のサブワード列を入力とし，入力テキスト中のスパンを抽出するか，文字列を直接生成することによって問題を解く。電卓による拡張では, 別の BERT ゙゙ースのモデル BERT ${ }_{\phi}^{A R G}$ (項抽出器）に $P$ 中から問題を解くために有用そうな数量項を 2 つ抽出させ（図 1 の “802”, “231”)，電卓 $D$ により計算を行った結果の文字列 Z（ここでは引き算として “571 = D (802，231)”) を連結した“[CLS] $Q$ [SEP] $P$ [SEP] Z" を使って GenBERT $\psi$ に推論させる. BERT ${ }_{\phi}^{\mathrm{ARG}}$ の出力は $s \in \mathbb{R}^{K}$ ( $K$ は $P$ 中の数量項の組の数) であり，要素 $s_{i}$ は数量項の組に対するスコアである。電卓は $s_{i}$ の大きさに従って数量項の組をサンプリングし $Z$ を構築する. ここで， $Z$ は BERT

ベースの GenBERT $\psi$ に直接入力されるため文字列である必要はなく, BERT の入力層のサブワード語彙 V に対応した one-hot ベクトルを並べた行列常に含まれる数学記号

$F(\boldsymbol{s})$; 計算結果 (Lトークン) $A(\boldsymbol{s})$; 抽出結果

であればよく，以降 $Z$ をそのような行列とする．注意として，演算記号 “-”を使わず抽象的に “D” とまとる. これにより $\left[F_{+}(s) F_{-}(s) F_{\times}(s) \boldsymbol{e}_{=}, \ldots\right]$ のように式 1 の “=” の左に $F_{*}$ を並べることで簡単に演算を増やすことができる．実際に用いる演算は付録 A. 2 にまとめる。予測は以下のように整理される。

$
y=\operatorname{GenBERT}_{\psi}\left(P, Q, D\left(\mathrm{BERT}_{\phi}^{\mathrm{ARG}}(P, Q)+\boldsymbol{g}\right)\right)
$

ここで $\boldsymbol{g}$ は Gumbelノイズである (§3.1). BERT 等の言語モデルに $Z$ のようなヒントを与えた場合，推論性能が大きく向上することが報告されており $[5,6]$,本モデルが期待通りに動作すれば，文章読解問題を高い精度で解くことが期待できる。

問題項抽出器 BERT ${ }_{\phi}^{A R G}$ に問題を解くために有効な数量項を抽出させるために，そのパラメータ $\phi を ~$文章読解の損失 $\mathscr{L}\left(y, y^{\star}\right)$ を最小にするように推定したい. 勾配べースの学習法を用いるため， $\mathscr{L}$ の $\phi$ による勾配 $\nabla_{\phi} \mathscr{L}\left(y, y^{\star}\right)$ を計算したいが，それは

$
\nabla_{\phi} \mathscr{L}\left(y, y^{\star}\right)=\frac{\partial \mathrm{BERT}_{\phi}^{\mathrm{ARG}}}{\partial \phi} \frac{\partial D}{\partial \boldsymbol{s}} \frac{\partial \mathrm{GenBERT}_{\psi}}{\partial Z} \nabla_{y} \mathscr{L}\left(y, y^{\star}\right)
$

であり，式 1 から $\partial F / \partial \boldsymbol{s}$ と $\partial A / \partial \boldsymbol{s}$ を計算する必要がある. 後者については Gumbel-Softmax trick の簡単な応用で対処できるため詳細は付録 A. 2 に載せるにとどめるが，前者の $\partial F / \partial \boldsymbol{s} \in \mathbb{R}^{K \times L \times|\mathscr{V}|}$ をいかに近似推定すればよいか，が本研究が扱う問題である。本研究では，Sofmax を含む関数クラスの Jacobi 行列を分析し(§4), その結果に基づいて $\partial F / \partial \boldsymbol{s}$ の近似を人工的に設計する手法を提案する（§5).2)

## 3 関連研究

2） $Z_{i}$ を式 1 のように $i$ 番目の数量項の組に対する計算結果から作る行列とすれば， $F$ は $F^{\prime}(\boldsymbol{s})=\operatorname{argmax}(\boldsymbol{s})^{\top}\left[Z_{1}, \ldots, Z_{k}\right]^{\top}$ と書け，この argmaxで ST Gumbel-Softmax を使うという簡単な方法でも電卓の近似微分が実現できることに本稿執筆時に気づいた。しかし，これをナイーブに実装する場合 $Z_{i}$ を並べた巨大な行列を作る必要があり, 空間計算量的に問題である.提案法は（逆伝搬時はもう少し工夫が必要であるが）それを迂回できる可能性がある. また, $F^{\prime}$ の定式化の場合, 各 $Z_{i}$ に対する重み付けの比を学習することに相当するが，提案法の Jacobi 行列は（各時刻に $\mathscr{V}$ の要素を予測する） $s \mapsto Z$ の系列生成器の $\boldsymbol{s}$ に関する微分を想起させる形になっている. $F$ と $F^{\prime}$ の近似 Jacobi 行列の特性や，学習問題にどのような含意を持つのかは興味深い問題であり，今後詳細に調べたい。

## 3.1 Gumbel-Softmax trick

図1のような電卓つき文章読解モデルを作る場合，項抽出結果 $Z$ に対する $D(Z)$ が確率 1 で決まることに着目し, 潜在変数モデル $(P, Q$ への依存は略 $)$

$
P(y)=\mathbb{E}_{P_{\phi}(Z)}\left[P_{\psi}(y \mid D(Z))\right]
$

を検討することは尤もであり，近年検索べースの言語モデル [6] 等が成功を収めている．しかし，この方法では，モデル内に記号処理モジュールを増やすごとに潜在変数の組み合わせが爆発的に増えるため，確率の計算が困難になってしまう．特に，勾配ベースの手法で学習する際，一般的に限られた数の $Z_{i} \sim P_{\phi}(Z)$ により勾配を近似的に推定することになるが，REINFORCE アルゴリズム [7] のような不偏推定量の計算法が存在しながらも，分散が大きく学習が不安定なことが知られている. $D$ が恒等写像で，Z がカテゴリカル分布に従う場合のこの問題に対する安定した代替案である Gumbel-Softmax trick [8] では，サンプリング操作をノイズと $\operatorname{argmax}$関数評価に切り分け (reparameterization trick; $P(y)=$ $\left.\mathbb{E}_{\epsilon \sim P_{\epsilon}}\left[P_{\psi}\left(y \mid \operatorname{argmax}\left(f_{\phi}(\epsilon)\right)\right)\right]\right)$, 温度パラメータ $\tau>0$ を小さくした $\operatorname{softmax}(\boldsymbol{x} / \tau)=\left[e^{x_{i} / \tau} /\left(\sum_{j} e^{x_{j} / \tau}\right)\right]_{i}$ で argmax を近似する（微分可能な緩和）ことで end-toend 学習を行う. さらに，順伝搬時は argmax を計算し，逆伝搬時に softmax の Jacobi 行列 $\nabla$ softmax を使う Straight-Through (ST) Gumbel-Softmax という手法も提案されている. 本研究は $D$ として恒等写像から記号処理モジュールに一般化し，その場合における近似 Jacobi 行列を考えるものである。

softmax が argmax の近似であることは，特に前者が正則化 argmax [9, 10] の一種であることからわかる. 正則化 $\operatorname{argmax}$ はある正則化関数 $\Omega$ に関して，

$
\operatorname{argmax}_{\Omega}(\boldsymbol{x})=\arg \max _{\boldsymbol{\mu} \in \Delta^{n}} \boldsymbol{x}^{\top} \boldsymbol{\mu}-\Omega(\boldsymbol{\mu})
$

の形をした関数のクラスであり，softmax は $\Omega$ に負の Shannon エントロピー $\left(-H_{S}(\boldsymbol{\mu})=\sum_{i} \mu_{i} \log \mu_{i}\right)$ を選んだ場合に相当する。温度パラメータ $\tau$ をげることと $\operatorname{argmax}$ の関係は以下のように正則化の効果を落とすことに相当する。

$
\begin{aligned}
\operatorname{argmax}_{\Omega}(\boldsymbol{x} / \tau) & =\arg \max _{\boldsymbol{\mu} \in \Delta^{n}}(\boldsymbol{x} / \tau)^{\top} \boldsymbol{\mu}-\Omega(\boldsymbol{\mu}) \\
& =\arg \max _{\boldsymbol{\mu} \in \Delta^{n}} \boldsymbol{x}^{\top} \boldsymbol{\mu}-\tau \Omega(\boldsymbol{\mu}) \xrightarrow{\tau \rightarrow 0} \operatorname{argmax}(\boldsymbol{x})
\end{aligned}
$

上の関係は softmax に限らない一般の $\operatorname{argmax}_{\Omega}$ に成り立ち, 微分可能緩和として sparsemax [9] などの
他のインスタンスを使う方針もあり得る．§4 では，一般性のある正則化 argmax に対し分析を行う.

## 3.2 記号処理モジュールの微分

本研究と最も関連のある既存研究は Estimate and Replace 法 [11] である. この手法を電卓付き文章読解モデルに応用する場合，まず電卓の記号処理を模倣するネットワークを人工データ上で事前訓練し，文章読解モデルを訓練する場合には，この模倣ネットワークで電卓を置き換えて勾配を推定 (estimate) し， テスト時には真の電卓に戻して (replace) 使う。この方法では原理的に最終タスクによる勾配を上流まで流すことができるが，その性質については不明である. 特に，論文 [11] による評価実験が単純な人工夕スクに限られていることは，汎用性に関し限界を示唆する。推定される勾配の質は，模倣ネットワークの模倣精度に大きく依存すると予想され，精度を上げるためにネットワークを大きくすれば，モデル全体の学習に要する計算コストが犠牲になる。

本研究の動機は，離散記号モジュールの微分がどうあるべきかを数理的に分析し，上述の問題を克服する勾配推定法を確立することである．その糸口として，以下正則化 argmax $の$ Jacobi 行列を分析する.

## $4 \operatorname{argmax_{\Omega}$ の Jacobi 行列の分析}

一般の正則化 $\operatorname{argmax} \ell$ がもつ以下の基本的な性質（証明は [10] 参照）を前提としてその Jacobi 行列 $\partial \boldsymbol{\ell} / \partial \boldsymbol{x}$ の性質を調べる. 以下 $z=\boldsymbol{\ell}(\boldsymbol{x})$ とする.
- (単調性) $\forall \epsilon>0, \ell_{i}\left(\boldsymbol{x}+\epsilon \boldsymbol{e}_{i}\right) \geq \ell_{i}(\boldsymbol{x})$
- (正規性) $\boldsymbol{\ell}(\boldsymbol{x}) \in \Delta^{n}$ i.e., $\ell_{i}(\boldsymbol{x}) \geq 0, \sum_{i=1}^{n} \ell_{i}(\boldsymbol{x})=1$
- (定数に対する不変性) $\forall c \in \mathbb{R}, \boldsymbol{\ell}(\boldsymbol{x}+c \mathbf{1})=\boldsymbol{\ell}(\boldsymbol{x})$

性質 1 : 符号まず注目する点として, これらの Jacobi 行列は，常に対角成分が非負，非対角成分が非正の正方行列である. 単調性から対角成分 $\partial \ell_{i} / \partial x_{i}$ は非負であり，正規性から 1 を $z_{i}$ 間で分配しないといけないため $\partial \ell_{i} / \partial x_{j}(i \neq j)$ は非正となる. 具体的に softmax の Jacobi 行列はそのようになっている：

$
\frac{\partial \text { softmax }_{i}}{\partial \boldsymbol{x}_{j}}= \begin{cases}z_{i}\left(1-z_{i}\right) & i=j \\ -z_{i} z_{j} & i \neq j\end{cases}
$

そもそも, Jacobi 行列の要素 $\partial \ell_{i} / \partial x_{j}$ の意味をナイーブに解釈すれば， $\operatorname{argmax}_{\Omega}$ の役割からして「 $z_{i}$ を大きくするには $x_{i}$ を大きくし $\left(\partial \ell_{i} / \partial x_{i} \geq 0\right), x_{j}(j \neq i)$

ことが表現されているはずである.性質 2 : 值の大きさ一方で Jacobi 行列のそれら要素の大きさに関してはどのように解釈できるだろうか？解釈には様々な可能性がありえるが，1つとして出力 $z$ が peaky になるほど Jacobi 行列が零行列に近づくことで勾配の流れを妨げる弁のような機能を持つと考える. ${ }^{3}$ 厳密でないが， $z$ を peakyにすることは，入力 $x$ に対して温度 $\tau$ を小さくすることで模倣できるが，式 2 よりこれは至るところ勾配 0 の $\operatorname{argmax}$ に近づくことになり, 同様に $\partial \boldsymbol{\ell} / \partial \boldsymbol{x}$ も零行列に近づくと考えられる。このことは，具体的な Jacobi 行列（式 3）からも見て取れる。

性質 3 : 入カへの間接的依存性最後に，興味深いことに softmax の Jacobi 行列が $z$ を介して記述でき， $x$ への依存が間接的である。一般論としては， この事実は正則化 $\operatorname{argmax}$ の定数に対する不変性に関係する. $\operatorname{argmax}_{\Omega}$ は明らかに非単射であるが，その Jacobi 行列は $z$ で決まり情報量の多い $x$ を必要としない. 具体的に, 任意の $x_{1}, x_{2} \in \mathbb{R}^{n}$ に対して, $\boldsymbol{\ell}\left(x_{1}\right)=\boldsymbol{\ell}\left(x_{2}\right)$ ならば $(\partial \boldsymbol{\ell} / \partial x)\left(x_{1}\right)=(\partial \boldsymbol{\ell} / \partial x)\left(x_{2}\right)$ である. 仮に Jacobi 行列間の不等号が成り立てば, $\boldsymbol{x}_{1}, \boldsymbol{x}_{2}$周辺の適当な変化 $\epsilon$ に対する $\ell$ の挙動が異なることになるが, $\boldsymbol{\ell}\left(\boldsymbol{x}_{1}\right)=\boldsymbol{\ell}\left(\boldsymbol{x}_{1}+\epsilon \mathbf{1}\right) \neq \boldsymbol{\ell}\left(\boldsymbol{x}_{2}+\epsilon \mathbf{1}\right)=\boldsymbol{\ell}\left(\boldsymbol{x}_{2}\right)$ となり仮定に反するからである。

## $5 F$ の擬似的な微分

前節で argmax の微分可能緩和の Jacobi 行列を分析したが，仮に $F$ に対する微分可能緩和 $\tilde{F}$ が存在すれば，およそ §4 冒頭の仮定を満たし，その Jacobi 行列 $\partial \tilde{F} / \partial s$ にもこの分析と同様の性質が成り立つと考えられる. しかし $\tilde{F}$ の具体的な関数形は closed な形ではわからない. そこで ST Gumbel-Softmax (§3.1) と同様に順伝搬時には one-hot ベクトルを並べた $Z=F(s)$ を使い，逆伝搬時には，上の分析に基づき人工的に作った近似 Jacobi 行列 $J(\approx \partial \tilde{F} / \partial s)$ を用いれば勾配 $\nabla_{\phi} \mathscr{L}\left(y, y^{\star}\right)$ を推定できる. 具体的に,大きな方針は性質 1 より $J$ の要素の符号は $F$ の望ましい入出力関係に基づき設定し，その値の大きさを性質 2,3 に基づいて設計することを考える。

まず簡単に，数量項の組の数を $K$ とし，入出力は必ず一桁で桁の繰り上がりは起きないとした一桁足し算 $F^{1}: \mathbb{R}^{K} \rightarrow\left.\{\boldsymbol{e}_{n}\right.\}_{n \in \mathscr{V}^{\prime}}\left(\mathscr{V}^{\prime}=\{1<2<\ldots<9\}\right)$ の場合を考えると，その近似 Jacobi 行列 $J \in \mathbb{R}^{K \times 9}$ は，

性質 $\mathbf{1}$ より $i=1, \ldots, K$ ごとのある $d_{i}, d_{i}^{\prime} \geq 0$ を使って下の例のように足し算結果によって決めることができる. ( $K=3, s_{i}$ に対応する数の組を右に示す).

$d_{i}, d_{i}^{\prime}$ の値は性質 2,3 を考慮して $s$ を適当な $\operatorname{argmax}_{\Omega}$ で正規化した値を用い, 弁機能も備えさせる.具体的に本稿では Softmax を使い，式 3 を基に $z=\operatorname{softmax}(s)$ として $d_{i}=d_{i}^{\prime}=z_{i}\left(1-z_{i}\right)$ とする. ${ }^{4)}$

次に，入出力の桁数に関して一般の演算 $Z=$ $F(s) \in \mathbb{R}^{L \times|\mathscr{V}|}$ の近似一階微分 $J \in \mathbb{R}^{K \times L \times|\mathscr{W}|}\left(J_{i j k} \approx\right.$ $\partial F_{j k} / \partial s_{i}$ )を考える (図2).このとき, $J_{i}$ の要素の符号は $s$ のなかで $s_{i}$ が最も大きいときに $F$ の期待される出力で決めればよく, つまり $Z_{i}=F\left(\mathbf{e}_{i}\right) \in \mathbb{R}^{L_{i} \times|\mathscr{V}|}$ に依る.さらに $J$ の要素の大きさも一桁電卓の場合と同様に調整して $J_{i}=d_{i} Z_{i}-d_{i}^{\prime}\left(1-Z_{i}\right)$ としたい. しかし桁の繰り上がり等で必ずしも $L_{i}=L$ ではないため, $L_{i}<L$ の場合後ろを 0 で埋め, $L_{i}>L$ の場合 $Z_{i}$ の先頭 $\mathrm{L}$ 行だけを使うことで行列の大きさを調整した $\tilde{Z}_{i} \in \mathbb{R}^{L \times|\mathscr{V}|}$ で $J_{i}=d_{i} \tilde{Z}_{i}-d_{i}^{\prime}\left(1-\tilde{Z}_{i}\right)$ とする.

## 6 実験

設定数量推論を必要とする文章読解問題を集めた DROP データセット [1] で実験を行う. 開発セットにおける電卓あり/なしの GenBERT [3] の性能を比べる. 基本的な実験設定は GenBERT 論文のものに従い，GenBERT 論文で構築された人工データを用いた事前学習のあと, DROP の学習セットで追加学習する. 注意すべき点として, 電卓ありの場合は別の BERT ベースの BERT ${ }_{\phi}^{A R G}$ モデルに含まれるためパラメータ量の点でフェアな比較ではない.

結果開発セットでの結果を表 1 に載せる. 残念ながら, 現段階では電卓の有無によって性能に差は見られず，性能面における電卓の有用性は示されなかった。そこで，項抽出器により抽出された数量が問題を解くために有益なものとなっているかを評価した. 項抽出に対する正解データは存在しないため Amazon Mechanical Turkを用いる. 具体的に，電卓付きモデルが正答した開発セットの問題からランダ厶に 100 件抽出し，質問，文章，答え，抽出された

4）Sparsemax に基づく方法を実験結果とともに付録 B に載せる. $\operatorname{argmax}_{\Omega}$ と異なり $F$ の入出力はベクトルと行列で形が非対称であり，その点を考慮しながら設計しなければならない.

図 2 提案法による Jacobi 行列の計算. (1) 杕が少ない場合 0 で埋め，(2) 桁がはみ出る場合は下を切る.

表 1 DROP 開発セットにおける結果.

数量項をワーカーに見せ，質問から答えに至る過程で数量項を使うかを尋ねた。 1 問に対し 3 人のクラウドに評価してもらう. 結果, 3 人中 $k$ 人が数量項が有益であると判断した問題数は, $k=1,2,3$ に対しそれぞれ 100 問中 $40,14,8$ であった.こちらに関してもあまり良い結果とはいえず課題が残った.

現段階の直感的な考察として, 推論器 GenBERT $\psi$ が電卓から与えられる計算結果が問題を解くために有益であることに気づけない一方で，そのことにより，他方では項抽出器に質の良い教師信号が流れないという状況が起きているのではないかと考えられる. 今後さらなる調査を行う予定である.

## 7 終わりに

本稿では記号処理モジュールの微分を検討し，その応用例として電卓付き文章読解モデルを構築した. 鍵となるアイデアは，記号処理モジュールの近似微分の概形はその望ましい入出力関係で決まり,細部は argmax の近似である softmax 等を参考に決めれば良い，ということであった. 現状の結果は課題が多く残る. しかし, このような仕組みが完成した暁には数量推論に限らず，理論言語学的な推論の仕組みや外部知識辞書をモデルに統合するなどの応用が可能となり，その利益は大きいと思われ，今後もこの方針の追求に邁進するつもりである.

謝辞本研究は JSPS 科研費 $20 K 23314$ の助成を受けたものです.

## 参考文献

[1]Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. 2020.

[3]Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]Alon Talmor, Oyvind Tafjord, Peter Clark, Yoav Goldberg, and Jonathan Berant. Leap-of-thought: Teaching pre-trained models to systematically reason over implicit knowledge. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[6]Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval augmented language model pretraining. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 3929-3938, Virtual, 13-18 Jul 2020. PMLR.

[7]Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, No. 3, pp. 229-256, 1992.

[8]Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparametrization with gumbel-softmax. In Proceedings International Conference on Learning Representations 2017. OpenReviews.net, April 2017.

[9]Andre Martins and Ramon Astudillo. From softmax to sparsemax: A sparse model of attention and multi-label classification. In Maria Florina Balcan and Kilian Q. Weinberger, editors, Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1614-1623, New York, New York, USA, 20-22 Jun 2016. PMLR.

[10]Mathieu Blondel, André F.T. Martins, and Vlad Niculae. Learning with fenchel-young losses. Journal of Machine Learning Research, Vol. 21, No. 35, pp. 1-69, 2020.

[11]A. Jacovi, G. Hadash, E. Kermany, B. Carmeli, O. Lavi, G. Kour, and J. Berant. Neural network gradient-based learning of black-box function interfaces. In International Conference on Learning Representations (ICLR), 2019.

[12]Geoffrey Hinton. Neural networks for machine learning, coursera, lecture $15 \mathrm{~d}$ - semantic hashing : 3:05 - 3:35. https://www.cs.toronto. edu/ hinton/ coursera/lecture15/lec15d.mp4, 2012.

[13]Yoshua Bengio, Nicholas Léonard, and Aaron Courville. Estimating or propagating gradients through stochastic neurons for conditional computation, 2013.

[14]Jambay Kinley and Raymond Lin. NABERT+: Improving numerical reasoning in reading comprehension. https:// github.com/raylin1000/drop-bert, 2019.

## A 提案法のモデルの構造について

ここでは文章 $P$ のサブワード列を $x_{1}, \ldots, x_{N}$ とする. GenBERT 論文 [3] と同様に，サブワードへの単語分割時に，数として判定されたトークンは “1234” $\mapsto$ “1,\#\#2,\#\#3, \#\#4”というように必ず 1 文字単位で区切ることにする． $N_{i}$ として,$x_{i}$ から始まるこのような数サブワード列の長さとする（ $x_{i}$ が数でなければ適当に 0 とする). さらに $m_{i}$ は $x_{i}$ が数サブワード列の先頭トークンであれば 1 ，それ以外 $-\infty$ であるマスク定数とする.

## A. 1 数量項抽出モデル

BERT によって文字列 “[CLS] $Q$ [SEP] $P$ ” に対応するサブワード列を走査して得たべクトル表現の列を $\boldsymbol{h}_{\text {[CLS] }}, H^{Q}, \boldsymbol{h}_{\text {[SEP] }}, H^{P}$ とする.ここで $H^{P}=\left[\boldsymbol{h}_{1}^{P}, \ldots, \boldsymbol{h}_{N}^{P}\right]^{\top}$ とすると, 項抽出スコア $\boldsymbol{s}$ は $\boldsymbol{h}_{i}^{P}$ を一度線形変換してマスクを掛けた

$
\begin{aligned}
& s_{i}^{\prime}=m_{i} \times\left(\boldsymbol{w}^{\arg \top} \boldsymbol{h}_{i}^{P}+b^{\mathrm{arg}}\right), \\
& s=\left(s_{i}^{\prime}+s_{\substack{\prime \\
j=1, \cdots, N \\
j=i+1 \cdots N}}\right.
\end{aligned}
$

であり，式 1 の $A(s)$ は，

$
\begin{gathered}
\left(\hat{x}_{i}, \hat{x}_{j}\right)=\arg \max _{\substack{i=1, \cdots, N \\
\left(x_{i}, x_{j}\right), j=i+1 \cdots N}} s_{i}^{\prime}+s_{j}^{\prime} \\
{\left[\mathbf{1}_{\hat{x}_{i}} \mathbf{1}_{\hat{x}_{i+1}} \ldots \mathbf{1}_{\hat{x}_{N_{i}}} \mathbf{1}_{\hat{x}_{j}} \mathbf{1}_{\hat{x}_{j+1}} \ldots \mathbf{1}_{\hat{x}_{N_{j}}}\right]=A(s)}
\end{gathered}
$

である. 各数量項サブワード列の先頭トークンに付与されたスコア $s_{i}^{\prime}$ を，その項を抽出するかどうかの判断に用い，もしその数量項が抽出されれば後ろの連続した $N_{i}$ トークンを項抽出結果として取り出す.本研究ではこの $A(s)$ を微分可能にするために，ST Gumbel-Softmax と同様に誤差逆伝搬時には式 4 の操作に対する Jacobi 行列として Softmax 関数のものを用いる.

## A. 2 電卓モジュール

電卓の機能本稿で用いた電卓の二項演算の種類は，既存研究 [14] を参考に選んだ。2つの数量項を $x, y$ として，以下の 9 つの演算である.
- 和: $x+y,(x+y) \times 100,(x+y) \div 100$
- 差の絶対値 : $|x-y|,|x-y| \times 100,|x-y| \div 100$
- 積 : $x \times y,(x \times y) \times 100,(x \times y) \div 100$

和，差，積に対して 100 倍や 100 で割る場合も考え， これらの計算の結果が整数値ではない場合は，整数にキャストしたものを計算結果とする。これらの演算を $F_{i}(i=1, \ldots, 9)$ として，以下を推論モデルに渡す。

$
\left[F_{1}(\boldsymbol{s}) F_{2}(\boldsymbol{s}) \ldots F_{9}(\boldsymbol{s}) \boldsymbol{e}_{=} \boldsymbol{e}_{\mathrm{D}} \boldsymbol{e}_{(} A(\boldsymbol{s}) \boldsymbol{e}_{)}\right]^{\top}=D(\boldsymbol{s})
$

$P$ に数量項が 2 つ以上含まれる場合，スコアの大きさに依らず常に大きい方から 2 つ抽出し，数量項の数が 1 つ以下の場合は項抽出をせず，電卓を用いなかったことを表すダミー表現として $\boldsymbol{e}_{[\text {SEP] }}^{\top}=D(\boldsymbol{s})$ とする。

## A. 3 推論モデル (GenBERT)

推論部分 GenBERT $\psi$ は基本的に論文 [3] のものと同じである．このモデルは，文章内のスパン抽出，質問内のスパン抽出，文字列の生成の 3 つのアクションを持ち，数量項抽出時と同様に BERT $P, Q$ (提案法の拡張ではさらに $D(Z)$ も含む）を入力し，どのアクションを行うかを $\boldsymbol{h}_{\text {[CLS] }}$ の関数として決定した後，対応するアクションを $H^{Q}, H^{P}$ の関数として行うことで答えを予測する。

損失 $\mathscr{L}$ も論文 [3] に従い，各アクションによる予測確率を周辺化したものの対数の負を損失とする.詳細については論文を参照頂きたい。

## B Sparsemax に基づく Jacobi 行列

Sparsemax [9] に基づく $F$ の Jacobi 行列の設計の仕方を紹介する。ここで $\mathbb{1}_{[\text {(条件)] }}$ は (条件) が満たされるとき 1 ，それ以外 0 とする. $\operatorname{sparsemax}_{i}(s)=$ $\max \left(0, s_{i}-\theta(s)\right) （ \theta$ はある閾値関数）の Jacobi 行列は以下である：

$
\frac{\partial \text { sparsemax }_{i}}{\partial s_{j}}= \begin{cases}(1-1 / N) \mathbb{1}_{\left[z_{i}>0\right]} & i=j \\ -1 / N \mathbb{1}_{\left[z_{i}, z_{j}>0\right]} & i \neq j\end{cases}
$

ここで,$N$ は $z_{i}>0$ な添字 $i$ の数である.

Sparsemax に基づく方法では基本的な方針は節 5 の Softmax の場合と同じであるが，Jacobi 行列の要素の大きさを上式の Sparsemax 活性化関数に基づいて設計する。具体的に， $z=\operatorname{sparsemax}(s) 、 N を$ $z_{i}>0$ な添字 $i$ の数として $, d_{i}, d_{i}^{\prime} \geq 0$ を以下のように設定する。

$
\left.\{\begin{array}{c}
d_{i}=(1-1 / N) \mathbb{1}_{\left[z_{i}>0\right]} \\
d_{i}^{\prime}=(1 / N) \mathbb{1}_{\left[z_{i}>0\right]}
\end{array}\right.
$

この Jacobi 行列を使った場合の DROP データセット上での結果は $\mathrm{EM} / \mathrm{F} 1=$ 67.3/71.6であり, Softmax による Jacobi 行列を使った場合とあまり差は見られなかった。


# 単一事例エキスパートの統合によるドメイン適応

$\diamond$ 理化学研究所 ・東北大学 ${ }^{\triangleright}$ 株式会社 Preferred Networks
shun.kiyono@riken.jp, \{sosk, jun.suzuki, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

事前訓練済みモデルのファインチューニングは,今や NLP の各タスクにおけるデファクトスタンダードとも呼べる方法論となった. 代表例として，巨大な生コーパス上で訓練された言語モデル（例： BERT[1]）を用いた転移学習や，符号化復号化モデル（Encoder Decoder; EncDec）のドメイン適応 [2]などが挙げられる。本研究では，ファインチューニングを害行する状況下で，従来のファインチューニングからさらなる性能向上が可能な方法論を模索する.こういった技術は, CoNLL[3] や WMT[4] などの各種シェアードタスクにおいて，他チームとの性能差を生むための有力な技術となりうる。

性能を引き上げるための有力な既存手法としてアンサンブルが挙げられる. アンサンブルでは, 複数の乱数シードでモデルを独立に訓練し，各モデルの予測を統合することで，予測性能の向上をねらう。訓練済みモデルが同じであったとしても，アンサンブルはある程度の効果を示すが, 性能向上を最大化するためには，モデルの事前訓練過程から別シードでの訓練が必要になることが知られている [5]. 事前訓練には数百から数千 GPU 時間規模の計算が必要であり $[1,6]$, これは手元の限られた計算機資源では実現不可能な場合がある。

本研究では，事前訓練のやり直しを必要としない新しい方法論として， $k$-近傍アダプター平均法を提案する. 提案手法では, 訓練データの中にはテストデータの推論に役立つ事例が存在するはずである， という仮定のもと， 1 事例ごとに独立にエキスパー トネットワークを作る。推論時は, 各入力に対して類似する訓練データを求め，それに対応するエキスパートを用いて予測をおこなう。

EncDec のドメイン適応を題材とした実験を通して，提案手法が同一の事前訓練済みモデルを用いたアンサンブルよりも高い性能を達成できることを示す.

## 2 ドメイン適応

本節では，ドメイン適応のタスク定義を述べた後, ドメイン適応の既存手法 2 つ（全体ファインチューニングとアダプター) を概説する。

## 2.1 タスク定義

本研究では，機械翻訳のような系列変換タスクにおけるドメイン適応を題材として用いる。いま， （1）汎用巨大コーパス $\mathscr{D}_{\text {pretrain }}$ で事前訓練されたモデルと（2）対象ドメインの訓練データ $\mathscr{D}_{\text {domain }}$ の 2 つが与えられた際に，対象ドメインでの汎化性能を最も高くすることが目的である.

入力系列 $\boldsymbol{X}$ に対する出力系列 $\boldsymbol{Y}$ の条件付き確率を EncDec でモデル化することを考えると，その誤差関数は以下のように表される。

$
\mathscr{L}(\mathscr{D} ; \Theta)=-\frac{1}{|\mathscr{D}|} \sum_{(\boldsymbol{X}, \boldsymbol{Y}) \in \mathscr{D}} \log P(\boldsymbol{Y} \mid \boldsymbol{X} ; \Theta)
$

ここで， $\mathscr{D}=\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\}_{n=1}^{|\mathscr{|}|}$ は訓練データを表す.また, $\Theta \in \mathbb{R}^{H}$ は訓練対象のモデルパラメータを列べクトルとして表したものであり，H はモデルの総パラメータ数である.

事前訓練においては，汎用コーパス $\mathscr{D}_{\text {pretrain }}$ 上で以下の最適化問題を解く過程でパラメータ $\Theta^{\prime} \in \mathbb{R}^{H}$ を得る。

$
\Theta^{\prime} \leftarrow \underset{\Theta}{\arg \min } \mathscr{L}\left(\mathscr{D}_{\text {pretrain }} ; \Theta\right)
$

事前訓練済みパラメータ $\Theta^{\prime}$ と対象ドメインの訓練データ $D_{\text {domain }}$ を用いて，対象ドメインでの汎化性能を最も高くすることが目的である.

## 2.2 全体ファインチューニング

全体ファインチューニング (Full Finetuning; FullFT）は，ドメイン適応における最も素朴な手法である．事前訓練済みパラメータ $\Theta^{\prime}$ をデルの初期値として設定し, 対象ドメインの訓練データ

アダプター

アダプターのみ更新・保存図 1 全体ファインチューニング（FullFT）とアダプター の比較：アダプターを用いる場合，新たに保存するパラメータはアダプターのみである

$D_{\text {domain }}$ 上で訓練することで，パラメータ全体を更新する (図 1 左). 具体的には, 以下の最適化問題を解く過程で，対象ドメインにより汎化したパラメー タ $\Theta^{\prime \prime} \in \mathbb{R}^{H}$ を獲得する.

$
\Theta^{\prime \prime} \leftarrow \underset{\Theta^{\prime}}{\arg \min } \mathscr{L}\left(\mathscr{D}_{\text {domain }} ; \Theta^{\prime}\right)
$

FullFTは，素朴な手法でありながら高い性能が出せることから，ドメイン適応の研究におけるべースラインとして用いられる [2] ほか，各種シェアードタスク（例：WMT[7] や BEA[8]）でも常套手段として用いられる基盤技術である $[9,10]$.

## 2.3 アダプター

アダプター [11] は，ファインチューニングを目的として事前訓練済みモデルの内部に追加される軽量なネットワークである (図 1 右). 以降の説明のため，アダプターのモデルパラメータの列べクトル表現を $\Phi \in \mathbb{R}^{O}$ とする. ここで $O$ はアダプターの総パラメータ数である.

アダプターのポイントは次の 2 点である：(1)ファインチューニングにあたっては，事前訓練済みモデルのパラメータ $\Theta^{\prime}$ は固定し，アダプターのパラ

メータ数 $O$ は事前訓練済みモデルのパラメータ数 $H$ よりも非常に小さく $(O \ll H)$, 通常 $O$ は $H$ の数\%程度である [11]. FullFT ではモデル全体を保存しておく必要がある一方で，アダプターを用いる場合は新たに保存するパラメータはアダプターのみとなるため，保存に必要な記憶容量を削減できる。また，アダプターを取り除くことで事前訓練済みモデルの性能を復元可能であり，事前訓練で得た情報の破滅的忘却 [12] は原理的に生じない.
アダプターは, 図 1 に示したように, 非線形変換 （例：ReLU）付きのフィードフォワード層から構成されることが多い．また，アダプターの大きさは中間層の次元数 $d$ によって制御される. アダプター の追加箇所，Layer Normalization[13] やスキップ接続 [14] の位置などで様々な亜種が存在するが，本研究では Pfeiffer ら [15] の用いた構成に準ずる1).

訓練時は以下の最適化問題を解くことによってアダプターを訓練し，訓練済みパラメータ $\Phi^{\prime} \in \mathbb{R}^{O}$ を獲得する。

$
\Phi^{\prime} \leftarrow \underset{\Phi}{\arg \min } \mathscr{L}\left(\mathscr{D}_{\text {domain }} ; \Theta^{\prime}, \Phi\right)
$

推論時は $\Phi^{\prime}$ と $\Theta^{\prime}$ を用いて予測をおこなう。

アダプターを用いることで，BERTの転移学習 [11] Đ EncDec のドメイン適応 [2] などで, FullFT と同等の性能が達成できると報告されている。一方で，一部のデータセットにおいては，FullFT と比較して性能が数ポイント下回ってしまう場合もある $[16,2]$.

## 3 提案手法

FullFT の性能を更に引き上げるための新しい方法論として,$k$-近傍アダプター平均法 ( $k$-Nearest Neighbor Adapter Averaging; kAA）を提案する.

## 3.1 アイデアと概要

ドメイン適応において，各ドメインは更に細かいドメイン（サブドメイン）の集まりから構成されている. 未知のデータが与えられた際，このサブドメイン単位に適応したモデルが手に入れば，より精緻な予測が可能になると考えられる. kAA の基本的なアイデアは，ドメインの粒度を事例単位にまで分解し，活用することである。

kAA の概要を図 2 に示す. kAA では， 1 事例ごとに専用のエキスパートネットワーク (エキスパート) を訓練することで，各事例に適応したモデルを独立に作成する。この訓練は，FullFT 後のパラメータ $\Theta^{\prime \prime}$ を用いて行なう. 推論時は，入力データに応じて適切なエキスパート集合を抽出し，統合をおこなう.これにより，サブドメインに適応したモデルを作成し, FullFT からの性能向上をねらう.ここで， エキスパート集合の統合にあたっては，各エキスパートのパラメータを平均（アベレージング）す

1）これは，著者らが実験によって見つけた経験的に最も良い構成であるとされる

図 2 提案手法（ $k$-近傍アダプター平均法）の概要

る.これにより，抽出したエキスパートの数によらず，推論時の計算時間は一定に保つことができる。

kAA の実現にあたって問題となりうるのが記憶容量である. 通常，訓練済みモデルのファイルサイズは数百 MB から数 GB である．そのため，単純に各事例に対してモデルを保持しておくのは，記憶容量の観点から現実的ではない. そのため, アダプター （第 2.3 節）を用いて，必要な記憶容量を大幅に削減する。例えば，Transformer ベースの 6 層 EncDec[17] の各層にアダプターを追加する場合でも， $d=16$ とすればファイルサイズは $1.6 \mathrm{MB}$ 程度となる.

## 3.2 アルゴリズム

訓練いま，対象ドメインの訓練データ $D_{\text {domain }}$ に $N$ 個のデータが含まれるとして, $\mathscr{D}_{\text {domain }}=$ $\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\}_{n=1}^{N}$ と表す. 各データ $\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)$ に対して, FullFT 済みのパラメータ $\Theta^{\prime \prime}$ を初期値とした以下の最適化問題を解く過程で, 合計 $N$ 個のアダプター $\Phi_{1}^{\prime}, \ldots, \Phi_{N}^{\prime}$ を得る.

$
\Phi_{n}^{\prime} \leftarrow \underset{\Phi^{\prime}}{\arg \min } \mathscr{L}\left(\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\} ; \Theta^{\prime \prime}, \Phi^{\prime}\right)
$

推論学習したアダプターのうち $K(\ll N)$ 個を用いて予測をおこなう．具体的には，まず入力文 $X$ と訓練データ $\mathscr{D}_{\text {domain }}$ の各文 $\boldsymbol{X}_{n}$ との類似度 $s_{n} \in \mathbb{R}$ を以下の通り計算する。

$
s_{n}=\operatorname{sim}\left(f(\boldsymbol{X}), f\left(\boldsymbol{X}_{n}\right)\right)
$

ここで， $\operatorname{sim}$ とはそれぞれ任意の類似度関数と，文をべクトル空間に埋め込む関数である.次に，類似度上位 $K$ 文に対応する $K$ 個のアダプター $\Phi_{1}^{\prime}, \ldots, \Phi_{K}^{\prime}$ を大力文 $\boldsymbol{X}$ の推論に用いる. 具体的には，各アダプターのパラメータの平均を求め,各アダプターに含まれる情報を統合する.

$
\Phi_{\mathrm{avg}}^{\prime}=\frac{1}{K} \sum_{k=1}^{K} \Phi_{k}^{\prime}
$

最後に， $\Phi_{\text {avg }}^{\prime}$ と $\Theta^{\prime \prime}$ を用いて推論を行なう.

## 4 実験

## 4.1 実験設定

データセット実験には, Aharoni ら [18] が提供している機械翻訳のドメイン適応用のベンチマークデータセットを用いた2)3).このデータは英独のパラレルコーパスであり， 5 個のドメイン（IT, Koran， Law, Medical, Subtitles）が含まれている. 本研究では，各ドメインについて独 $\rightarrow$ 英の翻訳を行う．今回は，各ドメインのデータセットの量が限られている場合を想定し, 各ドメインから訓練データとして 4000 文サンプルして用いた. 各ドメインの開発・評価データはともに 2000 文である. モデルの評価には， sacreBLEU[20] で計算した BLEU 值を用いる.

モデル EncDec の事前訓練済みモデル $\Theta^{\prime}$ として, Ng ら [10] の公開している WMT2019[7] での優勝モデルを用いた4) . 同モデルは, Transformer

表 1 各種手法の BLEU スコアとデコーダの計算回数：太字は同一カラム内での最高値を表す.†は提案手法を示す.

(big)[17] をべースに数百万文対規模の対訳データで訓練されたものである。 その他のハイパーパラメー タに関しては付録 A を参照されたい.

比較手法実験では，FullFTをベースラインとして用いて kAAの効果を検証する. kAAとの直接の比較手法として，アンサンブル（Ensemble; Ens）とモデル平均法（Model Averaging; ModelAvg）を用いる. Ens では，単一の事前訓練済みモデルを用いて $M$ 個の異なるシードで学習をおこない，推論時に各モデルの予測を平均する。また， ModelAvg はEns から得られた $M$ 個のモデルのパラメータの平均を用いて推論をおこなう手法である. ModelAvg との比較から，モデルパラメータの平均値を用いること自体による効果を調べる. また, FullFT が十分に強力なベースラインであることを示すために，事前訓練済みモデル単体（w/o finetuning）と，アダプターを用いてファインチューニングを行った場合 （Adapter）の性能も報告する。

## 4.2 実験結果

表 1 に実験結果を示した.

ベースラインの性能確認 FullFTと Adapter は, どちらも w/o finetuning から性能が向上しているが，特に検証・テストセット両方の平均值において， FullFT のほうが Adapter より高い性能を示した. これは，EncDec にアダプターを用いた既存研究 $[2,16]$ と一致する結果である. この結果から, FullFT は適切なベースラインであるといえる.

スコアの引き上げ手法の比較 kAA, Ens と ModelAvg は全てベースラインである FullFT から性能が上がっている. 特に，kAA がIT を除く全てのドメインのテストセット上で Ens や ModelAvg よりも高い性能を達成したことから，提案手法の有効性が示唆される. kAA と ModelAvg との比較から, 性能向上はモデルパラメータの平均を用いることによるものではなく, kAA で訓練・抽出したアダプターの効果によるものだと言える。また，Ensの場合はモデル数 $M$ 回のデコーダの計算が必要だが，kAA では 1 回で計算可能であることも大きなメリットである.

表 1 の右に示した各ドメインの平均値 (Average) を比べると，kAA は，検証セット上の性能（36.98） では Ens（36.98）やModelAvg（37.01）と同等であるが，テストセット上の性能ではこれら 2 つを上回る性能（37.43）を示した. これは, FullFTによる学習過程における，検証セット上の性能を用いた早期終了が原因だと考えられる。具体的には，Ens と ModelAvg は $M$ 回のFullFT のそれぞれで合計 $M$ 回の早期終了を実行するため，意図せず検証セットに対して過学習している可能性がある。一方で，kAA では FullFT の早期終了が一度で良いため, 過学習の影響が軽減されていると推察される.

同じ事前訓練済みモデルを用いたアンサンブル Ensの性能が kAA に及ばないのは，Ens が同じ事前訓練済みモデルから複数個のモデルを作っていることも原因の一つだと考えられる. Ensによる性能向上を最大化するためには，モデルの事前訓練過程をやり直す必要がある [5]. アンサンブルでは各モデルの持つ異なった局所解の情報を利用するが [21],同じ訓練済みモデルを初期值として用いることで， それぞれの局所解が近傍に集まるため性能が伸びないと考えられる。

## 5 おわりに

本研究では，全体ファインチューニングの性能を更に引き上げることを目的とした新しい方法論（ $k$ 近傍アダプター平均法）を提案した. 実験では，提案手法はアンサンブルよりも高い性能を達成できることを示した. この結果から，提案手法は単一の事前訓練済みモデルと少量（数千文規模）の訓練デー タを利用できる状況下で有効に動作することが示唆される．今後は入力データに対するアダプター選択の手法を改善し，さらなる性能向上を目指す.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), pp. 4171-4186, 2019.

[2] Ankur Bapna and Orhan Firat. Simple, Scalable Adaptation for Neural Machine Translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1538-1548, 2019.

[3] Raquel Fernández and Tal Linzen, editors. Proceedings of the 24th Conference on Computational Natural Language Learning, 2020.

[4] Loïc Barrault, Ondřej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Yvette Graham, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, André Martins, Makoto Morishita, Christof Monz, Masaaki Nagata, Toshiaki Nakazawa, and Matteo Negri, editors. Proceedings of the Fifth Conference on Machine Translation, 2020.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Shar Narasimhan. NVIDIA Clocks World's Fastest BERT Training Time and Largest Transformer Based Model, Paving Path For Advanced Conversational AI, Aug 2019.

[7] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 Conference on Machine Translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (WMT 2019), pp. 1-61, 2019.

[8] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2019), pp. 52-75, 2019.

[9] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 News Translation Task. In Proceedings of the Fifth Conference on Machine Translation (WMT 2020), pp. 145-155, 2020.

[10] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 News Translation Task Submission. In Proceedings of the Fourth Conference on Machine Translation (WMT 2019), pp.314319, 2019.

[11] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski,
Bruna Morrone, Quentin De Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. ParameterEfficient Transfer Learning for NLP. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 2790-2799, 2019.

[12] Michael McCloskey and Neal J. Cohen. Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Vol. 24 of Psychology of Learning and Motivation, pp. 109 - 165. Academic Press, 1989.

[13] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450, 2016.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 770-778, 2016.

[15] Jonas Pfeiffer, Aishwarya Kamath, Andreas Rücklé, Kyunghyun Cho, and Iryna Gurevych. AdapterFusion: Non-destructive Task Composition for Transfer Learning. arXiv preprint arXiv:2005.00247, 2020.

[16] Minh Quang Pham, Josep Maria Crego, François Yvon, and Jean Senellart. A Study of Residual Adapters for MultiDomain Neural Machine Translation. In Proceedings of the Fifth Conference on Machine Translation (WMT 2020), pp. 617-628, 2020.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017.

[18] Roee Aharoni and Yoav Goldberg. Unsupervised Domain Clusters in Pretrained Language Models. In Proceedings of the 58th Annual Meeting of the Association for Coтputational Linguistics (ACL 2020), pp. 7747-7763, 2020.

[19] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 2839, 2017.

[20] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 186-191, 2018.

[21] Lars Kai Hansen and Peter Salamon. Neural Network Ensembles. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, No. 10, pp. 993-1001, Oct 1990.

[22] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015.

[23] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

## A ハイパーパラメータ

実験（第 4 節）で用いたハイパーパラメータの一覧を表 2 に示す.

表 2 ハイパーパラメータの一覧

 &  \\


# Improving Quality of Extractive Summarization with Coverage Analysis

Haihan Yu
University of Tokyo
Graduate School of
Information and Computer Science
dhyualogos.t.u-tokyo.ac.jp

## 1 Introduction

Text summarization is a classic NLP task that has a long history. Starting from probabilistic model-based approaches in the last century, researches have now shifted their attention to summarization models based on pretrained language models. Pre-trained language models, highlighted by BERT [1] introduced in 2018, have significantly improved the state-of-the-art performance of many NLP tasks, including summarization. However, when generating summaries, pre-trained language models have shown insufficiency in detecting repetition or negligence of key information. To cope with such a problem, we propose a refinement on the model by adding a module of semantic coverage detection implemented by probabilistic or neural network models, to help alleviate the problem.

## 2 Background

## 2.1 Text Summarization

Text Summarization is the NLP task that requires the model to give a stream of texts based on the source. The output should be a shorter text which keeps the main ideas from the source. By the nature of how the summary is generated, we can further classify the task into two categories, namely extractive summarization and abstractive summarization. Extractive summarization means to select sentences from the original text as the summary, while abstractive summarization requires the system to generate words and sentences on its own.

Until recently, due to the limitation of computational power and theory, the majority of summarization models focused on probabilistic-model-based extractive summarization methods. However, with the rapid development of deep learning technology, many researchers have started

\author{
Yoshimasa Tsuruoka \\ University of Tokyo \\ Graduate School of \\ Information and Computer Science \\ tsuruoka@logos.t.u-tokyo.ac.jp
}

to explore the potentials of machine learning based techniques. SuMMaRuNNer [2], is one of the first extractive summarization models that uses Recurrent Neural Network (RNN) and has achieved a state-of-the-art performance at the time. Then, other models, such as NeuSum [3], Sumo [4], have improved the performance of extractive summarization. Recently, with the introduction of Pre-Trained Language Model, such as BERT [1], many researchers have successfully pushed forward the performance to a higher level.

## 2.2 Pre-Trained Language Model

Earlier this century, apart from the summarization task, scientists have created many different models and systems to solve various NLP tasks. However, due to the fact that these models are trained for very limited (in most cases, only one) tasks and with a small amount of data, such models show great insufficiency in adjusting to the change of input.

In order to counter this problem, researchers have started implementing the idea of creating a general language model that fits for all scenarios, and such idea is now referred to as the Pre-Trained Language Model (PLM). As we can see from Fig. 1, a pre-trained language model is first fed with an enormous amount of unannotated data. The model will be able to "learn" the language in this process, and then, we can "fine-tune" this model by training it with taskspecific data sets. Because the model has been fed with large amounts of data about the language, it will be easier for it to adjust itself and of what to do with specific tasks.

Pre-trained language models, with all the corpus learned before fine-tuning, can minimize the confusion of the model when seeing a new sequence of text. It has been usually used to enhance performance in language understanding tasks, and have been proven to have obtained
state-of-the-art performance in many NLP tasks. Very recently, there are successful attempts to apply pre-trained models to various language generation problems.

Figure 1 Generic Concept for Pre-Trained Language Model [5]

Bidirectional Encoder Representations from Transformers, or BERT [1], is arguably the most important pre-trained language model in the past 5 years. Developed by Google in 2018, it is a multi-layer bidirectional transformer encoder. BERT is a model pre-trained on two tasks, namely masked language modeling and next sentence prediction. Masked language modeling is the task in which we try to predict the input tokens that are intentionally masked at random, while next sentence prediction is a binary classification task that requires the system to determine if the second input sentence is actually directly connected to the first input sentence. The two tasks help the model to understand the language on both word-level and sentence-level, therefore allowing the model to be able to handle any downstream single sequence and sequence-pair tasks without significant task-specific modification on the structure. At the same time, some small changes are still possible to fit the specific requirements of downstream tasks, which helps it gain both flexibility and generality. With such outstanding properties, many models based on BERT has been implemented in a short period of time, and have advanced the state-of-the-art performance for many NLP tasks, including summarization. Liu et al. [6] are among the first one to apply BERT in the task of summarization. In their approach, they created a general framework that incorporates the task of extractive and abstractive summarization (we will not go too much into the detail of abstractive summary in this research) together in one model. As shown by their results, compares to other models at the time, it has improved the ROUGE score by a decent amount.

## 2.3 Semantic Similarity

Semantic similarity is an idea that is often used in machine translation or paraphrasing tasks as a way to measure how similar two sentences are to each other. Defining similarity of sentences is a task that involves objective justification. So many researchers have proposed different approaches to this problem. We will visit some widelyused approaches in this section.

## 2.3.1 Probabilistic Similarity

TF-IDF [7], introduced in 1972, is one of the first numerical statistical approaches that aims at reflecting how important a word is to a document in a collection or corpus. The metric includes two parts, which are term frequency (TF) and inverse document frequency (IDF), respectively. TF measure how important one word is to a single document, based on the assumption that the words that show up more frequently in a document are more important. While on the other hand, IDF measure how much a word shows up in a group of documents, and gives words that shows up more often a lower score. Then, TF score is multiplied to IDF score to obtain the TF-IDF score, which gives higher scores to more important words with "actual meaning" in a document, and neglects common words with no actual meaning, such as "the", "a", etc. Justified by information theory, TF-IDF is one of the most popular term-weighting systems, and some report [8] states that more than $80 \%$ of digital library uses tf-idf in their text-based recommendation system.

## 2.3.2 Semantic Coverage Vector

While probabilistic models are easy to implement, and gives good results in many scenarios. They have very obvious shortcomings in comparing the texts that are in different languages or have many synonyms. Therefore, many researchers have proposed other approaches to counter this problem. One effective approach is the semantic coverage vector ("SCV") [9].

SCV is introduced in an attempt to deal with the overtranslation and under-translation issue in Neural Machine Translation (NMT) task. In this approach, a coverage set is maintained to keep track of which source words have been translated (or "covered") by the translation. More specifically, the coverage is defined by an attention model that scores how well the generated sentence $y_{j}$ matches with the original sentence $h_{j}$ called coverage vector. Such a coverage vector will keep track of the attention history, and will be fed into the attention model to help adjust future attention. In this way, it will help determine to
what degree a new sentence will bring new information, therefore, help alleviate the problem of over-translation and under-translation.

Figure 2 Semantic Coverage Vector Showing both over-translation and under-translation [9]

## 3 Purposed Method

As mentioned in previous sections, a PLM-based summarization model gives much improvement to the quality of extractive summarization. However, PLM-based models have shown a tendency of over-focusing the key points, thus creating repetition and negligence of information at the same time. To deal with this problem, we define the degree of coverage to be the degree of how much information from the original text is being touched in the summary, and we here make the assumption that the degree of coverage is an indicator of summary quality.

In this research, we try to explore the effect of different metrics for coverage. We will try both probabilistic model and deep learning based model. We use BERTSUM [6] as the basic structure for the model. For training, we followed the process being used in their paper. When generating the summary, we add the coverage score in as an independent factor. For an extractive summary, the coverage score is calculated for each sentence in the extractive summary task, and then a new score is obtained by combining the score given by BERTSUM model and the coverage score. We use this is as the basis of choosing sentence into the summary. TF-IDF calculation does not require extra training, we utilitize the statistical data from the dataset that is

Table 1 Extractive Summarization with Information Coverage Analysis

being tested to calculate the idf score, as for the semantic coverage vector approach, we train the data with the same data set for summarization.

## 4 Experiments Set-up and Results

## 4.1 Data Set

We evaluated our model on the benchmark dataset that is widely used to evaluate a summarziation task, namely the CNN/DailyMail dataset [10]. The dataset has collected the about 300,000 pieces of news from CNN and Daily Mail, each with a three-sentence summary created by the editors. The average document length is around 700 words, while the average summary length is 50 words. These summaries are treated following the standard split into training, validation, and test sets.

## 4.2 Evaluation

We used the standard ROUGE [11] metric to measure the quality of summaries. ROUGE, or Recall-Oriented Understudy for Gisting Evaluation, compares the generated text against a human-produced reference text to measure their word-level similarity. ROUGE has a few variants, where ROUGE-N is calculated based on the overlap of Ngrams between the generated text and the reference, while ROUGE-L is calculated based on the longest common sequence.

## 4.3 Results

We tested the effect of two coverage metrics on the dataset, and the result is listed in Table 1. As the numbers largely explain themselves, we have observed small improvement on ROUGE score when using TF-IDF as the metric of summary on both extractive and abstractive tasks. But the SVC metric does not bring improvements.

## 5 Discussion and Future Work

As shown from the result, the relatively easy method, TF-IDF, actually gives improvement to the summary qual-
ity. We believe the reason behind this improvement is that the sum of TF-IDF scores of all possible terms and documents will be able to recover mutual information between documents and terms taking into account all the specificities of their joint distribution [12]. That is, the TF-IDF score of each sentence is actually directly connected to how much information is brought by them. Such justification suggests the correctness of the idea that uses information coverage analysis for extractive summarization. However, for semantic coverage vector, as introduced in the background section, it is a method that has been originally used in the machine translation task, where the texts before and after translation are about the same size. This is not a property that the summarization task has, so due to this key difference, training SCV model with a summarization dataset without making changes to the model itself is not working as expected. We have noticed that when giving more weight to the SCV score, the ROUGE score will decrease even further. Therefore, it seems some change, or a more suitable neural model should be used for coverage analysis.

For future work, we will explore more approaches to determine the information coverage of sentences. There are some other candidate models that might work in this scenarios. We will explore if they can bring a better ROUGE score for summarization. Other than that, we will also explore if the dataset has anything to do with the score. Other than commonly used news datasets like XSum [13], the performance of models on non-traditional news datasets is also worth exploring.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of 31st AAAI Conference on Artificial Intelligence, pp. 3075-3081, 2017.

[3] Qingyu Zhou, Nan Yang, Furu Wei, Shaohan Huang, Ming Zhou, and Tiejun Zhao. Neural document summarization by jointly learning to score and select sentences. In Proceedings of the 56th Annual Meeting of the Association for
Computational Linguistics (Volume 1: Long Papers), pp. 654-663, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Yang Liu, Ivan Titov, and Mirella Lapata. Single document summarization as tree induction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1745-1755, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Prakhar Ganesh. Pre-trained Language Models: Simplified. Accessed: 2021-01-10.

[6] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3721-3731, 2019.

[7] Sparck Jones Karen. A statistical interpretation of term specificity and its application in retrieval. Journal of Documentation.

[8] Stefan Langer Joeran Beel, Bela Gipp and Corinna Breitinger. Research-paper recommender systems : a literature survey. International Journal on Digital Libraries.

[9] Zhaopeng Tu, Zhengdong Lu, Yang Liu, Xiaohua Liu, and Hang Li. Modeling coverage for neural machine translation. 2016.

[10] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, 2015.

[11] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[12] Akiko Aizawa. An information-theoretic perspective of tf-idf measures. Information Processing Management, Vol. 39, No. 1, pp. $45-65,2003$.

[13] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! Topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, 2018 .