# ビジネスシーン対話対訳コーパスの構築と対話翻訳の課題

中澤敏明李凌寒 Matīss Rikters
東京大学
\{nakazawa, li0123, matiss\}@logos.t.u-tokyo.ac.jp

## 1 はじめに

機械翻訳の研究には対訳コーパスが必須であり、今や様々な言語対・ドメイン・サイズのデータが自由に使える形で公開されているが、それらの多くは書き言葉を対象としている。例えば Web のクロー ルデータ1) $[1]$ 、ニュース解説 2 )、特許文書 [2]、科学技術論文 [3] などは全て書き言葉である。話し言葉を対象としたデータもいくつか存在するが、一人が喋り続る TEDのようなモノローグ形式のもの $[4,5]$ であったり、複数名の対話であっても多くのノイズを含んでいたり $[6,7]$ と、自由に使えるクリーンな対話の対訳コーパスはほとんど存在しないのが現状である。 $\mathrm{WMT}^{3)} 、 \mathrm{IWSLT}^{4)} 、 \mathrm{WAT}^{5}$ ななどの機械翻訳の評価ワークショップでも書き言葉やモノロー グ、ノイズを含む対話を翻訳対象としている。唯一、IWSLT で用いられているデータの一つにスペイン語と英語間のクリーンな対話対訳コーパス [8] があるが、このようなコーパスは希少である。

書き言葉やモノローグの機械翻訳精度は利用可能な対訳コーパスの堌強やニューラルネットワーク技術の発展により非常に向上したが、複数名の対話の機械翻訳についてはまだ精度向上の余地が多く残されている。典型的な例は代名詞補完で、日本語のように代名詞が省略可能な (pro-drop) 言語から英語のように省略できない言語に翻訳する場合に、より自然な訳文とするためには適切な代名詞を補って訳出する必要がある。代名詞の省略は書き言葉よりも話し言葉の方が圧倒的に多いため、対話の翻訳においてはこの問題は重要である。このような問題を解決するために文脈(ここでは翻訳対象文よりも前の文を指す)を考慮した翻訳モデル $[9,10,11]$ が提案されているが、文脈つきの対話対訳コーパスはノイズの

) https://commoncrawl.org/

2) http://www.statmt.org/wmt20/translation-task.html

3) http://www.statmt.org/wmt20/

4) https://iwslt.org/2021/

5) http://lotus.kuee.kyoto-u.ac.jp/WAT/多い OpenSubtitles ${ }^{6}$ や $\mathrm{JESC}^{7)}$ などを除くとほとんど存在しない。

そこで我々は新たに日英ビジネスシーン対話対訳コーパス (The Business Scene Dialogue (BSD) corpus) を構築し、その一部を公開した8)。ライセンスは Creative Commons Attribution-NonCommercialShareAlike (CC BY-NC-SA) であるので、商用でなければ自由に利用できる。公開したデータ量やフォー マットの詳細はホームページや本稿の付録を参照していただきたい。

BSD コーパスは他の言語資源を参照して構築されたものではなく、一から構築されたものである。「ビジネス」における「対話」を対訳コーパスのドメインとして選択した理由は二つあり、一つはビジネスシーンがドメインとして広すぎず狭すぎず適当な粒度であると考えた点で、もう一つはノイズの少ない対話の対訳コーパスが機械翻訳研究の新たな方向を開くのに有用と考えた点である。対話のコーパスであるので、機械翻訳だけでなくもちろん対話の研究にも役立つのではないかと考える。

本稿では BSDコーパスの紹介と、これを利用した WAT2020[12] 翻訳タスクの結果の紹介、翻訳結果の誤り分析から得られた対話翻訳の課題を報告する。

## 2 BSD コーパスの概要

## 2.1 特徴

BSDコーパスは「シナリオ」を大きな単位として用いている。ビジネスにおける様々なシチュエー ションを想定し、そのシチュエーションで行われる一連の対話を一つのシナリオとして収録している。各シナリオには 6 種類のタグからなるシーン情報とシナリオタイトル (より詳細な状況説明)が付与されている。これらの情報を用いることで、例えば対話

6) https://www.opensubtitles.org/

7) https://nlp.stanford.edu/projects/jesc/

8) https://github.com/tsuruoka-lab/BSD

の文脈からだけでは難しいような訳語の選択 (日本語の「すみません」を英訳する場合など) が行えたり、将来的な実利用の場面ではカメラにより周囲の状況 (シーンや会話のシチュエーション)を認識しつつ適切な翻訳を行うといったマルチモーダル翻訳の実現も考えられる。また各発話には話者の情報も付与されている。

## 2.2 構築手順

BSD コーパスは 1) ビジネスシーンの選定、2) シーンに沿った日本語および英語での会話シナリオ作成、3) シナリオの英語および日本語への翻訳の 3 つのステップを経て構築した。なおシナリオ作成には 28 名の日本語シナリオライターおよび 23 名の英語シナリオライターが携わり、日英翻訳は 8 名、英日翻訳は 13 名の翻訳者によって行われた(シナリオ作成と翻訳を兼ねる者も数名いた)。また全体的な質を担保するために、3名が全体の品質チェックを行った。さらに、シナリオがビジネスシーンとして適切であることを保証するために、広く一般に知られているメディア等でビジネス会話の関連したコンテンツに主として関わった経験があり、日本語、英語ともビジネスシーンにおいて問題なく会話ができ、自らもビジネスに携わった経験を保有しているものを監修者として 1 名置き、全体的な内容の確認を行った。

## 1) ビジネスシーンの選定

ビジネスシーンは会議、交渉、雑談など様々なビジネスの状況をカバーするように慎重に選定した。 また特定の業種にしか該当しないようなシーンは避け、様々な業種で汎用的に用いられるようなシーンを選定した。今回は「対面対話 (2 名での仕事上の対話)」「電話応対」「雑談」「会議 (複数名での対話)」「研修」「プレゼン」の6つのシーンを選定した。

## 2) 単言語でのシナリオ作成

対話のシナリオは選定されたビジネスシーンに沿って、日本語および英語それぞれ半数ずつ、単言語で作成した。半数ずつとした理由は、ビジネスシーンにおいて各言語で特徴的に利用されるような表現をなるべく幅広くカバーするためである。一方の言語でのみシナリオを作成しこれを相手言語に翻訳するだけでは、表現のバリエーションが限られてしまう (いわゆる translationese) 可能性があり、これ
を回避することを狙っている。

## 3) シナリオの翻訳

作成された単言語のシナリオは人手で相手言語に翻訳した。機械翻訳の利用は禁止とし、正確性だけでなく相手言語における流暢性や会話としての自然さも重視するよう指示した。例えば英語を日本語に翻訳する場合には、逐語的に訳すと英文中の全ての代名詞を日本語文に訳出することになるが、日本語対話においては多くの代名詞 (特に一人称と二人称) は省略されることが普通である。逆に主語の省略された日本語を英語に訳す場合には、無理に受動態で翻訳することは避け、適当な主語を補完した自然な能動態として翻訳するよう指示した。

## 3 WAT2020 での BSD 翻訳タスク

## 3.1 タスク概要

WAT2020 において BSD コーパスを利用した翻訳タスクを設定した。参加者は BSD コーパスのテストデータの翻訳結果を提出することが求められる。 モデルの訓練には BSD コーパスの訓練データだけでなく、他の既存の対訳コーパス (外部データ)を用いることもできる。日英翻訳には 4 チーム、英日翻訳には 3 チームの参加があった。

## 3.2 人手評価

人手評価基準として特許庁が公開している「特許文献機械翻訳の品質評価手順 ${ }^{99}$ の中の「内容の伝達レベルの評価」を採用した。これは機械翻訳結果が原文の実質的な内容をどの程度正確に伝達しているかを、参照訳の内容に照らして 5 段階 (評価値 5 が最もよく、1が最も悪い) の評価基準で主観的に評価するものであり、いわゆる Adequacy(正確性) 評価と同等のものである。正確性評価は合計の文数が 400 文になるようにテストデータからランダムにシナリ才を選択したものを対象として行い、各文を 2 名の評価者が独立に評価した。また文脈を考慮して適切な訳となっているかという点も考慮に入れている。

図 1 亿正確性評価結果を示す。WAT のポリシー に従いチーム名は匿名化して表示しているが、各グラフで同じチーム名のものは実際に同じチームからの投稿であったことを示している。なお Team B

図 1 日英 (上) および英日 (下)BSD 翻訳タスクの正確性評価結果 (グラフ内の数字は各評価値の割合を、チーム名の下の括弧内の数字は評価の平均を表す)

は本稿の著者らの結果である。両方向とも評価の平均值は最も高いもので 4.2 程度であり非常に高精度で訳されていると思われるが、BSDコーパスの性質上、相槌など非常に短い文なども含まれているため、 4.2 という値がどの程度満足のいくものなのかはより深く分析する必要があると思われる。

## 3.3 各チームの手法と知見

評価結果はどのチームも近い値であったが、用いた翻訳モデルや外部データは異なっている。Team A は翻訳対象文と直前の 3 文を文脈として同時に使った mBART[13] を用いている。他のチームは文脈情報は用いず、単文での翻訳だった。どのチームも大規模な外部データを併用して翻訳モデルの訓練を行い、BSDなどの対話コーパスで fine-tuning するという戦略を取った。

興味深い知見として、BSDコーパスのみを用いた fine-tuning は効果がなく、むしろ翻訳精度が悪化すると多くのチームから報告があった。しかしながら、BSD に加えて外部の対話データ (OpenSubtitles や JESC) も併用した fine-tuning は効果的で、翻訳精度が向上するとも報告された。このことから機械翻訳では fine-tuning においてもある程度の量の対訳コーパスが必要であると結論づけられる。

また Team D からの報告では、sub-word の語彙サイズを小さく (報告では 6,000 を用いていた)する方表 1 翻訳誤りの傾向調査結果

 &  & 合計 \\

が翻訳精度が向上するとのことだった。はっきりとした理由は不明だが、会話文においては使われる語彙がニュース記事や科学技術論文などと比べてそれほど大きくないためである可能性がある。この点については今後深く分析する必要がある。

## 4 対話翻訳における課題

現状の対話翻訳においてどのような課題があるのかを分析するために、WAT2020の BSD 翻訳タスクでの Team B(本稿の著者ら) の翻訳結果について、翻訳誤り傾向を調査した。誤りのタイプを「誤訳 (文脈に関係なく誤り)」「訳抜け」「過剩訳」「文脈上不適切」「代名詞訳出誤り」の 5 種類に分類し、2 名の評価者で分類が一致したものを計数したものを表 1 に示す。なお 1 つの文で複数の分類が付与される場合もあるため、数字は延べ数である。ここでは特に 「文脈上不適切」「代名詞訳出誤り」の 2 つについて例を示しつつ分析を行う。

## 4.1 文脈上不適切

文脈上不適切な訳になっている例を図 2 および図 3 に示す。図 2 は文脈情報を使うことで適切な訳が出力できるであろう例で、実際に一つ前の文を連結して用いる手法 $[9,14]$ を用いて翻訳を行うと一番右の列のように翻訳が改善することがわかる。一方、図3 に示す例は単に前の文の情報を用いるだけでは解決が難しく、ぼんやりと会話全体の流れをとらえ、さらにその流れに沿って適切な表現を選択する必要がある。これには mBART のような事前学習モデルを利用することで解決が期待できるため、まずは Team A の翻訳結果の分析を行う予定である。

## 4.2 代名詞訳出誤り

代名詞の訳出誤りは日英翻訳における典型的な翻訳誤りであるが、その解決に必要となる情報源には我々が観測した範囲では三つのタイプが存在する。一つ目は文脈文に出現する名詞等の情報を用いたり、目的言語側の過去の出力を利用 [15]するなどすれば解決可能なものである。二つ目は図 4 に示すように、文脈文を用いずとも当該文の動詞に後続する

 & Could I have your name please? & May I have your name? & May I have your name? \\

図 2 日英翻訳における文脈上不適切な訳の例 (文脈文を用いることである程度解決が可能)

 & 正直なところ、少し緊張しているんだ。 &  \\

図 3 英日翻訳における文脈上不適切な訳の例 (全体的な会話の流れを掴んだり、一般常識等を用いる必要がある)

$
\begin{array}{|c|c|c}

\end{array}
$

多国籍チームだけの話じゃない、営業グ I'm not just talking about Multinational team, It's not just about Multinational team, it's talking

図 4 原文の機能語列の情報を利用することで省略された代名詞が推測可能な例

 &  &  \\

図 5 正しい代名詞を補完するために話者情報が必要となる例 (3 文目や 4 文目は木内さんの発言の可能性もある)

機能語列から代名詞が推測可能なものであり、例えば Kudo ら [16] の手法などにより解決可能なものである。三つ目は図 5 に示すように、話者情報が必要となるものである。例えば 3 文目は木内さんの発言としても解釈可能であり、その場合は出力文の方が正しい訳となる。

## 5 まとめ

本稿では BSDコーパスおよび WAT2020 での BSD 翻訳タスクの結果の紹介を行い、翻訳結果の分析から対話翻訳の課題について議論した。公開した BSD コーパスがこれらの課題の解決の一助となれば幸いである。BSDを利用した翻訳タスクはWAT202110) においても設定しているので、興味のある方はぜひ参加していただきたい。WAT2021では新たな開発

10) https://lotus. kuee.kyoto-u.ac.jp/WAT/WAT2021/
データとテストデータを追加で公開予定である。

また本稿では触れていないが、AMI Meeting Corpus[17] を和訳することで対訳コーパスとした

ただければと思う。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のためのディープラーニング技術の研究開発」により得られたものです。

またビジネスシーン対話対訳コーパスの構築にあたっては、株式会社バオバブ様に設計の段階からご協力いただきました。ここに御礼申し上げます。

## 参考文献

[1] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[2] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the patent machine translation task at the ntcir-9 workshop. In Proc. of NTCIR-9 Workshop Meeting, pp. 559-578, 122011.

[3] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[4] Mauro Cettolo, Christian Girardi, and Marcello Federico. $\mathrm{Wit}^{3}$ : Web inventory of transcribed and translated talks. In Proceedings of the $16^{\text {th }}$ Conference of the European Association for Machine Translation (EAMT), pp. 261268, Trento, Italy, May 2012.

[5] Mattia Antonino Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), Minneapolis, MN, USA, June 2019.

[6] Jörg Tiedemann. Finding alternative translations in a large corpus of movie subtitle. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 3518-3522, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[7] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. Language Resources and Evaluation Conference (LREC), 2018.

[8] Elizabeth Salesky, Susanne Burger, Jan Niehues, and Alex Waibel. Towards fluent translations from disfluent speech. In Proceedings of the IEEE Workshop on Spoken Language Technology (SLT), Athens, Greece, December 2018.

[9] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Elena Voita, Pavel Serdyukov, Rico Sennrich, and Ivan Titov. Context-aware neural machine translation learns anaphora resolution. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1264-1274, Melbourne, Australia, July 2018. Association for Computational Lin- guistics.

[11] Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1198-1212, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 7th workshop on Asian translation. In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China, December 2020. Association for Computational Linguistics.

[13] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[14] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Hideya Mino, Hitoshi Ito, Isao Goto, Ichiro Yamada, and Takenobu Tokunaga. Effective use of target-side context for neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4483-4494, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Taku Kudo, Sora Ichikawa, and Hideto Kazawa. Language independent null subject prediction for statistical machine translation. Journal of Natural Language Processing, 2015.

[17] Iain McCowan, Jean Carletta, Wessel Kraaij, Simone Ashby, S Bourban, M Flynn, M Guillemot, Thomas Hain, J Kadlec, Vasilis Karaiskos, et al. The ami meeting corpus. In Proceedings of the 5th International Conference on Methods and Techniques in Behavioral Research, Vol. 88, p. 100, 2005.
表 2 公開したビジネスシーン対話対訳コーパスの統計量 (シナリオ数 / 文数)

起点言語：日本語シーン：電話応対シナリオタイトル：伝言への折り返し電話打ち合わせ日程調整

 \\

図 $6 \mathrm{BSD}$ コーパスの対訳例

## A 公開データ数とシーンごとの内訳

表 2 に公開したデータのシナリオ数および文数、またシーンごとの内訳を示す。訓練データは合計 2 万対訳文で、開発データとテストデータはそれぞれ約 2,000 文ずつである。なおWATでの利用を想定して、毎年新たな開発データとテストデータを同量程度ずつ追加公開する予定である。

## B BSD 対訳例

図 6 に BSDコーパスの対訳例を示す。なおデータはjson 形式で配布されている。

## CBSD コーパス構築の詳細仕様

BSD 構築における詳細な仕様のうち、主だったものを以下に示す。

・口語でそのまま発音しない略語 (NY など) は使わず、会話で使われる表記を用いる (New Yorkなど)

・時刻は数字ではなく文字表記で訳出し、「:」は使用しない

・翻訳時にあまりにもて長であったり不自然な場合は訳文を2文にしてもよい

・1 シナリオあたり対話は 3 ターン (6 文) 以上、上限は 20 ターン (40 文) まで

・「プレゼン」と「研修」はモノローグ (登場人物が 1名のみ)でもよい

・日本語では標準語を英語ではアメリカ英語を極力用いること (方言やスラングなど極端にくだけた表現は避ける)

・1 シナリオ内の登場人物は 4 人以下とする

・個別の実在する会社名の使用は避け、A 社、B 社などを用いる (ただしサービス名としての Facebook や twitter、インスタなどの使用はよしとする)

・対面ではない発話の状況を示すような情報、また話者の役職、肩書等は、本文とは別に「付属情報」に記載する


# 階層型 Transformer デコーダを用いた文字レベル機械翻訳

高㠃環
東京大学工学部電子情報工学科
takasaki@logos.t.u-tokyo.ac.jp

## 1 はじめに

文字レベル機械翻訳では、単語レベルや部分語レベルでの機械翻訳に比べて、一文あたりのトークン数が増加する。それに伴い、予測の際に長距離間の文脈を把握することがより難しくなることが考えられる。 そこで本研究では、翻訳文を出力するデコーダを、単語レベルのデコーダと文字レベルのデコーダを階層型に組み合わせたアーキテクチャとすることで、長距離間の文脈を把握する性能を向上させることを目指す.本研究では、文字レベル機械翻訳の先行研究では未だ行われていない Transformer デコーダの階層化を行い、通常の Transformer モデルとの性能の比較を行った. 提案するアーキテクチャでは、階層型モデルを使用する際に、単語レベルデコーダへの入力のために、文字列を単語レベルに分割する必要が生じる．そこで本研究では、単語境界での単語分割に対し、文字数での単語分割を行った場合と比較することで、適切な単語分割手法を検討した。その結果、階層化した Transformer デコーダ [1]を用いる際に、文字数による分割を行った場合では精度が低く、単語境界での分割の方が適していることが明らかになった. また、単語境界によって分割した階層型 Transformer は、従来の Transformer モデルと比較して BLEU スコアの精度は下回ったものの、階層型 Transformer では文章が途切れずに翻訳できるケースが複数あるなど、長距離間での文脈保持に一定の効果があることが観察できた。

## 2 関連研究

## 2.1 文字レベル機械翻訳

ニューラル機械翻訳などの自然言語処理では、文を単語レベル、部分語レベル、文字レベルで分割する処理が行われる。従来は単語レベルでの分割が主流であったが、計算コストやメモリ容量の関係で、語彙サイズが大きい際には低頻度語を辞書に登録せず、未知語として扱う必要がある．そのため、高頻度語と字面

\author{
鶴岡慶雅 \\ 東京大学大学院情報理工学系研究科 \\ tsuruoka@logos.t.u-tokyo.ac.jp
}

が近い活用語などの単語でも、未知語として処理されてしまうという問題が生じる。この問題を防ぐために、語彙サイズを抑えた文の分割手法が提案されてきた。文字レベル機械翻訳は、Costa-jussa ら [2] によって、単語の形を文字レベルから直接生成するモデルが提案されて以降、研究が進められている。また、Lee ら [3] は、単語の境界状態などのセグメンテーションを全く用いない文字レベル機械翻訳アーキテクチャを考案した。また、最近では、ニューラル機械翻訳で Transformer ベースのモデルが広く用いられるようになったことから、文字レベル機械翻訳に最適に改良された Transformer モデル [1] が、Banar ら [4] や Gao ら [5] によって提案されている.

## 2.2 階層型デコーダ

エンコーダ・デコーダから構成される機械翻訳モデルにおいて、デコーダを階層化する工夫をした先行研究がいくつか存在する. Luong ら [6] は、単語レベルの分割手法で語彙サイズを一定にすると定頻度語が未知語として扱われる問題に対して、階層型デコーダを用いることを提案した。通常は単語レベルで自己回帰的に復号し、未知語が出力された場合に限り文字レベルで自己回帰的に復号し、単語レベルと文字レべルの損失関数の和を最小化するように学習することで、翻訳品質を向上させた。また、Ataman ら [7] は、 RNN[8] を用いた文字レベル機械翻訳において、単語レベルと文字レベルデコーダからなる階層型デコーダを用いることで、部分語に分割した場合に比べてより少ないパラメータで同等の翻訳精度が得られることを示すとともに、従来の文字レベル機械翻訳に比べて長距離の文脈・文法依存性をより学習できることを主張した. 階層型デコーダは、文章生成タスクでも研究が進められている. Serban ら [9] は、文章の時系列を予測する文単位でのデコーダと、文ごとに単語の時系列を予測する単語単位でのデコーダを用いた RNN モデルを用いて、文脈を考慮した文章生成の研究を行った。また、渥美ら [10] は、このモデルを階層型

図 1 階層型デコーダ

Transformer に拡張したモデルを提案し、生成精度が向上されることを主張した.

## 3 提案手法

## 3.1 階層型 Transformer デコーダ

本実験では、長距離間の文脈把握能力の向上に期待し、階層型 Transformer デコーダを実装した. これは、 Ataman ら [7] の研究で用いられている階層型 RNN デコーダを、現在機械翻訳タスクで用いられることの多い Transformerに拡張したものである. 階層型デコーダの大まかな構成を図 1 に示す. 詳細な構造を Ataman らの実装した階層型 RNN デコーダと比較しながら説明する。

## 3.1.1 文字表現から単語表現への変換

単語ごとの文字レベルトークン列を、Character Embedding 層によってそれぞれの文字べクトルを獲得した後に、単語表現に変換する必要がある. Ataman ら [7] の階層型 RNN デコーダでは、単語内の文字べクトルを双方向 RNNに入力し、最終出力を単語表現としていた. 本実験では、実行速度の観点から、双方向 RNN ではなく、畳み込み層と Highway 層からなるアーキテクチャを構成し、単語表現を獲得している。

## 3.1.2 単語レベル Transformer デコーダ

変換された単語表現を元に、次の単語を予測する必要がある. Ataman ら [7] の階層型 RNN デコーダでは、エンコーダに対しての注意機構付きRNNを用いて次の単語を予測する表現を獲得していた. 本実験では、エンコーダの出力を Source-Target Attention とした Transformerを用いて実装を行った。

## 3.1.3 文字レベル Transformer デコーダ

単語レベル Transformerによって得られた次の単語の予測表現を元に、単語を構成する文字を復号する必要がある. Ataman ら [7] の階層型 RNN デコーダでは、文字レベルデコーダも同様に RNN を用いている. そして、単語レベルの RNN デコーダの出力を、文字レベルデコーダの状態として入力し、単語頭を表すトークンを入力することで文字を逐次的に復号する方法が提案されていた．本実験では、文字レベルデコー ダも Transformer で実装した. 文字レベル Transformer デコーダの Source-Target Attention の Source として、過去に生成した単語の予測表現を利用することで、現在生成する単語についての情報を文字レベルデコーダに与えるようにした.

## 3.2 単語への分割方法

階層的にデコーディングを行うに当たって、文字レベルでのトークン列を、単語などの大きな単位で分割し、次元を一つ増やす整形をする必要がある. 図 2 に、トークン列の整形を行う方法を示す. 本実験では、二つの方法でトークン列を整形した。一つ目は、単語レベルでの分割手法である. これは、単語が空白によって分割できる言語において、空白を境界として単語ごとに整形し直す手法である．単語の境界を活用する方法は、Ataman ら [7] の手法でも用いられており、単語の境界の情報を与えることによって、文字レベル機械翻訳の精度が向上する場合があると考察されている. しかし、この研究では、同じ階層型デコーダを用いる際に単語の境界情報を与えない場合については検証されていない，そこで、本研究では、単語の境界情報を与えない整形方法として、文字数を基準とした分割を採用し、比較することにした。
表 1 データ数の詳細

## 4 実験

## 4.1 データと前処理

今回の実験では、IWSLT'14独英翻訳コーパズ1)を利用した. 全ての実験において一字ごとにトークン化し、文頭トークン・文末トークンを必要に応じて付加した. データ数の詳細を表 1 に示す.

階層型 Transformer を用いたモデルについては、変換したトークン列を次のいずれかの方法で分割し、整形した.

・スペースによる分割（単語の境界による分割）

・文字数による分割（文字数は 4 とした）

分割したトークンの前後には単語頭トークン・単語末トークンを必要に応じて付与した.

## 4.2 モデル

翻訳モデルのエンコーダには、Gao ら [5] が提案している、Convolutional Transformerを利用した.デコーダには、次の二つのいずれかを利用した.

・通常の Transformer デコーダ

・階層型 Transformer デコーダ

通常の Transformer デコーダでは、Vaswani ら [1] の base モデルと同じものを用いた. 階層型 Transformer デコーダの文字レベル表現から単語レベルへの変換には、フィルタ幅 1 から 7 の畳み込み 7 層と Highway 層 2 層を用いた. 単語レベル、文字レベルでの出力生成には、Vaswani ら [1]の base モデルと同様のものから、埋め込み層の次元を 512 から 256 に変更したものを使用した.

## 4.3 訓練時の実験設定

モデルの実装と訓練・翻訳には fairseq ${ }^{2}$ を用いた。学習には AdamW[11]を使用し、学習率は 5e-4 から inverse square root schedule にしたがって減衰させた. dropout 0.3 , weight-decay 0.0001 、label-smoothing を 0.1 に設定した。学習の際は、patience を 3 epoch とし、開発用データにおける損失を指標として early-stopping を行った.

2) https://github.com/pytorch/fairseq表 2 各モデルの BLEU スコア

## 4.4 評価時の実験設定

テストデータにおいて翻訳を生成する際には、ビー ムサーチを用いた。階層型 Transformer デコーダを用いる際には、文字レベルデコーダでビームサーチを用いて生成する文字を推論し、生成された最も損失が少ない文字列を最終的な予測単語として確定させた。また、ビーム幅は、階層型 Transformer では 1 から 5 を試し、通常の Transformer ではビーム幅を 5 とした. また、評価用データを用いた機械翻訳の評価指標には BLEU スコア [12]を用いた.

## 5 結果と考察

## 5.1 結果

表 2 は、それぞれのモデルの評価データにおける BLEU スコアである. また、生成された翻訳文の例を付録 A. 1 に示す.

## 5.2 考察

まず、分割方法を 4 文字毎とした際は、BLEU スコアが 0.69 と非常に低い值となった. 文字数での分割方法の場合は、訓練時も損失が下がりにくく、タスク自体が困難であったことが考えられる.この一因として、単語分割の場合と異なり、実際の単語境界を跨いで違う単語の接頭辞と接尾辞が単語レベルの表現へと変換されるケースや、実際には同じ単語内であっても、不適切な部分語として分割されている場合が避けられないことが考えられる．以下の考察では、実際の単語境界を用いてトークン列の分割を行った場合について述べる.

階層型 Transformer デコーダによって生成された文の特徴の一つに、通常の Transformer デコーダでは途中で終了していた文を最後まで生成できていることが多いことが挙げられる。 その一例を表 3 に示す.こ

れは、階層型 Transformer デコーダによって長距離間の文脈を保持しやすく、長文の復号を完遂しやすいことが考えられる. その一方で、表 4 に示すような、比較的短い文の場合でも、同じような語句が繰り返されるケースが散見され、階層型 Transformer デコーダでは近距離での単語出現を把握する能力が低いことが考えられる。また、階層型 Transformer でのビームサー チについては、ビーム幅が小さいほど BLEU スコアが高くなり、最もスコアが高かったのはビーム幅が 1 の場合となった. ビーム幅を変更した場合の生成例を表 5 亿示す.この例にも観察できるように、ビーム幅を小さくすることで文章の単語ごとの一致だけでなく、文構造も一致するケースがある．このように、文字レベルデコーダにおけるビームサーチによって、単語レベルデコーダの担う文構造の把握が阻害されるケースが発生する場合があることがわかる. これは、単語デコーダで実際の単語を生成する際にエンコーダからの翻訳元の出力を利用していないため、翻訳元の文構造を把握する能力が低いことが一因として考えられる。文字レベルデコーダでのビームサーチを行うと、単語を生成する文字列としてのスコアが低いものがより選ばれやすい一方で、エンコーダの出力からの情報よりも、実際に Source-Target Attention で注視している単語レベルデコーダの出力からの情報の影響をより受けやすいことが想定される.

## 6 まとめ

本研究では、文字レベル機械翻訳において、単語レベルと文字レベルのデコーダを組み合わせた階層型デコーダを Transformer に拡張し、通常の Transformer モデルと比較を行った. その結果、BLEU スコアでは劣るものの、長文を途切れることなく復号することに適しているということが判明した。また、階層型 Transformer デコーダを構成するにあたって、単語レベルへのトークン列の分割方法を複数検討したところ、単語境界で分割した場合に比べ、文字数で分割した場合は学習が適切に行われないということが明らかになった. 今後の研究としては、文字レベルデコーダにおいて、エンコーダの情報を利用するアーキテクチャを考案することが挙げられる。また、文字レベル機械翻訳における復号時間の増大を解消するために、文字レベルデコーダを非自己回帰的な手法を用いた場合の検証を行う予定である。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[2] Marta R. Costa-jussà and José A. R. Fonollosa. Characterbased neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 357-361, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Jason Lee, Kyunghyun Cho, and Thomas Hofmann. Fully character-level neural machine translation without explicit segmentation. Transactions of the Association for Coтpиtational Linguistics, Vol. 5, pp. 365-378, 2017.

[4] Nikolay Banar, Walter Daelemans, and Mike Kestemont. Character-level transformer-based neural machine translation. arXiv preprint arXiv:2005.11239, 2020.

[5] Yingqiang Gao, Nikola I. Nikolov, Yuhuang Hu, and Richard H.R. Hahnloser. Character-level translation with self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1591-1604, Online, July 2020. Association for Computational Linguistics.

[6] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1054-1063, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Duygu Ataman, Orhan Firat, Mattia A Di Gangi, Marcello Federico, and Alexandra Birch. On the importance of word boundaries in character-level neural machine translation. arXiv preprint arXiv:1910.06753, 2019.

[8] Alex Graves. Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850, 2013.

[9] Iulian Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-to-end dialogue systems using generative hierarchical neural network models. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[10] 渥美和大, 狩野芳伸. Hierarchical transformer によるストーリー生成. 言語処理学会第 26 回年次大会, 2020.

[11] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

## A. 1 翻訳文の生成例

表 3 通常の Transformer では文が途中で途切れる例

ソース文 aber tatsächlich war es eine ausgabe auf den frühen 80ern, als ich gerade mit der grundschule anfing und damit begann , mein selbstbild außerhalb meines familiären umfelds aufzubauen und zu formen, auch in bezug auf andere kinder und zur übrigen welt um mich herum .

but, in fact, the print date was the early 1980s, when i would have been starting primary school

ターゲット文 and forming an understanding of myself outside the family unit and as related to the other kids and the world around me .

Transformer but in fact , it was an early \' 80s copy when i was just starting with the elementary school and beginning to build my self-image outside of my family environment , in terms of other children and it was actually a copy on the early \' 80s when i was just starting to school with elementary school ,

階層型 Transformer and $i$ was starting to build and shape my self-assembly set outside my family sphere , also in terms of other children and the rest of the world around me .

表 5 階層型 Transformer でビーム幅を変化させた例 wir haben tausende organismen die das tun können .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 知識グラフ埋め込みを用いたニューラル機械翻訳における エンティティ表現の改良

坂井 優介
渡辺 太郎
奈良先端科学技術大学院大学
\{sakai.yusuke.sr9, taro\}@is.naist.jp
}

藤田 篤
情報通信研究機構
atsushi.fujita@nict.go.jp

## 1 はじめに

ニューラル機械翻訳の課題として，訓練データ中に出現しない未知語（OOV）や訓練データに含まれていても出現頻度が低い低頻度語に対して翻訳品質が低いことが挙げられる。この課題に対処するために近年のニューラル機械翻訳ではサブワード化を行うことで OOV 問題を解決している $[1,2,3,4]$. しかしサブワード化を行うことは単語の表層表現しか着目しておらず，単語の意味表現を考慮して OOV 問題に対処しているとはいえない。一方, 知識グラフ等の単言語資源は機械翻訳で用いられる対訳文よりも豊富で入手しやすいことを活かし, 単言語資源を用いてニューラル機械翻訳の精度を向上させる取り組みが存在している。その中でも本研究では知識グラフを用いた手法について着目する. 知識グラフをニューラル機械翻訳に注入する手法である KG-NMT[5] を改良し, 知識グラフをニューラル機械翻訳に注入する際に，エンティティをタグに置き換える手法と，エンティティをサブワードに分割にした知識グラフをニューラル機械翻訳に注入する手法の 2 種類提案する. WMT の newtest データセットによる英独翻訳での実験の結果，提案手法ではベースラインより BLEU スコアが高いことを確認できた。

## 2 関連研究

## 2.1 知識グラフ

知識グラフとはトリプレットと呼ばれる形で記述されており， $h$ をへッドエンティティ,$t$ をテー ルエンティティ,$r$ を $h$ と $t$ の関係としたとき, (奈良先端科学技術大学院大学, alias, NAIST) のように $(h, r, t)$ の順に記される. 知識グラフを用いたタスクとして $h$ と $r$ が与えられたとき $t$ を予測する知識グラフ推論が存在しており, 知識グラフ埋め込み $[6,7]$ や強化学習 [8], グラフニューラルネットワー ク $[9,10]$ などによる知識グラフ推論手法が提案されている.これらの手法は, 質問応答システム [11] や推薦システム [12] などで広く利用されている.

## 2.2 知識グラフの機械翻訳への応用

知識グラフを用いたニューラル機械翻訳の取り組みは主に知識グラフをデータ拡張に用いる手法と知識グラフを直接ニューラル機械翻訳に注入する手法に大別できる。データ拡張に知識グラフを用いた研究として, Zhao ら [13] は訓練データ中のエンティティを知識グラフを用いて類似したエンティティに置換することで訓練データを拡張した.

一方，知識グラフを直接ニューラル機械翻訳に注入する手法として，知識グラフ埋め込みを用いる手法 $[5,14]$ とニューラル機械翻訳と知識グラフ推論の同時学習を行う手法 [15] が存在する. Moussalem ら [5] は KG-NMT を提案した。KG-NMT は知識グラフ埋め込みを用いて，文章中に出現するエンティティと知識グラフ中のエンティティが一致したものに対して，Sennrichらの手法 [16] を用いて該当するエンティティに，そのエンティティの知識グラフ埋め込みを結合することで, 知識グラフ埋め込みの注入を行った. KG-NMT は訓練データ中に出現しないエンティティに対しても, 知識グラフ埋め込みを用いているため，エンティティ間の関係も含めて注入することができている.しかしこれらの手法では知識グラフ中のエンティティと訓練データ中のエンティティが一致した場合にのみしか有効ではない.

$D$ をニューラル機械翻訳の入力文の集合としたとき， $D$ に含まれるエンティティの集合を $V(D)$ と表す. また知識グラフ $K$ を関係のインスタンス $(h, r, t)$ の集合としたとき, 知識グラフ $K$ 中のエンティティの集合は $V(K)=\{h \mid(h, *, *) \in K\} \cup\{t \mid(*, *, t) \in K\}$ となる.
he's gonna shack up at auberge du soleil.

NER

he's gonna shack up at auberge du soleil.

Replace to tag

図 1 KG-tag NMT の手続きの概要

このとき実際のエンティティは,$U$ をすべてのエンティティの集合としたとき，ニューラル機械翻訳の訓練データにのみ含まれるエンティティの集合 $(V(D)-V(K))$, 知識グラフのみに含まれるエンティティの集合 $(V(K)-V(D))$, どちらにも出現するエンティティの集合 $(V(D) \cap V(K))$, どちらにも出現しないエンティティの集合 $(U-(V(D) \cup V(K)))$ の計 4 種類の集合が存在する. KG-NMT では $V(D) \cap V(K)$ の集合しか扱うことができなかった。また KG-NMT ではエンティティ単位で訓練データと知識グラフの対応付けを行うため，サブワード化ができず，扱う語彙が大きくなるという問題が生じる.

Zhao ら [15] はそれら 4 つのエンティティの集合についてもニューラル機械翻訳へ活用するために， エンティティをサブワード化したあと, ニューラル機械翻訳と知識グラフ推論の学習を同時に行った。 しかし Zhao らの手法はニューラル機械翻訳と知識グラフ推論の学習を同時に行っているため, 新たな言語対に対するモデルを学習する際, ニューラル機械翻訳モデルだけでなく, 知識グラフ埋め込みも再度学習する必要がある. よって Zhao らの手法で $N$ 言語間の多言語機械翻訳を行おうとすると, 知識グラフ推論の学習を $N(N-1)$ 回行うことになる. そのため, Zhao らの手法は学習コストが高い上にニューラル機械翻訳と知識グラフ推論モデルを組み合わせることは容易ではない.

## 3 知識グラフ埋め込みを利用した ニューラル機械翻訳の改良

本研究では KG-NMT を発展させ, エンティティをタグに置き換える手法と知識グラフ埋め込みの作成時にエンティティのサブワードに基づいて学習し he's gonna shack up at auberge du soleil.

subworded

he's gonna sh ack up at au ber ge du sole il .

図 2 Subworded KG-NMT の手続きの概要

た知識グラフ埋め込みをニューラル機械翻訳に注入する手法の 2 種類を提案する.

## 3.1 KG-NMT におけるエンティティの抽象化

KG-NMT の問題を解決するために，本研究では KG-tag NMT を提案する. KG-tag NMT は未知語処理の手法である Back-off モデル $[18,19]$ を参考にし， データセット内の該当するエンティティに知識グラフに基づく埋め込みの情報を注入後, そのエンティティを特殊タグに置き換える。具体的な手続きの例を図 1 に示す. 図 1 のように知識グラフを注入後, <entity>という特殊なタグに置き換える. KG-tag NMT では知識グラフ情報を注入後にサブワード化が行えるため, KG-NMT の課題である語彙数を削減できる. しかし KG-tag NMT では依然として $V(D) \cap V(K)$ 内のエンティティしか扱えない.

## 3.2 サブワードに基づく知識グラフ埋め 込み

サブワードに基づく知識グラフ埋め込みを行うために Subworded KG-NMT を提案する. Subworded KG-NMT はすべてのエンティティを扱うために，知識グラフ内のエンティティ $V(K)$ のサブワード化を行う.

サブワード化した知識グラフの埋め込み表現を作成する方法として Transformer [17] を使用する. 知識グラフ推論を seq 2 seq の枠組みで行い，作成された埋め込み表現を知識グラフ埋め込みとする。エンティティ $h, t$ を SentencePiece [4] を用いてサブワー ド化したあと, $h$ と $r$ が与えられた際に $t$ を推論するタスクを， $h$ と $r$ を原言語の入力文として $t$ を目的言語の出力文を得るタスクとみなす．知識グラフ
表 1 BLEUによる各モデルの比較

$K$ が与えられた際の損失関数は式 (1) となる.

$
L\left(K ; \theta_{e}, \theta_{d}\right)=\sum_{(e, r, t) \in K} \log p\left(t \mid h, r ; \theta_{e}, \theta_{d}\right)
$

ここで， $\theta_{e}$ と $\theta_{d}$ はそれぞれエンコーダとデコーダのパラメータである.

エンティティをサブワード化することにより，知識グラフ $K$ に含まれないエンティティに対しても埋め込みを得ることができる．またニューラル機械翻訳と知識グラフ埋め込みのエンティティの対応付けはサブワード単位で行う．Subworded KG-NMT の具体的な手続きの例を図 2 に示す. 図 2 のようにサブワード化した知識グラフ埋め込みをニューラル機械翻訳に注入することで，エンティティ $D$ に対する知識グラフの注入量を向上させる．知識グラフ埋め込みの注入手法は KG-NMT [5] に倣う。

知識グラフ埋め込みをサブワード化する手法は Zhao らの手法 [15] と似ているが，Zhao らは知識グラフ推論とニューラル機械翻訳を同時に学習することによって，知識グラフをニューラル機械翻訳に活用した。一方, Subworded KG-NMT では知識グラフ推論とニューラル機械翻訳をそれぞれ独立して学習している. Subworded KG-NMT はニューラル機械翻訳と知識グラフ推論を独立して学習するため, 新たな目標言語へのニューラル機械翻訳を学習する際に，以前学習した知識グラフ埋め込みの再利用が可能となる。そのため $N$ 言語間の多言語機械翻訳を行うときは Subworded KG-NMT では知識グラフの学習を $N$ 回行うだけでよい.この利点はZhao らの手法 [15] の欠点を補っている.

## 4 実験

## 4.1 実験設定

実験は英独翻訳を対象とし，訓練データとして JRC-Acquis3.0と Europarl を用い, 検証用データに WMT の newstest2011, テストデータに WMT の newstest2012 から 2018 までを用いた。知識グラフは英語版の DBpedia [20]を用いた。また訓練データ
に WMT2017，検証用データに newstest2016，テストデータに newstest2017を用いることにより同一ドメイン内での翻訳についても評価を行った。

Transformer の実装には fairseq ${ }^{1)}$ と OpenNMT-py ${ }^{2)}$ を用いた。またサブワード化には SentencePiece[4] 3) を用いた. SentencePieceの学習にはニューラル機械翻訳の訓練データを用いた。また知識グラフ中のエンティティに対するサブワード化と訓練データに対するサブワード化は同じ SentencePiece のモデルを使用した。知識グラフ埋め込みは Transformer を用いて作成した. NER は spaCy ${ }^{4)}$ を使用し, DBpedia 内のエンティティを辞書として用いた。

既存研究のベースラインとして Transformer [17] と KG-NMT [5] を用いた。なお KG-NMT についてサブワード化してしまうと, エンティティに知識グラフ情報を注入することができなくなるため，サブワード化は行わなかった。評価には SacreBLEU $[21]^{5)}$ を用いた。

## 4.2 実験結果

表 1 に実験結果を示す. 2 つの提案手法はすべてのテストデータに対して KG-NMT より BLEU スコアが向上している。これは KG-NMT では行えなかったサブワード化が提案手法では可能になったことより，未知語として処理される単語数が減少したため BLEU スコアが上昇したと考えられる．KG-tag NMT では KG-NMT の手法を改良し，エンティティをタグに置き換えることでサブワード化を行えるようにした。そのため, Transformer と同等の精度を保ちつつ, $V(K) \cap V(D)$ エンティティについては知識グラフを活用することができるため，BLEU スコアが向上したと考えられる。

一方 Subworded KG-NMT では，翻訳の訓練データ中のエンティティ $V(D)$ と知識グラフ中のエンティ

表 2 テストセットのエンティティ $V(D)$ に対する

ティ $V(K)$ が完全に一致していなくてもサブワー ド単位で一致していれば知識グラフ埋め込み情報を注入できる。そのためエンティティ $V(D)$ に対して知識グラフを注入可能な範囲が拡大するので, KG-tag NMT よりも多くの知識グラフをニューラル機械翻訳に注入することができる。このことから全体としての知識グラフの注入量が向上した結果, Subworded KG-NMT の BLEU スコアが向上したと考えられる。

## 4.3 エンティティの分析

提案手法と Transformer [17] の BLEU スコアを比較すると, KG-tag NMT ではスコアの向上は見られるものの，知識グラフ埋め込みを注入したことにより, むしろスコアが低下しているテストデータが存在している。そこで KG-tag NMT によってエンティティ $V(K)$ とエンティティ $V(D)$ の対応付けが行えたエンティティ $V(K) \cap V(D)$ の数を調べた. その結果を表 2 に示す. 表 2 よりエンティティ $V(K) \cap V(D)$ はエンティティ $V(D)$ の 1 2\%ほどしか存在していないことがわかる。また既存手法の KG-NMT と Transformer を比較すると, $V(K) \cap V(D) / V(D)$ の割合によって BLEU スコアの差が大きくなる傾向がある.これは KG-NMT がサブワード化を行うことによって OOV 問題を解決するのではなく, 知識グラフを用いて OOV 問題の解決を図っていることに起因している。そのため知識グラフの注入量と翻訳品質には相関があると考えられる。

## 5 Transformer による知識グラフ推論の精度

Transformer による知識グラフ推論の精度について考察するための実験を行った。知識グラフ推論用データセットに YAGO3-10 [22] を使用し，知識グラフ推論の比較対象モデルを ConvKB [6] と ComplEx [7] とした. Transformerによる知識グラフ推論では表 3 知識グラフ推論精度の比較

エンティティのサブワード化の有無による比較も行った。実験結果を表 3 に示す。

HITS@T はそれぞれ推論したエンティティのうち上位 $T$ 番目以内に正解エンティティが含まれる割合を示している。表 3 の結果より, seq2seq での知識グラフ推論はエンティティをサブワード化しない場合，既存手法である ConvKB [6] や ComplEx [7] と同等の性能であることがわかった。またサブワード化を行った場合でも，上位 10 位以内に正解エンティティが含まれる割合が 3 割ほどあり，サブワード化を行っても知識グラフを学習できているといえる. そのため Transformerによる seq2seq での知識グラフ推論は有効であるといえる。

知識グラフ推論の既存手法ではデータセット中に含まれていない未知のエンティティを推論することができないが，サブワード化し， seq2seq で知識グラフ推論を行った場合エンティティを生成するため,未知のエンティティを推論することができる利点がある. そのため, 潜在的に $U-(V(D) \cup V(K))$ に対しても知識グラフ情報を学習していると予測できるので，今後その予測を検証していく。

## 6 まとめ

本研究ではニューラル機械翻訳の品質向上を目的とし, OOV 問題に対処するために知識グラフを注入する手法を 2 種類提案した. 実験を行った結果，提案手法では BLEU スコアが既存手法よりも向上していることを確認した。また知識グラフの注入量によって翻訳精度が変化するため, 単言語データである知識グラフの注入量を増やすことにより，翻訳精度が向上する可能性があることがわかった。さらに seq2seqによる知識グラフ推論の有用性も確認した. その結果, 未知のエンティティに対する推論可能性をもちつつ, 既存手法と同等の精度で推論することができた，今後の課題として，多言語ニューラル機械翻訳への適用を予定している。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1054-1063, Berlin, Germany, August 2016.

[3] Junyoung Chung, Kyunghyun Cho, and Yoshua Bengio. A character-level decoder without explicit segmentation for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1693-1703, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Taku Kudo and J. Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In $E M N L P, 2018$.

[5] Diego Moussallem, Axel-Cyrille Ngonga Ngomo, Paul Buitelaar, and Mihael Arcan. Utilizing knowledge graphs for neural machine translation augmentation. K-CAP '19, page 139-146, New York, NY, USA, 2019. Association for Computing Machinery.

[6] Dai Quoc Nguyen, Tu Dinh Nguyen, Dat Quoc Nguyen, and Dinh Phung. A novel embedding model for knowledge base completion based on convolutional neural network. In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pages 327-333, 2018.

[7] C. Demir and Axel-Cyrille Ngonga Ngomo. Convolutional complex knowledge graph embeddings. ArXiv, abs/2008.03130, 2020.

[8] Wenhan Xiong, Thien Hoang, and William Yang Wang. DeepPath: A reinforcement learning method for knowledge graph reasoning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 564-573, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Deepak Nathani, Jatin Chauhan, Charu Sharma, and Manohar Kaul. Learning attention-based embeddings for relation prediction in knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Coтputational Linguistics. Association for Computational Linguistics, 2019.

[10] Rui Wang, Bicheng Li, Shengwei Hu, Wenqian Du, and Min Zhang. Knowledge graph embedding via graph attenuated attention networks. IEEE Access, PP:1-1, 122019.

[11] Antoine Bordes, Nicolas Usunier, Sumit Chopra, and Jason Weston. Large-scale simple question answering with memory networks. CoRR, abs/1506.02075, 2015.

[12] Fuzheng Zhang, Nicholas Jing Yuan, Defu Lian, Xing Xie, and Wei-Ying Ma. Collaborative knowledge base embedding for recommender systems. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '16, page 353-362, New York, NY, USA, 2016. Association for Computing Machinery.

[13] Yang Zhao, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graphs enhanced neural machine translation. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pages 4039-4045. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[14] Yu Lu, Jiajun Zhang, and Chengqing Zong. Exploiting knowledge graph in neural machine translation. In Jiajun Chen and Jiajun Zhang, editors, Machine Translation, pages 27-38, Singapore, 2019. Springer Singapore.

[15] Yang Zhao, Lu Xiang, Junnan Zhu, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graph enhanced neural machine translation via multi-task learning on sub-entity granularity. In Proceedings of the 28th International Conference on Computational Linguistics, pages 4495-4505, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pages 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31 st International Conference on Neural Information Processing Systems, NIPS'17, page 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[18] S. Jean, Kyunghyun Cho, R. Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. ArXiv, abs/1412.2007, 2015.

[19] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals, and Wojciech Zaremba. Addressing the rare word problem in neural machine translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 11-19, Beijing, China, July 2015. Association for Computational Linguistics.

[20] Sören Auer, Christian Bizer, Georgi Kobilarov, Jens Lehmann, Richard Cyganiak, and Zachary Ives. Dbpedia: A nucleus for a web of open data. In The Semantic Web, pages 722-735, Berlin, Heidelberg, 2007. Springer Berlin Heidelberg.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[22] F. Mahdisoltani, J. Biega, and Fabian M. Suchanek. Yago3: A knowledge base from multilingual wikipedias. In CIDR, 2015 .


# エンコーダ・デコーダの学習に効果的な摂動の調査

高瀬 翔
東京工業大学
sho.takase@nlp.c.titech.ac.jp
}

清野 舜
理化学研究所 / 東北大学
shun.kiyono@riken.jp

## 1 はじめに

機械翻訳や要約，文法誤り訂正などの系列変換夕スクにおいて，エンコーダ・デコーダモデルは目覚ましい性能を達成している $[1,2,3]$. ニューラルモデルの表現力は極めて高いため，過学習を防ぐために，ドロップアウトを始めとして，様々な正則化手法が提案されてきた [4].

ニューラルモデルの正則化のために，元々の入力に対して，摂動と呼ばれる微小な変化を加えた事例の使用が提案されている $[5,6]$. 学習に摂動を用いた際は，摄動を加えた事例と加えていない事例のいずれに対しても，正確なラベルを予測するよう，モデルを学習する．系列変換タスクにおいては，入力文内のトークンの一部を別のトークンに置換したものと，埋め込み空間において微小なノイズを加えたものという，2 種類の摄動事例が用いられている [7, 8]. 例えば Bengio ら [9] はスケジュールドサンプリングという，デコーダの出力確率分布を元にトークンをサンプリングし，これを摂動としてデコーダの入力に用いる手法を提案した. Sato ら [8] は，モデルの損失を大きくする敵対的摂動をエンコーダ・デコーダの埋め込み空間に適用している。

これらの研究は提案手法によって，頑健なエンコーダ・デコーダモデルが構築できたと報告している. 一方で，これらの手法は摂動を計算するために，最低一回は前向き計算を行わなければならないため，摂動を用いず，単純にエンコーダ・デコーダを学習する場合と比べて，学習に多大な時間を要する. 実際，スケジュールドサンプリングにおいては，用いる摂動の個数と同じ回数デコーダを計算しなければならない．また，敵対的事例を用いる場合には，勾配を用いて摄動を計算するため，前向き計算に加えて，誤差逆伝播を行う必要がある $[9,8]$.

学習に多大な時間を要する性質は, 学習に要する費用の増大につながる．例えば，Transformer (big) [10] モデルについて，広く使われている，WMT

図 1 本研究で用いる摂動の概要. 各摂動は独立なので，本図のように組み合わせることが可能.

英-独の訓練データを用い [11]，AWS のインスタンス上で，敵対的摂動 [8] を用いて学習する場合，約 18 万円必要である．性能向上のためには，ハイパー パラメータの探索はもちろん，複数モデルを用いたアンサンブルを行うことも多々あり [12]，上記のような摂動を用いた学習では莫大な費用がかかってしまう. Strubell ら [13] や Schwartz ら [14] は近年のニューラルモデルの学習は計算量が増大しており，計算量に比して効率的な手法を探る必要を示唆した. 例えば，Li ら [15] は定められた時間の中で， もっとも良いモデルを得る戦略を調査している。しかしながら，摂動を用いた学習については，注意が払われていない。

そこで本研究では，摂動を用いたエンコーダ・デコーダの学習において，時間的に効率の良い手法を探る. 単語ドロップアウト [16] やランダムに入力トークンを置換して摂動事例とする手法のように，計算量の小さな手法も含めて比較を行う．このような計算量の小さな手法は，既存研究においてはべー スラインとして用いられていることもあるが [9],多大な計算時間を要する手法 $[9,8]$ と比較して，短い時間で同等の性能を達成できる，すなわち，時間的効率が良いことが実験を通して明らかになった。

## 2 エンコーダ・デコーダ

本研究ではエンコーダ・デコーダを用いて，機械翻訳のような系列変換タスクに取り組む。本節では

エンコーダ・デコーダの定義を概説する。

系列変換タスクでは，エンコーダ・デコーダは入力系列に対応した系列を生成する. 長さ $I$ の入力トークン列および長さ $J$ の出力トークン列をそれぞれ $\boldsymbol{x}_{1: I}, \boldsymbol{y}_{1: J}$ とすると, エンコーダ・デコーダは次の条件付き確率を計算する：

$
p(\boldsymbol{Y} \mid \boldsymbol{X})=\prod_{j=1}^{J+1} p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}, \boldsymbol{X}\right)
$

ここで， $y_{0}$ おび $y_{J+1}$ はそれぞれ文頭，文末を示す特殊なトークンとし, $X=x_{1: I}, Y=y_{1: J+1}$ とする.

学習においては，訓練データにおける負の対数尤度を最小化するパラメータ $\boldsymbol{\theta}$ を探す. $\boldsymbol{X}_{n}$ と $\boldsymbol{Y}_{n}$ という，対応する系列のペアを含む訓練データを $D$ とする, すなわち, $\mathscr{D}=\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\}_{n=1}^{|D|}$ とすると，次の損失関数を最小化するように学習を行う.

$
\mathscr{L}(\boldsymbol{\theta})=-\frac{1}{|\mathscr{D}|} \sum_{(\boldsymbol{X}, \boldsymbol{Y}) \in \mathscr{D}} \log p(\boldsymbol{Y} \mid \boldsymbol{X} ; \boldsymbol{\theta})
$

## 3 摂動

本節では，本研究で用いる，置換，単語ドロップアウト，敵対的摂動の 3 種類の摄動を概説する. 図 1 に示したように，これらの摂動は独立な手法なので，組み合わせることも可能であり，実際に，実験では置換と単語ドロップアウトの組み合わせも用いる.

## 3.1 置換

スケジュールドサンプリング [9] のように，本来の入力トークンをサンプリングしたトークンに置き換える手法を，本研究では置換と呼ぶ. 置換では,入力系列 $\boldsymbol{X}$ 内のトークン $x_{i}$ について，ある分布 $Q_{x_{i}}$ からサンプリングしたトークン $\hat{x}_{i}$ と確率 $\alpha$ で置き換えることで，新たな入力系列 $\boldsymbol{X}^{\prime}$ を構築する。

$
\begin{aligned}
\hat{x}_{i} & \sim Q_{x_{i}}, \\
x_{i}^{\prime} & = \begin{cases}x_{i} & \text { 確率 } \alpha \\
\hat{x}_{i} & \text { 確率 } 1-\alpha .\end{cases}
\end{aligned}
$

同様にして，Y から $\boldsymbol{Y}^{\prime}$ を構築する.

Bengio ら [9] はカリキュラム学習の発想で, 学習が進むにつれ，徐々に $\alpha$ が減少するような関数を用いた.この関数により, 学習初期では正しい入力トークンを頻繁に用い，学習後期ではサンプリングしたトークンを頻繁に用いるようになる. 本研究で
も同様な関数を用いて $\alpha$ の計算を行う.

$
\alpha_{t}=\max \left(q, \frac{k}{k+\exp \left(\frac{t}{k}\right)}\right)
$

ここで $q$ と $k$ はハイパーパラメータである. 上記の式により， $\alpha_{t}$ は 1 から $q$ まで，学習ステップ $t$ に依存して減少していく.この $\alpha_{t}$ を各ステップにおける $\alpha$ として用いる.

分布 $Q_{x_{i}}$ については, 条件付き確率, 一様分布,類似度の 3 種類を用いる。

条件付き確率： $\operatorname{REP}(\mathbf{S S})$ Bengio ら [9] は訓練時と推論時における差異に対処するため，スケジュールドサンプリングを提案した. スケジュールドサンプリングは次の条件付き確率を $Q_{y_{i}}$ として用いる.

$
p\left(\hat{y}_{i} \mid \boldsymbol{y}_{0: i-1}^{\prime}, \boldsymbol{X}\right)
$

スケジュールドサンプリングはデコーダ側の摄動を計算する手法であり， $Q_{x_{i}}$ に対応する関数はなく, エンコーダ側の入力については手を加えない.

元来のスケジュールドサンプリングはデコーダ側のトークン数分デコーダの前向き計算を行う必要があり，デコーダ側の入力系列長に比例した計算時間を要する。これに対処するため，Duckworth ら [17] はデコーダ側の全入力に対応する条件付き確率を 1 度に計算してしまう，並列化したスケジュールドサンプリングを提案した.この並列化したスケジュー ルドサンプリングは時間的効率が良いと報告されているため，本研究ではこれを用いる。

一様分布：REP(UNI) 並列化したスケジュールドサンプリングを用いたとしても，式（6）を計算するために，最低 1 回はデコーダの前向き計算を行わなければならない．より時間的効率の良い摂動を探るために, 本研究では一様分布と類似度という 2 種類の高速な摂動の計算手法との比較を行う。一様分布 （ReP(UnI)）はその名の通り，各語彙における一様分布を $Q_{x_{i}}$ や $Q_{y_{i}}$ として用いる. 例えばエンコーダ側の摂動事例を得るために，エンコーダ側の語彙からランダムに 1 つサンプリングし, 式 (4) の $\hat{x}_{i}$ として用いる. 本手法は既存研究においてべースラインとしても用いられている手法である [9].

類似度： $\boldsymbol{R E P}($ SIM) 式 (6) の条件付き確率は, 元々の入力トークンに似たトークンに対して高い確率を付与していると考えられる. このため，一様分布よりも摂動として適したトークンを得る手法として，似たトークンに高い確率を付与している分布を考える. エンコーダ側の語彙を $\mathscr{V}_{x}$, エンコーダ側の埋

め込み表現（次元数は $d_{x}$ ）を $\boldsymbol{E}_{x} \in \mathbb{R}^{\left|\mathscr{V}_{x}\right| x d_{x}}$ ，トークン $x_{i}$ に対応する埋め込み表現を $\boldsymbol{e}\left(x_{i}\right)$ と表すとしたとき，次の確率分布を $Q_{x_{i}}$ として用いる.

$
\operatorname{softmax}\left(\boldsymbol{E}_{x} \boldsymbol{e}\left(x_{i}\right)\right),
$

ここで， $\operatorname{softmax}($.$) はソフトマックス関数である.$ すなわち，式（7）は $\boldsymbol{e}\left(x_{i}\right)$ に似た埋め込み表現に高い確率を付与する。言い換えれば，式（7）は文脈を考慮していない場合の， $x_{i}$ の類似トークンに高い確率を付与する。デコーダ側についても， $\boldsymbol{e}\left(y_{i}\right)$ を用いて同様に計算する。

## 3.2 単語ドロップアウト：WDROP

単語ドロップアウトは入力トークン $x_{i}$ について, ランダムに，埋め込み表現 $\boldsymbol{e}\left(x_{i}\right)$ の代わりに，ゼロベクトルを摂動として用いる [16].

$
\begin{aligned}
b_{x_{i}} & \sim \operatorname{Bernoulli}(\beta), \\
\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right) & =b_{x_{i}} \boldsymbol{e}\left(x_{i}\right),
\end{aligned}
$

ここで， $\operatorname{Bernoulli}(\beta)$ は確率 $\beta$ で 1 を返し，それ以外に 0 を返す関数である。すなわち, $\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right)$ は $\beta$ で $\boldsymbol{e}\left(x_{i}\right)$ を，それ以外にゼロベクトルを返す関数である. 式（9）を入力系列の各トークンに適用し，得られた系列を摂動事例として用いる。

## 3.3 敵対的摂動：ADV

Miyato ら [6] は埋め込み空間において敵対的摄動を計算する手法を提案した。この手法では，元々の入力トークンを別のものと置き換えるのではなく，入力トークンの埋め込み表現に敵対的摄動を加える. Sato ら [8] は本手法をエンコーダ・デコーダに適用し，性能向上を報告しており，本研究はこれにならって敵対的摂動を計算する。

敵対的摄動，すなわち，損失の値に深刻な悪影響を及ぼす摂動は損失関数 $\mathscr{L}(\boldsymbol{\theta})$ の勾配を元に計算する. 入力トークン $x_{i}$ についての敵対的摄動を $\boldsymbol{r}_{x_{i}} \in \mathbb{R}^{d_{x}}$ としたとき, 敵対的摂動を適用した埋め込み表現 $\boldsymbol{e}^{\prime}\left(x_{i}\right)$ は次式で計算する。

$
\begin{aligned}
\boldsymbol{e}^{\prime}\left(x_{i}\right) & =\boldsymbol{e}\left(x_{i}\right)+\boldsymbol{r}_{x_{i}} \\
\boldsymbol{r}_{x_{i}} & =\epsilon \frac{\boldsymbol{c}_{x_{i}}}{\left.\|\boldsymbol{c}_{x_{i}}\right.\|} \\
\boldsymbol{c}_{x_{i}} & =\nabla_{\boldsymbol{e}\left(x_{i}\right)} \mathscr{L}(\boldsymbol{\theta})
\end{aligned}
$

ここで， $\epsilon$ は敵対的摄動のノルムを調整するハイパーパラメータである. この式を入力系列のすべてのトークンに適用することで，摄動事例を得る.

## 3.4 学習

置換や単語ドロップアウトを用いた場合の学習としては，摄動事例から正しい系列を予測するよう学習する。例えば，置換を用いた際は，次の負の対数尤度を最小化する。

$
\begin{aligned}
\mathscr{L}^{\prime}(\boldsymbol{\theta}) & =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \log p\left(\boldsymbol{Y} \mid \boldsymbol{X}^{\prime}, \boldsymbol{Y}^{\prime} ; \boldsymbol{\theta}\right), \\
& =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \sum_{j=1}^{J+1} \log p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}^{\prime}, \boldsymbol{X}^{\prime} ; \boldsymbol{\theta}\right) .
\end{aligned}
$

敵対的摄動を用いた場合には，既存研究にならい $[18,8]$ ，一度行った前向き計算を利用し，元の損失関数と敵対的摂動を用いて計算した損失 $\mathscr{A}(\boldsymbol{\theta})$ の合計を最小化する。

$
\mathscr{F}(\boldsymbol{\theta})=\mathscr{L}(\boldsymbol{\theta})+\lambda \mathscr{A}(\boldsymbol{\theta}),
$

ここで， $\lambda$ はつの損失関数を釣り合わせるためのハイパーパラメータである. $\mathscr{A}(\boldsymbol{\theta})$ としては，元の入力に対する出力確率分布を正例とする。すなわち，

$
\mathscr{A}(\boldsymbol{\theta})=\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \operatorname{KL}(p(\cdot \mid \boldsymbol{X} ; \boldsymbol{\theta}) \| p(\cdot \mid \boldsymbol{X}, \boldsymbol{r} ; \boldsymbol{\theta})),
$

ここで， $\boldsymbol{r}$ は各入力トークンに対する敵対的摂動をつなぎ合わせたべクトルとし，KL($\cdot$\|$\cdot$) はカルバック・ライブラー情報量とする.

## 4 機械翻訳における実験

系列変換における代表的なタスクとして，翻訳タスクでの実験を行う1)，広く使用されているデータセットとして，WMT 英-独データセットを用いる。具体的には，Ott ら [11] と同じ前処理を行った，450 万文対を訓練データとして用い，newstest2010-2016 で性能を評価する。性能評価には，SacreBLEU [19] を用いて BLEU を計算する。

エンコーダ・デコーダとしては Transformer [10] の big 設定を用いる. 実装は fairseqを元に行っ $た^{2)}$. 各ハイパーパラメータについては, $q=0.9$, $k=1000, \beta=0.9$ とし， ADv については，既存研究 [8] と同じ値を使用した. 学習ステップ数は全ての手法で 50,000とした.

## 4.1 結果

摄動なしの Transformer（w/o perturbation）および各摄動を用いた際の BLEU 値を表 1 に示す。なお，

2) https://github.com/pytorch/fairseq
表 1 newstest2010-2016での BLEU 値，それらの平均値，摂動なしの Transformer 基準とした際の各手法での計算速度.

 & 24.22 & 22.11 & 22.69 & 26.60 & 28.46 & 30.50 & 33.58 & 26.88 & $\times 1.00$ \\

(a) NLL

(b) BLEU

(c) 摂動なしの Transformer の BLEU値に到達するまでの時間

図 2 newstest 2013 での負の対数尤度（NLL），BLEU 値，摂動なしの Transformer の BLEU 值に到達するまでの時間.

表 1 に記したように，デコーダ側の摂動計算手法である $\operatorname{ReP}(\mathrm{SS})$ 以外はエンコーダ側，デコーダ側の両方に摂動を適用した．BLEU 值に加えて，表 1 は摂動なしの Transformerを基準とし，各摂動を用いた際の計算速度を示している. また，高速な手法である WDroP， $\operatorname{Rep}(\mathrm{UnI}), \operatorname{Rep}(\operatorname{Sim})$ については，組み合わせた際の結果も記した。

まず，摄動なしの Transformer は newstest 2014 において, 28.46 と既存研究 [10] と同程度の BLEU 值を達成しており，強いべースラインとみなして良いと考えられる．BLEU の平均値において，摂動を用いた全ての手法が摂動なしの場合よりも高い値を達成しており，攝動を用いることで，エンコーダ・デコーダの性能が向上することが分かる. 加えて, 素朴な手法である WDROP, $\operatorname{Rep}\left(\mathrm{UnI}^{2}\right), \operatorname{ReP}\left(\mathrm{Sim}_{\mathrm{Im}}\right)$, およびその組み合わせは，既存研究で優れているとされていた Adv や ReP(SS) に対し $[9,8]$, 計算速度も速く，BLEU 值でも上回っている.

図 2 は訓練時間に対する, 各手法での newstest 2013 における負の対数尤度 (a)，BLEU 値 (b)，および，摂動なしの Transformer の学習修了時の BLEU 値に到達するまでの時間（c）を示している，図 (a) (b) より, 学習の早い段階で, WDROP, $\operatorname{REP}(U N I)$, $\operatorname{REP(SIM)}$ は摂動なしの Transformer よりも良い負の対数尤度と BLEU 值に到達していることが分かる。 さらに, 図の（c）から，これらの手法は摂動なしの Transformer 最終的な BLEU 值を, REP(SS) や ADv,摂動なしの場合よりも高速に達成していることが分かり，特に，ADvよりも2 倍高速である。これらの結果から, WDROP, $\operatorname{REP}(\mathrm{UnI}), \operatorname{ReP}(\operatorname{Sim})$ およびその組み合わせは，時間的効率の良い摂動と言える。

## 5 おわりに

本研究では，エンコーダ・デコーダに様々な摂動を適用し，系列変換タスクにおいて，時間的効率の良い摄動を調査した。既存研究では，スケジュールドサンプリングや敵対的摄動の有用性が報告されていたが $[9,20,8]$, 本研究の設定においては, 単語ドロップアウト [16] のような単純な手法がこれらと同等の性能を高速に達成可能であることを示した. この結果から，エンコーダ・デコーダに摂動を適用する際は，まずは単純な手法を試すことを勧めたい。実際に頑健なモデルを構築するため，摄動を選択する際に，また，これからの摂動に関する研究の実験的な比較において，本研究が一助となれば幸いである.

## 参考文献

[1]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learning with Neural Networks. In Advances in Neural Information Processing Systems 27 (NIPS), pp. 3104-3112, 2014.

[2]Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 379-389, 2015.

[3]Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A nested attention neural hybrid model for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 753-762, 2017

[4]Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[5]Ian Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In Proceedings of the $3 \mathrm{rd}$ International Conference on Learning Representations (ICLR), 2015.

[6]Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In Proceedings of the 5th International Conference on Learning Representations (ICLR), 2017.

[7]Yong Cheng, Lu Jiang, and Wolfgang Macherey. Robust neural machine translation with doubly adversarial inputs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4324-4333, 2019.

[8]Motoki Sato, Jun Suzuki, and Shun Kiyono. Effective adversarial regularization for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 204-210, 2019.

[9]Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Advances in Neural Information Processing Systems 28 (NIPS), pp. 1171-1179. 2015

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008. 2017.

[11]Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the Third Conference on Machine Translation (WMT), pp. 1-9, 2018.

[12]Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (WMT), pp. 1-61, 2019.

[13]Emma Strubell, Ananya Ganesh, and Andrew McCallum. Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3645-3650, 2019.

[14]Roy Schwartz, Jesse Dodge, Noah A. Smith, and Oren Etzioni. Green AI. CoRR, Vol. abs/1907.10597, , 2019.

[15]Zhuohan Li, Eric Wallace, Sheng Shen, Kevin Lin, Kurt Keutzer, Dan Klein, and Joseph E. Gonzalez. Train large, then compress: Rethinking model size for efficient training and inference of transformers. In Proceedings of the 37th International Conference on Machine Learning (ICML), pp. 11432-11442, 2020.

[16]Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Advances in Neural
Information Processing Systems 29 (NIPS), pp. 1019-1027. 2016.

[17]Daniel Duckworth, Arvind Neelakantan, Ben Goodrich, Lukasz Kaiser, and Samy Bengio. Parallel scheduled sampling. CoRR, 2019.

[18]Takeru Miyato, Shin ichi Maeda, Masanori Koyama, Ken Nakae, and Shin Ishii. Distributional smoothing with virtual adversarial training. In Proceedings of the 4th International Conference on Learning Representations (ICLR), 2016.

[19]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation (WMT),pp. 186-191, 2018.

[20]Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4334-4343, 2019.

[21]Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive exploration of pseudo data for grammatical error correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[22]Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[23]Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning (CoNLL), pp. 1-14, 2014.

[24]Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 825-835, 2016.

[25]Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 568-572, 2012.

[26]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In Advances in Neural Information Processing Systems (NeurIPS), pp. 13063-13075, 2019.

[27]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning (ICML), pp. 59265936, 2019.

[28]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning (ICML), 2020.

[29]Weizhen Qi, Yu Yan, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang, and Ming Zhou. ProphetNet: Predicting future n-gram for sequence-to-SequencePre-training. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2401-2410.

[30]Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction (AKBC-WEKEX), pp. 95-100, 2012.

[31]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), pp. 3999-4004, 2019.

[32]Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), pp. 9054-9065, 2019.
表 2 各手法の $\mathrm{F}_{0.5}$. また，摄動なしと同一の設定として，Kiyono ら [21] の報告値を掲載した.

## A 文法誤り訂正における実験

系列変換タスクとして，文法誤り訂正と生成的要約タスクでの実験を行う，文法誤り訂正の評価データとしては，広く用いられている，BEAデータセットの開発データとテストデータ [22]，および， CoNLL-2014 のテストデータ（CoNLL） [23]を用いる. BEA については ERRANT [24] で計算した $\mathrm{F}_{0.5}$, CoNLL については $M^{2}$ [25] を評価に用いる.

既存研究 [21] にならい，疑似パラレルコーパスでエンコーダ・デコーダ（Transformer）を学習した後，摂動を用いたファインチューニングを BEA の訓練データ上で行う．各ハイパーパラメータについては，4節と同様の值を用いた。

## A. 1 結果

表 2 に各手法での結果を示す.これらのスコアは，5つの異なるランダムシードを用いてファインチューニングを行い，その平均值である。加えて，本表には摂動なしと同一の設定として，Kiyono ら [21] の報告値を記している3).

表 2 より，BEA テストデータ（テスト）における $\operatorname{REP}\left(\mathrm{UnI}_{\mathrm{NI})}\right.$ と $\operatorname{ReP}\left(\mathrm{SIm}_{\mathrm{Im}}\right)$ を除き，摂動を用いる全ての手法が摂動なしのスコアを上回っていることが分かる。機械翻訳における実験と同様に，WDROP， およびこれと $\operatorname{ReP}(\mathrm{UNI}), \operatorname{ReP}(\mathrm{SIM})$ の組み合わせが ADv と同等の性能を達成している. これらの手法は $\operatorname{ReP}(\mathrm{SS})$ や ADv よりも計算が高速であることから，文法誤り訂正タスクにおいても，時間的な効率の良い手法であると言える.

## B 生成的要約における実験

生成的要約の評価データとして，広く用いられている, Annotated English Gigaword から抽出された,

3）表 2 の摂動なしの結果は Kiyono ら [21] と比べて僅かに低いが，これは学習におけるランダム性によるものと考えられる.表 3 Annotated English Gigaword テストデータにおける，各手法の ROUGE-1，2，L の $\mathrm{F}_{1}$ 值（R-1，R-2，R-L). 本表の下の部分は近年の研究における報告値である.

1951 の文と要約（正確には見出し文）のぺアからなるテストデータ $[30,2]$ を用いる.

訓練データとしては，既存研究 $[2,31]$ にならい， Annotated English Gigaword から抽出した 380 万の文と要約のペアを用いる。また，近年の生成的要約タスクでは，大規模コーパスで事前学習したエンコー ダ・デコーダを用いることも多く [26, 27, 28, 29], これらの研究にならい, REALNEWS [32] と News Crawl [12] から文と要約のペアを抽出し，訓練デー タとした。合計で，1700万の文と要約ペアを訓練データに用いた. 機械翻訳, 文法誤り訂正と同様, エンコーダ・デコーダには Transformer [10] を用い, ハイパーパラメータについては 4 節と同じ値を用いた.なお，敵対的摂動については，勾配が爆発してしまい，学習を安定させることができなかった. ランダムシードを変更して何度か学習を行ったが全て発散してしまい，また，ハイパーパラメータの探索を行うことも予算の都合上難しかったため，本実験においては，敵対的摂動は除くこととする。

## B. 1 結果

表 3 に Annotated English Gigaword テストデータにおける，各手法の ROUGE-1，2，Lの $\mathrm{F}_{1}$ 值，および，近年の研究における報告値を示した $[26,27,28,29]$.表 3 より，機械翻訳や文法誤り訂正での結果と同じく，摂動を用いた全ての手法が摂動なしのスコアを上回っていることが分かる. WDROP, $\operatorname{ReP}\left(U_{N I}\right)$, $\operatorname{REP}(\operatorname{Sim})$ ，およびその組み合わせは $\operatorname{ReP}(\mathrm{SS})$ よりも高い ROUGE 值を達成している. これらは計算速度も高速であることから，生成的要約タスクにおいても，時間的効率の良い手法であることが伺える，加えて, $\operatorname{ReP}\left(\mathrm{UNI}^{2}\right)$ と WDROP はそれぞれ, ROUGE-1 と L，ROUGE-2 において，現状のトップスコア [29] りも高い値を達成している。


# クラウドソーシングによる Web サイトマイニングを用いた 翻訳モデルの即時領域適応

森下 睦 1,2, 鈴木 潤 2, 永田 昌明 1
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 東北大学
\{makoto.morishita.gr, masaaki.nagata.et\}@hco.ntt.co.jp
jun.suzuki@ecei.tohoku.ac.jp

## 1 はじめに

2020 年は新型コロナウイルス感染症の流行により、正しい情報を迅速に収集し行動することが求められた。しかし、日本国内においては政府や自治体からの情報の大半は日本語により発信されたため、日本国内に滞在する非日本語話者にとっては最新の情報を受け取りにくい状況が生じていた。機械翻訳を用いて日本語を多言語に翻訳するケースも見受けられたが、特殊な用語が多く含まれる分野ゆえに十分な翻訳品質が得られない場合があった [1]。

このような状況で十分な翻訳品質が得られない原因の一つは翻訳モデルの学習データにあると考えられる。近年のニューラル機械翻訳モデルの多くは対訳コーパスをもとに学習を行う。この際、翻訳対象領域に関する対訳コーパスが十分に学習していない場合、翻訳品質が低下する欠点がある [2]。そのため、必要十分な翻訳品質を達成するためには、翻訳したい領域 (分野) の対訳コーパスを十分に用意し、適用領域に特化した翻訳モデルを構築するのが、最も有効な手段だと考えられる。しかし、一般に存在する対訳コーパスは限定的であり、特化したい領域の対訳文を十分に用意できない場合多い。

本研究では、特定領域に特化した機械翻訳モデルが必要となった際に、既存の翻訳モデルを迅速かつ安価に適応する手法を検討する。具体的には、図 1 のようにクラウドワーカーから特定領域に関連する対訳となっているURL 対の提供を受け、翻訳対象領域の対訳コーパスを迅速に Web から構築し、翻訳モデルを適応することで高い翻訳品質を達成する。本手法により、前述のような緊急事態発生時にも数日以内に高い翻訳品質を持った翻訳器を提供することを目標とする。

特定領域に関する対訳 URL クロール/対訳文抽出

特定領域に関する対訳文

ファインチューニング

領域特化翻訳モデル

図 1 クラウドソーシングを用いた領域適応の概要図

## 2 関連研究

## 2.1 翻訳モデルの領域適応

翻訳対象領域が限定されている際に、翻訳モデルを特定領域に特化させることを領域適応という。近年主流のニューラル機械翻訳では、大規模対訳コー パスで事前に学習した翻訳モデルを、適応対象領域の対訳コーパスを用いてファインチューニングする手法が主流となっている。Kiyono らは WMT2020 シェアードタスクにおいて、本手法により翻訳モデルをニュース領域に適応させることで、最大 2.2 ポイントの BLEU スコア向上を記録した [3]。ただし、本手法は適応対象領域のみを含んだ対訳コーパスが存在する場合に使用可能である。一般的には、特定領域のみを含んだ対訳コーパスが存在することは稀なため、大規模な対訳コーパスから適応対象領域に近い文を抽出し領域適応を行う場合が多い [4]。
本研究では、適応対象領域に近い対訳文を Web から収集し、得られた対訳文を用いて翻訳モデルをファインチューニングすることで領域適応を実現する。これまでの手法は、既存の大規模対訳コーパスから適応対象領域に近い対訳文を抽出し学習するものが大半だったのに対し、本手法では対訳文を新たに Web から収集するため、既存の対訳コーパスが網羅していない分野についても適応可能である。

## 2.2 Web からの対訳文収集

近年は Web から対訳文を抽出し、大規模な対訳コーパスを構築する研究が進んでいる。ParaCrawl プロジェクトは、Webをもとに EU 公式言語-英語間の大規模な対訳コーパスを作成している [5]。また、日本語-英語間では 1000 万文対を超える Web ベー ス大規模対訳コーパス JParaCrawl が公開されている [6]。これらのコーパスは、CommonCrawl から各 Web サイトに含まれる言語別データ量を分析し、収集対象言語対のデータが一定以上の Web サイトをクロール対象とすることで構築されている。この手法では、膨大な Webから効率的に対訳文を収集することができるが、目的言語対のデータ量がしきい値未満の Web サイトについては取りこぼしが発生するほか、CommonCrawl に含まれていない Web サイトについては収集対象とならない久点があった。さらに、本研究のように翻訳したい領域があらかじめ決まっている状態でも、それに合わせた対訳文を収集することはできなかった。

Ling らはクラウドソーシングを活用して Twitter から対訳文を抽出する手法を提案した [7]。この手法では、安価に対訳文を収集することができるものの、特定領域に特化した対訳文は収集できない。

また Papavassiliou らは、Webクローラを活用することで特定領域の対訳コーパスを構築する手法を提案した [8]。本手法は、特定領域に関する対訳文を収集できるものの、Webクローラを動作させるためには時間とコストがかかる。

以上の研究をもとに、本研究では特定領域の対訳文を Web から迅速かつ安価に収集する手法を検討する。これにより、得られた対訳文を用いて特定領域に特化した翻訳モデルが学習可能となる。

## 3 特定領域対訳文収集

## 3.1 クラウドソーシングによる対訳 URL 収集

図 1 に示したように、本研究ではクラウドソーシングを活用して特定領域対訳文を収集し、領域特化翻訳モデルの実現を目指す。具体的な手順は以下の通りである。まず、適応対象領域に関する少量の対訳コーパス ( 1000 文程度)を人手で用意しこれを Dev セットとする。クラウドワーカーへ Dev セットを提示し、Devセットに近い対訳文を含む Web ペー ジ URL 対の報告を依頼する。クラウドワーカーへは発見した URL1 対につき、規定の報酬を支払う1) (3.3 節参照)。

本研究では、クラウドワーカーはこれまでの経験や勘を活かし、対訳となっている Webページを探し出せると仮定している。この仮定が成り立てば、本手法によりこれまでは難しかった特定領域に特化した対訳文収集が可能になる。

## 3.2 対訳文抽出

クラウドワーカーから対訳となっている URL 対の報告を受けると、自動的に対訳文抽出を行う。 ParaCrawl 等の先行研究では、文書対応付けを行い Web サイト全体からどのページ同士が対応しているかを求め、その後対訳文対応付けを行っていた。しかし、本研究ではクラウドワーカーから対応しているぺージの URL 対を受け取るため、文書対応付けは必要ない。対訳文対応付けには、vecalignを用いる [9]。vecalign は LASER [10] の出力である多言語文埋め込みを受け取り、対訳文を抽出する。本研究では、vecalign が出力するスコア 0.5 以上の対訳文のみを正しい対訳になっていると仮定して以降の実験で使用する。

## 3.3 報酬設定

クラウドワーカーへ支払う報酬は、報告された対訳 URL から得られた対訳文数、対訳品質および適応対象領域への類似度により変化させる。これにより、クラウドワーカーはより翻訳品質向上に寄与する Web ページを探索する意欲が増すことが期待される。また、不適切な作業については報酬を低く抑えることができ、コストの削減にも繋がる。実際の

1）ただし、すでに報告されている URL との重複は許さない。
報酬額は以下のように決定される。

対訳品質スコア報告された対訳 URL から得られた対訳文を $\mathbb{D}=\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする。ここで、 $x_{i}$ は $i$ 番目の原言語文、 $y_{i}$ は $i$ 番目の目的言語文を表す。対訳品質スコア $S_{a}$ は vecalignによって算出された 0 から 1 の值を持つスコア $\mathrm{V}(x, y)$ を用いて以下のように計算される。

$
S_{a}=\sum_{\left(x_{i}, y_{i}\right) \in \mathbb{D}} \mathrm{V}\left(x_{i}, y_{i}\right)
$

領域類似度スコア抽出された原言語文全体の平均文埋め込みを求め、これを Web ページ全体の文書埋め込み $e$ とする。

$
\boldsymbol{e}=\frac{1}{|\mathbb{D}|} \sum_{i=1}^{|\mathbb{D}|} \mathrm{L}\left(x_{i}\right)
$

ここで、 $\mathrm{L}(x)$ は文 $x$ について LASER による多言語文埋め込みを返す関数、||D| は抽出された対訳文数を表す。

本研究では、適応領域に関するDevセットは文書単位に分割されていることを仮定する。 $m$ 文書からなるDevセットに関して、文書埋め込みを同様に計算する: $\boldsymbol{E}_{d}=\left(\boldsymbol{e}_{d_{1}}, \ldots, \boldsymbol{e}_{d_{m}}\right)$ 。

領域類似度スコア $S_{d}$ は、 Web ページ文書埋め込み $\boldsymbol{e}$ と Dev セット文書埋め込み $\boldsymbol{E}_{d}$ の $\cos$ 類似度を用いて以下のように計算する。

$
S_{d}=|\mathbb{D}| \max _{\boldsymbol{e}_{d} \in \boldsymbol{E}_{d}} \frac{\boldsymbol{e} \cdot \boldsymbol{e}_{d}}{\|\boldsymbol{e}\|\left.\|\boldsymbol{e}_{d}\right.\|}
$

最終的な報酬額 $r$ は、上記のスコアをもとに最低保証金額である 20 円を加え、 $r=20+3 S_{a}+3 S_{d}$ 円とした。ただし、報告された URL 対から 1 文も対訳文が得られなかった場合は報酬は 0 円となる。

クラウドワーカーに対しては、各作業について報酬及び各種スコアをフィードバックする。これにより、ワーカーはより高い報酬を得るよう、より品質が上がるように作業内容を変化させることが期待される。

## 4 実験

## 4.1 実験設定

対訳文収集本実験では、適応対象領域として新型コロナウイルス感染症を対象とした。本領域に関する対訳コーパス構築のために、クラウドワーカー を 10 人募集し、 5 日間かけて対訳文収集を実施し
Dev/Test セットに含まれる文数および英語側単語数

表 2 BLEUスコア

表 3 分野別 BLEU スコア

図 2 データ収集日数による BLEU スコアの変化

た。報酬額の設定は 3.3 節の通りである。

翻訳モデル本実験では、英日翻訳を対象とした。分野適応前の汎用翻訳モデルとして、約 1000 万文の日英対訳コーパス JParaCrawl v2.0 で学習した Transformer Big モデル [11]を使用した。JParaCrawl は新型コロナウイルス感染症流行前に収集されたものであるため、対象領域に関する対訳文は含んでいない。汎用翻訳モデルの学習に関するハイパーパラメータは Morishita らの設定と同一である [6]。

本実験では、汎用翻訳モデルをもとに、提案法によりクラウドソーシングを活用して収集した対訳文を用いてモデルをファインチューニングすることで領域適応を行った。また、領域適応のベースラインとして、既存の大規模対訳コーパス (JParaCrawl) から特定領域に近い文を抽出し学習する Moore-Lewis の手法を使用する [12]。本手法は、2010 年に提案された比較的古い手法ではあるものの、2020 年に提案

 \\

図 3 翻訳品質が改善した例

された手法とほぼ同等の性能をもった強力なべースラインとなっている [13]。ファインチューニング時のハイパーパラメータを付録表 4 に示す。

適応対象領域に関する Dev セットおよび Test セットとして、新型コロナウイルス感染症に関する多言語テストセットである TICO-19 [14] を日本語訳し使用した。使用した Dev セットおよび Test セットの文数、単語数を表 1 に示す ${ }^{2}$ 。

## 4.2 実験結果/考察

5 日間のデータ収集の結果、提案法により得られた対訳文数は 6,772 文、総報酬額は 31,079 円となった。得られた対訳文をもとに汎用翻訳モデルをファインチューニングした際の BLEU スコアを表 2 に示す3)。既存の Moore-Lewis 法では汎用翻訳モデルとほぼ同等の品質に留まったが、提案法により収集した対訳文を用いた領域適応は 1.5 ポイントの BLEU スコア向上を達成した。これは、既存の対訳コーパス中に適応領域に近い対訳文が十分に含まれていなかったことが原因だと考えられる。また、提案法による BLEU スコア向上はクラウドワーカーが適切に適応領域に近い対訳 URL を探索できたことを示している。

図 2 に、データ収集日数による BLEU スコアの変化を示す。収集 1 日目は収集できた対訳文数が少ない ( 1,152 文) こともありベースラインモデルを下回っているが、2 日目にはベースラインを大幅に上回る翻訳品質を達成している。

2）翻訳作業期間の都合上、Dev セットおよび Test セットの一部のみを翻訳し使用する。そのため、本来の TICO-19 全体に含まれる文数および単語数と差が生じている。

3） Moore-Lewis 法では、使用する対訳文数を変えて複数のモデルを学習し最も Dev セットの BLEU が高かかったモデル (上位 4,000 文)を使用した。試行した対訳文数は次の通り: スコア上位 1,000 文, 2,000 文, 4,000 文, 6,000 文, 10,000 文, 25,000 文, 50,000 文, 100,000 文。
TICO-19 に含まれる分野別 BLEU スコアを表 3 に示す。提案法による領域適応モデルは、ほとんどの分野でベースラインモデルを上回るスコアを達成している。特に、ニュース分野に関してはべースラインモデルと比較して 4 ポイントの BLEU スコア向上が見られる。これは、新型コロナウイルス感染症に関連したニュースサイトがクラウドワーカーによって多く報告されたことに起因すると思われる。

提案法により翻訳品質が改善した例を図3 亿示す。JParaCrawl のみを用いて学習したモデルでは “novel coronavirus”を正しく翻訳できていないのに対し、提案法による領域適応を行ったモデルでは「新型コロナウイルス」と正しく翻訳できていることがわかる。このように、適応対象領域の対訳文を新たに収集することにより、適応領域に関する専門用語が正しく翻訳可能になるケースが多く見受けられた。

以上の実験から、提案法により、特定領域の翻訳品質を迅速かつ安価に向上させられることを示した。

## 5 おわりに

本稿では、クラウドワーカーを活用した翻訳モデルの即時適応手法を提案した。新型コロナウイルス感染症に関する領域を対象に行なった実験により、提案法を用いることで既存の対訳コーパスが網羅していない領域に対しても迅速かつ安価に領域適応を行うことができることを示した。今後、日英以外の言語対や、新型コロナウイルス感染症以外の様々な領域に対しても適応可能であることを示していきたい。

## 参考文献

[1] 厚労省 HP、新型肺炎の外国語情報で誤訳多発 「手洗い重要」が「トイレ重要」.毎日新聞.

[2] Mathias Müller, Annette Rios, and Rico Sennrich. Domain robustness in neural machine translation. In Proceedings of the 14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pages 151-164, 2020.

[3] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the 5th Conference on Machine Translation (WMT), pages 145-155, 2020.

[4] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain adaptation via pseudo in-domain data selection. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 355-362, 2011 .

[5] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 4555-4567, 2020.

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pages 3603-3609, 2020.

[7] Wang Ling, Luís Marujo, Chris Dyer, Alan W. Black, and Isabel Trancoso. Crowdsourcing high-quality parallel data extraction from Twitter. In Proceedings of the 9th Workshop on Statistical Machine Translation (WMT), pages 426-436, 2014.

[8] Vassilis Papavassiliou, Prokopis Prokopidis, and Stelios Piperidis. Discovering parallel language resources for training MT engines. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), 2018.

[9] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 13421348, 2019.

[10] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics (TACL), 7:597-610, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pages 60006010, 2017.
[12] Robert C. Moore and William Lewis. Intelligent selection of language model training data. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL), pages 220-224, 2010.

[13] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 7747-7763, 2020.

[14] Antonios Anastasopoulos, Alessandro Cattelan, Zi-Yi Dou, Marcello Federico, Christian Federmann, Dmitriy Genzel, Franscisco Guzmán, Junjie Hu, Macduff Hughes, Philipp Koehn, Rosie Lazar, Will Lewis, Graham Neubig, Mengmeng Niu, Alp Öktem, Eric Paquin, Grace Tang, and Sylwia Tur. TICO-19: the translation initiative for COvid-19. In Proceedings of the 1st Workshop on NLP for COVID-19 (Part 2) at EMNLP 2020, 2020.

[15] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[16] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15:1929-1958, 2014.

[17] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pages 2818-2826, 2016.

[18] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pages 4853,2019 .
表 4 ファインチューニング時のハイパーパラメータ

## A ハイパーパラメータ

4 節で、既存汎用翻訳モデルを特定領域対訳コー パスを用いてファインチューニングする際のハイパーパラメータを表 4 に示す。


# オープンドメイン QA における DPR の有効性検証

加藤 拓真 $1 *$ 宮脇峻平 $1 *$ 西田京介 2 鈴木潤 1,3
}

1 東北大学 ${ }^{2} \mathrm{NTT}$ メディアインテリジェンス研究所 3 理化学研究所

 }^{1}$ takuma.kato, miyawaki.shumpei, jun.suzuki\}@ecei.tohoku.ac.jp

${ }^{2}$ kyosuke.nishida.rx@hco.ntt.co.jp
## 1 はじめに

計算機による自然言語の適切な理解を実現することは，自然言語処理および人工知能研究の最終目的の一つである。その実現に向けた取り組みとして，質問応答（QA）タスクに関する研究が近年大きな注目を集めている。QAタスクでは，質問に関連する適切な知識に基づいて解答を推定することが求められるが，関連知識を含む文書集合が用意されないという状況は少なくない。このような状況に対して, オープンドメイン $\mathrm{QA}[1]$ は, 問題を解くために必要な知識源を特に規定しない $\mathrm{QA}$ タスクとして,非常に重要な役割を持つ.

一般的にオープンドメイン QA では，1) 検索モジュール (retriever) が，質問に対して関連する文書を大規模な文書集合から検索し，2）読解モジュール （reader）が，検索した関連文書を用いて質問の解答を推定する，二つのプロセスを用いて取り組まれることが多い，特に関連文書の検索性能が， QA システムの性能に与える影響は大きく[1], Karpukhin ら [2] は，ニューラルモデルによる文書エンコーダによって密なベクトル表現にエンコードされた意味的な情報を，関連文書の検索に用いる Dense Passage Retriever（DPR）を提案し，QA システムの性能改善を実現した。DPR を用いたオープンドメイン QA に対する取り組みは，今後更なる発展が期待されているが，DPR の詳細な実験設定がオープンドメイン QA に与える影響を調査した研究は少なく，DPRについて明らかにされていない要素が多い。そこで本研究では, DPR の応用的な利用を目的として, 特に次元数を変化させたときの検索時間や性能変化について定量的な評価および分析を行う。

図 1 DPR を用いたオープンドメイン QA システムの概要図. 1) 質問に対する関連文書を抽出するため, エンコードされた質問と文書の類似度を計算する retriever と， 2) retriever が抽出した関連文書から質問に対する解答の推定を行う reader の二つのモジュールで構成される。

## 2 関連研究

オープンドメイン $\mathrm{QA}$ では, モデルの予測性能に大きな影響を与える関連文書の検索方法を対象に，様々な研究が行われてきた。従来, 関連文書の検索方法には TF-IDF や BM25 [3] のように，質問中に存在する単語に対する文書中の出現頻度などの統計量を用いたマッチングが使用された。しかし $\mathrm{QA}$ タスクでは，質問文の表現と検索対象に記載される情報の表記が必ずしも同じであるとは限らないため, 表層一致を仮定する BM25 やTF-IDF といった抽出方法では，適切な文書が検索できない可能性が高いことが問題として広く知られている。この問題の解決策として, 近年急速に発達した単語埋め込みや深層ニューラルネットに基づく意味的な情報を含む密なべクトル表現を用いて，質問に対して意味的に類似する文書を抽出する方法が挙げられる，意味的な情報を含む密なべクトル表現を用いることで，質問中に含まれる単語の出現頻度に基づくマッチングだけでは抽出できなかった，未知の情報に関する関連文書の取得が可能となる．密なベクトル表現を用いた関連文書の抽出方法は様々なタスクに対して研究されてきており [4][5][6], 中でも Karpukhi らは

DPR という手法を提案し, 密なベクトル表現によって QA システムの性能が向上したことを報告している. retrieverについて調査している先行研究として, Luan ら [7] は密なベクトル表現の次元数についての調査を行なっている. Luan らの研究では, 密なべクトル表現の次元数がオープンドメイン $\mathrm{QA}$ に与える影響が明らかになっていない点と, DPR を研究対象としていない点が，我々の研究と異なっている.

## 3 DPR を用いたオープンドメイン QA システム

1 章で述べたように，オープンドメイン $\mathrm{QA}$ システムは，文書検索を行う retriever と検索した文書から解答を推定する reader の二つのモジュールで構成される. 本研究では, retriever における関連文書の検索手法として Dense Passage Retriever（DPR）[2] を用いた QA システムを使用する (概要を図 1 に示す). 本章では, この DPRを用いた QA システムについて説明する.

## 3.1 retriever による文書検索

本節では，retriever として DPR を用いた文書検索について説明する.

## 3.1.1 DPR の学習

DPR では与えられた質問 $q$ および文書 $p$ の類似度を計算し, 質問に関連する文書の類似度が高くなるように学習を行う. 類似度は, 質問 $q$ と文書 $p$ との内積によって計算される（式 1).

$
\operatorname{sim}(q, p)=E_{Q}(q)^{\top} E_{P}(p)
$

ここで， $E_{Q} ， E_{P}$ はそれぞれ質問，文書に対する二つのエンコーダを表す. DPRでは, これら二つのエンコーダについて学習を行う. 学習データは, $D=\left.\{\left.\langle q_{i}, p_{i}^{+}, p_{i, 1}^{-}, \cdots, p_{i, n}^{-}\right.\rangle\right.\}$で定義される. ここで, $p_{i}^{+}$は正例の文書, $p_{i, j}^{-}$は負例の文書を示す. モデルは式 2 の損失関数が最小になるようにエンコーダ $E_{Q}$ と $E_{P}$ を学習する.

$
\begin{aligned}
& L\left(q_{i}, p_{i}^{+}, p_{i, 1}^{-}, \cdots, p_{i, n}^{-}\right) \\
& \quad=-\log \frac{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q_{i}, p_{i, j}^{-}\right)}}
\end{aligned}
$

各質問に対して, 式 2 で求められる損失は, 正例文書との類似度が高いほど，また負例文書との類似度が低いほど，值が小さくなる．3.1.2 項では，正例および負例となる文書の選択方法について説明する。

## 3.1.2 正例・負例の選択

本項では, 3.1.1 項で述べた, 正例および負例の文書について，その選択方法を述べる．以下，正例文書をポジティブパッセージとする. また, 負例文書をネガティブパッセージおよびハードネガティブパッセージの二つに分ける.

ポジティブパッセージ文書集合のうち，与えられた質問に対する解答が文書中にも含まれ，かつ, BM25 スコアによる質問と文書間の関連度の高い上位 100 件に含まれる文書をポジティブパッセー ジとして定義する。なお上位 100 件以内に解答が含まれない場合, その質問解答ぺアはデータセットとして使用しないものとする.

ネガティブパッセージ質問 $q_{i}$ に対して，同一ミニバッチ内に存在する他の質問解答ペアが保持するポジティブパッセージを，質問 $q_{i}$ に対するネガティブパッセージとして定義する1).

ハードネガティブパッセージ質問に対する解答が含まれない文書集合のうち, 質問との関連度が最も高い文書をハードネガティブパッセージとして定義する.

## 3.2 reader による解答推定

本節では, reader の解答推定について説明する. reader では, retriever が検索した関連文書から問題の解答となる箇所を推定する．retriever が検索した上位 $k$ 件の文書を, BERT [8] でエンコードし, 分散表現 $\mathbf{P}_{i} \in \mathbb{R}^{L \times h}(1 \leq i \leq k)$ を獲得する. ここで， $L$ は文書の最大長, $h$ は BERT の隠れ層の次元数である. 解答を推定するための文書を決定するため, 獲得した分散表現に対して, 式 3 を用いて各文書のスコアを求める. また, $i$ 番目の文書について, 文書中の位置 $s$ のトークンが解答スパンの開始トークンになる確率 $P_{\text {start }, i}$ と, 位置 $t$ のトークンが解答スパンの終了トークンになる確率 $P_{\mathrm{start}, i}$ を，それぞれ式 4,5 で求める.

$
\begin{aligned}
P_{\text {selected }}(i) & \left.=\operatorname{softmax}\left(\hat{\mathbf{P}}^{\top} \mathbf{w}_{\text {selected }}\right)\right)_{i} \\
P_{\text {start }, i}(s) & =\operatorname{softmax}\left(\mathbf{P}_{i} \mathbf{w}_{\text {start }}\right)_{s} \\
P_{\text {end }, i}(t) & =\operatorname{softmax}\left(\mathbf{P}_{i} \mathbf{w}_{\text {end }}\right)_{t}
\end{aligned}
$

ここで, $\mathbf{P}=\left[\mathbf{P}_{1}^{[\mathrm{CLS}]}, \ldots \mathbf{P}_{k}^{[\mathrm{CLS}]}\right]$ ([CLS] は BERT の [CLS] トークン) であり, $\mathbf{w}_{\text {selected }}, \mathbf{w}_{\text {start }}, \mathbf{w}_{\text {end }} \in \mathbb{R}^{h}$ は, reader が学習する重みベクトルである。また, softmax

1）訓練時にはランダムにミニバッチの作成が行われる度，プログラム上で動的にネガティブパッセージの作成を行う.
表 1 データセットの質問数

の添字 $i, s, t$ は，それぞれ $\operatorname{softmax}$ の結果から添字 $i, s, t$ の行を取得するという意味である. 最終的に, 式 3 で求めたスコアが最も高い文書について, $P_{\text {start }, i}(s) \times P_{\text {end }, i}(t)$ の值が最大となるスパン $(s, t)$ を, reader が予測結果として出力する.

## 4 実験設定

## 4.1 データセット

本実験では, QA タスクの日本語データセットとして JAQKET [9] を用いた。また, 検索対象の文書となるオープンソースの文書集合として，920,172 の記事からなる日本語 Wikiepdia のデータを用いた。

## 4.2 データセットの前処理

MeCab [10] を使用して Wikipedia の記事をトークナイズし, 各文書のトークン数が 200 となるように各記事を分割した ${ }^{2}$ ．トークナイズによる文書の作成をにより, 合計で $6,125,433$ からなる文書集合を取得した。また3.1.2 項における正例および負例の文書の選択は, ElasticSearch ${ }^{3)}$ を用いて質問と Wikipedia の文書間の関連度となる BM25 スコアを算出し, 求めた関連度に基づいて選択を行った。前処理を行ったデータセットの統計情報を表 1 に示す4).

2) トークン数は， $\{50,100,150,200\}$ から，開発セットにおける順位平均値が最も低い値を示した 200 を選択した。

3) https://github.com/elastic/elasticsearch

4）前処理の前後でデータサイズが減少しているが，これは3.1.2 項で述べたように，質問と解答が含まれる文書との関連度が上位 100 件に含まれない場合，その質問はデータセットとして使用しないことが原因である.

## 4.3 モデルアーキテクチャ

本実験で用いる $\mathrm{QA}$ システムは， 3 章で述べた， retriever と reader の二つのモジュールから構成されるモデルを使用した。エンコーダには retriever, reader 共に事前訓練済みの日本語 $\mathrm{BERT}^{5)}$ を用いた.表 2 に retriever および reader のハイパーパラメータの値を示す6). retriever による関連文書の抽出には，質問および文書に関する二つのエンコーダから取得した密なべクトル表現を用いて，式 1 の内積值に基づく関連度を算出した。関連度の計算ツールには，検索時間の効率化を図るため， faiss ${ }^{7)}$ を使用した. faiss の検索手法には，最大内積探索に基づいた IndexFlatIPを用いて，関連文書の検索を行った。なお全ての文書のエンコードに要する時間は，TITAN X（Pascal）を用いた場合，およそ 5 時間 25 分ほどであった. reader の性能を測る評価指標として，質問に対する正解の解答との完全一致を用いた。

## 5 実験

本実験では，DPR の要素の 1 つである密なべクトル表現の次元数が $\mathrm{QA}$ システムの性能に与える影響を明らかにするために， ベクトルの次元数を変えたときの性能評価を行った。retriever の性能評価として，5.1 節では， faiss を用いて関連文書の検索を行った際の検索時間の結果を，また 5.2 節では,抽出した関連文書の評価結果を示す. さらに 5.3 節では，質問に対する QA システムの正解率の結果を示す.

## 5.1 関連文書の検索時間

retriever の文書エンコーダを用いて，Wikipedia の全文書のエンコードを行い，faiss を用いた関連文書の検索を行った．密なべクトル表現の各次元に対して, faiss のインデックスの構築時間，および関連文書の検索時間を表 3 に示す。なお GPU は TITAN X （Pascal）を使用した。また関連文書は上位 300 件までを対象に抽出を行った。実験結果より，関連文書の検索に要する時間は，検索に用いる質問および文書におけるべクトル表現の次元数におおよそ比例することが分かった。これは関連文書の検索に用いた

5) https://github.com/cl-tohoku/bert-japanese

6）開発セットを用いて, retriever では順位平均值が最小となった值，reader では完全一致した数が最多となった值を，設定值とした.

7) https://github.com/facebookresearch/faiss
表 3 faiss によるインデックス構築時間および検索時間

図 2 開発セットにおける retriever の正解率

手法が，式 1 に示す内積計算に基づいたもので，べクトル表現の次元数に比例して, 演算の計算量が増加するためであると考えられる.

## 5.2 retriever の性能評価

各質問に対して, retriever が抽出した上位 $k$ 件までの文書中に解答が含まれる場合を正解とし， retriever の性能評価を行った。評価結果を図 2 に示す. 図 2 より，密なベクトル表現の次元数が大きいほど，解答を含む文書の抽出漏れが少ないことを確認した。しかし，上位 100 件までの文書集合でさえ解答が含まれる割合は七割程度であり, 残り三割程度の質問は解答不可能であることを示している。

## 5.3 QA システムの性能評価

retrieverが抽出した関連文書の集合のうち，上位 $k$件までの文書を使用した時の正解率を評価指標として，QA システムの性能評価を行った。評価結果を図 3 に示す. 図 3 より, 密なベクトル表現の次元数が最も大きい 768 次元での正解率が, 最も高い値となった。また，与えられた質問に対して，reader が予測した解答のスパンに対して, 正解のスパンと部分的に一致している事例がどれほど存在しているか調查を行った。具体的には，式 6 に示す Intersection over Union の値を算出し， $\lambda$ の値を超えた場合の予測事例を正解と判定した場合の正解率を算出した。

$
\frac{T_{\text {gold }} \cap T_{\text {pred }}}{T_{\text {gold }} \cup T_{\text {pred }}} \geq \lambda
$

ここで, $T_{\text {gold }}, T_{\text {pred }}$ は, 正解の解答およびモデルが予測した解答を，それぞれ MeCabでトークン単

図 3 開発セットにおける QA システムの正解率

表 4 密ベクトルの次元数に対する QA システムの正解率

位に分割した集合を表す. $\lambda$ はモデルの予測が正解とどの程度一致しているかを定めるハイパーパラメータである.今回は抽出された上位 100 件の文書を対象として, readerの予測に対する正解率を， $\lambda=1.0$ と $\lambda=0.5$ それぞれについて算出した. 評価結果を表 4 に示す. 表 4 より, $\lambda=1.0$ および $\lambda=0.5$ では性能の差がほとんどみられなかった。このことから，モデルの予測が誤っている場合，その予測スパンは，正解の解答スパンとは異なった部分を文書から抜き出しているということが考えられる。

## 6 おわりに

本研究では，DPR を用いた密なべクトル表現が， $\mathrm{QA}$ システムの性能にどのような影響を与えるか調査するため, JAQKET データセットを用いて, QA システムの予測性能や関連文書の検索時間に与える影響を評価した。結果として，密なベクトル表現の次元数が文書の検索時間やモデルの性能に与える影響が明らかになった。本実験では，一つのデータセットに対象を限定して実験を行ったが，今後は複数のデータセットに対して同様の実験を行い，データ間での横断的な比較について調査を行っていきたい。

謝辞本研究の一部は JSPS 科研費 JP19H04425 の助成を受けたものである.

## 参考文献

[1] Ellen M. Voorhees. The TREC-8 question answering track report. In TREC, 1999.

[2] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick S. H. Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In $E M N L P, 2020$.

[3] S. Robertson and H. Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, , 2009.

[4] Wen-tau Yih, Kristina Toutanova, John C. Platt, and Christopher Meek. Learning discriminative projections for text similarity measures. In CoNLL, 2011.

[5] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry P. Heck. Learning deep structured semantic models for web search using clickthrough data. In ACM CIKM, 2013.

[6] Daniel Gillick, Sayali Kulkarni, Larry Lansing, Alessandro Presta, Jason Baldridge, Eugene Ie, and Diego GarcíaOlano. Learning dense representations for entity retrieval. In CoNLL, 2019.

[7] Yi Luan, Jacob Eisenstein, Kristina Toutanova, and Michael Collins. Sparse, dense, and attentional representations for text retrieval. CoRR, Vol. abs/2005.00181, , 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In $N A A C L-H L T$, 2019.

[9] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会, 2020.

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In $E M N L P, 2004$.


# JointQA モデルによる質問応答精度向上の日本語データセット JAQKET への適用検討

竹下恭史朗
早稲田大学大学院情報生産システム研究科
tkstria@ruri.waseda.jp

## 1 はじめに

質問応答 (Question answering または Answer generation) タスクとは、与えられた文書などの知識をもとに、入力された質問や読解問題に正しく応答することを目指すタスクである。一方、問題生成 (Question generation) タスクとは、入力された言葉を解答とする問題を出力することを目指すタスクである。これらは問題、解答、背景知識の 3 つの要素で構成されており、2 つの要素から残り 1 つの要素を導くことができる。例えば質問応答においては、問題に対して背景知識を元に解答を導く。問題生成においては、解答になるべき語句に対して背景知識を用いて問題文を生成する。ここで、背景知識とは問題と解答の関係性を示す文書や、多くの文書から学習した単語の数学的表現 (word2vec など) が挙げられる。 これらのタスクには多くのモデルが用いられ、これまでに多様な改善が試みられ、優れたモデルは社会に応用されてきた。

質問応答と問題生成は互いにその質を補完する関係が知られており、同一のモデルで質問応答と問題生成の同時に訓練したモデル (これを JointQA モデルと呼ぶ) は、個々のタスクに特化したモデルよりも教師データとの一致が高いという報告が見られる。そこで、本研究では、2020 年に発表された日本語の質問応答データセット JAQKET[12]を用いて、質問応答と問題生成の質の相関を観察した。

## 2 関連研究

WikiQA[11] や SQuAD[6] に代表される質問応答データセットを用いた研究として、問題から解答を導く質問応答のみならず、解答からそれを問う問題を作る問題生成が知られている。そしてこの問題生成は質問応答よりも長い単語列を出力しなくてはならないためタスクとして難しく、また、受け入れら
れうる問題が教師データとして与えられているもの以外にも多様に考えられるなど、多くの課題を抱えている。

ところで、質問応答・問題生成に関する興味深い事象として、JointQA モデルによる質問応答、問題生成の質の向上がある。JointQA モデルとは、質問応答・問題生成の双方を同時に訓練した深層学習モデルのことで、JointQA モデルの学習によって、単に一つのタスクのみを学習したモデルよりも精度の高い出力が得られるというものがある。

JointQA モデルによる質問応答の精度の向上は多くのデータセットで確認されており [8]、問題生成の訓練が、質問応答をする上で有効な Attention 機構の作用に寄与することが原因と見られている。これまでそういった JointQA モデルの研究の題材となっていたのは英語で書かれたデータセットによるものが多かった。

しかし、2020 年に鈴木らにより日本語で書かれた質問応答データセット JAQKET がリリースされ、構造化された日本語の質問応答データセットの供給により、日本語の問題生成や質問応答の研究が行えるようになった。

これまでに行われた質問応答と問題生成の精度の相関を見る研究は、英語で書かれたデータセットのものが多く、日本語での問題生成に着目した研究は見られていない。

## 3 研究目的

本研究では、JAQKETで与えられた問題文、解答、解答についての Wikipedia 記事、これら三つの要素を用いて、質問応答と問題生成をさまざまな条件で行い、JAQKET を質問応答のみならず問題生成についても活用することを試みる。

もっとも注目する点として、他のデータセットに見られていた JointQA モデル 1 による質問応答の一

図 1 入力する問題と文書を連結したものシアン=問題、黄=弁別のための値、緑=文書

図 2 入力する解答と文書を連結したものマゼンタ=解答、黄=弁別のための値、緑=文書

致度の向上が、JAQKET においても見られるかを観察する。

## 4 実験

入力として、質問応答タスクの場合は問題と解答に対する情報を含んだ文書を入力し、深層学習モデルによって解答を出力することを目指す。問題生成タスクの場合は解答とその解答に関する情報を含んだ文書を入力し、教師データに近い問題を生成することを目指す。

## 4.1 入出力データ

データ資源として、2020 年に鈴木らが発表した JAQKET を用いる。JAQKET は各タプルに ID、問題、解答、真の解答と 19 のダミーを含んだ選択肢、正規化 (全角文字を半角にするなど) 前の問題文・解答を含んだデータセットで、別のデータが、各選択肢についての Wikipedia 記事全文を与えている。実際の JAQKET の一部を図 1 に示す。訓練用デー タとして 13,061、開発用データとして 997、評価用データとして 995 の問題 - 解答対がある。今回の研究では、JAQKET から問題と解答と Wikipedia 記事を sentencepiece で分かち書きしたものの先頭 500 サブワードを抽出し、質問応答の場合は問題文に、問題生成の場合は解答の語句にそれを連結した。この際、各タスクのどちらを行うかの弁別のために、問題あるいは解答と記事の間に、問題生成の場合は 「0」を、質問応答の場合は「1」を付与し、モデルがどちらの学習を行っているか把握する上での助けとした。(図 1,2 )表 1.JAQKET に含まれるデータの一例

 \\

実験の条件として、解答と文書から問題 (q-gen のみ)、問題と文書から解答を導く (a-gen のみ) ものに加え、JointQA による精度の改善を観測するために、全データを半分に分けてそれぞれ a-gen と q-gen を一つのモデルで同時に行う a-gen $\vee \mathrm{q}$-gen、全データを a-gen にも q-genにも用いる a-gen $\wedge$ q-gen、これら四つの条件で実験を行った。各条件の入力における、訓練データ、開発データの数を表 2 に示す。

表 2. 各条件における入力

このとき、a-gen $\vee$ q-gen は一つの問題 - 解答対は質問応答と問題生成のどちらかにしか使わない一方、a-gen $\wedge$ q-gen は一つの問題－解答対を質問応答と問題生成の双方に使うことに注意されたい。

## 4.2 実験条件

先述の入出力を扱うため、ニューラル機械翻訳に用いられるフレームワークである OpenNMT[3] を用いて深層学習モデルを構築した。

具体的には、モデルとしてLSTMを用い、SQuAD を用いた過去の研究および OpenNMT が推奨する設定を参考に、学習係数は 1.0、バッチサイズは 32、入出力次元は 500 、ドロップアウトは 0.3 とした。最適化関数として、Adadeltaを用いた。

## 4.3 評価の手法

既存の質問応答・問題生成の研究においては、 データセットごとに推奨される評価の手法があり、 たとえば SQuAD の場合は a-gen の場合 F1 スコアと EM(Exact match)、q-gen の場合 BLEU[5]を用いている。今回は a-gen と q-gen の評価について、SQuAD に倣い a-gen は EM とF1 スコア、q-gen は BLEU を用いた。

## 5 結果

各条件の a-gen、q-gen の結果を表 3 に示す。表 3. 各条件で訓練したモデルの出力の評価

結果から、a-gen(EM) においては、a-gen のみの入力よりも a-gen $\wedge$ q-gen の入力のほうが大きい値を得ており、JointQA による精度の向上が見られた。一方、a-gen(F1)においては、a-gen のみも a-gen $\wedge$ q-gen も同じ值を得た。出力の一例を付録中の表 5,6 に示す。

また、q-gen に関して、過去の研究で Sachan ら [8] がデータセットとして SQuAD を用いて報告した值を表 4 に示す。

表 4.SQuAD を用いた既存研究の q-gen の評価 [8]より引用

IR は編集距離を元にした生成アルゴリズム、MOSES は統計的機械翻訳に用いられるモデル、DirectIn は longest sub-sequence を問題として出力するモデル、 H\&S はあらかじめ設定されたルールベースで問題を多く生成し、ランキングするというモデルである。「Tang ら，2017」は GRUを用いたニューラルネットワークを用いたモデルで、「Du ら，2017」は
LSTM を用いたニューラルネットワークを用いたモデルである。

出力の例を付録の

## 6 考察

## 6.1 a-gen の評価の SQuAD との比較

a-gen に関して、a-gen のみでの訓練で 37.81 の EM、 0.7500 の F1 スコアを得た。また、a-gen に加えて q-gen の訓練をすることで 52.76 の EM、0.7500 の F1を得た。本研究で参考としているSQuAD の公式サイトでは、コンペティションの形式で各モデルの EM と F1 スコアを載せるリーダーボードを公開している1)。そこでは末席である 63 位のモデル (匿名) でも、EM 53.698 を記録しており、当研究で得られた最大の EM である 52.76 を上回っている。一方で、当研究で記録した F1 スコアの 75.00 に関しては、リーダーボードの 55 位と 56 位の間に位置している。なお、 57 位には、当研究でも実装した LSTM を含む、CNN モデルが大っている。

低いスコアを記録した一因として JAQKET が SQuAD に比べて新しく、探索がされていないデー タセットであるという以外にも、JAQKET が本来 20 の選択肢の中から正しい選択肢を選択する課題のためのデータセットとしてリリースされたため、問題から自由に解答を出力する形式のタスクとしては困難なことが考えられる。

## 6.2 q-gen の BLEU の低さ

q-gen に関して、本研究の BLEU を考察する。本研究では LSTM を用いているため、その他のハイパーパラメータの影響はあるにせよ、表 4 に挙げたなかでのモデルでは、LSTM を用いて SQuAD を処理した Du らの実装により近いといえるだろう。Du らの結果 12.28 に比べ、本研究では q-genのみの訓練で 3.9、a-gen $\wedge$ q-gen の条件で 2.8 とそれを大きく下回る結果となった。

原因として考えられるのは、一つは単にハイパー パラメータやモデルの選択に余地がある可能性である。今回の学習では、特に q-gen, a-gen $\vee$ q-gen, a-gen $\wedge$ q-gen の学習において過学習の傾向がある。より適切に実装を行うことで、精度が改善する可能性がある。

他にもデータセットの特徴が影響している可

能性がある。例えば SQuAD は英語で書かれた、 Wikipedia の一段落に基づいて作成された問題 - 解答対を含むデータセットである。対して JAQKET は日本語で書かれた、あらかじめ存在したクイズ問題文に Wikipedia の全文を文書として与え、それが情報として十分であることが保証されていないデータセットである。

## 6.3 a-gen $\vee$ q-gen における値の低さ

a-gen $\vee$ q-gen の入力条件について、単一のタスクを訓練したモデルや a-gen $\wedge$ q-gen を訓練したモデルよりも、各タスクにおいて低い数值を得ることがわかった。

この研究において、a-gen $\vee$ q-gen は一つのデータセットを半分に分け、片方を質問応答、もう片方を問題生成のみに用いる入力である。つまり、質問応答だけに使われる問題と、問題生成だけに使われる解答が存在することになる。一方、a-gen $\wedge$ q-gen はデータセットに含まれるデータすべてを質問応答にも問題生成にも用いる入力である。つまり、すべての問題・解答が、質問応答にも問題生成にも用いられることになる。向上が a-gen $\wedge$ q-gen だけに見られたのだとすれば、一つの問題－解答対の両方を学習に用いることが必要になるということである。

JointQA による精度の向上のメカニズムは未だ議論されているが、一説には文書への attention 機構がより効果的に訓練されることが述べられている。本研究での a-gen $\vee$ q-gen で向上が起こらなかったのには、ある一つの文書を質問応答・問題生成のどちらかにしか使わず、文書への attentionへの訓練を、質問応答と問題生成の両方で訓練しなかったことが一つの原因として考えられる。

## 6.4 a-gen $\wedge$ q-gen における a-gen のみとの比較

a-gen $\wedge$ q-gen について、a-gen(EM) については 52.76、a-gen(F1)については 75.00 の値を得た。a-gen のみと比較して、F1 スコアは同程度のものを得たが、EM については、q-gen の訓練を行うことで 37.81 から 52.76への向上を得た。q-genについては、 q-gen のみの訓練が 3.9 に対して、a-gen $\wedge$ q-gen は 2.8 を得たため、q-gen については向上を得られなかった。また、表 4 におけるDu らの結果はLSTMを用いたモデルであるから、本研究で実装したものと近いものであるが、それは SQuAD においては 12.28 の BLEU を記録しており、それに比べると低い值を得たことがわかった。これは SQuAD における q-gen のみの訓練をしたモデルの結果だが、これが本研究と同じ LSTM を用いて実装されたものであることを考えると、その他のハイパーパラメータの影響を無視すれば、この差はデータセットによるものだと考えられる。

## 7 おわりに

今回の研究では JAQKET を用いて質問応答・問題生成、およびそれらの相互関係について踏み込む研究を行った。今後の課題として、問題生成を SQuAD などの既存のデータセットを用いた研究と同程度の精度で出力を得ること、単に正解データとの一致度だけでなく、問題生成の解答可能性や多様性を評価することなどが挙げられる。

## 参考文献

[1]Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension, 2017.

[2]Michael Heilman. Automatic Factual Question Generation from Text. PhD thesis, USA, 2011.

[3]Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[6]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[7]Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8]Mrinmaya Sachan and Eric Xing. Self-training for jointly learning to ask and answer questions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 629-640, 2018.

[9]Linfeng Song, Zhiguo Wang, Wael Hamza, Yue Zhang, and Daniel Gildea. Leveraging context information for natural question generation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 569-574, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10]Duyu Tang, Nan Duan, Tao Qin, Zhao Yan, and Ming Zhou. Question answering and question generation as dual tasks, 2017.

[11]Yi Yang, Wen-tau Yih, and Christopher Meek. WikiQA: A challenge dataset for open-domain question answering. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2013-2018, Lisbon,
Portugal, September 2015. Association for Computational Linguistics.

[12]鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセットの構築. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

## A 付録

## A. 1 質問応答・問題生成出力の例と正解データとの比較

各入力条件の出力結果と、目標となる正解データを表 5、表 6 に示す。

表 5. 質問応答の出力の例

 &  \\

表 6. 問題生成の出力の例

 &  & (空出力) &  &  &  \\


# 問い返し質問文生成によって曖昧性解消を行う 質問応答システム

中野佑哉 1,3 河野誠也 ${ }^{1,2}$ 吉野幸一郎 $2,3,1$ 須藤克仁 ${ }^{1,3}$ 中村哲 1,3
1 奈良先端科学技術大学院大学
2理化学研究所ロボティクスプロジェクト
3 理化学研究所革新知能統合センター AIP
}

\{nakano.yuya.nw9, kawano.seiya.kj0, koichiro, sudoh, s-nakamura\}@is.naist.jp
## 1 はじめに

質問応答は自然言語の質問を入力としてその回答を出力するタスクである。特に近年の質問応答ベンチマーク [1][2] で定義されているような, 回答候補が含まれる文書群を与えた上でそこから回答を導き出すような質問応答は機械読解とも呼ばれ [3], 機械による自然言語の理解がどの程度進んでいるかを測る重要な指標となっている.

こうした既存の質問応答タスクでは，ユーザが発する質問が応答に十分な情報を含んでいることを仮定している。しかし実際の質問応答タスクを考えた場合，システムに与えられるユーザ発話はしばしば曖昧で，正しい回答を導き出すために追加の情報を必要とする. こうした曖昧なユーザ発話にどう対応するかについては，発話外の情報を用いる [4]，ユー ザに問い返しを行う [5] など，様々なアプローチが検討されている。特にシステムからの問い返しを行う枠組みは対話的情報検索 [6] と呼ばれ，ユーザとの言語的なやり取りを通じて必要な情報を取得するためにどのような問い返しが必要かということについて検討が行われている [7].

しかし，こうした問題に対して大規模ベンチマー クを構築することは難しい。一番の問題点は，実際の曖昧な質問とその真の意図を大規模に収集することが困難な点にある．また，どのような曖昧さが質問応答システムの回答を困難にするかも明らかではない. そこで本研究では，質問文の文構造に基づいた変換によって，意図が曖昧となる質問を疑似生成する手法を提案する. 文構造を用いて質問文中に含まれる情報を選択的に除くことにより，曖昧さを制御した疑似質問文を生成することができる。本論文では特に句に着目した情報選択手法を提案した。

図 1 曖昧な質問文生成の流れ

また，このような疑似生成された曖昧な質問文を与えた場合に，必要な情報を復元する機能が必要となる. そこで，自動生成された問い返し質問文によって必要な情報を回復する枠組みを構築した。この問い返し質問文生成には，格フレームを用いた。

評価では，まず変換に基づく質問文に対する曖昧性付与によって，実際にどの程度既存の質問応答モデルからの回答が難しくなるかについて評価した. その上で, システムからの問い返しに対してユーザが正しく回答した場合，元の質問文への曖昧性付与によって低下した質問応答の精度がどの程度復元されるかについて評価を行った。

## 2 文構造を用いた曖昧な質問文生成

まず，本論文では質問応答のベンチマークとして広く利用されている HotpotQA データセット [2] を用いる.この既存の質問応答タスク向けデータセットでは，データセット中の質問文が与えられた場合，データセット内の回答候補文書内から回答が一意に定められるような質問文が定義されている.このデータに対して，これまで著者らが検討してきた通り，文構造，特に句に着目した変換によって曖昧な質問文を疑似生成する [8]. 本節では，この変換手法の概要と生成質問文の品質評価について述べる.

表 1 質問応答モデルの回答精度比較

表 2 主観評価の結果

## 2.1 質問文変換手法

変換手法の流れを図 1 に示す. 元の完全な質問文から曖昧な質問文への変換を行うため，まずデータセット中に定義されている質問文の統語構造を得る. 統語構造解析には Stanford Parser ${ }^{11}$ [9][10] を用いる. 統語構造として得られた木に対して，VP，PP となる部分木を欠落対象として選択する。選択された部分木を欠落させた文を，該当箇所の情報が欠落した曖昧な質問文として生成して用いる. 久落候補が複数存在する場合は, 久落対象の範囲がもっとも短い部分木を選択する。

## 2.2 疑似生成された曖昧な質問文の評価

生成された曖昧な質問文に対して既存の質問応答モデルの回答精度を求めることで，実際にどの程度質問応答のために必要な情報が欠落できているかを確認する。また，生成した質問文が文法的におかしい場合は変換が適切でないことが予想されるため，疑似生成結果の質を担保するため英文としての自然さを確かめる主観評価をあわせて行った。

回答精度比較実験（表 1）では，変換後の曖昧な質問文が質問応答モデルの回答精度にどのような影響を与えるか確認する。VP，PP，その両方（Mixed） をそれぞれ久落対象として生成された質問文を用いた実験結果を示している．表中にある EM は同一の BERT を用いた質問応答モデル [11] が出力する回答の正解率，F1 はそのモデルによって出力される回答の再現率と適合率の調和平均を表す. 質問応答モデルの学習には HotpotQA データセットの学習セット部分を，評価には開発セット部分を用いた。 Original は変換前の質問文を入力とした場合のスコ

図 2 問い返し質問文生成の流れ

アを表す. Original のスコアと比較して, 全ての変換において質問応答モデルの回答精度が低下しており，提案する変換によって生成した曖昧な質問文がモデルの回答を困難にしていることが確認できた。

主観評価では，生成した曖昧な質問文が英文として自然かどうかについて被験者 3 名が評価した.この実験では，変換によってモデルの回答が変換前と異なるような質問文を評価の対象とした. 元の質問文の統語構造から VP，PP，その両方（Mixed）を欠落の起点とした場合で，それぞれランダムに 200 文ずつサンプリングし，英文としての自然さを 3 段階で評価をしてもらった. 各条件に対する評価の平均を表 2 に示す. ここで， Normal Form は元の質問文が疑問詞から始まる一般的な質問文の形であるものを指し， Irregular Form は疑問文以外の形で質問を行っている文を指す．VPのみを用いた変換では，久落範囲が大きくなりすぎてしまう場合があり，PP のみを用いた変換と比較して自然性が低くなる結果となった．今回の実験結果からは，PPのみを用いる場合と，VP と PP の両方を用いた場合の間に有意な差 $(p<0.05)$ は認められなかった。これは，PPを用いた場合の欠落候補箇所が VP を用いる場合と比較して短く, 長さの観点から優先されて多く出現したことが原因として考えられる。また，設定した変換の全てで Irregular Form の質問文に対する評価の平均は Normal Form より低く，自然な文が生成されにくいことが明らかとなった。これは，問いたい内容を表す疑問詞が文中から欠落してしまっていることが主な原因と考えられる。

図 3 問い返し対話例

## 3 ユーザヘの問い返し質問文生成

前節では文構造を用いることで，実際に既存の質問応答システムが回答できない形に質問文に曖昧性を付与できることがわかった. このような曖昧な質問文が持つ曖昧性を解消するには，何らかの方法で久落した情報を補完する必要がある.こうした曖昧性解消を試みるため, 大塚ら [4] はユーザの真の意図と推定される改訂質問をユーザに提示するモデルを提案した.このモデルでは，質問者は自身の質問意図に近い改訂質問を選択することで，所望の回答を得ることができる. しかしこうした手法ではあくまでシステムが改訂質問を生成するため, ユーザから得られる情報の量に限界がある。

これに対して本研究では，ユーザへ問い返し質問を生成することで，対話的に不足情報を補うことができるシステムの構築を目指す. 具体的には，用言の依存関係に基づいた問い返し箇所推定と，格フレーム辞書を基にした適切な疑問詞の決定・問い返乙質問文生成を行う。

## 3.1 格フレームを用いた問い返し質問文生成

格フレームは，用言とそれに係る名詞の役割を用言の各用法ごとに整理したものである [12][13]. その中でも河原ら [13] は, 大規模汎用英語コーパスと Webから収集した文から格フレーム辞書を教師なしで構築する手法を提案した. 本研究では, この研究で構築された英語格フレームを用いる. 古川ら [5] は，格フレーム中の格要素，格の種類と疑問詞対応規則を定義して，問い返し文候補を生成する手法を提案した. しかし, この手法を用いて問い返し質問を行うためには，問い返しの対象となる格を推定する必要がある. そこで本研究では, 問い返しの対象となる格を適切に推定するために，文中の動詞との共起情報を用いる。

問い返し質問文生成の流れを図 2 に示す。まずはじめに，入力された曖昧な質問文に対して構文解析を行い，文中に出現する用言と用言の係る依存関係元の質問文曖昧な質問文問い返し文問い返しへの回答

What major truck road is located
in Backford Cross?
What major truck road is located?
where was the road located?
Backford Cross

表 3 有効な問い返し例

表 4 タスク全体の回答精度

タグ (格)を抽出する. 用言として判別する品詞タグは, $\mathrm{VB} ・ \mathrm{VBD} \cdot \mathrm{VBG} \cdot \mathrm{VBN} \cdot \mathrm{VBP} \cdot \mathrm{VBZ} の 6$ 種類の動詞タグとした。解析には Stanford Parserを用いた. 次に，抽出された格と用言のペアおよび格フレーム辞書を参照しながら，文中に出現しない格を辞書中の頻度順に抽出する. 用言の選択には, 抽出された中でもっとも文末に出現するものを優先した. また，質問文によく出現する格の頻度情報を反映させるため，質問応答の学習データ中に出現する用言（動詞）に係る格役割の頻度情報を用いる。学習データには HotpotQA 学習用データを用いた。格フレームから抽出された格の中から，学習データ中でもっとも頻度が高い格役割を問い返す格として決定する2).これは，質問文に頻出の格を問い返すことが質問応答の情報補完に有効と考えられるためである。ここで再度格フレーム中の抽出された格役割を参照し，その中で最も出現頻度の高い疑問詞を問い返す疑問詞として決定する。最後に，選択された用言と疑問詞を用いて問い返し文を生成する。例えば，図 2 の例では曖昧性を付与したユーザ質問文のうち最後尾の用言が “had” であり，格フレームから推定された必要な格役割のうち，質問文学習データ中で最も頻度が高いものが“advmo”であった. そこでこの格で最も頻度の高い“when”を用いて，“when did the writer have?”という質問を生成している.

## 4 問い返し質問応答による評価

ここまでに質問文に対する曖昧性付与と，この曖昧性を解消するための問い返し質問文生成手法を説明した。本節ではこの問い返しによって，実際に対話的な曖昧性解消が可能なのかについて評価を行う。まず問い返しタスクの設定を説明し，精度評価結果について述べる.

2）データセット中の用言（動詞）とそれに係る格の頻度を付録に示す.
元の質問文

曖昧な質問文

問い返し文

問い返しへの回答

元の質問文を入力した場合の出力

結合後の質問文を入力した場合の出力
Which author dedicated a 1985 romance novel to the author who did in 2009 and wrote under the pen name Gwyneth Moore?

Which author dedicated a 1985 romance novel to the author who? when did the author dedicate?

2009

Eva Ibbotson

Patricia Veryan

表 5 問い返しによって正解できなかった例

## 4.1 タスク設定

タスクの概要を図 3 に示す. 本タスクではまず， 2 節の変換手法を用いて生成した曖昧な質問文をシステムの入力として与える. システムは受け取った質問文を基に問い返し質問文を生成し，ユーザの返答から追加情報を得る.こうして得られた追加情報と入力された曖昧な質問文とを，既存の質問応答モデルの入力とした場合の回答をシステムの出力とする. システムに用いる質問応答モデルは，2 節で用いたものと同様に曖昧性を含まない完全な質問文のみから学習した。問い返し質問文に対するユーザの返答は，元の質問文を知っている場合に答えることができる適切な返答を人手で用意した。曖昧な質問文とユーザからの返答を結合しモデルに入力した場合の出力回答が，曖昧な質問文のみを入力とした場合から程度改善されるかについて評価する。

## 4.2 質問応答モデルの精度評価

問い返し質問による質問応答の改善度合いを測るため，問い返す対象の曖昧な質問文を以下のような制約で限定して実験を実施した. この条件に該当するものは，HotpotQA 開発用データセット中の質問文約 7,400 文に対して 312 文存在した。

1. 質問応答モデルの回答が変換による曖昧性付与によって正解 $\rightarrow$ 不正解となる質問文

2. 変換による久落箇所の長さが最小である質問文

3. 疑問詞から始まる質問文 (Normal Form)

上記の制約によって抽出された対象となる質問文 312 文に対してそれぞれ問い返し質問文生成を行ったところ，欠落箇所への問い返し質問が生成されている例が 123 文存在した $(39.4 \%)$. 有効な問い返しと回答の例を表 3 に示す. 問い返し文として有効な 123 文を用いた場合のタスク全体での回答精度は表 4 の通りである．表 4 中のスコアは，曖昧な質問文と問い返しによって得られた回答とを結合し，質問応答モデルに入力した場合の出力の正解率 EM と調和平均 $\mathrm{F} 1$ を表す。

これらの結果から，曖昧な質問文のみでは回答できない場合に，問い返しで得た追加情報を用いて質問応答の精度を向上することができることを確認できた. しかし，変換前はモデルが回答できるものだけを対象とした実験であっても，単純な結合だけでは完全な回答精度復元には至らなかった。これは，得られた追加情報だけではモデルが正確な回答を出力できないようなものが含まれていたか，あるいは追加で得られた情報の結合方法などに課題があったと考えられる．有効な問い返しによって正解を導き出せなかった例を表 5 に示す。表 5 では変換によって関係代名詞 “who”以降の従属節の内容が大きく欠落しており，ユーザから追加で得られた情報だけでは答えを正しく出力することができなかったと考えられる。

## 5 まとめと今後の課題

本研究では，文構造に着目した質問文変換により情報を欠落させた曖昧な質問文を疑似生成し，これに対して適切な問い返し質問文を生成することで，対話的に曖昧性を解消できる質問応答システムを提案した。この結果，問い返しによって必要な情報を追加情報を得て質問応答精度を向上することができたものの，この情報の復元は限定的な範囲となった. 今後，変換によって生成した曖昧な質問文の品質向上や，より適切な用言や疑問詞を選択するための手法の提案などに取り組む必要がある.

## 謝辞

英語版格フレームを提供して頂いた早稲田大学の河原大輔先生と京都大学の黒橋禎夫先生に感謝いたします。

## 参考文献

[1]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[2]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[3]西田京介, 斉藤いつみ, 大塚淳史, 西田光甫, 野本済央,浅野久子. 機械読解による自然言語理解への挑戦. NTT 技術ジャーナル, 2019.

[4] 大塚淳史, 西田京介, 斉藤いつみ, 西田光甫, 浅野久子,富田準二. 問い返し可能な質問応答: 読解と質問生成の同時学習モデル. 日本データベース学会和文論文誌, 2020.

[5]古川智雅, 吉野幸一郎, 須藤克仁, 中村哲. 曖昧性を持ったユーザ発話に対する格フレームを用いた聞き返し発話候補の生成. 言語処理学会第 24 回年次大会発表論文集, pp. 905-908, 2019.

[6]Yongfeng Zhang, Xu Chen, Qingyao Ai, Liu Yang, and W. Bruce Croft. Towards conversational search and recommendation: System ask, user respond. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, CIKM '18, p. 177-186, New York, NY, USA, 2018. Association for Computing Machinery.

[7]Mohammad Aliannejadi, Julia Kiseleva, Aleksandr Chuklin, Jeff Dalton, and Mikhail Burtsev. Convai3: Generating clarifying questions for open-domain dialogue systems (clariq). 2020.

[8]中野佑哉, 河野誠也, 吉野幸一郎, 須藤克仁, 中村哲. 文構造に基づく質問文への曖昧性付与と質問生成. 人工知能学会言語・音声理解と対話処理研究会 (SLUD)第 90 回研究会, 2020.

[9]Richard Socher, John Bauer, Christopher D. Manning, and Andrew Y. Ng. Parsing with compositional vector grammars. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 455-465, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10]Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 55-60, 2014.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.

[12]Daisuke Kawahara and Sadao Kurohashi. A fully-lexicalized probabilistic model for japanese syntactic and case structure analysis. In Proceedings of the Main Conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, HLT-NAACL '06, p. 176-183, USA, 2006. Association for Computational Linguistics.

[13]Daisuke Kawahara, Daniel Peterson, Octavian Popescu, and Martha Palmer. Inducing example-based semantic frames from a massive amount of verb uses. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-67, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

## 付録. A 学習データから集計された格と頻度

表 A. 1 学習データ中に出現する用言の格と頻度