# 競技クイズ・パラレル問題の基本構造と文型

橋元 佐知佐藤理史宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 1 はじめに

与えられた質問に対して答を導く質問応答 (QA) タスクでは、質問としてクイズの問題がしばしば用いられる。クイズ問題を解くシステムとしては、 クイズ番組 Jeopardy!で人間のチャンピオンを破った IBM の Watson が有名である [1]。この他にも、 TriviaQA [2], SearchQA [3], QANTA[4] など、クイズの問題を用いて作成された $\mathrm{QA}$ タスク評価用データセットが存在する。これらは英語のデータセットであるが、日本語でも、JAQKET というデータセットが作成されている [5]。

一般に、QA タスクでは、問題文がテキストとして完全に与えられるのが普通である。しかしながら、人間がクイズに解答する状況は、これとは異なる場合がある。問題文が読み上げられる形式の早押しクイズでは、解答者は、他の解答者に先んじるために、問題文が最後まで読み上げられる前に答えることがしばしばある。このような場合、解答者は、完結しない問題文から答を導くことが必要となる。

このような読み上げ・早押しクイズ特有のひっかけ問題に、以下のようなパラレル問題がある。

(1) アイルランドの首都はダブリンですが、アイスランドの首都はどこでしょう?

たとえば、競技クイズの大会の一つである abc/EQIDEN ${ }^{1}$ の過去問では、全体の約 $11 \%$ のようなパラレル問題である。このような問題に 「アイルランドの首都は」の段階で答えると、「ダブリン」という誤答になりそうである。

しかしながら、優れた解答者は、その段階で正しい答を導くことが多い。実際、「12 時間ガチクイズ生放送」という YouTube 動画でパラレル問題の解答状況を調査したところ、95 問中 63 問が「アイルランドの首都で」に相当する段階で解答されており、 そのうちの 54 問が正解であった。

1) http://abc-dive.com

図 1 パラレル問題の 4 項構造

ここで、次のような疑問が生じる。

1.なぜ、問題文の途中までで、高い精度で正しく答えることができるのか？

2. これを機械的に実現することは可能か？

これらの疑問に答えるために、我々は、まず、パラレル問題の基本構造と文型を調査した。そして、 その結果に基づいて、問題文の途中までで答を導く解答システムを試作した。本論文では、これらの内容について報告する。

## 2 パラレル問題の基本構造と文型

パラレル問題の基本構造と文型を把握するために、abc/EQIDEN の過去問2) に含まれる約 1,000 問のパラレル問題を調査した。その結果、以下の観察結果を得た。

1. パラレル問題の基本構造は、図 1 に示すような 4 項構造である。

本論文では、これらの 4 項を順に、 $X, Y, Z, Q$ で表す。これらには、次の関係がある。

i. 対比関係: $X \leftrightarrow Z$

ii. 同一関係: $X: Y=Z: Q$

2. パラレル問題を成立させているのは、 $X$ と $Z$ の対比関係である。

主要な対比関係の種類は、表 1 に示す 5 種類に整理できる。

3. 問題文は、図 2 に示すような 4 つのパートから構成される。

これらを順に、 $\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}$ パートと呼ぶ。 $\mathrm{A}, \mathrm{C}$ パー

2) http://abc-dive.com/questions/
表 1 対比関係の種類

} \\

図 2 問題文のパート構成

トの末尾は、典型的には提題表現 (提題助詞「は」) であり、 $\mathrm{B}$ パートの末尾は、典型的には並列節の節末表現 (接続助詞「が」) である。これらの強い手がかりにより、人間は、各パートの終了点を正しく認識できると考えらえる。

以上の観察に基づき、問題文の途中までで正解を導くために必要なことを整理すると、以下のようになる。

1. Cパートまでで答えるすべての情報が揃っているので、通常の問題と同じように解ける
2. $\mathrm{B}$ パートまでで答える

$X$ と対比関係にある $Z$ を推測できれば、通常の問題と同じように解ける
3. $\mathrm{A}$ パートまでで答える

$Z$ に加え、 $X$ から $Y$ を推測し、その間の関係を同定できれば、通常の問題と同じように解ける

## 3 過去問のデータベース化

解答システムを作成する準備として、パラレル問題の過去問にアノテーションを施し、データベースを作成した。アノテーションでは、問題文を 4 つのパートに分割して末尾の正規化を行った後、表 2 に示す要素をマークアップした。アノテーションの具体例を図 3 に示す。

このようにマークアップしたテキストから、デー タベースのレコードを作成する。レコードの具体例表 2 マークアップする要素

図 3 問題文のアノテーション

表 3 データベースのレコード形式

を表 3 に示す。この例に示すように、レコードの作成では、以下のことを行う。

1. 順方向のレコードと逆方向の (A, B パートと、 $\mathrm{C}, \mathrm{D}$ パートを入れ替えた) レコードを作成する。

2. A, B, C, D の各パートの文型パターンも登録する。
3. $x$ と $z$ 、および、 $y$ と $w$ は、一方が空である場合は、他方で補完する (下線部)。

## 4 解答システム

作成した解答システムの構成を図 4 に示す。本システムは、前節で示したデータベースを検索することで、問題の答を求める。システムは、以下のモジュールから構成されている。

図 4 解答システムの構成

## 1. パート取得

問題文の各パートを順に取得する。まず、A パートのみを取得し、 $\mathrm{B}$ パート以降は、要求があった場合のみ取得する。

## 2. パート解析

取得したパートを解析し、表 2 のマークアップ要素と文型に分解する。この分解には、デー タベースに格納されている、該当パートの文型パターンを利用する。一般に、複数の文型パターンが存在するので、可能な分解をすべて求める。

## 3. 検索条件設定

得られた要素や文型、後述の解答判定により得られるフィードバック情報を用いて、データベースを検索する条件を設定する。

## 4. データベース検索

設定した検索条件で、データベースを検索し、得られたレコードから答 $W$ を取得する。

## 5. 解答判定

$W$ の種類に応じて、以下のように分岐する。

(a) $W$ が一意に定まる場合

$W$ を解答として出力する

(b) $W$ が複数得られる場合

検索条件を強めるフィードバックを生成する

(c) $W$ がひとつも得られない場合

検索条件を緩めるフィードバックを生成する

検索条件を強めるとは、検索条件に新たな要素を追加することを意味する。これには、次のパートを取得して要素を追加することも含まれる。一方、検表 4 検索条件に含める要素

索条件を緩めるとは、検索条件に含まれるいずれかの要素を削除することを意味する。表 4 に、それぞれのパートまで取得した場合に、どのような要素を検索条件に含めるかを示す。

この表の記号は、以下のことを意味する。

記号 $\mathbf{r}$ (required) 検索条件に必ず含める。

記号 o (optional) 取得済のパートに存在する場合に含める。検索条件を緩める場合は、この要素を削除する。削除した場合は、それ以降は使用しない。記号 a (additional) 検索条件を強める場合に追加する。追加によって $W$ がひとつも得られなくなる場合は、それ以降は使用しない。

たとえば、 $\mathrm{A}$ パートから $X$ と $y$ が得られ、これらで検索すると複数の $W$ が得られたとしよう。その場合は、まず、文型 $\mathrm{A}$ を検索条件に追加する。それでも $W$ がひとつに絞れない場合に、B パートを取得し、そこから検索条件に追加する要素を取得する。 なお、文型 $\mathrm{A}$ を追加して $W$ がひとつも得られなくなった場合は、文型 $\mathrm{A}$ を除外して、B パートに進む。

一方、 $\mathrm{A}$ パートから $X$ と $y$ と $D$ が得られ、これらで検索すると $W$ が得られない場合は、要素 $y$ を削除した条件、および、 $D$ を削除した条件で検索し、 それらの結果をマージして次の判断を行う。なお、 $X$ だけでも $W$ がひとつも得られない場合は、 $\mathrm{C}$ パー 卜まで取得して、それ以降の検索では、 $X$ と $Y$ を条件に含めない。「(r)」は、このことを意味する。

$\mathrm{C}$ パート以降では、 $z$ と $w$ がパートから得られない場合は、 $x$ と $y$ の情報を利用する。「o*」は、このことを意味する。

最終的に、 $W$ がひとつに絞れない場合、および、 $W$ がひとつも得られない場合は、解答不能とする。
表 5 過去問に正解するための検索条件

## 5 解答にどのパートまで必要か

ここでは、まず、データベースに登録した過去問 970 問を解く場合、どのパートまでで正解を出力できるかを調べた。その結果を表 5 に示す。過去問を解く場合は、正解を導くレコードは必ず存在するため、検索条件を緩めるフィードバックがかかることはない。この表の「要素」の闌は、各パートから取得した要素をすべて検索条件として用いた場合、「+文型」の欄は、それに各パートの文型を追加した場合の、答を一意に絞り込めた問題数を示す。

この表から以下のことがわかる。

1. 過去問の $98.8 \%$ (958/970) は、A パートで正解を導くことができる。

データベースのサイズが大きくなると、この值は低下すると考えられるが、実際に出題されるパラレル問題の大半は、事実上、A パートだけで正解が定まる問題となっている可能性がある。

2. 正解を導くのに文型が必要な問題は、 $3.3 \%$ (32/970)にすぎない。

$\mathrm{A}$ パートから $X$ 以外の要素が得られた 773 問中、文型が必要だったのは 13 問 $(1.7 \%)$ のみで、残りの 760 問は抽出した要素だけから答が一意に決定できた。一方、 $X$ しか得られなかった場合は、185 問中 19 問 $(10.3 \%)$ が文型を必要とした。このことは、設定した $x, y, D$ が、答を絞り込むために適切に機能していることを意味する ${ }^{3}$ 。実際、先の 760 問中、 $X$ だけで答を一意に絞り込める問題は 523 問で、残りの 237 問は $X$ 以外の要素が答の限定に寄与している。

次に、逆方向のレコードを使用する場合と使用しない場合で、正解を出力するために必要なパートが

3）これらの要素が抽出できれば、パート内の文型の差異は無視できる。表 6 逆方向のレコードの影響

どう変化するか調べた。その結果を表 6 に示す。逆方向のレコードを使用しない場合は、 $\mathrm{A}$ パートのみで正解を出力できる問題が 7 問増える。逆方向レコードを使用すれば、潜在的に解ける問題が 2 倍になることを考慮すれば、この差は許容できる。実際、現在のシステムは、過去問 970 問の前半部と後半部を入机替えた問題のうち、950 問を解くことができる4)。

現在のシステムは、解答判定に基づき検索条件を緩めたり強めたりするので、A パートの文型の摇れをある程度許容する。たとえば、以下の例では、いずれか一方が過去問として登録されていれば、他方を解くことができる。

（2） a. 『半七捕物帳』を書いたのは岡本綺堂ですが、『人形左七捕物帳』を書いたのは誰でしょう?

b. 『半七捕物帳』の作者は岡本綺堂ですが、『人形左七捕物帳』の作者は誰でしょう?

## 6 おわりに

本研究では、競技クイズのパラレル問題の基本構造と文型を分析し、問題文の途中までで解答するシステムを作成した。現在のシステムは、答を導くための知識源として過去問のみを利用しており、過去問と同一の問題、前半と後半を入れ換えた問題、文型が一部異なる問題を解くことができる。しかしながら、完全に未知の問題に対しては無力である。

競技会に参加する人間の解答者は、過去問を調査するのに加え、出題の可能性があるパラレル問題を予想し、準備する。この準備は、本システムでは、 データベースに新たなレコードを追加することに対応する。パラレル問題の基本構造である 4 項構造において、まず対比関係となるぺア $(X$ と $Z)$ を見つけ、それらに対して残りの 2 項 $(Y$ と $W)$ を設定すれば、新しいレコードを作成できる。すなわち、未知の問題を解く能力と、問題を作成する能力は、本質的に同じである。

4）解けない 20 問は、前半部と後半部の表現の違いが原因である。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16011611. Association for Computational Linguistics, 2017.

[3] Matthew Dunn, Levent Sagun, Mike Higgins, V. Ugur Güney, Volkan Cirik, and Kyunghyun Cho. SearchQA: A new Q\&A dataset augmented with context from a search engine. CoRR, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET:クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.


# 二段階 fine-tuning を用いた条件付きなぜ型質問応答技術

二宮大空 $\$$ 呉鍾勲 $\$$ Julien Kloetzer ${ }^{\ddagger}$ 飯田 龍 $\$$ 鳥澤 健太郎†
†奈良先端科学技術大学院大学 先端科学技術研究科
$\ddagger$ 国立研究開発法人 情報通信研究機構
ninomiya.hirotaka.ng8@is.naist.jp
\{rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

近年，SQuAD[1] のような事実を名詞で回答するファクトイド質問応答タスクについては，汎用的な事前学習言語モデル BERT（Bidirectional Encoder Representations from Transformers）[2] 等の発展によりその性能が人間の性能を超えたことが報告されている。一方，説明的な回答が求められるノンファクトイド質問応答は, 未だ発展途上であり, ノンファクトイド質問応答の一つであるなぜ型質問応答などにおいて盛んに研究が進められている $[3,4,5,6]$.

本研究では，より高度ななぜ型質問応答を実現するために，「なぜ地球温暖化が進むと海水面が上昇する」のような, なぜ型質問に条件 (「地球温暖化が進む」）が含まれるより複雑な質問に対して回答する質問応答を対象とする。本稿では，このような質問応答を条件付きなぜ型質問応答と呼ぶ.この条件付きなぜ型質問に回答するためには, 質問「なぜ （事象 A）と（事象 B）？」に対し, 事象 A の因果的帰結であり，かつ，事象 B の原因であるものを回答する必要があるため, 単純ななぜ型質問 (「なぜ（事象 B）？」）と比べてより難しい問題となっている.一方で，「なぜ地球温暖化が進むと海水温が上昇する？」のような条件付きなぜ型質問は,「地球温暖化が進むとどうなる？」といったどうなる型質問応答 $[7,8,9]$ の結果, 得られた回答が「海水温が上昇する」であった場合にその理由を問うための自然な質問の形式だと考えられるため, この条件付きなぜ型質問応答の技術を発展させることで, 単純な質問応答に付随して発生する, さらなる深掘りを行う質問に適切に回答することが可能になると考えられる。

ただし, 我々が知る限り, 条件付きなぜ型質問応答に特化した学習・評価用データは存在しない. そこで，本研究では，まず表 1 に示すような条件付き

} & \\

なぜ型質問応答のデータを作成した。このデータ作成では, 日本語 Web4 億文書を対象に検索して得られたパッセージ1) (以降, 回答候補パッセージ）に対して，人手でアノテーションを行った。さらに，このデータを用い，BERTを fine-tuning することで回答候補パッセージのランキングを行う分類器を開発した ${ }^{2)}$. その際，なぜ型質問応答に関連する 4 つのタスク（因果関係認識 [10]，因果関係連鎖判定，なぜ型質問応答 [3][4]，ファクトイド質問応答 [11]）の学習データも用い, 最終的な条件付きなぜ型質問応答の fine-tuning $の$ 前に実施する fine-tuning, もしくは, 条件付きなぜ型質問応答との Multi-task learning を行うことで，条件付きなぜ型質問応答の性能が向上するかの調査も行った。この結果, 組み合わせるタスクと組み合わせ方によってはべースラインである単純な BERT の fine-tuning と比較して有意に性能が向上することを明らかにした（P@1で約 $1.2 \%$ の向上).

## 2 関連研究

Oh ら [3] の日本語を対象としたなぜ型質問応答手法では，因果関係を認識する問題を系列ラベリング

問題と捉え, Conditional Random Fields を用いて文書中の原因部と結果部を特定した。それにより一文内の因果関係と文をまたがる因果関係を含む多様な形式で表される因果関係を自動抽出した後, 抽出した因果関係をなぜ型質問応答の回答リランキング時に利用し, 一文内の因果関係と文をまたがる因果関係が共に回答リランキングの性能向上に寄与していることを示した. さらに, Oh ら [4] はなぜ型質問応答において敵対的学習を用いたモデルを提案し, 回答精度を大幅に向上させた。

また，英語を対象にしたノンファクトイド質問応答に関して, Fan ら [12] は回答が長文となる質問応答データセット ELI5 を作成している. ELI5 のデー タ中の約 $45 \%$ が why から始まるなぜ型質問であるが，ELI5 の全データを対象にした評価では Seq2Seq をべースにした手法の性能は人間の性能を大幅に下回っていることが報告されている。また, Hashemi ら [13] は Web から抽出したノンファクトイド質問を含む質問応答データセットを作成した。

## 3 条件付きなぜ型質問応答のデータ 作成

1 節で述べたように，条件付きなぜ型質問は典型的には「なぜ (事象A) と (事象B)？」という形式で記述されるため, 事象 $\mathrm{A}$ と事象 B に埋まる表現の対が必要となる. この 2 つの事象を表す表現は一般的には「なぜ地球温暖化が進むと海水温が上昇する？」 の「地球温暖化が進む」と「海水温が上昇する」の対のように因果関係が成り立つ対であると考えられるため, そのような対を自動で収集して質問を作成する。一方，そのような人工的な条件付きなぜ型質問だけでは人間が記述する多様な条件付きなぜ型質問をカバーできない可能性があるため, 自然な条件付きなぜ型質問についてもデータを作成し, 評価を行う.

データ作成の手順は下記の通りである.

## 手順 1 : 条件付きなぜ型質問の作成

Train, Dev1, Dev2 の質問の作成方法として, まずは Hashimoto ら [7] の因果関係認識器を Web40 億文書に適用して得られた因果関係を表す原因句と帰結句の対を利用し，「なぜ（原因句）と（帰結句)」とすることで人工的な条件付きなぜ型質問を作成する. 一方, 最終評価用のデータ (Test) の作成時には，質問は Web40 億文書から抽出した「なぜ」を含む単語列から抽出した条件付きなぜ型質問である.詳細を付録 A で述べる. 質問の作成後, 質問が曖昧

でない自然なものであるかをアノテータ 3 名による多数決で判定した。

手順 2 : 回答候補パッセージの抽出とアノテーション

手順 1 で得られた各質問に対して, Murata らの検索手法 [14] を用いて, Web4 億文書から質問に対する回答が含まれている可能性が高い回答候補パッセージを最大 20 件抽出した. さらに, 質問と回答候補パッセージを見て, 回答候補パッセージ中に質問に対する答えが含まれているかをアノテータ 3 人で判定し, 多数決でラベルを決定した。 ${ }^{31}$

本研究で作成したデータの 4$)$ の総事例数とそれぞれの正例の割合は表 2 に示す通りである.5)

## 4 比較手法

条件付きなぜ型質問応答とは同じ質問応答という観点で関連するファクトイド質問応答 (以降, FQA) [11], なぜ型質問応答（以降，WhyQA） [3,4], また,因果関係を対象とするという点で関連すると考えられる因果関係認識（以降，Causality）[10], 因果関連連鎖判定（以降，Chain）の学習データ（それぞれの詳細は表 3 参照）も利用することで条件付きなぜ型質問応答の性能が向上するという仮説に基づき，下記の Step1と Step2 からなる二段階の fine-tuning 手法を実験する。

Step1 事前学習済みの BERT モデルをCausality, Chain, WhyQA, FQAのいずれか（もしくはその組み合わせ）のデータで fine-tuning する.

Step2 Step2 で得られた fine-tuning 済み BERT モデルを Causality, Chain, WhyQA, FQA のいずれか（もしくはその組み合わせ）のデータと条件付きなぜ

3） Train, Dev1，Dev2においては，答えが含まれていると 1 人以上判定したものは正例である可能性が高いと考え，それらに対して質問に対する答えを回答侯補パッセージから抽出する作業をアノテータ 3 人で行った. その後, 抽出可能であるかにより最終的なラベルを決定した。

4） Train, Dev1，Dev2 で質問が重複しないようにランダムに分割する。

5） Oh[4] が利用している一般的ななぜ型質問応答データの正例の割合は Train, Dev, Test でそれぞれ $12.5 \%, 23.4 \%, 24.1 \%$ であり, それらと比べて正例の割合が小さく, ランキングがより困難な問題となっている.
表 3 二段階 fine-tuning で用いるタスクの詳細

 &  &  \\

条件付きなぜ型質問の作成に用いた Hashimoto ら [7] の因果関係認識器は因果関係認識のデータで学習されているため, 条件付きなぜ型質問応答に関連する情報を含まないように, Train, Dev1, Dev2 中の条件付きなぜ型質問の作成に用いた句が含まれる事例を, 因果関係認識と因果関係連鎖判定のデータからそれぞれ 3,675 件, 985 件除外した.表 4 はこれらを除外した件数である.

表 4 関連するタスク 4 種類のデータセット

型質問応答（以降，CoWhyQA）のデータを用いて Multi-task learning でさらに fine-tuning する.

## 5 実験

## 5.1 実験設定

実験で利用する BERT のモデルサイズは Devlin ら

Kadowaki ら [8] と同様に, 自動検出された因果関係を含むテキスト約 22 億文のコーパス（データサイズは 353GB であり, T5[15] の事前学習で利用されているコーパスの約半分に相当する [11]）を用いる. このコーパスは, Oh ら [3] の因果関係認識器により検出された文とその前後の文で構成された 7 文のパッセージから得られた文集合からなる. 事前学習時のバッチサイズは 4,096 であり, token 最大長 128 で 100 万ステップ, さらに追加で token 最大長 512 で 10 万ステップ事前学習を行っている6).

6）事前学習と fine-tuning 時には Kadowaki ら [8] と同様に learning rate warmup (warmup rate $=0.01$ ) を用いた. fine-tuning 時のバッチサイズは 32 であり, 学習率は 8e-6, 9e-6, 1e-6 の 3 通り, epoch 数は 1, 2, 3 の 3 通りの組み合わせである 9 通りから Dev の P@1 （最上位の回答の精度）が最大となるパラメタを手法ごとに選択した. Step1 のモデル選択に関しては WhyQA の場合はDev1のP@1で，それ以外はDev1 の平均精度でベストなモデルを選択した. 最終的な条件付きなぜ型質問応答の評価では $\mathrm{P} @ 1$ に加え, MAP（回答の平均精度の平均値）でも評価し, 各手法の結果を比較する. ベースラインとして, 前述の因果関係を含むテキスト約 22 億文のコーパスで事前学習した BERT モデルを条件付きなぜ型質問応答のデータだけで fine-tuning したものを利用する.

また, 二段階 fine-tuning で用いるデータセットの事例数を表 4 に示す. 二段階 fine-tuning $の$ Step1, Step2におけるパラメタ探索範囲や学習方法, その他の実験設定は共に fine-tuning 時の設定に従う.

## 5.2 実験結果

結果を表 5 に示す. 表の (c)〜(f) が Step1 の finetuning の学習データを変更した場合の結果であるが, この内, WhyQA と FQA で fine-tuning した場合が Dev1, Dev2, Test で一貫して性能が向上しており, 因果関係認識に関するデータ (Causality, Chain)
表 5 二段階 fine-tuning に関する実験結果

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{ Test } \\

Oracle は全ての質問に対して適切に回答できた場合の理想的な精度を, 相対值は「(手法ごとの P@1)/(Oracle の $\mathrm{P} @ 1 ） \times 100 」$ で求めた值である．P@1における括弧内の值は BERT（ベースライン）の $\mathrm{P} @ 1$ との性能差を表しており, Dev2 と Testにおいては McNemar 検定（有意水準 5\%）で有意差が確認されたものを†で示す.

よりも質問応答に関するデータ（WhyQA, FQA）で Step1 の学習を行うことに効果があると考えられる.また, 表 5 の $(\mathrm{g}) \sim(\mathrm{j})$ が Step1 の fine-tuning を行わず, Step2 で Multi-task learning を行った結果であるが，この結果については特に WhyQA で Multi-task learning した場合の Test の P@ 1 が最も高くなっており，対象となる条件付きなぜ型質問と最もタスクが近いなぜ型質問応答との Multi-task learning に効果があったと考えられる.

また，表 5 の (c)と (d) に着目した場合，Dev2，つまり, 質問の形式が「なぜ（事象 A）と（事象 B)」 の場合には $\mathrm{P} @ 1$ が向上しているのに対し, 自然な質問の形式である Testにおいては P @ 1 がベースラインよりも低下するという結果となった。これは Causality や Chain の学習データの個々の事象を表す表現が必ず名詞+助詞+述語であるのに対し, Test の質問ではそれらの表現が「運動すればなぜ内藏脂肪が減るのでしょうか？」の「運動する」のように必ずしも名詞+助詞+述語の形式とはなっていないことが影響している可能性がある.

最後に, Step1 の選択肢と Step2 の選択肢を組み合わせることで性能が向上するかについても調査を行った. 具体的には Step1 で効果があった Causality と FQA（表 5 の (c)〜(f) で Dev2 の P@1 の上位 2 つ）を利用する場合としない場合の組み合わせ 4 通り,また, Step2で効果があった Chain, WhyQA, FQA（表 5 の $(\mathrm{g}) \sim(\mathrm{j})$ で Dev2 の P@1 がベースラインよりも良かったもの)を利用する場合としない場合の組み合わせ 8 通り,合わせて 32 通りに対して実験を行い, Dev2 の $\mathrm{P} @ 1$ が最大となる組み合わせを決定した.この結果, 表 5 の (k)Step1=FQA, Step2=CoWhyQA+WhyQA, (1)Step1=Causality+FQA, Step2=CoWhyQA の 2 つが同じ $\mathrm{P} @ 1$ だったため選択された. ただし，表に示すように,この2つでTestの $\mathrm{P} @ 1$ が良かった $(\mathrm{k})$ のその值は, (i) に示す Step1=なし, Step2=CoWhyQA+WhyQA と変わらないため, Step1 と Step2 の組み合わせは効果がなく, Step1 もしくは Step2 のいずれかで類似するタスクの学習を行うだけで十分であることがわかる。一方で, (k) と (l)の Dev2の P@1の值は他の (b)～(j) のいずれをも上回っているため, 質問の形式が学習データと同じ場合においては Step1 と Step2 で複数のタスクを組み合わせることに効果があることがわかる.このように, 現状では質問の形式（人工的な質問 or 自然な質問）が学習データと異なることが，二段階の fine-tuning が有効であるかに影響していると考えられるため, 今後は質問の形式が異なっていたとしても性能を劣化させない頑健な手法を開発していく必要がある.

## 6 おわりに

本研究では, 条件が含まれるなぜ型質問に対する応答技術の開発を目指し, 条件付きなぜ型質問応答のデータを作成した. さらに，BERTを用いた分類器を構築し, 条件付きなぜ型質問応答に関連するタスクを用いて二段階で fine-tuningを行うことで,分類器の性能向上を図った. 実験の結果, 二段階 fine-tuning を行うことで, 最上位の回答の精度 P@1 がベースラインである BERT を約 $1.2 \%$ 上回った。

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. Whyquestion answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1733-1743, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[4] Jong-Hoon Oh, Kazuma Kadowaki, Julien Kloetzer, Ryu Iida, and Kentaro Torisawa. Open-domain why-question answering with adversarial learning to encode answer texts. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4227-4237, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Fatima T AL-Khawaldeh. Answer extraction for why arabic questions answering systems: Ewaq. arXiv preprint arXiv:1907.04149, 2019.

[6] Andrei Dulceanu, Thang Le Dinh, Walter Chang, Trung Bui, Doo Soon Kim, Manh Chien Vu, and Seokhwan Kim. Photoshopquia: A corpus of non-factoid questions and answers for why-question answering. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Canasai Kruengkrai, Kentaro Torisawa, Chikara
Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[10] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, and Jun'ichi Kazama. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[11] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における bert の pre-trained モデルの影響の分析. 言語処理学会第 26 回年次大会発表論文集, pp. 105-108, 32020.

[12] Angela Fan, Yacine Jernite, Ethan Perez, David Grangier, Jason Weston, and Michael Auli. ELI5: Long form question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3558-3567, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Helia Hashemi, Mohammad Aliannejadi, Hamed Zamani, and W Bruce Croft. Antique: A non-factoid question answering benchmark. In European Conference on Information Retrieval, pp. 166-173. Springer, 2020.

[14] Masaki Murata, Sachiyo Tsukawaki, Toshiyuki Kanamaru, Qing Ma, and Hitoshi Isahara. A system for answering non-factoid japanese questions by using passage retrieval weighted based on type of answer. In NTCIR, 2007.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683, 2019.

## 付録

## A 条件付きなぜ型質問の抽出

Web40 億文書から抽出した「なぜ」を含む単語列から条件付きなぜ型質問を抽出する際, 質問中に条件を表す部分を含む必要があるため，以下を全て満たすものを対象とする．単語や品詞の連続は+で表す.

・動詞，または形容詞+接尾辞を単語列中に 2 つ以上含む.

$\cdot$「と，ば，たら」で区切った時, 前後半共に動詞，または形容詞+接尾辞が存在する。

・以下のいずれかを満たす.
- 動詞+「と」を含む. ただし，動詞は「いう，言う，よぶ，呼ぶ，思う，感じる，する」を除く。

一未尾が「ば，たら」の動詞を含む。
- 動詞+末尾が「ば，たら」の接尾辞を含む.
- 形容詞+接尾辞+「と」を含む.

一形容詞十末尾が「ば, たら」の接尾辞を含む.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル機械翻訳に乱数が与える影響
## 矢野貴大鳥取大学 工学部 \\ b17t2114b@edu.tottori-u.ac.jp

\author{
村上仁一 \\ 鳥取大学工学部 \\ murakami@tottori-u.ac.jp
}

## 1 はじめに

機械翻訳の方式の一つに，Neural Machine Translation(以下, NMT)[1] がある. NMT は学習を行う際に乱数を用いている. ぞのた, 同じデータで学習を行ったとしても出力が異なる.しかし, 精度に大きな差はないとされ，今まであまり考慮されてこなかった．本研究では, NMT において同じデータで学習を行った際，どの程度翻訳結果か変動するかについて調査を行う．

## 2 翻訳評価の手法

## 2.1 翻訳確率 (PRED)

翻訳確率とは, 入力が $\mathrm{a}$ であったときに $\mathrm{b}$ が出力される尤もらしさを数値化したものである.この翻訳確率の対数をとった値が，PREDである. PRED の值が 0 に近いほど，良い翻訳である。

## 2.2 BLEU,METEOR,TER

BLEU[2]，METEOR[3]，TER[4] は機械翻訳の自動評価の手法である . 参照文と翻訳結果をもとに評価を行う

## 2.3 人手評価

著者自身が各出力文に対し $\bigcirc, \triangle, \times$ の 3 つの評価基

準を表 1 に示す。

## 表 1 人手評価の基準

 \\

## 3 調査方法

## 3.1 学習

調査方法における学習の過程では, 同じ学習データを異なる乱数を用いた上でNMT に学習させることで，8 個の NMT を生成する。

## 3.2 翻訳

テスト文を 8 個の NMT 光れ光れに翻訳させ, 8 個の翻訳結果を生成する。

ここで生成された翻訳結果を用いることで，翻訳結果の変化についての調査を行う.

## 4 実験

4.1 実験条件

本研究における調査では, OpenNMT[5] を用いて日英ニューラル機械翻訳を行う。

## 4.2 実験データ

調査に用いるデータの内訳を表 2 に示す. なお, 学習文は全て単文である。

表 2 実験データ

## 4.3 出力結果

出力結果を表 3 に示す.なお，表 3 における評価の列は , 人手評価の結果を示す。

表 3 出力結果

表 3 の結果より，乱数によって出力結果が異なってくることが確認できた .

## 4.4 自動評価結果

自動評価結果を表 4 に示す.なお，表 4 に示す PRED 值は，テスト文 16,000 文各文に対して導出された PRED 值の平均値である。

表 4 の結果より，自動評価の値も異なってくることが確認できた . この表の PRED で最良の値を示したのは NMT 7 であった.また，BLEU で最良の値を示したのは NMT 5であった.

## 4.5 人手評価結果

翻訳を行ったテスト文のうちのランダムな 100 文に対し, 評価を行った．結果を表 5 に示す。

表 5 人手評価結果 (100 文)

表 5 の結果を見ると，モデルによって人手評価の結果が大きく異なることが確認できる．このことより，NMT は乱数の影響を強く受けるということが言える。

また，ここで表 5 の結果と表 4 の結果を比較する. PRED の最も良かった NMT 7 と，BLEU の最も良かった NMT 5 は，どちらも人手評価では振るわなかった．

このことより、自動評価と人手評価の結果が一致するとは限らないということが言える。

## 5 考察

## 5.1 PRED 值平均

人手評価に対応する PRED 値の値の平均を表 6 に示す.

表 6 人手評価と対応する PRED 値の平均

表 6 より, PRED 值が高いほど良い人手評価になる傾向にあることが確認できた．

## 5.2 出力結果 (PRED と人手評価の一致した例)

表 7 に PRED が人手評価と対応がとれている例, 表 8 , 9，10に PRED と人手評価が対応が取れていない例を示す.

表 7 PRED と人手評価の一致した例 1

表 7 については, 人手評価○の文に対しては高めの
PRED 值が , × の文に対しては低めの PRED 値が出ていることが確認できる。

表 8 PRED と人手評価の一致した例 2 (繰り返し文)

表8について, NMT 1，8の出力では the president が繰り返し発生している.しかし意味は取れている文であるため, 人手評価では○とした . 光して PRED についても良い値を示している．このことより，この例において PRED は繰り返し文に対応出来ていた。

表 9 PRED と人手評価の一致した例 3 (He, She 入れ替わり)

表 9 において NMT 5 の出力は He であるべき部分が She となっている. 光してこの出力の PRED 值は下から 2 番目に悪い．PRED 値は類似の例文をもとに導出する．

今回 She の出力で PRED が悪かったのは , 類似の例文に Heで始まるものが多かったからではないかと考える． 5.3 出力結果 (PRED と人手評価が一致しなかった例)

表 10 PRED と人手評価が一致しなかった例 1 (肯定否定が逆でも PRED に大差なし)

表 10 について説明する.NMT2, 4,8 の出力は翻訳すると「自分の将来に不安を感じている」といったニュアンスになる．しかし入力文は「自分の将来に不安を感じていない」であり，これらの出力文は意味が逆になって出力されている.しかし PRED 值においては正解の出力文と大して変わらない値となっている.
表 11 PRED と人手評価が一致しなかった例 2 (意味不明でも PRED は光こまで悪くない)

表 11 において，NMT4，5，8 の出力は入力文と大きく異なる訳であるにもかかわらず，PRED の値は良い． この原因については , 類似する例文が少なかったからではないかと推測する。

表 12 PRED と人手評価が一致しなかった例 3(PRED 低いけど人手評価は○)

表 12 において , NMT4, 6 の出力は人手評価では○とした . しかし PRED 值で見ると , ワーストの 2 文である .

## 5.4 各文に対して最良の PRED 値を選択した際の人手評価結果

表 13 に示す.なお, 表の「PRED 最良」の行では各入力文に対する出力文に最も低い PRED 値を選択した際の結果を示す.また，「理論値」の行では各入力文に対しての出力文に人手評価が最も良いものを選べた際の結果を示す。

表 13 人手評洒結果 (100 文)

表 5 と表 13 を比較すると，PRED 値が最良の出力を選択することで人手評価結果が改善することが確認できた.このことより，PREDによってある程度は翻訳の良し悪しを判定できることが分かった . しかし理論値と比較すると , 改善の余地があることが分かる．

5.5 エポック数の妥当性について

エポック数の値が 100,000 で適切であるかどうかを検証した . ステップ数別の PRED と BLEU の值を表 14 に示す.

表 14 を見ると ,PRED の値は 100,000 以降で , BLEU の值は 70,000 以降頭打ちになっている．光のため，エポック数の值は 100,000 が適切であると判断した.

## 6 おわりに

本研究では, NMT において同じデータで学習を行った際，どの程度翻訳結果が変動するかについて調査を行った. 調査結果より, 同一の学習データで学習させたとしても出力は異なることが分かった . また, 各翻訳評価においても差が生じるということが分かった . 考察より， PRED 値を用いることで NMT の出力を改善出来ることが分かった.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

[2] K. Papineni, S. Roukos, T. Ward, and W. J. Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, 2002

[3] S. Banerjee and A. Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. pages 6572 , 2005.

[4] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. Proceedings of Association for Machine Translation in the Americas, 2006.

[5] G. Klein, Y. Kim, Y. Deng, J. Senellart, and A. M. Rush. OpenNMT: Open-source toolkit for neural machine translation. ArXiv e-prints, 2017.


# 価値判断を伴うファクトイド質問応答

$\dagger$ 奈良先端科学技術大学院大学 先端科学技術研究科
‡国立研究開発法人 情報通信研究機構 (NICT)
seki.naoya.si8@is.naist.jp
\{junta-m, rovellia, julien, ryu.iida, torisawa\}@nict.go.jp

## 1 はじめに

ユーザはしばしば「糖尿病患者は何を食べるといい?」のように、何かをうまくやる，もしくはまずいことを避けるための質問を発する。このような質問のうち，名詞句を回答とするものを，本研究では「価値判断を伴うファクトイド質問」(Opinion Factoid Question Answering, 以下 OFQA）と呼ぶ。従来の質問応答システムでは, 価值判断を伴うファクトイド質問には対応できない。その結果, 例えば質問「糖尿病患者は何を食べるといい?」に対し,「ケーキ」といった不適切な回答が出力されてしまう.

本研究では, 日本語の OFQA データセットを作成し, これと, 価值判断を考慮していないファクトイド QA のデータセットや一見質問応答とは関連の薄い因果関係認識認識に関するデータセットを組み合わせて fine-tuning した, BERT ベースの質問応答手法を開発した.この精度はセンチメント分析等,複数の異なるタスク用の分類器/抽出器を組み合わせたパイプライン方式よりも精度が高かった。これらのパイプライン方式の開発では, 価値判断の根拠 （例えば，「糖尿病患者がケーキをたべてはまずい」 の「まずい」）を表す入力中の表現を特定するため追加的なアノテーション等も行ったが, それらの追加アノテーションや各種モジュールを使用しなくても，BERT がいわゆる end-to-end でょり高い精度を達成できたことは興味深い。

## 2 データセットの構築

本研究で構築した OFQA データセットは, 質問・回答候補・回答候補が抽出された文（以下，元文） の 3 つ組と, 質問に対し回答候補が適切か否かの二值ラベルで構成される. 本研究では, 関らのファク

トイド $\mathrm{QA}$ (以降, $\mathrm{FQA}$ と呼ぶ. 価値判断は考慮されていない) データセット [1] の訓練事例から抽出した 7,887 事例（抽出条件の詳細は付録を参照）と，大規模情報分析システム WISDOM X[2][3] で新規に収集したファクトイド質問応答の出力からデータセットを作成する．WISDOM X は，ユーザから与えられた質問からバイナリパタンもしくはユナリパタンと呼ばれるパタンを抽出し，それらパタンを用いて Web 文書 40 億件から回答候補を検索する．表 1 に検索結果の例を示す.

バイナリパタンとは，係り受けで繋がった 2 つの変数化された名詞をもつ「A は B 引き起こす」のようなパタンを指す [4]. ユナリパタンは 1 つの変数化された名詞をもつ「Aを引き起こす」のような形式で表されるパタンを指す. WISDOM X では， Web40 億文書に形態素解析など処理を行い，バイナリ（ユナリ）パタンを抽出し，検索用インデックスを構築する。検索の際は，与えられた質問からパ夕ンとパタンの変数に当てはまる名詞（例 : A が B を食べる, $\mathrm{A}=$ 糖尿病患者）を抽出し，検索用インデックスに照合して回答候補を検索する。また，柔軟な照合を行うために，抽出されたパタンと含意関係にあるパタンも利用して回答候補を検索する [4].こうしたパタンを用いることで単純に名詞等でキー ワード検索するよりも，より少数の，正解の可能性が高い回答候補を絞り込むことができる.

アノテーション作業では, 表 2 に示したような質問, 回答候補, 元文の 3 つ組を対象に, 質問に対して回答候補が適切か否かを判定する。ただし，質問

は「といい？」といったような表現で表される価値判断を伴う質問となっているため，その価値判断も含めて判定を行う．例えば，この表の質問に対しては, 表 1 にある元文から抽出された回答候補「ケー キ」は「糖尿病患者が食べるといいもの」ではないので，正解とはみなされない.

 \\

また, 上記のアノテーション作業時, 元文中に回答候補の価值判断の根拠（以降，根拠表現と呼ぶ） があれば，その根拠表現を特定する作業も同時に行なった，表 2 の例では，「血糖値を下げるのに効果的です」が根拠表現となる. 抽出した根拠表現は後述する比較手法で用いる.

質問文については，Web40 億文書から質問文を疑問代名詞の有無など簡単なルールで抽出した後, 質問一般性判定によるフィルタリングを行なった。この判定では，例えば「IOT で何が変わるのか？」のように，質問文が単独で知識，意見を求めている質問として成立していれば質問一般性が成り立つと判断する。一方, 「この英単語の意味わかりますか?」 のように，文脈がないと理解できない質問については質問一般性が成り立たないと判断する. 本研究では, NICT が開発した BERT ベースの質問一般性判定モデルを用いて質問一般性を判定する. 判定の結果，約 161 万件のファクトイド質問が獲得できた。

このようにして得られたファクトイド質問について, UniLM[5] を用いた質問変換器で WISDOM X で検索しやすい形式の質問に言い換えた質問を作成する. 例えば， Webから抽出した質問が「Q1. 糖尿病患者って何を食べるんですかねえ？」だとすると，「糖尿病患者は何を食べる？」のように言い換えた質問を作成する．ついで，言い換え後の質問に「といい？」または「とまずい？」のいずれか，価値判断を表す表現をランダムに選んで付加し, 価値判断を伴う質問を作成する．なお，「といい？」といった表現を付加すると不自然な質問となる場合があるため，最終的に人手で質問が意味的に自然か否かを判定した。約 161 万件のファクトイド質問からサンプリングした 10,000 件の質問に対して上記判定を行い，7,643 件の質問を得た。

ついで，WISDOM X は価值判断を伴う質問に対応していないため,「といい？」あるいは「とまずい?」を付加する前段階の質問について，WISDOM $\mathrm{X}$ で回答候補と元文を検索する．質問あたりの回答候補の検索上限数は 10 件とし, 回答が重複しないようにした。この結果, 7,643 質問に対し 29,659 件の回答候補と元文の組が収集できた。

これらの回答候補には，価值判断を考慮しなくても正解とは言えない回答候補も含まれる. そうした回答候補を大量にアノテーションするのは効率が悪いため, 関らの FQA 分類器 [1] を用い, 価値判断を考慮しない場合に正解とみなされる事例のみをアノテーションすることにした。さらに，元文に根拠表現が含まれる可能性の高い事例を抽出するため，元文の末尾の表現に着目してフィルタリングを行った (詳細は付録参照). 最終的に, 5,273 件の質問,回答候補，元文の組が得られた。一方，評価時にこのフィルタリングの影響を軽減するため, 本研究では，1,774 件の質問・回答・元文の組をフィルタリング抜きで作成し, テストデータに加えた.

これらのデータに加えて, 関らの FQA データセッ卜 [1] の訓練事例の正例から抽出した 7,887 事例を加えて, 価値判断も考慮した正例/負例のアノテー ション, さらには前述した価值判断の根拠の特定のアノテーションを行った. 回答候補の適切さ及び根拠表現の特定のアノテーションは一つのインスタンスに対して，3名のアノテータが行い，正例／負例のラベルは多数決で決定した．異なるアノテータによるラベルの一致度を示すカッパ値はテストデータに追加したフィルタリングしていないデータに関してが 0.53 , それ以外が 0.57 であり，良好なアノテー ションであると考える。ついで，質問が重複しないようにこれらのデータを以下の表 3 にあるように訓練, 開発，テストの 3 種に分割した。

## 3 手法

本研究では, 提案手法, 自明なべースライン手法の他に比較手法として複数のモジュールを組み合わせたパイプライン方式も二つテストした。以下では，まず，それらのパイプライン方式を説明する. なお，提案手法も含めて，以下で述べるべース

ライン, 比較手法で使われている各モジュールは, すべて全て 22 億文からなる因果関係文を含む Web コーパス（サイズは約 353GB）[6] で事前学習した

## 3.1 比較手法

図 1 根拠表現を用いるパイプライン方式

パイプライン方式の一つ目は，ファクトイド $\mathrm{QA}$ モデル [1], 根拠表現抽出器, センチメント分析を組み合わせたパイプライン方式である（図 1).この手法では，ファクトイド $\mathrm{QA}$ モデルで正解とされた回答に関して, 根拠表現抽出器を用いて価値判断の根拠を特定し，その根拠のセンチメントが質問の価值判断と一致している場合（つまり，「といい?」 の質問に対しては positive なセンチメント，「とまずい?」の質問に対しては negative なセンチメント) のみ，回答を正解とする.

ファクトイド $\mathrm{QA}$ モデルは BERT を関らの FQA のデータセットと OFQA データセットの二つでマルチタスクで fine-tuning したものを用いる. 根拠表現抽出器には BERT のトークン分類モデル（つまり，各トークンの出力に二値の softmax を接続し，そのトークンが根拠表現にふくまれるかどうか判定するモデル）を用い，前述したように，データセットに付与された価值判断の根拠表現で fine-tuning した. センチメント分析器も同様に BERT を用いた二值分類器である. (詳細は付録).

もう一つのパイプライン手法は, ファクトイド $\mathrm{QA}$, WISDOMXのどうなる型 QA[7][8][6] とセンチメント分析器のパイプライン方式である (図 2). WISDOM X のどうなる型 QA は「A とどうなる？」 というタイプの質問に A の因果的帰結で回答するサービスである．例えば，質問「糖尿病患者は何を食べるといい?」と回答候補「ケーキ」から「糖尿病患者はケーキを食べるとどうなる？」というどうなる型質問を作成し検索すると, 「救急車で運ばれ

図 2 どうなる型 $\mathrm{QA}$ を用いるパイプライン方式

る」といった因果的な帰結句が得られるが，これらの帰結句は回答候補に対する価値判断の根拠とも考えられる.この手法では，こうした見方に基づき，帰結句にセンチメント分析を適用した結果と質問の価值判断が一致した回答で, ファクトイド $\mathrm{QA}$ が正例とみなした回答だけを正解とする. ファクトイド $\mathrm{QA}$ とセンチメント分析器は前述したものを再利用した.

## 3.2 提案手法

本節では, 提案手法として, BERT の一段階目のファインチューニングを OFQA と異なるタスク，二段階目を OFQA で学習する二段階 fine-tuning を提案する。より具体的には, 関らの FQA データセット [1] と, Hashimoto らの因果関係認識データセット [7] を合わせたデータで一段階目の fine-tuning を行い, FQA と因果関係認識に対する性能の平均が最も性能の高いモデルを二段階目の fine-tuning に用いた。価値判断を伴わない FQA と OFQA では回答が正解となる基準は異なるが，どちらもファクトイド質問を対象とした質問応答であり, 必要とする知識も共通する部分があると考えられる。また，前述したように，元文中の回答候補にまつわる表現の因果的帰結 (「糖尿病患者がケーキを食べる」に対して 「救急車で運ばれる」）は価值判断と密接に関係があると考えることもできる。提案手法では，これらの仮説に基づき FQA と因果関係認識のデータセットで一段階目の fine-tuningを行い，それらのデータセットが含む知識を OFQA で使うことを狙う。

## 4 実験

提案手法及びベースライン, パイプライン方式の比較手法で用いる FQA モデルの fine-tuning 時には表 6 （付録を参照）のパラメータを探索した。前
述したパイプライン方式の比較手法の他に, ベー スライン手法として前述した BERT $\mathrm{BARGE}$ を (1) 関らの FQA データセット, (2) OFQA データセット, (3)FQA データセットと OFQA をマージしたデータ （FQA+OFQA）の 3 通りのデータセットで fine-tuning をしたモデル, また, (4) 提案手法で用いた因果関係，FQA，OFQA を段階を踏んで fine-tuning をするのではなく, 一気にマルチタスクで学習したモデルの 4 種類を評価した。

表 4 に OFQA のテストデータに対する実験結果を示す. なお, 実験時間が足りなかったため, パイプライン（どうなる型 $\mathrm{QA}$ ）は OFQA のテストデータの一部（1,774 件）に対する実験結果である. 提案手法 (テストデータ一部) はそれとの比較のため, 提案手法を同じテストデータで評価したものとなる. また, 提案手法 (-因果関係) は, 提案手法の 1 段回目の fine-tuning 時に因果関係のデータセットを使わなかったモデルである.

表 4 OFQAのテストデータで評価した結果

提案手法の精度はベースラインも含め比較手法のいずれをも上回った. 特に, 提案手法が (4) マルチタスク及び提案手法 (-因果関係) の性能を上回ったことはそれぞれ 2 段階 fine-tuning, 因果関係データセットの有効性を示している。特に, 因果関係という一見 OFQA，ファクトイド $\mathrm{QA}$ とかけ離れたデー タセットがポジティブな影響を持っていることは興味深い. また, パイプライン手法は二つとも提案手法よりも高い精度を達成することはできなかった。 これはこれらのパイプライン手法が根拠表現やセンチメント，さらには因果関係に関係する別のデータで学習した各種モジュールを使っていることを考えると興味深い。つまり, この結果は, OFQA デー タセットだけから BERT が学習した価値判断の方が, 少なくとも我々の設定では, それらの追加の学習データで別途学習した内容よりも高品質であることを意味しており, BERT の end-to-end 学習の強力さを示すものであると考えられる.
また, FQAのみで学習したべースライン (1) は精度が極めて低く, OFQA+FQA の組み合わせ (3) がベースラインの中では一番精度が高い。なお， OFQA で高い精度を達成するためには, そのベースとなっている価値判断の判定と, そもそも価值判断を考慮せずに FQA の正解を正しく認識することの両者が必要であると考えることができる.ここで, OFQA のデータセットはあくまで価値判断の判定を適切に学習することに貢献しているのであって, 価值判断を考慮しない FQA の精度向上によって間接的に OFQA タスクの精度向上を果たしているわけではないことを確認するため, 追加で以下の実験を行った。この実験では，（価值判断を考慮しない） FQA のテストデータでベースラインの精度を評価した。（表 5).

表 5 FQAのテストデータで評価した結果

これによると, OFQA だけで学習したべースライ

(2) も, FQA と OFQA の両者で学習したベースライン (3)も，FQA だけで学習したベースライン (1) の性能を下回った。これは, OFQA のデータセットは価値判断を考慮しない FQA の性能向上には貢献しないことを示している.このことから，FQAを学習データに追加することで学習されているのは確かに価值判断であることが分かる.

## 5 おわりに

本研究では「価値判断を伴うファクトイド質問」 を新たなタスクとして提案し，データセットを作成の上，そのタスクのための質問応答モデルを開発した. 因果関係認識や FQA といった別タスクの学習データを利用することで性能が向上することを示した.モデルは BERTをいわば end-to-end で学習したものであり, 別途アノテーションした価値判断の根拠やセンチメント分析を利用したパイプライン方式よりも精度が高かった。これはいわば，このタスクにおいてはパイプライン方式を考えた人間の開発者を BERT が上回ってしまったと考えることもできるかもしれない.

## 参考文献

[1] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答における BERT の pre-trained モデルの影響の分析. 言語処理学会第 26 回年次大会, 2020

[2] Masahiro Tanaka, Stijn De Saeger, Kiyonori Ohtake, Chikara Hashimoto, Makoto Hijiya, Hideaki Fujii, and Kentaro Torisawa. WISDOM2013: A large-scale web information analysis system. In The Companion Volume of the Proceedings of IJCNLP 2013: System Demonstrations, pp. 45-48, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[3] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 263-267, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[5] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and HsiaoWuen Hon. Unified language model pre-training for natural language understanding and generation. In 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), December 2019

[6] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, JongHoon Oh, and Julien Kloetzer. Event causality recognition exploiting multiple annotators' judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5816-5822, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 987-997, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[8] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks, 2017.
[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: $100,000+$ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[10] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

## 付録

## A データ収集

Web から抽出した質問には不要な記号（「れ」,「个」,「*」,「Q1.」等）や質問の内容に大きく影響しない単語列（「ところで」,「そもそも」,「技術における企業の最責任者, C T Oの仕事とは？」の下線部等)が含まれ，そのまま WISDOM X に入力すると十分な数の回答候補が得られない可能性がある. そこで， Web から抽出した質問を対象に，不要な部分を取り除いて簡単な形式に言い換えた質問を生成する。言い換えた質問の生成には NICT が開発した UniLM[5] ベースの質問変換器を用いた.

末尾表現は，WISDOM X のファクトイド質問応答で用いられるバイナリ (ユナリ) パタン [4] が合致した箇所以降の単語列を指す. 表 1 の例では「が，まずいと思います.」が末尾表現となる. 回答候補に対する価值判断の根拠は, この末尾表現に出現しやすいと考えられるため，2 節のデータ収集では，価值判断の根拠が含まれる可能性の低い未尾表現が 4 文字未満の事例は取り除いた.

本研究では, 関らの FQA データセットの訓練事例 174,765 事例から，（1）回答候補がユナリパタン [4] で抽出されている, （2）回答候補が正解である，（3）元文の末尾表現が 4 文字以上存在する，（4）質問一般性が成り立つ，の条件を全て満たす事例を抽出する。（4）について，FQA データセットの質問の一部は WISDOM X によりルールベースで生成されており，文法的，意味的に不自然な質問が含まれる場合があるため, 質問一般性判定によりフィルタリングを行う．（1）から（4）の条件で抽出した結果, 7,887 件の質問, 回答候補, 元文の組が得られた.次に，質問に「といい？」もしくは「とまずい？」を付加して価値判断を伴う質問を作成する.「といい?」「とまずい?」のどちらを付加するかは, 組となる元文の末尾表現のセンチメントで決定し，センチメントがポジティブであれば「といい?」を，ネガティブあれば「とまずい?」を質問に付加する．センチメントの特定には BERT ベースのセンチメント二值分類器を用いた（C を参照). 最後に，価値判断を伴う質問，回答候補，元文を組としアノテーション作業を行なった。

## B fine-tuning のパラメータ探索

本研究では, 表 6 のパラメータの組み合わせに対し個別に fine-tuning し, 開発データで $\mathrm{F} 1$ スコアが最も高いモデルを選択した.

表 6 fine-tuning のパラメータ探索

## C センチメント分析

本研究では, センチメント分析を事象を表す文が与えられた際，その事象がポジティブなのかネガティブなのかを分類する二值分類のタスクとする．センチメント分析モデルは， NICT が

データセットは NICT がクロールした Web40 億文書から抽出された事象と事象に対する感情表現のペアから作成されたセンチメント分析データセットを用いる（表 7)。上記データセットで学習したモデルをテストデータで評価すると非常に高い精度でセンチメントを分類できていることが分かる（表 8）。

表 7 センチメント分析データセットの統計値

表 8 センチメント分析モデルの性能

## D 根拠表現抽出

本研究では，(1) 最長一致 (longest) と完全一致 (exact), (2) minor,（3）ofqa-neg の条件を組み合わせて根拠箇所を選択し，根拠表現抽出データセットを作成した。

最長一致は，アノテータが抽出した根拠箇所が一部重なる場合，重複しない部分も含めた最長の単語列を根拠表現とする。例えば，根拠表現として「ビタミン C が豊富に含まれ，美容にも良い」,「美容にも良いし, 風邪予防にもなる.」という単語列が抽出された場合, 「ビタミン $\mathrm{C}$ が豊富に含まれ，美容にも良いし，風邪予防にもなる.」を根拠表現とする。完全一致は, アノテータが抽出した根拠箇所のうち, 重複する単語列 （「美容にも良い」）を選択する．minor は，（1）で根拠箇所が決まらなかった場合に，（1）で最終的に洗濯されなかった根拠表現， アノテータ 3 人のうち 1 人のみが抽出している根拠表現からランダムに 1 つを選択する. ofqa-neg は，回答候補が適切な事例に対し抽出された根拠表現に加え，回答候補が不適切な事例に対し抽出された根拠表現も利用する。

本研究では, 予備実験において最も性能が高かった exact+minor+ofqa-neg の組み合わせを用いる. 表 9 に根拠表現抽出データセットの統計値を示す.

根拠表現抽出に用いるトークン分類モデルの入力は質問・回答候補・元文の 3 つ組とし，「〈質問の単語列〉 $[\mathrm{SEP}]$ 〈回答候補の単語列 〉[SEP] 〈元文の単語列〉」の形式で入力する. 評価指標は SQuAD[9][10] の評価に用いられる Exact Match(EM)，F1 スコアを用いる. パイプライン手法で用いた根拠表現抽出器を根拠表現抽出データのテストデータで評価すると, EMで 76.6, F1 スコアで 80.8 の性能が得られた.

 \\

開発 & 1,648 & $491(29.8 \%)$ \\
テスト & 5,064 & $1,366(27.0 \%)$


# 変分質問回答ペア生成による質問応答モデルの 汎化性能と頑健性の向上

篠田一聡†菅原朔
$\dagger$ 東京大学大学院情報理工学系研究科 $\ddagger$ 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 1 はじめに

文章を読解して質問に答えるシステムを作るために機械読解の研究が盛んに行われている $[1,2,3]$. そのためにはニューラルネットを訓練するための大量の質問回答ペアが必要であるが，その作成には膨大な人手コストを要する。そこでコスト削減のため，自動で質問回答ぺアを生成してデータ拡張を行う研究が注目を集めている $[4,5,6]$.

一方で質問応答モデルが訓練データと違う分布の分布外 (out-of-distribution; OOD) データセットには汎化しないこと [7] や質問応答モデルが頑健ではない困難なテストデータが存在すること $[8,9,10]$ も実用上問題である. データ拡張を適切に行えばモデルの過学習を回避してこれらの問題を解決できる可能性がある $[10,8]$ が，質問回答ペア生成の既存研究ではこのような特性はあまり注目されて来なかった。

本研究では，データ拡張によって訓練データの質問回答ペアの多様性を向上することで，質問応答モデルの汎化性能と頑健性の向上を目指す. 訓練デー タの多様性を向上するために, 多様な質問回答ペアを生成する「変分質問回答ペア生成モデル」を提案する. 評価用データセットには分布内テストデータに加えて，分布外テストデータと困難なテストデー タを用いて汎化性能と頑健性を評価する. 本研究の貢献は以下の 3 点である.

・変分質問回答ペア生成モデルを提案し，既存のモデルに比べて質問回答ペアの多様性を大幅に向上させた. このモデルを用いて合成データセットを作成した.

・作成した合成データセットでデータ拡張を行った結果，分布内テストデータにおいて既存の質問回答ペア生成手法に比肩する結果が得られた。

・ターゲットの分布がモデルにとって未知である
にも関わらず，提案手法は分布外テストデータへの汎化性能と困難なテストデータへの頑健性の向上に寄与することがわかった.

## 2 変分質問回答ペア生成モデル

条件付き変分自己符号化器を拡張することで，多様な質問回答ぺアを単一の文章から生成可能な深層生成モデルを提案する. SQuAD [1] などの人が作成した質問応答データセットでは，一つの文章 $c$ に複数の回答 $a$ が存在し, 文章と回答のぺアに対して複数の質問 $q$ が作成されうることから，回答と質問をそれぞれ異なる潜在空間に埋め込むことが妥当であると考えられる。従って，2つの互いに独立な連続潜在変数 $z$ と $y$ を導入し, 回答と質問を多様化する役割をそれぞれに持たせる．以下の章ではモデルの詳細について説明する。

## 2.1 目的関数

提案モデルは確率的潜在変数を含むため，対数周辺尤度を直接計算することができない. その代わりにその変分下限を最大化することで訓練ができる. しかし, 変分自己符号化器の変分下限を最大化すると KL 項の值が 0 に収束して復号化器の出力が潜在変数によらず一定になってしまう posterior collapse 問題が起こることが知られている [11]. 提案モデルでもその現象が確認されたため，この問題を回避するために Burgess ら [12] によって提案された KL 項の値を明示的に制御する手法を用いる。よって，提案モデルの目的関数 $\mathscr{L}$ は以下のようになる.

$
\begin{aligned}
& \mathscr{L}=\mathbb{E}_{q_{\phi}(z, y \mid q, a, c)}\left[\log p_{\theta}(q \mid y, a, c)+\log p_{\theta}(a \mid z, c)\right] \\
& -\left|D_{\mathrm{KL}}\left(q_{\phi}(z \mid a, c)|| p_{\theta}(z \mid c)\right)-C_{a}\right| \\
& -\left|D_{\mathrm{KL}}\left(q_{\phi}(y \mid q, c)|| p_{\theta}(y \mid c)\right)-C_{q}\right|
\end{aligned}
$

$\theta$ は復号化器の, $\phi$ は符号化器のパラメータであ, $D_{\mathrm{KL}}$ は KL ダイバージェンス, $C_{a}, C_{q} \geq 0$ は KL 項

図 1 提案モデルの全体像. 各構成要素の入力と出力が矢印とともに示されている.

の值を制御するためのハイパーパラメータである.

## 2.2 モデル構造

モデルの全体像を図 1 に示す. 以下各構成要素について説明する。

## 2.2.1 Embedding and Contextual Embedding Layer

文章/質問/回答中の各単語の埋め込みベクトルと文字レベル埋め込みベクトルを結合し，異なる BiLSTM に入力する. 双方向の LSTM の最終時刻の隠れ状態べクトルを連結したものを $h \in \mathbb{R}^{2 d}$, 各時刻の隠れ状態べクトルを連結したものを $H \in \mathbb{R}^{L \times 2 d}$ とする. 図 1 ではこれらがどの入力から得られたものかを示すために右肩に添字を付した． $L$ は系列の長さで $d$ は隠れ状態べクトルの次元数である.

## 2.2.2 Prior and Posterior Distributions

潜在変数の事前確率と事後確率は分散共分散行列は対角行列の多変量正規分布に従うと仮定する. 潜在変数 $z$ と $y$ の事前確率と事後確率の平均と分散の対数は $h^{C}, h^{Q}, h^{A}$ を線形層に入力して得られる. その後に，サンプリングされた $z$ と $y$ はそれぞれ回答抽出モデルと質問生成モデルに入力する.

## 2.2.3 Answer Extraction Model

ここでは回答抽出を 2 ステップの自己回帰的な復号とみなして, 回答の確率を $p(a \mid c)=$ $p\left(c_{\text {start }} \mid c\right) p\left(c_{\text {end }} \mid c_{\text {start }}, c\right)$ のようにして求める. 回答抽出モデルには，潜在変数 $z$ を線形層に入力して得られる出力を初期状態の隠れ状態べクトルとするように pointer network を拡張したものを用いる.こ
の拡張によって潜在変数 $z$ から回答 $a$ への写像を学習することが可能になる． $H^{C}$ を attention スコアの計算に用いる。

## 2.2.4 Answer-aware Context Encoder

回答の位置を考慮した文章についての情報を得るために，さらに BiLSTM を用いる． $H^{C}$ に回答の始点と終点の one-hot ゙クトルを連結したものを BiLSTM に入力し，各時刻の双方向の隠れ状態べクトルを連結して $H^{C A} \in \mathbb{R}^{L \times 2 d}$ を出力として得る.

## 2.2.5 Question Generation Model

潜在変数 $y$ と $H^{C A}$ を元に質問を生成する. 質問生成モデルには LSTM 復号化器と注意機構，コピー 機構 [13] を用いて質問中の単語を先頭から順に予測する.ここでも $y$ を線形層に入力して得られる出力を復号化器の初期状態の隠れ状態べクトルとする拡張を行う。 $H^{C A}$ は注意機構とコピー機構で用いる。

## 3 実験・結果

## 3.1 データセット

データセットには Wikipedia の文章からクラウドワーカーが作成した約 10 万の質問回答ペアからなる SQuAD v1.1 [1]を用いる. SQuAD はテストデー タが公開されていないため，質問生成の先行研究でよく用いられる SQuAD-Du [14]を用いる. デー タのサイズは訓練データが 70,484 ，検証データが 10,570 ，テストデータが 11,877 である.

## 3.2 回答抽出

提案モデルが抽出した回答と SQuAD-Du の回答の一致度に加えて，抽出された回答の多様性を検証するために，提案モデルで各文章から 50 の回答をランダムに抽出した． $C_{a}$ は様々な値を検証したが，紙幅の関係で限られた値の結果のみ報告する。

評価指標回答同士の一致度の評価には Proportional Overlap (Prop.) と Exact Match (Exact) を用いた [5]. それぞれの指標について Precision と Recall を計算して多対多の評価に用いる。多様性の評価には抽出された回答から重複を省いた後の総数を Dist スコアとして定義して用いた。

ベースライン固有表現抽出 (NER) と, BiLSTM$\mathrm{CRF}$ で回答抽出を学習している HarestingQG (HarQG) [5] をべースラインに用いた.

表 1 テストデータにおける回答抽出の結果.

表 2 テストデータにおける質問生成の結果.

結果表 1 に結果を示す. $C_{a}$ を適切な値に設定することで，先述の posterior collapse 問題を回避して多様性を向上しつつより高い再現度を達成した. SQuAD-Duよりも多様性が向上しているため, Precision の低さは必ずしも抽出された回答の質が低いことを意味しないと考える。

## 3.3 質問生成

参照質問の再現度と生成された質問の多様性を評価するために，文章と回答を入力としてランダムに 50 の質問を生成させた.

評価指標再現度の評価には BLEU-1 (B1) / Meteor (ME) / ROUGE-L (RL) の Recall (-R), 多様性の評価には Dist-1 (D1) / Ent-4 (E4) / Self-BLEU-4 (SB4)を用いた.

ベースライン SemanticQG (SemQG) [6] をベースラインとして用いる. 提案手法と公平な比較をするために, Diverse Beam search で復号を行い，スコアの高い 50 の質問文を各入力について生成した.

結果表 2 に結果を示す. 提案モデルは既存手法に比べて多様な質問を生成できている。 また，提案手法の B1/ME/RL の Recall が SemQG のビーム幅 10 の時のスコア 48.59/24.86/46.66 と同等であることから，各入力につき少なくとも 1 つはべースラインに匹敵するスコアの質問を提案モデルが生成できていることが分かる. $C_{q}$ が 0 の時に SB4 が 100 に近い
ということは各入力に対してほとんど同じ質問ばかり生成しており, posterior collapse 問題が起きているが， $C_{q}$ を適切な值に設定することでそれを回避できている。

## 3.4 合成データセットの構築

以上の結果から，複数の設定で構築したモデルで生成すればより多様なデータが得られると考えられる。 そこで $\left(C_{a}, C_{q}\right)=(5,5),(5,20),(20,20)$ の 3 つの設定でモデルを構築し, 訓練データ中の各文章からそれぞれランダムに 50 の質問回答ペアを生成した. 得られた合成データセットをそれぞれ $D_{5,5}$, $\mathscr{D}_{5,20}, \mathscr{D}_{20,20}$ とおく. 人手評価（付録 B）によるとこれらは質の低いデータを含むため，回答が長すぎるもの，質問が短すぎるか長すぎるもの，疑問詞を含まないものを省き，質問文中の n-gram の繰り返しを削除した．以下では基本的にこれら 3 つのデー タセットを混合したものをデータ拡張に用いる.

## 3.5 質問応答

質問回答ペア生成の既存研究に従って BERT-base [15] を質問応答モデルとして使う。 ハイパーパラメータは元論文に準拠する。データ拡張を行う際は合成データセットで 1 エポック学習した後にオリジナルの訓練データで 2 エポック学習する． $83.2,3.3$ と同様 HarQG と SemQG をべースラインに用いる.

## 3.5.1 半教師あり質問応答

質問回答ペア生成によるデータ拡張（半教師あり質問応答）の評価を行う. 表 4 に半教師あり質問応答の結果を示す. 提案手法は SemQG に匹敵する精度向上を達成した. BERT-base よりパラメータ数の多い BERT-large についても同様の実験を行ったが, いずれの手法でも精度向上は見られなかった.

提案した各合成データセットが精度にどれくらい寄与しているかについて分析するために検証データでアブレーションを行った. その結果，3つのうちどの合成データセットを除いても EM / F1 スコアが 0.3 / 0.1 0.3 ポイント減少した. 詳しい結果は付録 Aに載せる. よっていずれの合成データセットも精度向上に寄与していることが分かる。

## 3.5 .2 分布外データセットへの汎化

既存研究において質問応答モデルは分布外データセットに対してうまく汎化できないことがわかって

表 3 質問応答モデルの汎化性能と頑健性の評価

表 4 半教師あり学習

いる $[7,16]$. ここでは提案手法が分布外データセットへの汎化性能を向上するかを評価する．評価用データセットには NewsQA [2], TriviaQA [3], Natural Questions (NQ) [17]を用いる。NQについては Sen ら [16] に倣って長い回答から短い回答を抽出するタスクに再定式化した。参考としてそれぞれのテストデータと同じ分布の訓練データ（Target）で質問応答モデルを訓練した時の精度も報告する.

表 3 の左に結果を示す. 提案手法は TriviaQA では最も高い精度を達成し，NQでは SemQG に匹敵する精度となった. NewsQA ではほとんど向上は見られなかった. Wikipedia 以外のニュース記事等の文章を活用することが必要だと考えられる.

## 3.5.3 困難なテストデータへの頑健性

3 種類の困難なテストデータを用いて質問応答モデルの頑健性を評価する.
- 質問のパラフレーズ [8]: SQuAD の質問のパラフレーズ（non-Adv）と本来の回答と似ている回答の近くの単語を使って敵対的に作成したパラフレーズ（Adv）の2つのテストデータ

・難しい質問 [9]: SQuAD の検証データを単純なヒューリスティクスで分割して得られる簡単な質問（Easy）と難しい質問（Hard）のサブセット

・一貫性を要する質問 [10]: SQuAD の質問回答ぺアを含意する質問回答ペアからなるテストセッ

## 卜 (Implications)

結果表 3 の右に結果を示す. non-Adv, Adv, Hard, Implications のすべての困難なテストデータにおいて提案手法がもっとも頑健性の向上に寄与することがわかった. また表 4 で SemQG と提案手法は同等の精度であったが，表 3 によると SemQG は Easy のみで精度を向上させている一方で，提案手法は Easy と Hard 双方で精度を向上させる効果があることが分かる. SemQG はより SQuAD に近い質問を生成することを目的としている [6] ことから，合成データセットの質の向上よりも多様性の向上の方がより頑健性の向上に寄与する可能性が示唆される.

## 4 おわりに

本研究では多様な質問回答ペアを生成可能なモデルを提案し，合成データセットを構築した. これを用いた半教師あり学習において既存手法と匹敵する精度を達成した。そして提案手法は分布外データセットへの汎化性能だけでなく困難なテストデータへの頑健性の向上に寄与することがわかった. 質問応答のための質問回答ペア生成の研究 $[5,6,18,19,20]$ の中ではこのような結果を報告している研究は本研究が初であり，質問回答ペアの多様性の向上がもたらす効果について新しい知見が得られた。さらに提案したデータ拡張手法は多様性の向上のみを目的としており，既存手法 $[10,8]$ とは異なりターゲット分布を意識したデータ拡張手法ではないことも注目すべきである．実応用においてモデルが答えることが困難な質問を訓練時に事前に知っておくことは困難なため，訓練時にターゲット分布が未知なままそれらへの汎化性能を向上させることは重要である．BERT-large のようなパラメータ数の多いモデルへのデータ拡張手法の考案は今後の課題としたい.

## 参考文献

[1]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 23832392. Association for Computational Linguistics, 2016.

[2]Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, and Kaheer Suleman. Newsqa: A machine comprehension dataset. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pages 191-200. Association for Computational Linguistics, 2017.

[3]Mandar Joshi, Eunsol Choi, Daniel S. Weld, and Luke Zettlemoyer. Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension. CoRR, abs/1705.03551, 2017.

[4]Zhilin Yang, Junjie Hu, Ruslan Salakhutdinov, and William Cohen. Semi-supervised qa with generative domain-adaptive nets. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1040-1050. Association for Computational Linguistics, 2017.

[5]Xinya Du and Claire Cardie. Harvesting paragraph-level question-answer pairs from wikipedia. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1907-1917. Association for Computational Linguistics, 2018.

[6]Shiyue Zhang and Mohit Bansal. Addressing semantic drift in question generation for semi-supervised question answering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 2495-2509, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7]Alon Talmor and Jonathan Berant. MultiQA: An empirical investigation of generalization and transfer in reading comprehension. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 49114921, Florence, Italy, July 2019. Association for Computational Linguistics.

[8]Wee Chung Gan and Hwee Tou Ng. Improving the robustness of question answering systems to question paraphrasing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, July 2019.

[9]Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10]Marco Tulio Ribeiro, Carlos Guestrin, and Sameer Singh. Are red roses red? evaluating consistency of question-answering models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 6174-6184, Florence, Italy, July 2019. Association for Computational Linguistics.

[11]Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai,
Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pages 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12]Christopher P. Burgess, Irina Higgins, Arka Pal, Loic Matthey, Nick Watters, Guillaume Desjardins, and Alexander Lerchner. Understanding disentangling in $\beta$-VAE. arXiv e-prints, page arXiv:1804.03599, Apr 2018.

[13]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1073-1083. Association for Computational Linguistics, 2017.

[14]Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1342-1352. Association for Computational Linguistics, 2017.

[15]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16]Priyanka Sen and Amir Saffari. What do models learn from question answering datasets? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2429-2438, Online, November 2020. Association for Computational Linguistics.

[17]Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Matthew Kelcey, Jacob Devlin, Kenton Lee, Kristina N. Toutanova, Llion Jones, Ming-Wei Chang, Andrew Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: a benchmark for question answering research. Transactions of the Association of Computational Linguistics, 2019.

[18]Chris Alberti, Daniel Andor, Emily Pitler, Jacob Devlin, and Michael Collins. Synthetic QA Corpora Generation with Roundtrip Consistency. arXiv e-prints, page arXiv:1906.05416, Jun 2019

[19]Bang Liu, Haojie Wei, Di Niu, Haolan Chen, and Yancheng He. Asking questions the human way: Scalable questionanswer generation from text corpus. In Proceedings of The Web Conference 2020, WWW' 20, page 2032-2043, New York, NY, USA, 2020. Association for Computing Machinery.

[20]Dong Bok Lee, Seanie Lee, Woo Tae Jeong, Donghwan Kim, and Sung Ju Hwang. Generating diverse and consistent QA pairs from contexts with information-maximizing hierarchical conditional VAEs. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 208-224, Online, July 2020. Association for Computational Linguistics.

## A アブレーション

表 5 にアブレーション結果を示す.

表 5 検証データでのアブレーション

## B 人手評価

表 6 に人手評価の結果を示す. ベースラインに SemQG を用いた. Amazon Mechanical Turk (AMT) を用いて SQuAD は 100 ，その他は 200 ずつ質問回答ペアを評価した. 項目は質問が文法的におかしくなくて意味がわかるかどうか，質問が文章と関連しているかどうか，回答が質問に対する回答として正しいかどうか [19], 回答が文章のメイントピックに関連しているかどうかの 4 つである.

表 6 質問回答ペアの人手評価


# ゼロ代名詞デー夕拡張による日英機械翻訳の改善

李凌寒中澤敏明鶴岡 慶雅
東京大学大学院情報理工学系研究科
\{li0123, nakazawa, tsuruoka\}@logos.t.u-tokyo.ac.jp

## 1 はじめに

ニューラル機械翻訳は単文単位の翻訳において高い性能を発揮する一方で、談話単位での文脈が関わる言語現象を扱う点において未だ課題が残っている。その課題の一つが日英翻訳におけるゼロ代名詞の翻訳である。日本語では文脈から聞き手が推定可能な主語や目的語を省略することができるが、これを英語に翻訳する際は省略された項を推定した上で適切に翻訳しなければならない。例えば、以下の例文では日本語で省略された主語が一人称であることを推定して、英語では $I$ を出力しなければならない。

うなぎが食べたいな。

I feel like eating eel.

ゼロ代名詞の推定には、本質的には談話内におけるトピック、旧情報、世界知識などを参照して可能になるが、一方でゼロ代名詞を含む文内の言語学的な情報が手がかりとなる場合もある [1]。例えば、上記の文では “たいな”という願望を表す機能語列が、主語が一人称であることを示唆している。

この局所的文脈情報とゼロ代名詞の対応を学習することは、既存の単文単位でのニューラル機械翻訳でも解決できるはずの問題であるが、低リソースの状況下ではその対応を十分に学習できない可能性がある。特に、ゼロ代名詞を多く含む傾向にある会話ドメインの翻訳は、現状パラレルコーパスが豊富だと言い難い状況にある。

従って、本研究では局所的文脈情報とゼロ代名詞、特に人称代名詞の翻訳の対応の学習を促進する手法として、ゼロ代名詞データ拡張を提案する（図 1)。本手法では、訓練データを対象に翻訳元言語に現れる人称代名詞を削除し、人工的にゼロ代名詞を含むような翻訳対を作り出す。これにより局所的文脈情報とゼロ代名詞の対応を学習できるような訓練データを増やすねらいがある。

図 1 ゼロ代名詞データ拡張。

本論文では、まず局所的文脈情報からある程度ゼ口代名詞を予測できることを示した上で、実際にゼ口代名詞データ拡張によって機械翻訳モデルのゼロ代名詞予測の精度が上がることを示す。

## 2 関連研究

## 2.1 文脈つきニューラル機械翻訳

単文単位の翻訳品質が向上するのに従って、その範囲で扱えないような文脈を考慮した翻訳をするモデルの研究が近年盛んに行われている。最もシンプルなアプローチとして、モデルの構造は変えず、入力や出力を複数文に拡張した 2to1, 2to2 モデルが提案されており、文脈情報を捉えた翻訳の品質を向上させることが示されている [2]。

## 2.2 ゼロ代名詞

日本語を始めとする一部の言語では述語の項が省略されることがあり、省略された項をゼロ代名詞 (zero pronoun) と呼ぶ。この省略された項を同定するタスクはゼロ照応解析と呼ばれ以前から研究されているが [3]、本研究では特に翻訳におけるゼロ代名詞の問題について考える。

翻訳の際に問題となるのが、ゼロ代名詞が翻訳先の言語では統語的に必須な要素である場合である。

この場合、翻訳の際に省略されたゼロ代名詞を補つて翻訳する必要があり、これには翻訳元の文章に加えて、その前の文章などの広い文脈情報が必要となる。

一方で、文内に存在する局所的文脈情報が、決定的でないにしろ、手がかりになる場合もある $[1,4]$ 。例えば、日本語では敬語表現（「申し上げる」）や依頼表現（「〜してくれますか？」）などがゼロ代名詞の推測に有用である。

本研究は、広い文脈情報を明示的にモデル化したり、ゼロ照応解析を明示的に行うことをせず、局所的文脈情報から推測できるゼロ代名詞の翻訳を向上させることを主なねらいとする。同様の問題意識に基づく研究として、Wang らによる対訳データのゼ口代名詞を補ったデータを作成して訓練に使うものがある [5, 6]。しかし、Wang らの手法では、対訳データからゼロ代名詞を補うときに英文と中国語文の単語アラインメントが対角線上に並ぶことが多いというヒューリスティクスを用いているが、この手法は語順が大きく異なる日英翻訳に適用することが難しい。そこで本研究では、ゼロ代名詞を補ったデータを活用するのではなく、元々代名詞を含む文からその代名詞を削除したデータを活用する、ゼロ代名詞データ拡張を提案する。

## 2.3 デー夕拡張

データ拡張 (data augmentation) は画像分野で盛んに行われており [7]、訓練データに対してタスクにおける意味を損なわない範囲での処理を施すことでデータ量を増やす手法のことである。自然言語処理の分野においては、入力文中の単語を同義語に置換したり [8]、折り返し翻訳により同じ意味を持つ文を生成することで [9]、データ拡張する手法が提案されている。

本研究では、日英翻訳において、翻訳元の日本語の代名詞を削除することで、翻訳元の文の意味を保存したままゼロ代名詞を含む文を獲得する。

## 3 ゼロ代名詞と局所的文脈情報の 分析

本研究は和文内の局所的文脈情報が、英文へと翻訳する際のゼロ代名詞の推定に有用であるという仮定に基づいている。そこで本節では、実際に局所的文脈情報からどの程度ゼロ代名詞を推定できるのか、またどのような局所的文脈情報が有用であるの

図 2 分析データ中の英語代名詞について、翻訳が和文に現れるものと (Non-ZP) 現れないもの (ZP) の数。

かを分析する。

分析データとして日英ビジネスシーン対話コーパス [10] から公開されている対訳データに加えて、研究グループ内で使用できるものを合わせて 104,961 文対を用いた。

## 3.1 ゼロ代名詞を含む対訳を同定する

和文におけるゼロ代名詞の同定には日本語の構文解析器を用いる方法が考えられるが、今回は翻訳に関わるゼロ代名詞を分析するため対訳コーパスからのアラインメントを活用した方法を採用する。具体的な手順は以下の通りである。

1. 分析用の対訳データから GIZA++1）を用いて単語アラインメントを学習する。単語分割には、和文に $\mathrm{Mecab}^{2)}$ 、英文に $\mathrm{spaCy}^{3}$ )を用いた。

2. 英文中の代名詞が和文の NULL に対応づけられているとき、その英文での代名詞が和文ではゼロ代名詞として実現されているとみなす。

この結果、得られた代名詞の数を図 2 に示す。会話ドメインにおいては、一人称代名詞 $I$ や二人称代名詞 you が頻出かつ、日本語では省略されやすいことがわかる。また、基本的に英文では高頻度の代名詞ほど、日本語ではゼロ代名詞になることが示されている。

## 3.2 ゼロ代名詞と共起している局所的文脈情報を抽出する

検出された和文のゼロ代名詞を特徴付けるために、その述語部に現れる単語を抽出する。今回は日本語の構文解析器を用いておらず、ゼロ代名詞は英

文の代名詞とアラインメントで結び付けられているため、英文の係り受け構造をアラインメントを通じて和文に投影することで述語部を抽出する。前項までの処理に引き続き、以下の手順で行った。

3. ゼロ代名詞に対応している英代名詞の係り受け先の単語を抽出する。

4. その単語にアラインメントで対応づけられている和文中の単語と後続の機能語列4)を局所的文脈情報として抽出する。

## 3.3 局所的文脈情報からゼロ代名詞を予測 する

この局所的文脈情報から、ゼロ代名詞がどの程度推定可能かを調べるために、ロジスティック回帰を用いた分析を行った。局所的文脈情報として抽出した単語列からのユニグラム、バイグラム、トライグラムを入力素性とし、英文における代名詞を予測する。 5 分割交差検証による各代名詞の再現率を表 1 に示す。ベースラインとして、訓練データに含まれる代名詞の分布に従ってランダムに予測した場合の値を採用している。

頻度の高い I, you, we は、局所的文脈情報を用いた場合ベースラインに比べて有意に高い精度で予測できることが分かる。しかし一方で、頻度の低いその他の代名詞はベースラインと比べても同等か低い数值を記録している。これら頻度の低い代名詞は、局所的文脈情報からだけでは予測することが困難であることが示唆される。

具体的にどのような局所的文脈情報が予測に有用なのかを調べるために、ロジスティック回帰の各出力ラベルに対して、入力素性に対応する重みの値が高いものを抽出し、解釈可能なもの調べた。 その結果、一人称単数 $I$ の予測には、認識に関わる動詞（思う、わかる、感じる）、謙譲語（申し上げる、存じる)、間投助詞（なあ、よ）、願望を表す助動詞 (たい)、二人称単数 you については、質問を表すフレーズ（かな？、ました？）、推測（でしょ、だろ?）、尊敬語（仰る、いただける）、一人称複数 we には義務（なきゃ、べき）、願望（たい）が有用であると分かった。その他の代名詞については、代名詞予測に有用であると解釈可能なものは認められなかった。

4）ここでは機能語を Mecab で定義されている品詞の ["助詞", "助動詞", "記号"] とした。

## 4 実験

前章の分析により、局所的文脈情報がゼロ代名詞の予測に有用であることが確認できた。ここでは、翻訳元である和文中の省略可能な代名詞を助詞とともに削除することでゼロ代名詞を含むデータを人工的に作り出す、ゼロ代名詞データ拡張が有用であるかどうかを検証する。こうして作られたデータはゼ口代名詞と局所的文脈情報の結びつきを学習するために有用な訓練信号を与えると考えられる。

人工データの使用法として、訓練データにそのまま加える、もしくはゼロ代名詞補完をマルチタスクで学習させる手法 [6] が考えられる。本論文では、訓練データに加える方法を検討する。

## 4.1 実験設定

## ゼロ代名詞データ拡張

本研究におけるゼロ代名詞データ拡張では、翻訳元である日本語の文中の省略可能な代名詞を助詞とともに削除することで、ゼロ代名詞を含むデータを人工的に作り出す。代名詞の検出には、人手でパターンを作成し該当する文字列を検索することで行った。パターンの具体的な作成方法は付録を参照されたい。

## コーパス

今回の実験は日英会話コーパス [11]を公開されているものに加え、プロジェクト内で使用可能分を加えたものを用いた。データの統計を表 2 に示す。

## モデル

翻訳モデルは Transformer [12]を用いた。モデルサイズは Vaswani らの base モデルを 4 層に減らしたもの、最適化器には Adam を用いた。今回は、通常の単文単位の翻訳の他に、入力に前文を付加した 2to1 の設定 [13] についても実験を行った。

## 評価方法

日英会話コーパスにおける BLEU [14] と日英翻訳ゼロ代名詞評価データセットを用いて評価した [15]。ゼロ代名詞評価データセットは、入力文、正しい代名詞を含む出力文、誤った代名詞を含む出力文のデータからなる。モデルの評価には、モデルに入力文と出力文を入力し、正しい出力文に対する

表 1 代名詞毎のゼロ代名詞予測の再現率。

表 2 日英会話コーパスの文数

パープレキシティが低い、つまり正しい出力文の方を予測する確率が高い場合に正答したとみなして精度を算出した。

## モデル選択

ニューラルネットワークに基づくモデルはハイパーパラメータやランダムシードの選択に大きく結果が左右されることが知られている。今回は、各設定において一定の計算資源を投入した際の一番良いモデルを用いて性能を比較した [16]。具体的には、 ハイパーパラメータとして学習率、ドロップアウト

10 回の試行の内、開発データにおける BLEU スコアが一番高いものについて、テストデータの BLEU とゼロ代名詞評価の精度を算出した。より詳細な設定については付録を参照されたい。

## 4.2 実験結果

実験結果を図 3 に示す。

表 3 ベースラインとゼロ代名詞データ拡張を行ったモデルの評価。表中の值はそれぞれ BLEU / ゼロ代名詞評価の精度。

1to1 と 2to1 どちらの設定においても、ゼロ代名詞データ拡張によって、BLEU スコアの改善は観察されないが、ゼロ代名詞評価の精度は有意に向上している。1to1 と前文を考慮したモデルである 2to1を比較すると、baseline の設定においては、前文を加えることでゼロ代名詞翻訳の性能は $80.5 \%$ から $84.4 \%$ に向上している。一方で、baseline+pro_aug の設定では $91.1 \%$ から $85.2 \%$ と、前文の文脈を考慮しない

方が性能が高い。これは、入力として前文を加える 2to1 の設定では、入力文が長くなるために、その文ゼロ代名詞と局所的文脈情報の関連をモデルが学習しづらくなっているのではないかと推測する。

## 5 おわりに

日英の会話翻訳におけるゼロ代名詞翻訳の問題について、和文中のゼロ代名詞を同じ文内に存在する局所的文脈情報からある程度予測できることを示し、この局所的文脈情報とゼロ代名詞の結びつきを翻訳モデルに学習させるための手法としてゼロ代名詞データ拡張を提案した。ニューラル機械翻訳モデルを訓練した実験の結果、ゼロ代名詞データ拡張はゼロ代名詞翻訳の精度を有意に向上させることが示された。

一方で、ゼロ代名詞データ拡張はゼロ代名詞を含む文の外に、ゼロ代名詞翻訳に必要な情報が存在する場合を本質的に解決するものではない。また、分析の結果、局所的文脈情報は一人称、二人称ゼロ代名詞の推測には有用であるが、三人称代名詞の推測には有用ではないことが示唆されており、本手法による改善は限られていると考えられる。これらの課題は、会話中のトピックや登場人物などを捉えることのできるモデルが必要であると考える。

## 謝辞

本研究成果は独立行政法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のためのディープラーニング技術の研究開発」により得られたものです。

## 参考文献

[1] 工藤拓, 市川宙, 賀沢秀人. Language independent null subject prediction for statistical machine translation.言語処理学会第 21 回年次大会発表論文集, 2015.

[2] Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, July 2019.

[3] Kenji Imamura, Kuniko Saito, and Tomoko Izumi. Dis-
criminative approach to predicate-argument structure analysis with zero-anaphora resolution. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, Suntec, Singapore, August 2009.

[4] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Japanese zero reference resolution considering exophora and author/reader mentions. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Seattle, Washington, USA, October 2013.

[5] Longyue Wang, Zhaopeng Tu, Xiaojun Zhang, Hang Li, Andy Way, and Qun Liu. A novel approach to dropped pronoun translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California, June 2016.

[6] Longyue Wang, Zhaopeng Tu, Xing Wang, and Shuming Shi. One model to learn both: Zero pronoun prediction and translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

[7] Patrice Simard, Yann LeCun, John S. Denker, and Bernard Victorri. Transformation invariance in pattern recognition-tangent distance and tangent propagation. In Neural Networks: Tricks of the Trade, This Book is an Outgrowth of a 1996 NIPS Workshop, Berlin, Heidelberg, 1998. Springer-Verlag.

[8] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), New Orleans, Louisiana, June 2018.

[9] Adams Wei Yu, David Dohan, Minh-Thang Luong, Rui Zhao, Kai Chen, Mohammad Norouzi, and Quoc V. Le. Qanet: Combining local convolution with global self-attention for reading comprehension. CoRR, Vol. abs/1804.09541, , 2018.

[10] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, Hong Kong, China, November 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Document-aligned japanese-english conversation parallel corpus. In Proceedings of the Fifth Conference on Machine Translation, Online, November 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, Copenhagen, Denmark, September 2017.
[14] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, Philadelphia, Pennsylvania, USA, July 2002.

[15] Sho Shimazu, Sho Takase, Toshiaki Nakazawa, and Naoaki Okazaki. Evaluation dataset for zero pronoun in Japanese to English translation. In Proceedings of the 12th Language Resources and Evaluation Conference, Marseille, France, May 2020. European Language Resources Association

[16] Jesse Dodge, Suchin Gururangan, Dallas Card, Roy Schwartz, and Noah A. Smith. Show your work: Improved reporting of experimental results. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, November 2019.

## 付録

## ゼロ代名詞削除に用いた代名詞+助詞リスト

ゼロ代名詞削除は、代名詞リスト（表 4）と助詞のリスト（表 5）からの全組み合わせを列挙し、そのパターンに該当する文字列を文中から削除することで行った。

以下の代名詞は、コーパスの文を Mecab を用いて品詞解析したときに代名詞にあたる単語から、人手で人称代名詞を抽出したものである。

表 4 ゼロ代名詞削除に用いた代名詞のリスト

助詞については、人称代名詞に続く助詞の中から頻出かつ削除しても文意が伝わると思われるものを人手で選定した。

表 5 ゼロ代名詞削除に用いた助詞のリスト

## 機械翻訳実験のハイパーパラメータ

機械翻訳実験におけるハイパーパラメータの值は表 6 に示す範囲で Optuna を用いて探索した。

表 6 ハイパーパラメータ探索の範囲


# 相対的意味論に基づく統計機械翻訳における翻訳確率

中村勇太
鳥取大学工学部
m19j4033b@edu.tottori-u.ac.jp
}

村上仁一
鳥取大学工学部
murakami@tottori-u.ac.jp

## 1 はじめに

機械翻訳において様々な手法が提案されている。しかし，それらの手法で得られる出力が異なる場合が多い。

そこで，異なる機械翻訳手法によって得られた複数の出力 (候補文) から, 最尤の出力を選択する手法である “相対的意味論に基づく統計機械翻訳 (RSMT)”が提案されている.この手法を用いることで，各手法の出力から最尤の出力を得られる.

RSMT では出力を選択するために，学習文対の日本語側 $(A)$, 学習文対の英語側 $(B)$, 入力文 $(C)$, 候補文 $(D)$ について類似度及び翻訳確率を計算する．類似度は同一言語の文章 $(A$ と $C$ または， $B$ と $D)$ がどれだけ類似しているかを示す。翻訳確率は $C$ が $D$ に翻訳される確率を示す。なお，類似度及び翻訳確率には様々な計算方法が存在する。

本稿の目的は, RSMT で用いる翻訳確率の計算方法として最適な方法を調査することである. 5 つ翻訳確率の計算方法を用いてRSMT を動作させ結果を比較する。この実験によって，最適な翻訳確率の計算方法を調査する。

## 2 Neural Machine Translation(NMT)

本論では，候補文を得るために “Neural Machine Translation(NMT)”を用いる. 本章で NMT の概要を述べる。

## 2.1 NMT の概要

NMT とはニューラルネットワークを用いて機械翻訳を行う手法である. 2 言語コーパス等を用いて Attention モデルと呼ばれる異言語間の単語の対応を学習し, それを元に入力文の翻訳を行う.

## 2.2 NMT の学習における乱数の影響

今回の実験では，NMT の一種である Open-NMT を用いる. Open-NMT は，学習で乱数を用いている. よって同一のコーパスで学習を行なっても，翻訳結果が異なるモデルが生成される。本論では Open-NMT のモデルを複数生成し, 同一の入力文を翻訳することで，RSMT の候補文を獲得する。

## 2.3 Open-NMT $の N$-best 出力

Open-NMT は第 $n$ 候補まで, 複数の出力文を出力できる. また，一般的に第 1 候補が最も優れている. しかし,第 2 候補以降に優れた出力が存在することも考えられる.本論では RSMT を用いることで，第 1 候補より優れた出力文が選択可能か調查する。

## 3 相対的意味論に基づく統計機械翻訳 (RSMT) $)_{\text {[6] }$}

“相対的意味論に基づく統計機械翻訳”では異なる機械翻訳手法によって得られた複数の出力 (候補文) から，最尤の出力を選択する．そのために，学習文対の日本語側 $(A)$, 学習文対の英語側 $(B)$, 入力文 $(C)$, 候補文 $(D)$ について類似度及び翻訳確率を計算する。出力を選択する手順を示す。

## 3.1 選択の手順

手順 1 学習文対の日本語文と入力文の類似度を計算学習文対の日本語文と入力文の類似度を計算する。計算された値を $\operatorname{sim}_{A C}$ とする.

$\operatorname{sim}_{A C}$ の計算式を式 (1) に示す.

$
\operatorname{sim}_{A C}=\frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(A_{\text {all }}\right)} \times \frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(C_{\text {all }}\right)}
$

count(Match) : 学習文対の日本語文と入力文において共通している単語の総数

$\operatorname{count}\left(A_{\text {all }}\right)$ : 学習文対の日本語文の単語の総数 $\operatorname{count}\left(C_{\text {all }}\right)$ : 入力文の単語の総数

手順 2 学習文対の英語文と各候補文の類似度を計算学習文対の英語文と各候補文の類似度を計算する。計

算された值を $\operatorname{sim}_{B D}$ とする.

$\operatorname{sim}_{B D}$ の計算式を式 (2) に示す.

$
\operatorname{sim}_{B D}=\frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(B_{\text {all }}\right)} \times \frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(D_{\text {all }}\right)}
$

$\operatorname{count}($ Match) : 学習文対の英語文と候補文において共通している単語の総数

$\operatorname{count}\left(B_{\text {all }}\right)$ : 学習文対の英語文の単語の総数 $\operatorname{count}\left(D_{\text {all }}\right)$ : 候補文の単語の総数

手順 3 入力文と候補文に類似した学習文対を抜粋入力文と各候補文に類似した学習文対を一定数抜粋する. 抜粋された学習文対の集まりを $D B$ とする。

各候補文について式 (3) の数値が高い順に抜粋する。

$
\operatorname{sim}_{A C} \times \operatorname{sim}_{B D}
$

手順 $4 D B$ 内の学習文対の翻訳確率を計算

$D B$ 内の学習文対の翻訳確率を計算する. 計算された値を $\operatorname{trans}_{A B}$ とする

ここで用いる式は第 4 章で説明する。

手順 5 入力文から各候補文への翻訳確率を計算

入力文から各候補文への翻訳確率を計算する。計算さ

れた値を trans $_{C D}$ とする.

ここで用いる式は手順 4 と同様である.

手順 6 出力文の決定

計算された值を用いて出力文を決定する.

式 (4) の值が最も高い候補文を, 出力文とする.

RSMT の流れ図を図 1 に示す.

図 1 RSMT の流れ図

## 4 翻訳確率の計算方法

実験で用いる翻訳確率の計算方法を説明する。なお実際の計算では，2 つの単語の連なりを 1 つの単語と見なす.

## 4.1 自己相互情報量 (PMI)[2]

自己相互情報量とは，2つの事象の間の関連度合いを測る尺度である. 日英単語の共起をこの尺度に当てはめることで翻訳確率として用いる。計算式を式 (5) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right) \operatorname{count}\left(E_{i}\right)}
$
$\operatorname{count}($ ) : 学習文対中での登場回数 $J_{j}$ : 入力文中 $j$ 番目の単語 $E_{i}$ : 候補文中 $i$ 番目の単語 $M$ : 入力文の単語数 $N:$ 候補文の単語数

## 4.2 Joint Probability(Joint) ${ _{[5]}$}

Joint Probability とは，交差エントロピーを拡張した翻訳確率の計算方法である。計算式を式 (6) に示す.

$
\begin{aligned}
& \sum_{j=1}^{M} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{\text {all }}\right) \operatorname{count}\left(E_{\text {all }}\right)} \\
& \times \log _{2} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right) \operatorname{count}\left(E_{i}\right)}
\end{aligned}
$

$\operatorname{count}\left(J_{\text {all }}\right)$ : 全学習文対における日本語単語の総数 $\operatorname{count}\left(E_{\text {all }}\right)$ : 全学習文対における英語単語の総数

## 4.3 Jaccard 係数 (Jaccard) [3]

Jaccard 係数とは 2 つの集合がどれだけ類似しているかを表す係数である。入力文と候補文を「文を構成する単語の集合」とみなすことで，Jaccard 係数を翻訳確率として用いる。計算式を式 (7) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right)+\operatorname{count}\left(E_{i}\right)-\operatorname{count}\left(J_{j}, E_{i}\right)}
$

## 4.4 Dice 係数 (Dice) [4]

Dice 係数とは Jaccard 係数と同じく，2 つの集合がどれだけ類似しているかを表す係数である。計算式を式 (8) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{2 \operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right)+\operatorname{count}\left(E_{i}\right)}
$

## 4.5 Simpson 係数 (Simpson) ${ _{[1]}$}

Simpson 係数とは Jaccard 係数と同じく, 2 つの集合がどれだけ類似しているかを表す係数である. Simpson 係数
は，「片方の集合がもう片方の集合の真部分集合である時，類似度が最大になる」という特徴がある．計算式を式 (9) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\min \left(\operatorname{count}\left(J_{j}\right), \operatorname{count}\left(E_{i}\right)\right)}
$

## 5 Open-NMT の第 1 候補を用いる 実験

## 5.1 実験目的と方法

本章では, Open-NMT の第 1 候補を, RSNT の候補文として実験を行う． 5 つの翻訳確率計算方法で RSMT を動作させ，翻訳精度を調査する．翻訳精度の調査は自動評価及び人手評価で行う.

## 5.2 実験に使用するデータ

本研究では, 実験に電子辞書などの例文より抽出した単文コーパス [7] を使用する。

RSMT の候補文は Open-NMT の第 1 候補を用いる. また，使用する Open-NMT のモデル数は 32 個である. よって候補文は，入力文 1 文につき 32 文存在する. 使用するデータの内訳を表 1 に示す.

表 1 実験データの内訳

## 5.3 実験結果

## 5.3.1 自動評価の結果

自動評価の結果を表 2 に示す。

表 2 自動評価の調査結果 (1000 文)

表 2 によると，多くの評価指標において PMI が最も優れた結果を示す.

## 5.3.2 人手評価の結果

100 文を対象に，人手評価を行った結果を表 3 に示す. また，人手評価の評価基準を示す.

○: 入力文の意味と合致かつ文法の誤りがない $\triangle$ : 入力文の意味と部分的に合致

x : 入力文の意味と合致していない

表 3 人手評価結果 $(100$ 文

表 3 によると, Joint が他の手法と比較して性能が劣る. また，Joint 以外の手法間に大きな差はない。表 4 から表 6 に人手評価の例を示す.
表 4 人手評価の例 1

表 5 人手評価の例 2

 \\

表 6 人手評価の例 3

## 6 Open-NMT の第 8 候補までを用い る実験

## 6.1 実験目的と方法

ここでは, Open-NMT の第 8 候補までを RSMT の候補文として用いて実験を行う．候補文となる基準を引き下げることで, Open-NMT のモデルを複数生成するよりも容易に，多くの候補文を得ることができる。ここでは， 5 章の実験との比較のために，候補文の数を揃える。

## 6.2 実験に使用するデータ

実験に使用するデータは表 1 と同様である. 使用する Open-NMT のモデル数は 4 つである. よって候補文は，入力文 1 文につき 32 文存在する.

## 6.3 実験結果

## 6.3.1 自動評価の結果

自動評価の結果を表 7 に示す。

表 7 自動評価の調査結果 (1000 文)

表 7 によると, PMI と Dice が優れた結果を示す.

## 6.3.2 人手評価の結果

100 文を対象に，人手評価を行った結果を表 8 に示す.

表 8 人手評価結果 $(100$

表 3 と表 8 を比較すると, PMI, Jaccard, Dice 以外の手法は○が減少している. 特に, Joint の減少数は顕著であ
る.一方で，PMI, Jaccard は $\bigcirc$ が増加している。また， の数は PMI が最多である。このことから，PMI を用いることで，第 1 候補以外の優れた出力文を選択できることが分かる.

表 9 から表 11 に人手評価の例を示す.

表 10 人手評価の例 2

表 11 人手評価の例 3

 \\

## 7 実験のまとめ

本章では第 5 章と第 6 章の結果から判明した事項を述べる. 最後に総評として, 本論で述べた 5 つの翻訳確率の計算方法から，RSMT で用いる最適な方法を決定する。

## 7.15 章のまとめ

5 章の実験では, 翻訳確率の各計算方法の性能を比較するための実験を行った. その結果, Joint は他 4 つの計算方法より性能が若干劣ることが分かった。また，Joint 以外の計算方法間に性能差はほぼなかった。

## 7.26 章のまとめ

6 章の実験では, 候補文に用いる Open-NMT の出力の順位を引き下げることで，第 1 候補以外の優れた候補文を選択できるか調査した。その結果, PMI 以外の計算方法は一様に性能が低下した。しかし, PMI は他 4 つと異なり性能が向上した。

## 7.3 総評

総評すると, 5 章の実験で Joint 以外の計算方法にはほぼ差がなく, 6 章の実験で PMI が第 1 候補以外の優れた候補文を選択できることが判明した。よって，RSMT で用いる翻訳確率の計算方法は, PMI が最も適している.

## 8 考察

## 8.1 Ōpen-NMT の第 1 候補と RSMT の性能比較

RSMT の性能を評価するために Open-NMT の第 1 候補と性能を比較した。また，人手評価の結果から RSMT が誤った出力をする原因を考察した。実験に使用するデー タは第 6 章と同様とする．比較のために用いる RSMT の結果は, 人手評価で最も○が多かった第 6 章の PMI の結果とする.

## 8.1.1 比較結果

Open-NMT の 1best と RSMT の，自動評価と人手評価の結果をそれぞれ表 12 と表 13 に示す.

表 12 自動評価結果 (1000 文)

表 12 自動評価結果 $(1000$ 文)

表 13 人手評価結果 (100 文)

表 12 によると, RSMT の方が BLEU 以外の指標において優れた結果を示した. また, 人手評価も RSMT の方が優れた結果を示した。人手評価の例を表 14 から表 16 に示す.また，RSMT が誤った候補文を選んだ原因を考察する.

表 14 人手評価の例 1

表 16 人手評価の例 3

表 14 では, 前置詞の使い分けがRSMT によって改善された。しかし, 表 15 では, RSMT は所有格が誤っている.これは日本語と英語の所有格の明記の差異が原因で,誤っている候補文の類似度が正しい候補文より高くなっている.

表 16 では入力文及び RSMT の出力文が，学習文対「6月 30 日号付け財務諸表の写しをお送り申し上げます。」“It is a pleasure to send you the enclosed copy of our June 30 Financial Statements ." との類似度が高かったことが原因で出力された.

RSMT はこの例のように，ある学習文対と極度に類似した候補文を選択する場合が多い。また計算方法の都合,学習文対及び候補文の単語数が多いほど, 翻訳確率が高くなるため, 単語数が多い候補文が選択されやすい。これらが誤りの原因となる可能性がある.

## 8.1.2 単語数の多さが原因である誤りの解決法

この節では，8.1.1の例における誤りの原因を解決する方法を提案する。

解決方法の 1 つは, 文の単語数によって正規化を行うことである. 正規化を行うことで，単語数が多いほど選択されやすい問題を解決できる

## 8.2 過剰生成を含む候補文

NMT の出力文の特徵の1つとして「過剰生成」がある. これは表 17 に示すように，同じ単語が複数回, 出力に現れることを指す. 過剩生成は NMT の出力数を増やすほど, 現れる傾向がある. 多くの場合, RSMT は過剩生成を含む候補文を選択しないことが望ましい。

表 17 過剰生成を含む出力の例

しかし 6 章の実験において，過剩生成を含む候補文が選択される入力文が増加した。また，それが人手評価で ×とする理由になった数を表 18 に示す.

表 18 過剩生成が理由で人手評価×とした数

それぞれの手法で過剩生成が精度低下の原因となった入力が存在する。その中でも, Joint と Simpson は過剩生成が精度低下の原因として多かったことを表 18 が示している.

## 8.3 類似度の計算方法

本論では, 翻訳確率の計算方法の調査を行った。しかし7.1 節で示したように, RSMT の誤りの理由の 1 つとして類似度の計算方法が挙げられる。また， RSMT において類似度の計算方法も翻訳確率と同様に，様々な方法が考えられる. 今後の研究では, 類似度の計算方法についても調査が必要である.

## 8.4 出力文の決定に用いる計算式

本論では, 出力文の決定の時に式 (4)を用いた。しかし, この時に用いる式によって結果が変化する. 今回用いたパラメータは 4 種類あるので，それぞれのパラメー 久の使用または不使用の組み合わせだけでも 16 通りの計算式が考えられる. また， 7.1 節の問題を解决するならば，翻訳確率に重みを付与することも考えられる。

今後の研究では，式 (4)を用いた時以上の性能を得られる式を調査する。

## 9 おわりに

相対的意味論に基づく統計機械翻訳 (RSMT) に最適な翻訳確率の計算方法の調査を目的として，5つの計算方法を用いた翻訳結果を比較した。実験により，自己相互情報量 (PMI) が他の計算方法とほぼ同等の性能であると分かった. さらに PMI は, Open-NMT の第 1 候補以外の優れた候補文を選択できることが分かった。

よって, 今回述べた計算方法の中では, PMI が RSMT で用いるのに最も適している.

## 参考文献

[1] Bollegala, D., Matsuo, Y., Ishizuka, M. A web search engine-based approach to measure semantic similarity between words. IEEE Trans. on Knowl. and Data Eng., Vol. 23, No. 7, pp. 977-990, 2011.

[2] Church, K. , Hanks, P. Word association norms, mutual information, and lexicography. Computational Linguistics, Vol. 16, No. 1, pp. 22-29, 1990.

[3] Salton, G. , McGill, M. Introduction to modern information retrieval. 自然言語処理学会第 25 回年次大会, 1983.

[4] Smadja, F. , , McKeown, K. R. ,, Hatzivassiloglou, V. Translating collocations for bilingual lexicons: a statistical approach. Comput. Linguist. , Vol. 22, No. 1, pp. 1-38, 1996.

[5] 松本大輝, 村上仁一. 翻訳における分野依存性を軽減する言語モデルの調査. 自然言語処理学会第 25 回年次大会, 2019.

[6] 村上仁一. 相対的意味論と機械翻訳の応用. 自然言語処理学会第 27 回年次大会, 2021.

[7] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, 2012.


# システム訳文のみを用いた自動評価との比較による 機械翻訳自動評価の分析

高橋 洸丞 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 1
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 1 はじめに

機械翻訳システムの翻訳能力は年々向上しており,それに伴い自動評価への需要も高まっている. そして，近年の自動評価の研究も単語やサブワードの意味の近さを評価基準とすることで, WMT metrics task $[1,2,3]$ にて評価性能の向上が報告されている.現在主流となっているのは大規模な事前学習モデルである BERT [4] により参照訳文とシステム訳文を符号化したべクトルを用いて評価値を算出するものである [5,6]. また我々は入力文を追加で利用し人手評価との相関をさらに改善できることを示した [7].

我々の研究 [7] を通じて,これらの手法は品質の低いシステム訳文では品質の高いものよりも人手評価との相関が低くなることが明らかになっている.ここで主に用いられる自動評価実験用のコーパスに着目してみると, WMT metrics task $[1,2,3]$ で提供される人手評価は, DA (Direct Assessment) [8] と呼ばれる 0～100 の評価値を標準化した実数値を取る. DA スコアは対応する参照訳文に対してシステム訳文の意味的な正確性, また流暢性を共に考慮して一文ずつスコアが与えられている。ここで翻訳誤りには否定関係が逆になっていたり, 副詞や形容詞の係り受けによる意味の違いなど多種の誤りがあり, 実用的な運用の際には重大な誤解を生むリスクのある誤訳に低い評価值を付けるべきである.しかしながら，DA スコアは 1 次元の実数値のみでスコアリングされているため, 文中にどのような翻訳誤りが含まれるのかを直接判別することはできない.

このような背景を踏まえて, 須藤 [9] は, システム訳文の解釈性と正確性をそれぞれレベル分けするように人手評価データを新たに構築した.しかし， BERT regressor [5] のモデルを利用した分類評価実験では, 実務翻訳の立場上許されてはいけないクラスとその他のクラスでの誤分類が見られ, 依然として低品質なシステム訳文の評価が難しいことが示唆される。

須藤 [9] はコーパス面から, 意味の違いに敏感な評価手法へのアプローチをしたが，そもそも現在主流の評価モデルはどれほど参照訳文とシステム訳文の意味の違いを識別できるのだろうか. 翻訳の評価は大きく分けると, 意味の正確性と流暢性という二つの基準で行われるはずである. 自動評価ではシステム訳文と参照訳文を利用して両者を評価している.本研究では, 参照訳文を用いずシステム訳文のみを入力とする自動評価，すなわち流暢性は評価できても意味の正確性は評価し得ない方法との比較を通じて，どれだけ意味の正確性を評価できているのかを検証する。

## 2 評価モデル

評価モデルは, 全て事前学習済みの大規模言語モデルと一層の全結合層から構成される (図 1). システム訳文のみを入力とするモデルは図 1(a) に示す通りで, システム訳文 (翻訳文:hyp)を “[CLS] hyp [SEP]”という形式で入力し, 最終層の [CLS]トークンに相当するベクトルを文ベクトルとみなして, 最終的に全結合層で回帰問題として評価值を計算する. BERT regressor や BLEURT は, 図 1(b) の構造を取り, 翻訳文と参照訳文を [SEP] トークンで区切り， “[CLS] hyp [SEP] ref [SEP]”という形で二文をまとめて入力する。

また我々が提案したモデル [7] は図 1(c)のように, 翻訳文と参照訳文の入力だけでなく, 翻訳文と原言語文をまとめた入力を追加している。これら三つのモデルを以降それぞれ "hyp only", "hyp+ref", “hyp+src/hyp+ref" と記述する。

どのモデルも平均二乗誤差 (Mean Squared Error: MSE) を損失関数とし, 誤差逆伝播法により最後の全結合層と符号器の両方のパラメータを更新する.

(a) システム訳文のみ (hyp only)

(b) システム訳文+参照訳文 (hyp+ref)

(c) システム訳文+原言語文はステム訳文+参照訳文 (hyp+src/hyp+ref)

図 1 入力別のモデル図

## 3 実験

本研究では, システム訳文のみを入力とした意味的な正しさを考慮しない評価モデルにより,どの程度 DA スコアを予測し, 人手評価との相関が得られるのかを，参照訳文や原言語文を用いた評価手法と比較して検証した。

## 3.1 実験設定

評価実験は WMT17 metrics taskコーパスの all-en で行った. 含まれる言語対は, チェコ語 (cs)-英語 (en), ドイツ語 (de)-英語 (en), フィンランド語 (fi)-英語 (en), ラトビア語 (lv)-英語 (en), ルーマニア語 (ro)英語 (en), ロシア語 (ru)-英語 (En), トルコ語 (tr)-英語 (en), 中国語 (zh)-英語 (en) の 8 言語対である. その中でもWMT15, 16 に相当し重複を除いた 5344 文の内, 534 文を開発用, 残りの 4810 文を訓練用とした.評価テストは WMT17 に相当する 3920 文に対して行った.

使用した事前学習済み符号化モデルは RoBERTa [10], 合成データで事前学習した BLEURT [6], XLM-RoBERTa [11] である. 実装は全て HuggingFace Transformers ${ }^{1)}$ で行い, RoBERTa は roberta-large, XLMRoBERTa は xlm-roberta-large を使用した. BLEURT のモデルは BLEURT-large-warmedup を pytorch 用に変換した後に HuggingFace Transformers 9 BERT 用のクラスで読み込み使用した. RoBERTa と BLEURT モデルは英語のコーパスのみで事前学習されたモノリンガルモデルなので, hyp+src/hyp+ref にはマルチリンガルモデルである XLM-RoBERTa で実験を行った. また参考実験として, システム訳文と原言

語文 (hyp+src)を入力としたモデルでの評価実験も XLM-RoBERTa で行った. そして評価性能の比較対象として, 文レベルでスコアを計算した BLEU (sacre BLEU [12]) と BERTscore [13] でも評価実験を行った.学習時の最適化は Adam [14] で, ミニバッチ学習を最大 10 エポック行った. 各エポック毎に訓練デー タと開発データはシャッフルし, 開発データのロス値が下がらない場合に学習率を $\frac{1}{\sqrt{2}}$ 倍した. その他のハイパーパラメータは以下の組み合わせの中で, 開発データにおいて人手評価とのピアソンの相関係数值が最も高くなるモデルを評価テストに使用した. またそれぞれの試行毎の初期化によって結果が変動するので, 試行回数もハイパーパラメータとみなしている.

・初期学習率 : $\{9 \mathrm{e}-6,6 \mathrm{e}-6,3 \mathrm{e}-6\}$

・ミニバッチサイズ : $\{4,8\}$
- 学習エポック数 : $\{1, \ldots, 10\}$
- 最終結合層のドロップアウト率: $\{0.1,0.2,0.3\}$
- 試行回数 : $\{1, \ldots, 10\}$

本研究の評価実験では, モデルの評価値と人手評価とのピアソンの積率相関係数とケンドールの順位相関係数で評価性能を測る. どちらの相関係数値も $-1.0 \sim 1.0$ の值を取り, 1.0 に近い程モデルの評価性能が高いことを示す.

## 3.2 実験結果

表 1,2 に各モデルの評価値と人手評価とのピアソンの相関係数,ケンドールの相関係数を示す. どの hyp only のモデルも hyp+ref には及ばないが, ピアソンの相関係数が 0.6 を上回り,ケンドールの相関係数が 0.45 前後であった. また全ての hyp only が

図 2 DA スコアの区間ごとのピアソンの相関係数の関係 (各区間表記の下の数値は区間内のサンプル数を示す)

図 3 RoBERTa hyp only による評価予測值と DA スコアの散布図
BLEU を超えておりこのコーパスにおいては BLEU などの字句ベースの評価指標より,システム訳文の流暢性にのみ焦点を当てた評価の方が高い相関を示した.

また, 表 3 に hyp+ref の hyp only と比較した際の相関係数の上昇率を示す. hyp+ref は hyp only と比較すると,どの事前学習モデルにおいても, ピアソンの相関係数で約 1.25 倍, ケンドールの相関係数が約 1.3 倍となり, 現在主流な評価モデルは流暢性だけでなく意味の評価がある程度可能だとわかる。

## 3.3 分析および考察

我々の先行研究 [7] で, hyp+ref の評価モデルは品質の低い翻訳文に対して評価性能が下がることがわかっているが, hyp only ではどうなるのだろうか. DA スコアを 0.5 ずつの一定区間に分けてピアソンの相関係数値を見ることで分析を行った (図 2). その結果, hyp only は $[-2.0,-1.5),[1.0,1.5)$ の二区間で hyp+ref より評価性能が下がっていることが分かる. それぞれの区域での RoBERTa hyp only の評価予測値とDA スコアの関係を散布図として, 図 3 に示す.この図から, hyp only では低品質な翻訳文で評価値を DA スコアよりも高く予測しているものが多く見受けられ, 高品質なものでは評価予測値が低く出てしまっていることがわかる. 流暢性のみに着目すると,流暢だが意味的な誤りを含む文や, 流暢かつ意味も正しい文を上手く評価できないことが示唆される. したがって,システム訳文が参照訳文にほぼ等しい時や重大な誤訳を含むとき, 流暢性ではなく意味の正確性を考慮した評価が必要であると考えられる。

現状の hyp+ref 評価モデルでは, 高品質なシステム訳に対して意味の等価性を識別できているが, 中品質, とりわけ低品質な翻訳文において参照訳文との意味の違いを正しく識別できていないと考察できる. 一方で hyp+src/hyp+ref 評価モデルは, 低品質なシステム訳文に対して hyp+ref や hyp only より良い評価性能を記録した。

ケンドールの相関係数値についても同様の結果であったため付録への記載に留める (図 4).

## 4 おわりに

本研究では, システム訳文のみを入力とした流暢性だけを評価するモデルと, 現在主流の正解文を用いる評価モデルを比較することで, 現在主流のモデルの評価能力を分析した. 分析結果から, 現在主流の hyp+ref モデルは意味の評価がある程度可能ではあるが, 低品質な翻訳文の評価に適さないことがわかった. hyp+src/hyp+ref についても, hyp+ref よりは低品質な翻訳文に対しても評価性能が高いが, 決して十分な評価能力ではないため, より意味の違いに敏感な手法が求められる. また, BLEUを自動評価指標として使用するよりも, システム訳文のみを利用した手法が人手評価と高い相関を示したことから，特定のデータセットにおける人手評価との相関の高さが意味の正しさの評価における優位性を必ずしも示さないことが明らかになった.

## 5 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受けたものである.
表 1 各モデルの WMT17 metrics taskコーパス (all-en)におけるピアソンの相関係数値

表 2 各モデルの WMT17 metrics taskコーパス (all-en)におけるケンドールの相関係数値

表 3 hyp only と比較したときの hyp+ref の相関係数值の上昇率 (\%)

## 参考文献

[1]Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[2]Qingsong Ma, Ondřej Bojar, and Yvette Graham. Results of the WMT18 Metrics Shared Task: Both characters and embeddings achieve good performance. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 671-688, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[3]Qingsong Ma, Johnny Wei, Ondřej Bojar, and Yvette Graham. Results of the WMT19 metrics shared task: Segmentlevel and strong MT systems pose big challenges. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90, Florence, Italy, August 2019. Association for Computational Linguistics.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 第 26 巻, pp. 613-634, 92019.

[6]Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[7]Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3553-3558, Online, July 2020. Association for Computational Linguistics.

[8]Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9]須藤克仁, 高橋洸丞, 中村哲. 深刻な誤訳の識別に向けた分類型翻訳評価データセットの構築. 言語処理学会第 27 回年次大会, 2021.

[10]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11]Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán,
Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13]Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[14]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In the Third International Conference on Learning Representations, 2015.

図 4 DAスコアの区間ごとのケンドールの相関係数の関係（各区間表記の下の数値は区間内のサンプル数を示す）


# 深刻な誤訳の識別に向けた分類型翻訳評価データセットの構築

須藤克仁 ${ }^{1,2}$ 高橋洸丞 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{sudoh, takahashi.kosuke.th0, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳 (NMT) 技術の進展によって,機械翻訳の平均的な訳質は従前と比較して大きく向上した. NMT の訳は流暢性に優れることが特徴であるが，その一方で重要語句の訳抜けや誤訳が問題視されている.これはかつての統計的機械翻訳 (SMT) による「見るからに機械翻訳」という読みづらくぎこちない文ではなく，一見して問題がないような文が機械翻訳の結果として得られるようになったが故に, 翻訳の評価において内容の過不足や文意の正確性により注意を払わねばならないことの現れともいえる。

機械翻訳評価の事実上の標準である BLEU[1] は n-gram 精度と簡潔ペナルティによって訳語の表層的な正確性とカバレージを粗く見積もる指標であり，訳文の文意の正確性の評価にはほど遠い。他方，分散表現を用いることで表層一致によらない翻訳評価の手法として BERT Regressor [2], BERTScore [3], MoverScore [4], BLEURT [5] 等が提案され, 人手評価と高い相関があることが示されている. 現在の翻訳人手評価の主流は直接評価 (Direct Assessment; DA) [6] と呼ばれる標準化された単一の人手評価値である. DA の予測を回帰として解くアプローチは上記 BERT Regressor や BLEURT でも用いられており, 人手評価を自動評価で再現するという観点では理にかなった方法である.

しかしながら, DA は 1 次元の評価指標であって，様々な誤訳を含む翻訳結果を評価するには不十分である. 例えば，「私は 1 万円支払った」という参照訳に対して，(1)「私は 1 万円支払わなかった」，(2)「支払い円 1 万した」，(3)「彼は財布を拾った」はいずれも誤訳であることは確かだが，DA の枠組みでどう異なる評価値を付するかの判断は容易でない。また，(1) は一見して多くの訳語は正しいものの文意としては大きく異なり，実用上深刻な誤訳といえる.こうした誤訳の識別は自動評価にとっては難しい課題である.

本研究では，「訳文の文意が読み取れるか」「訳文の文意が参照訳と比較し誤解を招かないか」の二点に着目した分類型の翻訳評価を目指す.複数の視点による翻訳評価はかつて広く利用されていた 5 段階の流暢さ (Fluency) と忠実さ (Adequacy) に基づく人手評価 [7] や，NTCIR PatentMT の人手評価 [8] で採用された 5 段階の忠実さと受容度 (Acceptability), 多数の観点を用いた評価指標である多次元評価 (Multidimentional Quality Metrics; MQM) [9] 等がある. 忠実さは文意の伝達量に基づいており, 誤訳の影響を測るような定義となっていない，受容度は忠実さの評価が 5 であった訳文についてのみ文法的な正しさや流暢さを分類するものであり，深刻な誤訳を識別するには適さない. 多数の観点は評価の詳細化のために有益であるが，人手評価が煩雑になりやすい．また，本研究と独立に，Popović は同様の方針により解釈性 (Comprehensibility) と忠実さ (Adequacy) に影響を与える語句を Major と Minor の二段階で分類する人手評価アノテーションを実施している $[10,11]$. 語句単位での評価アノテーションは誤り要因の同定に繋がり有益であるものの，忠実さの面で語句単位の誤りが文意に与える影響は明示的に考慮されていない. 本研究では語句単位ではなく文単位での人手評価・自動評価を目的とし, 文意解釈性, 文意正確性 ${ }^{1)}$ に基づく文単位での分類型翻訳評価を提案する。提案する評価方法では，まず文意が読み取れるかを文意解釈性として評価し，その読み取った文意が正しいかどうかを参照文との比較によって文意正確性として評価する。

本稿では，上記の観点に基づく評価基準とそれに基づく翻訳評価データセットの構築について述べ，このデータセットを用いた自動評価実験の結果を示す.

## 2 分類型翻訳評価基準

提案する評価基準は流暢さ・忠実さと類似するが， それらがすべて段階的な設計となっていたのに対し，文意正確性については誤訳の分類のために段階的でない分類型の設計を行った．以下，詳細を述べる。

1）過去の 5 段階評価に基づく「忠実さ」との混同を避けるため本稿では異なる用語を用いる.

 \\

 \\

## 2.1 文意解釈性

表 1 に文意解釈性の評価基準を示す．従来の流暢さの基準 [7] では最低の 1 が理解不能 (Incomprehensible) である他は流暢性のみが着目され，ARPA における機械翻訳評価 [12] で検討された解釈性の観点は考慮されていなかった. 本研究では流暢性と解釈性を一つの基準で表現するため，(1) 表記や文法，言語表現の問題が訳文の解釈を不可能にしている場合 (F)，(2) 解釈が不可能ではないが容易とは言い難い場合 (D), (3) 解釈が容易である場合 (B, A, および $\mathrm{S})$ の大きく 3 つに分け，(3) については流暢性や文法適格性の影響の違いで 3 段階，の 5 段階の基準とした.

## 2.2 文意正確性

表 2 に文意正確性の評価基準を示す. 従来の忠実さの基準 [7] は意味内容がどの程度伝達されたか，という量的な尺度であったのに対して, 本研究では誤訳の深刻さによる伝達内容の誤解リスクを評価基準の中心とし，(1)そもそも内容が解釈できない場合 (N)，(2)誤訳により誤解を招き得る場合 $(\mathrm{O}, \mathrm{C}$, および $\mathrm{F})$ ，(3)表 3 人手評価におけるアノテータ間一致度 (Kappa 係数

( $\kappa$ およびラベル一致率 $(r))$

誤解の心配がない，もしくは軽微な場合 ( $\mathrm{B}, \mathrm{A}$, および S) の大きく3つに分け，(2) については誤訳のタイプの違いで 3 種類, (3) については誤解を招く程度の違いで 3 段階, の計 7 種類の基準とした.

## 3 評価データセットの構築と分析

文意解釈性と文意正確性に基づき作成した機械翻訳の人手評価データセットについて詳細を述べる.

## 3.1 人手評価

本評価データセットは，WMT 2015 から WMT 2017 までの評価尺度 (Metrics) タスクのデータ（訳文・参照訳合計 9,280 文対，いずれも英語）を利用し，文意解积性と文意正確性のアノテーションを人手で付したものである. アノテーションは英語への翻訳業務の経験を持つ 3 名のアノテータが独立に, 英語の訳文と参照訳のみを見る形で行った. Popović は原文との比較評価を行ったが，参照訳の品質に影響を受けない一方で両言語に堪能な評価者を要し言語拡張性に劣る点が問題といえる。

## 3.2 評価データセットの分析

構築した評価データセットをアノテータ一致度と DA スコアとの関係の二点で分析した.

## 3.2.1 アノテータ間一致度

表 3 にアノテータ間一致度を Kappa 係数 ( $\kappa$ ) とラべル一致率 $(r)$ で示す。一致度は十分高いとは言い難いが，過去の WMT 人手評価データ $[13,14]$ と同等程度である. A-B や B-C で文意解釈性の一致度は文意正確性よりも低くなっているが，これはアノテータ B が $\mathrm{A}$ やより文意解釈性の評価が厳しかったこと（詳細は付録の表 10-11参照）によるものと考えられる.

## 3.2.2 文意解釈性・文意正確性と DA スコアの関係

人手評価のラベルと DA スコアとの関係を各ラベルに対応する翻訳結果の DA スコアの平均と標準偏差で
表 4 評価ラベルに対する平均 DA スコア（文意解釈性）

表 5 評価ラベルに対する平均 DA スコア（文意正確性）

表したものを表 4, 5 に示す. 各ラベルに対応するDA スコア範囲はアノテータ間で若干異なるものの，おおまかな順序はほぼ同じになっていることが分かる．特に順序尺度に近い設計となっている文意解釈性の各ラベルと文意正確性の $\mathrm{B}, \mathrm{A}, \mathrm{S}$ については DA スコアでもその優劣と一致する結果が得られている。

また，順序尺度となっていない文意正確性の $\mathrm{N}, \mathrm{O}$, $\mathrm{C}, \mathrm{F}$ の各ラベルについては, 無関係な内容を表す O が最もDA スコアが低く, その次に理解不能な訳文を表す Nが低くなっており， C や F は誤解を招くリスクが高い深刻な誤訳でありながら DA スコアが O やNより平均的には高くなっている. DA スコアという一次元の尺度でこうした異なる種類の誤訳を識別することには限界があり，読めない誤訳，読めるが全く無関係な内容の誤訳，内容は一見類似しているが誤解を招くような誤訳，文意の伝達にはあまり影響を与えないような誤訳，を識別するためには，本研究のような複数の評価観点と分類型の評価の導入が重要である.

## 4 自動評価実験

本研究で提案する分類型機械翻訳評価を自動化できるかを検証するため，評価データセットをもとに以下の自動評価実験を行った.

## 4.1 データ

評価データセットのうち WMT 2017 のデータに相当する 3,920 文対 (7 言語から英語への翻訳データが言語対ごとに 560 文対）をテストセットとして利用表 6 自動評価実験での評価ラベル統計（文意解釈性）

表 7 自動評価実験での評価ラベル統計（文意正確性）

し, 残りのデータからランダムに選んだ 536 文対を開発セット，その残りの 4,824 文対を学習セットとして利用した. 評価データセットには 3 名の異なるアノテータによるラベルが付されているため，本実験では以下のヒューリスティクスに基づいて単一のラベルを選択して利用した。

・2名以上の付与したラベルが一致していればそれを用いる

・ラベルの一致がなければ，最も悪い評価ラベルを利用する. ラベルの順序は文意解釈性では $\mathrm{F}<\mathrm{C}$ $<\mathrm{B}<\mathrm{A}<\mathrm{S}$, 文意正確性では $\mathrm{C}<\mathrm{F}<\mathrm{N}<\mathrm{O}<\mathrm{B}$ $<\mathrm{A}<\mathrm{S}$ とする.

表 6,7 に学習・開発・テストセットにおける評価ラべルの統計を示す.

## 4.2 実験設定

本研究の自動評価は機械翻訳結果と参照訳を入力とし評価ラベルを予測する分類問題として定式化される. 本実験では予測モデルは文意解釈性と文意正確性で独立に学習した。

予測モデルの実装には HuggingFace Transformers ${ }^{2}$ と学習済みの RoBERTa モデル (roberta-large) [15] を利用し，RoBERTaの [CLS]トークンに対する最終層のベクトルを入力とする全結合層 1 層を用いた分類モデルを構築し，交差エントロピーを損失関数として学習を行った. ここで，表 6,7 でも明らかなようにラ

表 8 文意解釈性予測の混同行列. 全体の正解率は 0.578 .

表 9 文意正確性予測の混同行列. 全体の正解率は 0.600 .

ベル数には大きく偏りがあるため, 学習セット中のラベル数に反比例する重み $c$ を損失関数に付加した.

$
w_{c}=\sqrt{\frac{\max _{c^{\prime} \in \mathscr{C}} \operatorname{count}_{c^{\prime}}}{\operatorname{count}_{c}}}
$

ここで $\mathscr{C}$ はラベルの集合を， count $_{c}$ はラベル $c$ の学習データ中の出現回数を表す。

学習時には Adam [16] 利用し, 初期学習率 1e-5 で 30 エポックのミニバッチ学習を行った. ミニバッチサイズは $(4,8,16)$, 追加全結合層のドロップアウト率は $(0.1,0.3,0.5,0.75)$ を比較し，開発セットにおける分類精度が最も高くなるものを選択し，文意解釈性予測モデルはミニバッチサイズ 4 , ドロップアウト率 0.75 , 文意正確性予測モデルはミニバッチサイズ 8 , ドロップアウト率 0.5 を使用した.

## 4.3 結果

表 8,9 に文意解釈性, 文意正確性に対する予測の混同行列をそれぞれ示す.

文意解釈性の予測では，テストセットに対する分類精度は 0.578 であり, 学習セット, 開発セットに対する分類精度はそれぞれ $0.999,0.647$ であった. 表 8 から分かるように，誤分類の多くは隣接するクラスに対するもので，離れたクラス $(\mathrm{F} \rightarrow\{\mathrm{A}, \mathrm{S}\}, \mathrm{D} \rightarrow \mathrm{S}, \mathrm{A} \rightarrow$ $\mathrm{F}$, および $\mathrm{S} \rightarrow\{\mathrm{F}, \mathrm{D}\})$ へ誤分類率は $0.43 \%$ と低い水準であった. 付録の表 12 には文意解釈性予測の適合率・再現率・F 值を示している。

文意正確性の予測では，テストセットに対する分類精度は 0.600 であり, 学習セット，開発セットに対す
る分類精度はそれぞれ $0.998,0.632$ であった. 出現回数の少なかったラベル (O および $\mathrm{C})$ の予測は重み付き学習を行ったものの芳しくなく, これらの予測精度の向上には誤訳例を学習データにより多く含めることが必要であることが示唆される. 表 9 からはラベル $\mathrm{S}$ と予測されたものの多く $(93.5 \%)$ は $\mathrm{S}$ または A とラベル付けされた良い翻訳結果であることが分かり，一定の有効性が認められる．しかしながら，F と B の間の混同，特に $\mathrm{F}$ のものを $\mathrm{B}$ と予測してしまう割合がかなり高いことから，より精緻な識別を可能にする手法やモデルが必要であると言える。付録の表 13 には文意正確性予測の適合率・再現率・F 値を示している.

## 5 おわりに

本稿では，機械翻訳による深刻な誤訳に着目した分類型翻訳評価に向けての本研究のアプローチを示し， それに基づく文意解釈性と文意正確性の評価基準，評価データセットの構築について述べ，また自動評価実験の結果を示した.

評価データセットは WMT の評価尺度タスクのデー 夕に対して人手で文意解釈性と文意正確性のラベルを付与する形で構築した. 評価データセットの分析により, 従来用いられてきた DA スコアに基づく人手評価は内容の矛盾等の深刻な誤りを含むような訳文よりも無関係な訳文や理解不能な訳文を低く評価しており，深刻な誤訳の識別には十分でないことが明らかになった.また，本データセットを利用した自動評価実験では，文意解釈性・文意正確性ともおよそ $60 \%$ の分類精度で評価ラベルの予測ができることを示した. 本デー タセットは別途 Web サイド年で公開予定である.

今後は WMT の評価尺度タスク以外のデータに対しても同様の人手評価を行った評価データセットの構築を予定している。また，ラベルの偏りへの対応としてのデータ拡張，特に誤訳例の拡張が重要な課題と言える. Popović のような語句単位の評価と本研究の文単位の評価の関係も精緻な評価や自動誤り箇所検出のために有用である。さらに，本研究で提案する分類型翻訳評価を NMT 学習時の目的関数に反映させ，深刻な誤訳の生じにくいNMT の実現を目指したい.

## 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受けたものである.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol. 26, No. 3, pp. 613-634, 2019.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020.

[4] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 563-578, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[6] Yvette Graham, Timothy Baldwin, Meghan Dowling, Maria Eskevich, Teresa Lynn, and Lamia Tounsi. Is all that Glitters in Machine Translation Quality Estimation really Gold? In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3124-3134, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[7] LDC. Linguistic Data Annotation Specification: Assessment of Fluency and Adequacy in Translations Revision 1.5, January 25, 2005 . Technical report, Linguistic Data Consortium, 2005.

[8] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop. In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-578, 122011.

[9] Arle Richard Lommel, Aljoscha Burchardt, and Hans Uszkoreit. Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica: tecnologies de la traducció, No. 12, pp. 455-463, 122014.

[10] Maja Popović. Relations between comprehensibility and adequacy errors in machine translation output. In Proceedings of the 24th Conference on Computational Natural Language Learning, pp. 256-264, Online, November 2020. Association for Computational Linguistics.

[11] Maja Popović. Informative Manual Evaluation of Machine Translation Output. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5059-5069, Barcelona, Spain (Online), December 2020.
International Committee on Computational Linguistics.

[12] John S. White, Theresa A. O'Connell, and Francis E. O'Mara. The ARPA MT Evaluation Methodologies: Evolution, Lessons, and Future Approaches. In Proceedings of the First Conference of the Association for Machine Translation in the Americas, Columbia, Maryland, USA, October 5-8 1994.

[13] Chris Callison-Burch, Cameron Fordyce, Philipp Koehn, Christof Monz, and Josh Schroeder. (Meta-) Evaluation of Machine Translation. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 136158, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14] Michael Denkowski and Alon Lavie. Choosing the Right Evaluation for Machine Translation: an Examination of Annotator and Automatic Metric Performance on Human Judgment Tasks . In Proceedings of the Ninth Biennial Conference of AMTA 2010, 2010.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint 1907:11692, 2019.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the Third International Conference on Learning Representations, 2015.

## A 人手評価分析

表 10， 11 は本稿で述べた評価データセットにおいて各アノテータが付した文意解釈性および文意正確性ラベルの分布を示している.

表 10 各アノテータのラベル分布（文意解釈性）

表 11 各アノテータのラベル分布（文意正確性）

## B 自動評価

表 12，13 は文意解釈性および文意正確性の自動評価実験における，ラベル予測の適合率・再現率・F 值を示している.

表 12 文意解釈性予測の適合率，再現率， $\mathrm{F}$ 值

表 13 文意正確性予測の適合率，再現率， $\mathrm{F}$ 値


# ニューラル日英翻訳における適切な出力文数の推定

伊藤均 衣川和克 美野秀弥 後藤功雄 山田一郎
}

$\mathrm{NHK}$

\{itou.h-ce, kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy \} @ nhk.or.jp
## 1 はじめに

NHK で放送される英語ニュース用の原稿は，日本語ニュース用の原稿を基に人手で翻訳・編集し制作している. 我々はこの英語ニュース用の原稿制作を支援するためのツールとして日英機械翻訳の研究を進めている.

NHK のニュース原稿は, 日本語ニュース用と英語ニュース用で異なる特徴を有する。日本語ニュース用の原稿は一文が長いことが特徴であるのに対し，英語ニュース用の原稿は一文を短く区切る特徴がある.

これまでに我々は，この特徴の異なりを考慮した日英機械翻訳システム実現のため, 人手で指定した文数に翻訳結果を制御する手法を提案した [1].

本稿では, 日英機械翻訳処理における日本語一文に対する適切な英語出力文数の推定手法と, 出力文数推定から制御までの一連の処理について提案する.本手法は推定モデルと制御モデルの 2 つのモデルを用いる。日本語一文に対する翻訳結果が，推定モデルが適切であると予想した文数で出力されるよう制御モデルで出力を制御し，所望の翻訳結果を得る.実験結果から，提案手法は出力文数を推定・制御しない従来の日英ニューラル機械翻訳モデルの出力と比較して，人手による翻訳結果の文数との一致率が高いことを確認した。

## 2 出力文数の推定・制御タスク

本稿は，機械翻訳における出力文数を以下の $2 \supset$ の処理によって推定，制御する.

（a）日本語各文をいくつの英文で翻訳するべきかを推定する.

（b）指定した文数で翻訳するよう、機械翻訳の出力を制御する。

我々はこれまで，（b）の課題に対する手法を提案して
いる [1]. 本稿では (a)の課題に取り組み, (b)の課題も含む枠組み全体についても評価する。

関連研究として, 目的言語における読者の語学力に併せて翻訳文の読解難易度を制御することを目的とした NMT の手法 [2] や，翻訳品質の向上を目的として NMT の訓練データ中の長文を分割する手法 [3] があるが，これらは訳文の文数を制御する手法ではない.

## 3 提案手法

提案手法は推定モデルと制御モデルの二つのモデルを用いて適切な文数へ翻訳結果を制御する。具体的には，以下の手順で処理を進める。

（1）日本語各文に対する適切な出力英文数を推定する推定モデルと，指定した文数で翻訳結果を出力する制御モデルを，ニューラル機械翻訳モデルを利用し学習する。

（2）推定モデルに翻訳したい日本語一文を入力し,適切な出力英文数を推定する。

（3）制御モデルに (2)の推定結果を入力し, 指定した文数で日英翻訳する.

本研究では，更なる推定性能向上のため制御モデルへ文数を入力する前に推定モデルの出力を補正する前処理を追加することも想定しており，上記のような 2 段階の処理を導入している。

本節ではこのために必要な出力文数の推定手法と。 この推定結果を利用した出力文数制御手法について説明する。

## 3.1 適切な出力文数の推定

日本語各文に対する適切な出力英文数を推定するため，日本語一文を入力するとその日本語を日英翻訳する際に適切な英文数を表すタグを出力する推定モデルを構築する。

 \\

表 1. 推定モデルの学習データへのタグの付与例

まず，日本語一文に対する翻訳英文のぺアを用意する.これは, 日本語一文に対応する英文は必ずしも一文ずつではなく, 一対多のデータである. 次に, この一対多のデータの各出力の最初の英文の文頭に, その対訳英文が何文であるかを表すタグ(文数タグ) を付与し, 日本語一文とこの文数タグ付き対訳英文とのぺアを推定モデルの学習データとしてニューラル機械翻訳モデルを学習する。

表 1. に推定モデルの学習に用いる学習データの例を示す.こちらの例では, 日本語一文に対して英語 3 文の対訳データであるため, ターゲット言語文の冒頭に”〈3〉”と, 英文数の情報を示す文数タグを付与している. 文数タグは, 出力文数が一文であれば” 〈1〉”， 2 文であれば” 22$\rangle$, 翻訳英文中の数值と区別するために” く〉 内の数字で文数情報を与える.

この学習データから構築したモデルのシステムに任意の日本語一文を入力すると, 翻訳結果の先頭に文数タグが出力される. このタグの示す文数を推定モデルにおける適切な英文数の推定結果とし, 後述する制御モデルの入力に用いる.

## 3.2 出力文数の制御

我々はこれまでに, 日本語一文と共に適切な出力英文数を同時に指定することで，指定した文数で日英翻訳結果を出力する制御モデルを提案した[1]. この制御モデルでは手動での出力文数指定も可能であるが，上述の推定モデルの出力によって得られた適切な出力文数を引用することで自動的に出力文数を制御することが可能となる.

制御モデルでは, 日英対訳データの学習データに

 \\

表 2. 制御モデルの学習データへのタグの付与例

おいて，文数タグを入力である日本語各文の文頭に配置する (表 2). 学習データ作成時にターゲット言語の出力文数を数え, ソース言語の冒頭に文数タグとして付与する。

この学習データをニューラル機械翻訳モデルに与えて学習することにより, 翻訳文数の制御モデルを構築する。

この制御モデルを用いて翻訳結果を出力する際には，翻訳したい日本語各文の冒頭に，推定モデルによって得られた文数タグを付与し，制御モデルへ入力することで最終的な翻訳結果を取得する.

## 4 実験

## 4. 1 実験条件

NHK の日本語ニュースを人手により英訳し, 約 10 万文対の実験データを構築した。このうち学習デー 夕，開発データにはそれぞれ約 96,000 文対，5,000 文対を用いた。評価データには日本語文 772 文を用意し, 評価データのみ翻訳者 2 名(翻訳者 $\mathrm{A}$, 翻訳者 B とする)がそれぞれ日英翻訳したマルチリファレンスデータとした.

学習モデルは NMT ツールキット” Sockeye [4]" を使用した。パラメータについては表 3 の項目について表記の値に変更し, その他のパラメータについてはデフォルト値を使用した. 出カユニット単位の決定には Byte Pair Encoding [5] でサブワードに分割した。

推定モデル・制御モデルの学習にはそれぞれ学習データの出力英文数を文数タグとして用い, 出力英文数はサブワード” .”の数とした.

 & 0.2 \\

表 4. 出力文数の一致率の比較

表 3. Sockeye で用いたパラメータ

図 1. 入力単語数ごとの人手翻訳英文数の占有率

## 4.2 翻訳手法

4.1 節の条件下で推定モデルを学習した上で, 以下の翻訳手法から得られる翻訳結果を比較した.

（a）Baseline：上記のデータを用いて学習データをそのまま使用し学習、翻訳したもの

（b）Tag：制御モデルにおいて評価データの出力英文数を入力の文数タグとして与えて翻訳したもの。それぞれ制作者 A の出力文数を用いたものを Tag (refA), 制作者 B の出力文数を用いたものを $\mathrm{Tag}(\mathrm{refB})$ とする. (c) Assume_Tag：推定モデルによって推定した出力文数を制御モデルの入力の文数タグとして与えて翻訳したもの.

## 4.3 実験結果

## 4.3.1 出力文数の一致率の比較

まず，評価データの日本語各文に対する出力英文数と評価データの英文数との一致率を比較した（表

英文数と一致していれば一致とみなして算出したも

表 5. BLEU 値の比較

のを指す。文数を制御せずに翻訳した場合 (Baseline) と比較して, 推定モデルを用いた手法の一致率が $81,8 \%$ から $87.0 \%$ に向上し, 学習データに出力文数を明示的に与えることの効果を観測することが出来た. また, 推定モデルと制御モデルの両方を用いた手法(Assume_Tag)でも 87.0\%の一致率を得た.制御モデルだけに着目すると, 評価データの出力文数を文数タグとして与えた場合も推定モデルの推定結果を文数タグとして与えた場合も, 文献[1]で示したように制御モデルによる一致率の低下なく文数を制御することが出来た。 Tag (refA)の一致率は $97.8 \%$, Tag (refB) は $99.1 \%$ と, 出力文数を指定すれば,ほぼその通りの文数で翻訳できることが分かる.

出力文数の推定タスクの難しさを調べるために，入力文長と出力文数との関係を調査した. 図 1 に翻訳者 A の翻訳結果における, 入力文の単語数ごとの出力文数の占有率のグラフを示す. こちらのグラフは各入力文を入力単語数で 10 単語単位に分類した際の人手翻訳英文数の占有率を示している. グラフから, 日本語一文に対する入力単語数と人手翻訳英文数には一定の相関があるが，重なりのある部分も多く，難しいことが分かる.

また, 評価データにおける翻訳者 2 者の平均英文数は翻訳者 $\mathrm{A}$ が 1.73 文, 翻訳者 $\mathrm{B}$ が 1.47 文で, 両者の文数一致率は $65.8 \%$ と両者の一致度は高くはなかった. 推定プロセスを経ることで文数一致率が向上していることから入力文の内容と翻訳英文数との間には何らかの相関があると推測できるが，更なる推定性能向上のため翻訳結果を複数文に分割する要因の分析については今後の課題とする.

## 4.3.2 翻訳性能の比較

次に, 各手法の BLEU 值について比較した (表 5). $\mathrm{BLEU}$ 值は翻訳者 $\mathrm{A}$ ・ B 両者の翻訳結果をマルチリフ
アレンスとして測定した。推定モデルの結果を反映させた手法(Assume_Tag)では Baseline と比較して BLEU 値の低下が観測された. 人手翻訳時の出力文数を与えて翻訳した手法(Tag_refA， Tag_refB)では Baseline と比較して BLEU 值が向上していることから, 出力文数の一致率と BLEU スコアには相関があることが分かる.

一方で, 出力文数を制御出来たとしても BLEU スコアの改善には繋がらなかった. これは出力文数が一致することとリファレンスとの翻訳表現が一致することは同義ではないためと考察する. 文数推定モデルにより文数一致率が向上したことから，人手翻訳において適切な出力文数は一定の基準に従って定まることは推測出来るが，翻訳表現については翻訳者ごとに個性があり, 出力文数が一致したとしても出力結果は必ずしも一致しない. 更なる原稿制作支援のため，今後入力文の情報が翻訳時に各文にどのように分割されるか分析を進めたい。

## 5 おわりに

本稿では，NHK のニュースを対象とした日英翻訳において, 日本語一文に対する翻訳として適切な英文数を推定し，推定結果に基づいた文数で翻訳するためのニューラル機械翻訳モデルを提案した．提案手法は適切な文数を推定する推定モデルと, 指定した文数で翻訳する制御モデルの 2 つのモデルで構成され，推定・制御を経由しない従来の機械翻訳モデルの出力と比較して人手翻訳結果の出力文数との一致率を $6.4 \%$ 向上させることが出来た. 今後は更なる翻訳性能と制作支援効果向上に向けた手法を検討する。

## 参考文献

1. ニューラル機械翻訳における出力文数の制御. 伊藤ほか: 人工知能学会, 2020

2. Controlling Text Complexity in Neural Machine Translation. S. Agrawal et al. : EMNLP, 2019

3. Automatic Long Sentence Segmentation for Neural Machine Translation. S.Kuang et al. : ICCPOL, 2016

4. Sockeye: A Toolkit for Neural Machine Translation. F. Hieber et al. : arxiv, 2017

5. Neural Machine Translation of Rare Words with Subword Units. R. Sennrich et al. : ACL, 2016.