# 雑談対話応答における連続する事態の一貫性と対話継続性の関係

田中 翔平 $\dagger \cdot$ 吉野幸一郎 ${ }^{\dagger, \dagger \dagger}$ ・須藤 克仁 ${ }^{\dagger} \cdot$ 中村 哲 $\dagger$
}

\begin{abstract}
雑談対話システムの評価指標として，ユーザとの対話を継続させる働きを表す，対話継続性が挙げられる。対話モデルの先行研究において, 対話継続性の向上には, シ ステム発話の一貫性が重要であると考えられている。 そこで本論文では, 対話モデ ルより生成された応答候補を，対話中に含まれる事態の一貫性に基づいてリランキ ングする手法を提案する。提案手法は対話に含まれる事態の一貫性（「ストレスが溜 まる」と「発散する」は関連した事態である，など）を考慮することで，選択され る応答の一貫性，対話継続性の向上を図る，本研究では異なる 2 つの手法を考案し た。一つ目の手法は統計的に獲得された因果関係ぺアとのマッチングにより，対話中の事態の一貫性を考慮し，二つ目の手法は Coherence Model によって，対話の一貫性を考慮する。自動評価の結果, これらの手法では応答中の単語選択の観点では 一貫性は向上していることが確認された。一方で, 人手評価の結果では, 応答の主観的な一貫性は明確に向上しないものの，一つ目の方法により対話継続性が向上す るという，一見して矛盾する結果が確認された。この結果より一貫性と対話継続性 の関係について，人手評価結果の相関分析，事例分析を行った。これらの分析結果 より, 人手評価において主観的な一貫性の向上は対話継続性の向上にあまり寄与し ないことが確認された。また, 対話履歷に対して一貫する事態を選択できている場合には対話継続性が向上することが示唆された.
\end{abstract}

キーワード：対話システム，事態，リランキング，対話継続性
## Relationship Between Coherence of Sequential Events and Dialogue Continuity in Conversational Response

\author{
Shohei Tanaka ${ }^{\dagger}$, Koichiro Yoshino $^{\dagger, \dagger \dagger}$, Katsunito Sudoh $^{\dagger}$ and Satoshi Nakamura ${ }^{\dagger}$
}

Dialogue continuity is a dialogue system-evaluation metric that indicates how well the system engages its users. Response coherence considered an important factor in determining dialogue continuity. Herein, we propose novel methods of selecting coherent responses for a given dialogue context. These methods improve coherence and dialogue continuity using related-event pairs such as "be stressed out" and "relieve stress." Two re-ranking methods are proposed. The first method estimates the coherence of event pairs in a dialogue by matching event-causality pairs that are statistically extracted from web texts. The second method estimates the coherence of response candidates for the dialogue context using a coherence model. The results of

an automatic evaluation show that objective coherence at the word level was improved by these re-ranking methods. In contrast, in the case of human evaluation, subjective coherence at the response level was not improved by the first method; however, the dialogue continuity was improved. These results seem to be contradictory. We conducted a correlation analysis and a case analysis to clarify the relationship between subjective coherence and dialogue continuity. The results indicate that subjective coherence does not have a strong correlation with dialogue continuity. Further, dialogue continuity may be improved if an event related to the dialogue context is selected.

Key Words: Dialogue System, Event, Re-ranking, Dialogue Continuity

## 1 はじめに

対話システムの応答生成においては，ユーザとの対話を継続させる働きである対話継続性が重要な要素であり, 特に対話中でのシステム発話の一貫性を考慮することが重要とされている (Bohus and Rudnicky 2003). 近年盛んに研究されている, ニューラルネットワークで対話のクエリ-応答ペアを学習する Neural Conversation Model (NCM) (Vinyals and Le 2015) においても同様に，対話の文脈や論理を考慮することが対話継続性に寄与すると考えられている (Mei et al. 2017)，そこで本研究では，まず応答候補と対話履歴に存在する事態の一貫性に着目した応答のリランキング手法を提案し，これによって対話継続性が向上するかについて調査する。リランキングは，質問応答システムや対話システムなどの言語生成タスクにおいて様々な要素を考慮した候補の選択に用いられる (Oh et al. 2013; Jansen et al. 2014; Bogdanova and Foster 2016; Ohmura and Eskenazi 2018).

応答候補と対話履歴に存在する一貫性を考慮しようとする場合，何をもって一貫性を定義するかが重要となる。そこで本研究では，「ストレスが溜まる」と「発散する」など，関連すると認められる事態ぺアが対話履歴と応答候補の間に存在する場合に着目する。事態は動詞や事態性名詞により構成される，文の中心的な意味表現であり，文中での事態の一貫性の高さは当該文同士の一貫性の高さと関係があると考えられる。すなわち，対話履歴と応答候補の事態の一貫性が高いとき，応答候補が対話履歴に対して関連，一貫していると考えられる。

一貫性があると解釈できる事態間関係の一つとして，因果関係がある。因果関係とは 2 つの事態間に原因と結果の関係が成立すること (Shibata and Kurohashi 2011; Shibata et al. 2014) と定義され，この定義に従い，「ストレスが溜まる」が原因，「発散する」が結果，のように認定する。因果関係はこれまで質問応答システムなどで利用されており，質問と応答の間に成立する因果関係を考慮することで，質問に対する適切な応答を生成できることが示されている (Oh et al. 2013, 2016, 2017). 雑談対話システムにおいても因果関係を考慮することで，ユーザに好まれる応答を生成できることが示されている (Fujita et al. 2011; 佐藤，乾 2018). しかしなが

ら，実際に発話中に存在する事態の一貫性を考慮することで発話同士の一貫性を考慮することができるかどうかや，これにより対話継続性が向上するかについては議論が行われていない. そこで本研究では，こうした事態の一貫性を考慮したリランキング手法を提案し，生成応答の履歴に対する一貫性や対話継続性が実際に向上するかを検証する.

また, 異なる観点からの一貫性についての研究として, Coherence Model (Xu et al. 2019) がある. Coherence Model は文書中に出現する単語の品詞情報や文の分散表現をもとに，対象となる文の先行文書に対する一貫性を推定する．対話応答生成においてもこのモデルが出力する一貫性スコアを利用する先行研究が存在する (Cervone et al. 2018)。そこで本研究では，この Coherence Model に事態の一貫性を導入することで，対話履歴に対する一貫性と対話継続性が向上するかについて調査する.

本論文で提案する手法は，対話継続性の高い応答を選択するために，事態の一貫性を考慮したスコア，あるいは Coherence Model において事態の一貫性を考慮したスコアの計算を行い， これらに基づいて応答候補から応答を選択する。この計算に，大規模コーパスから統計的に獲得された因果関係ぺア (Shibata and Kurohashi 2011; Shibata et al. 2014) を用いる。また，因果関係ぺアを用いる際に生じるカバレージの問題を解決するため, Role Factored Tensor Model (RFTM) (Weber et al. 2018) を用いる，実験においては，参照文を用いた自動評価に加えて PMI を用いて一貫性の評価を行った。また，人手評価によって提案手法が対話履歴に対する一貫性を向上したか，また対話継続性を向上したかについての評価を行った。その結果，これらの手法は PMI などの自動評価による一貫性スコアを向上したにも関わらず，人手評価における一貫性評価はかえって低下し，しかし対話継続性が向上するという一見すると矛盾する結果となった. この結果から, 以下の 3 つの仮説を立て分析を行った. 一つ目は, 出現する単語に基づく一貫性の向上は必ずしも人手評価における一貫性の評価に寄与しない，という仮説である。二つ目は，人手評価における一貫性の評価と対話継続性の評価は相関が低い，という仮説である。三つ目は，人手評価における一貫性ではなく，単語選択や事態に基づく一貫性の向上が人手評価における対話継続性の向上に寄与する，という仮説である。この分析のため，人手評価のスコアの相関分析と，個々の事例分析を行った。この結果，前述の 3 つの仮説がある程度成立することが示され，対話履歴に関連する事態を含む応答を選択できている場合には対話継続性が向上することが示唆された。

## 2 事態の一貫性に基づく応答のリランキング

提案した事態の一貫性に基づく応答のリランキングモデルを図 1 に示す. このリランキングモデルは，大きく分けて 2 つのパートから構成される。まず対話履歴をもとに既存の NCM モデルから $N$-best 応答候補を生成する（図 1 (1); 2.1 節）。次に応答候補を事態の一貫性に基づ

図 1 Neural Conversational Model+リランキング；「疲れる」と「リラックスする」が関連した事態であるという知識に基づき応答を選択.

きリランキングする（図 1 (2)）。このリランキングのために，本研究では 2 つの異なる手法を用いる。一つ目の手法は事態の一貫性に関する外部知識として, 統計的に獲得された因果関係ペア (Shibata and Kurohashi 2011; Shibata et al. 2014) を用いるリランキングである（2.2 節）.二つ目の手法は事態間の関係のみでなく, Coherence Model によって対話全体の一貫性も評価するリランキングである（2.3 節 $).$

## 2.1 Neural Conversational Model (NCM)

NCM は入力発話と出力応答の系列の対応を Recurrent Neural Network (RNN) などの系列予測により学習するものである。NCM のデコーダは各単語を逐次的に予測するため, ビームサー チやサンプリングなどを用いることで $N$-best 応答を生成することもできる (Macherey et al. 2016). 本研究ではビームサーチにより生成された $N$-best 候補を用いる.

## 2.2 因果関係ぺアを用いるリランキング

本論文において取り扱う一貫性には，異なる 2 種類が存在する。一つ目は対話履歴と応答に含まれる事態の一貫性であり，これが高い例として，対話履歴に「ストレスが溜まる」という事態が，応答に「発散する」という事態が含まれている場合が挙げられる。二つ目は対話履歴に対する応答の一貫性であり，これが高い例として，「ストレス溜まってるんだよね」が対話履歴であり,「発散したら？」が応答である場合が挙げられる。

本研究では, 対話履歴と応答候補の間に一貫する事態が存在する場合, その応答候補の対話履歴に対する一貫性が高く, 対話継続性に寄与するという仮説に基づき, 応答候補のリランキングを行う，対話中の連続する事態の一貫性を考える場合, 対話履歴と応答の間に何らかの因果関係が成立していれば，一貫性があると解釈することができる。そこでこれを考慮したモデルとして，述語項構造に基づく因果関係を利用する手法を提案する，提案手法は，まず対話履歴と応答候補に含まれる事態（述語項構造）を事態パーサーを用いて抽出する（図 2 (2)-1）。この事態パーサーには KNP¹ (Kawahara and Kurohashi 2006; Sasano and Kurohashi 2011)を用
^{1}$ http://nlp.ist.i.kyoto-u.ac.jp/?KNP
}

との間に成立する応答がリランキングにより選択される.

表 1 因果関係の一例

いる。その後，抽出した事態及び因果関係ぺアを事態埋め込みモデルを用いて分散表現に変換する（図 2 (2)-2; 2.2.2 節)。事態埋め込みモデルとして，RFTM を利用する。最後に応答候補を因果関係に基づきリランキングする（図 2 (4); 2.2.1, 2.2.3 節）.

## 2.2.1 因果関係ペア

柴田ら (Shibata and Kurohashi 2011; Shibata et al. 2014) が提案した, 共起情報と格フレームに基づき自動獲得された因果関係ぺアデータセットをリランキングに用いる。このデータセットは約 16 億文の Web テキストから抽出された約 42 万件の因果関係知識で構成されている。表 1 に因果関係ぺアの一例を示す. 各事態は述語項構造により表現され，述語 1 及び項 1 は原因となる事態を，述語 2 及び項 2 は結果となる事態を表す。ここで各事態は述語を必ず含むが，項 （ガヲニデ格のいずれか）は含まない場合もある. lift は次式の通り2つの事態の自己相互情報量に関連した値 (Shibata et al. 2014) であり，事態間の因果関係としての結びつきの強さを表す. $p(\mathrm{e})$ は事態の Web テキスト中のある一文における出現確率を表し, $p\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ は 2 つ事態の同時出現確率を表す.

$
\operatorname{lift}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)=\frac{p\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)}{p\left(\mathrm{e}_{h}\right) p\left(\mathrm{e}_{r}\right)}
$
lift を用い, リランキングのためのスコアの計算を次のように定義する.

$
\operatorname{score}(\mathrm{h}, \mathrm{r})=\max _{<\mathrm{e}_{h}, \mathrm{e}_{r}>} \frac{\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})}{\left(\log _{2} \operatorname{lift}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)\right)^{\lambda}} \text {. }
$

$\mathrm{P}(\mathrm{r} \mid \mathrm{h})$ は対話履歴 $\mathrm{h}$ を与えたときに $\mathrm{NCM}$ が生成した各応答候補 $\mathrm{r}$ の事後確率であり， $\lambda$ は因果関係の重みを決定するハイパーパラメータである。 ilft $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ は対話履歴中の事態 $\mathrm{e}_{h}$ と応答候補中の事態 $\mathrm{e}_{r}$ との間の lift の值である。この事態ぺアが因果関係ぺアに含まれない場合, lift の值は 2 とする. ただし lift $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ は値域が広い $\left(10<\operatorname{lift}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)<10,000\right)$ ため,対数をとった値である 2 の事態間の自己相互情報量を使用する. 応答候補と対話履歴との間に複数の因果関係ぺアが含まれる場合, lift $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ の値が最も大きい因果関係のみを考慮する. なお $\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})$ の値域は $(-\infty, 0]$ であるため, lift の値が大きくなるほどリランキングスコアも大きくなる.このモデルを “Re-ranking (Pairs)”と呼ぶ.

## 2.2.2 Role Factored Tensor Model (RFTM) に基づく事態分散表現

大規模テキストから抽出した大規模因果関係ぺアデータセットであっても，あらゆる因果関係ぺアを網羅できるわけではないため, これのみを用いて対話履歴と応答候補に存在する全ての因果関係を考慮することは難しい。そこで因果関係ぺア，および発話中に含まれる事態を分散表現に変換し，べクトル空間中で因果関係知識と対話中に出現した因果関係との類似度に基づくマッチングを行うことで，表層の一致しない因果関係に対するマッチングを実現する.

本論文では，事態を述語，もしくは述語と付随する項のぺアと定義して用いる. 項 $a$ は GloVe (Pennington et al. 2014) によりべクトル $\mathrm{v}_{a}$ へと変換される。述語 $p$ は predicate embedding によりベクトル $\mathrm{v}_{p}$ へと変換される. predicate embedding は Skip-gram (Mikolov et al. 2013a， 2013b, 2013c) をもとにした単語分散表現である. 図 3 に predicate embedding モデルの概要を示す.このモデルは Skip-gram が与えられた単語の周辺単語を予測するよう学習を行うのと同様に，与えられた述語に付随する項を予測するよう学習を行う.

$\mathrm{v}_{p}$ および $\mathrm{v}_{a}$ より事態の分散表現を得る手法として, Weber らが提案した RFTM (Weber et al. 2018)を利用する。RFTM は述語 $p$ と項 $a$ を次式により事態分散表現 $\mathrm{e}$ へ変換する.

$
\mathrm{e}=\sum_{a} W_{a} T\left(\mathrm{v}_{p}, \mathrm{v}_{a}\right)
$

述語と付随する項の関係は 3 階パラメータテンソル $T$, パラメータ行列 $W_{a}$ により計算される.述語が項を持たない場合， e は $\mathrm{v}_{p}$ により代替される，RFTM では連続して起こる事態を予測するため, それらの分散表現同士のコサイン類似度を損失関数とし，連続して起こる事態が近い点に埋め达まれるように学習を行う。これは単語における分布仮説同様，似た文脈に出現する事態が似た意味を持つことを仮定するものである。これにより，似た文脈を持つ事態を潜在
空間上の近い位置に埋め込むことが出来る.

## 2.2.3事態分散表現を用いた因果関係のマッチング

図 4 に事態分散表現による事態のマッチングを示す。提案手法は事態分散表現に基づき，応答候補と対話履歴中の発話との間の事態ぺアに対し, 最も高いコサイン類似度を持つ因果関係を因果関係ペアより選択する。ここで 2 つの事態間の lift $t_{e m b}$ を次の式のように定義する.

$
\text { lift }{ }_{\text {emb }}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)=\operatorname{lift}\left(\mathrm{e}_{c}, \mathrm{e}_{e}\right) * \operatorname{mean}\left(\operatorname{sim}\left(\mathrm{e}_{h}, \mathrm{e}_{c}\right), \operatorname{sim}\left(\mathrm{e}_{r}, \mathrm{e}_{e}\right)\right)
$

$\mathrm{e}_{h}$ は対話履歴中の事態, $\mathrm{e}_{r}$ は応答候補中の事態であり, $\mathrm{e}_{c}$ と $\mathrm{e}_{e}$ はそれぞれ因果関係ぺア中の原因となる事態，結果となる事態である。sim はべクトル間のコサイン類似度である．提案手法では対話履歴中の事態が結果，応答候補中の事態が原因となる場合も考慮する．たたし「風邪を引く」と「目が覚める」を同一とみなすなど，事態を過剰に汎化してしまう場合がある。こうした問題を避けるために，各 $\operatorname{sim}$ はしきい値を設定し，ある事態ぺアの各 $\operatorname{sim}$ がしきい値未満である場合，その事態ぺアはリランキングに用いない。また $\mathrm{e}_{h}, \mathrm{e}_{r}$ の代替として用いる因果関係ペア $\mathrm{e}_{c}, \mathrm{e}_{e}$ は mean $\left(\operatorname{sim}\left(\mathrm{e}_{h}, \mathrm{e}_{c}\right), \operatorname{sim}\left(\mathrm{e}_{r}, \mathrm{e}_{e}\right)\right)$ が最も高いものを選択する. 式 (2) の lift $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ を lift $t_{\text {emb }}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ で更新することで，事態分散表現を用いたリランキングスコアは次のように定義される.

図 3 Predicate Embedding

図 4 因果関係のマッチング；「疲れる」～「リラックスする」という因果関係の lift は最もコサイン類似度が高い因果関係である「ストレスが溜まる」 $\rightarrow$ 「発散」の lift から計算される.

$
\operatorname{score}(\mathrm{h}, \mathrm{r})=\max _{<\mathrm{e}_{h}, \mathrm{e}_{r}>} \frac{\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})}{\left(\log _{2} \text { lift }_{\text {emb }}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)\right)^{\lambda}} .
$

“Re-ranking (Pairs)" と同様に, 応答候補と対話履歴との間に複数の因果関係ぺアが含まれる場合, lift $t_{e m b}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ の値が最も大きい因果関係のみを考慮する。このモデルを “Re-ranking (RFTM)"と呼ぶ.

## 2.3 Coherence Model を用いるリランキング

因果関係は一貫性の推定に重要な要素であると考えられるものの，これ以外にも内容語や機能語の語彙選択など，様々な要素が応答の一貫性に寄与すると考えられる。例えば，対話履歴が「ストレス溜まってるんだよね」であり，応答が「私が発散したい」である場合などは，応答に含まれる事態の一貫性は高いものの，応答の一貫性が高いとは言えない．また，本研究で用いた因果関係ぺア自体は統計モデルで推定されたものであり，必ずしも全てが因果関係として成立しているわけではない。そこで事態ぺア間のみでなく，応答全体の一貫性も評価するリランキングを実現するため，Coherence Model を用いる。このリランキングでは因果関係ぺアを用いたリランキングと同様，はじめに対話中の事態を事態パーサーにより抽出する（図 5 (2)-1).次に，抽出した事態，対話履歴，応答候補を Coherence Model に与え，応答候補の対話履歴に対する一貫性スコアを推定する（図 5 (2)-2; 2.3.1 節）。最後に応答候補を一貫性スコアに基づきリランキングする（図 5 (2)-3; 2.3.1 節）.

## 2.3.1 Coherence Model による対話の一貫性推定

応答候補の対話履歴に対する一貫性を推定するために，Xu らが提案した Coherence Model (Xu et al. 2019)を利用する。このモデルは先行するテキストに対して後続する文が連続する

図 5 Coherence Model を用いたリランキング；「疲れる」「リラックスする」という事態ぺアの一貫性に加え，対話全体の一貫性も考慮して応答を選択.
一文であるか，ランダムに置き換えられた一文であるかを判定する。本研究では, Coherence Model を応答候補の対話履歴に対する一貫性推定に用いる。モデルの学習に用いる正例, 負例の例を図 6 に示す. 正例は対話履歴と対話履歴中の発話に対し因果関係を持つ応答のぺアである.因果関係のマッチングには “Re-ranking (Pairs)” と同じく因果関係ペアデータセット (Shibata and Kurohashi 2011; Shibata et al. 2014) を用いる。負例は正例の順序を逆に入れ替えたもの, すなわち応答と, 応答との間に因果関係を持つ対話履歴中の発話とを入れ替えたぺアである. これにより，含まれる事態と全体の意味の両方が対話履歴に対して一貫している応答候補のみ，一貫性スコアを高く見積もることが期待できる.

図 7 にモデルの概要を示す.このモデルはまず対話履歴 $\mathrm{h}$, 応答候補 $\mathrm{r}$ を BERT (Devlin et al. 2019）を用いて分散表現 $\mathrm{v}_{h}, \mathrm{v}_{r}$ に変換する。またこれに加えて, 対話履歴, 応答候補から抽出

正例

負例

図 6 Coherence Model の学習に用いる正例と負例; 負例の応答に含まれる事態（疲れる）は対話履歷中の事態（リラックスする）に対して一貫している（「疲れる」が原因，「リラックスする」が結果） が，応答全体の意味は一貫していない.

図 7 Coherence Model による一貫性スコアの推定

された事態ぺアを RFTM を用いて分散表現に変換する。このときリランキングに用いる事態ペアはコサイン類似度がしきい值以上のもののみを用いる．RFTM は連続して出現する事態同士のコサイン類似度が高くなるよう学習を行っており，これによって連続して出現する可能性が高い事態への重みづけを行う，得られた分散表現に基づき，応答候補の一貫性スコア cohを次式のように計算する。

$
\begin{aligned}
\operatorname{coh}\left(\mathrm{v}_{h}, \mathrm{v}_{r}, \mathrm{e}_{h}, \mathrm{e}_{r}\right) & =\sigma(W \mathrm{v}+b) \\
\mathrm{v} & =\left[\mathrm{v}_{h} ; \mathrm{v}_{r} ; \mathrm{v}_{h}-\mathrm{v}_{r} ;\left|\mathrm{v}_{h}-\mathrm{v}_{r}\right| ; \mathrm{v}_{h} * \mathrm{v}_{r} ; \mathrm{e}_{h} ; \mathrm{e}_{r} ; \mathrm{e}_{h}-\mathrm{e}_{r} ;\left|\mathrm{e}_{h}-\mathrm{e}_{r}\right| ; \mathrm{e}_{h} * \mathrm{e}_{r}\right]
\end{aligned}
$

ここで $\sigma$ はシグモイド関数を， $W, b$ はそれぞれパラメータ行列，パラメータバイアスを表す. また [;] はべクトルの結合を表し, * は要素積を表す. 対話履歴, 応答候補から抽出される事態ぺアが複数存在する場合，最も高いコサイン類似度を持つ事態ぺアのみを用いる．またしきい值以上の事態ペアが存在しない場合，一貫性スコアは 0 として扱われる。この一貫性スコアの計算には図 7 のように Multi Layer Perceptron (MLP) を使用する。学習データ中の正例 $x_{i}{ }^{+}$ および対話の順序を入れ替えた負例 $x_{i}{ }^{-}$を用い, 式 (6) を学習するための損失関数を次式のとおり Margin Ranking Loss で定義する.

$
\operatorname{Loss}\left(x_{i}^{+}, x_{i}^{-}\right)=\max \left(0,-\left(f\left(x_{i}^{+}\right)-f\left(x_{i}^{-}\right)\right)+0.5\right) .
$

$f\left(x_{i}{ }^{+}\right), f\left(x_{i}{ }^{-}\right)$はそれぞれ正例, 負例に対してモデルが出力した予測值であり，式 (8) は

$f\left(x_{i}{ }^{+}\right)-f\left(x_{i}{ }^{-}\right) \geq 0.5$ のとき 0 となる. 応答候補の一貫性スコア $(0 \leq \operatorname{coh} \leq 1)$ が 0.5 以上であった場合，その応答候補は対話履歴に対し一貫していると判定し，リランキングスコアを次式のように計算する.

$
\operatorname{score}(\mathrm{h}, \mathrm{r})=\left(1-\operatorname{coh}\left(\mathrm{v}_{h}, \mathrm{v}_{r}, \mathrm{e}_{h}, \mathrm{e}_{r}\right)\right) \log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h}) \text {. }
$

式 (2)(5) と同様, $\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})$ の值域は $(-\infty, 0]$ であるため,一貫性スコアの值が大きくなるほどリランキングスコアも大きくなることに注意されたい. このモデルを "Re-ranking (Coherence)" と呼ぶ.

## 3 リランキング手法の評価実験

これまでに述べた対話応答リランキング手法を評価する。連続する事態の一貫性を考慮することで, 応答の対話履歴に対する一貫性が向上し, それによって対話継続性が向上するという仮説について検証する。具体的には,リランキングの有無による対話応答の違いを自動評価，人手評価する実験を行った，特に人手評価においては対話履歴に対する応答候補の一貫性, 対話継続
性についての評価を行った。 実験では NCM として Encoder-Decoder with Attention (EncDec) (Bahdanau et al. 2015; Luong et al. 2015) と Hierarchical Recurrent Encoder-Decoder (HRED) (Sordoni et al. 2015; Serban et al. 2016) を用いる. HRED のモデルは, 単純な Encoder-Decoder などのモデルと比較して対話履歴を考慮した応答を生成しやすいと期待される一方で, 出力結果のバリエーションが対話履歴により制約され， $N$-best 応答候補のリランキングには不向きである可能性もある.

対話モデルの学習及びテストに用いるコーパスとしてマイクロブログ (Twitter) から収集した $2,072,893$ 対話を使用した。ここではマイクロブログにおける 1 発話を 1 ターンとし，発話の連接をターン数と考える。平均対話長は 13.50 ターン, 平均発話長は 22.52 文字であった. 語彙サイズを削減しモデルの学習を促進するために, 絵文字などはあらかじめ発話から除外した.対話コーパスを学習データ，バリデーションデータ，テストデータとしてそれぞれ $1,969,626$ 対話，51,573 対話， 51,694 対話に分割した．RFTM が利用する GloVe, predicate embedding の学習には日本語 Wikipedia ダンプデータ2を用い，RFTM の学習には因果関係ぺア，毎日新聞 2017 データ集 ${ }^{3} に$ 加え，対話モデルの学習に用いたものと同様の対話デー夕を用いた. Coherence Model が用いる BERT モデルには事前学習済みの公開されているモデル4を用い, Coherence Model の学習には対話モデルの学習に用いたものと同様の対話データを用いた.

## 3.1 モデル設定

NCM の学習設定は次のとおりである. GloVe (Pennington et al. 2014), predicate embedding, RFTM (Weber et al. 2018)の隠れ層は全て 100 次元とした. Coherence Model が利用する BERT モデルの隠れ層は 768 次元であり, MLP の層数は 1 層である。隠れ層 256 次元の GRU (Cho et al. 2014; Chung et al. 2014) 2 層, 対話履歴数 $N=2$, バッチサイズ 100, Dropout 確率 0.1 , teacher forcing 率 1.0, Optimizer を Adam (Kingma and Ba 2015) とし, Gradient Clipping 50, Encoder 及び HRED における Context RNN の学習率 $1 \mathrm{e}^{-4}$, Decoder の学習率 $5 \mathrm{e}^{-4}$, 目的関数を ITF loss (Nakamura et al. 2019) とした. トークン分割には sentencepiece (Kudo and Richardson 2018) を用い, 語彙数 32,000 とした. 実際の対話データは平均で 13.50 ターンの対話長を持つが，距離が離れた発話同士では話題が遷移し，関連性が低下する。また，NCM では RAM サイズの制約から長大な履歴を入力とすることが難しい5．そこで本研究では，応答生成，リランキングの際に用いる対話履歴は最大で過去 3 発話とした。これらの設定は EncDec, HRED どちらにおいても同一である. EncDec に複数発話の対話履歴を入力する場合，それらを文末を
^{4}$ http://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT 日本語 Pretrained モデル.

5 本計算には GeForce GTX $1080 \mathrm{Ti}$ (11GB GPU-RAM) の GPU を用いた.
}
表す特殊トークン $</ \mathrm{s}>$ で結合し，1つの発話として入力した. HRED に複数発話を入力する場合は各発話を Utterance Encoder でエンコードした後, Context Encoder で対話履歴全体をエンコードした (Sordoni et al. 2015; Serban et al. 2016).

探索の際は同じトークンを繰り返し出力することを防ぐために Repetitive Suppression (Nakamura et al. 2019) を, 短い応答のみを出力することを防ぐために length normalization (Macherey et al. 2016) を用いた。最後に, リランキングの式 (2), 式 (5) における $\lambda=1.0$ とし, 事態分散表現を用いた因果関係のマッチング，Coherence Model における事態ぺアのコサイン類似度のしきい値は経験則的に 0.9 とした.

## 3.2 応答生成候補の多様性

リランキング以前の各モデルにおける $N$-best 応答内の多様性評価を行う。これは，ビームサーチにより生成される $N$-best 応答が多様であるほど，リランキングの効果が期待できるためである。そこで，テストデータに対するそれぞれの $N$-best 応答内の多様性を, dist- 1,2 (Li et al. 2016) によって評価した. ビーム幅は 20 とし, これは続く実験でも同一である.

表 2 に結果を示す。ここで Ave.dist は各 $N$-best 応答内で計算された dist の平均を表す。表を見ると EncDec の方が HRED よりも多様性が高いことがわかる.

## 3.3 自動評価

## 3.3.1 自動評価で用いる指標

自動評価として，まず提案手法が有効な範囲を測るためリランキングされた応答候補の割合 ("re-ranked") を用いた。また，応答候補の reference に対する類似度を測るため， reference に対する BLEU (Papineni et al. 2002), NIST (Doddington 2002)，また greedy, average, extrema と呼ばれる 3 つの分散表現を用いた指標 (Gabriel et al. 2014; Liu et al. 2016) を用いた. BLEU は reference との $N$-gram の一致率を測る指標である. NIST は BLEU に類似した評価指標たが，スコア計算の際に低頻度語を重視する点で異なる. greedy, average, extrema はすべて参照応答と生成応答の分散表現空間上での類似度を測るものである. greedy における類似度 $G M$ は参照応答と生成応答それぞれに含まれる単語の GloVe 単語ベクトル $\mathrm{ge}_{w}$ を, 次式のように貪欲にマッチングすることで計算される。

表 $2 N$-best 応答候補内の多様性

$
\begin{aligned}
G(s, \hat{s}) & =\frac{\sum_{w \in s} \max _{\hat{w} \in \hat{s}} \operatorname{sim}\left(\mathrm{ge}_{w}, \mathrm{ge}_{\hat{w}}\right)}{|s|} \\
G M(s, \hat{s}) & =\frac{G(s, \hat{s})+G(\hat{s}, s)}{2}
\end{aligned}
$

ここで $s, \hat{s}$ は参照応答, 生成応答を表し, $\operatorname{sim}$ はコサイン類似度を表す. average における類似度は参照応答と生成応答それぞれの文べクトルのコサイン類似度より計算される．各文べクトル $\mathrm{ge}_{s}$ は GloVe 単語べクトルを次式のように平均化することで計算される.

$
\mathrm{ge}_{s}=\frac{\sum_{w \in s} \mathrm{ge}_{w}}{|s|}
$

extrema における類似度は average と同様に文ベクトルのコサイン類似度より計算され，文べクトルは GloVe 単語ベクトルの各次元 $d$ における極値を次式のように取ることで計算される.

$
\operatorname{ge}_{s d}=\left.\{\begin{array}{ll}
\max _{w \in s} \mathrm{ge}_{w d} & \text { if } \mathrm{ge}_{w d}>\left|\min _{w^{\prime} \in s} \mathrm{ge}_{w^{\prime} d}\right| \\
\min _{w \in s} \mathrm{ge}_{w d} & \text { otherwise }
\end{array} .\right.
$

ここで $\mathrm{ge}_{s d}, \mathrm{ge}_{w d}$ はそれぞれ $\mathrm{ge}_{s}, \mathrm{ge}_{w}$ の $d$ 次元目の要素を表す.また評価指標として, dist-n (Li et al. 2016), Pointwise Mutual Information (PMI) (Newman et al. 2010) も用いた. dist-n, PMI はそれぞれ応答の多様性，一貫性を測るために用いた。応答と対話履歴の PMI は次式のように計算される.

$
\mathrm{PMI}=\frac{1}{\# w r} \sum_{w r}^{\# w r} \max _{w h} \operatorname{PMI}(w r, w h)
$

$w r, w h$ はそれぞれ応答中, 対話履歴中の単語を表す. PMI を計算するためのコーパスは $\mathrm{NCM}$ の学習データと同一である.

## 3.3.2 自動評価による比較

表 3 に全テストデータに対するリランキング前後の自動評価による比較を示す. 表 3 の手法名は左から順に，用いた NCM，用いたリランキング手法を示している。“1-best”はリランキングを行わない, ベースラインの NCM を表す. "Re-ranking (Pairs)", "Re-ranking (RFTM)", “Re-ranking (Coherence)"はそれぞれ因果関係ぺアのみを用いたリランキング，因果関係ぺアと RFTM を用いるリランキング，Coherence Model を用いるリランキングを表す.

リランキングされる応答候補の割合は “Re-ranking (Pairs)", "Re-ranking (Coherence)"の場合多くとも $10 \%$ 前後に留まり, リランキングの効果が限定的となる. これに対して，RFTM による分散表現で汎化を行ったモデルでは, リランキングの割合が $30 \%$ 程度に上昇している。また NIST, dist-2 および PMI は “Re-ranking (RFTM)”により最も上昇しており，語彙の組み合わせが多様かつ対話履歴と関連したものになっていることがわかる.

## 3.3.3リランキング手法ごとの自動評価値の傾向

表 3 のどの手法においても，過半数のテストデータはリランキング前と同じ応答を対象に評価値が算出されている。このため表 3 の結果のみからそれぞれのリランキングによりどの評価値がどの程度改善されるかを見て取ることは困難である。 そこで各リランキング手法がリランキングを行ったデータについてのみ評価値を算出することで，各手法がリランキング対象とするデータの傾向，および各手法により改善される評価値を分析した．表 2 より EncDec の方が $N$-best 応答内の多様性が高いためリランキングに適している可能性があるものの, 自動評価では HRED の方が 1-best において高いスコアを持つ傾向にある。本論文では, リランキングを行わない 1-best がより強いべースラインとなる HRED を用い，提案するそれぞれのリランキング手法と比較した.

表 $4,5,6$ に結果を示す. 表 4 の因果関係ぺアのみを用いるリランキングでは, BLEU, NIST

 & re-ranking &  & BLEU & NIST & greedy & average & extrema & dist-1 & dist-2 & PMI \\

表 3 全テストデータに対する自動評価のスコア

表 4 自動評価のスコア; HRED with Re-ranking (Pairs); 対話数 2,608 .

表 5 自動評価のスコア; HRED with Re-ranking (RFTM); 対話数 11,247 .

表 6 自動評価のスコア; HRED with Re-ranking (Coherence); 対話数 3,245.

などの参照応答との類似度スコアが全てリランキング前以下の値となっているのに対し, dist-2, PMI の値は上昇している。特に PMI はわずかながら参照応答以上の値となっており，応答に含まれる単語が対話履歴に関連したものになっていることがわかる.

表５の因果関係ぺアと RFTM を用いるリランキングにおいてもPMI が上昇しており，また NIST も向上していることから，対話履歴との関係が高い低頻度語を含む応答を選択できていることがわかる.

表 6 の Coherence Model を用いるリランキングでは BLEU, NIST, dist が低下しているものの, greedy, average, extrema といった分散表現による類似度尺度は全て上昇している。また PMI は 3 つのリランキング手法の内最も高い値となっており, 表 4 と比較しても参照応答の値との差が大きい. さらに表 6 の 1-best の値を表 4,5 と比較すると, リランキング前の段階で類似度スコアや PMI が高い傾向にあることがわかる。すなわち Coherence Model を用いるリランキングは，その他のリランキング手法と比較して参照応答に類似した応答を対話モデルが生成しやすい対話データを捉えることが可能であり，かつ分散表現上での応答の類似度を向上させることができていると言える.

どのリランキング手法においても PMI の上昇割合が高いのは，因果関係ぺアが述語項構造の共起情報に基づいて獲得されており, この情報が PMI の上昇に寄与するためと考えられる。なお Coherence Model が用いる RFTM の学習にも因果関係ペアが用いられているため, “Re-ranking (Coherence)"も因果関係ぺアを間接的に参照している．PMI の向上はより関連する単語を含む応答を選択できていることを示唆するものの，対話の自然性，継続性という観点からは人手による主観評価が必要である。そこで次の節では，人手による評価を行う.

## 3.4 人手評価

自動評価において, 提案手法によって選択される応答の単語の一貫性は向上しているものの,自動評価のみで対話システムの性能を評価することは困難である (Liu et al. 2016). そこで, ベー スラインモデルと提案モデルを人手評価により比較することで, 提案モデルにより選択された応答の一貫性, 自然性, 対話継続性を測った，評価者の負担を軽減するため，一般に知名度が低いソーシャルゲームについて話しているなど，内容を理解するために前提知識を必要とする
対話は人手で評価対象から取り除いた。人手評価にはクラウドソーシングを用い，各比較条件ごとに 10 人のクラウドワーカーに 2 つのシステムの応答を比較し，次に挙げる 3 点の指標をより満たすものを 2 つの応答のどちらか, もしくは「どちらでもない (neither)」の 3 択より選択してもらった. 1 番目の指標は「どちらの応答がより対話履歴に関連しているか (coherency)」 であり，これはシステム応答が一貫しているかを計測するために用いる． 2 番目の指標は「どちらの応答がより文法的に違和感なく読めるか (naturality)」であり, これはシステム応答の文法的な自然性を計測するために用いる。3 番目の指標は「どちらの応答により返答したいと思うか (dialogue continuity)」であり，これはシステム応答の対話継続性が高いかを計測するために用いる。これらの指標は Alexa Prize (Ram et al. 2018) を参考に決定した。また，各比較で対象とした対話数はそれぞれ 100 である。なお，これらの評価は各手法により1-best と異なる応答が選択されたケースのみを評価として用いたので，評価の対象となったサンプルがそれぞれ異なる。このため，異なる図間のスコアを直接比較できないことに注意されたい.

人手評価の結果を図 8 から 13 に示す. 本実験ではカイ二乗検定を行い，有意水準 $\mathrm{p}<0.05$ を統計的に有意とみなすこととした。各指標の右側に記された*は $\mathrm{p}<0.05$ を，** は $\mathrm{p}<0.01$ を表す。一貫性はどのリランキング手法においても 1-best と比較して有意に減少している。これは，因果関係や連続する事態のみに着目して一貫性を評価しても，必ずしも対話における主観的な一貫性の向上には繋がらないという結果を示している。ただし表 4-6において PMI が上昇していることから, 単語単位の一貫性は上昇していると考えられる. これらのことから, ユー ザに応答が一貫していると認められるためには出現単語が一貫しているのみでは不十分であり，

図 8 人手評価の結果; 1-best v.s. Re-ranking (Pairs)

図 10 人手評価の結果; 1-best v.s. Re-ranking (Coherence)

図 9 人手評価の結果; 1-best v.s. Re-ranking (RFTM)

図 11 人手評価の結果; Re-ranking (Pairs) v.s. Re-ranking (RFTM)

図 12 人手評価の結果; Re-ranking (Pairs) v.s. Re-ranking (Coherence)

図 13 人手評価の結果; Re-ranking (RFTM) v.s. Re-ranking (Coherence)

1 章にて立てた一つ目の仮説「出現する単語に基づく一貫性の向上は必ずしも人手評価における一貫性の評価に寄与しない」が成り立つことが示された。異なるリランキング手法を比較した場合, “Re-ranking (Coherence)” が選択した応答の一貫性が最も高い傾向にあり, “Re-ranking (Coherence)" が持つ応答の一貫性を考慮する能力が他のリランキング手法と比較して高いことがわかる.

これに対し，対話継続性は “Re-ranking (RFTM)”において有意に向上している，異なるリランキング同士の比較では “Re-ranking (RFTM)", "Re-ranking (Coherence)”が対話継続性において最も高い評価を得ており, 本論文で提案した事態や出現単語レベルでの一貫性の向上が,対話継続性の向上に寄与することがわかる.

自然性も一貫性と同じくどのリランキングにおいても低下しているが，これはニューラル対話モデルの Decoder が言語モデルとしての役割を担うため, リランキング前の順位が高いほど言語モデル的に尤度の高い応答となるためだと考えられる．異なるリランキング同士の比較では “Re-ranking (Coherence)”が自然性において最も高い評価を得ている。これは “Re-ranking (Coherence)" が応答全体の対話履歴に対する一貫性を考慮していることから，コンテキストに対する生成結果のもっともらしさをある程度考慮できているためだと考えられる。

人手評価の結果より，自然性が低い応答は一貫性も低いとユーザにみなされる可能性が高いものの, 一貫性, 自然性が低くとも対話継続性が高い場合が存在することがわかった。この現象について詳しく分析するため，次節にて各評価指標間の相関について調査する.

## 3.5 人手評価結果の相関分析

本研究で用いた連続する事態の一貫性を考慮したリランキングでは, 主観評価における対話継続性が向上したものの，一貫性が低下するという一見して矛盾する結果となった。そこで，人手評価における一貫性，自然性，対話継続性の相関を測るために，評価指標ぺアの混同行列を集計し，クラメールの連関係数 $V(0 \leq V \leq 1)$ を算出した。分析対象は図 8-10 の実験で用いられた各 100 対話，合計 300 対話である。なお，評価者間の評価の一致率を表す Fleiss' Kappa の值は 0.20 であった。集計結果および連関係数を表 7-9 に示す。一貫性と自然性, 対話継続性

表 7 混同行列（一貫性-自然性）； $V=0.20$

表 8 混同行列（自然性-対話継続性）； $V=0.52$

表 9 混同行列（対話継続性-一貫性）； $V=0.20$

と一貫性の連関係数はともに 0.20 であり, 人手評価で対象としたコーパスにおいて一貫性の対話継続性に対する寄与率はあまり高くはないことがわかる。また自然性と対話継続性の連関係数は 0.52 であり,これも十分高いとは言えない.これらの結果は, 1 章にて立てた二つ目の仮説「人手評価における一貫性の評価と対話継続性の評価は相関が低い」を裏付ける。人手評価において一貫性が低下していると評価者に判断されたにもかかわらず，対話継続性は向上していると判断された例を次に示す．鉤括弧内はリランキングに使用された事態ぺアを示す。“ $\rightarrow ”$ で結ばれた事態ぺアは因果関係を表す.

対話 1:

ユーザ：東京の田舎ですよ笑

システム：でも羡ましい原宿とかまで遠いの

ユーザ：時間くらいで行けると思います

システム (1-best)：そうなんだ

システム (Re-ranking (Pairs))：じゃあ会えるかも

[行ける $\rightarrow$ 会える]

この例では，システム側の「会える」という情報の提示が, 1-best で得られる単純な応答よりもユーザの興味を引いたと考えられる。また，対話継続性が低下しており，かつ一貫性は向上していると判断された例を次に示す。丸括弧内の事態は，因果関係ぺアに含まれる事態を表す。 このとき丸括弧左側の事態は，RFTM によって丸括弧内の事態と同一とみなされた，対話中に含まれる事態を表す。

## 対話 2:

$
\text { ユーザ：寝なさい笑 }
$

システム：おはよう, 早いな

ユーザ：おはよっしーよしちゃんこそ早いじゃん, いつも 9 時頃なのに

システム (1-best)：よく眠れなくて大丈夫なのだろうか... 苦笑

システム (Re-ranking (RFTM) )：よく寝れた

$[$ 寝れる $($ 寝る $) \rightarrow$ 寝 $($ 寝 $)]$

リランキング前の応答はユーザに問いかける形になっており，より対話を継続するものであったことがわかる. リランキング後の発話は事態は一貫しているものの, 文脈上逆の意味の発話を選択してしまっている。人手評価, 事例分析の結果, 応答の一貫性向上が対話継続性の向上には必ずしも繋がらないことが判明した。しかし次に示すとおり，応答の一貫性と対話継続性がともに向上した例も存在する.

対話 3:

ユーザ：おはようございますれ

システム：おはようございますヒラメ釣り行ってましたが撃沈でした TT

ユーザ：おはようございます凸冷えますね...

システム (1-best)：おはようございます

システム (Re-ranking (Pairs))：おはよーございます朝晚涼しくなりました

[涼しくなる $\rightarrow$ 冷える]

よって今後は事態や応答の一貫性を含め，対話継続性の向上に寄与する制約や状況についてより詳細に調査する必要がある.

## 4 事例分析

ここまでの実験では, 提案手法によってシステム応答の対話履歴に対する事態レベルの一貫
性を向上させた結果，ユーザが感じる対話における一貫性が向上するか，対話継続性が向上するかについて検証した。この結果, 提案手法は単語レベルの一貫性を向上させ, 対話継続性の向上に寄与するものの, ユーザが感じる対話の一貫性はむしろ低下する結果となった。そこで,述語項構造解析結果，リランキングに用いられた事態ぺアの分類を行うことで，提案手法により行われた応答のリランキングを詳細に分析した。また, 生成された応答の対話行為を分析することで，応答の一貫性や対話継続性と，対話行為との相関を明らかにした．分析対象は 3.5 節と同様に図 8-10 の実験で用いられた 300 対話であり, 述語構造解析結果, リランキングに用いられた事態ぺア，対話行為の分類は 1 人のアノテータが行った.

## 4.1 述語項構造解析結果の分類

提案手法は述語項構造解析により自動抽出された事態に基づくものであるため, 述語項構造解析の精度を検証する必要がある。そこで，リランキングに用いられた事態の述語項構造解析が適切に行われている割合を調査した。分類結果を表 10 に示す.ここで横軸の“Correct”はリランキングに用いられた事態に述語項構造解析の誤りがなかった場合であり, “Wrong”は何らかの誤りが含まれていた場合を指す。これは例えば，「おはようさぎ」という発話文から「詐欺」という誤った述語（判定詞）を抽出した場合や，「栄行こうか迷う」という発話文に対し「栄が行く」のように格解析を誤った場合などがある。また縦軸の“Each”は事態ぺアに含まれる 2 つ事態について別々に正誤を判定した場合であり，“Both”は 2 つ事態をまとめて正誤を判定した場合である。よって事態ぺアに含まれる 2 つの事態のいずれも述語項構造解析が適切に行われていた場合のみ, “Both”は“Correct”とみなされる.

述語項構造解析によって全ての事態が完全に解析されている割合は “Each”で $70 \%$ 前後, “Both”で $60 \%$ 前後であり，十分高いとは言えないが，特に後者は複数の述語項構造関係の抽出結果に対する評価という点に留意する必要がある。また, 本研究で用いた事態の埋め込み表現が, 格要素の解析誤りなどの問題を汎化している可能性がある.

## 4.2 リランキングに用いられた事態ぺアの分類

提案手法は事態ペアの一貫性に基づくものであるため, リランキングに用いられた事態ぺアの一貫性や, 一貫した事態ペアが用いられた場合の人手評価の傾向を明らかにする必要がある. そこで，リランキングに用いられた事態ぺアの一貫性を分類，分析し，人手評価の結果を再考

表 10 述語項構造解析結果の分類
察した. 分類結果を表 11 に示す.ここで各列はリランキングに用いられた事態ぺアの一貫性を表し，“Good”は一貫した事態ぺアが用いられたことを，"Bad (Pairs)”は因果関係ぺアに含まれる，当該対話コンテキストで用いることが適当ではないと考えられる因果関係が用いられたことを意味する。また“Bad （過汎化）”は事態分散表現により過汎化された因果関係が用いられたことを意味し，“Bad (Sequence)”は連続しているが一貫性が低い事態ペアが用いられたことを意味する．以上は著者らが各サンプルを確認して人手で分類した.

一貫した事態ぺアが用いられた割合は, "Re-ranking (Pairs)" の場合 61\%, "Re-ranking (RFTM)" の場合 5\%, “Re-ranking (Coherence)" の場合 52\% である。図 8-10の人手評価で用いられた対話データより，一貫した事態ぺアが用いられた場合を抽出した結果を図 14-16に示す。 1 件のデータにつき 10 人のワーカーが評価を行っているため，図 14-16 のサンプル数はそれぞれ 610 , 50, 520 である. “Re-ranking (RFTM)”において，一貫した事態ぺアが用いられている場合，一貫性，自然性，対話継続性が大きく向上しており，一貫した事態ぺアを用いることが対話継続性の向上に寄与することが示唆されている. しかし, "Re-ranking (Pairs)", "Re-ranking (Coherence)"の場合, リランキング前後で大きな差は見られない. ここで表 4-6 を見ると, “Re-ranking

表 11 事態ペアの分類

図 14 一貫した事態ぺアが用いられた場合の人手評価の結果; 1-best v.s. Re-ranking (Pairs)

図 15 一貫した事態ぺアが用いられた場合の人手評価の結果; 1-best v.s. Re-ranking (RFTM)

図 16 一貫した事態ぺアが用いられた場合の人手評価の結果; 1-best v.s. Re-ranking (Coherence)

(RFTM)" がリランキング対象とした 1-best 応答と比較して, "Re-ranking (Pairs)", "Re-ranking (Coherence)" がリランキング対象とした 1-best 応答の自動評価値が高いことがわかる。よって，一貫した事態ぺアを用いたリランキングは，1-best の時点で自動評価値の高い応答を対象としても効果がないが，自動評価値が低い応答を対象とした場合，応答の一貫性，自然性，対話継続性が向上する可能性があると言える。以上のことから，1 章にて立てた三つ目の仮説「人手評価における一貫性ではなく，単語選択や事態に基づく一貫性の向上が人手評価における対話継続性の向上に寄与する」がある程度成り立つことが示された。なお, “Re-ranking (RFTM)" によって一貫した事態ぺアが用いられた割合は $5 \%$ と低いため，事態分散表現を改善し，分散表現上において事態の一貫性をより正確に考慮することで，一貫した事態ぺアに基づくリランキングが行われる範囲を拡大する必要がある.

一貫した事態ぺアによりリランキングが行われている例を下に示す.

対話 4:

ユーザ：新年早々体調崩すとは，辛い笑明日，明後日までに完全に治さな．

システム (1-best)：お大事に

システム (Re-ranking (Pairs))：大丈夫ですか無理しないでくださいね

[ 無理をする $\rightarrow$ 体調を崩す]

対話 5:

システム：フォローありがとうございますフォロバさせていただきました

ユーザ：私テスト以外は暇してるんでいつでも絡んでくださいね

システム (1-best)：はいぜひぜひ仲良くしましょ

システム (Re-ranking (RFTM))：全然おっけーですなんて呼んだらいいかな

[ 絡む (絡む) $\rightarrow$ 呼ぶ (絡む)]

対話 6 :

ユーザ：みんな美味しいセブンドーナツ食べよう

システム (1-best)：おいしいよ

システム (Re-ranking (Coherence))：チョコチップ食べたい

[ ドーナツが食べる, チップが食べたい]

上記の例では，一貫した事態ぺアを用いたリランキングにより，論理的な応答が選択されている.しかし表 11 からわかるように，そうではない例も多数存在する. 次に示す対話 7 のように，一貫していない事態ぺアが用いられている場合や，対話 8 のように，一貫した事態ぺアが
使用されていても応答が不自然である場合が多く見られた.

対話 7:

システム：行くぞ焼肉

ユーザ：行きたい....

システム (1-best)：いく

システム (Re-ranking (RFTM))：焼肉定食屋行こうぜ

[行きたい $($ カラオケが行く) $\rightarrow$ 屋が行く (温泉が行く)]

対話 8:

システム：はよ風邪なおそなおったら行こう

ユーザ：かれこれ 3 週間くらい風邪引いてる

システム (1-best)：お大事に

システム (Re-ranking (Coherence))：風邪治ってきたから

[風邪を引く, 風邪が治る]

対話 7 の因果関係は「温泉が行く」を「屋が行く」という事態と汎化することで得られており，過汎化を抑制する必要があることがわかる。対話 8 については，事態間の一貫性は向上しているものの，時間経過の結果現れる事態を選択した結果応答が不自然と判定された。

## 4.3 応答の対話行為の分類

対話行為とは, 応答の発話者の意図や, 応答の対話中における機能を意味する夕グである (Bunt et al. 2010, 2012). リランキングによる応答の対話行為の変化と人手評価值の相関を分析することで，リランキングにより対話における応答の機能レベルでの変化が生じたか，それによってどのように人手評価值が変化したかが明らかになる。 ここでは, ISO-24617-2 (Bunt et al. 2010, 2012）を拡張した対話行為タグセット (Yoshino et al. 2018) に基づき，各応答に最も当てはまる対話行為を付与した．表 12 に使用した対話行為タグセットを示す.

まず，リランキング前後で対話行為がどの程度変化するかを調査した結果を表 13 に示す。表 13 より, どのリランキング手法においても半数程度の応答の対話行為が変化していることがわかる.また，リランキングによって特定の対話行為が別の対話行為へと変化する傾向があるかを確認するため, リランキング前後の対話行為の混同行列より, クラメールの連関係数を算出した. 表 13 を見ると, 連関係数は全て 0.4 未満の值となっており, リランキング前後の対話行為の相関はあまり高くなく, リランキングによる対話行為の変化に強い傾向は存在しないことが確認できた．次に，対話行為が変化することにより，人手評価値が変化するかを分析した結果

 \\

表 12 対話行為タグセット

表 13 リランキング前後の対話行為の異なり数（各対話数 100）

を表 14-16に示す. 対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに合計が 1,000 となることに注意されたい，各表より，対話行為の変化と人手評価のクラメールの連関係数は全て 0.4 未満の値となっており，これらの相関はあまり高くないことがわかる。すなわち, 3.5 節の対話 1,2 のように応答の対話行為が変化したことによって人手評価が変化する事例は存在するものの，特定の対話行為が別の対話行為へと変化することによって人手評価値が大幅に向上，もしくは低下する傾向は確認されなかった.

## 5 おわりに

本論文では，対話モデルにより生成された $N$-best 応答を，連続する事態の一貫性に基づきリランキングする手法を提案した。リランキングの基準として, 述語項構造を用いた連続する事態の一貫性に着目し，一貫性のある事態ぺア，特に因果関係を持つ対話応答候補を選択するような手法を提案した。またこれを素性として用いて, Coherence Model によって対話履歴に対する一貫性を担保する手法を提案した，評価の結果，PMI などの自動評価指標において提案する手法は事態や単語レベルの一貫性が向上していることが示された。しかし人手評価においては，対話継続性は向上したものの，一貫性のスコアは低下するという一見して矛盾する結果と

 & 8 & 2 & 0 \\

表 14 リランキングによる対話行為の変化と人手評価 (Pairs); 評価指標列の数値は, 応答の対話行為がリランキングによって別の対話行為へと変化した場合に，人手評価において 1-best, neither, Re-ranking と評価された数を表す。；対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに合計が 1,000 となることに注意されたい.

 & 0 & 0 & 0 & 0 \\

表 15 リランキングによる対話行為の変化と人手評価 (RFTM); 評価指標列の数値は, 応答の対話行為がリランキングによって別の対話行為へと変化した場合に, 人手評価において 1-best, neither, Re-ranking と評価された数を表す。；対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに合計が 1,000 となることに注意されたい.

 & 0 & 0 & 0 & 0 & 0 \\

表 16 リランキングによる対話行為の変化と人手評価 (Coherence); 評価指標列の数値は, 応答の対話行為がリランキングによって別の対話行為へと変化した場合に，人手評価において 1-best, neither, Re-ranking と評価された数を表す。；対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに合計が 1,000 となることに注意されたい.

なった. この結果を説明するため相関分析や事例分析を行った結果，ユーザが評価する対話継続性と一貫性の間には必ずしも強い相関があるわけではないことが示され，事態ぺアの一貫性を考慮することが対話継続性の向上に寄与することが示唆された.

今後は対話継続性の向上に繋がる制約や状況についてより詳細に調査する. さらに，事態分散表現の改善や，一貫した対話中の事態を生成した上で応答生成を行う生成的アプローチについても検討していく.

## 謝 辞

本研究で使用した因果関係ぺアをご提供頂いた京都大学黒橋研究室の黒橋禎夫教授, 柴田知秀博士に感謝いたします。

本研究は JST さきがけ (JPMJPR165B) の支援を受けた.

本論文の内容の一部は, the First Workshop on NLP for Conversational AI で発表したものである (Tanaka et al. 2019).

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations (ICLR).

Bogdanova, D. and Foster, J. (2016). "This is How We Do it: Answer Reranking for Open-Domain How Questions with Paragraph Vectors and Minimal Feature Engineering." In Proceedings of the 15th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1290-1295.

Bohus, D. and Rudnicky, A. I. (2003). "RavenClaw: Dialog Management Using Hierarchical Task Decomposition and an Expectation Agenda." In Proceeedings of the 8th European Conference on Speech Communication and Technology (Eurospeech).

Bunt, H., Alexandersson, J., Carletta, J., Choe, J.-W., Fang, A. C., Hasida, K., Lee, K., Petukhova, V., Popescu-Belis, A., Romary, L., Soria, C., and Traum, D. (2010). "Towards an ISO Standard for Dialogue Act Annotation." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC), Valletta, Malta. European Language Resources Association (ELRA).

Bunt, H., Alexandersson, J., Choe, J.-W., Fang, A. C., Hasida, K., Petukhova, V., Popescu-Belis, A., and Traum, D. (2012). "ISO 24617-2: A Semantically-based Standard for Dialogue An-
notation." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC), pp. 430-437, Istanbul, Turkey. European Language Resources Association (ELRA).

Cervone, A., Stepanov, E., and Riccardi, G. (2018). "Coherence Models for Dialogue." In Proceedings of INTERSPEECH 2018 (INTERSPEECH), pp. 1011-1015.

Cho, K., Merrienboer, B. v., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734.

Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling." In Proceedings of the 28th Conference Neural Information Processing Systems, Deep Learning and Representation Learning Workshop (NIPS), pp. 1-9.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 18th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-occurrence Statistics." In Proceedings of the 2nd International Conference on Human Language Technology Research (HLT), pp. 138-145.

Fujita, M., Rzepka, R., and Araki, K. (2011). "Evaluation of Utterances Based on Causal Knowledge Retrieved from Blogs." In Proceedings of the 14th IASTED International Conference Artificial Intelligence and Soft Computing (ASC), pp. 294-299.

Gabriel, F., Pineau, J., Larchevêque, J.-M., and Tremblay, R. (2014). "Bootstrapping Dialog Systems with Word Embeddings." In NIPS, Modern Machine Learning and Natural Language Processing Workshop.

Jansen, P., Surdeanu, M., and Clark, P. (2014). "Discourse Complements Lexical Semantics for Non-factoid Answer Reranking." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 977-986.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of Human Language Technology Conference - North American Chapter of the Association for Computational Linguistics Annual Meeting (HLT-NAACL), pp. 176-183.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings
of the 3rd International Conference on Learning Representations (ICLR).

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 68-71.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of the 15th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 110-119.

Liu, C.-W., Lowe, R., Serban, I. V., Noseworthy, M., Charlin, L., and Pineau, J. (2016). "How NOT to Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2122-2132.

Luong, M.-T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-Based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1412-1421.

Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J. (2016). "Google's Neural Machine Translation System: Bridging the Gap Between Human and Machine Translation." In arXiv:1609.08144.

Mei, H., Bansal, M., and Walter, M. R. (2017). "Coherent Dialogue with Attention-Based Language Models." In Proceedings of the 31st Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 3252-3258.

Mikolov, T., Chen, K., Corrado, G., and Deany, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of the 1st International Conference on Learning Representations (ICLR).

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." In Proceedings of the 26th International Conference on Neural Information Processing Systems (NIPS), Vol. 2, pp. 3111-3119.

Mikolov, T., Yih, W.-t., and Zweig, G. (2013c). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of the 12th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 746-751.

Nakamura, R., Sudoh, K., Yoshino, K., and Nakamura, S. (2019). "Another Diversity-Promoting Objective Function for Neural Dialogue Generation." In Proceedings of the 33rd Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, Workshop on Reasoning and Learning for Human-Machine Dialogues (DEEP-DIAL 2019) (AAAI).

Newman, D., Lau, J. H., Grieser, K., and Baldwin, T. (2010). "Automatic Evaluation of Topic Coherence." In Proceedings of the 11th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), pp. 100-108.

佐藤祥多, 乾健太郎 (2018). 因果関係に基づくデータサンプリングを利用した雑談応答学習.言語処理学会第 24 回年次大会発表論文集 (ANLP), pp. 1219-1222. [S. Sato and K. Inui (2018). Inga Kankei ni Motozuku Deta Sanpuringu wo Riyo Shita Zatsudan Oto Gakushu. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 1219-1222.].

Oh, J.-H., Torisawa, K., Hashimoto, C., Iida, R., Tanaka, M., and Kloetzer, J. (2016). "A Semisupervised Learning Approach to Why-Question Answering." In Proceedings of the 30th Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 3022-3029.

Oh, J.-H., Torisawa, K., Hashimoto, C., Sano, M., Saeger, S. D., and Ohtake, K. (2013). "Why-Question Answering Using Intra- and Inter-Sentential Causal Relations." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1733-1743.

Oh, J.-H., Torisawa, K., Kruengkrai, C., Iida, R., and Kloetzer, J. (2017). "Multi-Column Convolutional Neural Networks with Causality-Attention for Why-Question Answering." In Proceedings of the 10th Association for Computing Machinery International Conference on Web Search and Data Mining (WSDM), pp. 415-424.

Ohmura, J. and Eskenazi, M. (2018). "Context-Aware Dialog Re-ranking for Task-Oriented Dialog Systems." In Proceedings of IEEE Spoken Language Technology Workshop (SLT).

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Ram, A., Prasad, R., Khatri, C., Venkatesh, A., Gabriel, R., Liu, Q., Nunn, J., Hedayatnia, B.,

Cheng, M., Nagar, A., King, E., Bland, K., Wartick, A., Pan, Y., Song, H., Jayadevan, S., Hwang, G., and Pettigrue, A. (2018). "Conversational AI: The Science Behind the Alexa Prize." In arXiv:1801.03604.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-Scale Lexicalized Case Frames." In Proceedings of the 5th International Joint Conference on Natural Language Processing (IJCNLP), pp. 758-766.

Serban, I. V., Sordoni, A., Bengio, Y., Courville, A., and Pineau, J. (2016). "Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models." In Proceedings of the 30th Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 3776-3783.

Shibata, T., Kohama, S., and Kurohashi, S. (2014). "A Large Scale Database of StronglyRelated Events in Japanese." In Proceedings of the 9th International Conference on Language Resources and Evalu ation (LREC), pp. 3283-3288.

Shibata, T. and Kurohashi, S. (2011). "Acquiring Strongly-Related Events Using PredicateArgument Co-occurring Statistics and Case Frames." In Proceedings of the 5th International Joint Conference on Natural Language Proce ssing (IJCNLP), pp. 1028-1036.

Sordoni, A., Bengio, Y., Vahabi, H., Lioma, C., Simonsen, J. G., and Nie, J.-Y. (2015). "A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion." In Proceedings of the 24th Association for Computing Machinery International Conference on Information Knowledge and Management (ACM), pp. 553-562.

Tanaka, S., Yoshino, K., Sudoh, K., and Nakamura, S. (2019). "Conversational Response Reranking Based on Event Causality and Role Factored Tensor Event Embedding." In Proceedings of the First Workshop on NLP for Conversational AI, pp. 51-59, Florence, Italy. Association for Computational Linguistics.

Vinyals, O. and Le, Q. V. (2015). "A Neural Conversational Model." In Proceedings of the 32nd International Conference on Machine Learning, Deep Learning Workshop (ICML).

Weber, N., Balasubramanian, N., and Chambers, N. (2018). "Event Representations with TensorBased Compositions." In Proceedings of the 32nd Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 4946-4953.

Xu, P., Saghir, H., Kang, J. S., Long, T., Bose, A. J., Cao, Y., and Cheung, J. C. K. (2019). "A Cross-Domain Transferable Neural Coherence Model." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 678-687.

Yoshino, K., Tanaka, H., Sugiyama, K., Kondo, M., and Nakamura, S. (2018). "Japanese Dialogue Corpus of Information Navigation and Attentive Listening Annotated with Extended

ISO-24617-2 Dialogue Act Tags." In Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC), pp. 2922-2927.

## 略歴

田中翔平：2018 年名古屋工業大学工学部工学創成プログラム学科卒業. 2020 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 2020 年より同大学院先端科学技術研究科博士後期課程に在学. 自然言語処理，特に対話システムや事態間関係に関する研究に従事. The First Workshop on NLP for Conversational AI Best Paper Award 受賞. 言語処理学会, ACL 各会員.

吉野幸一郎：2009 年慶應義塾大学環境情報学部卒業. 2011 年京都大学大学院情報学研究科修士課程修了. 2014 年同博士後期課程修了. 日本学術振興会特別研究員 (PD), 奈良先端科学技術大学院大学情報科学研究科助教を経て, 2020 年より理化学研究所ロボティクスプロジェクト知識獲得・対話チームチームリーダーおよび奈良先端科学技術大学院大学客員准教授. 京都大学博士（情報学)．音声言語処理および自然言語処理，特に音声対話システムに関する研究に従事. 2013 年度人工知能学会研究会優秀賞, 2018 年度本学会論文賞, NLP4ConvAI2019 Best Paper Award, IWSDS2020 Best Paper Award 等受賞. IEEE, SIGDIAL, ACL, 情報処理学会, 言語処理学会, 日本ロボット学会各会員.

須藤克仁：2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了. 同年日本電信電話（株）入社. 2015 年京都大学博士（情報学)。2017 年より奈良先端科学技術大学院大学准教授, 現在に至る。2018 年より理化学研究所革新知能統合研究センター客員研究員, 科学技術振興機構さきがけ研究者を兼務．機械翻訳を中心とする自然言語処理および音声言語処理の研究に従事. 言語処理学会, 情報処理学会, 日本音響学会, 人工知能学会, ACL 各会員.

中村哲：1981 年京都工芸繊維大学工芸学部電子工学科卒業. 京都大学博士 (工学)。シャープ株式会社. 1994 年奈良先端科学技術大学院大学助教授, 1996 年米国 Rutgers 大学客員教授 (文科省在外研究員)，2000 年 ATR 音声言語コミュニケーション研究所室長, 2005 年所長, 2006 年（独）情報通信研究機構音声コミユニケーション研究グループリーダ, 2010 年研究センター長, けいはんな研究所長などを経て, 2011 年奈良先端科学技術大学院大学情報科学研究科教授, 2017 年データ駆動型サイエンス創造センター長, 2017 年理化学研究所革新知能統合研究センター観光情報解析チームリーダー. 2003 年から

カールスルーエ大学客員教授. 音声翻訳, 音声対話などの音声言語情報処理,自然言語処理の研究に従事. 電子情報通信学会論文賞, AAMT 長尾賞, 日本音響学会技術開発賞, 人工知能学会研究会優秀賞, 情報処理学会喜安記念業績賞, 総務臣表彰, 文部科学大臣表彰, Antonio Zampoli 賞受賞, ドコモモバイルサイエンス賞, IBM Faculty Award, Google AI Focused Research Award 等受賞. ISCA 理事, IEEE SLTC 委員を歴任. ATR フェロー, 情報処理学会フェロー, IEEE フェロー. ISCA フェロー.


# 学会記事
## 理想のフレーズアラインメント手法を求めて

\author{
荒瀬由紀 $\dagger$
}

## 1 フレーズアラインメント問題

フレーズアラインメントとは，文対中に存在するフレーズ単位のパラフレーズの対応関係を特定する技術である。フレーズアラインメント技術の応用範囲は広く，単一言語内で用いればパラフレーズや含意関係の認識，機械読解，また自動採点に応用できる．多言語間で用いれば，機械翻訳における対訳知識抽出や翻訳品質推定に応用できる。

フレーズアラインメントにはフレーズとして任意の $n$-gram を用いるもの (e.g., (Ouyang and McKeown 2019)) と, 文の句構造に準拠した階層的なフレーズを用いるもの (e.g., (Burkett et al. 2010)）がある．チャンクベースの手法と階層的フレーズを用いる手法の利点・欠点は表裏一体の関係にある。チャンクベースのアラインメントの魅力は句構造に縛られない柔軟性である.特に多言語間でのフレーズアラインメントにおいては, 各言語における句構造が異なることも珍しくない。チャンクベースの手法はアラインメントが取れる部分フレーズを抽出するため,句構造によってアラインメントが阻害される心配がない。その反面，抽出されるフレーズに文法的制約がないため， eating an <-> who is eating theのように応用において有益とは言い難いフレーズアラインメントが多数抽出されることになる。一方，階層的なフレーズアラインメントでは，抽出されるフレーズアラインメントは文法的な句であるため, a girl eating an apple <-> a lady who is eating the appleのようなアラインメントが獲得でき, かつアラインメントから文法構造を用いて a NP eating NP <-> a NP who is eating NP のようなルールを容易に抽出できる。また構文構造は様々な応用タスクで利用されるが (e.g., (Socher et al. 2013) や (Tai et al. 2015)), そのようなモデルとも相性が良い. 反面，アラインメントが句構造によって制限されるため, a little girl holding a tabby cat with a long tail とa tabby cat in the arms of a young girl has a long tailのように句構造が異なるフレー ズをアラインメントする際に，柔軟性を維持するための工夫が必要になる（そしてそれは簡単でない).

## 2 Compositional Phrase Alignment and Beyond

我々の論文 (Arase and Tsujii 2020) では, 句構造に準拠した階層的なフレーズのアラインメント技術を提案している。句構造に準拠したフレーズアラインメント問題について，もう少し整理する。フレーズアラインメントは一般的に，compositional に生成される。つまり構文木において，(1)あるノード対のアラインメントは，それぞれの子（もしくは子孫）ノードのアラインメントによって決まる。ただし，（2）アラインする子ノードの順序はそれぞれの文（木構造）で一致するとは限らない。また，(3) アラインメントを持たないケースも存在する。さらに compositionality の制約を外れ, 長距離のフレーズ移動が起こるケースが存在することが指摘されてきた (Heilman and Smith 2010).

図 1 にフレーズアラインメントの例を示す。木構造がそれぞれの文の句構造を表し，各ノー ドがフレーズに対応する。 以降では便宜上, 肩付きの $s, t$ はそれぞれアラインメントの source, target を示す. 色の対応がフレーズアラインメントを示し，無色のノードはアラインメントを持たないことを示す. 例えば, オレンジのノード対 $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$ は antivirus vaccines <-> vaccines against the virus というフレーズペアがパラフレーズであることを示しており，その親ノー ドである緑のノード対 $\left.\langle\tau_{2}^{s}, \tau_{2}^{t}\right.\rangle$ は子ノードであるオレンジ $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$, 水色 $\left.\langle\tau_{5}^{s}, \tau_{5}^{t}\right.\rangle$ それぞれのノー ドのアラインメントによって compositional に構成されている. オレンジのノードペア $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$ について, 左右の子のアラインメント $\left.\langle\tau_{6}^{s}, \tau_{6}^{t}\right.\rangle,\left.\langle\tau_{7}^{s}, \tau_{7}^{t}\right.\rangle$ は逆順になっている（(2)の特性).一方で, 青色のアラインメント $\left.\langle\tau_{1}^{s}, \tau_{1}^{t}\right.\rangle$ は緑のアラインメント $\left.\langle\tau_{2}^{s}, \tau_{2}^{t}\right.\rangle$ に対し compositionality を満たさない．なぜなら， $\tau_{1}^{t}$ と $\tau_{2}^{t}$ は兄弟であるのに対し， $\tau_{1}^{s}$ と $\tau_{2}^{s}$ は兄弟でない. つまり， $\tau_{1}^{s}$ は $\tau_{2}^{s}$ の親ノードの支配するスパンの外側に位置している。このように composionality を満た

図 1 フレーズアラインメントの例

さないフレーズアラインメントは曲者で, 子ノードのアラインメントからアラインメント先を絞り达むことができないため，文全体から対応するフレーズを探す必要がある.

本論文は，このようなフレーズアラインメント問題に真正面から取り組んたもので，二つの貢献を持つ。一つ目は, compositional なフレーズアラインメント問題を定式化し, 無順序木に対する編集距離の一種である制限距離 (Zhang 1996) アルゴリズムを用いることで，フレー ズアラインメントの最適な組み合わせを多項式時間で求める手法を提案した点である。二つ目は，フレーズ間の類似度推定の鍵となる，フレーズ表現手法を提案した点である。上述の通り， compositionality を満たさないフレーズアラインメントにおいては, 文全体からアラインメン卜候補を探す必要がある。この問題のユニークさは, フレーズのアラインメントの尤もらしさは，対象とするフレーズペアの類似度だけでは決められない点にある。つまり，あるフレーズ $\tau_{i}^{s}$ が $\tau_{i}^{t}$ と高い類似度を持っていたとしても， $\tau_{i}^{t}$ により高い類似度をもつぺア $\tau_{j}^{s}$ があれば，アラインメント $\left.\langle\tau_{i}^{s}, \tau_{i}^{t}\right.\rangle$ は成立しない。そこでそれぞれの文対に含まれる単語間類似度の分布により文全体のグローバルな類似度の分布を近似し, 事前学習済みモデルである BERT (Devlin et al. 2019) から獲得するフレーズ表現に反映するアプローチを用いた。文全体での類似度の分布を反映したフレーズ表現によってフレーズ間の類似度を求め, compositionality を満たさないフレーズアラインメントをヒューリスティックによって特定するよう, 制限距離アルゴリズムを拡張している.

フレーズアラインメントは主観的な意味の一致度合いに基づいて決まるものであり，訓練された人間であっても，複数人で $100 \%$ 一致するアライメントを行うのは難しい. 提案手法は人間によるアラインメントの一致と比較して, $95.7 \%$ という高い性能を示している.

本論文で構築した， 1,916 のパラフレーズ文対に構文木およびフレーズアラインメントのアノテーションを行ったデータセット (Extended Syntactic Phrase Alignment DAtaset (ESPADA)) が Linguistic Data Consortium より 2021 年初にリリース予定である。評価用データセットである Syntactic Phrase Alignment Dataset for Evaluation (SPADE) 1 と合わせて利用することで,教師あり学習モデルの訓練および評価が行えるようになっている.

## 3 論文ができるまで

本フレーズアラインメント手法の原型は 2017 年に発表しており (Arase and Tsujii 2017), 今回はその発展形である。その顛末について, ここで少しお話ししたい.
^{1}$ https://catalog.ldc.upenn.edu/LDC2018T09
}

## 3.1 既存手法ともやもや

2017 年版の手法は CKY アルゴリズムをベースとしてボトムアップに compositional なフレー ズアラインメントを特定するものであった．動的計画法を用いているとはいえ，どのフレーズともアラインメントしないケース (2 章で述べた (3)) を許容するのと, compoitilonality を満たさないものについては CKYテーブルを遡ってアラインメントを許容するか否かを決定するという機構のため，アライメント候補も計算量も増えてしまう，そのため実用的な時間でフレーズアラインメントを得るには, $n$-best のアラインメントのみ保持するよう近似する必要があった.

しかし，である。「最適なアラインメントの組み合わせを実時間で求めるアルゴリズムは本当にないのか？」というもやもやが頭から離れない，ありそうな気がする．正確には，この種の問題を研究する分野がありそうな気がする。しかし答えに辿り着けないまま, 2 年の歳月が過ぎた.

## 3.2 ブレイクスルー

この間, 私は ACT-I プログラム2にて, フレーズアラインメントを応用した BERTによる表現生成研究に取り組むことになる．ACT-Iには様々な分野の若手研究者が参画しており，領域会議が年に数回開催される。異分野の研究者とざっくばらんに議論ができる, 稀有な機会である.

BERT による表現生成研究がひと段落した (Arase and Tsujii 2019) 最終年度のとある領域会議で, 積年の疑問をぶつけてみた。「二つの木構造におけるノード間の対応候補から, 最適な組み合わせを得るアルゴリズムはないでしょうか？」と．するとNTTコミュニケーション科学基礎研究所の石畠正和さん, 東京大学の大城泰平さんから意見をいただけたのである。両者とも離散構造処理のエキスパートという心強い味方だ.

良い知らせと悪い知らせが一緒にやってきた，良い知らせは, この問題は木編集距離の一種であり，フレーズアラインメントの条件の一つである，子ノードの順序を制限しない（2 章で述べた (2)）ケースは無順序木の編集距離に該当する，というものである。悪い知らせは，無順序木の編集距離は近似解すら存在しない MAX SNP-hard に属する，というものであった.

ずっともやもやしていた問題の正体が分かった高揚感と，近似解すら存在しないという絶望感を抱えながら家路についた，大学に戻り，改めて無順序木における編集距離問題について調査してみた。その結果，制約を加えた無順序木編集距離である制限距離は多項式時間可解であり，そしてその制約はフレーズアラインメントの条件（2 章で述べた (1)）と自然に一致することが分かったのである.

制限距離アルゴリズムを用いることで，2017 年の手法を大きく上回るフレーズアラインメント性能を達成することができた。Compositional なアラインメントについて最適な組み合わせ
^{2}$ https://www.jst.go.jp/kisoken/act-i/index.html
}

を求められるという性能保証は応用においても重要であり, 何より気持ちがいい.

## 4 今後の展開

文対に含まれるフレーズのパラフレーズ関係を特定するフレーズアラインメントは，意味関係のモデル化を可能とする技術であり，1 章で述べたように自動採点や機械翻訳の品質推定など様々な応用を持つ．文中に含まれるパラフレーズ関係を明示的に特定するため，人間にとって解釈が容易という利点もある。

今後は開発したフレーズアラインメント技術をこれら応用タスクに適用する予定である。自動採点のように，パラフレーズとなるフレーズが僅かしか存在しないと考えられるタスクでフレーズアラインメントを用いるには，フレーズ間の類似度推定の重要度が増すと考えられ，更なる改善が必要である。また機械翻訳の品質推定のように言語をまたぐタスクに適用するには,句構造の違いにロバストなアラインメントを実現しなければならない. 木でなく森のアラインメントを実現する, さらには構文解析器に依存しないチャンクでのアラインメントを可能とするよう，手法の拡張に取り組んでいきたい.

## 参考文献

Arase, Y. and Tsujii, J. (2017). "Monolingual Phrase Alignment on Parse Forests." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1-11.

Arase, Y. and Tsujii, J. (2019). "Transfer Fine-Tuning: A BERT Case Study." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5392-5403.

Arase, Y. and Tsujii, J. (2020). "Compositional Phrase Alignment and Beyond." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, Online.

Burkett, D., Blitzer, J., and Klein, D. (2010). "Joint Parsing and Alignment with Weakly Synchronized Grammars." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 127-135, Los Angeles, California. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics:

Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Heilman, M. and Smith, N. A. (2010). "Tree Edit Models for Recognizing Textual Entailments, Paraphrases, and Answers to Questions." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1011-1019.

Ouyang, J. and McKeown, K. (2019). "Neural Network Alignment for Sentential Paraphrases." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4724-4735.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1631-1642.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the Joint Conference of the Annual Meeting of the Association for Computational Linguistics and the International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 1556-1566.

Zhang, K. (1996). "A Constrained Edit Distance between Unordered Labeled Trees." Algorithmica, 15 (3), pp. 205-222.

## 略歴

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)．同年, Microsoft Research Asia に入社, 自然言語処理に関す石研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現抽出, 機械翻訳技術, 対話システ么研究に興味を持つ.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 不要文削除によるデータ拡張に関する研究

大内 智仁 ${ }^{\dagger} \cdot$ 田伏 正佳 ${ }^{\dagger}$
}

近年インターネット上の情報量は指数関数的に増加している。そのため, 自動要約 システム技術は必要不可欠なものとなってくると思われる。自動要約システムを構築するには要約コーパスが必要となる。しかし, 多量の要約コーパスを作成するに は人手が必要となりコストがかかってしまう. そこで, 本研究では自動要約システ ムにおけるデータ拡張として, 記事に対して, 最も重要度の低い文を除去する手法 を提案する。本研究では, Pointer-Generator モデルにおいて提案手法の効果を検証 した. また, 本研究の比較対象として, 文書分類において用いられたデータ拡張手法である EDA (Easy Data Augmentation Techniques) や，Luhn， LexRankを用い た手法で実験を行った．Pointer-Generator モデルで用いたコーパスは CNN/Daily Mail dataset であり, トータルで, 287,226 記事存在する. 本研究では, 287,226 記事の他に，57,000 記事， 28,000 記事において比較実験した。結果は, EDA や Luhn, LexRankを用いた手法では拡張せずに元の記事だけで学習する手法 (拡張なし手法) よりも悪くなることがあったが, 提案手法は全ての記事数において拡張なし手法よ りも良い結果となった。

キーワード：自動要約, data augmentation, Pointer-Generator モデル, EDA
## The Effectiveness of Data Augmentation by Removing Unimportant sentence

\author{
Tomohito OuChI ${ }^{\dagger}$ and Masayoshi TaBuse ${ }^{\dagger}$
}

In recent years the amount of information on the Internet has increased exponentially. Consequently, automatic article summarisation technology will be indispensable. In this study, we propose a data augmentation method for an automatic summarisation system. The proposed method removes the least important sentence in an article. We used a topic model to determine the importance of sentences in articles. The Luhn and LexRank methods were used as comparative methods for determining the importance of sentences in articles. Additionally, we used Easy Data Augmentation (EDA) techniques as the comparison method for this study. EDA is a data augmentation method applied to document classification. A comparative experiment was performed using input datasets with 28,000, 57,000, and 287,226 articles. The Luhn and LexRank methods always produced the worst results, while EDA sometimes performed worse than the baseline method without a data augmentation. The proposed

method performed the best in all cases.

Key Words: Automatic Summarization, Data Augmentation, Pointer-Generator Model, $E D A$

## 1 はじめに

近年，全世界のインターネット上の情報量は指数関数的に増加しており (Reinsel et al. 2020), 2010 年から 2024 年まで年平均 $29 \%$ で成長し, 2024 年には 143ZB に達すると予想されている. また，テキストデータに関しても，2018 年の全世界の Web サイト数は 16 億程度であったのに対して 2021 年現在においては 18 億程度 (Internet Live Stats 2021) と， 3 年で 2 億程度増えていることからこれからもどんどん増えていくことが予想される。このような状況のなかで，インターネットの情報を取捨選択する必要性は高まっており, 自動要約の技術が必須となってくる。しかし，実用段階に至っている自動要約システムの多くが，元の文章から要約文を抽出するだけに終わっている。これは抽出型要約といわれており，問題点として，指示語の指す情報の不明確さ，不必要な接続詞の存在，文同士の不自然なつながりなどがあげられる．しかし，抽出型要約システムによっては，要約をする元の文章だけで学習できる場合があり, 必ずしも要約の文章が必要とならないことがある。その場合，抽出型要約は，デー夕整備のコストはあまりかからない。一方で, 抽出型要約に対して生成型要約というものがある. 生成型要約の多くは, Encoder-Decoder モデルを基本として作られている。この方法でシステムを作る際，学習には，要約をする元の文章と要約の文章のペアが多く必要となる，さらに，例えば，日本語の論文の要約システムを作るとすれば，日本語の論文とその要約文のデータセットが必要となる. このシステムの学習に，ニュース記事の要約データセットを用いることはできない。 なぜなら，文章の体裁が全く違うからである。このように，特定のドメイン・言語で大規模データセットを作るのは困難である。本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムに焦点を当て，学習のためのデータセットに対してデータ拡張の効果を検証した。まず, Encoderで，入力文章を固定長のベクトルに変換し, Decoderでその固定長のべクトルから，一単語ずつ生成していく，生成する際には，一単語ずつ，学習に使った語彙の中から選んで要約を作る。初期のころは，Decoder 側で使われる語彙集合から，単語を選んでいたが，のちに， Copy Mechanism (Gu et al. 2016) が提案され, Encoder 側の単語をコピーして生成する機構が提案された。これによって，特定の文章にしかでてこない単語（固有名詞など）を生成することを可能にした。また，生成された要約文に同じフレーズが繰り返される問題を解決するために Coverage Mechanism (Tu et al. 2016)が提案された. 本研究では, データ拡張の検証としてこの Copy Mechanism と Coverage Mechanism を組み合わせた Pointer-Generator モデル (See et al. 2017）を使用した，学習のためのデータセットとして，日本語では, Livedoor News を用いた三
行要約がある (小平 2018) が, 本研究では, 様々な長さの文章に対して複数の要約文を生成する要約システムでのデータ拡張の検証を目指しており，採用しなかった．また，出力長制御を考慮した見出し生成モデルのための大規模コーパス (JNC, JAMUL) (人見他 2019) では, 見出し生成を目的としており，これも採用しなかった．英語では，CNN/Daily Mail Dataset (Hermann et al. 2015) や, Cornell Newsroom (Grusky et al. 2018), Gigaword (Napoles et al. 2012)などのデータセットが整備されている。このデータセットは, 人手の要約が付いており, 様々な長さの要約をする文章があり, 複数文要約にもなっている。 そこで, 本研究では, データセットとして CNN/Daily Mail Dataset を用い，少ないデータでもデータ拡張することで効果的に自動要約システムを作ることができないかということに着目した. 既存の自然言語処理におけるデー 夕拡張手法を以下に示す。

1. 同義語・類義語で置き換える

2. 類似度を計算して置き換える

3. 反意語で置き換える

4. 文章内の語と語を入れ替える

5. ランダムに削除する

6. Back Translation を用いて文章を水増しする

本研究においてデータ拡張の比較対象として用いた EDA(Easy Data Augmentation Techniques) (Wei and Zou 2019)は， 1 と 4 と 5 に該当する．2の類似度を計算するには，教師なしクラスタリングや単語埋め込み行列などを使う。単語埋め込み行列には, word2vec (Mikolov et al. 2013), GloVe (Pennington et al. 2014), fastText (Bojanowski et al. 2017) などがある. 6 の Back Translation (Edunov et al. 2018)は，機械翻訳におけるデータ拡張手法である。しかし，いずれの手法も文書分類システムや機械翻訳システムで効果が確かめられているだけであり，自動要約システムでは効果を検証されていない。一方, 画像処理分野では, 少ないデータでも効果的に画像処理ができるデー夕拡張の方法がある。具体的には，以下の 9 つがある．

1. 水平・垂直方向に画像をシフトする

2. 水平方向・垂直方向に画像を反転させる

3. 回転させる（回転角度はランダムの場合あり）

4. 明度を変える

5. ズームインする・ズームアウトする

6. 画像の一部をくり抜く, 削除する

7. 背景色を変える

8. 背景を置き換える

9. Mixup $\cdot$ CutMix

ここで説明する Mixup と CutMix では，カテゴリを表すラベルを 1 （あり）か 0 （なし）で

はなく，連続量で表す，例えば，犬であるかないか（1 か $0 ）$ ではなく，犬である可能性が高い （例えば，0.8）という風に表す. Mixupは，二枚の画像とラべルを組み合わせて一つのデータに合成する (Zhang et al. 2018). 例えば，犬 0.4 猫 0.6 といったラベルの画像は各画素値を犬 0.4 猫 0.6 の比率で合成した画像になる. CutMix は，複数の画像の一部を切り取ってつなぎ合わせて 1 枚の入力画像にするデー夕拡張である (Yun et al. 2019). ラベルの表し方は，合成した画像中のそれぞれのラベルの付いた画像の面積比となる。例えば，犬と猫の面積比が $1: 3$ であるならば，犬 0.25 猫 0.75 というラベルとなる. Mixup や CutMix 以外の手法では，元画像だけでデータ拡張が行える。我々は，これらの手法の内，背景を置き換えるという拡張手法に着目し， データ拡張手法を提案する，具体的には，要約する文章において，不要文を取り除き，文章の大意を損なわない拡張文章を作ることでデータ拡張を行う.

## 2 関連研究

自動要約システムに関連する研究は, 大別して抽出型要約と生成型要約の二つの種類がある.以下の三つの節でそれぞれの要約とデータ拡張の関連研究について説明する。

## 2.1 抽出型要約

一つ目は, 抽出型要約である。これは, 要約元の文章から重要な部分を抽出して行う要約で,文単位のものから，フレーズ，単語単位まである，複数文書要約においては，同じような内容の部分を抽出しないように，㔯長性を考慮した要約にする必要がある。抽出型要約でよく使われる手法としては, Graph Base 手法と Feature Base 手法, Topic Base 手法などがある.

Graph Base 手法でよく用いられるアルゴリズムとしてTextRank (Mihalcea and Tarau 2004) が挙げられる。これは, Google 検索で用いられている PageRank 手法 (Page et al. 1998)をもとに，自然言語に適用したものである.

PageRankでは，あるぺージが人気の高いぺージから多くリンクされていればいるほどそのページは重要度が高いとしている。TextRankは相互に関連度の高い語句は重要度が高いという仮定に基づき語句を選択する手法である。この TextRankの派生に LexRank (Erkan and Radev 2004)がある. 本研究において提案手法に対する比較手法として LexRankを用いたデー夕拡張を行う. 以降, この比較手法を DA-LexRank と呼ぶ (このDA は Data Augmentation からとった).

Feature Base 手法は, 文の特徴を定義して，その特徴による重みづけを行うことで文選択を行うものである。本研究では, 単語の位置と頻度の情報を元に文の重要度を測る手法 (Luhn 1958) を用いてデータ拡張を行い提案手法に対する比較手法とする. 以降，この比較手法を DA-Luhn と呼ぶ.

Topic Base 手法は, トピックモデル (Blei et al. 2003) を用いて, 各文においてトピックの出
現確率が高いものから文を選択するという手法である。文におけるトピック分布は，文においてTF-IDF 値を求め，それから，トピック分布の事前分布であるディリクレ分布を推定することで得られる. 本研究では, 重松らの研究 (重松, 小林 2012 )をもとにトピックモデルを用いて文の重要度を決めた。

## 2.2 生成型要約

二つ目は, 生成型要約である。これは, 要約元の文章と要約の対応関係を学習させ, 未知の文章が入力されたときに，要約を生成するというものである。ここで，生成するというのは，入力文章から文, フレーズ，単語を抽出するのではなく，一から要約を生成するというものである. 生成の仕方は, 生成確率の高い単語をひとつずつ選んでいき, 文章の終わりを示すトークンが選ばれたときに，生成を終了するというものである．抽出型要約に比べて自然な文が生成される可能性が高いが，二つの課題がある.

一つ目の課題は, 要約元の文章と要約のペアになったデータ作成の困難さである。要約元の文章だけなら用意できるが，要約は，人による介入が必要となりコストがかかってしまう，人によっても要約の仕方は変わり，また，どれくらいの長さにするかも変わってくる，そのため，厳密にデータを作ろうとすると, 要約の基準を定めなければならない. また, 機械翻訳では, 翻訳元の文数と翻訳先の文数は等しくなるが, 自動要約では, 要約の文数に対して, 要約元の文数はその数倍の量になることが多い。したがって, できるかぎり少ないデータで効率よく自動要約システムを作ることが求められる.

二つ目の課題は，自動要約タスクの定義の曖昧性である。機械翻訳においては，入力された文の内容を過不足なく翻訳することがタスクの定義の正解として設定できるが, 自動要約に関しては, どの程度要約するのがタスクの定義の正解なのかはタスクの目的による. 実用段階となると, そのタスクで求められている程度の要約ができればいいということになる。このように, タスクによって求められる正解が変わってくるという意味で，デー夕作成の困難さがある。 その難しさから, 生成型要約の研究が始まった当初は, ニュース記事の 1 文目を入力してタイトルを生成するというタスクに限定して研究が行われた。このタスクは通称見出し生成タスクと呼ばれる. また, Encoder-Decoder モデルを初めて導入した論文に ABS (Attention Based Summarization) がある (Rush et al. 2015). これを皮切りに，深層学習を用いた自動要約システムの研究が盛んになった。そして，2017 年には， CNN/Daily Mail Dataset を用いた Pointer-Generator モデル (See, Liu, and Manning 2017) が開発された. 今までは, Encoder-Decoder モデルに Attention モデルを加えたものが主流であったが, 記事特有の固有名詞などがうまく生成できないという問題があった。そこで, Encoder 側の単語をコピーするか, Decoder 側の語彙から選ぶかを確率で決めるという Copy Mechanism が開発された (Gu et al. 2016). しかし, このメカニズムで生成された要約は, 同じフレーズを繰り返してしまうという問題があった。これを解決するため

に，以前選ばれた単語を選ばれにくくする Coverage Mechanism (Tu et al. 2016) というものが開発された。

## 2.3 既存のデータ拡張手法

自然言語処理におけるデータ拡張に関する研究はいくつかある。多くは，文書分類に適用したもので，そのうちの一つが EDA (Wei and Zou 2019)である. また，機械翻訳におけるデータ拡張手法として, Back Translation (Edunov et al. 2018) がある. Back Translation とは, まず,入力ソースと出力ソースのデータから，翻訳モデルと逆翻訳モデルを作る．次に，入力ソースが存在しない出力ソースから，逆翻訳モデルで，入力ソース（疑似データ）を作るというものである。したがって, 本来のデータに加えて, 逆翻訳した入力ソースと出力ソースができ, データ拡張を行うものである. Edunov らの研究 (Edunov et al. 2018) によって機械翻訳のベンチマー クを大幅に更新したことが確認された。

## 3 データ拡張

この章では，本研究において用いたデー夕拡張について説明する．3.1節では，本研究で提案した手法を， 3.2 節では，それに対して比較する対象の手法を説明する。

## 3.1 提案手法

## 3.1.1 トピックモデル

潜在的意味解析は文書のもつ話題や分野など「潜在的な意味カテゴリ」を解析する手法 (Blei et al. 2003) である. この「潜在的な意味カテゴリ」を潜在的なトピック，または単にトピックと呼び，文書内の複数の単語の共起性によって創発されると考える，トピックモデルは，文書に隠れた潜在的なトピックを推定するモデルである。特に LDA (Latent Dirichlet Allocation) は,一つの文書に複数の潜在的なトピックが存在すると仮定し，そのトピック分布をディリクレ分布としてモデル化する，単語などを表層的と表現するならば，トピックは，単語と違って表面には現れないので潜在的と表現できる。潜在的なトピック分布にディリクレ分布を仮定することから，潜在的ディリクレ配分法と呼ばれる。

例えば，「貴景勝実戦稽古再開カド番で臨む 7 月場所自分の攻めを意識」という文があったとする．人はこの文を見て相撲に関する文書であることを理解できる．文書中に相撲という言葉は出てこないにもかかわらずである. よって, 単語は単に存在しているのではなく,潜在的なトピックから生成され，それぞれの文書はその文書がもつ複数のトピックに応じて出現しやすい単語集合で構成されていると考える.

## 3.1.2 文の重要度の決め方

トピックモデルを用いた文の重要度の決め方は, 重松らの研究 (重松, 小林 2012)を参考にした. 今回用いたトピックモデルには，LDA 手法を用いた。また，本研究で用いたモジュールは gensim のバージョン 3.7 .3 を利用した. トピックモデルは, 一つの文書が複数のトピックからなることを仮定した言語モデルの一つである。また，それぞれのトピックは出現単語分布を持つ. 文 $s$ の重要度 $i_{s}$ の決め方は次のようになる.

1. 文を構成している単語 $w$ のトピック $t$ における出現確率 $p(w \mid t)$ と文 $s$ におけるトピック $\mathrm{t}$ の出現確率 $q(t \mid s)$ の積を算出

2. 文を構成している全ての単語 $W$ で総和

3. 文長の平方根 $\sqrt{|s|}$ で割る

4. 全てのトピック $T$ において総和する

式で表すと以下の通りとなる.

$
i_{s}=\sum_{t \in T} \sum_{w \in W} \frac{p(w \mid t) q(t \mid s)}{\sqrt{|s|}}
$

この手法は，文を構成している主要なトピックにおいて出現確率の高い単語が多く含まれているときにスコアが高くなる.

## 3.1.3 処理の手順

我々は，画像処理におけるデータ拡張の考え方をもとに，文章から不要文を削除するデータ拡張の方法を用いてデータ拡張の効果を検証した。画像処理におけるデータ拡張の一種である 「背景の差し替え」における背景を，自動要約システムにおける入力文章の不要な部分に置き換え，入力文章から不要な部分を取り除いたものを新たな入力文章とした。 入力文章から不要文を取り除くことは，画像処理における背景の除去（無背景に置き換えること）に対応する．他の背景に置き換える，つまり不要文を他の文に置き換えることは，今後の課題として検討するべきである。また，この方法で生成される拡張デー夕は，不要文を除くだけなので意味的に破綻した文章が生み出される可能性は少ないといえる。本研究の提案手法は, 具体的に, 以下の手順をとる.

1. 英語の Wikipedia のデータからトピックモデルを作る. Wikipedia のデータを選んた理由は多くの項目を解説しており，内容に偏りが少ないためである，今回の実験では，卜ピック数を 100 と設定し， 20 文書以上かつ全記事（287,226 記事）の 1 割以下の文書で使われた語に限定した，トピック数を決める際に Chang らの研究 (Chang et al. 2009)を参考にした. この研究では, Wikipedia においてトピック数を $50,100,150$ とおき LDA 手法を含む三つの手法で実験している．LDA 手法においてはトピック数が 150 のときが

図 1 提案手法の疑似コード

最もパフォーマンスが高かった. しかし， 150 で実験すると各文が持つトピックの重なりが少なくなり, 各文の重要度がうまく計算できないと思われたため本研究ではトピック数を 100 に減らした.

2. 1. で作成したトピックモデルを用いて，各文章 $\mathrm{S}$ における各文 $\mathrm{s}$ の重要度 $i_{s}$ をスコアとして算出する

3. 重要度 $i_{s}$ の最も低い文を取り除き，拡張データ $\mathrm{E}$ とするアルゴリズムを図示すると, 図 1 のようになる.

## 3.2 比較手法

本研究では, 提案手法の比較対象として, EDA (Wei and Zou 2019) と, Feature Base 手法である，単語の位置と頻度の情報を元に文の重要度を測る手法 (Luhn 1958)を用いたデー夕拡張手法 (DA-Luhn) と, Graph Base 手法である LexRank を用いたデータ拡張手法 (DA-LexRank) を用いた。以下では, EDAと，DA-Luhn, DA-LexRankについて説明する.

## 3.2.1 EDA

EDA は極性分類やレビュー推定などの文書分類におけるタスクにおいて，データ拡張を行った方法である，中間べクトルにノイズを加えるなどのデータ拡張ではなく，記事自体を変えるデータ拡張として，EDAを比較手法として選んた。拡張手法の概要は以下となる。

(1) Synonym Replacement (SR)

ある単語を同義語に置き換える

(2) Random Insertion (RI)

ある単語の同義語を記事のランダムな位置に挿入する

(3) Random Swap (RS)

ランダムな二つの単語を入れ替える

(4) Random Deletion (RD) ランダムな単語を削除する

EDA では，上記の四つの手法を行う頻度を記事に使われている延べの単語数にハイパーパラメータ $\alpha$ を掛けて求めている. この研究では, 訓練記事数が 5,000 以上だと $\alpha$ の值は 0.1 に設定しているので本研究でもそれに倣った。また, EDAの論文 (Wei and Zou 2019)によると，一つの記事に対する拡張する記事の数を 4 にしたときが最も良い結果が出たということで，本研究でもそれに倣った. EDAを Pointer-Generator モデル (See et al. 2017)に適用して，提案手法との比較検討を行った. 本研究では, $\mathrm{EDA} の$ 各手法 (SR, RI, RS, RD) と, 文章ごとに各手法をランダムに選択した手法（以降,この手法を EDA と呼ぶ）を比較手法とした.

## 3.2.2 DA-Luhn

単語の位置と頻度の情報を元に文の重要度を測る手法 (Luhn 1958)では，まず，対象とする文章のうち, ストップワードでない頻出単語のトップ 100 単語を重要単語とし, 重要単語の文章中の位置を調べる。次に，重要単語同士の距離が 4 以下のものを一つのクラスタとしてクラスタリングする。そして, クラスタ内の重要単語数の二乗の値を, クラスタの最初の単語と最後の単語の距離で割った値を，そのクラスタのスコアとする。最終的に各クラスタのスコアの最大値がその文のスコアになる。そのスコアを用いて，不要文（最小スコアの文）を除去するデータ拡張手法がDA-Luhn となる。

## 3.2.3 DA-LexRank

LexRankは，多くの文と類似する文や重要な文と類似する文は重要な文と考え，文章同士の TF-IDF ゙クトルのコサイン類似度から遷移確率行列を求め, 遷移確率行列に滞在確率ベクトルをかけたものが滞在確率べクトルになるような滞在確率べクトルを求める.このときの滞在確率ベクトルが文の重要度となる。そして, 文の重要度を用いて, 不要文（最小スコアの文）を除去するデータ拡張手法が DA-LexRank となる。今回の実験では，コサイン類似度が 0.1 以上のものは全て 1 とし, 更新前の滞在確率べクトルと更新後の滞在確率べクトルの差のノルムが 0.1 以下になったときを収束条件とした.

## 4 Pointer-Generator モデル

この章では, 本研究において使用した自動要約システムである Pointer-Generator モデル (See et al. 2017) について説明する。そのために必要な知識として, Encoder-Decoder モデル, Attention モデルについても説明する.

## 4.1 Encoder-Decoder+Attention モデル

図 2 が LSTM Encoder-Decoder+Attention モデルの概要図になる．ＳTM (Long Short Term Memory) は (Hochreiter and Schmidhuber 1997)を参照されたい.

$\boldsymbol{x}(\tau)$ は $\tau$ 番目の単語を指す. Encoder は, $T$ 個の単語から成り立っており, Decoder 側で $\mathrm{t}$ 番目の単語の隠れべクトル $h_{d e c}(t)$ を算出する場合を表している. $h_{d e c}(t)$ の算出の仕方は, 以下の式による.

$
\boldsymbol{h}_{\boldsymbol{d e c}}(t)=f\left(\boldsymbol{h}_{\boldsymbol{d e c}}(t-1), \boldsymbol{y}(t-1), \boldsymbol{c}(t)\right)
$

$\boldsymbol{c}(t)$ は以下の式によって求められる.

$
\boldsymbol{c}(t)=\sum_{\tau=1}^{T} \boldsymbol{\alpha}_{\tau}(t) \boldsymbol{h}_{\boldsymbol{d e c}}(\tau)
$

つまり，この $\boldsymbol{\alpha}_{\tau}(t)$ が， Encoder 側のそれぞれの単語をどれくらいデコーダー側に伝えるかの割合を表している.

$
w_{\tau}(t)=f\left(\boldsymbol{h}_{\boldsymbol{d e c}}(t-1), \boldsymbol{h}_{\text {enc }}(\tau)\right)
$

なる $w_{\tau}(t)$ を用いて,

$
\alpha_{\tau}(t)=\frac{\exp \left(w_{\tau}(t)\right)}{\sum_{\rho=1}^{T} \exp \left(w_{\rho}(t)\right)}=\operatorname{softmax}\left(w_{\tau}(t)\right)
$

と表される. この $w_{\tau}(t)$ が最適化されるべきパラメータである.

図 2 LSTM Encoder-Decoder+Attention モデルの概要図

## 4.2 Pointer-Generator モデル

Pointer-Generator モデルについて説明する．Pointer-Generator モデルは Encoder-Decoder + Attention モデルに, Copy Mechanism と CoverageMechanism を追加したモデルである. 概要図は図 3 の通りとなる。

このモデルは以下の手順で処理を行う.

1. 入力テキスト (Source Text)を, 双方向 LSTM でエンコードする. 可変長の長さのデー タを固定長のべクトルになおす。（赤色箇所）

2. EncorderLSTM で Attention Mechanism（青色箇所）を用いて，単語生成確率（黒色箇所）を求める.

3. デコード部分 (Partial Summary) における単語の生成確率分布 (Vocabulary Distribution) に，エンコード部分における Attention の値 (Attention Distribution) を加算する (Copy Mechanism) (Final Distribution). Copy Mechanism によって, モデルの出力語彙には含まれない単語を生成することが可能となる.

4. Final Distribution から最終的に生成する単語を選択

5. 2.〜4. を繰り返して, 逐次的に単語を生成. 文章の終わりを表すトークンが選ばれたら, そこで，デコード（要約）は終了する

図 3 Pointer-Generator モデルの概略図 (See et al. 2017)

Coverage Mechanism を使うときは，2.の時点において以下の処理を行う.

以前 Attention の値が大きかったところは， Attention 値を減衰させる。これには，現在注目している Encoderの単語以前の Attentionを総和した Coverage Vector を導入する. また，それを Attention Distribution（Encoderに入力された全語彙の Attention 分布）の式に加える。そして，最終的な損失に，現在の Attention か Coverage Vector の低い方を加える，そうすることで， Attention の方が低いときは, 現在の単語の Attention が減衰するように学習され, Coverage Vectorの方が低いときは, 現在の単語が重要ということなので，それまでの Attention が減衰するように学習する。

この処理を行うことで, できるだけ入力文章全体の情報を用いて要約を生成するようにする.

## 5 実験条件

この章では, 本研究における実験条件について述べる， 5.1 節では, パラメータ設定と, デコー ドする（要約を生成する）ときに使うビームサーチについて説明する． 5.2 節では Early Stopping について説明する。

## 5.1 パラメータ設定

本研究では, データセットに CNN/Daily Mail Dataset (DeepMind Q\&A Dataset)を用いた. このデータセットは，訓練データが 287,226 記事，検証データが 13,368 記事，テストデータが 11,490 記事存在する.データ拡張の効果を見るために, 287,226 記事の他に, 約 $1 / 5$ の記事数である 57,000 記事と， 約 $1 / 10$ の記事数である 28,000 記事で実験を行った. 隠れ層のべクトルサイズは 256 に設定し，埋め込みベクトルサイズは 128 に設定した。ドロップアウトは使っていない. バッチサイズは 8 に設定した. Pointer-Generator モデル (See, Liu, and Manning 2017) （以降この論文を原論文と呼ぶ）では，バッチサイズが 16 となっているため, 同じ記事数学習するためには, 二倍の学習回数が必要となる。要約を生成する部分には, ビームサーチを使用した. 貪欲法では，単語を生成するときに，最も生成確率の高い単語をひとつ選ぶのに対し，ビー ムサーチでは，上位 $\mathrm{K}$ 個までの生成単語を保持しながら処理を進めていく。そして最終的にできた複数の要約に対して, それぞれの単語の生成確率を掛け, 最も高いものを最終的な生成要約とした。今回の実験では, $\mathrm{K}$ の值は 4 に設定している。語彙数は 50,000 に, 学習率は 0.15 に設定した。 原論文では, エンコードする際に，入力記事の最初から 400 単語のみを用いて，学習していたが, 提案手法の場合, 取り除かれる不要文が最初から 400 単語以内にない場合, 文を取り除いた効果が無くなってしまうので，入力記事全ての単語を用いて学習した。具体的には, 入力単語数に, 入力記事の中の最大単語数である 2,380 を用いた. また, 最適化アルゴリズムは AdaGrad を用いた。これらのパラメータを表 1 に示した.

表 1 パラメータ設定

## 5.2 Early Stopping

Early Stopping というのは, 通常, 各エポックの検証誤差（学習したモデルを使って, 学習データ以外の検証データを入力して得られた要約と参照要約との生成確率の誤差）をモニタリングし，ある一定のエポック数が進んでも，検証誤差が下がらなかったところで学習を終了するというものである. Ouchi らの研究 (Ouchi and Tabuse 2019) では 90,000 記事, 45,000 記事, において提案手法と拡張なし手法の比較を行っているが, 異なる記事数における学習回数の決定法について考察をしていなかった。具体的には，90,000 記事，45,000 記事が全記事に対して約 $1 / 3,1 / 6$ の記事数になるということから, 学習回数も 287,226 記事のときの $1 / 3,1 / 6$ 回にしていた. それに対し本研究では, モデルや訓練記事数に応じた学習回数を決定する方法として Early Stopping を採用した。訓練データ数 287,226 記事, 57,000 記事, 28,000 記事それぞれで,各手法において検証誤差をモニタリングし，どれだけのエポック数をモニタリングすればよいかを決定した。モニタリングするエポック数については, 最小の検証誤差を出したエポック数の 2 倍までモニタリングする（例えば，5 エポックで検証誤差が最小なら 10 エポックまでモニタリングしてそれでも最小値が更新されなければ，5 エポックのモデルを採用する）。デコード（要約）に使うモデルは，誤差が最小となったときのモデルを使うことにする．我々は， Coverage Mechanism においては， Coverage Lossを用いて，各ステップにおいてモニタリングした.

## 6 実験

6.1 節では, 評価に用いた尺度を, 6.2 節, 6.3 節では拡張なし手法, 提案手法, SR, RI, RS, RD について, Early Stopping の条件を変えた比較実験を述べ, 6.4 節, 6.5 節では 6.3 節の実験 2 に対して，記事数を変えて比較実験をした結果を載せた． 6.6 節では, さらに比較対象として， DA-Luhn, DA-LexRank, EDA を加えて実験をした結果を載せた。 6.7 節では, 生成した要約例を載せた。

## 6.1 評価尺度

本研究では, 評価尺度に ROUGEを用いた (Lin 2004). ROUGE は, 参照要約と生成要約の単語の一致率を見るものである。本研究における参照要約は, CNN/Daily Mail Dataset (DeepMind Q\&A Dataset)において人が作った要約である. 本研究では, ROUGE-1, ROUGE-2, ROUGE-L を用いた，ROUGE-1，ROUGE-2 は，それぞれユニグラム，バイグラムの一致率, ROUGE-L は, 最長共通部分列の文長に対する割合で測る。参照要約を A B C D とし, 生成要約を A B C X Y とすると，例えば，ROUGE-1の再現率は，3/5で，適合率は，3/4である，ROUGE-2では, 要約をバイグラムに直さなければならないので, 参照要約は, $(\mathrm{A} \mathrm{B}),(\mathrm{B} \mathrm{C}),(\mathrm{C} D)$, 生成要約は, (A B), (B C), (C X), (X Y) となるので, 再現率は, $2 / 4$ で, 適合率は, $2 / 3$ となる. また，それぞれの ROUGEの測り方として，再現率と適合率と $\mathrm{F}$ 值を用いる。再現率は，参照要約がどれだけ生成要約に含まれているか，つまり，参照要約の単語をどれだけ生成できたかをみるもので，適合率は，生成要約がどれだけ参照要約に含まれているかを考えるものである. F 値は再現率と適合率を両方考慮したもので，式 (6)で表される。

$
F \text { 值 }=\frac{2 \times \text { Recall } \times \text { Precision }}{\text { Recall }+ \text { Precision }}
$

ただし, Recall は再現率, Precision は適合率を表す. Recall, Precisionの計算式はそれぞれ式 (7), 式 (8)となる.

$
\begin{gathered}
\text { Recall }=\frac{\text { 参照要約と生成要約の一致単語数もしくは一致単語長 }}{\text { 生成要約の単語数 }} \\
\text { Precision }=\frac{\text { 参照要約と生成要約の一致単語数もしくは一致単語長 }}{\text { 参照要約の単語数 }}
\end{gathered}
$

## 6.2 原論文と Coverage Mechanism の条件を揃えた比較実験（実験 1）

本実験では, 学習記事数を最大記事数である 287,226 記事にして実験を行った． Copy Mechanism に関しては, Early Stoppingで，検証誤差が最小となるようなエポックを見つけた. Coverage Mechanism については，原論文に倣って，6,000 回とした.

## 6.2.1 結果

表 2 に結果を示す.

原論文と Coverage Mechanismの条件を揃えた条件では，提案手法が最も良くなり，EDAの RD (Random Deletion) 手法が最も悪い結果となった。続いて, RI (Random Insertion), SR (Synonym Replacement), 拡張なし手法, RS (Random Swap), そして提案手法の順番に良くなっていった.

表 2 学習記事数 287,226 の F 值 (Copy Mechanism: Early Stopping, Coverage Mechanism: 6,000)

表 3 学習記事数 287,226 の F 値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)

## 6.2.2 考察

Coverage Mechanism は 6,000 回と固定したが, あくまで拡張なし手法において最適な回数である可能性もあるので，実験 2 では，Coverage Mechanism に関して，Early Stopping を用いることで，手法に限らず，自動的に決定する手法をとった，実験 1 の条件下では，提案手法が最も良い結果となり，拡張なし手法に比べて，スコアが 0.055 良くなっている。本実験の拡張なし手法と原論文との違いは大きく二つある。まず入力単語数を原論文では 400 単語と限定していたのに対し, 本研究では限定をなくした. 二つ目は, Early Stopping を用いたところである. これは，他の記事数で実験したり，他の手法で比べる際に学習回数をヒューリスティックに決めるのを避けるために必要なことであった.

## 6.3 学習回数を全て Early Stopping で決定した比較実験（実験 2）

本実験では, 実験 1 と同じく学習記事数を最大記事数である 287,226 記事にして実験を行った.

Copy Mechanism に関しては, Early Stopping で行い, Coverage Mechanism についても Early Stopping で行った.

## 6.3.1 結果

表 3 に結果を示す.

提案手法が最も良い結果となり, EDAのRS (Random Swap) が最も悪い結果となり，続いて, RD (Random Deletion), SR (Synonym Replacement), RI (Random Insertion), 拡張なし手法, そして提案手法の順に良くなっていった.

## 6.3.2 考察

本実験では Coverage Mechanism においても Copy mechanism と同様に Early Stopping を用いた。結果からみると, 提案手法が最も良い結果となった。提案手法は拡張なし手法に比べて, スコアが 0.016 程度良くなっている。実験 1 と実験 2 を比べてみると，拡張なし手法は若干であるが良くなっている，提案手法をみると, 少し悪くなっている.

## $6.457,000$ 記事におけるデータ拡張効果の検証実験（実験 3 ）

本実験では, 学習記事数を最大の約 $1 / 5$ の 57,000 記事にして, 実験 2 と同様, Copy Mechanism, Coverage Mechanism の両方で Early Stopping を用いた.

## 6.4.1 結果

表 4 に結果を示す.

提案手法が最も良い結果となり RS (Random Swap)が最も悪い結果となった.

## 6.4.2 考察

RS (Random Swap), 拡張なし手法, RD (Random Deletion), RI (Random Insertion), SR (Synonym Replacement), そして提案手法の順番に値が良くなっている。提案手法は拡張なし手法に比べて，スコアが 0.0251 良くなっている. RI (Random Insertion) と SR (Synonym Replacement) は拡張なし手法よりも良くなった. このことから, 提案手法に関して 287,226 記事のときよりもデータ拡張の効果が大きくなったということが言える。また, EDAのうち RS 以外は全て拡張なし手法よりも良い結果となった. 少ない記事の方がデータ拡張の効果が出ることは，EDAの論文 (Wei and Zou 2019) でも報告されている。これは，多くの記事を学習した方が偏りが少なくなり，デー夕拡張の効果が出にくいことによると思われる．今回の例だと， 57,000 記事は学習の偏りが多くなり，データ拡張によってデータの複雑性を増すことにより汎化性能が高まったものと思われる。 さらに，本実験で言うと，提案手法が EDA の各手法よりも汎化性能を上げるのに有用であったと言える。拡張なし手法に比べて提案手法の方が拡張した分, デー夕は増えているが, 学習デー夕を増やせることがデー夕拡張手法のメリットであり,

表 4 学習記事数 57,000 の F 値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)
学習回数が増える可能性については Early Stopping で自動化されているのでデー夕拡張手法の効果を検証する上で問題ではないと考える。

## $6.528,000$ 記事におけるデータ拡張効果の検証実験（実験 4）

本実験では，学習記事数を最大記事数の約 $1 / 10$ である 28,000 記事にして，実験を行った. Copy Mechanism, Coverage Mechanism の学習回数の決め方は実験 2 と同じとした.

## 6.5.1 結果

表 5 に結果を示す.

本実験でも提案手法が最もよい結果となり, SR (Synonym Replacement)で最も悪い結果となった。

## 6.5.2 考察

RS (Random Swap), 拡張なし手法, RI (Random Insertion), RD (Random Deletion), 提案手法, SR (Synonym Replacement)の順番に良くなった. 提案手法は, 拡張なし手法に比べて, スコアが 0.0115 良くなった. EDAの手法は，拡張なし手法よりも良くなることもあれば，悪くなることもあった. しかし, 提案手法は常に拡張なし手法よりも良い結果を出していた. 今回の実験では，SR 手法が最も良い結果となっている.

実験 2 から実験 4 までをみると，どれも RS 手法が一番悪い結果となっている，一方で，実験 1 に関しては, 提案手法を除いて最も良い結果となっている． RS 手法は, ランダムに二つの単語を入れ替えてデータ拡張する手法で, EDAの他の 3 手法より最も意味的に破綻した文章を作ってしまう可能性がある。そのため, 実験 2 から実験 4 では RS 手法が最も悪い結果になったものと思われる。実験 1 に関しては，Coverage Mechanism の学習回数を 6,000 回として固定して学習しており, 他の実験よりも多い回数になっている。 そのため, 他の実験に比べ全体の文脈をより考慮した形となり，多少文が破綻しても影響が少なかったのではないかと思われる．逆に，SR 手法は，全体的に EDA 手法の中で最も良い結果を出している。その理由として, SR 手法は, 同義語に入れ替えるものなので，意味的に最も影響の少ない手法となっているためで

表 5 学習記事数 28,000 の F 值 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)

あると考えられる．残りの $\mathrm{RI}$ 手法と $\mathrm{RD}$ 手法は，前者の二つの手法の中間に位置する． $\mathrm{RI}$ 手法は，ある単語の同義語をランダムな位置に挿入する方法で， RD 手法は，ランダムな単語を削除する方法で，いずれも同じ単語数だけ文章全体に影響を与えるという意味で同程度の効果が表れたものと思われる。

提案手法よりも EDA 手法全体が悪くなった原因としては，EDAの場合は，特に意味のない単語を挿入したりや単語が入れ替わってしまい意味が取れなくなったり，重要な単語が消されてしまう可能性があることにより汎化性能を上げる効果よりも正しく学習できなかった影響のほうが大きかったと思われる。その点で，提案手法は，不要文を削除するだけなので文章全体の意味が取れなくなることもなく, さらに重要なところが削除されることもないのでデー夕拡張による悪い影響は少なく効果が EDAより表れていたものと考えられる.

## 6.6 提案手法, DA-Luhn, DA-LexRank, EDA の比較実験（実験 5）

本実験では, 記事数 287,226, Copy Mechanism, Coverage Mechanism の学習回数の決め方は実験 2 と同じとした。そして，本実験ではさらに，DA-Luhn, DA-LexRank, EDAの方法でデー 夕拡張して学習させた結果も載せた。また, DA-Luhn, DA-LexRank手法と提案手法における不要文抽出の評価実験も行った。

## 6.6.1 結果

表 6,7 に結果を示す.

新たに加えた三手法 (DA-Luhn, DA-LexRank, EDA)のどの手法も拡張なし手法, 提案手法,

表 6 学習記事数 287,226 の F 值 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping). 全手法で比較.

表 7 各手法と ROUGE を用いた手法で一致した文の数

EDA の各手法 (SR, RI, RS, RD) に及ばなかった。表 8 においては, ROUGEを用いて, 要約と最もROUGE-1のF 値の高かった文を最重要文とし, 要約との ROUGE-1のF 値の最も低かった文もしくは，ROUGE-1のＦ 值が 0 になった文集合を不要文または不要文群とした．そして，提案手法に用いたトピックモデルと DA-LexRank で用いた LexRank と DA-Luhn で用いた Luhn を使って最重要文と不要文を抽出し，一致した文の数を調べた.

## 6.6.2 考察

DA-Luhn が最も悪い結果となり, 続いて, DA-LexRank, EDA, RS (Random Swap), RD (Random Deletion), SR (Synonym Replacement), RI (Random Insertion), 拡張なし手法, そして提案手法の順に良くなっていった。この結果から，データ拡張をするために行う文の重要度決めに用いるのは，DA-Luhn や DA-LexRankよりもトピックモデルを用いた提案手法の方が効果があることを確認した．実際，表 8 を見てもわかるとおり，提案手法を用いた場合の方が，不要文, 最重要文とも一致度は高い，ROUGE を使って不要文削除を行えばいいのではないかということも考えられるが，ROUGE はあくまで単語の一致率を見ているので単語がひとつも一致しない文はスコアが 0 になる。したがって，スコアが 0 の文同士の重要度の差は生まれない. 本研究では，不要文として一文を削除することにしているが，ROUGEだとスコアがどちらも 0 で差が生まれない場合に一文を選ぶことができないため本研究では扱わなかった。また， EDA は，組み合わせて使うよりもそれぞれの手法を用いた方がデータ拡張の効果が表れやすいことが確認できた．DA-Luhnがトピックモデルを用いたときよりも拡張の効果が表れなかった原因として，DA-Luhnでは，単語の位置と頻度だけを考慮しており，一方で，トピックモデルは TF-IDF 行列からトピック分布の事前分布であるディリクレ分布を推定するため，各文章のトピック分布を評価することができる点にあると思われる。次に DA-LexRankがトピックモデルを用いたときよりも拡張の効果が表れなかった原因として考えられるのは，トピックモデルでは，TF-IDF 行列から推定したトピックを用いているので，car と automobile といった同じ意味でも異なる単語を捉えられる。そのようなトピックの観点がDA-LexRankにはなかったことが文の重要度を決めるときに影響を及ぼし，トピックモデルより悪い結果になったものと思われる。

## 6.7 生成した要約例

本文と生成した要約例を付録に載せる。要約例は，拡張なし手法で生成した要約と提案手法で生成した要約とを比較するため, 参照要約との ROUGE-1の F 值をもとに，実験 1 において提案手法で生成した要約と参照要約との ROUGE-1の F 値が最大になる場合（付録 1 ），最小になる場合（付録 2 ），中央値になる場合（付録 3）の三つの場合の要約元文，参照要約，拡張なし手法での要約，提案手法での要約を示した。また，図 4 ６は，そのうち要約例だけ示す.

図 4 ROUGE-1 の F 値が最大になる場合（要約のみ）

## 参照要約

gray 's family asked there be no protests ; they condemned violence .

community leaders and brave residents got in between rioters and police .

生成要約（拡張なし手法 coverage 6,000 回）

"i want them all to go back home ," rev. jamal bryant tells cnn 's rev. jamal bryant .

the gangs have signed a peace deal and are uniting to push against police lines .

the gangs are consistently pursued by the fbi .

生成要約（提案手法 coverage 6,000 回）

"i want them all to go back home ," rev. jamal bryant says .

"i want y' all to get justice for my son ," "i 'm just a soldier ," stepfather says .

"i want y' all to get justice for my son, but do n't do it like this is for freddie ," stepfather says .

図 5 ROUGE-1 の F 値が最小になる場合（要約のみ）

ROUGE-1 の F 值が最大になる場合（図 4）は，参照要約が 4 文あるが，拡張なし手法モデルはそのうち最初の 2 文だけ正解している。提案手法は 4 文とも正解している. ROUGE- 1 の F 値が最小になる場合（図 5）は, どちらの手法も正解には程遠いが, “jamal bryant”というこの文章にしか出てこない固有名詞に対して，うまく生成できているのがわかる．提案手法の方は，文が繰り返されており，Coverage Mechanismがうまく働いていないことがわかる， ROUGE-1 の $\mathrm{F}$ 值が中央值をとる場合（図 6）は，どちらの手法も最初の一文だけうまく生成できているのがわかる，総合すると，若干ではあるが提案手法の方が全体として良い要約になっているものと思われる。

図 6 ROUGE-1の F 值が中央値をとる場合（要約のみ）

## 7 おわりに

本研究では，自然言語処理におけるデー夕拡張の手法を提案し，自動要約システム PointerGenerator モデル (See et al. 2017) の場合で，デー夕拡張の効果があることを示した. また，比較実験により，自動要約システムにおいて汎化性能を出すためには，EDAの各手法およびそれらを組み合わせた手法よりも提案手法の方が効果があることが確認できた. さらに, 本研究では, 重要度の低い文を取り出す方法として, 抽出型要約の 3 手法 (トピックモデル, DA-Luhn, DA-LexRank）で比較実験したが，実験 5 の結果からトピックモデルの場合が最も不要文抽出の一致度は高かった。したがって, データ拡張の効果もトピックモデルの場合が最も良かった。 より少ない学習記事においてデータ拡張の効果が大きく現れるのではないかと考えていたが,実験結果からは， 57,000 記事のときに一番効果が表れていた. しかし，少なすぎるとデータ拡張の効果が少なくなることがわかった，今回は，一番重要度の低い文を取り除いた文章を拡張記事データとして水増しすることでデータ拡張を行った. しかし, 元の文章の長短に関わらず,一文しか取り除いていないので，今後の課題として，文章の長さに応じて取り除く文の数を変えるといった拡張が考えられる。また, 重要度の低い文を取り除くのではなく, 重要度の高い文を残すというやり方も考えられる。最近の研究では，BERTを使った自動要約システムも考えられている (Liu and Lapata 2019)。このように, Pointer-Generator モデルだけでなく最先端のモデルにも提案手法が有効であるか試していく必要性がある.

## 参考文献

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." The Journal of Machine Learning Research, 3, pp. 993-1022.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." In Transactions of the Association for Computational Linguistics (TACL), Vol. 5, pp. 135-146.

Chang, J., Gerrish, S., Wang, C., Boyd-graber, J., and Blei, D. (2009). "Reading Tea Leaves: How Humans Interpret Topic Models." In Proceedings of the 22nd International Conference on Neural Information Processing Systems, pp. 288-296.

Edunov, S., Ott, M., Auli, M., and Grangier, D. (2018). "Understanding Back-Translation at Scale." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 489-500.

Erkan, G. and Radev, D. R. (2004). "LexRank : Graph-based Lexical Centrality as Salience as Text Summarization." Journal of Artificial Intelligence Research, 22, pp. 457-479.

Grusky, M., Naaman, M., and Artzi, Y. (2018). "Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 708-719.

Gu, J., Lu, Z., Li, H., and Li, V. O. (2016). "Incorporating Copying Mechanism in Sequenceto-sequence Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 1631-1640.

Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., and Mustafa Suleyman, P. B. (2015). "Teaching Machines to Read and Comprehend." In Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS), pp. 1693-1701.

人見雄太, 田口雄哉, 田森秀明, 菊田洸, 西鳥羽二郎, 岡崎直観, 乾健太郎, 奥村学 (2019). 出力長制御を考慮した見出し生成モデルのための大規模コーパス. 言語処理学会第 25 回年次大会発表論文集, pp. 1225-1228. 言語処理学会. [Y. Hitomi et al. (2019). Shutsuryokucho Seigyo wo Kouryo shita Midashi Seisei Moderu no tameno Daikibo Kopasu. Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing, pp. 1225-1228.].

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." In Neural Computation, pp. 1735-1780.

Internet Live Stats. "Total number of Websites." https://www. internetlivestats .com/totalnumber-of-websites/.
小平知範 (2018). 文書構造に着目したニューラル文書要約. Master's thesis, 首都大学東京大学院システムデザイン研究科情報通信システム学域. [T. Kodaira (2018). Incorporating Document Structure into Neural Abstractive Summarization. Master's thesis, Graduate School of System Design, Tokyo Metropolitan University.].

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81.

Liu, Y. and Lapata, M. (2019). "Text Summarization with Pretrained Encoders." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740.

Luhn, H. P. (1958). "The Automatic Creation of Literature of Abstracts." IBM Journal of Research and Development, 2 (2), pp. 159-165.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Texts." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-WS), pp. 404-411.

Mikolov, T., Chen, K., Corrado, G. S., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In International Conference on Learning Representations (ICLR2013).

Napoles, C., Gormley, M., and Durme, B. V. (2012). "Annotated Gigaword." In Proceedings of the Joint Workshop on Automatic Knowledge Base Construction $\mathcal{E}$ Web-scale Knowledge Extraction (AKBC-WEKEX), pp. 95-100.

Ouchi, T. and Tabuse, M. (2019). "Effectiveness of Data Augmentation in Automatic Summarization System." In The Proceedings of the 2019 International Conference on Artificial Life and Robotics, pp. 177-180.

Page, L., Brin, S., Motwani, R., and Winograd, T. (1998). "The PageRank Citation Ranking: Bringing Order to the Web." In Proceedings of the 7th International World Wide Web Conference, pp. 161-172.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Reinsel, D., Rydning, J., and Gantz, J. F. . "Worldwide Global DataSphere Forecast, 20202024: The COVID-19 Data Bump and the Future of Data Growth." https://www.idc. com/getdoc . jsp?containerId=US44797920.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in

Natural Language Processing, pp. 379-389.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1073-1083.

重松遥, 小林一郎 (2012). 潜在的トピックの重要度を考慮した要約文の生成. 言語処理学会第 18 回年次大会発表論文集, pp. 3-26. 言語処理学会. [H. Shigematsu and I. Kobayashi (2012). Senzaiteki Topikku no Juyodo wo Kouryo shita Yoyakubun no Sakusei. Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 3-26.].

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 76-85.

Wei, J. and Zou, K. (2019). "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6382-6388.

Yun, S., Han, D., Oh, S. J., Chun, S., Choe, J., and Yoo, Y. (2019). "CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features." In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 6023-6032.

Zhang, H., Cisse, M., Dauphin, Y. N., and Lopez-Paz, D. (2018). "mixup: Beyond Empirical Risk Minimization." In International Conference on Learning Representations (ICLR).

## 付録 1

ROUGE-1 の F 值が最大になる場合

## 要約元の文章

"april 8 , 2015 . after a report on headlines concerning the u.s. and cuba , cnn student news gives some perspective on california 's historic drought : its effects are becoming more likely to ripple across the nation . there 's been a flu outbreak in chicago - but not one that affects humans . and a proposed tunnel would connect denmark and germany via an undersea road and rail line . on this page you will find today 's show transcript and a place for you to request to be on the cnn student news roll call . transcript . click here to access the transcript of today 's cnn student news program . please note that there may be a delay between the time when the video is available and when the transcript is published . cnn student news is created by a team of journalists who consider the common core state standards, national standards in
different subject areas, and state standards when producing the show . roll call . for a chance to be mentioned on the next cnn student news, comment on the bottom of this page with your school name, mascot, city and state . we will be selecting schools from the comments of the previous show . you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call! thank you for using cnn student news!"

## 参照要約

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

at the bottom of the page, comment for a chance to be mentioned on cnn student news .

you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call .

生成要約（拡張なし手法 coverage 6000 回）

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

use the weekly newsquiz to test your knowledge of stories you saw on cnn student news .

生成要約（提案手法 coverage 6000 回）

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

at the bottom of the page, comment for a chance to be mentioned on cnn student news .

you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call .

## 付録 2

## ROUGE-1の F 値が最小になる場合

## 要約元の文章

"please, not even a demonstration . freddie gray 's family had asked there be quiet on baltimore 's streets the day they laid him to rest . and above all , no violence . raging hordes turned a deaf ear to that on monday . but a handful of people repeated the family 's message . they became criers in the desert against countless young people flinging rocks at police, breaking windows , looting and setting fires . the peacemakers - clergy , gray 's family and brave residents - placed themselves in the rioters' way . their message was the same . "i want them all to go back home ," said rev. jamal bryant . "it 's disrespect to the family . the family was very clear -
we 've been saying it all along - today there was absolutely no protest , no demonstration ," he said . but the messengers were a finger in a dam that quickly crumbled, as rowdy groups swelled into a full urban riot . it overshadowed the message peaceful protesters delivered on prior days - justice for gray . the 25-year-old african-american man died from spinal injuries after being arrested earlier this month . the early fits of violence came in the afternoon, about the time mourners left gray 's memorial services blocks away, rev. bryant said . they bumped right into it . "for us to come out of the burial and walk into this is absolutely inexcusable ,

" he said . he did not want to see it spread to downtown baltimore, where some rioters said it would , and organized people to stand in the way . "we have a line of gentlemen from the nation of islam to build a human wall, as well as men from the christian church making that human wall ," he said . but as crowds turned into multitudes , the intervention became a drop in the bucket by compare, and police lines were also no match . as officers in riot gear receded, flames engulfed cars and stores and roared out of apartment buildings into the night sky . a senior living facility under construction by a baptist church burned to the ground . the blazes stretched the fire departments ' resources, as at least 30 trucks deployed . looters streamed into a cvs, bodegas and liquor stores and walked out with what they could carry . a young man in a blue sweatshirt tried to talk people down by himself . he walked up to cnn correspondent miguel martinez, as a store nearby was being looted . it later went up in flames . the man, who did n't say his name, was disgusted at what was happening in his neighborhood and disappointed in the police response to rioting . there was a line of police down the street , not far away . "they could have moved down here to stop it ," he told martinez . the gray family 's lawyers, again , put the family 's wish out to the public that there be no protests that day, let alone violence . it 's marring the cause and hope for change that may have come out of the investigation into freddie gray 's death , said family attorney mary koch . "that 's just disintegrated into just looking at baltimore city and thinking that the city is the city of violence ," she said . against all odds , a handful of individuals kept trying to stop it . a tall, adult man walked up to a young man who was confronting riot police. he slung an arm over his shoulder , turned him back around in the other direction and marched him away from police lines . but as they strolled past a crowd, a young man behind them hurled a stone at police, putting his whole body into the throw . at least one young man paid the price for his participation, when his mother turned up to spank him home . before running cameras , she slapped him in the head again and again , driving him away from the crowd, as she cursed . police commissioner anthony batts later thanked her . "i wish i had more parents that took charge of their kids out there tonight , " he said . after night fell, giving way to a

10 p.m. curfew for juveniles, robert valentine stood alone with his back to a line of police in riot gear . he shooed away young people tempted to approach them . " go ! step your - ss away!" "i 'm just a soldier ," said valentine . he told cnn 's joe johns that he was a veteran of the vietnam war . young people had no business on the streets, he said . "they need to be in their home units studying and doing something with their lives . " even baltimore members of the crips and bloods, two street gangs renowned for drug dealing and extensive violent crime - and for killing each other - came together with others who condemned the rage that swept through their neighborhoods . "the guys who pulled me aside are self-identifying as crips and say they do n't approve of whats happening . "this is our community , " "wrote baltimore sun reporter justin fenton on his confirmed twitter account . gangs members joined community leaders and gray 's family for a press conference monday night on the stage at new shiloh baptist church, which had held gray 's funeral . an announcer thanked them for coming to the church . the gangs have signed a peace deal and are uniting to push against police lines in protests , according to a report by the daily beast . rev. bryant also mentioned their peace treaty . but police say the gangs' purpose goes much further - that they and another gang called the black guerilla family plan to ' take out' law enforcement officers , police said . " this is a credible threat." the gangs are consistently pursued by the fbi . at the end of the day , gray 's family had the last word on the violence at the press conference . it was n't good . "to see that it turned into all this violence and destruction , i am appalled ," said richard shipley , gray 's stepfather . "i want y' all to get justice for my son, but do n't do it like this here ," said gray 's mother gloria darden , who wore a t-shirt with her son 's photo . "i do n't think that 's for freddie ," his twin sister fredericka gray said . "i think the violence is wrong . " after had been bitterly marred by the rioting . murphy asked for a show of hands in the church audience of people who had experienced police brutality or personally knew someone who did . all but a few hands went up ."参照要約

gray 's family asked there be no protests ; they condemned violence . community leaders and brave residents got in between rioters and police .生成要約（拡張なし手法 coverage 6000 回）

" i want them all to go back home ," rev. jamal bryant tells cnn 's rev. jamal bryant .

the gangs have signed a peace deal and are uniting to push against police lines .

the gangs are consistently pursued by the fbi .

生成要約（提案手法 coverage 6000 回）

"i want them all to go back home ," rev. jamal bryant says .
"i want y' all to get justice for my son ," "i 'm just a soldier ," stepfather says .

" i want y' all to get justice for my son , but do n't do it like this is for freddie ," stepfather says .

## 付録 3

ROUGE-1の F 値が中央値をとる場合

## 要約元の文章

"britain bucked the trend of western nations by increasing spending on foreign aid last year while others imposed savage cuts . more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 , a report found . britain 's failure to follow suit - thanks to a target imposed by david cameron - means that its overseas aid spending of 0.7 per cent of national income is double the average level of the other nations in the group known as the development assistance committee . a target set by david cameron -lrbpictured at a rally this week -rrb- has left britain unable to follow other countries in reducing their aid budget between 2013 and 2014 . out of every \# 100 spent by these western nations on overseas aid, no less than \# 14 now comes from the uk . overall across these 28 countries aid budgets fell by 0.5 per cent in real terms, according to the report by the organisation for economic co-operation and development . despite this , the uk increased its spend by 1.2 per cent to \# 11.7 billion in 2014 . it comes on top of even larger increases in previous years . france slashed its aid budget by 9.2 per cent to \# 6.2 billion, the fourth successive decrease . japan 's was cut by 15.3 per cent to \# 5.5 billion . australia cut its foreign aid by 7.2 per cent to \# 2.5 billion , while cash-strapped spain cut its funding by 20.3 per cent to \# 1.1 billion . the uk 's aid budget is now nearly double france 's and ten times the level in spain . in total , 15 members of the dac cut foreign aid, including belgium, italy , norway , poland and portugal . britain was one of 13 countries which increased its budget despite the straitened times . these included germany, the us and new zealand . trade, not aid : conservative mp peter bone . surprisingly, greece, which is dependent on bailouts from the eu and the imf, put up its aid budget by 6.8 per cent . last night tory peter bone, who is standing for re-election as mp for wellingborough, said : ' when we have seen cuts at home, people find it very strange that we can give away so many billions of pounds a year, half of which we do n't even control who it goes to . ' people are telling me on the doorstep during this campaign that we should cut the amount we spend on overseas aid, and increase opportunities for poorer countries to
trade with the eu - trade, not aid, is what we need . what this report shows is that other governments recognise the fact that we have got to look after our own country first , and ensure aid is better targeted . ' britain 's aid budget may need to rise by at least \# 500million in future years, because changes in eu accounting rules make it harder to meet the 0.7 per cent target . the development assistance committee was set up by the oecd which represents richer countries . the oecd report , 2014 global outlook on aid , shows that britain is one of only five members of the dac to meet the target of spending 0.7 per cent of national income on aid along with sweden, luxembourg, norway and denmark . the average oecd member spends just 0.39 per cent . in monetary terms, the uk now has the second highest aid budget in the world behind the us which spends \# 19.6 billion . but that is just 0.19 per cent of its national income . france spends 0.36 per cent , and germany 0.41 per cent . the 28 dac members spent a total of \# 81billion on aid last year - a record figure , but down in real terms . it means the uk 's budget of \# 11.7 billion is a seventh of the entire total for the western world . max lawson, of oxfam , praised britain and criticised countries which have cut their aid budgets . ' aid saves lives , ' he said . 'what we 're seeing is shameful indifference on the part of many of the world 's richest nations . ' their leaders are breaking with impunity the solemn promise they made to help make poverty history . '"

## 参照要約

more than half of members of group of industrial nations reduced aid .

but britain failed to follow suit - thanks to target imposed by mr cameron .

its overseas spending is double the average level of other nations in group .

生成要約（拡張なし手法 coverage 6000 回）

more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 , a report found .

britain 's failure to follow suit means that its overseas aid spending of 0.7 per cent of national income is double the average level of the other nations .

overall across these 28 countries aid budgets fell by 0.5 per cent in real terms .

生成要約（提案手法 coverage 6000 回）

more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 .

out of every \# 100 spent by these western nations on overseas aid, no less than \# 14 now comes from the uk.

despite this , the uk increased its spend by 1.2 per cent to \# 11.7 billion in 2014 .

## 略歴

大内智仁：2017 年京都府立大学生命環境学部環境 - 情報科学科卒業. 2019 年同大学大学院生命環境科学研究科環境科学専攻修了. 同年同大学大学院生命環境科学研究科環境科学専攻博士後期課程に進学.

田伏正佳：1983 年神戸大学理学部物理学科卒業. 1985 年同大学大学院理学研究科修士課程修了. 1988 年同大学大学院自然科学研究科博士課程修了. 学術博士. 1992 年宮崎大学工学部助手. 1999 年同大学助教授. 2003 年京都府立大学人間環境学部助教授. 2019 年同大学教授. 機械学習, コンピュータビジョン, 自然言語処理に興味を持つ.