# 会話文における暗黙的引用を利用した抽出型教師なし要約

狩野 竜示 $\dagger,+\dagger$ ・谷口 友紀 $\dagger \cdot$ 大熊 智子†
}

本研究では，返信を伴う会話形式のテキストを対象とした，教師なし抽出型ニュー ラル要約モデル Implicit Quote Extractor (IQE) を提案する. 引用は投稿やメール に返信する際，言及している箇所を強調するために使われる。高頻度に引用される 箇所は重要であるとの仮説の元, 我々は引用を要約として抽出するモデルを提案す る.ほとんどの返信は明示的な引用を含まない。そのため, 引用を直接要約モデル の教師データとして使うことは難しい. しかしながら, 明示されていなかったとし ても，返信は返信元の文章のある箇所に必ず言及している。返信が投稿のどの箇所 に言及しているかは, 返信内容から推測できるため, 明示的な引用を用いずに，返信のみから本来引用されるべき箇所を推定することが可能である。この箇所を暗黙的引用 (Implicit quote) と呼ぶ. 提案モデルである IQE は, 返信を用いて暗黙的引用を推定する機構を備える。IQEの学習タスクは，あるテキスト（返信候補）が，あ る投稿に対する実際の返信になっているかを判定することである．IQE は，数文を 投稿から抽出し, それを返信候補の真偽判定の特徴量とする. IQE は返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するため, 返信が言及 しやすい文を要約として抽出するようになる，我々は本モデルを 2 つのメールデー タセットと 1 つのソーシャルメディアデータセットで評価し, 本モデルが要約タス クに有用であることを示す. 更に，提案モデルが引用を抽出できる点，また，提案 モデルが従来モデルが抽出できない重要文を抽出可能であるという点を実験によっ て検証し，それを支持する結果を得た。

キーワード：要約, 教師なし学習, 抽出型, 引用, 会話文, メール, ソーシャルメディア
## Identifying Implicit Quotes for Unsupervised Extractive Summarization for Conversational Texts

\author{
Ryuji Kano ${ }^{\dagger, \dagger \dagger}$, Tomoki Taniguchi ${ }^{\dagger}$ and Tomoko Ohкuma ${ }^{\dagger}$
}

\begin{abstract}
We propose Implicit Quote Extractor, an end-to-end unsupervised extractive neural summarization model for conversational texts. When we reply to posts, quotes are used to highlight important parts of texts. We aim to extract quoted sentences as summaries. Most replies do not include quotes, so it is difficult to use quotes as supervision. However, even if it is not explicitly shown, replies always refer to certain parts of texts, and those parts can be presumed from the content of a reply. Those parts we call implicit quotes. Using replies, Implicit Quote Extractor aims to extract
\end{abstract}

implicit quotes as summaries. The training task of the model is to predict whether a reply candidate is a true reply to a post. As a feature for prediction, the model has to choose a few sentences from the post. To predict accurately, the model adjusts the parameters to extract sentences that replies frequently refer to. We evaluate our model on two email datasets and one social media dataset, and confirm that our model is useful for extractive summarization. We further discuss two topics; one is whether quote extraction is an important factor for summarization, and the other is whether our model can capture salient sentences that conventional methods cannot.

Key Words: Summarization, Unsupervised, Extractive, Quote, Conversation, Email, Social Media

## 1 はじめに

インターネット上の会話が活発化するにつれ，会話文の自動要約技術の必要性は益々増している. ニューラルネットワークを使用したモデルは教師あり要約において, 高い性能を発揮しているが，教師なし要約への応用は未だ限定的である，教師あり要約モデルの学習には，数万の要約-本文対が必要になる。 あらゆるドメインにおいてこれらの対データを用意することは現実的ではないため，教師なし要約の手法が求められている．我々は返信を伴う会話形式のテキストを対象とした教師なし要約手法を提案する.

過去, 多くの教師なし要約手法が提案されてきた. 文の類似度グラフの Centrality を使用した手法は強力な教師なし要約手法であり (Mihalcea and Tarau 2004; Erkan and Radev 2004; Zheng and Lapata 2019), 会話文の要約にも応用されている (Mehdad et al. 2014; Shang et al. 2018). Centrality の他にも, 文の特徴量ベクトルの Centroid (Gholipour Ghalandari 2017), KullbackLeibler divergence (Haghighi and Vanderwende 2009), Reconstruction Loss (He et al. 2012; Liu et al. 2015; Ma et al. 2016), 単語をノードとした有向グラフの経路スコア計算 (Mehdad et al. 2014; Shang et al. 2018)などが，要約に使われている，上記全ての手法の前提にあるのは，重要なトピックは文書中に高頻度に言及されるという点である。しかし, 重要なトピックは必ずしも高頻度に言及されるわけではない。そのため，もし重要なトピックの言及回数が少ない場合，上記手法は重要文の抽出に失敗する。より高精度の要約を実現するためには，“頻度”とは異なる文書の側面に着目する必要がある。

頻度とは異なる文書の重要度の指標として, 我々は “引用のされやすさ”に着目する。我々は, メールや投稿文に返信する際，投稿の一部分を引用することがある．具体例を図 1 に示す．右側の返信の例にあるように。引用文は，引用符“>”から始まり，返信先の投稿文中の文・フレー ズと一致する箇所を指す。高頻度に引用される箇所は重要であると考えられるため，引用される箇所を予測できれば，本文中で言及される頻度に関わらず，重要な情報を含む文を抽出できる

図 1 投稿と引用付きの返信と引用無しの返信の例。暗黙的引用は，返信が言及している投稿の一部であるが，返信には明示的に示されていないものを指す.

と考えられる. 過去の研究に, 引用を要約モデルに補助的に利用したものがある. Carenini は,引用文に現れる単語に重み付けをし, Centroid ベースの要約手法の精度を向上させた (Carenini et al. 2007; Oya and Carenini 2014). ただし, ほとんどの返信は明示的な引用を含まない. そのため，引用を直接教師データとして扱うことは難しい，我々は，引用文を教師として使用せずに引用箇所を抽出できるモデル，Implicit Quote Extractor（IQE：暗黙的引用抽出器）を提案する。図 1 に示す例のように，引用文は返信が言及している投稿の箇所であるため，明示的な引用が無い場合にも，返信内容から本来引用されるべき箇所を間接的に特定できる。これを暗黙的引用と呼称する.

IQE は，返信によって言及される箇所を特定することにより, 明示的な引用なしに，引用箇所を抽出することを目指す．IQE は投稿と返信候補のみを学習に使用し，明示的な引用を使用しない，返信候補は，投稿に対する実際の返信，あるいはランダムにサンプリングされた返信である，学習タスクは，返信候補が実際の返信であるかどうかを判定することである．IQE は，投稿から少数の文を抽出し，これを真偽判定の特徴量に使う．IQE は返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するので，返信が言及しやすい文を要約として抽出するようになる。要約は本文のみから作成する必要があり, 返信に依存してはならない. そのため, IQE は抽出文の選択に，返信の特徴量を使わない。すなわち, IQE は学習時にのみ返信を必要とし，評価時には必要としない，IQEが抽出するのは返信に依存した引用箇所では無く，返信によって最も引用されやすい箇所となる.

IQE を 2 つのメールデータセット, Enron 要約データセット (Loza et al. 2014)の業務メールと私用メールで評価し, また, ソーシャルメディアのデータセットとして, Reddit TIFUデータセット (Kim et al. 2019) でも評価を行い, 多くのべースラインの性能を上回ることを確認した.提案したモデルは 2 つの仮説に基づいている．1つは提案モデルが引用を抽出できるという
点である．IQE は引用抽出を目的としているが，引用を教師として使用していないため，実際に引用される文を抽出できるかは明らかでない，そのため，我々は，提案モデルがどの程度引用を抽出できるか評価する。もう 1 つ仮説は，引用は要約として有用であるという点である.先行研究 (Carenini et al. 2007; Oya and Carenini 2014) は引用文を利用して, Centroid 要約モデルの性能を向上させ，引用が要約に有効であることを示した．しかしながら，これらの先行研究は引用を補助的な特徵量として使用しているため, 引用それ自体が要約になりうるかは明らかでない。これを検証するため，我々は引用を要約とみなし，そのROUGE 值を評価することで，引用が要約として有用であるかを評価する。

引用が多数存在する Reddit データセットで，上記 2 点の仮説を検証し，仮説を裏付ける結果を得た。また, 定量的, 定性的 2 つの観点で, 頻度べースの既存手法が抽出できない重要文を提案モデルが抽出できることを示した.

本研究の貢献は以下の 3 つである.
- 言及頻度に依存した従来の教師なし抽出型要約手法の問題点を指摘し，新たな文書の重要度の指標として“返信による引用のされやすさ”を提案，実験により有効性を示した。
- End-to-end で学習可能な教師なし抽出型要約モデル, Implicit Quote Extractor (IQE) を提案し, ベースラインと同等の性能を示すことを 2 つのメールデータセットと 1 つのソー シャルメディアデータセットを対象にした評価実験によって示した.

・ 引用を実際に含むソーシャルメディアデータセットを使い，提案モデルが引用を抽出しやすいこと，また，引用が要約に有用であることを示した.

## 2 関連研究

要約手法は 2 つの方法に大別される。抽出型要約 (Extractive Summarization) と生成型要約 (Abstractive Summarization)である。これまで提案されてきたほとんどの教師なし要約手法は抽出型である．教師あり要約においては，ニューラルネットワークを使用した手法が多く提案され発展を遂げているが，教師なし抽出型要約においては古典的手法が現在でも強力である.

文の類似度グラフの Centrality (Mihalcea and Tarau 2004; Erkan and Radev 2004; Zheng and Lapata 2019), Bag-of-words などの文の特徴量ベクトルの Centroid (Gholipour Ghalandari 2017) を利用した手法は教師なし抽出型要約における主要な手法とされてきた。その他にも，抽出文の特徴量ベクトル（単語の頻度ベクトルや Paragraph Vector などを使用）から本文の特徴量ベクトルを復元する Reconstruction Loss (He et al. 2012; Liu et al. 2015; Ma et al. 2016)を用いたものや，抽出文と文全体の Unigram 単語分布の Kullback-Leibler divergence (Haghighi and Vanderwende 2009)を利用した手法がある。単語をノードとしたグラフの経路スコア計算を用いた手法 (Mehdad et al. 2014; Shang et al. 2018) は, 複数文圧縮アルゴリズム (Filippova 2010)

## に依拠している.

ニューラルネットワークを利用した教師なし抽出型要約手法もいくつか存在する． Skipgram から得られた単語べクトルの和を文ベクトルとして, サブモジュラ最適化を行う手法 (Kågebäck et al. 2014) や，Paragraph Vectorを用いて計算された抽出文と全文の特徴量の誤差を最小化する手法 (Ma et al. 2016), CNN 言語モデルや BERT の特徴量を TextRank に適用する手法 (Yin and Pei 2015; Zheng and Lapata 2019) が提案されている. これらは事前学習されたニューラルネットワークを特徴量抽出器として用いて, 既存の要約モデルに適用しているが, 我々は end-to-end での学習が可能なフレームワークを提示する。

End-to-end で学習可能なニューラルネットワークベースの要約モデルは, 生成型のモデルがいくつか提案されている。文圧縮においては，シャッフルされた単語を元の順番に並び替えるタスクを使用したもの (Fevry and Phang 2018)，圧縮された文から元の文を復元するタスクを使用したもの (Baziotis et al. 2019) がある. レビュー文の生成型要約として, 木構造の親ノー ドから要約生成を行うもの (Isonuma et al. 2019), レビュー文の特徴量ベクトルの平均ベクトルから要約を生成する手法 (Chu and Liu 2019), VAE (Variational Auto-Encoder) の事前分布を要約生成に応用したもの (Amplayo and Lapata 2020) がある。他に，マスクされた文を復元するタスクを要約生成に応用した研究がある (Laban et al. 2020).

メール，チャット，ソーシャルメディアなどのオンライン会話の要約は古くから研究されている. ニューラルネットワークを利用した要約モデルが台頭している一方, 会話文の要約には非ニューラルモデルが使われている．既存手法として，単語をノードとしたグラフの経路スコア計算を利用したもの (Mehdad et al. 2014; Shang et al. 2018)がある. Dialogue Act 分類は,文をその役割（例：質問，回答，挨拶など）ごとに分類するタスクであるが，会話文の要約研究にも応用されている (Bhatia et al. 2014; Oya and Carenini 2014).

引用は要約の重要な要素になりうる。我々は返信する際, 重要な箇所を強調するため, 引用を利用する. 引用を特徴量として活用した研究として, 引用に出現した単語に重み付けをして, Centroid ベースの手法を改善したものがある (Carenini et al. 2007; Oya and Carenini 2014). この先行研究では, 引用を補助的な特徴量として使用したが，本研究では，引用のみに着目する. また，本研究では明示的な引用を教師信号として使わずに，暗黙的引用を抽出する.

## 3 提案モデル

本研究では, 教師なし抽出型要約モデルである Implicit Quote Extractor (IQE) を提案する.図 2 にモデルの概要を示す。学習時のモデルの入力は投稿と返信候補である。返信候補は，投稿に対する真，あるいは偽の返信である，IQEの学習タスクは返信候補が真であるか偽であるかを判定することである.

図 2 提案モデル, Implicit Quote Extractor (IQE)の概要図. Extractor は, 投稿の文をいくつか抽出し,返信候補が投稿に対する真の返信であるかの予測に利用する． $k$ と $j$ はから $\mathrm{N}$ の整数である.

IQE は 3 つの構成要素から成る. Encoder, Extractor, Predictorである. Encoder は, 投稿文の特徵量を計算する。 Extractor は少数の文を投稿から抽出する。この抽出文はテスト時には要約として使用される. Predictor は Extractor が抽出した投稿の文を用いて, 返信候補の真偽を判定する。各構成要素の詳細を以下に説明する。

Encoder Encoder は投稿の特徴量を計算する。まず，投稿を $N$ 個の文 $\left.\{s_{1}^{p}, s_{2}^{p}, \ldots, s_{N}^{p}\right.\}$ に分割する. 各文 $s_{i}^{p}(i \in\{1, \ldots, N\})$ は $K_{i}$ 個の単語 $W_{i}^{p}=\left.\{w_{i 1}^{p}, w_{i 2}^{p}, \ldots, w_{i K_{i}}^{p}\right.\}$ を含む. 単語は単語埋め达み層を通じて, 連続空間のベクトル $X_{i}^{p}=\left.\{\boldsymbol{x}_{i 1}^{p}, \boldsymbol{x}_{i 2}^{p}, \ldots, \boldsymbol{x}_{i K_{i}}^{p}\right.\}$ に埋め达まれる. 各文の特徴量 $\boldsymbol{h}_{i}^{p}$ は各埋め込み単語ベクトルを双方向 Long Short-Term Memory (BiLSTM) に入力し, 最初と最後の隠れ層を結合することで得る。

$
\boldsymbol{h}_{i}^{p}=\operatorname{BiLSTM}\left(X_{i}^{p}\right)
$

Extractor Extractor は Attention 機構を用いて返信候補の真偽判定に利用する少数の文を投稿から抽出する。IQEが正確な判定を行うようパラメータを学習する過程で, Extractor は返信が言及しやすい文を抽出するように学習する。これは, 返信に言及されない文は返信候補の真偽判定に有用では無いからである。 Extractor は抽出文の選択に返信の特徵量を使わないことに注意されたい．これは，要約の抽出処理を返信に依存させないようにするためである．IQE は学習時にのみ返信を必要とし, 評価時には返信なしで要約を抽出することができる.

我々は Extractor における特徴量計算器としてLSTM を使用する. Extractorの隠れ層の初期値 $\boldsymbol{h}_{0}^{\text {ext }}$ として, Encoderの隠れ層 $\boldsymbol{h}_{i}^{p}$ の平均値を使用する. Extractor の隠れ層 $\boldsymbol{h}_{t}^{\text {ext }}$ は入力べ

クトル $\boldsymbol{x}_{t-1}^{e x t}$ を逐次的に入力することで更新される. この逐次的な更新は, 抽出したい文の数 $L$回分行われる.

$
\boldsymbol{h}_{t}^{e x t}= \begin{cases}\frac{1}{N} \sum_{i=1}^{N} \boldsymbol{h}_{i}^{p} & (t=0) \\ \operatorname{LSTM}\left(\boldsymbol{x}_{t-1}^{e x t}\right) & (1 \leq t \leq L)\end{cases}
$

Extractorの LSTMへの入力ベクトル $\boldsymbol{x}_{t}^{e x t}(0 \leq t \leq L)$ は, 以下のように計算される.

$
\boldsymbol{x}_{t}^{e x t}= \begin{cases}\boldsymbol{p} & (t=0) \\ \sum_{i=1}^{N} \alpha_{t i} \boldsymbol{h}_{i}^{p} & (1 \leq t \leq L)\end{cases}
$

$t=0$ の時, $\boldsymbol{x}_{t}^{e x t}$ はパラメータベクトル $\boldsymbol{p}$ であるが, $t>0$ の時, Encoder で計算された投稿文の特徵量べクトル $\boldsymbol{h}_{i}^{p}$ の線形和である。この線形和は, Attention 機構によって計算される。図 2 に示すように Extractor は LSTM と Attention 機構を用いて逐次的に文を抽出する。図の $\boldsymbol{h}_{k}^{p}$ および， $\boldsymbol{h}_{j}^{p}$ は抽出された投稿の文を示し， $k$, および $j$ は， 1 から $\mathrm{N}$ の整数である. Attention 機構を用いて抽出する投稿文を一意に決定するには, Attention の重みベクトルを one-hot にする必要がある。このため, 学習時には Gumbel Softmax (Jang et al. 2017)を使用する. one-hot 化された Attentionの重み $\boldsymbol{\alpha}_{t}=\left.\{\alpha_{t i}\right.\}$ は，以下の式によって計算される。ここで， $t$ は 1 から $L$ までの整数である.

$
\begin{gathered}
u_{i} \sim \operatorname{Uniform}(0,1) \\
g_{i}=-\log \left(-\log u_{i}\right) \\
a_{t i}=\boldsymbol{c}^{T} \tanh \left(\boldsymbol{h}_{t}^{e x t}+\boldsymbol{h}_{i}^{p}\right) \\
\pi_{t i}=\frac{\exp a_{t i}}{\sum_{k=1}^{N} \exp a_{t k}} \\
\alpha_{t i}=\frac{\exp \left(\log \pi_{t i}+g_{i}\right) / \tau}{\sum_{k=1}^{N} \exp \left(\log \pi_{t k}+g_{k}\right) / \tau}
\end{gathered}
$

式 (4)(5)のように, Gumbel ノイズ $\boldsymbol{g}=\left.\{g_{i}\right.\}$ を, 一様分布からサンプリングされたノイズ $\boldsymbol{u}=\left.\{u_{i}\right.\}$ を用いて生成する. 次に式 (6)のように，重み $a_{t i}$ を, Extractor の隠れ層 $\boldsymbol{h}_{t}^{e x t}$ と Encoder が計算した各投稿文の特徴量ベクトル $\boldsymbol{h}_{i}^{p}$ から計算する. 重みベクトル $\boldsymbol{a}_{t}=\left.\{a_{t i}\right.\}$ は,式 (7)(8)を通じて, one-hot に近い重みべクトル $\boldsymbol{\alpha}_{t}=\left.\{\alpha_{t i}\right.\}$ に変換される. $\boldsymbol{c}$ はパラメータベクトルであり, 温度定数 $\tau$ は 0.1 に固定した。

Predictor 抽出された投稿の文と返信候補の特徴量を使い, Predictor は返信候補が実際の返信であるかどうかを判定する。実際の投稿に正のラベル，ランダムにサンプリングされた返信候補に負のラベルを付与した。返信候補 $R=\left.\{s_{1}^{r}, s_{2}^{r}, \ldots, s_{M}^{r}\right.\}$ は $M$ 個の文から成ると仮定する. これらの文の特徵量べクトル $\boldsymbol{h}_{j}^{r}(j \in\{1, \ldots, M\})$ は, 数式 (1) と同様に計算される.
投稿と返信候補の関係の計算に, Decomposable Attention (Parikh et al. 2016)を使用する. Decomposable Attention は，2つのテキストを文ごとに分解し，テキスト間の関係性予測に使用するモデルである. IQE も同様に，投稿を文単位に分割して 2 つの文集合の関係性を計算するため，同様の機構を持つモデルとして，Decomposable Attention を採用した，抽出された文のベクトル $\boldsymbol{x}_{t}^{e x t}$, および返信の文のベクトル $\boldsymbol{h}_{j}^{r}$ を Decomposable Attention に入力し, 得られた出力をシグモイド関数に入力することで, 二值分類の確率值 $y$ を得る.

$
y=\operatorname{sigmoid}\left(\text { Decomposable Attention }\left(\boldsymbol{x}_{1}^{e x t}, \ldots, \boldsymbol{x}_{L}^{e x t}, \boldsymbol{h}_{1}^{r}, \ldots, \boldsymbol{h}_{M}^{r}\right)\right)
$

この分類タスクの損失関数 $\mathcal{L}_{r e p}$ は，以下のように Cross Entropyを用いて計算される。 $t_{r e p}$ は返信候補が実際の返信である時 1 であり，そうでない時には 0 である.

$
\mathcal{L}_{r e p}=-t_{r e p} \log y-\left(1-t_{r e p}\right) \log (1-y)
$

## 4 実験

我々は， 2 種類のデータセットで学習と評価を行う．1つはメールデータであり，もう 1 つはソーシャルメディア Reddit のデータセットである.

## 4.1 メールデータセット

我々は Avocado collection ${ }^{1}$ を学習に使用する. Avocado collection は倒産した IT 企業から得た 279 のアカウントの公開メールデータセットである。このデータセットから, 投稿と返信の対を収集し，モデルの学習データを作った。

投稿と返信の対の内，単語数が 50 語以下の投稿，あるいは 25 語以下の返信を含む対を除去した.この前処理の後， 56,174 の対を得た。ランダムサンプリングにより，誤った投稿と返信の対を取得する．実際の投稿と返信の対に正のラベル，誤った投稿と返信の対に負のラベルを付与した. 正のラベル, 負のラベルの数は同数である。 すなわち, 合計して, 112,348 の対を得た.

評価のため, Enron 要約データセットを使用する (Loza et al. 2014). このデータセットは 2 つの評価データセットから成る. ECS (Enron Corporate Single) と EPS (Enron Personal Single) である．ECS は業務用メールのデータセットであり，EPS は私用メールのデータセットである.各メールの要約は 2 名のアノテーターによって，2つずつ作成されている。表 1 に，これらのデータセットの概要を示す。これらのデータセットは開発データセットを含まないため, ECS の開発データセットをEPS, EPS の開発データセットをECS とした。開発データセットは, 評価に使うモデルの決定に使用する.

} & \multicolumn{3}{|c|}{ 要約 } & \multicolumn{3}{|c|}{ 本文 } \\

表 1 評価データセットの概要.

## 4.2 Reddit TIFU データセット

Reddit TIFUデータセット (Kim et al. 2019) は, tldr タグを要約タスクに応用したデータセットである. tldr は "too long didnt read” の略である. Redditの TIFU と呼ばれるオンライン掲示板では，本文が長すぎる時に要約を tldr として記す慣習がある。我々はメールデータセットと同様の前処理を TIFUデータセットに対しても行う.

既存研究 (Kim et al. 2019) で公開された TIFU データセットには返信データが付いていないため，我々は $\operatorname{praw}^{2}$ を用いてこれを収集した．結果，183,500の投稿と返信の対を得た．ランダムサンプリングにより, 負のラベルの付いた対を同数得て, 学習データとして合計 367,000 対を得た．学習データに含まれていない投稿と tldrの対の内, tldrの単語長が 20 以上のものを 2,500 対得て，1,240を開発データセット，もう 1,260 を評価データセットとした． TIFU の評価データセットの概要をメールデータセットと同じく表 1 に記す.

## 4.3 学習

単語埋め込み層と LSTM の隠れ層の次元はそれぞれ 100 とした。単語数は 30,000 とした. メールやソーシャルメディアの投稿と返信を文に分割した後に単語に分割した。分割には nltk の tokenizer ${ }^{3}$ を用いた。文数の上限を 30 文, 各文の単語数の上限を 200 語とした。学習の epoch 数を 10 とし，ミニバッチサイズは 64 , optimizer として Adam (Kingma and Ba 2015) を用いた. Adamのパラメータとして， $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, e p s=1 e-8$ を用いた.

最初の数 epoch では Extractor を使用せずに，投稿の全ての文を返信候補の真偽判定に使用する.これは Extractor と Predictor をそれぞれ効率的に学習するためである. Extractor はどの文を抽出すべきかを学習するが，Predictor は投稿と返信候補の関係を学習する。そのため， 2 つの構成要素が別々のことを同時に学習しなければならない。一般に, 複数の構成要素を持つモデルは, 各構成要素を事前学習しておいた方が高性能になる (Hashimoto et al. 2017). そのため, 最初の数 epoch では Predictor のみを学習し, Extractorを学習しない。この閥値は, 全

投稿文を返信候補の真偽判定に利用した時の分類精度 (F1-score) が収束する epoch 数から決定する.

学習時には, Extractor が抽出する文数 $L$ を 1 から 4 にランダムに変化させた. 投稿あるいは返信候補のテキスト中に出現する固有表現（人物，場所，組織）を, Stanford Named Entity Recognizer (NER)4を用いてタグに置換した. これは，モデルがただ固有表現のみを抽出の判断材料に使うことを防ぐためである。単語埋め込み層のべクトルは Skipgram を用いて事前学習したものを初期値とした。その際，学習には IQE 自体の学習データと同じデータを使用した.我々は同じ実験を 5 回繰り返し，平均値を結果として計算する。これは，学習パラメータの初期値や最適化の際の乱数の影響を小さくするためである.

## 4.4 評価

評価時には， Encoder と Extractorのみを使用し， Predictor を使用しない. IQE とべースライン要約モデルは 3 文を要約として抽出する。先行研究に倣い, 我々は ROUGE-1, ROUGE-2, ROUGE-L の F1 值のデー夕毎の平均値を評価に使用する (Lin 2004). 各モデルは 3 文を抽出し, 評価に使用する. ROUGE の計算には ROUGE 2.0 (Ganesan 2015) を使用する. この時, stemming, 同義語処理, および stop word は使用していない. 開発データの評価指標として, ROUGE-1の F1 值を使用する.

## 4.5 ベースラインモデル

ベースラインモデルとして, TextRank (Mihalcea and Tarau 2004), LexRank (Erkan and Radev 2004), KL-Sum (Haghighi and Vanderwende 2009), PacSum (idf), PacSum (BERT) (Zheng and Lapata 2019), Lead, そして Random を使用する.

TextRank，および LexRank はグラフ Centrality ベースの手法で，教師なし要約において長らく強力な手法として認められてきた。PacSum はTextRankを改良した手法である。これは， Centrality に加え, 文の順番を特徴量として利用する。PacSum は文の類似度グラフ計算に, 古典的な単語の共起度に idf を積算したものを用いることもできるが, BERT (Devlin et al. 2019) などのニューラルネットワークの分散表現を利用しても有効性を発揮する．本実験では，前者のモデル PacSum (idf) と，後者のモデル PacSum (BERT) 両方で実験を行う． KL-Sum は抽出された文と本文が同じ単語分布を持つように KL Divergence を用いて制約をかける手法である. Lead は最初の数文を抽出する手法であるが，ニュース記事要約において強力な手法とされてきた。加えて，ベースラインとして IQETextRankを使用する。これは文同士の類似度として， IQE の Encoder の文ベクトルの Cosine 類似度を使用した TextRankのモデルである。このモデ
^{4}$ https://nlp.stanford.edu/software/CRF-NER.shtml
}

ルで実験を行う理由は，我々の提案手法の性能が単にニューラルネットワーク由来でないことを示すためである。

## 5 結果と考察

表 $2 ， 3 ， 4$ にそれぞれの評価データセットに対する結果を示す. 表中の†は，提案手法 IQE （固有表現置換有り）が有意に勝っている箇所，曰は，IQEが優位に劣っている箇所を示している。有意差検定には Paired Bootstrap Resampling (Koehn 2004)を使用した. 各モデルの出力

表 2 ECS データセットにおける結果．太字は最も良い結果を，下線は 2 番目に良い結果を示している.提案手法の $\pm$ は, 5 回実験した際の標準偏差を示す.†は提案手法 IQE が有意に勝っている箇所,曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

表 3 EPS データセットに打ける結果，太字は最も良い結果を，下線は 2 番目に良い結果を示している.提案手法の $\pm$ は, 5 回実験した際の標準偏差を示す.†は提案手法 IQE が有意に勝っている箇所,曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

表 4 TIFU tldr データセットにおける結果．太字は最も良い結果を，下線は 2 番目に良い結果を示している。提案手法の土は， 5 回実験した際の標準偏差を示す。†は提案手法 IQE が有意に勝っている箇所，曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

の評価値を評価データの総数の半分に当たる回数分, 重複有りでランダムサンプリングし, 提案手法の性能が上回る確率を 1,000 試行行うことで計算する. 我々の提案手法 IQE はメールデー タセット (ECS, EPS) において, ROUGE-2-F の評価值が PacSum (BERT) に及ばなかったものの，他の多くのベースラインモデルの性能を評価指標において上回った. Reddit TIFUデー タセットにおいては, IQE は TextRank 以外のベースラインモデルの性能を上回った.

ECS，およびEPS データセットにおいて，IQETextRankは性能面において，IQEを大きく下回った。これは, 提案手法の有効性が単にニューラルネットワーク由来のものでは無いことを支持する．過去の研究 (Zheng and Lapata 2019) においても, TextRankのグラフの類似度計算にニューラルネットワークの特徴量を利用したモデルは性能が低下することが報告されている.

提案手法は ECS データセットよりも EPS データセットにおいて, より大きくLexRank や TextRankを上回った. この理由は表 1 に記されたデータセットの概要から説明できる。各文中の平均単語数は EPS の方が少ない. LexRankやTextRankのようなべースラインモデルは単語の共起情報を利用した文類似度を文抽出に利用する。そのため, 文長が短ければ共起ネットワークは疎になり，文間の関係性をうまく捉えられなくなり，性能が低下する。

Reddit TIFU データセットにおいて, LexRank や PacSum の ROUGE 值は低い結果となった. これは，idf や順序情報が Reddit TIFU データにおいて有効でないことを示唆している。また，提案手法は Reddit TIFU データセットにおいて，TextRankより低性能となった。考えられる理由として, IQE の学習が Reddit データにおいて, メールデータより難しいということが挙げられる。IQE の返信候補の真偽判定の精度 (F1-score) は, 5 回平均で, メールデータでは 0.803 であったが，Redditデータでは 0.741 であった。この理由には，それぞれのデータの投稿数の
長さと，返信の長さが関連している，IQEは，投稿から一部の文のみを，返信候補の真偽判定に使用する。そのため，投稿が長ければ長いほど，返信が言及しやすい文を抽出する難易度が増加する. 反対に，返信は長ければ長いほど判断材料が増えるため, 抽出した文が返信と関係しているかの判断が容易になる。学習データにおけるメールデータの投稿の平均文数, 返信の平均単語長はそれぞれ 7.7, 150.0であるが, Redditデー夕の投稿の文数, 返信の平均単語長はそれぞれ，16.9，101.5であった。このことが Reddit データにおける学習の難しさを示している. 返信の長さに差が生じている理由は, Reddit は誰でも返信ができるという特性があり, それにより，メールと比べてユーザーが重要箇所に返信しなければならないという義務感を持ちにくいという点が考えられる。

## 5.1 引用抽出性能と要約性能との関係

提案モデルはメールデータセットにおいて高い性能を発揮したが，2つの疑問が残る．1つは,提案モデルは引用を直接教師データとはしておらず, そのため提案モデルが実際に引用箇所を抽出しやすいのか不明確であるという点である。もう1つの疑問は, 引用と要約性能の関係についてである。我々は Carenini らの先行研究 (Carenini et al. 2007; Oya and Carenini 2014)に従い, 引用が要約に有用だと仮定した. しかし, この先行研究では引用を補助的な特徴量として使用しているので, 引用自体が要約に有用なのか明らかでない.これら 2 の疑問を明らかにするために，2つの実験を行った.

4.1 章で使用した Enron データセット (Loza et al. 2014)には引用を含む返信がほとんど存在しない，そのため，実験において我々は Reddit TIFU データセットと prawを通じて得た返信を利用する。このデータセットは 4.2 章で説明したものであり，ここから引用を含む返信を抽出する。ここで，“>”という記号から始まり，かつ返信先の投稿に含まれている文を引用と定義する。合計して，1,969の投稿と引用を含む返信の対を得た，返信で引用される文を，要約モデルがどの程度正確に投稿から抽出できるか, また, 引用が要約として有用でありうるかを, これらのデータを用いて評価する。比較には, 表 4 において, 最も良い結果を出した TextRankを用いる。

提案モデルの引用抽出性能要約モデルの引用抽出能力を評価するため, 引用抽出を情報抽出タスクとみなし, Precision $@ 3(\mathrm{prec} @ 3)$ で評価した. これは, 各要約モデルが抽出した 3 つの文の中にどの程度引用文が含まれているかを示す. 表 5 に結果を示す. IQE は TextRank, そして Random より引用を抽出する性能が高いことを示している.

被引用箇所は要約になりうるか？ 引用が要約として有用であるかを検証するため, 我々は引用自体を要約とみなし，そのROUGE 値を計算した。我々は前項で説明した Reddit から得た引用データ 1,969 を引用の文数に応じて分類し，それぞれ ROUGE 值を計算した. また比較のため, TextRank やランダムに同数の文を取得した場合 (Random) の ROUGE 值も計算した。表

6 に結果を示す. 引用文の文数が 1 文あるいは 2 文の時, 引用 (Quote) は, TextRank の性能を ROUGE-2-F，ROUGE-L-F において上回った。この結果は，引用が要約として有効であるという仮説を支持する。引用が 3 文である時，性能は著しく減少した。これは引用が基本的に連続した文であるという制約があるのに対し，TextRankは文の順序を問わず，最適な文を自由に抽出できるからと考えられる。

## 5.2 Ablation Tests

固有表現置換の影響固有表現の影響を調べるため，固有表現置換を行わない場合の結果を議論する，表 7 のメールデータにおける結果は，固有表現置換は性能向上に寄与することを示している。これは, 人名, 地名, 組織名は正しい返信を判定する際の大きなヒントになり得るか

表 5 各モデルの引用抽出性能.

表 6 引用を抽出要約とみなした時の ROUGE. 太字は最も良い結果を示している.

表 7 Ablation test の結果. 固有表現置換や事前学習を行わない場合の結果を示す.†は IQE が有意に勝っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

らと考えられる。例えば，投稿と返信が同じ人物の名前に言及していると，モデルは人物名を含む文を単純に抽出するようになる。固有表現の置換は，固有表現ではなく意味的に返信に関連する文をモデルに抽出させることを促す.

しかしながら，表 7 が示すように，Reddit TIFU データセットでは固有表現置換はあまり性能に影響を与えなかった. Reddit は匿名掲示板であるため, 投稿は特定の人物名に言及しにくいと考えられる。そのため, 固有表現が投稿と返信候補の真偽判定の手がかりにはなりにくい.事前学習の影響 4.3 章で説明したように, 我々は Predictor を最初の数 epoch で事前学習した. これは Extractor と Predictor を別々に学習するためである。表 7 に Predictor の事前学習の影響の結果を示す。事前学習なしでは, 性能は低下した。これは各構成要素を別々に学習させることの重要性を示している.

## 5.3 既存手法との相違点

1 章で述べたように，ほとんどの既存の教師なし要約手法は重要なトピックが高頻度に言及されるという仮定に基づいている。TextRankはその好例である。TextRank は文の類似度グラフの Centrality を重要文抽出に使用する。多くの場合 Centrality の指標として PageRank が使われる。すなわち，TextRankは PageRankの高い文を要約として抽出する。 ある文の PageRank が高いということは，その文が他の多くの文と類似度が高いことを意味している．これはその文が言及する話題に他の文も言及していることを示す. 我々は, 重要なトピックは必ずしも頻繁に言及されるわけではないと考え, 言及頻度とは異なる性質に着目した. それは返信による引用のされやすさ，である.

TextRank と比較し, 我々の提案手法が Centralityベースの手法では捉えきれない重要文を抽出できることを示す. 図 3 に最大 PageRank と各モデルが抽出する文の ROUGE-1-F の関係性を

図 3 ECS およびEPS データセットの各メールにおいて, 最大の PageRank と ROUGE-1-F の相関を示した図，X軸は，四捨五入された最大 PageRankを，Y 軸はROUGE-1-Fを，エラーバーは標準誤差を示している.
示す. 各テキストを文に分割し，文毎に PageRankを計算する。その内，最大の PageRankを小数点第一位で四捨五入し, 同一の最大 PageRank 值を持つデータ間の ROUGE-1-F の標準誤差をエラーバーとして示す。使用したデータは ECS と EPSであり，ROUGE 値は各モデルが 1 文要約として抽出した時の値を示している。図より，TextRankが抽出する文の ROUGE-1-F は，最大 PageRank と比例して増加する. 最大 PageRank が低い時, IQE が抽出した文の ROUGE-1-F 値は，TextRankを上回る。これは，提案手法が言及回数の少ない場合にも，重要文を捉えられるという仮説を支持している.

表 8 に IQE と TextRankがそれぞれ抽出した要約の具体例（EPSデータセット）を示す。参

## 本文 \\ Just got your email address from Rachel.

Congrats on your promotion.

I'm sure it's going to be alot different for you but it sounds like a great deal.

My hubby and' I moved out to Katy a few months ago.

I love it there - my parents live about 10 minutes away.

New news from me - I'm having a baby - due in June.

I can't even believe it myself.

The thought of me being a mother is downright scary but I figure since I'm almost 30, I probably need to start growing up.

I'm really excited though.

Rachel is coming to visit me in a couple of weeks.

You planning on coming in for any of the rodeo stuff?

You'll never guess who I got in touch with about a month ago.

It was the weirdest thing - heather evans.

I hadn't talked to her in about 10 years.

Seems like she's doing well but I can never really tell with her.

Anyway, I'll let you go.

Got ta get back to work.

Looking forward to hearing back from ya.

## 参照要約

The sender wants to congratulate the recipient for his/her new promotion, as well as, updating him/her about her life. The sender just move out to Katy few months ago.

She is having a baby due in June.

She is scared of being a mother but also pretty exited about it.

Rachel is coming to visit her in couple of weeks and she is asking if he/she will join for any of the rodeo stuff.

She run into heather evans which she hadn't talked in 10 years.

表 8 Implicit Quote Extractor (IQE) (bold) とTextRank (italic)によって抽出された EPSデータセットの文の具体例.

表 9 Implicit Quote Extractor (IQE) (bold)とTextRank (italic)によって抽出された Reddit TIFU データセットの文の具体例.

照要約は，メールの受信者の昇進や発信者の出産に言及している. これらは本文で一度しか言及されていないため, TextRankはそれらの文の抽出に失敗しているが，我々の提案モデルは正しくそれらの文を抽出できている。それは，こうしたトピックが返信によって言及されやすいからである。実際, 学習に使用した Avocado Mail Collectionデー夕の返信で, baby, promoted, promotion はそれぞれ 566 回，58 回，456 回言及されている。表 9 に載せた Reddit TIFU デー タセットの具体例にも同様の傾向が見られる。すなわち, kitten や squirrel は一度しか言及されていないため，TextRank はそれらの文の抽出に失敗しているが，提案モデル IQE はそれらの文を抽出できている.

## 6 結論

本稿では，従来手法とは異なる文の重要度の指標である “引用のされやすさ”に着目した教師なし抽出型要約モデル Implicit Quote Extractorを提案し, その有効性を 2 つのメールデー タセット（ECS と EPS）と 1 つのソーシャルメディアデータセット (Reddit TIFU) を対象にした評価実験で示した，我々は，従来手法とは異なる指標に着目したが，従来手法で用いられた “言及頻度”も依然として重要であるため, これら両方の側面を考慮するモデルの考案が今後の課題となる．また，提案モデルがより引用を抽出しやすく，かつ引用が要約に有用であるとする仮説を，Reddit TIFUデータセットを用いて検証し，仮説を支持する結果を得たが，メールデータセットでは検証できなかった。メールデータセットは引用を含む返信と参照要約を同時

に持つデータを含んでいなかったからである。我々の仮説がメールやその他のデータセットでも有効であるかを検証することが今後の課題である.

## 謝 辞

東京工業大学奥村・高村・船越研の皆様には研究の方針に関して様々なアドバイスを頂きま

した.ここに感謝の意を表します。本研究は, The 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing (AACL-ICJNLP 2020) の発表 "Identifying Implicit Quotes for Unsupervised Extractive Summarization of Conversations" で報告した研究に，追加実験を加え，加筆修正したものです.

## 参考文献

Amplayo, R. K. and Lapata, M. (2020). "Unsupervised Opinion Summarization with Noising and Denoising." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1934-1945, Online. Association for Computational Linguistics.

Baziotis, C., Androutsopoulos, I., Konstas, I., and Potamianos, A. (2019). "SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 673-681. Association for Computational Linguistics.

Bhatia, S., Biyani, P., and Mitra, P. (2014). "Summarizing Online Forum Discussions - Can Dialog Acts of Individual Messages Help?" In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2127-2131. Association for Computational Linguistics.

Carenini, G., Ng, R. T., and Zhou, X. (2007). "Summarizing Email Conversations with Clue Words." In Proceedings of the 16th International Conference on World Wide Web, WWW '07, pp. 91-100. ACM.

Chu, E. and Liu, P. J. (2019). "MeanSum: A Neural Model for Unsupervised Multi-Document Abstractive Summarization." In Proceedings of the 36th International Conference on Machine Learning, ICML 2019, pp. 1223-1232.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erkan, G. and Radev, D. R. (2004). "LexRank: Graph-based Lexical Centrality As Salience in Text Summarization." J. Artif. Int. Res., 22 (1), pp. 457-479.

Fevry, T. and Phang, J. (2018). "Unsupervised Sentence Compression using Denoising AutoEncoders." In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 413-422. Association for Computational Linguistics.

Filippova, K. (2010). "Multi-Sentence Compression: Finding Shortest Paths in Word Graphs."

In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 322-330, Beijing, China. Coling 2010 Organizing Committee.

Ganesan, K. (2015). "ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks.".

Gholipour Ghalandari, D. (2017). "Revisiting the Centroid-based Method: A Strong Baseline for Multi-Document Summarization." In Proceedings of the Workshop on New Frontiers in Summarization, pp. 85-90. Association for Computational Linguistics.

Haghighi, A. and Vanderwende, L. (2009). "Exploring Content Models for Multi-Document Summarization." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 362-370, Boulder, Colorado. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933, Copenhagen, Denmark. Association for Computational Linguistics.

He, Z., Chen, C., Bu, J., Wang, C., Zhang, L., Cai, D., and He, X. (2012). "Document Summarization Based on Data Reconstruction." In Proceedings of the 26th AAAI Conference on Artificial Intelligence, AAAI '12, pp. 620-626. AAAI Press.

Isonuma, M., Mori, J., and Sakata, I. (2019). "Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2142-2152. Association for Computational Linguistics.

Jang, E., Gu, S., and Poole, B. (2017). "Categorical Reparameterization with Gumbel-Softmax."

In 5th International Conference on Learning Representations, ICLR 2017.

Kågebäck, M., Mogren, O., Tahmasebi, N., and Dubhashi, D. (2014). "Extractive Summarization
using Continuous Vector Space Models." In Proceedings of the 2nd Workshop on Continuous Vector Space Models and their Compositionality (CVSC), pp. 31-39. Association for Computational Linguistics.

Kim, B., Kim, H., and Kim, G. (2019). "Abstractive Summarization of Reddit Posts with Multilevel Memory Networks." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2519-2531. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In 3rd International Conference on Learning Representations, ICLR 2015.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Laban, P., Hsi, A., Canny, J., and Hearst, M. A. (2020). "The Summary Loop: Learning to Write Abstractive Summaries Without Examples." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5135-5150, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

Liu, H., Yu, H., and Deng, Z.-H. (2015). "Multi-document Summarization Based on Two-level Sparse Representation Model." In Proceedings of the 29th AAAI Conference on Artificial Intelligence, AAAI '15, pp. 196-202. AAAI Press.

Loza, V., Lahiri, S., Mihalcea, R., and Lai, P.-H. (2014). "Building a Dataset for Summarization and Keyword Extraction from Emails." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC-2014), pp. 2441-2446. European Languages Resources Association (ELRA).

Ma, S., Deng, Z.-H., and Yang, Y. (2016). "An Unsupervised Multi-Document Summarization Framework Based on Neural Document Model." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1514-1523. The COLING 2016 Organizing Committee.

Mehdad, Y., Carenini, G., and Ng, R. T. (2014). "Abstractive Summarization of Spoken and Written Conversations Based on Phrasal Queries." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1220-1230. Association for Computational Linguistics.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Text." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411. Association for Computational Linguistics.

Oya, T. and Carenini, G. (2014). "Extractive Summarization and Dialogue Act Modeling on Email Threads: An Integrated Probabilistic Approach." In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 133-140. Association for Computational Linguistics.

Parikh, A., Täckström, O., Das, D., and Uszkoreit, J. (2016). "A Decomposable Attention Model for Natural Language Inference." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2249-2255. Association for Computational Linguistics.

Shang, G., Ding, W., Zhang, Z., Tixier, A., Meladianos, P., Vazirgiannis, M., and Lorré, J.-P. (2018). "Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 664-674. Association for Computational Linguistics.

Yin, W. and Pei, Y. (2015). "Optimizing Sentence Modeling and Selection for Document Summarization." In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI '15, pp. 1383-1389. AAAI Press.

Zheng, H. and Lapata, M. (2019). "Sentence Centrality Revisited for Unsupervised Summarization." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6236-6247. Association for Computational Linguistics.

## 略歴

狩野竜示：2011 年東京大学理学部生物学科卒業. 2013 年同大学院情報理工学系研究科知能機械情報学専攻修了。2013 年から 2020 年まで富士ゼロックス株式会社に勤務. 2019 年より東京工業大学工学院情報通信コース博士課程に在籍。2020 年より富士フイルム株式会社画像技術センターにおいて, 医療言語処理, 要約関連の研究に従事.

谷口友紀：2004 年神戸大学大学院自然科学研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, 富士フイルム株式会社画像技術センターにおいて, 医療言語処理, 情報抽出の研究に従事. 言語処理学会会員.

大熊智子：1996 年慶應義塾大学政策・メディア研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, 富士フイルム株式会社画像技術センター

において, 医療言語処理, 情報抽出の研究に従事. 言語処理学会理事. 博士 (学術).

(2020 年 10 月 29 日受付)

(2021 年 2 月 8 日再受付)

(2021 年 3 月 10 日採録)


# 教師付き視覚的注意を用いたマルチモーダルニューラル機械翻訳

西原 $\quad$ 哲郎 $\dagger \cdot$ 田村 晃裕 ${ }^{\dagger} \cdot$ 二宮 崇 $\dagger \cdot$ 表 悠太郎 $\dagger \cdot$ 中山 英樹 $+\dagger \dagger$

本稿では，マルチモーダルニューラル機械翻訳 (MNMT) のための教師付き視覚的注意機構を提案する。提案手法は, 人手で付与された画像内の領域と単語との対応関係を視覚的注意の教師データとして与え, これらの対応関係を制約にして直接視覚的注意機構の学習を行う. 教師なしで学習される従来の視覚的注意機構に比べてよ り正確に単語と画像領域との関係性を捉えることが期待される。実験では Multi30k データセットを用いた英独・独英翻訳，Flickr30k Entities JP データセットを用いた 英日・日英翻訳を行い, 提案する教師付き視覚的注意機構によって Transformer ベー スの MNMT モデルの性能が改善することが確認できた。また, 教師付きの言語間注意機構と組み合わせることにより, さらに性能が改善され, 最大で BLEU スコア が 1.61 ポイント， METEOR スコアが 1.7 ポイント向上することが確認できた.

キーワード：マルチモーダル機械翻訳，視覚的注意機構
## Supervised Visual Attention for Multimodal Neural Machine Translation

Tetsuro Nishihara $^{\dagger}$, Akihiro Tamura $^{\dagger \dagger}$, Takashi Ninomiya ${ }^{\dagger}$, Yutaro Omote $^{\dagger}$ and Hideki NaKayama ${ }^{\dagger \dagger \dagger}$

This paper proposed a supervised visual attention mechanism for multimodal neural machine translation (MNMT), trained with constraints based on manual alignments between words in a sentence and their corresponding regions of an image. The proposed visual attention mechanism captures the relationship between a word and an image region more precisely than a conventional visual attention mechanism trained through MNMT in an unsupervised manner. Our experiments on EnglishGerman and German-English translation tasks using the Multi30k dataset and on English-Japanese and Japanese-English translation tasks using the Flickr30k Entities JP dataset show that a Transformer-based MNMT model can be improved by incorporating our proposed supervised visual attention mechanism and that further improvements can be achieved by combining it with a supervised cross-lingual attention mechanism (up to +1.61 BLEU, +1.7 METEOR).

Key Words: Multimodal Machine Translation, Visual Attention Mechanism

## 1 はじめに

現在，ニューラルネットワークを用いた機械翻訳（ニューラル機械翻訳）が機械翻訳の主流となっている。注意機構を用いた再帰型ニューラルネットワーク (Recurrent Neural Network; RNN) に基づくニューラル機械翻訳モデルは初期のころから広く使用されてきたモデルであり，原言語文内の単語と目的言語文内の単語間の関係を捉える言語間注意機構を用いることで, 従来の RNN ベースのニューラル機械翻訳よりも高い精度を実現した (Bahdanau et al. 2015; Luong et al. 2015). また, 従来の言語間注意機構に加えて, 同じ文中の単語間の関係を捉える自己注意機構を導入した Transformer モデル (Vaswani et al. 2017) が提案され，RNN や畳み込みニュー ラルネットワーク (Convolutional Neural Network; CNN) を用いた手法と比べて高い精度を実現することから，近年注目されている。

ニューラル機械翻訳の性能を改善する手法については様々な研究がなされているが，その内の一つに，上述の言語間注意機構に制約を与える研究がある (Liu et al. 2016; Mi et al. 2016; Garg et al. 2019). これらの研究では，アライメントツールを用いて原言語文と目的言語文間の単語の対応関係を予め取得し，その対応関係を教師データとして与えて言語間注意機構を学習させることで翻訳性能の向上を実現している.

機械翻訳手法の一つとして，原言語文とそれに対応する内容の画像を入力することで翻訳性能の改善を目指すマルチモーダルニューラル機械翻訳 (Barrault et al. 2018) が提案されている.翻訳時に与えられる画像は，翻訳の曖昧性解消や省略補完の手がかりとして役立つと考えられ，画像を参照することでより質の高い翻訳が実現されることが期待されている．マルチモーダルニューラル機械翻訳のモデルとして, Helcl ら (Helcl et al. 2018)は, CNN によって抽出した画像の特徴量を翻訳に活用するために，文中の単語と画像の領域との対応関係を捉える視覚的注意機構を Transformer モデルのデコーダ内に導入したモデルを提案している. また, Delbrouck ら (Delbrouck and Dupont 2017) は，RNN ベースのマルチモーダルニューラル機械翻訳モデルのエンコーダに視覚的注意機構を導入したモデルを提案している。しかし，これらの視覚的注意機構は，マルチモーダルニューラル機械翻訳の訓練時に教師なしで自動的に学習が行われている。そのため，本来捉えるべき対応関係を常に捉えられているとは限らない.

本稿では，マルチモーダルニューラル機械翻訳の性能改善のために，人手により与えられた文中の単語と画像領域との対応関係に基づいて教師付き学習を行う制約付き視覚的注意機構を提案する。具体的には, 原言語文中の単語と画像内のオブジェクトとの対応関係が付与されたデータを教師データとして用いることで, Transformer モデルエンコーダ内の視覚的注意機構を直接学習させることを行う。

Multi30k データセット (Elliott et al. 2016) を用いた英独翻訳および独英翻訳と Flickr30k Entities JP データセット (Nakayama et al. 2020) を用いた英日翻訳および日英翻訳の評価実験

を行い，提案する教師付き視覚的注意機構によって Transformer ベースのマルチモーダル機械翻訳モデルの翻訳性能が改善することが確認できた。また, 教師付きの言語間注意機構と組み合わせることにより, さらに翻訳性能が改善されることを確認した。

本稿の構成は以下の通りである。2 節で本研究の背景について述べ， 3 節で提案手法について説明する． 4 節では実験について述べ， 5 節で実験結果の考察を行う． 6 節で関連研究について述べ，最後に 7 節でまとめと今後の課題について述べる.

## 2 Transformer ベースのニューラル機械翻訳

本節では, 本研究で提案するマルチモーダル機械翻訳モデルの基礎となる Transformer ベー スのニューラル機械翻訳を説明する。まず最初に Transformer モデルの概要を述べる。次に， Transformer モデルにおける教師付き言語間注意機構について説明する.

## 2.1 Transformer モデルの概要

Transformer モデルは，原言語文を受け取って中間表現に変換するエンコーダと，その中間表現を受け取って目的言語文を生成するデコーダから構成されている. エンコーダとデコーダはそれぞれエンコーダレイヤとデコーダレイヤを複数スタックした構成となっている。各エンコーダレイヤは自己注意機構と位置毎の全結合レイヤの 2 つのサブレイヤを持っている。また,各デコーダレイヤは上記の 2 つのサブレイヤの間に，言語間注意機構を加えた 3 つのサブレイヤから構成されている。これらのサブレイヤ間では, 残差接続 (He et al. 2016) とレイヤの正規化 (Ba et al. 2016) が用いられる.

自己注意機構と言語間注意機構 (Att) は以下の式で表される.

$
\begin{aligned}
\operatorname{Att}(Q, K, V) & =A V \\
A & =\operatorname{softmax}\left(\frac{Q K^{\top}}{\sqrt{d_{k}}}\right)
\end{aligned}
$

ここで， $A$ は注意行列と呼ばれる。また， $Q, K, V$ はエンコーダ及びデコーダにおける隠れ状態を表し， $d_{k}$ は $Q, K, V$ の次元数を表す. 自己注意機構では, 上式の $Q, K, V$ として直前のサブレイヤの出力を用いる。また，言語間注意機構では， $Q$ としてデコーダ内の直前のサブレイヤの出力, $K$ と $V$ としてエンコーダの出力を用いる. 自己注意機構では同一文中の単語間の関係を計算することができる。また，言語間注意機構では原言語文内の単語と目的言語文内の単語間の関係を計算することができる.

Transformer の特徵として, 隠れ状態を部分空間に分割し, 各部分空間において様々な情報を表現することを可能にするマルチヘッド注意機構がある． $h$ 個のヘッドからなるマルチヘッド
注意機構 (MHA) は以下のように表される.

$
\begin{aligned}
\operatorname{MHA}(Q, K, V) & =\left[\text { head }_{1} ; \ldots ; \text { head }_{h}\right] W^{O} \\
\text { head }_{i} & =\operatorname{Att}\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\right)
\end{aligned}
$

ここで， [] はべクトルを結合することを表している。 $W_{i}^{Q}, W_{i}^{K}, W_{i}^{V} \in \mathbb{R}^{d_{\text {model }} \times d_{k}}$ はそれぞれヘッド毎に定義されるパラメータ行列であり， $d_{\text {model }}$ 次元ベクトルを線形変換により $d_{k}$ 次元に縮退させる。この $d_{k}$ 次元べクトルが各ヘッドに渡される。 $W^{O} \in \mathbb{R}^{h d_{k} \times d_{\text {model }}}$ はパラメータ行列であり，各ヘッドの出力を結合したべクトルに対し線形変換を行う．なお， $d_{\text {model }}$ は埋め込み次元数を表しており, $d_{k}=d_{\text {model }} / h$ である.

単語位置毎の全結合レイヤ (FFN) における計算は, 以下の式で表される.

$
F F N(x)=\max \left(0, x W_{1}+b_{1}\right) W_{2}+b_{2}
$

ここで, $W_{1} \in \mathbb{R}^{d_{\text {model }} \times d_{f f}}, \quad W_{2} \in \mathbb{R}^{d_{f f} \times d_{\text {model }}}$ はパラメータ行列, $b_{1} \in \mathbb{R}^{d_{f f}}, b_{2} \in \mathbb{R}^{d_{\text {model }}}$ はバイアス項である。また, 全結合レイヤへの入力と出力の次元数は $d_{m o d e l}$, 中間レイヤの次元数は $d_{f f}$ である.

Transformer では語順の情報を組み込むために以下で表される位置エンコーディングが導入されている.

$
\begin{gathered}
P E_{(p o s, 2 i)}=\sin \left(\text { pos } / 10000^{2 i / d_{\text {model }}}\right) \\
P E_{(p o s, 2 i+1)}=\cos \left(p o s / 10000^{2 i / d_{\text {model }}}\right)
\end{gathered}
$

ここで，pos は単語の位置， $i$ は各成分の次元を表す.この位置エンコーディングを単語の埋め达み表現に加えることで，単語の語順の情報を付与することができる。

## 2.2 教師付き言語間注意機構

Garg ら (Garg et al. 2019)は, Transformer モデルの言語間注意機構に原言語と目的言語間の単語の対応関係を教師データとして与えて学習を行う手法を提案している．アライメントツー ルを用いて言語間の対応関係を取得し，マルチヘッド言語間注意機構のある 1 つのヘッドとの間で計算される誤差を最小化することによって注意機構の学習を行う，誤差は以下の交差エントロピーによって計算される.

$
\mathcal{L}_{a}(A)=-\frac{1}{M} \sum_{m=1}^{M} \sum_{n=1}^{N} G_{m, n} \times \log \left(A_{m, n}\right)
$

ここで， $M$ は目的言語文の文長， $N$ は原言語文の文長， $A$ は式 (4)によって計算される言語間注意機構の注意行列， $G$ は教師データとなる単語の対応関係を表した行列である. なお， $n$ 番
目の原言語文の単語と $m$ 番目の目的言語文の単語が対応関係にある場合は, $G_{m, n}$ は 1 となり, それ以外は 0 となる.この機械翻訳モデルの目的関数 $\mathcal{L}$ としては, 上述の $\mathcal{L}_{a}(A)$ を翻訳の誤差 $\mathcal{L}_{t}$ に加えた以下の損失関数を用いる.

$
\mathcal{L}=\mathcal{L}_{t}+\lambda \mathcal{L}_{a}(A)
$

ここで, $\lambda$ はイパーパラメータである.

## 2.3 Transformerベースのマルチモーダルニューラル機械翻訳に関する研究

マルチモーダルニューラル機械翻訳モデルとして様々なネットワーク構造のモデルが提案されているが, 近年は, Transformer モデルベースのモデルが盛んに研究されている。例えば, Takushima ら (Takushima et al. 2019)は CNN と Transformer エンコーダからなる画像エンコー ダを Transformer モデルに導入したマルチモーダルニューラル機械翻訳モデルを提案している.彼らのモデルでは，まず，画像エンコーダで入力画像に対して CNNを適用し， 入力画像の特徵量を獲得する. その後, 獲得した特徵量を Transformer モデルのエンコーダに入力し, 自己注意機構によって画像の領域間の関係を考慮したエンコードを行う。画像のエンコードと並行して Transformer エンコーダにより原言語文をエンコードし, 画像と原言語文のエンコード結果を結合した中間表現から Transformer モデルのデコーダにより目的言語文を生成する。また， Helcl ら (Helcl et al. 2018) は, Transformer デコーダの内部で言語間注意機構の出力と CNN の出力を用いた視覚的注意機構によって画像情報を活用するモデルを提案している. 図 1 に視覚的注意機構の例を示す. 図において, 原画像がより鮮明に見えている部分に強く注意が向けられていることを表している。入力された画像は，CNNによって高次元の目の粗い格子状の特徴量へと変換される. 特徴量中の各領域は, 元の画像の領域に対応しており, 高次元の特徴量を持っている. 例えば, 図 1 (b) は $4 \times 4$ の領域に変換されていて, 各領域が 2,048 次元の特徴量

(a) 原画像

(b) 単語 crane に対する視覚的注意機構の例

図 1 視覚的注意機構の例

を保有している。視覚的注意機構では，各単語はこれらの画像特徴量の領域に対して注意が向けられる。このため, 視覚的注意は, 領域のヒートマップとして可視化することが出来る.

## 3 教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳

本節では, 教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳を提案する. まず，ベースラインとして用いる Transformer ベースのマルチモーダルニューラル機械翻訳モデルを説明する。その後，マルチモーダルニューラル機械翻訳の翻訳性能を向上させるための教師付き視覚的注意機構を提案する.

## 3.1 Transformer ベースのマルチモーダルニューラル機械翻訳モデル

図 2 に本研究で用いる Transformer ベースのマルチモーダルニューラル機械翻訳モデルの概要図を示す。本モデルは, 原言語文エンコーダとデコーダに加えて, 画像エンコーダを持つ.画像エンコーダでは，まず，入力した画像に対して CNN を適用し，画像の特徴量を得る。次

図 2 マルチモーダルニューラル機械翻訳モデル

に，CNN の出力に対して自己注意機構を適用する。この自己注意機構によって画像の領域間の関係性が計算される。最後に, 自己注意機構の出力に対して位置毎の全結合レイヤを適用したものが画像エンコーダ全体の出力となる.

本モデルでは，従来のモデルとは異なり，原言語文エンコーダの内部において原言語文に対する自己注意機構の出力と画像エンコーダの出力を用いて, 注意機構の一種である視覚的注意機構 (Libovický et al. 2018) により，原言語文の単語と画像の領域との関係性を計算する。視覚的注意機構では, 式 (1)において, $Q$ として原言語文エンコーダの自己注意機構の出力, $K$ と $V$ として画像エンコーダの出力を用いる.

## 3.2 教師付き視覚的注意機構

提案する教師付き視覚的注意機構は, 原言語文の単語と画像内のオブジェクトとの対応関係を人手で付けたものを教師データとして与えて視覚的注意機構を学習する．具体的には，画像エンコーダの出力と原言語文エンコーダ内の自己注意機構の出力との間の視覚的注意機構が教師データに近づくような制約を与える。視覚的注意機構に対する制約は，教師となる対応関係を示した行列と, 式 (2)で計算される注意行列との間の誤差が最小となるように適用される. 誤差は以下の交差エントロピーによって計算される.

$
\mathcal{L}_{i m g_{-} s r c}(A)=-\frac{1}{M} \sum_{m=1}^{M} \sum_{n=1}^{N} G_{m, n} \times \log \left(A_{m, n}\right)
$

ここで， $M$ は原言語文の文長を， $N$ は CNN によって畳み込まれた画像の領域数を表す。また， $A$ は注意行列を， $G$ は教師データとなる原言語文内の単語と画像内のオブジェクトの対応関係を示した行列を表す。原言語文内の $m$ 番目の単語が画像の $n$ 番目の領域に対応しているとき， $G_{m, n}$ は 1 となり，それ以外の時は 0 となる.

本研究では, Flickr30k Entities データセット (Plummer et al. 2017) を用いて視覚的注意機構に対する教師データを作成した。このデータセットは Flickr30k データセット (Young et al. 2014) から作られたデータセットである。一つの画像に対して 5 つのキャプション文がつけられており，各キャプション文中の単語が画像内のオブジェクトと関係がある場合，図 3 のようにその単語が画像内のどの領域と関係があるかが示されたデータセットとなっている.

今回はこのデータセットから原言語文内の単語と画像内のオブジェクトとの対応関係を抽出し，教師データを作成する。まず，Flickr30k Entities データセットに付与されている単語とオブジェクト間の対応関係を CNN で畳み込んた際の領域にスケールさせる。例えば，画像エンコーダに用いる CNN によって画像を $4 \times 4$ に畳み込んた場合，画像内の各オブジェクトと 16 個の領域との対応関係を求める．複数の領域に対応する場合は，各領域に等しく対応が張られるように値を平均化する。すなわち，値を「1 / 対応付いた領域数」とする（図 4(a)）.その後,

図 3 Flickr30k Entities の例

(a) 単語 man と画像領域との対応関係の例

(b) 線形化

図 4 教師付き視覚的注意機構に対する教師データの作成例

2 次元の領域を 1 次元に線形化する（図 4(b)）。この手続きを原言語文のすべての単語に対して行う. 画像内のオブジェクトと対応がない単語については, Liu ら (Liu et al. 2016) や Mi ら (Mi et al. 2016) に倣い, 特殊トークンを用いて処理を行った. Liu らや Mi らは教師付き言語間注意機構を学習する際に特殊トークンを導入している。本手法では, 図 4(b) に示した行列の先頭に特殊トークンを付与し, 画像内のどのオブジェクトとも対応関係にない単語は特殊トー クンに対応付ける。

教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳モデルの目的関数 $\mathcal{L}$ は以下のように表される.

$
\mathcal{L}=\mathcal{L}_{T}+\lambda_{1} \mathcal{L}_{i m g_{\_} s r c}
$

ここで， $\mathcal{L}_{T}$ はマルチモーダルニューラル機械翻訳モデルの損失関数， $\mathcal{L}_{i m g_{-} s r c}$ は視覚的注意機構における注意行列と教師データとなる行列との損失関数を表している。また， $\lambda_{1}$ は翻訳誤差 $\mathcal{L}_{T}$ と教師付き視覚的注意機構に関する誤差 $\mathcal{L}_{i m g_{-} s r c}$ の重みを制御するためのハイパーパラメータである.

## 3.3 教師付き視覚的注意機構と教師付き言語間注意機構の組み合わせ

本研究では, 教師付き視覚的注意機構に加えて, 2.2 節で説明した教師付き言語間注意機構を我々のマルチモーダルニューラル機械翻訳モデルに導入し，翻訳性能の改善を図る。教師付

図 5 言語間注意機構に対する教師データの例

き言語間注意機構を学習するためには, 原言語文内の単語と目的言語文内の単語との対応関係を取得する必要がある。本研究では, Liu ら (Liu et al. 2016) や Garg ら (Garg et al. 2019)のように，アライメントツールを用いて単語間の対応関係を取得した。アライメントツールとしては，GIZA++ (Och and Ney 2003) をマルチスレッドで動作させることを可能とした MGIZA (Gao and Vogel 2008)を用いた.

目的言語文内のある 1 単語が複数の原言語文内の単語と対応関係にある場合, 等しく対応が張られるように値を平均化する。 すなわち, 値を「1/対応付いた単語数」とする. また, 3.2 節のように, どの単語とも対応関係がない単語については, 特殊トークンを用いて処理を行った.具体的には，図 5 に示すように原言語文の先頭に特殊トークンを設置し, 原言語文内のどの単語とも対応関係を持たない目的言語文の単語はこの特殊トークンに対応が張られるようにする.

教師付き視覚的注意機構と教師付き言語間注意機構の両方を用いるマルチモーダルニューラル機械翻訳モデルの目的関数 $\mathcal{L}$ は次式のように表される。

$
\mathcal{L}=\mathcal{L}_{T}+\lambda_{1} \mathcal{L}_{i m g_{\_} s r c}+\lambda_{2} \mathcal{L}_{\text {src_tgt }},
$

ここで， $\mathcal{L}_{s r c_{-} t g}$ は言語間注意機構における注意行列と教師データとの損失関数を表している. また， $\lambda_{1}$ は，翻訳誤差 $\mathcal{L}_{T}$ と視覚的注意機構に関する誤差 $\mathcal{L}_{i m g \_s r c}$ との重みを制御するハイパーパラメータであり， $\lambda_{2}$ は，翻訳誤差 $\mathcal{L}_{T}$ と言語間注意機構に関する誤差 $\mathcal{L}_{s r c \_t g t}$ との重みを制御するハイパーパラメータである.

## 4 実験

## 4.1 実験設定

本研究では, 英独翻訳, 独英翻訳, 英日翻訳, 日英翻訳の 4 つの実験を行った. 英独翻訳および独英翻訳では, Multi30k データセット (Elliott et al. 2016)を用いた. このデータセットは,
画像とその説明文が対になったもので，訓練データは 29,000 文対，開発デー夕は 1,014 文対である。また，テストデータとしては test2016（1,000 文対）を用いた.

英日翻訳および日英翻訳では, Flickr30k Entities JP データセット (Nakayama et al. 2020) を用いた．Multi30k データセットのテキストの前処理に倣い，英文には小文字化，句読点の正規化, Moses のトークナイザ (Koehn et al. 2007) を施している。日本語文については KyTea (Neubig et al. 2011) を用いて単語分割を行った。また，訓練デー夕には日英共に 100 単語以下の対訳文のみを用いた。訓練デー夕は 59,516 文対，開発デー夕は 2,027 文対，テストデー夕は 2,000 文対である.

画像に対する前処理として, 画像サイズを $256 \times 256$ になるようにリサイズした後, $224 \times 224$ となるように中央部にクロップ処理を施した。画像エンコーダにおいて使用する CNN は ResNet50 (He et al. 2016) を用いた。なお, ResNet50 から取得する画像特徴量は最終の畳み込みレイヤの出力を用いた. したがって, 抽出される画像特徴量のサイズは $7 \times 7 \times 2048$ である. また,学習時に CNN の fine-tuning は行わない。画像エンコーダ，原言語文エンコーダおよびデコー ダレイヤはそれぞれ 6 レイヤから成る. マルチヘッド注意機構におけるへッド数は 8 , 埋め达み次元数は 512 とした. また, 単語位置毎の全結合レイヤの中間レイヤの次元数は 2,048 とした. モデルの学習時にはミニバッチサイズを 128 とし, 40 エポックの学習を行った. 最適化手法には Adam (Kingma and Ba 2014) を用いた。英独および独英実験では BPE (Sennrich et al. 2016)を適用した．英側の単語と独側の単語を合わせて BPEを学習し，マージのオペレーション数は 6,000 とした. 推論時には目的言語文の生成を貪欲法により行った. 実験では機械学習ライブラリである PyTorch のバージョン 1.1.0を用いて実装したモデルを使用した.

翻訳性能は BLEU (Papineni et al. 2002) と METEOR (Denkowski and Lavie 2014) を用いて評価した。テスト時には開発データに対する BLEU 値が最も高かったエポックのモデルを選択し，テストデータに対する性能を評価した。また，ブートストラップ・リサンプリング法 (Koehn 2004)により統計的有意差の検定を行った. BLEU の検定には paired_bootstrap_v13a ${ }^{1}$ を，METEOR の検定には jhclark/multeval ${ }^{2}$ を fork した ozancaglayan $/$ multeval $^{3}$ を用いた．実験では，画像無しの Transformer モデル (NMT), 画像無しの Transformer モデルに教師付き言語間注意機構を適用したモデル $(\mathrm{NMT}+\mathrm{SCA})$, 教師付き注意機構を用いないマルチモーダル Transformer モデル (MNMT), 教師付き視覚的注意機構のみを用いるモデル (MNMT+SVA),教師付き言語間注意機構のみ用いるモデル (MNMT+SCA), 教師付き視覚的注意機構と教師付き言語間注意機構の両方を用いるモデル (MNMT+SVA+SCA) を比較した. また, 教師付き視覚的注意機構及び教師付き言語間注意機構では，6 レイヤスタックされた原言語文エンコーダレ

イヤおよびデコーダレイヤの内，最終の 6 レイヤ目の注意機構の一つのヘッドに対して制約を

は Garg らに倣い， $\lambda_{1}=0.05, \lambda_{2}=0.05$ とした. また，教師付き視覚的注意機構のみを用いるモデルのハイパーパラメータは $\lambda_{1}=0.05$ とした．本実験で利用したデータセットには，単語と画像内のオブジェクトとの対応は英語のキャプション文にのみ与えられている. 英独翻訳と英日翻訳については，人手によって付けられた，英語のキャプション文内の単語と画像内の才ブジェクトとの対応関係を直接利用して，視覚的注意機構に対する教師データを作成した．独英翻訳と日英翻訳については，初めに人手によって付けられている英語のキャプション文内の単語と画像内のオブジェクトとの対応関係を，MGIZAによって得た言語間の対応関係を用いて独語および日本語の文と画像内のオブジェクトとの対応関係に変換し, 視覚的注意機構に対する教師データを作成した。なお，今回英日および日英実験で用いた Flickr30k Entities JP デー タセットには，原言語文内の単語と目的言語文内の単語との間に人手で対応関係がつけられている。そこで, $\mathrm{NMT}+\mathrm{SCA}, \mathrm{MNMT}+\mathrm{SVA}, \mathrm{MNMT}+\mathrm{SCA}, \mathrm{MNMT}+\mathrm{SVA}+\mathrm{SCA}$ の場合について,この人手での対応関係を用いた実験も行った。

## 4.2 実験結果

実験結果を表 1 に示す。表を見ると，MNMT+SVA はすべての実験において MNMT のスコアを上回っており，英独および英日・日英実験については検定によりその有意差が確認できる。また, MNMT+SCA については, 英独および独英実験においては MNMT のスコアを上回っており，

表 1 実験結果. B と M はそれぞれ BLEU と METEORを表す。*マークは MNMT と比較して有意水準 5\% ( $p \leq 0.05)$ で検定を行い, 有意と判定されたことを表す。また，†マークは MNMT + SVA と比較して有意水準 $5 \%$ で検定を行い, 有意と判定されたことを表す。さらに，‡マークは MNMT+SCA と比較して有意水準 $5 \%$ 検定を行い，有意と判定されたことを表す.
有意差もあることが確認できる．MNMT+SVA+SCA では，英独実験については MNMT+SVA やMNMT+SCA と比較してそれぞれ同程度スコアが向上しており, 教師付き視覚的注意機構と教師付き言語間注意機構を組み合わせて利用することの有効性が確認できた。また，英日および日英実験については，MNMT+SCA では MNMT と比較して同程度もしくは下がる結果であるが，教師付き視覚的注意機構と合わせた MNMT+SVA+SCA では MNMT+SVAを上回っており，教師付き言語間注意機構と教師付き視覚的注意機構を組み合わせることの有効性が確認できた.

次に, 人手による対応関係を用いた実験結果を見ると, NMT+SCA (人手) および MNMT+SCA (人手) では MGIZAによって対応関係を取得した NMT+SCA および MNMT+SCA と比較して性能が向上していることが確認できた。 しかし， MNMT+SVA+SCA と MNMT+SVA+SCA (人手) を比較すると, $\mathrm{MNMT}+\mathrm{SVA}+\mathrm{SCA}$ (人手) のスコアは同程度かもしくは少し下がる結果となった。この結果より，人手で付けられた対応関係を用いて言語間注意機構を教師付き学習する際には，教師付き視覚的注意機構を同時に用いることの相乗効果は見られなかった.

## 5 考察

## 5.1 視覚的注意の例

図 6 と図 7 はそれぞれ英日翻訳におけるテストデータ中の単語 man と単語 lamp に対する視覚的注意を表している。これらの図において，より暗くなっている部分はより強く注意が向けられていることを表している。図を見ると，視覚的注意機構に制約を与えない通常の視覚的注意機構では画像全体に等しく注意が向けられている（図 6(b), 図 7(b)).これに対し，制約を与えて学習させた教師付き視覚的注意機構では，それぞれ対応する領域に注意が向けられており, 視覚的注意が改善する事例があることが確認できた（図 6(c), 図 7(c)).これらの結果より,教師付き視覚的注意機構が，各単語の注意を関連する領域に向けさせた可能性があると考えられる。

(a) 正解データ

(b) 制約なし

(c) 制約あり

図 6 単語 man に対する視覚的注意

(a) 正解データ

(b) 制約なし

(c) 制約あり

図 7 単語 lamp に対する視覚的注意

## 5.2 翻訳例

図 8 は日英翻訳と独英翻訳のテストデータに対する翻訳結果の例を表している。図を見ると，教師付き注意機構を用いないマルチモーダル機械翻訳モデル (MNMT) によって翻訳された文は，原言語文のいくつかの情報が抜け落ちていることが分かる，例えば，図 8(a)では，画像内の男性が持っている「携帯電話」および男性の状態を表す「話しながら」という情報が抜け落ちている。また, 図 8(b) では,「a yellow shovel」という情報が，図 8(c) では画像内の男性の特徵である「dreadlocks」という情報が抜け落ちている。これに対し, 教師付き視覚的注意機構を用いたモデル (MNMT+SVA) ではこれらの抜け落ちていた情報を正しく翻訳できる事例があることが確認できた。これは，教師付き視覚的注意機構によって原言語文の各単語と画像内の関連する領域が対応付けられた可能性があると考えられる。

## 6 関連研究

ニューラル機械翻訳は，原言語の単語と目的言語の単語間での自動もしくは人手による対応関係に基づいて言語間注意機構を訓練することによって，その性能が改善されている．Liu ら (Liu et al. 2016) や Mi ら (Mi et al. 2016) は RNN ベースのニューラル機械翻訳モデルに, Garg ら (Garg et al. 2019) は Transformer ベースのニューラル機械翻訳モデルにおいて制約付き言語間注意機構を提案している。

ニューラル機械翻訳の性能改善に画像が有効であることが示されている (Elliott 2018; Caglayan et al. 2019). マルチモーダルニューラル機械翻訳の研究も盛んに行われ，様々なモデルが提案されている。初期のころは，RNN ゙ースのニューラル機械翻訳 (Bahdanau et al. 2015) を拡張させた RNN ベースのマルチモーダルニューラル機械翻訳 (Calixto et al. 2017; Caglayan et al. 2017; Delbrouck and Dupont 2017) が主流であった。近年は, Transformer ベースのマルチモー ダルニューラル機械翻訳の研究が盛んに行われている (Helcl et al. 2018; Libovický et al. 2018;

Source:

MNMT:

$\mathrm{MNMT}+\mathrm{SVA}$

Reference: an asian man walking down an alley talking on his cellphone with brightly colored fabric behind him

明るい色の布を背にして路地を歩いているアジア人男性。

明るい色の布を背にして携帯電話で話しながら路地を歩くアジア人男性。

明るい色の布を背に携帯電話で話しながら路地を歩くアジア系の男性。

(a) 英日翻訳の例

Source: 赤いシャツを着た男の子が、黄色いシャベルで砂を掘っている。

MNMT: $\quad$ boy in a red shirt is shoveling sand .

MNMT+SVA: a boy in a red shirt is digging in the sand with a yellow shovel .

Reference: a boy wearing a red shirt digs into the sand with a yellow shovel .

(b) 日英翻訳の例

Source:

ein rothaariger mann mit dreadlocks sitzt und spielt auf einer akustischen gitarre .

MNMT: $\quad$ a man with red-hair sits on an acoustic guitar .

MNMT+SVA: a red-haired man with dreadlocks is sitting and playing an acoustic guitar .

Reference: a red-haired man with dreadlocks is sitting playing and acoustic guitar .

(c) 独英翻訳の例

図 8 翻訳例

Grönroos et al. 2018; Ive et al. 2019; Zhang et al. 2020). ほとんどのマルチモーダルニューラル機械翻訳モデルでは，視覚的注意機構によって画像の特徴を組み込んでいる。原言語文の単語と画像領域との関係を捉えるために視覚的注意機構を利用している研究 (Delbrouck and Dupont 2017; Zhang et al. 2020)や，目的言語文の単語と画像領域を捉えるために視覚的注意機構を利用している研究 (Calixto et al. 2017; Helcl et al. 2018; Libovický et al. 2018; Ive et al. 2019; Takushima et al. 2019) がある. なお, これらの研究で利用されている視覚的注意機構は訓練時に自動的に学習が行われており，視覚的注意機構に制約を加えた手法ではない.

## 7 結論

本稿では，教師付き視覚的注意機構を用いるマルチモーダルニューラル機械翻訳モデルを提案した。提案手法では, 画像領域とその説明文中の単語との間に人手で付けられている対応関係を用いて視覚的注意機構の教師データを作成し, その教師データによってマルチモーダルニューラル機械翻訳モデルのエンコーダ内の視覚的注意機構に制約を与えて学習する。実験では，Multi30k データセットを用いた英独翻訳および独英翻訳と Flickr30k Entities JP データセットを用いた英日翻訳および日英翻訳を行い，提案手法によって Transformer ベースのマルチモーダルニューラル機械翻訳モデルの性能が改善できることを確認した．今後は，本実験で用いた Transformer ベースのマルチモーダルニューラル機械翻訳モデル以外のモデルに対しても，提案手法である制約を与えた視覚的注意機構が有効であるかどうかを検証していきたい.

## 謝 辞

本論文は国際会議 The 28th International Conference on Computational Linguistics (COLING2020) に採択された論文 (Nishihara et al. 2020) に基づいて日本語で書き直し，説明や評価を追加したものである。

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 JP20K19864 の助成を受けたものである。ここに謝意を表する。

## 参考文献

Ba, J., Kiros, J. R., and Hinton, G. E. (2016). "Layer Normalization." ArXiv, abs/1607.06450. Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.

Barrault, L., Bougares, F., Specia, L., Lala, C., Elliott, D., and Frank, S. (2018). "Findings of the Third Shared Task on Multimodal Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 304-323.

Caglayan, O., Aransa, W., Bardet, A., García-Martínez, M., Bougares, F., Barrault, L., Masana, M., Herranz, L., and van de Weijer, J. (2017). "LIUM-CVC Submissions for WMT17 Multimodal Translation Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 432-439, Copenhagen, Denmark. Association for Computational Linguistics.

Caglayan, O., Madhyastha, P., Specia, L., and Barrault, L. (2019). "Probing the Need for Visual Context in Multimodal Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4159-4170, Minneapolis, Minnesota. Association for Computational Linguistics.

Calixto, I., Liu, Q., and Campbell, N. (2017). "Doubly-Attentive Decoder for Multi-modal Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1913-1924, Vancouver, Canada. Association for Computational Linguistics.

Delbrouck, J.-B. and Dupont, S. (2017). "Modulating and Attending the Source Image During Encoding Improves Multimodal Translation." CoRR, abs/1712.03449.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380, Baltimore, Maryland, USA. Association for Computational Linguistics.

Elliott, D. (2018). "Adversarial Evaluation of Multimodal Machine Translation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2974-2978, Brussels, Belgium. Association for Computational Linguistics.

Elliott, D., Frank, S., Sima'an, K., and Specia, L. (2016). "Multi30K: Multilingual EnglishGerman Image Descriptions." In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74.

Gao, Q. and Vogel, S. (2008). "Parallel Implementations of Word Alignment Tool." In Software Engineering, Testing, and Quality Assurance for Natural Language Processing, pp. 49-57, Columbus, Ohio. Association for Computational Linguistics.

Garg, S., Peitz, S., Nallasamy, U., and Paulik, M. (2019). "Jointly Learning to Align and Translate with Transformer Models." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4452-4461, Hong Kong, China. Association for Computational Linguistics.

Grönroos, S.-A., Huet, B., Kurimo, M., Laaksonen, J., Merialdo, B., Pham, P., Sjöberg, M., Sulubacak, U., Tiedemann, J., Troncy, R., and Vázquez, R. (2018). "The MeMAD Submission to the WMT18 Multimodal Translation Task." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 603-611, Belgium, Brussels. Association for Computational Linguistics.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778.

Helcl, J., Libovický, J., and Variš, D. (2018). "CUNI System for the WMT18 Multimodal Translation Task." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 616-623.

Ive, J., Madhyastha, P., and Specia, L. (2019). "Distilling Translations with Visual Awareness." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6525-6538, Florence, Italy. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." CoRR, abs/1412.6980.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic. Association for Computational Linguistics.

Libovický, J., Helcl, J., and Mareček, D. (2018). "Input Combination Strategies for MultiSource Transformer Decoder." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 253-260, Brussels, Belgium. Association for Computational Linguistics.

Liu, L., Utiyama, M., Finch, A., and Sumita, E. (2016). "Neural Machine Translation with Supervised Attention." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3093-3102.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Mi, H., Wang, Z., and Ittycheriah, A. (2016). "Supervised Attentions for Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2283-2288, Austin, Texas. Association for Computational Linguistics.

Nakayama, H., Tamura, A., and Ninomiya, T. (2020). "A Visually-Grounded Parallel Corpus with Phrase-to-Region Linking." In Proceedings of The 12th Language Resources and Evaluation

Conference, pp. 4204-4210, Marseille, France. European Language Resources Association.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable

Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Nishihara, T., Tamura, A., Ninomiya, T., Omote, Y., and Nakayama, H. (2020). "Supervised Visual Attention for Multimodal Neural Machine Translation." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4304-4314, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Plummer, B. A., Wang, L., Cervantes, C. M., Caicedo, J. C., Hockenmaier, J., and Lazebnik, S. (2017). "Flickr30K Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models." International Journal of Computer Vision, 123 (1), pp. 74-93. Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Takushima, H., Tamura, A., Ninomiya, T., and Nakayama, H. (2019). "Multimodal Neural Machine Translation Using CNN and Transformer Encoder." In Proceedings of the 20th International Conference on Computational Linguistics and Intelligent Text Processing (CICLING 2019).

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Young, P., Lai, A., Hodosh, M., and Hockenmaier, J. (2014). "From Image Descriptions to Visual Denotations: New Similarity Metrics for Semantic Inference Over Event Descriptions." Transactions of the Association for Computational Linguistics, 2, pp. 67-78.

Zhang, Z., Chen, K., Wang, R., Utiyama, M., Sumita, E., Li, Z., and Zhao, H. (2020). "Neural Machine Translation with Universal Visual Representation." In 8th International Conference
on Learning Representations, ICLR 2020, Apr 26-May 1.

## 略歴

西原哲郎：2020 年愛媛大学工学部情報工学科卒業. 2020 年より同大学院理工学研究科修士課程に在学.

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員として務めた後, 2017 年より愛媛大学大学院理工学研究科助教, 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

二宮崇：1996 年東京大学理学部情報科学科卒業. 1998 年同大学大学院理学系研究科修士課程修了. 2001 年同大学大学院理学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

表悠太郎：2019 年愛媛大学工学部情報工学科卒業. 2019 年より同大学院理工学研究科修士課程に在学.

中山英樹：2006 年東京大学工学部機械情報工学科卒業. 2011 年同大学大学院情報理工学系研究科知能機械情報学専攻博士課程修了. 博士 (情報理工学). 2012 年より東京大学大学院情報理工学系研究科創造情報学専攻講師. 2018 年より同准教授, 現在に至る. 画像認識, 自然言語処理, 機械学習の研究に従事. 情報処理学会, 電子情報通信学会, IEEE, ACM 各会員.

$(2020$ 年 11 月 1 日 $\quad$ 受付 $)$
$(2021$ 年 2 月 8 日再受付 $)$
$(2021$ 年 3 月 10 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 訓練事例の影響の軽量な推定

小林 颯介 ${ }^{\dagger,+\dagger}$ - 横井 祥 ${ }^{\dagger,+\dagger \dagger}$ - 鈴木 潤 ${ }^{\dagger,+\dagger \dagger}$ - 乾 健太郎 ${ }^{\dagger,+\dagger \dagger}$

機械学習モデルの挙動の解釈において，各訓練事例がもたらす影響を理解すること は重要である。単純にはデータセットから対象の訓練事例を除いて再訓練してモデ ルの変化を解析することもできるが, 必要な計算量が非常に大きくなってしまい, 特 に膨大なパラメータのニューラルネットワークモデルへの適用が困難であった。本論文では, ニューラルネットワークモデルへの各訓練事例の影響の推定手法として，既存手法に比べて非常に効率的な方法を提案する，提案手法では，各事例の学習時 に dropoutを用いて, 事例ごとに固有のサブネットワークのパラメータを更新せず に訓練を進めることで，訓練終了後には各訓練事例の影響を受けていないサブネッ トワークを自由に抽出し，それを影響值の推定に活かすことができる。実験では，提案手法を, 文書分類と画像物体認識において, BERT およびVGGNet に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を解析できることを 示した。また, サブネットワークの学習曲線の解析やデータフィルタリングの実験 を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した。 キーワード：影響関数, Dropout
## Efficient Estimation of Influence of a Training Instance

\author{
Sosuke Kobayashi ${ }^{\dagger, \dagger \dagger}$, Sho Yoko $^{\dagger, \dagger \dagger \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger \dagger}$ and Kentaro Inu ${ }^{\dagger,+\dagger \dagger}$
}

Understanding the influence of a training instance on a machine-learning model is important for interpreting the behavior of the model. However, it has been difficult and inefficient to evaluate the influence, considering how the prediction of a model would be changed if a training instance were not used. This prevents the application of influence estimation in neural networks with a large number of parameters. In this paper, we propose an efficient method for estimating the influence for neural networks. The method is inspired by dropout, which zero-masks a sub-network and prevents the sub-network from learning each training instance. By switching between dropout masks, we can use sub-networks that learned or did not learn each training instance and estimate its influence based on the difference between the subnetworks. Through experiments with BERT and VGGNet on classification datasets, it was demonstrated that the proposed method can enhance the interpretability of error predictions. Quantitative evaluations were also performed by analyzing learning curves of sub-networks and applying the method to data filtering.

Key Words: Influence Function, Dropout

## 1 はじめに

機械学習モデルは, モデルの構造やその最適化手法に加え, 実際に学習する事例集合によって性能と挙動が特徴づけられる。それを踏まえ，ある訓練事例が学習後のモデルに与える影響の解析は，これまで広く研究がなされてきた (Cook 1977; Koh and Liang 2017; Zhang et al. 2018; Hara et al. 2019). 事例ごとの影響を正しく把握することで，学習後のモデルの挙動や予測を解釈することに役に立つほか，事例の貢献度を考慮したデータフィルタリングなどの応用にもつながる．特に，自然言語処理などの分野で幅広く使われているディープニューラルネットワー クモデルについては, 性能の向上が著しい (Devlin et al. 2019). その一方で, 学習後のモデルの挙動や特性を理解することが極めて困難であるブラックボックス性が応用上の課題となっており，データに紐付けて説明を行うアプローチはその解決手段の一つとして有望視されている (Koh and Liang 2017; Plumb et al. 2018; Ouchi et al. 2020).

この事例ごとの影響値の最も素朴な計算方法は, あるモデルをデータセット全体で訓練し, その後同様の訓練手続きを一事例だけ除いたデータセットの上でも実施することである。このような操作 (leave-one-out retraining) で作成した 2 つのモデルの予測の差を比較することは, 除外対象の一事例の影響値を計測することに概ね相当する。しかし，この方法は解析したい事例ごとにモデルを再訓練して保存する必要があり，データセット全体への解析や解釈などを行う際には，非常に長い計算時間とモデルの保存容量を要する。例えば，予測に最も寄与した事例をユーザーに提示することでモデルの解釈性を高めたい場合を考える。このとき，訓練事例数 $|D|$ に依存した回数の訓練と個数のモデルの保存が予め必要となる. さらに, 実際に推論する際にも，事例ごとの $|D|$ 回分の推論のたびに新たにモデルを読み込む必要があり，BERT (Devlin et al. 2019)のような巨大なモデルの場合，読み込みにも無視できない時間がかかる。この単純な leave-one-out の再訓練を行う他に，影響值を近似的に推定する手法がこれまで提案されてきたが (Koh and Liang 2017; Hara et al. 2019), 計算量の課題や適用可能なモデルの制約などが依然として存在するため，実用性を大きく損なっている。ニューラルネットワークを用いた実験も行われているが，典型的にモデルサイズが非常に小さく(Koh and Liang 2017; Hara et al. 2019)，また，より大きいモデルに適用を試みた実験でも上述の計算量の課題が報告されている (Han et al. 2020).

そこで，本論文では，訓練事例の影響の計算を巨大なニューラルネットワークモデルにおいても実用的にするため，新たな推定手法 turn-over dropout を提案する． turn-over dropout はその名の通り dropout (Srivastava et al. 2014; Hinton et al. 2012) を活用した手法であり， dropout を事例ごとに決定的なサブネットワークのみを訓練する手法として新たに定式化したものである。訓練終了後には，各事例について，影響を受けていないサブネットワークと受けているサブネットワークの両方で予測が行えるため, その差分から事例ごとの影響を近似的に推定する

ことができる。この推定では, ニューラルネットワークの前向き計算による予測を 2 回実行するだけであり, (Hara et al. 2019) と (Koh and Liang 2017) の手法に比べて大幅に高速である. また，訓練に関しても，通常通りに一つのデータセット上で訓練を一度行ったモデルを用意するだけで，そこに含まれる全事例に関して推定を行うことができ，再訓練も複数のモデルの保存も必要がない，本論文では，先行研究に対する計算量における優位性を議論するとともに，文書分類タスクと画像物体認識のタスクにおいて推定の有効性を示す実験を行った．提案手法を文書分類と画像物体認識における BERT (Devlin et al. 2019) および VGGNet (Simonyan and Zisserman 2015) に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を解析できることを示した．また，サブネットワークの学習曲線の解析やデータフィルタリングの実験を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した.

## 2 訓練事例の影響値

## 2.1 問題設定

まずはじめに，本論文で扱う問題設定と定式化に関して説明する。本論文では, (Hara et al. 2019）の定義にならい，ある訓練事例を学習に用いた際の，また一方のある事例（典型的にはテストデータセット内の事例) の予測に関する影響値 (influence) について議論する. $z:=(x, y)$ をある訓練事例とし，その内の入力を $x \in X$ および（正解）出力を $y \in Y$ とする。また, $D:=\left.\{z_{i}\right.\}_{i=1}^{N}$ で $N$ 個の事例集合からなるデータセットを表す. データセット $D$ を訓練事例集合として, SGD どの最適化手法を適用することで, 関数 $f_{D}: X \rightarrow Y$ を学習する. 特に本論文では学習されたパラメータを持つニューラルネットワーク $f_{D}$ について議論する。 $L(f, z)$ を損失関数とすると，学習の目的は $\hat{f}_{D}:=\operatorname{argmin}_{f} \mathbb{E}_{z_{i} \in D} L\left(f, z_{i}\right)^{1}$ を得ることである. 本論文の実験では，特に分類問題の正解ラベルと予測の差に関するクロスエントロピーを損失関数として用いるが，提案手法は一般的な他の損失関数に関しても適用可能である.

影響値 $($ influence $) I\left(z_{\text {target }}, z_{i} ; D\right)$ は，事例 $z_{\text {target }}$ に関する予測について，訓練事例 $z_{i}$ を学習したことの定量的な利得を表す. $f_{D \backslash\left.\{z_{i}\right.\}}$ をデータセット $D$ から事例 $z_{i}$ を抜いて訓練した場合のモデルとすると

$
I\left(z_{\text {target }}, z_{i} ; D\right)=L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right) .
$

と影響値は表される。直観的には，影響値が正に大きくなるほど，訓練事例 $z_{i}$ は事例 $z_{\text {target }}$ の予測に関する損失の減少に大きく貢献していることになる。典型的には, この推定時の参照事
}$ について $\mathbb{E}_{z_{\operatorname{dev}} \in D_{\mathrm{dev}}} L\left(f, z_{\mathrm{dev}}\right)$ となる最適化を目指すことが多い.
}
例 $z_{\text {target }}$ は，テストや開発用のデータセットに含まれている事例である。特に，あるテスト事例に対する誤り予測ラベルでの損失に関して, 訓練事例ごとに式 (1)の值を計算し比較することで，その誤りに寄与した訓練事例たちを特定することができ，モデルの解析に有用であるとして研究されてきた (Koh and Liang 2017).

## 2.2 関連手法

式 (1) の影響值を素朴に計算するためには, 事例ごとに新たにモデルの訓練が必要になり, その計算量は非常に大きい. その代替として, これまで幾つかの推定手法が提案されてきた.

まず, Koh・Liang (Koh and Liang 2017)の推定手法は影響関数 (influence function) に基づいて提案されたものである。定式化としては強凸な関数のみに適用可能であり，また，解析対象のモデルについても，大域的最適解として損失の最小化が済んだパラメータを仮定している². ニューラルネットワークを始めとする多くのモデルはその条件を満たさないが, (Koh and Liang 2017) や (Han et al. 2020) などは, 手法に一部修正を施すことで簡易的にニューラルネットワー クに適用した場合においても実験的には有用な推定が行えることを議論している. その一方で，実験対象のモデルサイズは非常に小さい (Koh and Liang 2017). モデルサイズが大きい場合の検証はこれまで少ない他, その計算量の大きさについても実用上の観点から依然として大きな課題になっている (Han et al. 2020).

次に, Hara ら (Hara et al. 2019) は上記のような制約のない推定手法を新たに提案した. しかし, その手法は訓練過程の多くのモデルスナップショットを保存するための大きな保存容量を必要とするほか，推定時にはモデルの更新回数に依存したスナップショットの読み出しと重い計算処理を行う。そのため, 同様に，大きなモデルに対して適用することは計算量と保存容量の観点から現状困難である.

## 2.3 関連手法との計算量の比較

これらの既存手法に比べて, 本論文での提案手法（3節で後述）は非常に効率的である. 計算量の理論的な比較のため, 訓練の時間計算量 (Training), モデルの保存に要するディスク保存容量 (Storage), 影響值推定時の時間計算量 (Estimation) を表 1 にまとめた。影響値推定の時間計算量は，あるテスト事例 1 つの予測に関して訓練データセット $D$ 内の各事例の影響值を推定する状況での計算量を記述した。 例えば，あるテスト事例の予測に関して各訓練事例の寄与
\right.\}}$ と $f_{D}$ の差を議論している. 一方で, 我々と Hara ら (Hara et al. 2019) の定式化では, そのような条件や制約はなく, より広い問題として扱っている。本論文では, Hara ら (Hara et al. 2019) に従い，式 (1) の定義は $f_{D}$ 及び $f_{D \backslash\left.\{z_{i}\right.\}}$ について，同じ初期値から事例 $z_{i}$ を除いて同じ最適化手続きを行う限り，モデルの制約を付けない，例えば，確率的勾配降下法 (SGD) においては，ミニバッチの順序及び構成についても $z_{i}$ を除き，完全に一致した最適化を行う設定で議論するが，その更新回数などにも制約はない.
}

表 1 提案手法, (Hara et al. 2019), (Koh and Liang 2017) ごとに必要な計算量と保存容量の比較. あるテスト事例 1 つの予測に関して，訓練データセット $D$ の全事例の影響値を計算した場合について示した. $|\theta|$ はモデルのパラメータ数, $F$ は前向き計算あるいは後ろ向き計算の計算量, $F^{\prime}$ は二階微分の後ろ向き計算の計算量, $T$ は訓練中の更新回数, $B$ は訓練中のミニバッチ内の事例数. (Koh and Liang 2017)の $b$ は近似計算時のミニバッチ内の事例数, $r t$ はハイパーパラメータの一種であり, 典型的には $r t \approx|D|$ である. 詳細は本文を参照.

を解析したいケースはこの状況に相当する。表 1 から明らかなように，提案手法はどの項目においても最も効率的な水準であり，いずれの既存手法よりも総合的に効率的であると言える.

まず，モデルの訓練にかかる時間については，データごとに新たにモデルを用意する必要がある Re-train では大幅にコストがかかる。その他の手法 Hara+, Koh+, 本提案手法については，訓練にかかる時間は基本的に同じである。次に，保存容量については，除外対象のデータごとに個別のモデルを保存しておく必要がある Re-train や，訓練中のモデルのスナップショットを頻繁に保存する必要がある Hara+ ではコストが大きい。そして，推定においては，Re-train 及び本提案手法では，ニューラルネットワークの 2 度の前向き計算（推論 $)^{3}$ を行うだけで済むのに比べ, Hara+, Koh+では大きな計算量がかかってしまう. さらに, Re-train, Hara+, Koh+ では推論時の計算の一部あるいは全部を，1つの対象データごとに別々のミニバッチ（すなわちバッチサイズが1）で計算する必要がある。一方で，提案手法では異なる訓練事例に関する推定を同じミニバッチで一括処理することが可能であり，GPUでの計算の効率性を大きく上げられる利点がある ${ }^{4}$. 実験的には，BERT-base を用いた含意関係認識タスクで，あるテスト事例 1つの予測に関して 10,000 個の訓練事例の影響値を求めた場合, Koh・Liang (Koh and Liang 2017) の手法が約 10 分かかった (Han et al. 2020)一方で，提案手法では同条件の 10,000 訓練

事例から 1 テスト事例への影響值推定に 35 秒しかかからなかった 5 . よって, このケースでは,提案手法では先行研究の (Koh and Liang 2017)の手法に比べて約 17 倍高速に処理を終えることができた。このように提案手法の優位性はその非常に高速に処理を終えることができる点であり, 訓練事例の影響の推定を実応用に向けて進展させることができたと考えられる。なお，大量の事例に対して同様に推定を行いたい場合では，複数 GPUを用いて並列計算を行うことで高速化を行うことができるが，それは表 1 に示した 4 つの手法全てで適用可能であり, 速度の比自体に大きな変化はない.

## 3 提案手法

## 3.1 Dropout

Dropout (Hinton et al. 2012; Srivastava et al. 2014) は, ニューラルネットワークの訓練において頻繁に使われる正則化手法である。訓練中には，ある層の隠れ状態べクトルについてその次元数 $d$ と同じサイズの $d$ 次元のマスクベクトル $\boldsymbol{m}$ をサンプリングし, 隠れ状態の值に要素積をとる．マスクベクトル $\boldsymbol{m} \in\left.\{0, \frac{1}{p}\right.\}^{d}$ の各要素 $m_{j}$ は, 確率 $p$ のベルヌーイ分布から独立にサンプリングされて係数 $\frac{1}{p}$ によって定数倍された値である $\left(m_{j}:=\frac{m_{j}^{\prime}}{p}, m_{j}^{\prime} \sim \operatorname{Bernoulli}(p)\right) . p$ は要素が非ゼロとなる確率を表すハイパーパラメータであるが，本論文では 0.5 とする。すなわち, 約半数の要素がゼロとなる設定を考える. dropout では，学習後の推論時にはマスクを使わないモデルで素朴に計算を行う.

典型的な dropout は上記のように隠れ状態に対する要素積として実施されるが, より一般化すると，マスクベクトルによる dropout はモデルのパラメータへ適用されているものとして解釈できる．例えば，あるパラメータ行列 $W$ をかける前の隠れ状態にマスクベクトル $\boldsymbol{m}$ で要素積をとった場合, 隠れ状態内の各次元に対応する $W$ の行に一括で積をとっていることに相当する. 特に，あるマスクベクトルの要素が 0 であるとき，対応する $W$ 内のパラメータに 0 がかかるため, モデルの計算においてそのパラメータは全く寄与しなくなる. 言い換えると, このように dropout をニューラルネットワークの各層で行う場合，あたかもマスクベクトル $\boldsymbol{m}$ に応じて枝刈りされたサブネットワーク $f^{m}$ を用いた演算を行っているように見なせる。訓練時には，各更新ごとに異なるマスクベクトルが使われるため, 様々なサブネットワークがランダムに選ばれ学習していくことになる.これまでの研究 (Hinton et al. 2012; Srivastava et al. 2014;
^{5}$ Han ら (Han et al. 2020) は, Koh・Liang (Koh and Liang 2017) の手法を BERT-base モデルに適用し，含意関係認識の Multi-Genre NLI dataset (Williams et al. 2018) に打いて, 10,000 個の訓練事例からある 1 事例への影響値の推定を行う場合, NVIDIA GeForce RTX 2080 Ti GPU 一つを用いて 10 分かかったと報告している. 我々も同様に，同データセットと同じ GPU の製品を用いて実験を行ったところ，提案手法の turn-over dropout では， 35 秒で 1 事例への推定を終えることができた。なお, どちらの実装も同じライブラリ (Wolf et al. 2019) から派生したもので，実装による速度の差異は軽微であると考えられる。
}

Bachman et al. 2014; Baldi and Sadowski 2014; Bulò et al. 2016)でも，上記のように dropout が多数のサブネットワークの訓練をし，推論時の全体ネットワークはそれらのアンサンブルとして演算されていると言われている.

## 3.2 提案手法: Turn-over Dropout

上で述べた典型的な dropout では，マスクベクトルは訓練中の更新ごとに独立にランダムサンプリングされる。一方, 本提案手法では, 各訓練事例 $z$ ごとに異なる事例固有マスク $\boldsymbol{m}(z)$ を決定的に使い続けるものとする。より正確には，事例固有のマスクは同様にベルヌーイ分布からサンプリングされたランダムな値をとるが，それを事例ごとに固定させ，ある事例を用いた訓練時には必ず決定的に同じ値を使い続けるものとする。そのため, 図 1 の上部に示すように，ある事例 $z$ で訓練を行う際には同じ $\boldsymbol{m}(z)$ が使われるため，その前向き計算及び後ろ向き計算も常に固有のサブネットワーク $f^{m(z)}$ (赤) によってのみ行われることになる。言い換えると，サブネットワーク $f^{m(z)}$ のパラメータが更新される一方で，そのマスクを反転，すなわちゼロ・非ゼロ要素の位置を逆転させたようなマスク（以下，反転マスク） $\widetilde{\boldsymbol{m}}(z)=\frac{1}{p}-\boldsymbol{m}(z)$

図 1 提案手法の概略図. Dropout は各訓練事例 $z$ ごとにサブネットワークを生成することができる。そして，その残ったパラメータのみ (赤; 上部) を更新する. 反対に, 反転したサブネットワーク（青;下部）はその事例 $z$ の影響を受けないままになる。提案手法ではこの二つのサブネットワークの差を推定に用いる。

（図 1 の中央参照）を使った相対するサブネットワーク $f^{\widetilde{\boldsymbol{m}}(z)}$ のパラメータは一切 $z$ の影響を受けて更新されることがないと言える。したがって, このようなサブネットワーク $f^{\widetilde{\boldsymbol{m}}(z)}$ は, 本来のモデルのネットワーク $f$ に比べて表現力が弱まっているものの, まさしく「ある事例 $z$ を使わずに訓練したモデル」となっている。そして，サブネットワーク $f^{m(z)}$ は同等の表現力を持つ「ある事例 $z$ も使って訓練したモデル」である. 本論文では, この 2 つのサブネットワー クを類推的に式 (1) の $f_{D}$ と $f_{D \backslash\left.\{z_{i}\right.\}}$ の近似として活用し，その出力を推定に使うことを提案する. すなわち，影響値 $I\left(z_{\text {target }}, z_{i} ; D\right)=L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right)$ を次のように推定する.

$
\hat{I}\left(z_{\text {target }}, z_{i} ; D\right):=L\left(f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{i}\right)}, z_{\text {target }}\right)-L\left(f_{D}^{\boldsymbol{m}\left(z_{i}\right)}, z_{\text {target }}\right),
$

これは $z_{\text {target }}$ の予測に関して, $f_{D}^{\widetilde{m}\left(z_{i}\right)}$ の代わりに $f_{D}^{\boldsymbol{m}\left(z_{i}\right)}$ を使った場合の利得（損失の減少）を表す. 本提案手法を, 以後 turn-over dropout と呼ぶ. turn-over dropout の利点は影響値の推定のために必要なコストが非常に小さいことであり，以下のようにまとめられる.
- 計算時間が少ない: 提案手法は, ある事例ぺアの影響值推定に関して，モデルの前向き計算を 2 回行うだけで実行可能である。また，一つのミニバッチ内で別の訓練事例に関する処理をまとめて行うことができる ${ }^{6}$.
- モデルの保存容量が少ない: 訓練時に提案手法を組み达んでおくことで, 1 度の訓練でデータセット中の全事例に関して推定が行える. 更新ごとのスナップショットや再訓練は不要である.
- 実装が簡易: 提案手法の仕組みは極めてシンプルであり，実装の修正が最小限で済む，実装の例を付録 Bに示した。

本提案手法では, サブネットワークへの 1 訓練事例の影響を推定し，それを全体のネットワー クへと転用して推定している。 (Hinton et al. 2012; Srivastava et al. 2014; Bachman et al. 2014; Baldi and Sadowski 2014; Bulò et al. 2016) が論じたように，ニューラルネットワークの全体のネットワークは各サブネットワークのアンサンブルに相当している。全体のネットワークの性質はパラメータ集合に分散的に学習されているため, そのパラメータの部分集合を用いる各サブネットワークもその全体のネットワークと非常に近い挙動を示す. 例えば，一例として，学習後の全体のネットワークを枝刈り (Blalock et al. 2020)した場合も同様の精度を達成する。また，全体のネットワークの出力（分類層の直前）とdropout によるサブネットワークを比べた

り, サブネットワーク同士の出力を比べてたりしてみても, 経験的にはそれらの出力は非常に近い値になる 7 . 本提案手法では，上記の「異なるサブネットワーク間の挙動は平均的には同じである」及び「サブネットワークと全体ネットワークの挙動は平均的には同じである」というニューラルネットワークの特性を利用している。これは，典型的に性能を保持したまま枝刈りが行えるような，㔯長なパラメータを持つネットワークではしばしば成り立つと考えられる。一方で，もし十分なパラメータを持たない小さなモデルや低次元空間で計算を行うような場合では，サブネットワークごとの挙動に違いが生まれやすくなり，提案手法の有効性も下がりやすい。本論文では，そのような小さいネットワークのモデルは扱わず，提案手法の高速という利点が特に役に立つ BERT などの巨大なネットワークでのみ実験を行った.

## 3.3 効率的な事例固有のマスクの実装

愚直には，事例固有のマスクを用いるということは，データセット内の事例数に比例して新たにパラメータを用意する必要があり，メモリ空間やデイスク容量増加の原因になりうる。しかし, このコストは本節で提案する揮発性マスク生成によって $O(|D|)$ から $O(1)$ へと劇的に減らすことができる.

まず注目すべき点として，提案手法の turn-over dropout では，マスクはランダムなべクトルであればよく，かつ訓練中に更新されることはない．また，一般的なランダム配列生成の実装ではシード值とサイズを与えることで決定的な挙動をし，常に固定のベクトルを生成することができる．例えば，事例ごとのインデックス番号をシード値として与えることで，常にその事例に応じたべクトルを生成することができる。したがって，マスクのベクトルそのものは保存しておく必要がなく，それらべクトルを生成する手続き（生成アルゴリズムとシード値）さえ保持しておいて必要な際に生成を行えばマスクのパラメータが得られることになる。保存や保持のための容量や空間計算量を減らす代わりに，ランダム値の再生成の時間計算量がかかることになるが，一般にランダム值の生成は非常に高速なためほとんど無視することができる8.

## 4 実験

本論文の貢献は，式 (1)の値を推定するための高速な手法を提案することである。これによ

り, 先行研究の (Koh and Liang 2017) や (Hara et al. 2019)の手法では膨大な計算コストがかかってしまう，モデルの予測結果ごとの解析を短時間で実行できる。提案手法の計算量についての優位性は, 2.3 節で議論した。本節では, 提案手法 turn-over dropoutを幾つかの分類タスクで学習するニューラルネットワークモデルに適用し, 速度面以外のその有効性を示す。まず, 4.2 節では, turn-over dropout の適用時に, サブネットワークがどのような振る舞いをしているのかをその学習過程を観察することで検証する。そして， 4.3 節では，実際にモデルが誤り予測をした場合についてその原因となった訓練事例を解析し，解釈性の高い予測根拠 (Jacovi and Goldberg 2020)を提示できていることを示す. 4.4 節では，推定された値が予測に紐付いており信頼性のあることを確認するために，影響值を用いたデータフィルタリングの実験を行い，“悪い” 影響をもたらしていると推定された訓練事例を除外した場合にモデルの汎化性能が向上することを示す. 最後に, 4.5 節では, dropout やスパースなネットワークでの訓練がときとしてモデルの性能を悪化させうる問題について議論する.

## 4.1 データセットとモデル

まず1つ目のデータセットとして, 二值極性分類タスクの Stanford Sentiment TreeBank (SST2) (Socher et al. 2013) を用いた. SST-2では, 映画のレビューテキストについてそのテキストが “positive”なのか “negative” なのかの二值ラベルが付与されている. 元の訓練データセットからランダム抽出した 5,000 事例を訓練データセットとして使い, 開発データセットとしては元の 872 事例をそのまま用いた. モデルは, 事前訓練済みの BERT (Wolf et al. 2019) に基づく分類器を, adapter modules (Wolf et al. 2019) によって構築した. これはBERT のネットワー クの各ブロックについて, 新たに枝分かれネットワークを挿入し, 元のネットワーク出力に対する残差として和を取るような構造を持つ. 元々の BERT のネットワークは事前訓練後のパラメータを固定し，新たに追加される枝分かれネットワークと分類層のみを SST-2 で fine-tuning する。また, turn-over dropout も同様に fine-tuning が行われる箇所のみに適用する.

2つ目に, さらに複雑なタスクとして, Yahoo! Answers Dataset (Zhang et al. 2015)をデータセットとして用いた。これは，投稿者の質問のトピックが 10 種類の分類のうちどれに属するかを予測するタスクであり，単語だけでは判別できないような抽象度の高いトピックへ分類する必要がある. 訓練事例数やモデル等の設定は上の SST-2 と同様にした.

3 つ目のデータセットとして, 自然言語処理だけでなく画像認識への応用として, 犬・飛行機などからなる 10 クラスの画像分類タスクである CIFAR-10 (Krizhevsky 2009)の 50,000 事例の訓練データセットと 10,000 事例の開発データセットを用いた. 畳み込みニューラルネットワークからなる VGGNet19 (Simonyan and Zisserman 2015) による分類器を訓練した. turn-over dropout は, 11 層目以降に適用した.

BERT と VGGNet19の両分類器は共に分類の正解ラベルと予測の差に関するクロスエントロ

ピーの最小化で最適化した. より詳細な設定は付録 A に示した.

## 4.2 学習曲線

turn-over dropout では，事例固有マスクを適切に切り替えて生まれるサブネットワークが各事例を見ていないサブネットワークとして使えることを前提に置いている。本節では，そのような特性が turn-over dropout によって本当に獲得されているのかを直接的に検証するために， サブネットワークごとの損失の値について学習曲線を観察する。具体的には，各訓練事例を見ていない反転マスク $\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)$ のサブネットワーク $f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)}$ が，その対応する訓練事例 $z_{\text {train }}$ について過剰適合 (overfitting) しないことを確認する．BERTをSST-2 で訓練した際の損失関数の変化を図 2 に示した.

まずはじめに，2つの点線が示すのはテストデータセットで計算された損失であり，下に行けば行くほど性能は改善しているとみなせる，2つの点線はどちらも訓練が進むにつれて，一定の値まで下がっていった後に概ね停滞し，最後にはわずかに上昇していく．赤い点線が示すのは,

練に使っていないテストデータセットにおける性能は一般に汎化性能を表すことから, 事例固有マスクによるサブネットワーク $f_{D}^{\boldsymbol{m}\left(z_{\operatorname{train}}\right)}$ とその反転マスクによるサブネットワーク $f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\operatorname{train}}\right)}$ の間では未知のデータに対しては大きな性能差はないことが言える。

次に，2つの実線が表す訓練データセット上での損失に注目する。赤い実線が示すのは，事例固有マスク $\boldsymbol{m}\left(z_{\text {train }}\right)$ のサブネットワーク $f_{D}^{\boldsymbol{m}\left(z_{\text {train }}\right)}$ で計算した訓練データセット上での損失 $L\left(f_{D}^{\boldsymbol{m}\left(z_{\text {train }}\right)}, z_{\text {train }}\right)$ である。すなわち, 事例固有のマスクで訓練していく中で計算されて最小化される損失そのものである。この値は下降し続け, 通常の訓練でよく見られる最適化の傾向をた

図 2 BERT をSST-2 で訓練した場合の損失関数の学習曲線.

どっている。 そして, 青い実線が示すのは, 反転マスク $\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)$ のサブネットワーク $f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)}$ を用いて計算した訓練データセット上での損失 $L\left(f_{D}^{\widetilde{\boldsymbol{m}}\left(z_{\text {train }}\right)}, z_{\operatorname{train}}\right)$ である. 注目すべき特徴として，青い実線では，今述べた赤い実線とは異なり，点線によるテストデータセットでの損失に近い値を取り続けている。 すなわち, 反転マスクに基づくサブネットワークは, 訓練データセット上に過剰適合することなく, 対応する訓練データを見なかったかのように振る舞っていることを示唆している。これにより, 本実験では, turn-over dropout が各訓練事例に過剩適合しないサブネットワークを生み出せていることを確認できた。また, この観察は, 開発用デー タセットを別途用意したり交差検定を行わずとも訓練データセットのみから汎化性能を計測することができる応用の可能性も示唆しており, turn-over dropoutのさらなる活用先として今後の研究領域となりうると考えられる.

#
4.3 訓練事例への紐付けによる誤り予測の解釈

ニューラルネットワークによる予測モデルは, 挙動の仕組みが人間にとって理解し難いブラックボックス性を持ち, それが信頼性や使い勝手を害しているとしばしば批判されている (Ribeiro et al. 2016). その課題に関しても，訓練事例の影響値の推定を用いれば，ある予測に関して大きな影響を及ぼした訓練事例を特定できることを (Koh and Liang 2017) が示した. ある誤り予測に際して影響力のあった訓練事例を探し出すことができれば，それは予測を誤った原因を解釈するのに役に立つ，本節の実験では，本提案手法が，十分に解釈性 (plausibility) (Jacovi and Goldberg 2020)の高い「モデルの誤った予測に最も貢献した訓練事例」を提示できることを示す.モデルを訓練し終えた後に，開発用データセットの全事例について予測を行い，その中から誤った分類を与えていた事例だけを集めた。そして，それらの誤分類事例について，誤ったラベルの損失を低くする方向に最も大きい影響値を持つ訓練事例，すなわち，誤った分類に最も貢献してしまったような事例を特定した。

まず, 図 3 に, BERT \&SST-2で訓練した場合の結果を1つ示した. 上に示したテキストは本来

\author{
Test input: if s \#\#te \#\#ven so \#\#der \#\#berg \#\#h ' s ` solar \#\#is ' \\ is a failure it is a glorious failure . \\ (if steven soderbergh ' $s$ ' solaris ' is a failure it is a glorious failure .) \\ [positive $\rightarrow$ negative] \\ Influential: un \#\#fo \#\#cus \#\#ed, ex \#\#c \#\#ru \#\#ciating \#\#ly te \#\#dious \\ (unfocused, excruciatingly tedious)
}

図 3 BERT をSST-2 で訓練した場合における，テストセットの中で誤った予測がなされたテキストと， その誤ったラべルを持つ訓練事例の中で最も影響値が大きかったテキスト，誤って予測されたラべルを赤, 正しいラべルを黒で示した.
“positive” と予測されるべきところ，誤って “negative”と予測した. 最も影響を及ぼしたのは, その下に示した事例である。両者の共通点として，一般的な単語単位よりさらに細かく subword (Schuster and Nakajima 2012) として分解されたようなトークンを多く含んでいることが目を引く. 特に固有表現 (steven, soderbergh, solaris) やその他の低頻度の単語 (excruciatingly) は細かく多くの subword に分割されやすく，このケースではそのような多くに散逸した subword の処理に失敗し, 同様に多くの subword を含んでいた訓練事例からの影響で誤ったラべルを予測してしまったと推察できる。

さらに複雑なタスクとして, Yahoo! Answers Dataset (Zhang et al. 2015)を用いて同様の実験を行った. 図 4 に Yahoo! Answers Dataset での結果を示した. 誤分類された入力テキストは, “ch \#\#rist”というフレーズを含み，それは影響値の高い訓練事例にも含まれている。この夕スクでのトピック分類は “Society \& Culture”や “Business \& Finance” などであり抽象度は高い. そのため，本来であれば“ch \# \#rist”のフレーズだけからはトピックを分類できないような低次の特徴であるが，その箇所に引っ張られて，フレーズを共有している訓練事例の影響から誤って “Business \& Finance”と予測してしまっていると考えられる.

次に，VGGNet を CIFAR-10で訓練した場合の結果について，図 5 に示した. 画像ではテキストよりもさらに直感的に解釈できる結果となった。例えば，左端の 2 列では，上の “bird”の画像をモデルは “airplane”として誤って予測した。その誤り予測に最も影響した訓練事例は,対応列の下側に示してある．どちらについても鳥の向きや羽の広げ方が飛行機の状態に類似しており，ほとんどシルエットしか見えないテスト事例については，誤って予測してしまうこと

図 4 BERT を Yahoo! Answers Dataset で訓練した場合における, テストセットの中で誤った予測がなされたテキストと，その誤ったラベルを持つ訓練事例の中で最も影響値が大きかったテキスト．誤って予測されたラベルを赤, 正しいラベルを黒で示した.

## Misclassified test images

bird

$\rightarrow$ airplane

bird

$\rightarrow$ airplane

bird

$\rightarrow$ dog

$\operatorname{dog}$

deer

Most influential training images with the misclassified label

図 5 VGGNet をCIFAR-10で訓練した場合における，テストセットの中で誤った予測がなされた画像 （上の行）と，その誤ったラべルを持つ訓練事例の中で最も影響值が大きかった画像（下の行）．誤つて予測されたラベルを赤, 正しいラベルを黒で示した.

にも納得が行く結果となった。右側の残る 3 事例ぺアについても "bird” $\rightarrow$ “dog", “dog" $\rightarrow$ “deer", “deer" $\rightarrow$ "bird”のような誤り予測について, 誤り原因と考えられる学習特徴（形やレイアウトや色など）が推察できるような訓練事例を見つける事ができている。

## 4.4 データフィルタリング

影響値（式 (1)）は，前節の代表的な応用の他に，データフィルタリングにも応用できることがこれまで示されている (Koh and Liang 2017; Hara et al. 2019). 本節では，提案手法による影響値の計算結果の妥当性・信頼性 (faithfulness) (Jacovi and Goldberg 2020)を，データフィルタリングの実験を通して検証する9．

開発用データセット全事例に対する平均損失に関して，訓練事例ごとに式 (1)の値を計算し比較することで，どの訓練事例が汎化を妨げてしまうのか予想することができる．前節の誤り予測の解釈で論じたように，訓練データセットの中では，他の事例への予測に害をなす事例も存在する。例えば，ある訓練事例がテスト時の様々な未知事例に対して平均的に誤分類を誘発するとき，その訓練事例は汎化性能を損なう事例だといえる。本実験では，そのような訓練事例を特定し除外（フィルタリング）したのちに，モデルをフィルタリング後のデータセットで

訓練し直すことで，汎化性能を向上させることができることを示す。一方で，「汎化性能を損なう事例」がそもそも訓練データセットに含まれていなければフィルタリングで性能が上がることはない，今回は，訓練データセットの中に「汎化性能を損なう事例」が十分含まれていることが担保されているような応用上のケースとして，訓練時とテスト時でデータのドメインが変わるドメインシフトの設定で実験を行う。

訓練データセットとして映画レビューである SST-2 を用いて, 一方で最終的な性能評価のテストデータとしては電化製品レビューである Multi-Domain Sentiment Dataset (Blitzer et al. 2007)の electronics サブセット (Elec) を用いた. Elecデータセットは 200 事例を開発用データ, 1,800 事例をテスト用データとしてランダムに分割した。なお，性能を最大化したい場合には最後の訓練時に開発用データも混ぜて訓練するなどが考えられるが，今回はデータフィルタリングの効果のみを検証するために，Elec のデータセットは訓練データセットには一切含めずに性能を比較した。

まず初めに SST-2 データセットで BERT を turn-over dropout を用いた fine-tuning で訓練し, その後に各訓練事例から Elecの開発用デー夕に対する平均的な影響値を計算した。そして， その平均影響値が最も悪い（負に大きい）訓練事例を上位 $1 \%$ 取り除いたような，フィルタリング済みの訓練データセットを抽出し，再度 BERT を turn-over dropoutなしで訓練した。そして, Elec のテストデータで性能を計測し，結果を表 2 に示した (1\% Filtering). 比較対象として，ランダムに同量の $1 \%$ だけデータを取り除いた場合 (1\% Random Filtering) とデータを取り除かずに訓練した場合 (No Filtering) の性能も並べて示した. turn-over dropout はデータフィルタリングの段階でのみ用いており, 表で比較されている数値はすべて turn-over dropout なしで訓練された BERTのものである。実験は異なるシード値によって 4 回行い, それらの結果の平均と標準偏差を載せた，結果，分類精度についても口スの値についても，データフィルタリングを行った場合に性能が向上することが確認できた。単にランダムにデータを取り除いた場合にはやはり性能が向上することはなく, turn-over dropout の推定量に基づくフィルタリングのみが効果的であった。この結果により，影響值の推定のターゲットを一事例でなく事例集合に設定して平均的な影響値を見ることで，対象ドメインでの汎化性能への影響を考慮し，デー タフィルタリングを行えることを示した。

表 2 データフィルタリングによる性能の変化. Loss はクロスエントロピーの値. 4 回の実験の平均と標準偏差を示した。

## 4.5 Dropout の適用箇所

提案手法 turn-over dropout は対象となるモデルに dropout を導入し, 訓練後に効率的に訓練事例の影響値を推定できるようにする手法である. dropout 自体は様々なニューラルネットワークで用いられており汎化性能の向上にも役立つことが多いが, 過剰に適用した場合には， スパースなネットワークの訓練と同様にモデル性能が悪化してしまうことも考えられる10。そのような訓練の不安定性については未だ明らかになっていない点も多い (Evci et al. 2020). 本節では，どのようにdropout を適用すれば「性能劣化の防止」と「訓練事例の影響値の推定」を両立できるかを最後に議論する。

まず，SST-2 で BERT を adapter module 付きで訓練する場合の, 性能低下（テストデータにおける分類精度 (accuracy) の低下）の可能性について論じる。実験では，事例数が 5,000 の小さなデータセットで訓練した場合において, ベースラインの性能が $90.0 \%$ たっったのに対して turn-over dropout を用いた場合に $88.3 \%$ へとわずかに精度が低下した. 事例数がもう少し多い 20,000 事例での実験では，それぞれ $90.5 \%$ と $90.2 \%$ の精度となり，ほぼ性能劣化が見られなくなった. したがって，効率的な turn-over dropout が特に有用であるような大規模なデータセッ卜を扱う場合においては性能の劣化が十分に小さくなり, 実用性も十分保てる可能性を示唆している。一方で, adapter module を用いずに, 元の BERT をそのまま使って全層で turn-over dropout を用いた場合には，訓練が不安定になり性能も劣化した。これは turn-over dropout 特有の新たな問題ではなく, 通常の動的な dropoutを $p=0.5$ で用いた場合にも同様である.これは事前訓練の段階で扱っている dropout の非ゼロ要素率 $p=0.9$ よりもかなり小さな $p=0.5$ を使うことで情報の伝播を大きく妨げてしまい，BERT が安定した計算を行えていない可能性がある. adapter なしの fine-tuning でこのような小さい $p$ を使えるようにする解決策としては,事前訓練の段階から小さい $p$ を予め使っておくことが考えられる。また, 事前訓練直後のモデルのパラメータを固定しておき, fine-tuning ではそのパラメータからの差分値のみを別途学習し，その差分値パラメータにのみ dropout をかけるようにすると, 情報の伝播を大きく途切れさせることなく turn-over dropout を適用できる可能性がある。これは dropout の亜種である mixout (Lee et al. 2020) に turn-over dropout を応用したケースとしてみなせる.

画像分類の CIFAR-10 データセットで CNN ベースの VGGNet を全層への turn-over dropout で訓練した場合にも，訓練の不安定性や性能劣化が観測されたが，全層に適用する代わりに一部の層のみに適用した場合には訓練が安定するようになった。そこで我々は，各画像固有の影響を強く受ける層にのみ適用することで，訓練の安定性を上げながら推定を行えるようにする
^{10} p=0.5$ の dropout 自体は様々なニューラルネットワークで用いられており, 汎化性能の向上にも役立っている. しかし, 全結合層や限られた層のみに適用されている場合も多く, BERT や CNN の全ての層に $p=0.5$ で適用した場合の影響については未知数である。また，本提案手法で新たに導入された，事例ごとに紐付いた静的なマスクを使った場合についても, 性能への影響もこれまで明らかにはなっていない.
}

ことを考えた。 (Asano et al. 2020) は，CNN の序盤の層は画像群の統計值について限られた情報のみを保持しており，その低次の統計量についてはたった一枚の画像からですら学習可能であることを示している。この知見に基づき，序盤の層は各画像ごとに固有の情報を多く学習することは少ないと仮定し, 後半の層（11 層以降）のみに turn-over dropout を適用した。その結果, 分類精度は $86.2 \%$ となり, ベースラインの $92.0 \%$ よりやや悪い程度の訓練を行えるようになった。ここにさらに, 正則化としてのランダムな dropout も合わせて適用することで, $91.3 \%$ まで性能が回復し, ベースラインに匹敵する性能を出すことができた.

BERT と VGGNet に基づくこれらの検証により，いくつかのケースでは, dropout を適用しつつ性能を保持するために適用方法を修正・探索する必要性やその対策方法の例が明らかになった. dropout やスパースなネットワークにおける学習の不安定性 (Evci et al. 2020) については,現状明らかになっていない点も多く, 提案手法の枠内に閉じない今後の重要な研究課題である.

## 5 結論

本論文では, 旧来の手法が直接的に適用しづらいようなパラメータ数と計算量が膨大なニュー ラルネットワークを用いる場合についても，非常に小さい実用的な計算コストで訓練事例の影響値を推定する方法を提案した，提案手法では，訓練時にdropoutが従来用いている確率的なマスクベクトルの代わりに訓練事例ごとに紐付いたマスクを決定的に用いる。これにより，訓練後のネットワークは，各事例の影響を受けていないパラメータだけからなるサブネットワー クを個別に併せ持つことができ，そのサブネットワークの出力を比較することで影響値を推定できる。また，事例とサブネットワークの紐付け情報を保存しなくてはいけないコストについても，マスクのランダムベクトルそのものでなくそれを生成するためのランダムシードのみを保存することで, 劇的に保存容量や空間計算量を抑えられる。実験では, 実際に各サブネットワークは過適合していないことを検証し，さらに提案手法が誤り予測の事例ベースの解釈に活用できることを，データフィルタリングによる定量評価も用いて示した．今後のさらなる研究課題としては，提案手法のみならずスパースなネットワークを訓練した際に見られる性能低下現象の解析が考えられる。また, さらなる応用の模索としても, 4.2 節で示唆された汎化性能を訓練データセットのみから計測できる性質に基づいた交差検定の代替としての活用法や，オンラインに高速に影響値を推定できる点を生かして各事例の学習自体を改善する方向性も有望だと考えられる。

## 謝 辞

本研究の一部は, JST, CREST, JPMJCR20D2 (JPMJCR20D2)の助成を受けたものである.

また, 本研究の一部は, JSPS 科研費 JP19H04162, 人工知能研究振興財団研究助成事業 30AI036-8 の助成を受けたものである。また, 本研究の一部は, JST, ACT-X, JPMJAX200S の支援を受けたものである。

本論文の一部は, First Workshop on Simple and Efficient Natural Language Processing で発表したものである (Kobayashi et al. 2020).

## 参考文献

Asano, Y. M., Rupprecht, C., and Vedaldi, A. (2020). "A Critical Analysis of Self-supervision, or What We Can Learn from a Single Image." In International Conference on Learning Representations (ICLR).

Bachman, P., Alsharif, O., and Precup, D. (2014). "Learning with Pseudo-Ensembles." In Advances in Neural Information Processing Systems 27, pp. 3365-3373.

Baldi, P. and Sadowski, P. (2014). "The Dropout Learning Algorithm." Artificial Intelligence, 210 (C), pp. 78-122.

Blalock, D., Gonzalez Ortiz, J. J., Frankle, J., and Guttag, J. (2020). "What is the State of Neural Network Pruning?" In Dhillon, I., Papailiopoulos, D., and Sze, V. (Eds.), Proceedings of Machine Learning and Systems, Vol. 2, pp. 129-146.

Blitzer, J., Dredze, M., and Pereira, F. (2007). "Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 440-447, Prague, Czech Republic. Association for Computational Linguistics.

Bulò, S. R., Porzi, L., and Kontschieder, P. (2016). "Dropout distillation." In Proceedings of The 33rd International Conference on Machine Learning, Vol. 48, pp. 99-107.

Cook, R. D. (1977). "Detection of Influential Observation in Linear Regression." Technometrics, pp. $15-18$.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Evci, U., Ioannou, Y. A., Keskin, C., and Dauphin, Y. N. (2020). "Gradient Flow in Sparse Neural Networks and How Lottery Tickets Win." CoRR, abs/2010.03533.

Han, X., Wallace, B. C., and Tsvetkov, Y. (2020). "Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions." In Proceedings of the 2020 Annual

Conference of the Association for Computational Linguistics (to appear).

Hara, S., Nitanda, A., and Maehara, T. (2019). "Data Cleansing for Models Trained with SGD."

In Advances in Neural Information Processing Systems 32, pp. 4215-4224.

Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. R. (2012).

"Improving Neural Networks by Preventing Co-adaptation of Feature Detectors." CoRR, abs/1207.0580.

Jacovi, A. and Goldberg, Y. (2020). "Towards Faithfully Interpretable NLP Systems: How Should We Define and Evaluate Faithfulness?" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4198-4205, Online. Association for Computational Linguistics.

Kobayashi, S., Yokoi, S., Suzuki, J., and Inui, K. (2020). "Efficient Estimation of Influence of a Training Instance." In Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing, pp. 41-47, Online. Association for Computational Linguistics.

Koh, P. W. and Liang, P. (2017). "Understanding Black-box Predictions via Influence Functions." In Proceedings of the 34th International Conference on Machine Learning, pp. 1885-1894.

Krizhevsky, A. (2009). "Learning Multiple Layers of Features from Tiny Images." Tech. rep..

Lee, C., Cho, K., and Kang, W. (2020). "Mixout: Effective Regularization to Finetune Large-scale Pretrained Language Models." In International Conference on Learning Representations (ICLR).

Mosbach, M., Andriushchenko, M., and Klakow, D. (2021). "On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines." In International Conference on Learning Representations.

Ouchi, H., Suzuki, J., Kobayashi, S., Yokoi, S., Kuribayashi, T., Konno, R., and Inui, K. (2020). "Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6452-6459.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc.

Plumb, G., Molitor, D., and Talwalkar, A. S. (2018). "Model Agnostic Supervised Local Explanations." In Advances in Neural Information Processing Systems 31, pp. 2515-2524.

Qi, P., Zhang, Y., Zhang, Y., Bolton, J., and Manning, C. D. (2020). "Stanza: A Python Natural

Language Processing Toolkit for Many Human Languages." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108.

Ribeiro, M., Singh, S., and Guestrin, C. (2016). ""Why Should I Trust You?": Explaining the Predictions of Any Classifier." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 97-101, San Diego, California. Association for Computational Linguistics.

Schuster, M. and Nakajima, K. (2012). "Japanese and Korean Voice Search." In International Conference on Acoustics, Speech and Signal Processing, pp. 5149-5152.

Simonyan, K. and Zisserman, A. (2015). "Very Deep Convolutional Networks for Large-Scale Image Recognition." In International Conference on Learning Representations.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Wan, L., Zeiler, M., Zhang, S., Cun, Y. L., and Fergus, R. (2013). "Regularization of Neural Networks using DropConnect." In Dasgupta, S. and McAllester, D. (Eds.), Proceedings of the 30th International Conference on Machine Learning, Vol. 28 of Proceedings of Machine Learning Research, pp. 1058-1066, Atlanta, Georgia, USA. PMLR.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana. Association for Computational Linguistics.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., and Brew, J. (2019). "HuggingFace's Transformers: State-of-the-art Natural Language Processing." arXiv, abs/1910.03771.

Zhang, T., Wu, F., Katiyar, A., Weinberger, K. Q., and Artzi, Y. (2021). "Revisiting Few-sample BERT Fine-tuning." In International Conference on Learning Representations.

Zhang, X., Zhao, J., and LeCun, Y. (2015). "Character-level Convolutional Networks for Text Classification." In Cortes, C., Lawrence, N. D., Lee, D. D., Sugiyama, M., and Garnett,

R. (Eds.), Advances in Neural Information Processing Systems 28, pp. 649-657. Curran Associates, Inc.

Zhang, X., Zhu, X., and Wright, S. (2018). "Training Set Debugging Using Trusted Items." In AAAI Conference on Artificial Intelligence, pp. 4482-4489.

## 付録

## A 実験設定

本節では， 4 節で行った実験についてより詳細に設定を記述する。

本論文では, BERT として参照した場合にはすべて, 現在最も広く使われている Transformers ライブラリ (Wolf et al. 2019) に含まれる bert-base-cased の事前訓練済みモデルを用いた。夕スクごとの fine-tuning のハイパーパラメータは，予備実験を行い，開発用データセットにおける精度を元にして調整した。その他の設定は Transformers library (Wolf et al. 2019) のデフォルトに則った．最終的に使用した及び探索したハイパーパラメータの範囲（[]）は次の通りである。学習率 $=5 \mathrm{e}-5[2 \mathrm{e}-5,5 \mathrm{e}-5]$, バッチサイズ $=32$, 訓練データセット周回数 $=3[3$, 6, 10]. turn-over dropout を使う場合には周回数を 10 とした. 3 や 6 の周回数でも同様の精度が出る場合はあったものの, これまでの研究 (Zhang et al. 2021; Mosbach et al. 2021) で報告されている通り，長めの 10 とした場合が最も安定した。訓練事例数は文書分類のいずれの実験でも 5,000 個としたが, 図 2 で学習曲線を示す際には, 視認しやすくするために, 事例数を25,000 個へと増やした設定で訓練を行った. Multi-Domain Sentiment Dataset (Blitzer et al. 2007)は http://www.cs.jhu.edu/ mdredze/datasets/sentiment/のデータを用いた。そこから 'electronics’に含まれるデータのみを抽出し, Stanza (Qi et al. 2020) を用いてトークンを分割し，既に分割済みであるSST-2 とフォーマットを揃えた. Yahoo! Answers Dataset (Zhang et al. 2015)は https://github.com/LC-John/Yahoo-Answers-Topic-Classification-Dataset $の$ データを用いた。

VGGNet19 は momentum SGD (momentum $=0.9$, weight decay $=5 \mathrm{e}-4)$ を用いて最適化を行った. 学習率は, 0.1 から始め, 150 周後の時点と 225 周後の時点でそれぞれ 0.1 倍にした. データ拡張からは左右反転を除いた。実装は, https://github.com/kuangliu/pytorch-cifar に基づいた。

## B事例固有マスクを用いたDropout の実装例

事例固有マスクを用いたdropoutを, Pythonによる深層学習フレームワーク PyTorch (Paszke et al. 2019)によって実装する場合の例を示す.

Listing 1 PyTorchにおける事例固有マスクを用いたdropout 実装の例.

## C ハッシュに基づくマスクの合成

揮発性マスク生成（3.3 節）は，モデルの保存容量と推論時のメモリ使用量（空間計算量）を最小にして問題を解決するために役立つ方法である。一方で，実装によっては，その方法を用いたとしても一時的なメモリ使用量の増加が無視できない量になってしまう可能性がある.

まず大枠として, ネットワークの前向き計算の中では, ある層においてマスク生成が行われ,処理を行い，その層の処理を終えたらマスクは揮発し，メモリ使用量はゼロになる。あるミニバッチ内の各インスタンスに対するマスク生成は, 典型的な効率の良い実装において, 次のような数段階の操作に分けて実行される。まず，始めにランダムシードによってデータセット内の全事例についてマスクを生成する。これは，一般的なランダムベクトルの生成においては，一括で生成する方がより効率がいいためである（例えば for-loop によってミニバッチ内の各事例ごとに生成命令を呼ぶ場合, 所要時間は大幅に伸びる)，そして，その一括で生成した巨大なラン

ダムマスクの中から，ミニバッチ内の事例に関する箇所だけをインデキシングなどによって抜き出して, 所望のランダムマスクをミニバッチ化したものを得る. このとき, 最初の一括生成の段階において一時的に総事例数に依存した大きなメモリ使用量を必要とする。本論文の実験では，その一時的なメモリ使用量でメモリがあふれることはなかったが，モデルサイズやデー夕サイズに応じて問題が生じる可能性がある。そのような場合の解決策として，ハッシュに基づくマスクの合成を活用する方法をここで提案する。端的には， $K(\ll|D|)$ 個のランダムマスクから $k(<K)$ 個選んで組み合わせて作ったようなマスクを各事例ごとに用いるという枠組みである。まず始めに $K$ 個の $d$ 次元バイナリベクトルをランダムに Bernoulli $\left(1-p^{1 / k}\right)$ からサンプリングして用意し, codebook とする。また，ある事例を受け取り， $k$ 個のインデックス $(1 \sim K)$ を出力するようなハッシュ関数を用意する。これらによって，ある事例ごとに codebook から $k$個のランダムべクトルを決定的に選択できるようになる。 そして，それら $k$ 個のランダムべクトルについて，要素ごとに総乗（あるいはバイナリに関する論理和）を取る。このとき，その結果生成されるバイナリベクトルの各要素が 1 である確率は $p$ であるため, ここに dropout のスケーリング值である $\frac{1}{p}$ をかけることで，結果的に当初欲しかったランダムべクトルと同様の分布に従っているランダムベクトルを構成的にかつ決定的に生成することができる。 このアルゴリズムが一時的に要する最大の空間計算量は, サイズ $K \times d$ の codebookに加えて, ミニバッチ（サイズ $b ）$ 内の各事例について $k$ 個のべクトルを保持したときのものになり， $O(K d+k b d)$ まで抑えられることになる。実際の実装上は， $k b$ 個のベクトルは複製されず，codebookへの参照のみで済むことも多く，その場合はさらに codebookのみのコストである $O(K d)$ まで抑えられる.この codebook についても揮発性マスク生成の方法を適用することがもちろん可能である。それにより，データサイズは増えた場合においても，事例固有マスクを使うことによる計算量は十分に小さく抑えることができる.

本論文の焦点はデータフィルタリングへの応用性ではないが, 先行研究の (Koh and Liang 2017) と提案手法それぞれでデータフィルタリングを行う場合の理論計算量と実時間の概算についても参考のために記載する。

今回のそれぞれの実験で求めたい值は，(a) テストデータセット内の各事例への予測結果を解釈・解析する場合（式 (1) の問題設定）と (b) 開発用データセット内の平均損失を用いるデー タフィルタリングを行う場合とでは, 異なっている. (a) と (b)の各問題設定で, ある訓練事例 $z_{i} \in D$ に対して求めたい值は, 具体的には次のとおりである（以下，単純化のために開発用デー
夕についても devではなく test と表記する).

$
\begin{aligned}
&\left(\text { 各 } z_{\text {target }} \in D_{\text {test }} \text { について }\right) L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right) \\
& \frac{1}{\left|D_{\text {test }}\right|} \sum_{z_{\text {target }} \in D_{\text {test }}} L\left(f_{D \backslash\left.\{z_{i}\right.\}}, z_{\text {target }}\right)-L\left(f_{D}, z_{\text {target }}\right)
\end{aligned}
$

(b)の値は (a)の方法から間接的に推定でき, 各開発用事例 $z_{\text {target }} \in D_{\text {test }}$ について (a)を求めたのちに平均を取ることで (b) を求められる。 そのため, 提案手法では, どちらの場合についても計算量は $O\left(F|D|\left|D_{\text {test }}\right|\right)$ となる。一方で, (Koh and Liang 2017)の手法では, 式 $(1, \mathrm{a})$ の各項の值を求めてから差を得るのではなく, 損失の勾配情報を用いて直接その差を推定する. その処理は，損失に対するパラメータ勾配を計算する処理 A と，その勾配それぞれを用いて訓練事例全てに対して計算する処理 Bに分けられる。したがって，(a)の影響値推定の場合では，損失に対するパラメータ勾配計算の A がテスト事例の数だけ必要になり，処理 B も同様の回数行われる。一方で, (b) のデータフィルタリングでは, 開発用データセット全体に対する平均損失に対するパラメータ勾配を 1 つ求めて，処理 B を度だけ行えば済むため, 開発用データのサイズに対して効率的である。具体的には，計算量オーダーについては，(a)では $O(F|D|\left|D_{\text {test }}\right|+\left(F+F^{\prime}\right)\left|D_{\text {test }}\right| \underbrace{r t}_{\approx|D|} b)$ であり, (b)では $O(F\left(|D|+\left|D_{\text {test }}\right|\right)+\left(F+F^{\prime}\right) \underbrace{r t}_{\approx|D|} b)$ となる.なお，キャッシュを活用することにより (a)の場合でも高速化を行える可能性はあるが，パラメータ勾配のデータサイズが非常に大きいため, ハードウェアや実装の都合上実現は困難だと考えられる。なお，訓練事例ごとにそれのみを抜いて訓練したモデルを用意する方法 (Re-train) では, フィルタリングのための推定に $O\left(F|D|\left|D_{\text {test }}\right|\right)$, 訓練に $O\left(\right.$ epoch 数 $\left.\times F|D|^{2}\right)$ の計算量が必要となる。

計算時間の概算としては，例えば，含意関係認識の Multi-Genre NLI dataset (Williams et al. 2018) のデータセットにおいて開発用事例 200 個と訓練事例 10,000 個を使う場合, (Koh and Liang 2017) の手法では約 12 分で終わる11一方で, 提案手法で上記のナイーブな計算を行う場合には約 110 分程度かかると考えられる。

## E訓練事例自身への影響値

訓練による影響値の解析について簡単な実験を行った結果を示す. 教師あり学習において, ある事例で訓練した場合にはその事例の入力からは出力を予測できるようになることが期待される。この実験では，ある訓練事例のその事例自身への影響值（自己影響値）を計測し，上で述

図 6 BERT を SST-2 で訓練した場合の，訓練データセットに対する自己影響値のヒストグラム

べた期待に一致することを確認した．BERT SST-2で訓練した際の，訓練事例 5,000 個について自己影響値を計測し, 図 6 にヒストグラムとして示した。ほぼ全ての事例について自己影響値が正になっていることから，ある事例での訓練がその事例に対して正の影響を及ぼしているという期待に沿った計算が行えていることがわかる。また, CIFAR-10で訓練した VGGNet でも同様の傾向を示した.

## 略歴

小林颯介：2016 年東北大学大学院情報科学研究科博士前期課程終了. 同年,

株式会社 Preferred Networks に入社. 2018 年東北大学同研究科博士後期課程入学. 現在在学中.

横井祥 : 2020 年東北大学大学院情報科学研究科博士課程修了. 同年より東北大学大学院情報科学研究科助教. 理化学研究所 AIP センター数理統計学チーム客員研究員兼任.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・AI 教育研究センター教授.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 2010 年より東北大学大学院情報科学研究科教授. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.