# 談話構造制約付きパーソナライズド抽出型要約

高津 弘明 $^{1}$ 安藤 涼太 $^{2}$ 本田 裕 $^{3}$ 松山 洋一 $1 \quad$ 小林哲則 ${ }^{1}$
1 早稲田大学 2 内外切抜通信社 $\quad 3$ 本田技研工業
takatsu@pcl.cs.waseda.ac.jp ando@naigaipc.co.jp hiroshi_01_honda@jp.honda
matsuyama@pcl.cs.waseda.ac.jp koba@waseda.jp

## 1 はじめに

ユーザのプロフィールに基づいてニュース記事の文に対する興味度を推定する手法および，興味度と談話構造に基づいて文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案する。

人々がテキストの必要な情報に効率的にアクセスすることを手助けする技術としてテキスト自動要約技術がある．要約は，特定のユーザに特化した要約か否かで, generic な要約と user-focused な要約に分類される [1]. generic な要約は，特定のユーザを想定せず，テキストの重要な情報を抽出して作成された要約を表すのに対し， user-focused な要約は，重要な情報だけでなく，ユーザの興味や好みも考慮して作成された要約を表す。これまでに, generic な要約を生成する手法が数多く検討されてきたが，興味や嗜好が多様化している現代社会において， user-focused な要約の需要が高まっている [2].

generic な要約, user-focused な要約を問わず，要約が満たすべき性質として一貫性がある。一貫性の高い要約とは原文書の談話構造や論理構造を保持した要約を表す. generic な要約の研究では, 談話構造を考慮した要約生成手法が提案されている $[3,4,5]$.一方，user-focused な要約生成手法の多くは，ユーザの特徴を考慮して計算されたスコアに基づいて文をランキングし，その上位の文を抽出して要約とするものである $[6,7,8]$. そのため, 従来の user-focused な要約生成手法では，一貫性の低い要約が生成される可能性が高い. そこで，本研究では，談話構造に基づく一貫性を保持したまま，ユーザの属性に応じて興味がありそうな文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案する.

アプリケーションとしてニュースを伝える音声対話システム（以下，ニュース対話システム）[9]を想定する。このシステムは，要約に基づく主計画と補足説明のための副計画から構成されるシナリオに基づいて会話を進行させる。ユーザが受け身で聴いている限りにおいては主計画の内容を伝えることになる. 主計画生成問題を以下のように定式化する。

話題が異なる $|D|$ 個の文書から各文書の談話構造を制約としてユーザが興味のありそうな文を抽出し，その内容を音声で $T$ 秒以内に伝える。

提案手法では，文の内容に対する興味度は，アンケートから得られるユーザのプロフィール情報と BERT [10] の単語埋め込み表現に基づいて推定する.要約は, 最大要約長 $T$ (秒) と文書の談話構造を制約として，推定した興味度の和が最大となるように整数計画問題を解き，文を抽出することで生成する. 談話構造とユーザのプロフィールおよび文と話題に対する興味度が付与されたニュース記事コーパス [11]を用いて，提案手法の有効性を評価する。

本稿の構成は次の通りである． 2 章で関連研究について述べる. 3 章でニュース記事の文と話題に対する興味度を推定するモデルについて説明する． 4 章で推定した興味度に基づいて文を抽出する手法について説明する. 5 章で提案手法の有効性を評価する. 6 章でまとめと今後の展望について述べる.

## 2 関連研究

要約手法は大きく extractive な手法と abstractive な手法に分類される [12]. extractive な手法では, 文書中の文や単語を抽出することで要約を生成する。代表的な手法として，グラフベースの手法 $[13,14]$ や整数計画問題による手法 $[3,4]$, ニューラルネットワークによる手法 $[15,16]$ などがある. abstractive な手法では，文書中に出現しない表現も用いながら文章をより簡潔な表現に言い換えることで要約を生成する. 代表的な手法として，アテンションやコピー

図1 興味度推定モデル：BERT_PA_BiGRU_GNN

図 2 Personalized Sentence Encoder
メカニズムを用いた手法 $[17,18]$ や強化学習を導入した手法 $[19,20]$ などがある. また, extractive と abstractive の両方の手法を取り入れたハイブリッドな手法 $[21,22]$ も提案されている. user-focused な要約を生成する研究でも abstractive な手法が最近提案されてきているが $[23,24]$, 以下に示す研究を含め,従来手法の多くは extractive な手法である.

user-focused な要約の研究では，タスクに応じて様々な観点でユーザの特徴がモデル化されている。情報検索タスクでは，ユーザの特徴をクエリで捉え，そのクエリを反映した要約を生成することでパーソナライズが試みられている [25, 26, 27, 28].学習支援タスクでは, 学習者の年齢, 学習の目的や興味のある項目を記した自己記述などを用いて，学習者ごとにパーソナライズした要約を生成する手法が提案されている $[29,30,31]$. レビュー要約タスクでは，ユーザが入力したクエリの履歴や閲覧した商品の履歴, プロフィールテキスト, ユーザが過去に投稿したレビューなどを用いて，ユーザの興味や好みに合わせた要約を生成する手法が提案されている [32, 33, 23]. ニュース記事を含むウェブコンテンツの要約のパーソナライズを目指した研究では, ニュースのキーワードに対する興味やソーシャルタギングデータ，要約中の文に対するクリック情報などを用いて，ユーザごとにパーソナライズした要約を生成する手法が提案されている [6,7, 8, 34, 35].

談話構造を考慮した generic な要約の研究としては次のような研究がある. Marcu は, 修辞構造理論 [36] に基づいて構築した Elementary Discourse Unit （EDU）を最小の談話単位とする修辞構造木に従って EDU をランキングし，ランキング上位の EDUを抽出して要約とする手法を提案した [37]. 平尾らは，修辞構造木を談話依存構造木へ変換する方法を提案し，整数計画問題に基づく談話依存構造木の刈
り込みによって要約を生成する手法を提案した [3].菊池らは，文間の依存構造と単語間の依存構造の両方を考慮して，整数計画問題に基づいて重要文抽出と文圧縮を同時に行う手法を提案した [4].

近年，自然言語処理の分野では，ラベルなしの膨大なテキストデータを使用して事前学習した言語モデルを下流タスクでファインチューニングするアプローチが注目されており [38], 要約タスクにおいても事前学習の有効性が確認されている $[5,39,40]$. Liu らは，文書のエンコーディングに BERT [10]を使用し，入力の各文の先頭に [CLS] トークンを付与することで文ごとの特徴量を獲得し，各 [CLS] トークンに対応するエンコーダの最上位層の出力ベクトルにシグモイドを適用することで抽出する文か否かを推定する手法を提案した [39]. Xu らは，Liu らの手法を拡張し，RST の句構造を変換して得られた依存構造を制約として文書をエンコーディングし，EDU を抽出する手法を提案した [5]. Zhang らは，文書中の重要文を mask して復元するように学習した事前学習モデルが，他の事前学習モデルよりも要約タスクにおいて高い性能を示すことを確認した [40].

## 3 興味度推定モデル

ユーザのプロフィール情報（年齢や職種・業種, ニュースのジャンルに対する興味度，趣味など [11]） に基づいてニュース記事全体の話題に対する興味度と各文に対する興味度を推定するモデルを提案する. 提案モデルの概略図を図 1 に示す. タイトルに対する興味度を記事全体の話題に対する興味度として，1 文目の前にタイトルを入力する. Personalized Sentence Encoder（図 2) では，文の単語系列を BERT [10]に与え，得られた単語埋め込み表現系列に対してプロフィール特徴量をクエリとして, personalized attention [41] を計算する. さらに，補助情報として，
文書内文位置，文書内段落位置，段落内文位置，談話依存構造木における深さを与える。次に，得られた文べクトルを双方向の GRU [42] に与え，前後の文の情報を考慮した後, Graph Neural Netowork (GNN) [43] により，タイトルをルートノードとした文間の依存構造に基づく情報の伝搬を行う，最後に，談話構造を反映した文べクトルを sigmoid を活性化関数とする出力層に与え, 各文について興味があるか否かを推定する。

## 4 興味文抽出モデル

話題が異なる $|D|$ 個の文書からユーザが興味のありそうな文を抽出し, 音声で $T$ 秒以内に伝える要約問題を考える。要約の要件として，ユーザにとって興味がある内容であること，冗長でないこと，内容が一貫していることが挙げられる。 そこで，要約問題を，文間の依存構造を制約とし，文に対する興味度の高さと文間の類似度の低さのバランスで目的関数を定義した整数計画問題として定式化する.

$
\max . \quad \sum_{d \in D} \sum_{i<j \in S_{d}} b_{d i} b_{d j}\left(1-r_{d i j}\right) y_{d i j}
$

s.t.

$
\begin{aligned}
& \forall d, i, j: \quad x_{d i} \in\{0,1\}, \quad y_{d i j} \in\{0,1\} \\
& \sum_{d \in D} \sum_{i \in S_{d}} t_{d i} x_{d i} \leq T \\
& \forall d<d^{\prime}:-L \leq \sum_{i \in S_{d}} x_{d i}-\sum_{i \in S_{d^{\prime}}} x_{d^{\prime} i} \leq L \\
& \forall d, i: \quad j=f_{d}(i), \quad x_{d i} \leq x_{d j} \\
& \forall d, c, i \in C_{d c}: \sum_{j \in C_{d c}} x_{d j}=\left|C_{d c}\right| \times x_{d i} \\
& \forall d, i, j: \quad y_{d i j}-x_{d i} \leq 0 \\
& \forall d, i, j: y_{d i j}-x_{d j} \leq 0 \\
& \forall d, i, j: \quad x_{d i}+x_{d j}-y_{d i j} \leq 1
\end{aligned}
$

変数の定義を表 1 に示す. ここで，文書 $d$ の $i$ 番目の文を文 $d i$ と表現する.$b_{d i}$ は，興味度推定モデルで推定した文 $d i$ に対する興味度の值である. $r_{d i j}$ は, 文 $d i$ と文 $d j$ の内容語の Bag-of-Words のコサイン類似度である。

式 2 は，要約の発話時間を $T$ 秒以下とする制約である。式 3 は，抽出する文の数の文書間での偏りを $L$ 文以下に抑える制約である. 式 4 は，ある文 $d i$ を含める場合，談話依存構造木における親ノードの文 $d j$ も含めなければならないとする制約である. 式 5 は，チャンク中のある文 $d i$ を含める場合，同チャンクに含まれる他の文も含めなければならないとする表 1 変数の定義

制約である.チャンクとは，親ノード文を理解するために欠かせない情報が子ノード文に書かれている場合，これらをまとめて提示すべきであることを表した文の集合である. 式 6 から式 8 は, 文 $d i$ と文 $d j$ が選ばれた際に $y_{d i j}=1$ とするための制約である。

文書間での最大許容偏り文数 $L$ は, 最大要約長 $T$ と, 要約対象の文書の数 $|D|$, 一文書あたりの平均発話時間 $\bar{t}$ に基づいて以下の式で求める.

$
\begin{aligned}
L & =\left.\lfloor\frac{\bar{N}}{\sqrt{|D|}}+0.5\right.\rfloor \\
\bar{N} & =\frac{T}{\bar{t} \times|D|}
\end{aligned}
$

$\bar{N}$ は 1 記事から抽出が期待される文の数を表し，その値を文書数の平方根で割り，四捨五入した值を $L$ とする.

## 5 実験

ニュース記事に対して談話構造と興味度を付与したデータセット [11]を使用した. このデータセットは，文を談話単位として，15 文から 25 文のニュー ス記事 1200 個に対して，ウェブニュースのクリッピングの専門家が「係り先」「談話関係」「チャンク」 を付与した談話構造のデータと, 同じ 1200 記事に対して，クラウドソーシングで 1 人あたり 6 記事, 1 記事あたり 11 人以上となるように配分して，合計 2507 人にプロフィールアンケートと, ニュース記事の話題と文について 6 段階の興味度（6:とても興味がある，5:興味がある，4:どちらかといえば興味がある，3:どちらかといえば興味がない，2:興味がない，1:まったく興味がない）を回答させたデー タからなる. 本研究では, 6 記事の回答時間が 6 分以上 20 分以下で，年齢が 20 代 50 代，職種と業種が「その他」ではなく, 低頻度の職種でない被験者 1154 人のデータを使用した.

## 5.1 興味度推定性能の評価

BERT の事前学習モデルとして，情報通信研究機構が公開しているモデルを用いた1). 使用した BERT モデルは，日本語 Wikipedia の全記事に対して, Juman 辞書を用いた $\mathrm{MeCab}^{2}$ [44] により形態素解析を行ったテキストを入力として，語彙数が 10 万語からなる BERT $_{\text {BASE }}[10]$ を学習したモデルである. 興味度データのうち，3 点以下のものを興味なし (ラベル“"0)，4 点以上のものを興味あり（ラベル“1”) としてモデルの学習を行った. 評価は, ユー ザ単位でデータを 10 分割にして交差検定を行った. 比較手法として, 提案モデルから personalized attentionを除いたモデル（BERT_BiGRU_GNN）と， GNN を除いたモデル（BERT_PA_BiGRU）と比較した。なお，BERT_BiGRU_GNNでは，BERTの [CLS] トークンの最上位層の出力を BiGRUに与えている. それぞれのモデルについて, 10 分割交差検定で Accuracy を計算した結果を表 2 に示す. 表では 「話題」（タイトルに対応するラベル）と「文」に分けて結果を示している. BERT_BiGRU_GNNよりも BERT_PA_BiGRU_GNN の方が Accuracy が高いことから，ユーザのプロフィールを考慮することの有効性が確認できた。さらに，BERT_PA_BiGRUよりも BERT_PA_BiGRU_GNN の方が Accuracy が高いことから，文間の依存構造を考慮することの有効性が確認できた.

## 5.2 興味文抽出性能の評価

文に対する興味度に基づいてユーザごとにジャンルの異なる 6 個のニュース記事を要約し，その内容を規定時間内に音声で伝える状況を考える. 原文の表記で文を発話するものとし，ニュース記事の各文を AITalk 4.1 (のぞみ $)^{3}$ )で音声合成した. 合成音声ファイルの再生時間に，文間の間（ま）1 秒，文書間の間（ま） 3 秒を加えた値を $t_{d i}$ とした. 整数計画問題は分枝切除法 $[45,46]$ で解いた ${ }^{4)}$. 評価尺度

図 3 最大要約長 $T$ を変化させたときの $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$

には，情報伝達効率 $\mathrm{EoIT}_{\beta}$ [47] を用いた. $\mathrm{EoIT}_{\beta}$ は，要約が 4 点以上の文を含めることができた割合（被覆率）を $C, 3$ 点以下の文を除外できた割合（除外率）を $E$ としたとき，重み付き $\mathrm{F}$ 值 [48] に基づき，以下の式で計算する。

$
\operatorname{EoIT}_{\beta}=\frac{\left(1+\beta^{2}\right) \times C \times E}{\beta^{2} \times C+E}
$

$\beta=2$ のとき除外率を被覆率の 2 倍重視することを意味する。

最大要約長 $T$ を 180 秒から 540 秒まで 30 秒刻みで変化させたときの要約の $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$ を図 3 に示す. $\operatorname{EoIT}_{\beta}$ (予測値) は，興味度として BERT_PA_BiGRU_GNN の 10 分割交差検定の予測値を用いたときの性能を表す. $\operatorname{EoIT}_{\beta}$ （理想値）は，興味度としてデータセットの正解値を用いたときの性能を表す。各曲線は被覆率と除外率のバランスが最も取れた時刻で最大となっている. EoIT (理 $^{2}$想值）は $T=450$ のとき 0.595, EoIT $_{1}$ （予測値）は $T=420$ のとき 0.526, EoIT $_{2}$ （理想値）は $T=270$ のとき $0.630, \mathrm{EoIT}_{2}$ (予測値) は $T=270$ のとき 0.577 で最大となった. 全時刻での $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$ の理想値と予測値の差は平均で $6 \%$ 程度であった。

## 6 おわりに

ユーザのプロフィールに基づいてニュース記事の文に対する興味度を推定する手法および，興味度と談話構造に基づいて文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案した.

今後は，対話履歴を用いて適応的にパーソナライズした要約を生成する手法について検討する。

謝辞本研究は，JST START（JPMJST1912）の支援を受けたものである.

## 参考文献

[1]Inderjeet Mani and Eric Bloedorn. Machine learning of generic and userfocused summarization. In Proceedings of the 15th National / 10th Conference on Artificial Intelligence / Innovative Applications of Artificial Intelligence, pp. 820-826, 1998.

[2]Maya Sappelli, Dung Manh Chu, Bahadir Cambel, David Graus, and Philippe Bressers. SMART journalism: Personalizing, summarizing, and recommending financial economic news. The Algorithmic Personalization and News (APEN18) Workshop at ICWSM, Vol. 18, No. 5, pp. 1-3, 2018.

[3]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[4]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014.

[5]Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[6]Alberto Díaz and Pablo Gervás. User-model based personalized summarization. Information Processing and Management, Vol. 43, No. 6, pp. $1715-1734,2007$

[7]Rui Yan, Jian-Yun Nie, and Xiaoming Li. Summarize what you are interested in: An optimization framework for interactive personalized summarization. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1342-1351, 2011.

[8]Po Hu, Donghong Ji, Chong Teng, and Yujing Guo. Context-enhanced personalized social summarization. In Proceedings of the 24th International Conference on Computational Linguistics, pp. 1223-1238, 2012.

[9]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性の異なる多様な情報行動を可能とする音声対話システム. 人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[10]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019

[11]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. ニュース記事に対する談話構造と興味度のアノテーション〜ニュース対話システムのパーソナライズに向けて〜. 言語処理学会第 27 回年次大会発表論文集, 2021.

[12]Vipul Dalal and Latesh Malik. A survey of extractive and abstractive text summarization techniques. In Proceedings of the 6th International Conference on Emerging Trends in Engineering and Technology, pp. 109-110, 2013.

[13]Güneş Erkan and Dragomir R. Radev. LexRank: Graph-based lexical centrality as salience in text summarization. Journal of Artificial Intelligence Research, Vol. 22, No. 1, pp. 457-479, 2004

[14]Rada Mihalcea and Paul Tarau. TextRank: Bringing order into texts. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411, 2004

[15]Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. SummaRuNNer: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the 31th AAAI Conference on Artificial Intelligence, pp. 3075-3081, 2017.

[16]Jiacheng Xu and Greg Durrett. Neural extractive text summarization with syntactic compression. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3292-3303, 2019

[17]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 10731083, 2017.

[18]Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 615-621, 2018.

[19]Romain Paulus, Caiming Xiong, and Richard Socher. A deep reinforced model for abstractive summarization. In Proceedings of the 6th International Conference on Learning Representations, pp. 1-13, 2018.

[20]Ramakanth Pasunuru and Mohit Bansal. Multi-reward reinforced summarization with saliency and entailment. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 646-653, 2018.

[21]Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 675-686, 2018.

[22]Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. A unified model for extractive and abstractive summarization Association for Computational Linguistics, pp. 132-141, 2018.

[23]Junjie Li, Haoran Li, and Chengqing Zong. Towards personalized review summarization via user-aware sequence network. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pp. 6690-6697, 2019

[24]Yu-Hsiu Chen, Pin-Yu Chen, Hong-Han Shuai, and Wen-Chih Peng. TemPEST: Soft template-based personalized EDM subject generation through collaborative summarization. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, pp. 7538-7545, 2020.

[25]Anastasios Tombros and Mark Sanderson. Advantages of query biased summaries in information retrieval. In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2-10, 1998.

[26]Changhu Wang, Feng Jing, Lei Zhang, and Hong-Jiang Zhang. Learning query-biased web page summarization. In Proceedings of the 16th ACM Conference on Conference on Information and Knowledge Management, $\mathrm{pp}$. $555-562,2007$

[27]Sun Park, Byung Rae Cha, and JangWoo Kwon. Personalized document summarization using pseudo relevance feedback and semantic feature. IETE Journal of Research, Vol. 58, No. 2, pp. 155-165, 2012.

[28]Jennifer Williams, Sharon Tam, and Wade Shen. Finding good enough: A task-based evaluation of query biased summarization for cross language information retrieval. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 657-669, 2014

[29]Róbert Móro and Mária Bieliková. Personalized text summarization based on important terms identification. In Proceedings of the 23rd International Workshop on Database and Expert Sytems Applications, pp. 131-135, 2012.

[30]Guangbing Yang, Dunwei Wen, Kinshuk, Nian-Shing Chen, and Erkki Sutinen. Personalized text content summarizer for mobile learning: An automatic text summarization system with relevance based language model. In Proceedings of the 2012 IEEE Fourth International Conference on Technology for Education, pp. 90-97, 2012.

[31]Uriel Ramírez, Yasmín Hernández, and Alicia Martínez. Towards personalized summaries in spanish based on learning styles theory. Research in Computing Science, Vol. 148, No. 5, pp. 115-123, 2019.

[32]Zehra Kavasoğlu and Şule Gündüz Öğüdücü. Personalized summarization of customer reviews based on user's browsing history. International Journal on Computer Science and Information Systems, Vol. 8, No. 2, pp. 147-158, 2013

[33]Mickaël Poussevin, Vincent Guigue, and Patrick Gallinari. Extended recommendation framework: Generating the text of a user review as a personalized summary. In Proceedings of the 2nd Workshop on New Trends on Content-Based Recommender Systems co-located with 9th ACM Conference on Recommender Systems, pp. 34-41, 2015.

[34]Chandan Kumar, Prasad Pingali, and Vasudeva Varma. Generating personalized summaries using publicly available web documents. In Proceedings of the 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, pp. 103-106, 2008

[35]Xindong Wu, Fei Xie, Gongqing Wu, and Wei Ding. Personalized news filtering and summarization on the web. In Proceedings of the 2011 IEEE 23 rd International Conference on Tools with Artificial Intelligence, pp. 414 $421,2011$.

[36]William C. Mann and Sandra A. Thompson. Rethorical structure theory: Toward a functional theory of text organization. Text, Vol. 8, No. 3, pp. 243-281, 1988

[37]Daniel Marcu. Improving summarization through rhetorical parsing tuning. In Proceedings of the 6th Workshop on Very Large Corpora, pp. 206-215, 1998.

[38]XiPeng Qiu, TianXiang Sun, YiGe Xu, YunFan Shao, Ning Dai, and XuanJing Huang. Pre-trained models for natural language processing: A survey. 2020.

[39]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740, 2019.

[40]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, pp. 11328-11339, 2020.

[41]Chuhan Wu, Fangzhao Wu, Mingxiao An, Jianqiang Huang, Yongfeng Huang, and Xing Xie. NPA: Neural news recommendation with personalized attention. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pp. 2576-2584, 2019.

[42]Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734, 2014.

[43]Filippo Maria Bianchi, Daniele Grattarola, Lorenzo Livi, and Cesare Alippi. Graph neural networks with convolutional ARMA filters. arXiv:1901.01343v6, pp. 1-15, 2020.

[44]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004

[45]John E. Mitchell. Branch-and-cut algorithms for combinatorial optimization problems. Handbook of Applied Optimization, pp. 65-77, 2002.

[46]Manfred Padberg and Giovanni Rinaldi. A branch-and-cut algorithm for the resolution of large-scale symmetric traveling salesman problems. SIAM Review, Vol. 33, No. 1, pp. 60-100, 1991

[47]Hiroaki Takatsu, Mayu Okuda, Yoichi Matsuyama, Hiroshi Honda, Shinya Fujie, and Tetsunori Kobayashi. Personalized extractive summarization for a news dialogue system. In Proceedings of the 8th IEEE Spoken Language Technology Workshop, 2021.

[48]Nancy Chinchor. MUC-4 evaluation metrics. In Proceedings of the 4th conference on Message understanding, pp. 22-29, 1992.


# Analysis of Biden's Victory Speech

Reiji Miura ${ }^{\dagger} \quad$ Sumiyo Nishiguchi ${ }^{\ddagger}$
Department of Economics, Faculty of Commerce, Otaru University of Commerce ${ }^{\dagger}$
Center for Language Studies, Otaru university of Commerce
reiji.01101114@gmail.com ${ }^{\dagger} \quad$ nishiguchi@res. otaru-uc. ac. jp

## 1 Introduction

We listened to the US President-Elect Joe Biden's speech and analyzed its characteristics.

President-elect Joe Biden emphasized unity in his first address to the nation since securing the White House on November 7th, 2020. He gave a victory speech in Wilmington, Del., where he called on Democrats and Republicans to stop demonizing one another and find a way to compromise. He made a speech using a total of 1818 words.

## 2 Speech Content

Biden got a lot of votes. He has won with the most votes ever cast for a presidential ticket in the history of America. At first, he spoke about his wife, Jill. He said that Jill was going to make a great first lady. He is so proud of her. He had a lot of repetitive expressions in speech.

He used the phrase "the battle to" six times. It briefly describes what he wants to do for America.

He said he was looking ahead. He used "ahead to an America" five times. It shows the potential of America. He may be emphasizing the words by repeating the same words.

The content of his speech is about a spouse, transgender, corona measures, turning point of America and possibility of America.

We thought that his repetitive expression made it easier to understand the important points of the speech and what he wanted to emphasize.

## 3 Frequency of Word Usage

As above, he made a speech using a total of 1818 words. We have summarized the words that appeared frequently in speech in a table. The following graph Table 1 shows the 10 most frequently used words.

 \\

Table 1 The 10 most frequently used words at Biden's victory speech.

From this result, it was found that articles and conjunctions are frequently used. He used "and" a lot, so we can see that he has a lot of opinions. Also, because he uses "our" frequently, which suggests inclusion and thoughts about the people and colleagues.

Next, let's examine the frequency of use of nouns only. The result is the following graph. It shows the 10 most frequently used words.

 \\

Table 2 The 10 most frequently used nouns in Biden's victory speech

From this result, many words about America and people are used. In other words, these frequent nouns display that the priorities of the country and the people in his speech.

## 4 Repetitive Expressions

As mentioned earlier, Biden used repetitive expressions. The first one is "the battle to". He said "America has called upon us to marshal the forces of decency, the forces of fairness. To marshal the forces of science and the forces of hope in the battles. The battle to control the virus, the battle to build prosperity, the battle to secure your family's health care. The battle to achieve racial justice and root out systemic racism in this country. And the battle to save our planet by getting climate under control." in speech. "The battle to" is used 6 times in the text. From this, the audience may infer a strong will to solve the problems of coronavirus and racial discrimination, which are the current problems in the United States.

Next is "ahead to an America". He said "We're always looking ahead. Ahead to an America that is freer and more just. Ahead to an America that creates jobs with dignity and respect. Ahead to an America that cures diseases like cancer and
Alzheimer's. Ahead to an America that never leaves anyone behind. Ahead to an America that never gives up, never gives in, this great nation." In speech. "ahead to an America" is used 5 times and sounded to be the gist or the conclusion of this speech. Biden concisely expresses what he wants to do by using repetitive expressions. The word "an" added in front of the "America" makes it more impressive.

## 5 Conclusion

Listening to Biden's speech, we found that he used a lot of repetitive expressions. The content is emphasized by repeated expressions. We analyzed the word frequencies. The result showed that "the battle to" was used six times to briefly describe the future directions. "Ahead to an America" appeared five times, which showed the potential of America.

## References

1. Bird, Steven, Ewan Klein, and Edward Loper (2009) Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit

O'Reilly, Sebastopol, CA.

2. Nishiguchi, Sumiyo (2020) "The Semantics of Reduplication" Shin Handai Eibungakkai Sosho 2: Eigogaku no Fukamari, Eigogaku karano Hirogari, Eihosha, Tokyo.

3. Scott, Mike and Christopher Tribble (2006) Textual Patterns:

Key Words And Corpus Analysis in Language Education, John Benjamins, Amsterdam.

4. The New York Times (2020) "Read Joe Biden's President-Elect Acceptance Speech:

Full Transcript,"

https://www.nytimes.com/article/biden-speechtranscript.html

5. CNN Politics (2020) "President-elect Joe Biden Seeks to Unite Nation with Victory Speech"
https://edition.cnn.com/2020/11/07/politics/bid en-victory-speech-2020-election/index.html 6. The Washington Post, "Joe Biden's Victory Speech, Annotated"

https://www.washingtonpost.com/politics/2020

/11/07/annotated-biden-victory-speech/

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 共参照情報を活用した映画のあらすじ要約生成

川原田将之 $\dagger$ 長谷川駿 $\dagger$ 上垣外英剛 $\dagger$ 高村大也 $\dagger$ 奥村学 $\dagger$
$\dagger$ 東京工業大学 $\S$ 産業技術総合研究所
\{kawarada@lr., hasegawa.s@lr., kamigaito@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

インターネット上の映画情報サイトでは，様々な映画のあらすじを読むことができる。その中には映画内容を詳細に記した長文のあらすじも多く存在する.しかし，読者には必要最低限の情報が含まれた簡潔なあらすじを読みたいという需要も大きい。そこで，本研究では，映画内容が詳細に記載されたあらすじを自動要約し, 簡潔なあらすじを作成する単一文書要約手法の研究を行う。一般的な文書要約のアプローチには大きく分けて抽出型と生成型が存在する。しかし，映画のあらすじでは，1文であっても人物に関して詳細な記述がされている場合があり，文を抽出単位とした抽出型要約では冗長になることが予想される。 そのため, 本研究では映画のあらすじ要約を生成型文書要約として定式化する.

我々が調査したところ，映画をドメインとする要約用データセットは存在していなかった。 そこでまず，映画情報サイトである IMDb (Internet Movie Database $)^{1}$ からデータの収集を行い，映画全体のストーリーが詳細に書かれたあらすじと，それに対応した要約文書であるあらすじ要約がぺアとなった映画要約データセットを構築した。

映画のあらすじには，文書要約の研究で広く用いられているニュース記事と比べて，人称代名詞が多用されるという特徴がある。しかし, 現在の生成型要約モデルではそれらを十分に考慮できているとは言えない。そこで，我々は入力文書のエンコード時に共参照情報を明示的に活用した要約手法を提案する.また，本研究で作成した映画要約データセットは，CNN/Daily Mail(以下 CNN/DM) データセット [1] などのニュース記事要約用データセットと比べると小規模である。そのため，本研究では，ドメインの異なる大規模な要約データセットでモデル全体の事前学習を行った後，映画要約データセットを用いて fine-tuning を行う.

1) https://www.imdb.com/評価実験において，共参照情報を明示的に活用する提案手法，そしてドメインの異なる大規模なデー タセットを用いた事前学習による性能向上が，自動評価指標に関し確認された。

## 2 関連研究

単一文書要約に関する研究は幅広く行われている $[2,3]$ が，小説や映画などの物語を対象とした研究は少ない $[4,5]$.

ニューラルネットワークによる生成型要約は,文書を入力，要約を出力とした Encoder-Decoder モデルをべースとして行われる [6]. 近年では，BERT (Bidirectional Encoder Representations from Transformers) に代表される事前学習済みエンコーダ $[7,8]$ を文書要約タスクに適応学習する研究が行われている。Liu ら [9] は，BERTを用いて文書全体をエンコードした後，Transformer[10] でデコードすることにより，事前学習済みのエンコーダを使った生成型文書要約を行った。

$\mathrm{Xu}$ ら [11] は，予め文書の談話構造と共参照関係を表すグラフを作成しておき，BERT から得られた隠れ状態を Graph Convolution Networks (GCN)[12] で更にエンコードすることにより，EDU 単位で抽出型要約を行っている．Xu らの研究は，文書の共参照関係を取り入れたモデルであり本研究と近いが，本研究は生成型要約であることから，同じ手法でモデルに共参照情報を組み込むことが出来ない。また，用いるデータセットのドメインも異なっている.

## 3 映画要約データセット

映画のあらすじ要約を行うにあたり，映画ドメインの要約データセットの構築をした後，作成したデータセットの分析を行う.

## 3.1 データセットの作成

映画データの収集先として映画情報サイトである IMDb を選択した，IMDb は，映画情報をユーザー
表 1 映画要約データセットと CNN/DM データセットの比較

が自由に投稿できるようになっており，ネタバレを含まず簡潔に書かれた Plot Summaries と映画全体の内容が詳細に書かれた Plot Synopses の 2 種類のあらすじを投稿することができる.

まず，IMDb が公開している映画の固有 ID リスト2)に記載されている作品を元に映画データを収集した. 次に，収集した映画データの中で Plot Synopses にテキストが存在しない作品やPlot Summaries の文書長が Plot Synopses の文書長を上回っている作品を削除し3)，最終的に 27,414 作品のデータを取得した. そして，作品単位でデータの分割を行った後, Plot Synopsis をあらすじ, Plot Summaries をあらすじ要約としてデータセットを構築した。

## 3.2 データセットの分析

文書数，入力文書長，出力文書長，人称代名詞が文書に占める割合のそれぞれについて，映画要約データセットと CNN/DM データセットで比較を行ったもの先を表 1 に示す. 入力文書長, 出力文書長，人称代名詞が文書に占める割合の值は，全デー タの平均値である.

投稿の規定上, Plot Summaries は複数投稿できるのに対して，Plot Synopsis は 1 作品につき 1 つしか投稿出来ないため，1つのあらすじに対して複数のあらすじ要約が存在するデータセットとなっている. train/valid/test セットのそれぞれについて，あらすじは 21,931/2,743/2,740 データであるのに対して, あらすじ要約は $43,281 / 5,461 / 5,529$ データとなっており, 1 作品あたり平均して約 2 種類のあらすじ要約が存在していることを意味する.

また，各あらすじ文書中に存在する単語の中で人称代名詞の割合は $7.17 \%$ であった. これは，CNN データセットに含まれる割合よりも 40\%程度高く， DM データセットよりも $30 \%$ 程度高い値である。

2) https://www.imdb.com/interfaces/

3）テキストが存在していても記号のみの場合などは削除した.

4）単語分割には Stanford CoreNLP 3.8.0を用いた.

## 4 提案手法

先行研究 [9]をべースに，共参照情報を明示的に活用できるよう改良を加えた生成型要約モデルを図 1 に示す. 本手法ではまず，あらすじに対する共参照解析 [13] を行い，共参照グラフ（4.1 節で後述）を作成する．その上で，あらすじを BERTでエンコー ドした後，グラフエンコーダを用いて共参照グラフに基づき隠れ状態を更新する。最後に Transformer でデコードを行うことであらすじ要約を生成する。

## 4.1 共参照グラフ

共参照解析とは，文書内で言及されている名詞句等の表現対が同一の対象を指しているか否かを判別する処理のことである.

共参照関係にある表現は，1 単語から成る表現だけではなく, 人物名など複数単語から成る表現も存在する。また，BERTの入力はサブワードに分割されている必要があり, 1 単語の表現であっても複数のサブワードから構成されている場合がある.

これらを扱うため，トークン分割後のある表現 $s=\left.\{s_{1}, s_{2}, \ldots, s_{M}\right.\}$ の中で, 最初と最後のサブワー ドである $s_{1}, s_{M}$ をその表現を代表するサブワード $s_{\text {start }}, s_{\text {end }}$ とする ${ }^{5)}$. そして, 同一対象を示す各表現に対して， $s_{\text {start }}, s_{\text {end }}$ 同士をそれぞれ独立して連結する. 最後に，各サブワードに self-loop エッジを追加することで，サブワードをノードとする共参照グラフを作成した.

## 4.2 BERT を使ったエンコード

先行研究に従い，前処理として入力テキストをサブワードに分割し, 入力の最初に [CLS] ラベル, 各文の最後に $[\mathrm{SEP}]$ ラベルを追加する．その上で，入力 $\mathbf{x}=\left.\{x_{1}, \ldots, x_{n}\right.\}$ は次式によってエンコードされ,隠孔状態 $\mathbf{h}=\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\} \in \mathbb{R}^{d \times n}$ を得る：

$
\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\}=\operatorname{BERT}\left(\left.\{x_{1}, \ldots, x_{n}\right.\}\right) .
$

ここで，dは隠れ状態の次元を表している。
}, s_{\text {end }}\right)=\left(s_{1}, s_{1}\right)$ とする.
}

図 1 共参照情報を活用した生成型要約モデル

## 4.3 グラフエンコーダ

$L$ 層のグラフエンコーダを用いて, BERTから出力された隠れ状態 $\mathbf{h}$ の更新を行う. $l$ 層目のグラフエンコーダの出力を $\mathbf{h}^{(l+1)}=\left.\{\mathbf{h}_{1}^{(l+1)}, \ldots, \mathbf{h}_{n}^{(l+1)}\right.\} \in \mathbb{R}^{d \times n}$ と表すと, $\mathbf{h}_{i}^{(l)}$ から $\mathbf{h}_{i}^{(l+1)}$ への更新は次のように行われる。

まず，共参照グラフで繋がっているサブワー ド間で情報の交換を行うため，Gated Graph Neural Networks (以下 GGNN)[14] により $\mathbf{h}_{i}^{(l)}$ を $\mathbf{u}_{i}^{(l+1)}$ に変換する。 $\mathbf{u}_{i}^{(l+1)}$ は次の式で計算される：

$
\begin{aligned}
\mathbf{m}_{i}^{(l+1)} & =\sum_{j \in \mathcal{N}(i)} \mathbf{W}^{(l)} \mathbf{h}_{j}^{(l)} \\
\mathbf{u}_{i}^{(l+1)} & =\operatorname{GRU}^{(l)}\left(\mathbf{m}_{i}^{(l+1)}, \mathbf{h}_{i}^{(l)}\right)
\end{aligned}
$

ここで， $\mathcal{N}(i)$ は共参照グラフにおいて $i$ 番目のサブワードとエッジで繋がったサブワードの集合である. $\mathbf{W}^{(l)} \in \mathbb{R}^{d \times d}$ は $l$ 層目の学習パラメータである. $\mathbf{h}_{i}^{(l+1)}$ は $\mathbf{u}_{i}^{(l+1)}$ と $\mathbf{h}_{i}^{(l)}$ を用い次式で更新される：

$
\mathbf{h}_{i}^{(l+1)}=\operatorname{LayerNorm}\left(\mathbf{h}_{i}^{(l)}+\operatorname{ReLU}\left(\mathbf{u}_{i}^{(l+1)}\right)\right) \text {. }
$

$\mathbf{h}^{(1)}$ には BERT の出力 $\mathbf{h}$ を用い，最終的に $L$ 層目から $\mathbf{h}^{(L+1)}$ が出力される.

## 4.4 デコーダ

先行研究 [9] と同様に，デコーダにはランダムに初期化された Transformer[10]を用いる. グラフエンコーダにより出力された隠れ状態 $\mathbf{h}^{(L+1)}$ を使ってあらすじ要約の生成を行う。

## 4.5 CNN/DM データセットによる事前学習

3.1 節で作成した映画要約データセットは, CNN/DM データセットに比べて規模が小さい. そ
のため，未学習であるグラフエンコーダやデコーダを含むモデルを映画要約データセットのみで学習することは困難である。

そこで，CNN/DMデータセットを用いてグラフエンコーダやデコーダを含むモデル全体を事前学習した後，映画要約データセットによる fine-tuning を行う. fine-tuning の際には，モデル全体の学習率を低くすることで事前学習の情報を保ちつつ学習する。

## 5 実験

提案手法の要約性能を評価するため, 先行研究モデルである BERTSUMABS[9]をベースラインに自動評価による比較実験を行う。

## 5.1 実験設定

先行研究の実装6)を基に実験を行った. GGNN の実装には，PyTorch geometric ${ }^{7}$ を用いた。実験に必要なハイパーパラメータは, 基本的にデフォルト值を用いた. ただし，グラフエンコーダは $L=2$, ドロップアウト率 $=0.2$ とした.

CNN/DM 事前学習+映画データ: 事前学習では, BERT の学習率を 0.002, warming-up ステップを 20,000 とし, グラフエンコーダとデコーダの学習率を 0.2, warming-up ステップを 10,000 とした. 学習は 200,000 ステップ行い，CNN/DM データセットの開発データで Perprexity が最も小さいステップの重みを選択した。そして，選択した重みから更に映画要約データセットで fine-tuning を行う. fine-tuning では，BERT，グラフエンコーダ，デコーダの全てで学習率を 0.002 , warming-up ステップを 20,000 とし

6) https://github.com/nlpyang/PreSumm

7) https://github.com/rusty1s/pytorch_geometric
表 2 自動評価結果

た上で 50,000 ステップの学習を行った.

映画データのみ：CNN/DM 事前学習の効果を確認するため, 映画データのみでも学習を行う. 先行研究に従い BERT の学習率を 0.002, warming-up ステップを 20,000 とした. また, グラフエンコーダとデコーダの学習率を 0.2, warming-up ステップは 10,000 とした. 学習は 50,000 ステップを行った.

## 5.2 実験結果

先行研究同様, ROUGE-1, -2, -L (R-1, R-2, R-L) [15] による自動評価結果を表 2 に示す. 表には異なる初期値から学習した 3 モデルの平均値を記し, 太字はベースラインに対する差が有意 $(p=0.05)$ であることを表す。

映画データのみで学習した場合をみると, ベー スラインと比べて，提案手法は ROUGE スコアがそれぞれ $0.27,0.21,0.27$ 改善しており, 共参照情報によって要約性能が向上したことがわかる。次に， CNN/DM で事前学習を行った場合と映画データのみで学習した場合を比較する. ベースライン同士の比較で ROUGE スコアがそれぞれ $1.80,0.97,1.28$改善しており, 事前学習の効果は大きいことがわかる. CNN/DM で事前学習を行った場合においてベースラインと提案手法を比較すると，ROUGE スコアで $0.20,0.05,0.20$ 改善しており, ROUGE-1 と ROUGE-L では有意な差があった. 事前学習を行った場合でも共参照情報は要約性能の向上に寄与していることがわかる. また，提案手法モデルで共参照グラフを用いず， self-loop エッジのみをグラフエンコーダに入力するとべースラインよりも悪化した. これは, ベースラインよりもグラフエンコーダ部分における未学習のパラメータが増加することで，学習が困難になるためであると考えられる。

更に, ベースラインと提案手法の出力例を図 2 に示す. 各モデルの出力の中で，あらすじと対応

図 2 ベースラインと提案手法の出力例

している箇所を青字で示してある。あらすじでは “decide to conceal” の主語は “Harry's relatives” であるが，ベースラインでは “Harry's parents” となっている.これは，あらすじの中で直前に "his parents, lily and James Potter” に関する記述があり，一般的に “parents”と “relative” は近い表現であるため，モデル側が上手く区別できていないからであると考えられる。一方，提案手法では “his relatives” と正しく出力出来ている.これは, 近い表現であったしても，共参照情報によって人物の区別が容易になったと考えることができる.

## 6 まとめ

本研究では，映画のあらすじ要約を生成型文書要約として行った. 映画ドメインの要約用データセッ卜を作成し，共参照情報を考慮した生成型要約手法を提案した. ROUGE スコアに基づく評価実験の結果，提案手法が従来手法を上回り，ROUGE-1 と ROUGE-L では有意に上回っていた. また, 出力文書を比較すると提案手法では人物に関する記述で真実性の改善が見られた。今後は，人手による評価も交えて提案手法の有効性を確かめたい。

## 参考文献

[1] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, 2015.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jiwei Tan, Xiaojun Wan, and Jianguo Xiao. Abstractive document summarization with a graph-based attentional neural model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1171-1181, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Rada Mihalcea and Hakan Ceylan. Explorations in automatic book summarization. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 380-389, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5] Anna Kazantseva and Stan Szpakowicz. Summarizing short stories. Computational Linguistics, Vol. 36, No. 1, pp. 71-109, 2010.

[6] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Guçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon,
U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, Online, July 2020. Association for Computational Linguistics.

[12] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[13] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[14] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated graph sequence neural networks, 2015. cite arxiv:1511.05493Comment: Published as a conference paper in ICLR 2016.

[15] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.


# 抽出型要約の書き換えによる要約生成

高塚雅人
早稲田大学 理工学術院
}

小林哲則
早稲田大学 理工学術院
}

林良彦

早稲田大学 理工学術院

takatsuka@pcl.cs.waseda.ac.jp
## 1 はじめに

自動要約の手法は大きく抽出型要約と生成型要約の二つに分けられるが，近年，その二つの手法を組み合わせた手法 [1][2][3][4] も多く提案されている. 抽出型と生成型を組み合わせた既存手法の多くは，抽出型要約モデルを使って原文書の重要な文を抜き出し，それらを生成型要約モデルに入力してパラフレーズや文圧縮を行う．これらの手法では，原文書中の文と人が書いた参照要約文のペアを作成し, 生成型要約モデルにそのぺアの書き換えを学習させるが，どのようなぺアをどのようにして抽出し学習に用いるかが問題となる. 既存手法 [1][2][3][4] では, 人が作成した参照要約の各文に対して, 最も ROUGE-L が高い文をぺアとして抽出しているが，表 1 の上部に示すように，対応付けが適切でないぺアが抽出されてしまう場合が多く存在し，このような場合，適切な書き換えを学習することは困難である。

そこで本研究では，参照要約の各文とこれに対応する原文書中の各文 (以下，ソース文) に対して編集距離を用いた対応付けにより学習データとして抽出するペアを制限すること，および，学習する生成型要約モデルを単に抽出型要約に対する後処理として用いることを提案する. 前者により対応する文がない要約文や高い抽象化を行った要約文を排除し，抽出型要約を書き換えることによる要約生成の精度を向上させることを狙う. また，後者のシステム構成とすることで, 抽出型要約の問題点である高い冗長性や代名詞的な共参照の欠損などを後処理によって修正する。

今回，我々が作成するソース文-要約文のペアは，編集距離の意味で類似性が高いぺアに限定しているため, 通常の機械翻訳のようにソース文-要約文のぺアを source-target ペアとして用いると，入力を盲目的にコピーした出力が得られることがある. Dong表 1 ソース文-要約文ペアの例

既存研究 [1]: ROUGE-L Recall: 0.273

ソース文:We reveal how to get the enviable physiques of the stars.

要約文:Her super-sculpted arms are envy of women the world over.

提案手法: 正規化した編集距離: 0.857

ソース文:His performances in such a role, however, have been somewhat mixed.

要約文:Midfielder 's previous performances in defense have been mixed.

ら [5] は Simplification Task において同様の問題を指摘し，complex-simple な文のペアを source-target ペアとして暗示的に編集を学習するより，編集操作の系列を target として用いて明示的に編集を学習することで精度が向上したと報告した。本研究では，Dong らの手法を基として，明示的な編集操作の系列を学習する抽出型要約書き換えモデルを提案する。

代表的な要約のデータセットとして, CNN DailyMail のデータセット [6] を使用して実験を行った. 我々の提案手法である抽出型要約に対する後処理を行うことで，後処理を行わない場合より高い ROUGE スコアと人間による評価が得られたことを確認した。

## 2 関連研究

抽出型と生成型を組み合わせた要約生成手法は多くの既存研究 [1][2][3][4] が存在する. Chen ら [1] は, 抽出型要約モデルと生成型要約モデルを個別に学習した後に, 生成型要約モデルで書き換えた文の ROUGE スコアを報酬として抽出型要約モデルを強化学習する手法を提案した. Bae ら [4] は, Chen ら [1] の手法では抽出型要約の精度が先頭の三文を抜き出すべースラインより劣っていることと，文レベルの ROUGE の最適化が必ずしも要約全体の ROUGE の最適化に繋がらないことを指摘し， BERT[7]を利用した抽出型要約モデルと，要約全体

の ROUGE を最適化するような強化学習の枠組みを提案した. 本研究は, 既存研究 [1][2][3][4] のようにソース文-要約文のペアを全て学習に用いるのではなく，うまく対応付けが出来ていないぺアや高い抽象化を行っているぺアをフィルタリングし，データセットから排除する。

抽出型要約の後処理として，文圧縮や共参照のエラーの修正などを行うことは古くから研究されている. Mendes ら [8] は，各文に対して文圧縮を施した CNN DailyMail データセットとオラクルサマリーのセットを作成し，それらを用いて文の抽出と文圧縮を学習するモデルを提案した. Antunes ら [9] は, 共参照解決器を用いて, 抽出型要約内の共参照関係のエラーの修正を行い，17 個の文のスコアリング手法と 4 つの抽出型要約システムを用いてその影響を調査した. Antunes らは，共参照のエラーの修正によって要約の一貫性, 流暢さ, 可読性を向上させることができたと報告した. 本研究では, 既存研究のように，文圧縮や共参照のエラーの修正をそれぞれ単体で扱うのではなく, 抽出型要約に対する後処理をソース文と参照要約文のペアからデータドリブンに学習を行う。

## 3 提案手法

本研究では，編集距離に基づくソース文-要約文間の対応づけとフィルタリングによるデータセット構築と, 明示的な編集操作を学習する抽出型要約の書き換えモデルを提案する。

$\mathrm{N}$ 文からなる原文書を $D=\left[d_{1}, \ldots, d_{N}\right]$ とし，原文書の $\mathrm{i}$ 番目の文を単語系列 $d_{i}=\left[w_{1}, \ldots, w_{K}\right]$ で表す. また，人が作成した $\mathrm{M}$ 文からなる参照要約を $S=\left[s_{1}, \ldots, s_{M}\right]$ とし，ソース文-要約文間の編集操作の系列を $\left[z_{1}, \ldots, z_{L}\right]$ とおく。

## 3.1 データセット構築

既存研究 [1][2][4] では ROUGE-Lを用いてソース文-要約文間の対応付けを行い，生成型要約モデルを学習している. 本研究では，ソース文を書き換えることによって生成することが難しい要約文や，高い抽象化を行っているソース文-要約文ペアをフィルタリングするために, ROUGE-L ではなく, 二つの文間の編集度合いを測ることができる編集距離を用いる. 本研究では, 以下の式で各要約文 $s_{t}$ に対す
るソース文 $d_{j_{t}}$ を選ぶ.

$
j_{t}=\operatorname{argmin}_{i}\left(\frac{\operatorname{lev}\left(d_{i}, s_{t}\right)}{\left|d_{i}\right|}\right)
$

$\operatorname{lev}\left(d_{i}, s_{t}\right)$ は $\left(d_{i}, s_{t}\right)$ 間の編集距離を, $\left|d_{i}\right|$ はソース文 $d_{i}$ の単語数を表す. その後, 正規化した編集距離が閾値以下のぺアのみをデータセットに加える。閾值はデータからいくつかの候補を設定し，ベースラインモデルの精度で決定をした。

## 3.2 提案モデル

本研究で提案するモデルを図 1 に示す. このモデルは, Dong ら [5] のモデルを基に，作成したソー ス文-要約文のペア間の明示的な編集操作を学習する. Dong ら [5] が提案したモデルは, 入力テキストからある単語 $\mathrm{w}$ に対する編集操作を予測する programmer と, programmer が過去に予測した編集操作によって部分的に編集された文を入力とし, programmer の予測を補助する interpreter からなる. 本研究で提案するモデルも Dong らのモデルと同様に programmer と interpreter から構成されるが，Transformer[10] ベースのモデルを programmer と interpreterに用いる点が異なる.

本研究では編集操作として $[\mathrm{ADD}(\mathrm{W}), \mathrm{KEEP}$, DEL]を定義する. $\operatorname{ADD}(\mathrm{W})$ は単語 $\mathrm{W}$ を追加, KEEP は現在の単語を保持, DEL は現在の単語を削除する操作である. 作成したソース文-要約文ペアに対して編集操作の系列を生成し, モデルに学習させる. また，各ぺアに対する編集操作の系列を一意にするために，KEEP，DELの前に $\mathrm{ADD}(\mathrm{W})$ が来るという制約を加える。

## 3.2.1 programmer

programmer には, 事前学習済みの encoder decoder model の BART[11]を用いる. BART は Transformer[10] ベースのアーキテクチャを採用しており, 生成型要約において高い精度を報告している. 提案モデルは, 推論時に抽出型要約を一文づつ書き換えていくので，過去の文に対してどのような編集を行ったかを知る必要がある。そこで， encoder には原文書に加えて，要約の先行文脈を入力する. 要約の先行文脈について詳しくは 4.2 で述べる. また, encoder は入力された原文書と要約の先行文脈をそのままでは見分けることができないため, encoderの入力ベクトルには, PositionalEncoding に加えて，各文の役割を伝える SentenceID ゙ククトル

図 1 提案モデルの概要図: 青字は書き換え対象のソース文を，赤字は要約の先行文脈を示す.

を追加する．SentenceID は，書き換え対象のソース文，書き換え対象以外の本文，要約の先行文脈の三つからなる. 入力テキストの $\mathrm{i}$ 番目の単語ベクトルを $e_{i}$ とすると,encoderへの入力べクトル $x_{i}^{e}$ は以下のように計算される.

$
x_{i}^{e}=e_{i}+\text { PositionalEncoding }(i)+\text { SentenceID }(i)
$

PositionalEncoding と SentenceID はそれぞれ学習中に更新される. また encoder の出力 $h^{e}$ は以下のように計算される.

$
h^{e}=\operatorname{Trans}_{l}^{e}\left(h_{l-1}^{e}\right)
$

$\operatorname{Trans}_{l}^{e}$ は1層目の Transformer 層， $h_{l-1}^{e}$ は 1-1 層目の Transformer 層の出力を示す.

時刻 $\mathrm{t}$ において，書き換えを行うソース文の $k_{t}$ 番目の単語 $w_{k_{t}}$ に対する編集操作 $z_{t}$ を予測する場合, decoder には単語系列 $w_{1: k_{t}}$ を入力する. i 番目の単語べクトルを $e_{i}$ とすると, decoderへの入力ベクトル $x_{i}^{d}$ は以下のように計算される.

$
x_{i}^{d}=e_{i}+\text { PositionalEncoding }(i)
$

また decoder の出力 $h^{d}$ は以下のように計算される.

$
h^{d}=\operatorname{Trans}_{l}^{d}\left(h_{l-1}^{d}, h^{e}\right)
$

$\operatorname{Trans}_{l}^{d}$ は 1 層目の Transformer 層, $h_{l-1}^{d}$ は 1-1 層目の Transformer 層の出力, $h^{e}$ は encoder の出力を示す.

## 3.2.2 interpreter

interpreter は，decoder と全く同じアーキテクチャを用いて，decoder と重みを共有する。時刻 $\mathrm{t}$ において，過去にモデルが出力した編集操作系列 $z_{1: t-1}$ に従って，ソース文を部分的に編集した単語列 $y_{1: j_{t-1}}$ を interpreterに入力する. interpreter は, decoderと同一の構造なので， interpreter の出力 $h^{i n t}$ は，式 4, 5 を用いて計算される.最終的な編集操作のラベルの確率分布 $P_{\text {edit }}$ は以下のように計算される.

$
P_{\text {edit }}=\operatorname{softmax}\left(W_{\text {out }}\left(\operatorname{relu}\left(W_{d} h_{k_{t}}^{d}+W_{\text {int }} h_{j_{t-1}}^{\text {int }}\right)\right)\right)
$

$W_{\text {out }}, W_{d}, W_{\text {int }}$ は学習パラメータ, $h_{k_{t}}^{d}$ は $k_{t}$ 番目の単語に対する decoder の出力, $h_{j_{t-1}}^{i n t}$ は $j_{t-1}$ 番目の単語に対する interpreter の出力である。 $k_{t}, j_{t-1}$ はそれぞれ過去に出力した編集操作系列 $z_{1: t-1}$ から決定される． $P_{\text {edit }}$ の次元数は，BART の語彙数 $V$ に対して，KEEP と DEL のラベルを加えた $V+2$ となる.

## 4 実験

## 4.1 データセット

本研究では，ニュース記事の要約のデータセットである CNN DailyMail (CNN-DM) のデータセット [6] を用いる。CNN-DM データセットのニュー ス記事と参照要約をそれぞれ文分割し，3.1の手法を用いてソース文-要約文のペアを作成した. 作成した $1,070,203$ ペアのうち, 正規化した編集距離の閾値が 0.95 以下のペアのみを採用し，それぞれ学習/validation/テストデータとして， 240,918/14,814/11,806 ペアを作成した. その後，各ペアに対して編集操作系列を生成した.

## 4.2 実験設定

本研究では，抽出型要約を入力として書き換えを行う要約生成実験と人手による評価を行った. なお，書き換え処理単体での機能を確認するため， ソース文-要約文ペアのテストデータを用いた事前実験を行っている．その詳細については，付録 A. 1 に示す。

抽出型要約を入力として書き換えを行う要約生成実験では， 4.1 で作成したデータセットを用いて
提案モデルを学習させ，推論時には，抽出型要約を先頭から一文ずつ書き換えた. 学習時に，参照要約の $\mathrm{j}$ 番目の文を生成する際は， $\mathrm{j}-1$ 番目までの文を要約の先行文脈として使用し, 推論時には, 過去に書き換えた要約文を先行文脈として使用した。また, 抽出型要約として, lead3 と matchsum[12]を実験に用いた. ベースラインモデルとして，提案モデル (programmerのみ)において, 編集操作系列ではなく，要約文を target に用いたモデルを使用した. 評価指標として ROUGE-1，ROUGE-2，ROUGE-Lを使用した. 詳しい学習条件は付録 A. 2 に示す.

また，抽出型要約とモデルが書き換えた要約を比較した人手による評価を行った. 評価基準として要約の冗長性，理解のしやすさ，全体的な評価の三つを設定した. 冗長性は, 要約内に同じ表現の繰り返しゃ，無駄な情報が含まれていないかを表す. 理解のしやすさは，要約のみを読んだ際に要約が読みやすく，要約の内容を簡単に理解できるかを表す。全体的な評価では，上記の二つの観点を踏まえて，要約として好ましいかどうかを表す. CNN-DM のテストデータから，ランダムに 100 サンプル選び，どちらの要約の方が冗長性が少ないか/理解しやすいか/要約として好ましいかを評価した．また，各指標について，どちらの要約も同じくらい良い/悪い場合は fair を選択する. 実験は Amazon MTurk 上で行い，各サンプルについて 5 人のワーカーが評価を行った. 各ワーカーはまず参照要約を読み, ニュー スの概要を理解したうえで，各要約を読み，評価を行った.

## 4.3 結果・考察

## 4.3.1 抽出型要約の書き換えを行う要約生成実験

抽出型要約の書き換えを行った実験結果を表 2 に示す. 表2 の R-1，R-2，R-LはROUGE-1，ROUGE-2, ROUGE-Lを示す. lead3 は，記事の先頭三文を抜き出した抽出型要約の結果, matchsum (ours) は Zhong ら [12] が提案したモデルを再現した場合の結果を示す. lead3+提案モデル， matchsum+ベースライン， matchsum+提案モデルは, それぞれ抽出型要約をモデルに入力した場合の結果を示す. 表 2 に示すように, matchsum+提案モデルが最も高い ROUGE スコアとなり，提案モデルで抽出型要約を書き換えることで精度が向上することがわかった. また, lead3 を提案モデルに入力した際もスコアが向上してお表 2 抽出型要約の書き換え実験結果

表 3 人手による評価実験結果

り，提案モデルは，抽出型モデルに依存しないことが分かる. ベースラインモデルと比較すると，提案モデルは，特に ROUGE-2 が高くなった. 要約の生成例は，付録の表 4 に示す.

## 4.3.2 要約の人手評価

要約の人手評価結果を表 3 に示す。抽出型要約 (matchsum) と，それを提案モデルで書き換えた要約を評価に使用した．表の数值は，各評価指標におい $\tau$, matchsum, matchsum+提案モデル, fair の選択肢を選んだ人数を表す。表 3 から分かるように，全ての指標で，提案モデルを用いて抽出型要約を書き換えた要約が高いスコアとなり, 抽出型要約を書き換えることで，要約の冗長性が減り，より理解しゃすくなり，要約としての全体の評価が向上することが分かる．特に，㔯長性の観点でよりスコアが向上した。表 3 の**は，有意水準 $1 \%$ で，*は，有意水準 $5 \%$ で有意差があることを示す.

## 5 おわりに

本研究では，抽出型と生成型要約を組み合わせた手法として，編集距離に基づくソース文-要約文間の対応付けとフィルタリングを行い，抽出型要約の後処理を学習することを提案した. また，作成したソース文-要約文間の明示的な編集操作を学習するモデルを提案した. 自動評価と人手による評価の両方において，提案したモデルによって抽出型要約を後処理することの有効性を確認した. 今後の方針として，事実関係のミスなどの観点で，生成型要約と提案手法の要約の比較を行っていきたい。また， Martin ら [13] の研究のように, 出力をコントロールできるような手法も検討していきたい.

## 参考文献

[1]Yen Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In $A C L$ 2018, pp. 675-686, 2018.

[2]Edward Moroshko, Guy Feigenblat, Haggai Roitman, and David Konopnicki. An editorial network for enhanced document summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 57-63, 2019.

[3]Liqiang Xiao, Lu Wang, Hao He, and Yaohui Jin. Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement Learning. AAAI 2020, pp. 9306-9313, 2020.

[4]Sanghwan Bae, Taeuk Kim, Jihoon Kim, and Sang goo Lee. Summary level training of sentence rewriting for abstractive summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 10-20, 2019.

[5]Yue Dong, Zichao Li, Mehdi Rezagholizadeh, and Jackie Chi Kit Cheung. EditNTS: An neural programmer-interpreter model for sentence simplification through explicit editing. In ACL 2019, pp. 3393-3402, 2019.

[6]Karl Moritz Hermann, Tomáš Kočiský, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In $A d$ vances in Neural Information Processing Systems, pp. 16931701, 2015.

[7]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, 2019.

[8]Afonso Mendes, Shashi Narayan, Sebastião Miranda, Zita Marinho, André F.T. Martins, and Shay B. Cohen. Jointly extracting and compressing documents with summary state representations. In NAACL 2019, pp. 3955-3966, 2019.

[9]Jamilson Antunes, Rafael Dueire Lins, Rinaldo Lima, Hilário Oliveira, Marcelo Riss, and Steven J Simske. Automatic cohesive summarization with pronominal anaphora resolution. Computer Speech and Language, pp. 141-164, 2018.

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[11]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In ACL 2020, pp. 7871-7880, 2020.

[12]Ming Zhong, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Extractive summarization as text matching. In ACL 2020, pp. 6197-6208, 2020.

[13]Louis Martin, Éric Villemonte de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In LREC 2020, pp. 4689-4698, 2020.

[14]Chin-Yew Lin. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out: ACL workshop, 2004.

[15]Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Trans- lation for Text Simplification. Transactions of the Association for Computational Linguistics, pp. 401-415, 2016.
表 4 要約の生成例: 赤文字は，モデルが削除した部分，青文字は，モデルが追加した部分，マゼンタは，モデルが置換した部分を表す。

 \\

## A 付録

## A. 1 ソース文-要約文ペアの書き換え実験

ソース文-要約文ペアの書き換え実験では，ソース文-要約文ペアのテストデータを用いて，書き換え単体の精度を実験した. ソース文をモデルが書き換えた文と，ソース文とぺアになっている要約文間で自動評価を行った. encoder に入力する要約の先行文脈は学習時と同じ設定とした. 評価指標として, ROUGE-1, ROUGE-2, ROUGE-L[14] と SARI スコア [15] を使用した.

ソース文-要約文ペアの書き換え実験の結果を表 5 に示す. source は，編集前のソース文の結果を示し， ベースラインは，提案モデル (programmer のみ) において，編集操作系列ではなく要約文を target に用いた場合の結果を示す.また表 5 の\% unc. は，無編集の割合を示し，R-1，R-2，R-L は ROUGE-1，ROUGE-2， ROUGE-L を示す. 表 5 から，ベースライン，提案モデル共に書き換えによって，ROUGE スコアが向上していることがわかる．また，ベースラインと提案モデルの ROUGE スコアに大きな差はなかったが，SARI スコアでは， 1.69 ポイントと大きく提案モデルが低い結果となった. これは，提案モデルがベースラインと比べて，単語の削除の予測精度が悪く，DEL のスコアが低くなったからである．また，ベースライン，提案モデルの無編集の割合は，ソース文-要約文間の無編集の割合よりも高くなった.

表 5 ソース文-要約文ペアの書き換え実験結果

## A. 2 学習条件

事前学習済みモデルとして BART-large[11] を用いた。初期学習率は 6e-05とし， 500 step の warmup の後,最終的に 20000 step 学習させた. 訓練時には Label Smoothing を導入し， $\varepsilon=0.1$ に設定した. バッチサイズは 16 に設定した. 最適化関数には Adam を用いた.


# BERT モデルを用いた障害レポートに対する重要箇所抽出

本間 広樹 1 小町 守 1 真鍋 章 ${ }^{2}$ 谷本 恒野 2
1 東京都立大学 2 富士電機株式会社
homma-hiroki@ed.tmu.ac.jp, komachi@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 1 はじめに

世の中はあらゆる機器にあふれている。これらの機器が不具合を起こすたびに，保全担当員によって障害レポートが作成される。日々作成されている障害レポートから自動で重要な部分を抽出することは，保全担当員による異常箇所の特定と対処や，設備運用者による適切な設備運転対応，コールセンタオペレータによる迅速・適切な顧客対応に役立つと考えられる。障害レポートは主に，状況，要因及び措置の 3 種類の内容から構成される文章である。 レポート内の各文は，前述の 3 種類とその他の内のどれか，あるいは複数に分類できる。本研究では分類済みの 3 種類の文章である, 状況，要因及び措置から，それぞれ重要部分を抽出することを目的とする.

近年ニューラルネットワークを用いた大規模なモデルの研究が盛んに行われ，様々な自然言語処理タスクで高い精度を出している. しかし, 本研究で扱うデータは数百件程度と規模が非常に小さく，大規模なモデルを一から学習するのは困難である．そこで，本研究では，小規模なデータに対する有効性が確認されている事前学習モデルに着目し，障害レポートを対象とする重要部分抽出タスクに対する有効性を検証する。

さらに，本研究では質問応答形式によるマルチタスク学習手法を提案する. 抽出元文章には状況,要因及び措置の 3 種類のソースがあるが，提案手法では，既存の質問応答形式の fine-tuning 手法を流用し，抽出元文章，ソース及び重要箇所をそれぞれ， コンテキスト，質問及び解答としてモデルに入力し，全ソースを併せて学習を行う。これによってモデルがソースの違いを認識し，より高い精度の抽出ができるようになることが期待できる点や，既存の fine-tuning 手法を用いるため，低コストで実装でき
る点が利点として挙げられる。

また，複数ソースが存在する場合の学習方法について考えると，各ソースで抽出モデルを学習するか，全ソースを併せた抽出モデルを学習するかの 2 通りが存在する。しかし，それぞれの方法には次のような問題が存在する．各ソースで抽出モデルを作成する場合には，モデルが増える問題や，別ソースに含まれる有用な情報を学習できなくなる問題が考えられる。また，全ソースを併せて抽出モデルを学習する場合には，あるソースの抽出精度が，別ソー スに含まれる情報によって低下する可能性が考えられる.ここで，「事前学習モデルを用いて抽出する際に，複数ソースデータを同一モデルに学習するマルチタスク学習がどの程度有用か」という疑問が生じる。そこで，本研究では，「異なるソースのデー タでマルチタスク学習を行う際の有効性は，ソース間類似度に依存する」という仮説を立て，マルチタスク学習の有効性とソース間類似度の関係性を検証する。

## 2 関連研究

## 2.1 事前学習モデル

近年，事前学習モデルが様々な自然言語処理夕スクで最先端の性能を達成している。これは，大規模なニューラル言語表現モデルを事前学習し，下流タスクごとにそのモデルに出力層を追加して fine-tuning することで，幅広いタスクを高い精度で解くことができるというものである.

特に，2019 年に Devlin らによって考案された Bidirectional Encoder Representations from Transformers (BERT) [1] というアーキテクチャが当時様々なタスクで最先端の性能を達成し，広く使われている。このモデルは Transformer [2]を双方向に接続することで構成されている. Transformer [2] は従来の一般的

 &  &  & エルボの経年劣化 &  & ゲートパルブを交換 \\

図1障害レポートに対するアノテーション例

図 2 質問応答形式による fine-tuning のモデルなニューラルモデルで使われる畳み込みニューラルネットワークや再帰ニューラルネットワークを用いず，注意機構のみで構成されたモデルである.

Devlin らの研究 [1] は英語を用いて行われているが，日本語版の事前学習済み BERT モデルもいくつかの機関から公開されている. 本研究では事前学習モデルを提供する Hugging Face の Transformers ${ }^{1)}$ を通して簡易に利用可能である，日本語の Wikipedia のデータを用いて学習された, 東北大学が公開しているモデル2）を用いる.

## 2.2 重要箇所の抽出タスク

本研究と類似した形式の，障害レポートからの重要箇所抽出タスクを行っている研究に，EncoderDecoder モデルを用いて系列ラベリング問題として解いている先行研究 [3] が存在する. この先行研究では事前学習モデルを用いず，Long short-term memory (LSTM) を用いている。このモデルをべースラインとして事前学習モデルの有効性を評価する。

また, この重要箇所抽出タスクは, 出力の形式が文や文章ではなくその一部という違いはあるも

のの，抽出型要約タスクと類似している。抽出型要約はドキュメント内の重要な文を識別することによって行われており，最近ではニューラルモデルを用いて文分類の問題として解かれている. SUMMARUNNER [4] はニューラルモデルを用いた初期の抽出型要約システムであり，エンコーダには再帰ニューラルネットワークを用いている。また， BANDITSUM [5] はドキュメントを context，要約文選択を action とした contextual bandit 問題として解いている。そして，SWAP-NET [6] はドキュメント内の際立った文とキーワードの両方を異なるエンコーダで探し，文とキーワードを各デコードステップで選択するスイッチ機構によりそれらを組み合わせて抽出要約を形成するシステムである。 さらに，事前学習モデルを用いた要約タスクの研究も行われており，その有効性が確認されている [7]. これらの研究は英語を対象としているが，本研究ではより小規模な，日本語の障害情報レポートに対する事前学習モデルの有効性を確認する。

## 3 障害情報レポートの重要箇所抽出

## 3.1 タスク設定

本研究で用いるデータは， 1 件の障害レポートから人手で抽出された，状況，原因及び措置の 3 文章に対してそれぞれ重要箇所を 1 箇所以上手動抽出したものである。重要箇所のアノテーション例を図 1 に示す。本研究は，状況，原因及び措置の 3 種類の文章からそれぞれ重要箇所を自動で抽出することを目的とする。

## 3.2 手法

## ベースライン: LSTMを用いた文圧縮 ベース ラインとして小平らによる関連文章を考慮した LSTM による文圧縮手法 [3] を用いる。この手法は， Filippova らの手法 [8] を元にしており，LSTM を用

いて文圧縮を系列ラベリングタスクとして解いている. さらに，3 種類の文章を同時に別々のエンコー ダに入力し, それらの出力を連結し, 次元数を揃えるための線形変換を行い，種類ごとのデコーダに入力する操作を行っている. この操作により複数の文章全体を考慮した重要箇所の抜き出しに取り組んでいる.

提案手法: 日本語 BERTを用いた文圧縮本研究では日本語データで事前学習済みの言語表現モデルである日本語 BERT に対して質問応答形式の fine-tuning を行うことで文章抽出モデルを作成する. この時，抽出を行う文章の種類をモデルに理解させるために，状況，原因及び措置のラベルを質問として入力する. 質問応答形式の fine-tuning のモデルを図 2 に示す. 文章の種類のラベルを入力することで，複数種類によるマルチタスク学習の性能の向上を図る。実装にはTransformers に含まれるスクリプト，run_qa.pyを用いる.

## 4 実験

## 4.1 データ

本研究では，富士電機（株）が保有する設備保全の障害レポート 194 件に対して， 3.1 節で説明したアノテーションを付与したものを使用する。また，元データに含まれる，人名，企業名及び場所はそれぞれ MAN，COMPANY 及びPLACE にマスキングを施している.

## 4.2 実験設定

比較手法として以下 2 つの手法を用いる.

-小平ら [3] の手法 (MultiLSTM)

・質問応答形式で日本語 BERT を fine-tuning する提案手法 (BERT-QA)

各手法のハイパーパラメータの設定は以下の通りである.

MultiLSTM ドロップアウト率を 0.4，学習率を 0.001，勾配クリッピングを 6 に設定する. その他のハイパーパラメータの設定は先行研究 [3] に従う.

BERT-QA 事前学習済みモデルとして, 東北大学が公開している日本語 BERT の内, whole word masking を適用して学習させているモデル3)を用いる. 学習率を 0.005 ，バッチサイズを 12 ，エポック
 whole-word-masking表 1 各モデルの適合率，再現率及び $\mathrm{F}_{2}$ スコア

数を 10 ，保存ステップを 10 に設定し，最良のモデルを開発セットによって選択する。各文章の種類のラベルとして，状況，原因及び措置の 1 単語をそのまま用いる。その他のハイパーパラメータの設定は先行研究 [1] に従う.

また，どちらの手法においてもデータを 5 等分に分割し，そのうち 3 つを併せたものを学習セット， 1つを開発セット，残りの 1 つを評価セットとして用いる形で， 5 分割交差検証を行う。さらに，このタスクはユーザに重要箇所をなるべく多く提示することが重要なため, 評価手法には適合率に 2 倍の重みを付ける評価尺度である $\mathrm{F}_{2}$ スコアを用いる。

## 4.3 先行研究との性能比較

表 1 に各モデルの適合率，再現率及び $\mathrm{F}_{2}$ スコアを示す. 提案手法である BERT-QA が先行研究の結果を大幅に改善していることが見て取れる.このことより，数百件程度の極めて小規模なデータを用いた重要箇所抽出タスクにおいても事前学習モデルが有用であることが分かる.

## 4.4 ソース間類似度とマルチタスク学習

マルチタスク学習の有効性を調べるために，まず，ソース間類似度を計測する。計測には本実験と同様の日本語 BERT を用い, 文の先頭に挿入する [CLS]トークンの最終隠れ状態（図 2 の入力から Type 及び [SEP] トークンを除いた場合のC）を文べクトルとして利用する。ここで，文章から重要箇所を抽出するタスクにおけるソース間類似度を捉えるために，重要箇所の文べクトルから元の文章の文べクトルを引いたべクトルを事例ごとの抽出べクトルとして定義する。

表 2 に全事例の抽出べクトルのソースごとの平均をコサイン類似度により比較した結果を示す. 状況-原因及び原因-措置の対は比較的類似度が高く,状況-措置の対の類似度が低くなっていることが確認できる.

次に，学習データの種類を制限する実験を行う. 3 種類のソースが存在し, その内 1 種類あるいは 2 種類のソースのデータを利用してモデルを学習し，

表 3 各モデルのソース毎の $\mathrm{F}_{2}$ スコア

表 4 各モデルの出力結果の比較

 & を要します。 &  \\

合計 6 種類のモデルを新たに作成する.

表 3 にソースの種類を絞って学習した場合の結果を示す. 各列が利用した学習データ, 各行が評価データのソースを示している．学習データが「すべて」であるのは先行研究との比較実験で使用したモデルと同一のものである. 基本的には少ないソースで個別にモデルを学習したほうが抽出精度が高いことが見て取れる。

ここで表 2 に示すソース間類似度に着目し，単一ソースで学習した場合に対して2ソースでマルチタスク学習した場合を比較する．類似度が高かった原因と措置及び状況と原因はそれぞれ-0.074 と-0.059 及び+0. 013 と-0.042 ポイントの差があり, その平均は-0.041 ポイントである。それに対し，類似度が低かった状況と措置は-0.025と-0.009 ポイントの差であり，その平均は-0.017 ポイントであり，ソース間類似度が高い場合よりも良い結果となっている.つまり，質問応答形式を用いた抽出タスクを行う場合，BERT モデルを用いて算出したソース間類似度が高いほどマルチタスク学習の効果が高くなるわけではないことが言える.

## 4.5 ケーススタディ

表 4 に各モデルの出力結果を示す4). 抽出元文章内の赤いゴシック体の箇所は重要箇所の参照である. 例 1 は抽出にある程度成功している例である。 どちらのモデルに対しても抽出元文章が短い場合は精度が高くなる傾向が見受けられた. 例 2 の各モデルの出力を比較すると, MultiLSTM の出力が非文に

なっているのに対し, BERT-QA の出力は参照の範井を大きく逸脱しているものの，意味が通る出力になっていることが分かる. この BERT-QA の出力が MultiLSTM に比べて流暢であるという傾向は全体を通して見られた。また，例 3 において，MultiLSTM は重要箇所が存在しないと判断している.これは学習データに含まれる類似する事例が少ないことが原因の 1 つとして考えられ，MultiLSTM では全体を通して散見された。それに対して BERT-QA は正しく出力できており, MultiLSTM に比べてデータセットが小規模な場合の抽出にも有効であると考えられる。

また，BERT-QAにおける出力を分析すると，抽出元の長い文章全てを重要箇所として判定してしまっている誤りがいくつか存在した。これに関しては，重要箇所の最大系列長をヒューリスティックに決定し，上位の出力候補から条件を満たすものを選択することでさらなる精度の向上を図ることが可能と考えられる。

## 5 おわりに

本研究では BERT モデルに対する質問応答形式の fine-tuning を利用した重要箇所抽出抽出手法を提案した. この手法では既存の実装を用いて容易に抽出型要約を行うことができ，LSTMを用いた既存手法に比べて $\mathrm{F}_{2}$ スコアで 0.26 ポイントと大幅に精度が向上することを示した. さらに，ソース間類似度に着目したマルチタスク学習の有効性を分析し, デー タが少ない場合，ソース間類似度が高いほどマルチタスク学習の効果が高くなるとは一概に言えないことを発見した。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, 2019.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS 2017, pp. 5998-6008. 2017.

[3] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対する同時関連文章圧縮. 言語処理学会年次大会 2017, pp. 186-189, 2017.

[4] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Satinder P. Singh and Shaul Markovitch, editors, AAAI 2017, pp. 3075-3081, 2017.

[5] Yue Dong, Yikang Shen, Eric Crawford, Herke van Hoof, and Jackie Chi Kit Cheung. BanditSum: Extractive summarization as a contextual bandit. In EMNLP 2018, pp. 3739-3748, 2018.

[6] Aishwarya Jadhav and Vaibhav Rajan. Extractive summarization with SWAP-NET: Sentences and words from alternating pointer networks. In ACL 2018, pp. 142-151, 2018.

[7] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In EMNLP-IJCNLP 2019, pp. 37303740, 2019.

[8] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In EMNLP 2015, pp. 360-368, 2015.


# 言語特徴量導入によるソーシャルスキルレベル推定の性能向上

佐賀健志
奈良先端科学技術大学院大学
saga.takeshi.sn0@is.naist.jp
岩坂英巳
奈良県立医科大学精神医学講座
iwasaka@heartland.or.jp

## 1 はじめに

ソーシャルスキルは他者とのコミュニケーションにおいて重要な要素のひとつである。通常、私たちは幼少期にこれらのスキルを習得するが、自閉症スペクトラム症候群（ASD）や統合失調症などの影響で大人になってから困難に直面する人もいる [1]。ほとんどの日常生活はいくつかのソーシャルスキルの複合的な応用を必要とするため、そのようなスキルがなければ日常生活は非常に難しいものとなる。

この難しさを軽減する方法のひとつとして、ソー シャルスキルトレーニング（SST）がある。Bellack らによるとSST は「条件付き反射療法」と「相互抑制による心理療法」、「社会的学習理論」に基づいており、様々な分野で広く使用されてきた $[2,3,4,5,6]$ 。また、 SST は特定の疾患だけを対象としているわけではないため、精神疾患を抱える人だけではなく、ソーシャルスキルに悩みを抱える健常者でもソーシャルスキルレベル向上の効果が期待できる点も特徴のひとつである。

SST は一般的な手法になりつつあるが、効果的な SST を行えるようになるまでのトレーニングのハードルの高さなどの理由によりセラピストの数が不足しているため、受けたいと思った人がすぐには受けられないのが現状である [7]。この状況を改善するために、先行研究においてSST 自動化が提案されてきた。

一般的な SST は「苦手スキルの明確化」「練習スキルの選択」「いい例と悪い例を見る」「ロールプレイ」「評価」「フィードバック」の順で行われる。SST の効果を最大化するためには「苦手スキルの明確化」 が特に重要である。人対人のSSTにおいてこの段階は口頭のコミュニケーションにおいて行われるが、現状の自動対話エージェントでの実現はまだまだ難田中宏季

奈良先端科学技術大学院大学

hiroki-tan@is.naist.jp

中村哲

奈良先端科学技術大学院大学

s-nakamura@is.naist.jp

しい。そのため著者らは先行研究において、マルチモーダル特徴量を入力として解釈性の高い線形回帰を用いてきた $[8,9]$ 。本稿では既存手法に言語特徵量として BERT 埋込類似性（単語間-内容語間-文間）、 Word2Vec 埋込類似性（単語間-内容語間-文間）、 フィラー・代名詞・接続詞割合、隣接文間内容語一致割合を加え、特徴量選択を行うことでソーシャルスキルレベル推定性能の向上を目指す。

## 2 先行研究

先行研究において、誰でもSSTを利用できるような環境実現を目指し、いくつかの仮想エージェントによる自動化が提案されている。

Tanaka らは仮想エージェントによるマルチモー ダル対話システムを使用して、SST の自動化を試みた [10]。彼らの研究では、ユーザのスピーキングスキル向上を目的に設定し、スピーキングレベルを測定するための評価指標としてスピーキングスキルスコアを用いている。このスコアは経験豊富な数人のセラピストによってつけられた点数の平均值で、ユーザのソー シャルスキルレベルの推定モデルを学習させる際の正解ラベルとして用いられた。しかし、このスコアはセラピストの主観に基づいているため、個人のバイアスがかかっている可能性を含んでいる。

Voleti らは Social Skills Performance Assessment (SSPA) タスクにおいて撮影された動画から書き起こされたテキストのみを用いて、SSPA スコアを相関係数 0.752 で予測できることを示した [11]。しかし、使用したデータの SSPA スコアは 1 人のアノテー タの主観に基づいているため、Tanaka らの場合と同様の問題を含む可能性が存在する。

これらの問題を解決するために本研究ではセラピストの主観に依存しない評価指標、対人応答性尺度に基

づいてモデルの学習・性能評価を行った。

## 3 対人応答性尺度 (SRS-2)

対人応答性尺度（SRS-2）は、65 項目の質問で構成される評価指標である。SRS-2 は元々、自閉症スペクトラム障害（ASD）を潜在的に抱えている人を評価するために設計されたが、統合失調症などの精神疾患を区別することもできることが報告されている [12]。また、健康な人々を対象とした実験においても被験者の ASD 傾向を判別できることが確認されているため、本尺度は信頼性の高い総合的評価指標として使用できると期待される。他者評定版と自己評定版が存在するが、本研究では自己評定版を使用した。

本研究では、SRS-2 の「総合スコア」とその治療下位尺度である「社会的コミュニケーション（65 項目のうち 22 項目)」を学習時の目的変数として利用した。 SRS-2 の総合スコアには、純粋なコミュニケーションスキルだけではなく生活スタイルなどに関する項目も含まれるため、ユーザのソーシャルコミュニケーションスキルをより明確に示している社会的コミュニケー ションスコアも使用することとした。

社会的コミュニケーションスコアと総合スコアは、相関係数 0.92 と高い相関であった。その一方で、先行研究で使用されていたセラピストの主観評価値であるスピーキングスコアとの相関係数は、それぞれ-0. 19 と-0.29 という弱い負の相関であった [13]。また、SRS-2 は ASD 傾向を評価する目的で開発されたため、SRS スコアが高い人ほどソーシャルスキルレべルは低いことを意味する点に注意が必要である。

## 4 マルチモーダル特徵量

ソーシャルスキルは発言内容だけではなく表情や声の抑揚などの複合的な要素によって構成されているため、本研究では機械学習モデルへの入力としてマルチモーダル特徴量を使用する。基本的な特徵量は先行研究の特徴量セットをべースとし、言語特徵量を新しいものに入れ替えた。

## 4.1 音声・画像特徴量

先行研究と同様に、28 項目の音声特徴量と 26 項目の画像特徴量を使用している [9]。28 項目の音声特徴量は類似タスクである自動面接評価システムに使用されていたものを応用したものである $[14]^{11}$ 。

表 1 言語特徴量

## 4.2 言語特徵量

先行研究の入力特徴量において、音声特徴量 ・画像特徴量の数に比べて言語特徴量の数が少なかったため、予測に必要な言語情報を十分に抽出できていない可能性があった [9]。その問題を解決するため、アルツハイマー病の検出に使用されていた言語特徴量を参考に表 1 に示した特徴量を導入した [15]。元論文では Word2 Vec 埋め込みに基づいた隣接発話間コサイン類似度の平均・最大・最小値を特徴量の一部として用いていたが、本研究では埋め込みを BERT 由来のものに、発話間類似度を文間・単語間 - 内容語間類似度に拡張している。

具体的な特徴量の算出方法は以下の通りである。実装にあたり BERT 埋込の算出には Transformers ライブラリの Whole-word-masking で事前学習された日本語 BERT モデルを使用し、Word2 Vec 埋込算出には chiVe を使用している $[16,17,18]$ 。

## 4.2.1 BERT word、 w2v word

まず、BERTと Word2Vecによって各単語に対する埋込ベクトル（単語レベル埋込）を算出する。その後、隣接単語間でコサイン類似度を計算する。それら類似度を発話テキスト全体の総単語数で平均することでこれらの特徴量は算出された。

## 4.2.2 BERT_cont、w2v_cont

まず、BERTと Word2Vecによって各内容語に対する埋込ベクトル（内容語レベル埋込）を算出する。事前学習済み BERTでは、前処理で入力文が Subword に分割されるため、そのままでは内容語と BERT 埋込べクトルとの対応が取れない。そのため、形態素解析
器 Sudachi で分かち書きされた単語と BERT-tokenizer で分割された sub-word で文字レベル一致度を算出し、内容語に対して 0.25 を超えたものを内容語 BERT 埋込ベクトルとして使用した [19]。そして、隣接内容語間でコサイン類似度を計算し、それらを発話テキスト全体の総内容語数で平均することでこれらの特徴量は算出された。

## 4.2.3 BERT_sent、w2v_sent

単語レベル埋込の隣接単語間コサイン類似度を算出後、各文に含まれる総単語数で平均をとる（文レベル類似度)。それら文レベル類似度を発話テキスト全体の総文数で平均することでこれらの特徴量は算出された。

## 4.2.4 Conj\%、Filler\%、Pronoun\%

まず、Sudachi によって文を単語に分割した後、原型に戻す。その後、発話テキスト全体における総単語数に対する接続詞・フィラー・代名詞の割合を算出することでこれら特徴量は得られた。

## 4.2.5 Neighbor_cont

まず、Sudachiによって文を単語に分割した後、原型に戻す。その後、隣接文間での内容語の一致割合を算出することでこれら特徴量は算出された。

## 5 実験

## 5.1 学習データ

学習データには、先行研究によって得られた日本語の 1 分間スピーキングビデオを使用した [13]。まず、被験者はノートパソコンの画面を介して MMDAgent (http://www.mmdagent.jp/) で作成された仮想エー ジェントに対して、最近あったうれしかった出来事について 1 分間話す。被験者が話している間、被験者の顔の映像と声が記録され、後日、アノテータによってテキストに書き起こされた。1分間の発話終了後、 SRS 質問紙を用いて、被験者の生活スタイルやコミュニケーションスタイルなどについて記入してもらった。以上のような手順によって 27 人の健康な被験者のデータセットは作成された。うち 1 名のデータにて特徴量抽出における外れ値が確認されたため、それを除外した 26 名のデータを今回は使用している。

## 5.2 相関分析

まず、各特徵量と SRS との間の関連性を調べるために相関分析を行った。その結果を表 2 に示す。ここでSRS は総合スコア、Com は社会的コミュニケー ションスコアを示している。いずれの特徴量においても、SRS スコアとの有意な相関は見られていない ( $>>0.05$ )。

単語レベルの BERT_word や内容語レベルの BERT_cont、Filler\%で比較的高い正の相関が確認できる。その一方で単語レべルの $\mathrm{w} 2 \mathrm{v} \_$word は比較的強い負の相関を示しており、BERTを用いた特徴量とは異なる言語的特徴を取得している可能性が示唆される結果となった。

## 5.3 特徵量選択

一般に線形回帰のような単純な機械学習モデルに対して特徴量選択を行うことで推定精度が向上することが知られている。本研究でもそれに倣い、各特徴量と SRS スコアの Pearson 相関係数に基づいた Filter Method によって特徴量選択を行った後、線形回帰で SRS スコア予測を試みた。先行研究において 10 個の特徴量で線形回帰を行っていたため、それに倣い本研究では上位 10 個の特徴量選択を行うこととした [10]。提案手法に対する特徴量選択によって選ばれた特徴量を表 4 に示す。また、特徵量選択を行う場合と行わなかった場合の特徴量セットを用いた線形回帰による予測結果を表 3 に示す。ここでRMSE は真値と予測値のずれを表す二乗平均平方根誤差、Correl は Pearson 相関係数を示している。比較のために従来手法に対して同様の操作を行った場合の結果も示している [9]。

表 4 特徴量選択結果（上位 10 個）

特徴量選択をしなかった場合、いずれの指標においても性能が低下する結果となった。その一方で特徴量選択を行った場合、総合スコア予測において性能が向上し、今回試した全ての手法の中で最も高い相関と低いRMSE を達成した。参考までに特徴量選択後の提案手法で SRS 総合スコアを予測した場合の真值と予測值の散布図を図 1 に示す。

## 6 考察

相関分析において Filler\%が比較的高い正の相関を示しており、ソーシャルスキルと関連している特徴量である可能性が示された。先行研究のスピーキングスコア予測でもフィラーは重要特徴量として挙げられており、今回の結果によって SRS スコア予測でも同様のことが言えることがわかった [10]。

表 3 において相関係数が向上していることから、特徵量選択が推定性能の向上に大きく寄与していることが確認できる。特に、SRS 総合スコア予測においては提案手法に対して特徴量選択を行った場合が最も高い相関係数となっており、有効性が示唆されている。一方で、社会的コミュニケーションスコア予測に関しては、提案手法に特徴量選択をおこなった場合よりも既存手法に対して特徴量選択を行った場合のほうが有効

図 1 提案手法による総合スコア予測 $(\mathrm{r}: 0.76)$

であることが確認された。

表 4 に示されている上位 10 個の選択された特徴量を比較すると、社会的コミュニケーションスコア予測を行った場合にのみ、言語特徴量の BERT_cont が現れていることが確認できる。このことから全体のスコア予測には言語的内容が重要ではない可能性が示された。

## 7 おわりに

本研究では既存手法に新たな特徴量を追加し、特徴量選択を行うことで SRS スコア推定性能向上を実現した。また、特徴量選択の結果、ソーシャルスキルレベル推定において重要特徴量となりうる候補が挙げられた。今後は実例と照らし合わせながらより詳細な分析を行う必要がある。

## 8 謝辞

本研究は、CREST 戦略的創造研究推進事業 (JPMJCR19A5) および JSPS 科研費 (JP17H06101 および JP18K11437) の支援を受けて行われたものである。

## 参考文献

[1]Children and Adults with AttentionDeficit/Hyperactivity Disorder. Relationships \& social skills. Accessed August 15, 2020.

[2]A. Salter. Conditioned reflex therapy. Creative Age Press, 1949.

[3]J. Wolpe. Psychotherapy by reciprocal inhibition. Stanford University Press, 1958.

[4]A. Bandura. Principles of behavior modification. Holt, Rinehart and Winston, 1969.

[5]Kim T. Mueser and Alan S. Bellack. Social skills training: Alive and well? Journal of Mental Health, pp. 549-552, 2007.

[6]A. S. Bellack, K. T. Mueser, S. Gingerich, and J. Agresta. Social Skills Training for Schizophrenia: A Step-by-Step Guide. Guilford Press, 2 edition, 2004.

[7]一般社団法人 SST 普及協会. 認定講師. Accessed October $5,2020$.

[8]T. Saga, H. Tanaka, H. Iwasaka, and S. Nakamura. Objective prediction of social skills level for automated social skills training using audio and text information. In ICMI ' 20 Companion: Companion Publication of the 2020 International Conference on Multimodal Interaction, pp. 467-471. Association for Computing Machinery, New York, NY, United States, 2020.

[9]佐賀健志, 田中宏季, 岩坂英巳, 中村哲. マルチモーダル情報を用いたソーシャルスキルの客観的推定. HCG シンポジウム $2020, p p$. A-7-2. 電子情報通信学会, 2020.

[10]Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, and Satoshi Nakamura. Embodied conversational agents for multimodal automated social skills training in people with autism spectrum disorders. PLOS ONE, Vol. 12, No. 8, pp. 1-15, 08 2017.

[11]R.Voleti, S.Woolridge, J.M.Liss, M.Milanovic, C.R.Bowie, and V.Berisha. Objective assessment of social skills using automated language analysis for identification of schizophrenia and bipolar disorder. In Proceedings of INTERSPEECH2O19, pp. 1433-1437, 2019.

[12]MD John N. Constantino and PhD Christian P. Gruber. Social Responsiveness Scale, Second Edition (SRS-2)Back. Western Psychological Services, 2012

[13]H. Tanaka, H. Iwasaka, H. Negoro, and S. Nakamura. Analysis of conversational listening skills toward agent-based social skills training. Journal on Multimodal User Interfaces, Vol. 14, No. 1, pp. 73-82, Mar 2020.

[14]I. Naim, M. I. Tanveer, D. Gildea, and M. E. Hoque. Automated analysis and prediction of job interview performance. IEEE Transactions on Affective Computing, Vol. 9, No. 2, pp. 191-204, April 2018.

[15]A.Balagopalan, B.Eyre, F.Rudzicz, and J.Novikova. To bert or not to bert: Comparing speech and language-based approaches for alzheimers disease detection. In Proceedings of INTERSPEECH2020, pp. 2167-2171, 2020.

[16]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, R'emi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural lan- guage processing, 2019.

[17]真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019), pp. NLP2019-P8-5. 言語処理学会, 2019.

[18]河村宗一郎, 久本空海, 真鍋陽俊, 高岡一馬, 内田佳孝, 岡照晃,浅原正幸. chive 2.0: Sudachi とnwjc を用いた実用的な日本語単語ベクトルの実現へ向けて. 言語処理学会第 26 回年次大会 (NLP2020), pp. NLP2020-P6-16. 言語処理学会, 2020.

[19]K. Takaoka, S. Hisamoto, N. Kawahara, M. Sakamoto, Y. Uchida, and Y. Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

## A 付録：使用した特徵量一覧

表 A. 1 に使用した特徴量一覧を示す。

表 A. 1 使用した特徵量（上から音声・画像）


# 語りに傾聴を示す応答の表出されやすさの推定

伊藤滉一朗 $\dagger 1$ 村田匡輝 $\dagger 2$ 大野誠寛 $\dagger 3$ 松原茂樹 $\dagger 4$
$\dagger 1$ 名古屋大学大学院情報学研究科 $\dagger 2$ 豊田工業高等専門学校
$\dagger 3$ 東京電機大学未来科学部 $\dagger 4$ 名古屋大学情報連携推進本部
ito.koichiro@a.mbox.nagoya-u.ac.jp murata@toyota-ct.ac.jp
ohno@mail.dendai.ac.jp matubara@nagoya-u.jp

## 1 はじめに

語ることは人間の基本的な欲求である. 語る行為は, 聞き手がいて初めて成立する. 日本では, 独居高齢者の増加など社会の個人化が進み $[1,2]$, 聞き手不在の生活シーンが増加している. 人が語れる機会を増やすことは現代社会の重要な課題である.これに対し，コミュニケーションロボットやスマートスピーカーなどが語りを聞く役割を担うことが考えられる。これらが聞き手として認められるには,「語りを傾聴していることを話し手に伝達する機能」 を備える必要がある。このための明示的な手段は語りに応答することである. 以降では, 傾聴を示す目的で語りに応答する発話を傾聴応答と呼ぶ.

適切なタイミングでの傾聴応答の表出は, 話し手の語る意欲を促進する効果が期待できるが, 不適切なタイミングでの表出は逆効果になりうる. そのため, 傾聴応答の表出では, その表出タイミングが重要となる. 本論文では, 適切なタイミングでの傾聴応答の自動生成の実現に向けて, あるタイミングが傾聴応答の生成にどの程度適するかを推定する手法を提案する. 本研究では, この適切さを表す指標として, 傾聴応答の表出率を定義し, これを予測する. あるタイミングでの傾聴応答の表出率は, そのタイミングで傾聴応答を表出した聞き手の割合とする.

提案手法は，語りの音響情報とテキスト情報を用いて, 傾聴応答の表出率を予測する. 具体的には, これらの情報を transformer ベースの手法 [3] でエンコードし, エンコード結果を 1 次元に変換して表出率を算出する．提案手法の予測性能の評価のために, 表出率の予測実験を行ったところ, 語りの音響情報とテキスト情報の両方を予測に使用する提案手法が有効であることを確認した。

図 1 語りと傾聴応答の例

## 2 傾聴応答

傾聴応答は, 話し手の語りに傾聴を伝える応答であり, 話し手の語る意欲を促進する効果が期待できる. 図 1 に語りと傾恥応答の例を示す.

## 2.1 傾聴応答の表出率

本研究では, あるタイミングが傾聴応答の生成にどの程度適するかを表す指標として, 傾聴応答の表出率を定義し，これを予測する。 あるタイミングでの傾聴応答の表出率は, そのタイミングで傾聴応答を表出した聞き手の割合とする．表出率が高いタイミングほど，そのタイミングで応答を表出した聞き手が多いことを意味する．本論文では，傾聴応答の表出率の予測手法を提案する.

## 2.2 表出率の利用

傾聴応答の生成タイミングに関する従来研究 $[4,5,6,7,8,9]$ では, タイミング毎に, 傾聴応答の生成に適するか否かの二値分類を経て, 生成に適するタイミングを検出してきた. 本研究では, 従来研究とは異なり, 傾聴応答の表出率を予測する. 従来研究における, 応答生成に適したタイミングか否かの二值分類は, 行動の選択といえる。一方, 本研究で行う表出率の予測は，あるタイミングでの状況の予測といえる. 本研究では, 予測された表出率は, 適

図 2 応答タイミング (上部) とテキスト情報 (下部) の例

表 1 応答タイミングを表現するタグ

$<\mathbf{E}_{\mathbf{B}}>\mid$ 文節終端の対象の応答タイミング

$<\mathbf{E}_{\mathbf{P}}>$ ポーズ継続地点の対象の応答タイミング

$<\mathbf{T}_{\mathbf{B}}>\quad$ 文節終端の過去の応答タイミング

$<\mathbf{T}_{\mathbf{P}}>$ ポーズ継続地点の過去の応答タイミング

切な応答生成タイミングの判断に利用されることを想定する. 表出率を利用した適切な応答生成タイミングの判断方法には, 様々な選択肢があると考えられる. 最も単純な例としては, 表出率がある閾値を超えた際に応答を生成する方法が挙げられる. この方法では, 閾値の設定次第で, 応答システムの積極性を表現することも可能である.

表出率の予測は, 従来の二值の予測に比べ, より細かい粒度での明確な值の予測である. そのため,表出率を予測するシステムは, 二値の予測を行う従来のシステムと比べ, 移植性が高く, 他の要素と組み合わせやすい。例えば，ユーザの個性や，応答システムとユーザの関係性といった, 表出率以外の要素と組み合わせて, 適切な応答生成タイミングの判断をすることも比較的容易と考えられる。

## 3 傾聴応答の表出率の予測手法

## 3.1 表出率の予測タイミング

提案手法では，応答は語りの言語的境界の直後で発話されやすいことを踏まえて, (a) 語りの文節終端, (b) 語りの文節終端から $200 \mathrm{~ms}$ ポーズが継続した点，の二つを傾聴応答の表出率を予測するタイミング (以下, 応答タイミング) とする。具体的には, (a) は語りの文節における最終形態素の発話終端時刻である。(b) は, 語りにおいてポーズが継続する場合にも応答が発話されやすいことを踏まえた応答タイミングである. 図 2 の上部に，応答タイミングの例を示す.「/」は文節終端を表す. t1 t6の 6 個の応答タイミングのうち, t4 のみ上記の (b) に該当し, それ以外の 5 個の応答タイミングは (a)に該当する.

図 3 提案モデルの概略

## 3.2 使用する特徵量

提案手法は，語りの音響情報とテキスト情報から，表出率を予測する．音響情報としては，対象の応答タイミング直前のフレームの系列を用いる。フレーム単位の特徴量には, MFCC の下位 12 次元とピッチとパワー，及びそれらの $\Delta$ と $\Delta \Delta$ を用いる.

テキスト情報としては，対象の応答タイミング直前のトークンの系列を用いる．トークンは，語りのサブワードと応答タイミングを表現する 4 種のタグ （表 1）から構成される. トークン単位の特徵量には，トークンの埋め込み表現を用いる。テキスト情報の例を図 2 の下部に示す.この例では，テキスト情報として, 対象の応答タイミング直前の 3 文節に含まれるトークンの系列を用いている.

} & \multirow{2}{*}{ 話し手の語り } & \multicolumn{10}{|c|}{ 聞き手の傾聴応答の有無 } & \multirow{2}{*}{ 表出率 } \\

表 2 傾聴応答の表出率の正解値の算出例

図 4 傾聴応答の表出率の正解值の出現割合

## 3.3 表出率の予測モデル

提案モデルの概略を図 3 に示す.ただし， $\mathrm{f}_{\mathrm{i}} \in\left[\mathrm{f}_{1}, \mathrm{f}_{2}, \cdots\right]$ はフレームを, tok $_{\mathrm{j}} \in\left[\right.$ tok $_{1}$, tok $\left._{2}, \cdots\right]$ はトークンを表す。はじめに，音声分析ツールを使用して, 対象の応答タイミング直前のフレーム系列から，音響情報の特徴量行列を抽出する。一方，対象の応答タイミング直前のトークン系列をトー クン埋め込み層に入力して, テキスト情報の特徴量行列を得る. 次に, これら特徴量行列に対して, positional encoding の加算と, 線形変換, ReLU 関数を適用したのち， 1 層の transformer encoder [3] による変換を行う. その後, 変換後の行列に対して, 要素ごとに平均値をとり，音響情報とテキスト情報それぞれのエンコード結果であるベクトルを得る. 最後に, これら二つのベクトルを連結させたのち, 線形変換と sigmoid 関数を適用し, 0 以上 1 以下の 1 次元の值に変換することで，表出率を得る.

## 4 傾聴応答の表出率の予測実験

## 4.1 実験データ

## 4.1.1 傾聴応答データ

本実験では，村田らの傾聴応答データ [10]を用いる. 傾聴応答データにおける傾聴応答は, 複数の作業者が録音された語りを聞きながら，それぞれ応答することで収集されており, 静的な一つの語りに対して，複数の聞き手の傾聴応答が存在する．録音された語りとして，30 名の高齢者による合計約 8 時間
40 分の語りが収録されているナラティブコーパス JELiCo [11]を使用している.

## 4.1.2 傾聴応答データにおける表出率

本実験では，傾聴応答データの一部である 10 人の聞き手の傾聴応答 131,616 個を用いた。このデー タ中の応答タイミングに対する傾聴応答の表出率の正解値は，そのタイミングで応答した聞き手の割合とした。まず，CaboCha [12]を用いて語りの文節境界を検出したのち，応答タイミングを特定した。次に，応答の発話開始時刻を，語り中の最も近い応答タイミングに対応付けた. 最後に, 対応付けの結果に基づき，傾聴応答の表出率の正解値を算出した。

表 2 に傾聴応答の表出率の正解値の算出例を示す.この例の語りと応答タイミングは, 図 2 のものと同一である．L1～L10は 10 人の聞き手を表し，、 は聞き手が応答をしたことを意味する。例えば，応答タイミング $\mathrm{t} 2$ では, L6 と L9 の 2 人が応答しているので，表出率は $2 / 10=0.2$ となる．実験で用いるデータには， 40,647 個の応答タイミングが存在した. 図 4 に語りに存在する 40,647 個の応答タイミングにおける表出率の正解値の出現割合を示す.

## 4.2 実験概要

実験データを学習データ, 開発データ, テストデータに分割した。それぞれ, 23,846 個，8,588 個， 8,213 個の応答タイミングが含まれている。

音響の特徵量抽出には Praat [13] を使用した。フレームシフトを $10 \mathrm{~ms}$ とし，対象の応答タイミングから遡って 25 フレーム（応答タイミングの直前
表 3 各予測手法における評価指標の値

$250 \mathrm{~ms}$ ）の特徵量を用いた。また，MFCC については，窓幅を $25 \mathrm{~ms}$ とした。テキスト情報については，対象の応答タイミング直前の 3 文節の語りに含まれるトークン系列を使用した。語りのサブワードへの分割は, MeCab [14] (UniDic Ver. 2.1.2) で形態素解析したのち， subword-nmt $[15]^{1)}$ にり実施した。サブワードの埋め込みの初期値には, 日本語 Wikipedia コーパスを用いて GloVe [16] により事前学習した埋め込み表現を利用した。トークンに対する埋め込みの次元数は 300 とした.

モデルの学習では, バッチサイズを 256 , 学習率を $2 \mathrm{e}-4$, エポック数を 20 とした。損失関数には MSE (Mean Squared Error) Loss を，最適化手法には Adam [17] を用いた. 開発データにおいて損失が最小となったモデルをテストデータに適用して, その性能を評価した。補足として，モデルのハイパーパラメータと実装に用いたライブラリの詳細を，付録 A に記載しておく。

## 4.3 評価方法

本実験では，テストデータ中の全応答タイミングから算出される RMSE (Root Mean Squared Error) により, 表出率の予測性能を評価する。これを RMSE(all) と表記する。さらに，表出率の正解値ごとにもRMSE を算出し，これも評価指標とする．表出率の正解值 $c$ に対する $\operatorname{RMSE}$ を $\operatorname{RMSE}(c)$ と表記する. 補足として, $\operatorname{RMSE}(\mathrm{all})$ と $\operatorname{RMSE}(c)$ の計算式を付録 Bに記載しておく。

提案手法に加え，以下の三つの手法を実装した。

・ random: 学習データにおける表出率の出現分布に従ってランダムに表出率を予測する手法

・ proposed (P): 音響 (Prosody) 情報のみを使用して表出率を予測する手法

・ proposed (T): テキスト (Text) 情報のみを使用して表出率を予測する手法

random の評価指標の值は, テストデータに対する 1000 回の試行から得られる評価指標を平均す

ることで算出した. proposed $(\mathrm{P})$ と proposed $(\mathrm{T})$ は, それぞれ，表出率を出力する機構（図 3 の linear + sigmoid）に，音響情報のみを入力する手法と，テキスト情報のみを入力する手法である。

## 4.4 実験結果

各予測手法に対する評価指標の値を表 3 に示す.提案手法と random を比較すると, 提案手法が全ての評価指標で random を上回っており, 提案手法がランダムな予測よりも有効であることを確認できた. proposed $(\mathrm{P})$ と proposed (T) についても, 同様の結果が得られた。このことは，音響情報とテキスト情報がいずれも表出率の予測に寄与することを示している。一方, 提案手法と proposed (P) 及び proposed (T) を比較すると, 提案手法が全 12 個の評価指標のうち 9 個で最良の結果を示しており，音響情報とテキスト情報の両方を使用して表出率を予測することの有効性を確認できた。また，分析の結果，提案手法は, 正解の表出率が高いほど予測値も高くなる傾向にあることも確認した。付録 $\mathrm{C}$ に実験結果の補足を記載しておく．付録の図 5 に提案手法の予測傾向を, 図 6 に提案手法による予測例も記載しておく.

## 5 まとめ

本論文では, 傾聴応答の自動生成に向けた, 傾聴応答の表出率の予測手法を提案した. 提案手法は,語りの音響情報とテキスト情報を transformer ベー スの手法でエンコードし, エンコード結果を 1 次元に変換して表出率を算出する. 表出率の予測実験によって，音響情報とテキスト情報の両方を使用する提案手法の有効性を確認した. 今後は傾聴応答の種類を考慮した表出率の予測に取り組んでいきたい。

## 謝辞

高齢者のナラティブデータは, 奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室から提供いただいた. 本研究は, 一部, 科学研究費補助金挑戦的研究（萌芽）（No. 18K19811）により実施したものである.

## 参考文献

[1]総務省統計局. 平成 27 年国勢調査世帯構造等基本集計結果の概要.

[2]国立社会保障 - 人口問題研究所. 日本の世帯数の将来推計（全国推計）平成 30 年推計.

[3]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $Ł$ ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[4]Hiroaki Noguchi and Yasuharu Den. Prosody-based Detection of the Context of Backchannel Responses. In Proceedings of the 5th International Conference on Spoken Language Processing (ICSLP-1998), pp. 8570-8573, 1998.

[5]Nicola Cathcart, Jean Carletta, and Ewan Klein. A Shallow Model for Backchannel Continuers in Spoken Dialogue. In Proceedings of the 10th Conference on European Chapter of the Association for Computational Linguistics (EACL-2003), pp. 51-58, 2003.

[6]Shinya Fujie, Kenta Fukushima, and Tetsunori Kobayashi. A Conversation Robot with Back-Channel Feedback Function Based on Linguistic and Nonlinguistic Information. In Proceedings of the 2nd International Conference on Autonomous Robots and Agents (ICARA-2004), pp. 379-384, 2004.

[7]Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, and Seiji Nakagawa. Response Timing Detection Using Prosodic and Linguistic Information for Human-friendly Spoken Dia$\log$ Systems. Journal of Japanese Society for Artificial Intelligence, Vol. 20, No. 3, pp. 220-228, 2005.

[8]Yuki Kamiya, Tomohiro Ohno, and Shigeki Matsubara. Coherent Back-Channel Feedback Tagging of In-Car Spoken Dialogue Corpus. In Proceedings of the 11th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL-2010), pp. 205-208, 2010

[9]Takashi Yamaguchi, Koji Inoue, Koichiro Yoshino, Katsuya Takanashi, Nigel G. Ward, and Tatsuya Kawahara. Analysis and Prediction of Morphological Patterns of Backchannels for Attentive Listening Agents. In Proceedings of the 7th International Workshop on Spoken Dialogue Systems (IWSDS2016), pp. 1-12, 2016.

[10]村田匡輝, 大野誠寛, 松原茂樹. 語りの傾聴を話し手に示す応答発話の収集. 電気学会論文誌 C, Vol. 138, No. 5, pp. 637-638, 2018.

[11]Eiji Aramaki. Japanese Elder' s Language Index Corpus v2, 2016. https://doi.org/10.6084/m9. figshare. 2082706.v1.

[12]Taku Kudo and Yuji Matsumoto. Japanese Dependency Analysis using Cascaded Chunking. In Proceedings of the 6th Conference on Natural Language Learning (COLING-2002), pp. 63-69, 2002.

[13]Paul Boersma and David Weenink. Praat: Doing Phonetics by Computer (version 5.1.05), 2009. http: //www. praat. org/.

[14]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 9th Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.
[15]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL-2016), pp. 1715-1725, 2016.

[16]Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proceedings of the 19th Conference on Empirical Methods in Natural Language Processing (EMNLP-2014), pp. 15321543, 2014.

[17]Diederik P.Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization, 2014. http://arxiv.org/abs/ 1412.6980.

## Aモモ゙ルのハイパーパラメータと実装に用いたライブラリ

3.2 節で述べたとおり, 音響の特徴量は 42 次元 (MFCC の下位 12 次元とピッチとパワー, 及びそれらの $\Delta$ と $\Delta \Delta$ ) である. 4.2 節で述べたとおり, テキストの特徴量は 300 次元である. 表 4 に, proposed $(\mathrm{P})$, proposed (T) 及び提案手法における transformer encoder [3] の入出力の次元数 $\left(d_{\text {model }}\right)$, multi-head attention のヘッド数 （h）を示す. position-wise feedforward network の中間層の次元数 $\left(d_{\mathrm{ff}}\right)$ は， $d_{\text {model }}$ の 4 倍とした.これらのハイパーパラメータの值は, 開発データを用いて定めた. モデルの実装には, pytorch ${ }^{2}$ を用いた. transformer encoder は, pytorch のnn.TransformerEncoder とnn.TransformerEncoderLayer で実装した.

## B 評価指標

$\operatorname{RMSE}(\mathrm{all})$ と $\operatorname{RMSE}(c)$ は，以下の式によって計算される。ただし， $p(t)$ と $c(t)$ はそれぞれ，応答タイミング $t$ における表出率の予測值と正解値を表し， $S_{\mathrm{all}}$ はテストデータにおける全応答タイミングを表し， $S_{c}$ はテストデータにおける表出率の正解値が $c$ であるような応答タイミングの集合を表す.

$
\operatorname{RMSE}(\text { all })=\sqrt{\frac{1}{\left|S_{\mathrm{all}}\right|} \sum_{t \in S_{\mathrm{all}}}(p(t)-c(t))^{2}} \quad \operatorname{RMSE}(c)=\sqrt{\frac{1}{\left|S_{c}\right|} \sum_{t \in S_{c}}(p(t)-c(t))^{2}}
$

## C 実験結果の補足

図 5 に，提案手法による傾聴応答の表出率の予測傾向を示す.この図は, 表出率の正解値が高いほど予測值も高くなる傾向を示している。この結果から, 提案手法は, 傾聴応答の表出率の高さに対応した応答タイミングの特徴をうまく捉えられているといえる. 最後に，提案手法による表出率の予測例を図 6 に示す.

表 4 各予測手法における transformer encoder の

図 5 提案手法による傾聴応答の表出率の予測傾向

図 6 提案手法による傾聴応答の表出率の予測例

2) https://pytorch.org/docs/stable/index.html


# 事前学習モデルを用いた近代文語文の現代語機械翻訳

喜友名 朝視顕 ${ }^{1}$ 平澤 寅庄 ${ }^{1}$ 小町 守 ${ }^{1}$ 小木曽 智信 ${ }^{2}$
1 東京都立大学 2 国立国語研究所
kiyuna-tomoshige@ed.tmu.ac.jp, hirasawa-tosho@ed.tmu.ac.jp,
komachi@tmu.ac.jp, togiso@ninjal.ac.jp

## 1 はじめに

本研究では、近代文語文の現代語機械翻訳タスクを提案する。これは、近代（明治期から大正期）の文語から現代日本語への翻訳タスクである。本タスクは、同じ言語間の通時的な違いに着目して言語表現を言い換えるタスクの 1 つである。本タスクの特徵として、原言語と目的言語は同じ日本語であり、共通の語彙が多いことが挙げられる。英語では、 William Shakespeare の初期近代英語文を現代英語文に変換する試み [1]が行われている。

本タスクでは、タスクの特徴を考慮し、新たに提案する評価尺度を使用する。ニューラル機械翻訳 (neural machine translation: NMT) の出力は流暢であるが、そのまま公開することは難しい。そこで本研究では、ポストエディットのコストを考慮した翻訳性能の評価尺度として、原文との BLEU および参照訳との BLEU の調和平均を評価値とする調和平均 BLEU を提案し、既存の評価尺度よりも人手評価値との相関が高いことを示す。

また、本タスクの課題として、学習に使用できる対訳コーパスが低リソースであることが挙げられる。この問題に対処する方法の 1 つに、事前学習モデルの利用がある。Lample ら [2] は、Transformer [3] ベースの言語横断的な言語モデル cross-lingual language model (XLM) を学習する方法として、各単言語コーパスを用いた教師なし手法 (masked language modeling: MLM）と対訳コーパスを用いた教師あり手法 (translation language modeling: TLM) を提案した。そして、事前学習済みのXLMを使用して、教師あり NMT と教師なし NMT で実験を行い、両者共に翻訳性能が向上することを示した。

本研究でも、タスクの特徴を考慮し、MLMで学習したXLMを用いたNMT を行った。単言語コー パスを使用した教師なし NMT 手法の場合、訳抜けや誤訳はほとんど生じなかった。しかし、多くの単語は原文のままであるような出力に止まった。本研究における貢献は、次の 3 点である。

(1) 近代文語文の現代語機械翻訳タスクを提案する。

(2) 原言語と目的言語に共通の語彙が多い場合の、 ポストエディットのコストを考慮した翻訳性能の評価尺度として、原文も考慮する調和平均 BLEU を提案する。

(3) 古文の翻訳で初めて事前学習モデルを用いた NMTを行う。

## 2 近代文語文の現代語機械翻訳

近代文語文から現代語への機械翻訳タスクを提案する。本タスクの特徴として、原言語と目的言語は同じ日本語であり、その差は通時的に生じたもので、共通の語彙が多いことが挙げられる。

本タスクのデータセットには、『学問のすっめ』 とその現代語訳1) から抽出した段落単位の対訳コー パスを使用する。

## 2.1 学習

訓練・開発データには『学問のすっめ』の二編以降を用いる。段落単位の対訳コーパスから、 1,513 文対から成る文単位の対訳コーパスを作成する。作成方法は付録 $\mathrm{A}$ を参照。

訓練・開発データを 5.1 の方法で単語分割を行ったときの各言語別の単語トークン数と単語タイプ数を表 1 に示す。近代文語の単語タイプのうち $44.28 \%$ が現代語の単語タイプと等しく、現代語の単語タイプのうち $49.36 \%$ が近代文語の単語タイプと等しい。

## 2.2 テスト

評価データには『学問のすすめ』(福澤諭吉、1872) の初編を用いる。16 段落から成る段落単位の対訳

コーパスであり、近代文語文は 75 文、その現代語訳が 121 文である。文ごとにモデルに入力し、 75 文の翻訳結果を得た後、それらを連結して 16 個の段落に整形し、段落単位のテストを行う。

## 3 調和平均 BLEU（hm-BLEU）

原言語と目的言語に共通の語彙が多いときを考える。仮に適切な翻訳ができなかった場合、文意と無関係の単語を出力するより、原文の単語をそのまま出力した方が、翻訳として妥当であろう。その場合、原文も考慮して評価するのが自然である。しかし、機械翻訳の評価尺度として一般に用いられている BLEU [4] は、翻訳結果を参照訳との $n$-gram の一致率によって翻訳性能を評価し、原文は考慮しない。そこで、原文と参照訳の両方を考慮する BLEU として、原文との BLEU と、参照訳との BLEU に対し、単純にそれらの調和平均を評価値とする、調和平均 BLEU（hm-BLEU）を提案する。

hm-BLEU は、原文との $n$-gram の一致率を考慮する評価尺度である。原文との $n$-gram の一致率が高いほど、原文の情報を多く保存していると言える。原文の情報を保存していれば、訳抜けや文意に無関係な単語の出現に気付きやすくなるだろう。

## 4 事前学習モデルを用いた NMT

言語モデルの事前学習と、事前学習済み言語モデルで初期化した翻訳モデルの fine-tuning の 2 つに大別される。

言語モデルの事前学習原言語と目的言語に共通の語彙が多いため、単言語の言語モデルよりも言語横断的な言語モデルを用いることで、高い翻訳性能が期待できる。そこで、言語モデルには XLM [2]を用いる。言語モデルの事前学習には、BERT (bidirectional encoder representations from Transformers) [5] と似た MLM を用いる。XLM の MLM は BERT の MLM と異なり、文対ではなく任意の数の文（最大トークン数で切り捨てる）で学習を行う。近代文語と現代語の各単言語コーパスを用いて、MLMにより共通の言語モデルを作成する。翻訳モデルの fine-tuning 事前学習済みの言語モデルで翻訳モデルの encoder 全体と decoder の一部を初期化し、教師なし手法または教師あり手法により学習を行う。各手法は、Lample and Conneau (2019) [2] の翻訳手法に従う。教師なし手法は、Lample et al. (2018) [6] の denoising と逆翻訳を用いる手法を拡張した手法で、各単言語コーパスを用いて学習を行う。教師あり手法は、Ramachandran et al. (2016) [7] の手法を multilingual NMT [8] に拡張した手法で、対訳コーパスを用いて系列変換の目的関数に従い学習を行う。どちらも、単一のモデルで、近代文語から現代語の翻訳だけでなく、現代語から近代文語の翻訳も行うため、近代文語の単語を多く残すような現代語への翻訳が期待できる。

## 5 実験

## 5.1 データセット

対訳データセットに加えて、言語モデルの事前学習に必要な単言語データセットを用意した。それぞれ、 $\mathrm{MeCab}$ [9] を用いて形態素解析を行った。形態素解析の辞書には、近代文語は近代文語 UniDic $[10]^{2}$ )、現代語は現代書き言葉 UniDic $[11]^{3)}$ を用いた。また、 1 文に含まれる短単位の数を 100 語に制限した。

対訳データセット 2.1 の訓練・開発データのうち、9 割を訓練データ ( 1,362 文対)、 1 割を開発データ（151 文対）として使用した。翻訳モデルの fine-tuning にのみ用いる。

単言語データセット訓練データは近代文語と現代語の各単言語コーパス（詳細は付録 B を参照）を用いる (それぞれ 226,793 文)。開発データには『文明論之概略』（福澤諭吉、1875）とその現代語訳 ${ }^{4}$ ) ら付録 A の方法で作成した文単位の対訳コーパスを使用した (3,306 文対)。言語モデルの学習と翻訳モデルの fine-tuning の両方に用いる。

## 5.2 実験方法

実験には Lample ら [2] の実装5 を利用し、6つの手法で翻訳モデルの学習を行った。特に言及がない

2) https://unidic.ninjal.ac.jp/download_all\#unidic kindai (UniDic-kindai_1603)

3) https://unidic.ninjal.ac.jp/download\#unidic_bccwj (unidic-cwj-2.3.0)

4）福澤諭吉著・齋藤孝訳『現代語訳文明論之概略』ちくま文庫（2013）

5) https://github.com/facebookresearch/XLM
表 2 各評価尺度および人手評価による各翻訳手法の評価值。各評価尺度の値は、評価値を 100 倍したものである。

}} & 100.00 & 13.47 & 100.00 & 23.74 & 0.39 & 10.99 & 5.0 \\

限り、ハイパーパラメータは既定値を使用した。

## 5.2.1言語モデルの事前学習と翻訳モデルの初期化

2 つの方法で翻訳モデルの初期化を行った。

言語横断的な初期化単言語データセットを用いて学習した XLM で、翻訳モデルの encoder 全体と decoderの一部を初期化する（XLM）。

言語横断的でない初期化近代文語と現代語の各単言語コーパスを用いて近代文語と現代語の言語モデルをそれぞれ学習し、翻訳モデルの encoder を近代文語の言語モデルで、decoder 現代語の言語モデルで初期化する (BERT $\left.{ }^{6}\right)$ )。開発データは単言語データセットと同様である。

## 5.2.2 翻訳モデルの fine-tuning

言語横断的な初期化を行った翻訳モデルに対し、対訳データセットを用いて教師あり手法および教師なし手法 (手法 1、手法 2)、単言語データセットを用いて教師なし手法（手法 3）により fine-tuning を行った。単言語データセットを用いて fine-tuningを行ったモデルに対しては、対訳データセットを用いて教師あり手法および教師なし手法により 2 回目の fine-tuning を行った（手法 4、手法 5)。

また、言語横断的でない初期化を行った翻訳モデルに対し、単言語データセットを用いて教師なし手法により fine-tuning を行った（手法 6)。

## 5.3 評価方法

各翻訳手法の性能を比較するために、6つの評価尺度で評価した：(1) 原文との BLEU [4]（s-BLEU）、 (2) 参照訳との BLEU (r-BLEU)、(3) 原文と参照訳をマルチリファレンスとして用いる BLEU (sr-BLEU)、 (4) 3 で提案した hm-BLEU、(5) 文法誤り訂正で使用される原文と参照訳の両方を用いる GLEU [12] （6）テキスト平易化で使用される原文と参照訳の両方を用いる SARI [13]。これら 6 つの評価尺度は値が大きいほど評価が高くなり、最大值は 1 である。

## 5.4 実験結果

各評価尺度による各翻訳手法の評価値を表 2 に示す。低リソースの対訳データセットを用いた手法 1 と手法 2 は、s-BLEU と r-BLEU のいずれも低い。単言語データセットを用いた手法 3 と手法 6 は、 s-BLEU が高く、r-BLEU は原文よりも高い。手法 3 の後に教師あり手法により fine-tuning を行う手法 4 は、s-BLEU は手法 3 より低いが、r-BLEU は手法 3 より高い。

また、r-BLEU で評価すると手法 4 が最も高いが、 hm-BLEU で評価すると手法 3 が最も高い。これは、 hm-BLEU が s-BLEU を考慮した結果である。

## 6 メタ評価

5.3 で挙げた 6 つの評価尺度がどの程度、ポストエディットのコストを考慮した翻訳性能の評価できているかを調べるために、評価尺度の評価（メタ評価）を行った。まず、評価データから 2 つ段落を無作為に選び、各翻訳手法について 2.2 と同じ方法で翻訳を行い、システム単位の人手評価を行った。 そして、各評価尺度の評価値（原文の評価値を含む）と人手評価値とのスピアマンの順位相関係数で評価した。

## 6.1 人手評価

国立国語研究所で『日本語歴史コーパス』の構築に従事する 2 人の評価者（A、B）によるシステム単位の人手評価を行った。評価の観点は、クラウドソーシングを使用して、公開できる品質の現代文に

6） next sentence prediction タスクは行わない。
各評価尺度の評価値と人手評価値との

するための時間・人手コストを考慮した翻訳の精度とした。各評価値は、1 から 10 の離散値で、原文を 5 とし、最も精度が良い場合を 10 とした。原文および各翻訳手法の出力に対する人手評価の平均値を表 2 の右段に示す。各評価者の評価値は付録 Dを参照。2 人の評価者間のスピアマンの順位相関係数は 0.72 であった。

## 6.2 メタ評価の結果

表 3 にメタ評価の結果を示す。人手評価の平均値との相関は、hm-BLEU が最も高い。これは hm-BLEU が、ポストエディットのコストを考慮した翻訳性能の評価尺度として優れていることを示している。また、評価者 A は hm-BLEU との相関が最も高いが、評価者 B は s-BLEU との相関が高い。

## 7 考察

事前学習モデルを用いた NMT 表 2 より、単言語データセットを用いた教師なし手法 (手法 3、手法 6）は、s-BLEUを高く保ちつつ、r-BLEU は原文より高いことがわかる。これは、付録 C の出力例のように、多くの単語は原文のままで、一部の単語のみを翻訳しているためである。また、言語横断的な初期化（手法 3）と言語横断的でない初期化（手法 6）を比較するとあまり差がないことがわかる。これらの結果は、単言語データセットを用いた教師なし手法が、原文の構造をできるだけ保存するような翻訳を可能にしていることを示唆している。

また、事前言語モデルが翻訳性能に与える効果を調べるために、事前学習モデルで初期化しない手法との比較や、各手法の単語分散表現を使って通時的な単語の対応を調べる必要があるだろう。

調和平均 BLEU（hm-BLEU） ポストエディットのコストは、原文との対応を調べるコストと、対応の取れた部分同士の翻訳が不適当な場合に正しい翻訳に訂正するコストの 2 つに大別できると考えられ
る。前者は s-BLEU で、後者は r-BLEU で評価できると仮定すると、表 3 より、評価者 A は s-BLEU と r-BLEU の両方で相関が高く、2つのコストを同程度考慮して評価したと推測できる。一方、評価者 B は s-BLEU との相関が低く、原文との対応よりも、出力の翻訳精度や、正しい翻訳に訂正するコストを重視したと推測できる。

ポストエディットのコストを考慮した翻訳性能の評価尺度を考える際に、本研究では単純に s-BLEU と r-BLEU の調和平均を評価値とする評価尺度を提案したが、正しい翻訳に訂正するコストを重視するような重み付き調和平均も検討する必要があるだろう。

## 8 関連研究

星野ら [14] は古代から近世までの古文とその現代語訳からなる段落単位の対訳コーパスから、文分割のためのルールベースのスコア関数を用いて、文単位の対訳コーパスを抽出する手法を提案した。抽出した対訳コーパスを用いて統計的機械翻訳を行い、提案手法による文分割の有用性を示した。

また、Takaku ら [15] は単語分散表現を現代文の単言語コーパスで学習した後、古文の単言語コーパスを近代から古代に遡るように通時適応した。得られた単語分散表現で翻訳モデルの encoder の単語埋め込み層の重みを初期化し、星野らが抽出した対訳コーパスを用いて、古文の翻訳で初めて教師あり手法の NMT を行い、時代固有の単語と多様な語彙を訳出できるモデルを作成した。

## 9 おわりに

本研究では、近代文語文の現代語機械翻訳タスクを提案し、事前学習モデルを用いた手法で実験を行った。その結果、単言語コーパスを用いた手法により、原文の構造をなるべく保存するような翻訳が可能であることがわかった。また、ポストエディットのコストを考慮した翻訳性能の評価尺度として、原文も考慮する調和平均 BLEU を提案し、人手評価值との相関が最も高いことを示した。

今後は、原文の情報をできる限り保ちつつ、より多くの単語を正しく翻訳できるような手法を検討したい。

謝辞本研究は国立国語研究所の共同研究プロジェクト「通時コーパスの構築と日本語史研究の新展開」及び所長裁量経費の助成を受けたものです。

## 参考文献

[1] Wei Xu, Alan Ritter, Bill Dolan, Ralph Grishman, and Colin Cherry. Paraphrasing for style. In Proceedings of COLING, pp. 2899-2914, 2012.

[2] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In NeurIPS, Vol. 32, pp. 70597069, 2019.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008. 2017.

[4] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of ACL, pp. 311-318, 2002.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[6] Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, and Marc' Aurelio Ranzato. Phrase-based \& neural unsupervised machine translation. In Proceedings of EMNLP, pp. 5039-5049, 2018.

[7] Prajit Ramachandran, Peter Liu, and Quoc Le. Unsupervised pretraining for sequence to sequence learning. In Proceedings of EMNLP, pp. 383-391, 2017.

[8] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. TACL, Vol. 5, pp. 339-351, 2017.

[9] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of EMNLP, pp. 230-237, 2004.

[10] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を対象とした形態素解析. 自然言語処理, Vol. 20, No. 5, pp. 727-748, 2013.

[11] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用.本語科学, Vol. 22, pp. 101-123, 2007.

[12] Andrew Mutton, Mark Dras, Stephen Wan, and Robert Dale. GLEU: Automatic evaluation of sentence-level fluency. In Proceedings of ACL, pp. 344-351, 2007.

[13] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. TACL, Vol. 4, pp. 401415, 2016.

[14] 星野翔, 宮尾祐介, 大橋駿介, 相澤彰子, 横野光. 対照コーパスを用いた古文の現代語機械翻訳. 言語処理学会第 20 回年次大会, pp. 816-819, 2014.

[15] Masashi Takaku, Tosho Hirasawa, Mamoru Komachi, and Kanako Komiya. Neural machine translation from historical Japanese to contemporary Japanese using diachronically domain-adapted word embeddings. In PACLIC, 2020.
[16] 国立国語研究所（2019）『日本語歴史コー パス明治・大正編 I 雑誌』(短単位データ 1.2) https://pj.ninjal.ac.jp/corpus_center/chj/ meiji_taisho.html\#zasshi.

[17]国立国語研究所（2018）『日本語歴史コーパス明治・大正編 II 教科書』(短単位データ 1.0) https://pj.ninjal.ac.jp/corpus_center/chj/ meiji_taisho.html\#kyokasho.
表 4 各翻訳手法の出力例。

 & \\

原文譬えば、いろは四十七文字を習い、手紙の文言、帳合いの仕方、算盤の稽古、天䊖の取扱い等を心得、なおまた進んで学ぶべき箇条ははなはだ多し。

参照訳たとえば、いろは四十七文字を習って、手紙の言葉や帳簿の付け方、そろばんの稽古や天科の取り扱い方などを身につけることをはじめとして、学ぶべきことは非常に多い。

1 たとえば、文章にすればたいして意味がないようなものでも、口で言葉にすれば、理解もしやすく、人の心を動かすものがあるのだ。

2 たとえば、乞食を禁止するという法律は、もちろん公明正大なものだけれども、 それぞれの個人が食に物を与えようとする心情はとがめなくてよろしい。

3 譬えば、いろは四十七文字を習い、手紙の文言、帳合いの仕方、算盤の稽古、天科の取扱いなどを心得、なおまた進んで学ぶべき箇条ははなはだ多い。

たとえば、一人の新聞を見てみれば、その趣旨を示し、本を書き、新聞をの上、「政治」の

4 法則を心得、それでも高いレベルの勉強をして、最後には自分でも「成功」ということは、 たいへん多い。

5 萬えば、危機、危機、危機、危機、柱、いや、爪の仕方、算盤の稽古、

天科の習慣などを心得、なおまた進んで学ぶべき箇条ははなはだ多い。

たとえば、いま、若い学生が、酒や異性にもおぼれず、きちんと生活してちゃんと勉強すれば、家族や目上の人間にも叱られることなく、誇らしげになることに思えるけれども、 これはただほかのだらしない学生に比べてのことにすぎない。

表 5 人手評価による各手法の評価値。

## A 文単位の対訳の作成方法

1 つの原文にいくつかの現代文を割り当てることで文単位の対訳を作成する。原文 $S$ に対し、窓幅 10 の範囲でスコアが最小となる現代文を $H_{S}$ とする。スコアは、句読点を除いた単語列の組に対する、「単語が一致すると距離が 2.5 だけ短くなる」という操作を追加した編集距離である。原文 $A, B$ に対して貪欲に対応付けた現代文をそれぞれ $H_{A}, H_{B}$ とし、 $H_{A}$ と $H_{B}$ の間の現代語訳を、原文 $A$ に割り当てる強さ $\alpha$ を定める。対応の取れない現代語訳が最も少なくなる $\alpha$ を $[0.5,2.0)$ の範囲で二分探索により求める。探索が停止した時点での、対応の取れた原文と現代語訳の対を文単位の対訳として用いる。

## B 単言語コーパス

単言語データセットの訓練データに使用した近代文語と現代語の各単言語コーパスは以下のとおりである。近代文語の単言語コーパス 『日本語歴史コーパス明治・大正編 I 雑誌』[16] に収録されている『明六雑誌』、『東洋学芸雑誌』、『国民之友』、『太陽』、『女学雑誌』、『女学世界』、『婦人俱楽部』の文語記事と、『日本語歴史コーパス明治・大正編 II 教科書』[17]に収録されている国語教科書の文語部分を用いた。語種が漢語または固有名の場合は、表層形の代わりに語彙素を用いた。

現代語の単言語コーパス『現代日本語書き言葉均衡コーパス』7)の「出版・書籍」を用いた。

## C 各翻訳手法の出力例

表 4 に各翻訳手法の出力例を示す。手法 1、手法 2 はどちらも、文意と無関係の単語を出力している。手法 3 は文末の単語以外、原文の単語をほとんどそのまま出力している。手法 4 は上段では「肝要」を「大切」と訳しているが、下段では文意と無関係の単語を出力している。手法 5 は上段では手法 3 と似ているが、下段では同じ単語の繰り返しが見られる。手法 6 は上段では「分限」の訳抜け、下段では文意と無関係の単語が見られる。

## D 人手評価の結果

評価者 $\mathrm{A} 、 \mathrm{~B}$ による各翻訳手法の評価値を表 5 に示す。評価者によって、評価が異なる箇所がいくつか見られた。特に、手法 1 と手法 4 に対して、評価者 $\mathrm{A}$ は 5 未満、評価者 B は 5 以上と評価している。

7) https://pj.ninjal.ac.jp/corpus_center/bccwj/