# 高再現率な文法誤り訂正システムの実現に向けて

松本悠太 ${ }^{1}$ 清野舜 ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
yuta.matsumoto.q8@dc.tohoku.ac.jp, shun.kiyono@riken.jp,
inui@ecei.tohoku.ac.jp

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction; GEC) は文法的な誤りを含んだ文を入力とし、正しい文を出力とすることで誤りを訂正するタスクである。一般的に GEC システムの評価にあたっては、参照文との比較により各編集について正解・不正解を計算し、適合率、再現率と $F_{0.5}$ 値を求める $[1,2]$.

GEC システムの多くには適合率が再現率よりも高いという傾向が見られる. 例えば、2019年に開催された GEC の Shared Task (BEA-2019)[3] の優勝システム [4] では、適合率は $72.28 \%$ だったのに対し、再現率は $60.12 \%$ であった。また、Shared Taskにおいてシステムの優劣を $F_{0.5}$ で比較していることからも、GEC が分野として適合率の高さを重要視していることが分かる.

一方で、適合率を度外視してでも高い再現率を担保したい状況も考えられる. 例えば、英語の母語話者が GEC システムを自分で書いた英文の校正に使用する場面を考える．母語話者としては、全ての文法誤りがシステムによって訂正される（つまり、再現率が 100\%である）ことが望ましいはずである. このとき、各訂正の良し悪しはシステムのユーザが判断すれば良いため、必ずしも全ての訂正が正しい必要はない.

我々の最終的な目的は高再現率な GEC システムの実現である.しかしながら、我々の知る限り高再現率を主目的とした研究は存在せず、この目標への取り組み方も明らかではない。そのため、本研究では次の 2 つの戦略のもと, 高再現率システムの構築に向けて解決すべき問題の性質を明らかにする。 (1)各種文法誤りの種類のうち、前置詞の誤りに限定して取り組む. 前置詞の誤りは、名詞や動詞の誤りよりも種類が少ないため、GEC システムの制御や分析が容易になると考えられる. (2) 再現率向上に寄与するとされる複数の既存手法を組み合わせて、再現率の変化を分析する．具体的には、疑似データ、リランキングと反復復号化という 3 つの手法を使う.既存手法の効果を分析することで、将来的に新手法の効果をより精緻に分析することが可能になる.

分析では、一連の手法における最高値を知るためにモデルのオラクル出力を獲得し、その再現率を計算した。その後、訂正できなかった誤りの性質を理解するためにオラクル出力を人手評価によって分析した. その結果、参照文で正解とされている編集が必ずしも正しいとは言えない可能性が示唆された.

## 2 再現率を向上させるための手法

本節では、前置詞の再現率向上に有効だと考えられる 3つの既存手法：(1) 擬似データ (2) リランキング (3) 反復復号化について述べる. Encoder-Decoder (Enc-Dec) モデル [5] を用いた本研究の概観を図 1 に示す.

## 2.1 擬似データ

GEC の訓練データは言語学習者の書いた英文とその訂正文からなるパラレルコーパスである. ここで、前置詞の用法のうち誤りが含まれているのは全体の 1 割に過ぎず、ほとんどの場合では正しく用いられていることが知られている [6]. このようなデータを用いて訓練をおこなう場合、モデルは前置詞をできるだけ訂正しないような傾向を学習してしまい、結果として、モデルの再現率は低くなってしまうと考えられる。

本研究では、前置詞の誤りを大量に含んだ疑似データを訓練に取り入れることによって、再現率の向上をねらう（図 1(a)）ＧEC モデルの訓練においては、元の訓練データに加えて擬似データを用いることが一般的であり $[4,7,8$ 、本研究もその枠組みに従う．具体的には、単一言語コーパスに対して前置詞誤りを付与することで、前置詞誤りを含んだ擬似データを生成する，以下にその過程を述べる。

（a）疑似データを用いた学習

(b) リランキング

(c) 反復復号化

図 1 高再現率 GEC システムの概観

まず Takahashi ら [8] に従い、コーパス中に含まれる前置詞の頻度から、最もよく使われる前置詞 10 個の前置詞セット $[9,8]$ を作成する. 次に、単一言語コーパスの文中の各単語に対して確率 0.1 で前置詞セット中の単語をランダムに挿入する．また、対象の単語が前置詞セットに含まれている場合，誤りを確率 $p$ で付与する．誤りを付与する場合は、(1)削除、(2) 他の前置詞との置換、(3) 前後の単語との入れ替えをそれぞれ $0.1,0.8,0.1$ の確率で行う.この確率分布は Grundkiewicz ら [4] を参考にした.

ここで、操作 (2) の置換については、前置詞セットではなく、別に用意した前置詞混乱セット [10] を用いることで、学習者の各前置詞に関する誤り傾向を擬似データ中に取り入れる。具体的には、前置詞 $w_{i}$ の前置詞混乱セットは、学習者データ中で $w_{i}$ に多く訂正された上位 4 単語の前置詞 $w_{j}$ の集合とした. 例えば、単語 for は to $\cdot$ of $・$ in ・on から高頻度で訂正されるため、for 9 前置詞混乱セットは $\{$ to, of, in, on \} となる1).

## 2.2 リランキング

Enc-Dec モデルのデコード過程では、幅 $n$ のビー ムサーチによって $n$ 個の候補文が出力される. このとき、通常は Enc-Dec が付与したスコアの最も大きい候補文を選択するが、原文からの前置詞の編集を多く含むような文を選択することができれば、再現率を向上させられるはずである。この直観のもと、前置詞の編集数をスコアとして取り入れたリランキングを提案する (図 1(b)).これは、他の Enc-Dec モデルや言語モデルを用いたリランキング手法 [7,11] の亜種であるとみなせる.

リランキングでは、以下のように新しいスコア

1）前置詞混乱セットの詳細や実際に生成された擬似データについては付録 Aを参照されたい.
（NewScore $\in \mathbb{R} ） を$ 計算する.

NewScore $=$ BeamScore $+\alpha *$ NumOfPrepEdit

ここで、BeamScore $\in \mathbb{R}$ と NumOfPrepEdit $\in \mathbb{N}$ はそれぞれ Enc-Dec が付与したスコアと訂正前後の文間における前置詞の編集数である。前置詞の編集は ERRANT[1]によって検出した. また、重み $\alpha \in \mathbb{R}$ はハイパーパラメータである2).

## 2.3 反復復号化

反復復号化は、デコード時に得られた文を再びモデルでデコードする手法である（図 1(c)）。これにより、複数の文法誤りを含む文に対して、モデルは段階的に訂正をおこなうことができる．GECにおいては複数の既存研究 $[12,13,14]$ が反復復号化を採用し、再現率の向上を報告している．そのため、本研究でも手法の一つとしてこれを採用する。

## 3 実験

## 3.1 実験設定

データセット訓練データと検証データには BEA-2019 Shared Task[3] で配布された物を使用する.以降はそれぞれ BEA-train、BEA-valid と言及する. 評価データには CoNLL-2014 で使用されたテストデータ (CoNLL-2014)[15] を用いる。擬似データは Gigaword ${ }^{3}$ から生成した。また、これらのデータは全て subword-nmt ${ }^{4}$ によって BPE 化した. 各デー タセットの統計量を表 1 に示す.

性能評価モデルの性能評価には、BEA-valid と CoNLL-2014を用いる. ERRANT[1]を用いて誤りタ

2）実際のリランキング例は、付録 B を参照されたい.

3) https://catalog.ldc.upenn.edu/LDC2003T05

4) https://github.com/rsennrich/subword-nmt
表 1 各データセットの詳細な統計量

表 2 擬似データを加えた時の前置詞誤りと全体に対する性能.太字は最も高再現率だったスコアを表す.

イプごとに適合率、再現率、 $F_{0.5}$ 値を計算した.

モデル Enc-Dec モデルとして Transformer (big)[5] を用いた。また、最適化には Adafactor[16]を用いた. 全てのモデルは、Kiyono ら [7] の作成した事前学習済みモデルを初期値として用いて学習した.この事前学習済みモデルを BEA-train のみで学習させたものをべースラインモデルとする5). ビームサー チの幅は 20 とした.

## 3.2 実験 1 : 擬似データ

本節では前置詞誤りの擬似データを生成する際の前置詞誤り付与確率を変化させたときの性能を比較する. 誤り付与確率 $p$ を $p=\{0.5,0.7,0.9,1.0\}$ と変化させた時の性能は表 2 のようになった.

表 2 から、擬似データを用いることで前置詞における再現率が向上したとわかる。一方で、再現率の向上幅は誤り付与確率を変化させてもほぼ変わらない. 以降の実験 $2 、 3$ では、最も高再現率となった $p=1.0$ の擬似データを含むデータで学習したモデル（ $p=1.0$ の擬似データモデル）を使用する.

## 3.3 実験 2 :リランキング

ベースラインモデルと $p=1.0$ の擬似デー タモデルに対して、ビームサーチで得られた候補 20 文について前置詞編集数の重み $\alpha$ を $\alpha=\{0,0.1,0.2,0.3,0.5,0.7\}$ と変化させた場合の性能を図 2 に示す. 図から、どちらのモデルにおいても、前置詞の編集数を用いたリランキングによって再現率が高くなるように制御できることがわかる.

図 2 ベースラインモデル、 $p=1.0$ の擬似データモデルにおける前置詞編集数によるリランキングの効果

図 3 ベースラインモデル、 $p=1.0$ の擬似データモデルにおける反復復号化の効果

一方で、重みを大きすするとビームサーチのスコアの影響が小さくなり、適合率は下がる.

## 3.4 実験 3 : 反復復号化

ベースラインモデルと $p=1.0$ の擬似データモデルで反復復号化をそれぞれ 3 回行った際の性能変化を調べた結果を図 3 に示す. 図から、反復復号化は 1 回目は効果があるものの、 2 回目以降はほぼ効果がないことが分かる. これは先行研究 $[12,14]$ と一致する結果である。

## 3.5 実験 4 ：各手法の組み合わせ

手法 3 つを全て組み合わせて実験をおこなうことで、本研究の枠組みで達成可能な再現率の最高值を調べた。また、 $p=1.0$ の疑似データモデルを用いて、前置詞再現率のオラクル値を計算した。これは、モデルの出力する候補 20 文のうち、前置詞の再現率が最も高くなるような文を選ぶことによって

表 4 人手評価のスコアに基づくモデル出力文と参照文の比較

計算した.

その結果を表 3 に示す. 表 3 から、それぞれの手法が相補的に再現率向上に寄与することがわかる.

特に、全ての手法を組み合わせることで、BEA-valid における前置詞誤りの再現率はベースラインの 38.92 から 56.35 まで向上した. 一方で、再現率のオラクル値（62.97）とは6ポイント以上の差があることから、リランキングや反復復号化手法の改善が必要であることが示唆される. また、CoNLL-2014 の場合は反復復号化を行わず、擬似データ手法とリランキング手法を組み合わせた場合が最も高い再現率となった.

## 4 分析

第 3.5 節で再現率のオラクル值（62.97）を求めたが、我々の究極的な目標である再現率 $100 \%$ のためには 40 ポイント弱の上積みが必要であるとわかる.本節では、この内訳を分析することで、さらなる再現率向上のための手がかりを得ることを試みる. 具体的には、モデルが訂正できなかった前置詞誤りのうち、真にモデルが訂正するべきだと思われる誤りの割合を人手評価を用いて明らかにする。

モデルの出力した訂正文候補のうち、オラクル値の計算に用いた文をオラクル文と呼ぶ. モデルが BEA-valid の訂正で出力したオラクル文では、前置詞誤り 588 例が正しく訂正されていたが、243 例が未訂正、もしくは正しく訂正できなかった. 未訂正、もしくは正しく訂正できなかった誤り 243 例のうちランダムに 30 例を抽出し、 2 人の英語母語話者
に評価を依頼した。具体的には、訂正前の原文とそれに対応するオラクル文、参照文を示し、それぞれの文における前置詞の修正を「訂正が文を悪化させている」「訂正前と変わらない」「完璧ではないが改善されている」「完璧な訂正である」の 4 段階スコア、または「自分ではこの結果を判断できない」という答えで評価してもらった. なお、長文や原文と参照文の編集距離が極端に大きい例は分析の対象から除外した。これは、対象の前置詞の訂正の評価にあたって、前置詞以外の訂正が評価者にとってノイズになると考えたからである.

30 例のうち「自分ではこの結果を判断できない」 という答えであった例を除いた 27 例において、それぞれの前置詞の編集に対するスコアを比較した結果を表 4 に示す. 表 4 から、“不正解”とされていた前置詞の編集の約 4 割は間違いとは言い切れないことがわかった。“不正解”とされていた前置詞の編集の約 40\%が参照文と同等以上の評価を得たことを考慮すると、現在の検証セットの信頼性に疑問が生まれる6).

## 5 おわりに

本研究では、高再現率な誤り訂正システムの実現を目的として、再現率向上に有効だと思われる 3 つの手法を実験した。その結果、前置詞の再現率についてベースラインから 17 ポイント強の性能向上を達成したが、オラクル値との比較から、リランキング等の手法に改善が必要であるとわかった. また、 モデルが訂正できなかった誤りの人手分析から、不正解だとされている訂正が必ずしも間違いではない可能性が示唆された．今後は、前置詞以外を対象としたシステムの構築のほか、クラウドソーシングを用いたより大規模な人手評価に取り組みたい.

6）モデルの出力文の評価値が、参照文の評価值と同じまたはそれ以上であった例を付録 Cに示した。

## 参考文献

[1]Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In ACL, pp. 793-805, 2017.

[2]Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[3]Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In BEA, pp. 52-75, 2019.

[4]Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data. In $B E A$, pp. 252-263, 2019.

[5]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In NIPS, pp. 59986008, 2017.

[6]Alla Rozovskaya, Mark Sammons, and Dan Roth. The UI System in the HOO 2012 Shared Task on Error Correction. In BEA, pp. 272-280, 2012.

[7]Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction. In EMNLPIJCNLP, pp. 1236-1242, 2019.

[8]Yujin Takahashi, Satoru Katsumata, and Mamoru Komachi. Grammatical Error Correction Using Pseudo Learner Corpus Considering Learner's Error Tendency. In $A C L$, pp. 27-32, 2020.

[9]Christopher Bryant and Ted Briscoe. Language Model Based Grammatical Error Correction without Annotated Training Data. In BEA, pp. 247-253, 2018.

[10]Alla Rozovskaya and Dan Roth. Generating Confusion Sets for Context-Sensitive Error Correction. In EMNLP, pp. 961970, 2010.

[11]Shamil Chollampatt, Weiqi Wang, and Hwee Tou Ng. Crosssentence grammatical error correction. In $A C L$, pp. 435-445, 2019.

[12]Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 32913301, 2019

[13]Tao Ge, Furu Wei, and Ming Zhou. Fluency boost learning and inference for neural grammatical error correction. In $A C L$, pp. 1055-1065, 2018.

[14]浅野広樹, 鈴木潤, 水本智也, 乾健太郎. 文法誤り訂正における反復訂正の効果検証. 言語処理学会第 25 回年次大会予稿集, pp. 578-581, 2019.

[15]Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[16]Noam Shazeer and Mitchell Stern. Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. In ICML, pp. 4596-4604, 2018.

## A 擬似データ

前置詞誤り生成の際に今回使用した混乱セットを表 5 に示す.

表 5 前置詞誤りの擬似データを生成する際に使用する前置詞混乱セット. 元コーパス中の for という単語を置換する場合、 to・of・in・on のいずれかに置換される.元コーパス中の前置詞前置詞混乱セット

表 5 を用いて実際に生成された擬似データの例を表 6 に示す.

## B リランキング

リランキングの例を表 7 に示す.

## C 人手評価の例

モデルの出力文の評価値が、参照文の評価値と同じまたはそれ以上であった例を表 8 に示す.

## D 謝辞

本研究を行うにあたり、多くの方々のご協力、ご指導を賜りました. 様々な有益なアドバイス、議論をしてくださった東北大学乾・鈴木研究室の皆様へ感謝いたします. 特に、英文の人手評価に協力してくださった Paul Reisert さん、Keshav Singh さんへ、記して深く感謝いたします.表 6 Gigawordコーパスから生成された前置詞誤りを含む擬似データの例

原文疑似誤りを含む文

It was a different position for us . It was a different of position of us . The euro stood at 1.1988 dollars . The euro stood 1.1988 dollars .

表 7 重み $\alpha=0.3$ 、候補文 3 文におけるリランキングの例この場合、リランキング前は 2 位だった文が with を about に編集しているためスコアが追加され、リランキングによって 1 位の文となる.

-0.1759156 People have also become concerned with nature .

-0.4630002 People have also become concerned about nature .

-0.6949797 People have also become concerned with nature,

リランキング後

-0.1630002 People have also become concerned about nature .

-0.1759156 People have also become concerned with nature .

-0.6949797 People have also become concerned with nature ,

表 8 人手評価でモデル出力文の評価値が参照文の評価値と同程度以上であった文の例

 \\
モデル出力文 &  \\
&


# Generating the middle sentence of two sentences using pre-trained models: a first step for text morphing

WANG Pengjie, WANG Liyan, Yves LEPAGE
EBMT/NLP Lab
Graduate School of Information, Production and Systems, Waseda University
\{wangpengjie_0000@asagi.;wangliyan0905@toki.;yves.lepage@\}waseda.jp
}

\begin{abstract}
Text morphing is a task of natural language processing. This task can be applied to many other tasks, such as generating data sets for writing aid systems or the study of sentence relationships. We propose an approach to generate the middle sentence of two input sentences. By iterating the steps, we show how to solve the text morphing task. We get a training dataset by using a naïve approach. We finetune a pre-trained GPT-2 model [7] to get a model that can generate middle sentences. Compared with the previous models, the results show that the generated sentences can be of high quality while maintaining the meaning relationship with the input sentences.
\end{abstract
## 1 Introduction

Text morphing is a task of text generation that targets generating intermediate sentences that are fluent and smooth between two input sentences [4].

We denote two given input sentences as $\mathrm{S}_{\text {start }}$ and $\mathrm{S}_{\text {end }}$. An example of text morphing is shown in Table 1.

$\mathrm{S}_{\text {start }}$ : i watched them

$\mathrm{S}_{1}$ : i'll see them with tom .

$\mathrm{S}_{2}$ : i 'll start with them

$\mathrm{S}_{3}$ : i 'll start with the questions .

$\mathrm{S}_{\text {end }}$ : let 's start with the easy questions

Table 1 An example of text morphing generated by our fine-tuned GPT-2 model. $\mathrm{S}_{\text {start }}$ and $\mathrm{S}_{\text {end }}$ are given sentences.

In this paper, we focus on generating a middle sentence between two input sentences.

## 2 Related work

For the text morphing generation task, the simplest solution is to decode the interpolation between two sentence vectors. For a normal autoencoder (AE), in most cases, the encoder generates unreasonable sentences when decoding interpolation.

Bowman et al. [2] proposed a Sentence Variational Autoencoder (SVAE) model to generate high-quality sentences using an embedding space. This approach successfully generates a series of coherent and reasonable sentences between two latent variables. However, due to a unique model in this approach, these generated sentences usually are far from the input sentences in meaning.

In addition to using a vector space, the text morphing task can be solved by editing techniques. Guu et al. [3] proposed a generative sentence model that edits a prototype sentence into a new sentence. Based on the idea of Guu et al. [3], Huang et al. [4] proposed a method to generate intermediate sentences by gradually editing the sentences from the start sentence to the end sentence. Unfortunately, their model is not open source, which prevents testing effectiveness.

GPT-2 is a pre-trained neural language model using the transformer model [8] and the autoregressive mechanism to predict the next token based on the previous contents. It provides an easy way to fine-tune the model to generate domain-specific text. We propose to fine-tune GPT-2 to get a model that generates middle sentences.

This paper will mainly compare our model with the AE and SVAE model in terms of middle sentence generation. In the following parts, we introduce the AE and SVAE models in detail.

## 2.1 Auto-encoder

An encoder converts sentences into vectors. It takes the middle interpolation between the two vectors as the middle vector, and then generates the middle sentence after decoding. We use a fastText pre-trained model [1] to compute word vectors. The sum of word vectors to represent the
sentence vector. Such interpolation between two sentence vectors may not have a good effect after decoding because the information carried by interpolation is often difficult to decode into a reasonable sentence.

## 2.2 Sentence Variational Autoencoder

Bowman et al. [2] proposed the Sentence Variational Autoencoder (SVAE) model to solve some AE model generation problems.

The Variational Autoencoder (VAE) [5] replace the deterministic function in the standard auto-encoder with a learned posterior recognition model, $q(\vec{z} \mid x) . \vec{z}$ is called the latent variable. Bowman et al. [2] used a particular model to force the decoder to decode a reasonable sentence while decoding $\vec{z}$.

However, when an embedding is converted to $\vec{z}$, the $\vec{z}$ loses some original embedding information. Therefore, in subsequent generated tasks, the correlation between the inputs and generated sentences will be reduced.

## 3 Assessment

In this section, we introduce the metrics used to evaluate the results.

## 3.1 BERTScore

We use BERTScore [9] to evaluate the semantic similarity between two sentences. When the BERTScore between two sentences approaches 1 , it indicates that the meaning of the two sentences tend to be the same. When the BERTScore is close to 0 , it indicates that the meaning of the two sentences tend to be unrelated.

## 3.2 Grammar checker

We use $\mathrm{GECToR}^{1)}$ [6], a state-of-the-art grammatical error correction (GEC) model (as of January 2021), to check our generated sentences for grammatical correctness.

In the case of ignoring uppercase, if a sentence passes through the GECToR model without modifications, we assume that the sentence is correct.

## 3.3 Perplexity

We use perplexity (PPL) to determine whether our generated sentences are plausible. The sentences in the Tatoeba corpus that we use are mostly short. Therefore we calculate
PPL in a 3-gram model.

## 3.4 Jaccard distance

Jaccard distance is a measure of the difference between two sets. We use it when evaluating the test results of text morphing.

We define:
- $d_{j}(S, E)=\frac{|S \cup E|-|S \cap E|}{|S \cup E|}$.
- In this formula, $S$ stands for the set of tokens in the start sentence, and E stands for the set of tokens in the end sentence.

## 4 Methodology

We aim to obtain a model that can generate a middle sentence between two given input sentences.

## 4.1 Approach

Our approach mainly consists of the following three steps:

1. We use a pre-trained auto-encoder to generate the middle sentence and get the start-middle-end triplet.

2. We filter the sentence triplets and select the triplets that meet our requirements.

3. We fine-tune a pre-trained GPT-2 model with highquality triplets to get a model that will generate a middle sentence between two given input sentences.

## 4.2 A method to select the triplet data

We use BERTScore to measure the semantic similarity between two sentences. The values of BERTScore in this paper are all the F1 values of BERTScore.

For ease of use, we use the following abbreviations in this paper:
- For a start-end sentence pair or a start-middle-end triplet, their BERTScore (start, end) is abbreviated as SE-BERTScore.
- For a start-middle-end triplet, the mean of the BERTScore (start, middle) and the BERTScore end, middle) is abbreviated as SME-BERTScore.
- For a start-middle-end triplet, the absolute value of the difference between the BERTScore (start, middle) and the BERTScore (end, middle) is denoted with DIF-BERTScore.

Our definition of middle sentences comes from the following unique concepts of analogy:

Start : Middle :: Middle : End.

Specifically, it should meet the following requirements:

1. For a start-middle-end triplet, the SME-BERTScore should be larger than the SE-BERTScore.

2. For a start-middle-end triplet, the DIF-BERTScore should be as small as possible.

## 5 Experiment

Our experiment has two steps: start-middle-end triplet data collection and GPT-2 fine-tuning.

## 5.1 Dataset collection

We use a FastText pre-trained model to calculate the word vectors, and we represent a sentence vector by the sum of the word vectors. We split 80k sentences in the Tatoeba database into train/valid/test according to 80/10/10. We use this data to train a decoder. The parameters are as follows.

Table 2 The base model decoder settings.

Based on the interval of SE-BERTScore, we equally selected $1,110 \mathrm{~K}$ sentence pairs from the Tatoeba corpus, as shown in Figure 1.

We split the $1,100 \mathrm{~K}$ sentence pairs in the way of $100 / 11$. The $1,000 \mathrm{~K}$ sentence pairs are used for generation tasks in the AE model, and $110 \mathrm{~K}$ sentence pairs are used to test the middle sentence generation. In the $110 \mathrm{~K}$ sentence pairs, we selected $10 \mathrm{~K}$ on average to test text morphing.

## 5.2 Data procession

We collect start-middle-end triplets that meet the following four requirements:
- The middle sentence has not been modified by the grammar error correction model GECToR.
- The value of SME-BERTScore is larger than SEBERTScore.
- The value of DIF-BERTScore is less than 0.05 .
- The PPL value of the middle sentence is less than 30 .

Figure 1 BERTScore range - Number histogram

We generated and equally selected 5,000 high-quality start-middle-end triplets according to the SE-BERTScore interval. We split the triples according 90/10 into train/valid data.

## 5.3 Fine-tuning GPT-2

The fine-tuning of GPT-2 is a simple procedure. We need to give the labeled start-middle-end triplet data to GPT-2 for fine-tuning.

The fine-tuning parameters are as follows. We use different learning rates for two experiments, Exp. 1 and Exp.2.

Table 3 The GPT-2 fine-tuning settings

## 6 Result and analysis

We use 110k sentences with the average distribution of SE-BERTScore to test each model. As a comparison, we use SVAE and the AE model as baselines. Because the SVAE structure is different from the AE model, we do not use parameters used in $\mathrm{AE}$ but use the default parameters provided by their implementation ${ }^{2)}$.

The achievement rate of strict standard (ARSS) is the proportion of the generated sentences that follows the following requirements:
- SME-BERTScore is larger than SE-BERTScore.
- DIF-BERTScore is less than 0.05 .

Furthermore, the achievement rate of general standard

2) https://github.com/timbmg/Sentence-VAE

Table 4 Some middle sentences generation examples are selected according to the SE-BS interval. SE-BS stands for SE-BERTScore.

Table 5 The SME stands for the SME-BERTScore. The DIF stands for the DIF-BERTScore. The ER stands for the error rate that sentences cannot pass a grammar checker. The ARSS stands for the achievement rate of strict standards. The ARGS stands for the achievement rate of the general standards For SME and ARSS and ARGS, the higher it is, the better. For DIF, PPL, and ER, the smaller it is, the better.

(ARGS) is The proportion of the generated sentences that follows the following requirements:
- SME-BERTScore is larger than SE-BERTScore.
- DIF-BERTScore is less than 0.20 .

Figure 2 BERTScore distribution. The x-coordinate is the SE-BERTScore interval, and the y-coordinate is the average SME-BERTScore generated by each model within each interval.

In Figure 2, the base is the mean value of the SEBERTScore in its interval. When the SME-BERTScore of a model is higher than the base value, it means that for this model, the generated sentence is semantically related to the start-end sentence pair and serves as a middle sentence between the start sentence and the end sentence.

According to the contents in Figure 2, Table 4, and Table5 , our model can generate high-quality middle sentences better than previous models (AE and VAE) under the strict and general standard conditions.

 &  &  \\

Table 6 Some text morphing examples are selected according to the SE-BS interval.

Text morphing is a continuous process, and Jaccard distance can measure the degree of difference in form between two sentences. When the average Jaccard distance (JD) is lower, text morphing is smoother.

Table 7 Avg. JD stands for the average Jaccard distance between the generate sentences and input sentences. The lower is meaning text morphing is more smooth.

The examples in Table 6 and the data in Table 7 show that our model can achieve smooth text morphing while maintaining high quality.

## 7 Conclusion

To summarize the contribution of this paper are as follows:
- We propose a new approach to solve the text morphing task.
- We fine-tune a pre-trained model that generates a middle sentence between inputs. This model can generate middle sentences from sentence pairs with different semantic similarity.
- The quality of middle sentences generated by our model is better than that of previous models, based on pretrained auto-encoders.

## References

[1]Bojanowski, Piotr, Grave, Edouard, Joulin, Armand, and Mikolov, Tomas. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 5:135-146, 2017. ISSN 2307-387X.

[2]Bowman, Samuel R., Vilnis, Luke, Vinyals, Oriol, Dai, Andrew, Jozefowicz, Rafal, and Bengio, Samy. Generating sentences from a continuous space. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pages 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics. doi: 10.18653/v1/K16-1002. URL https://www.aclweb.org/anthology/K16-1002.

[3]Guu, Kelvin, Hashimoto, Tatsunori B., Oren, Yonatan, and Liang, Percy. Generating sentences by editing prototypes. Transactions of the Association for Computational Linguistics, 6:437-450, 2018. doi: 10.1162/tacl_a_00030. URL https://www.aclweb. org/anthology/Q18-1031.

[4]Huang, Shaohan, Wu, Yuehua, Wei, Furu, and Zhou, M. Text morphing. ArXiv, abs/1810.00341, 2018.

[5]Kingma, Diederik P. and Welling, Max. Auto-encoding variational bayes. In Bengio, Yoshua and LeCun, Yann, editors, 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 1416, 2014, Conference Track Proceedings, 2014.

[6]Omelianchuk, Kostiantyn, Atrasevych, Vitaliy, Chernodub, Artem N., and Skurzhanskyi, Oleksandr. GECToR - Grammatical Error Correction: Tag, Not Rewrite. In Burstein, Jill, Kochmar, Ekaterina, Leacock, Claudia, Madnani, Nitin, Pilán, Ildikó, Yannakoudakis, Helen, and Zesch, Torsten, editors, Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, BEA@ACL 2020, Online, July 10, 2020, pages 163-170. Association for Computational Linguistics, 2020. URL https://www. aclweb. org/anthology/2020. bea-1.16.pdf.

[7]Radford, Alec, Wu, Jeff, Child, Rewon, Luan, David, Amodei, Dario, and Sutskever, Ilya. Language models are unsupervised multitask learners. 2019.

[8]Vaswani, Ashish, Shazeer, Noam, Parmar, Niki, Uszkoreit, Jakob, Jones, Llion, Gomez, Aidan N, Kaiser, Ł ukasz, and Polosukhin, Illia. Attention is all you need. In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R., editors, Advances in Neural Information Processing Systems, volume 30, pages 5998-6008. Curran Associates, Inc., 2017. URL https: //proceedings.neurips.cc/paper/2017/file/ 3f5ee243547dee91fbd053c1c4a845aa-Paper. pdf.

[9]Zhang, Tianyi, Kishore, Varsha, Wu, Felix, Weinberger, Kilian Q., and Artzi, Yoav. BERTScore: Evaluating text generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020. URL https://openreview. net/ forum?id=SkeHuCVFDr.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 対話システムの矛盾応答の生成に対する脆弱性の分析

佐藤 志貴 1 赤間怜奈 ${ }^{1,2}$ 大内啓樹 2 鈴木潤 1,2 乾健太郎 1,2

1 東北大学 2 理化学研究所

\{shiki.sato, reina.a,jun.suzuki, inui\}@ecei.tohoku.ac.jp hiroki.ouchi@riken.jp
## 1 はじめに

人間と自然言語を用いて会話をおこなう対話システムは，深層学習技術の発展を背景に研究が急速に発展することとなった. 特に近年のニューラルネットワークを用いたシステムは，文脈の話題に沿った多様な応答を生成できることが知られている $[1,2,3]$. しかし，これらのシステムであっても，文脈との意味的な適切さを考慮した応答の生成が可能であるとは言えない．たとえば，Roller らの構築した大規模システム Blender[1] は，人手評価により従来のシステムを上回る性能を有することが示されたものの，低頻度ながら，対話上にすでに出現している情報の問い直しとなる応答や，過去の発話と矛盾する応答を生成する場合があることが報告されている.こうした意味的に不適切な応答のなかでも，過去の発話と矛盾する応答（矛盾応答と呼ぶ）は，会話相手となるユーザに対話の破綻を感じさせることがわかっており [4], 先行研究でも分析や改良が取り組まれている重要な問題の一つである $[5,6,7,8]$.

このような矛盾応答が生成される背景として, 本研究では，システムが応答生成時に対話文脈との一貫性に関して感度の低い生成確率を算出する，すなわち，算出される生成確率が矛盾の有無に対し鈍感であることが原因の一つとなっている可能性を考える. 実際に，矛盾の観点から，Blenderが一つの対話文脈に対し探索幅 100 のビーム探索法で生成した応答を観察すると，図 1 のように，矛盾応答と矛盾を含まない応答（無矛盾応答と呼ぶ）が探索でのスコア上位 100 個の応答のなかに混在していることがわかる.これは，システムが矛盾応答に対して低い生成確率を付与できていないために，探索時に矛盾応答が候補に残ってしまうためと考えられる.

本論文では，近年のシステムが実際にユーザとの間で起こりうる会話のなかでも矛盾応答を生成することを示し (2 節)，そのうえで，これらシステムが

図 1 Blender[1] の探索幅 100 のビーム探索による応答生成結果. システムに無矛盾応答が"No."となる対話文脈を与え，探索での上位 100 個の応答を取り出したうえで，各応答を"Yes"から始まる応答と"No"から始まる応答に分類した結果，矛盾応答と無矛盾応答の混在が確認された.

対話文脈との一貫性に対して感度の低い生成確率付与をおこなうことが矛盾応答の生成の原因となりうる可能性があることを実証する（3 節）。

## 2 システムの矛盾に対する脆弱性

Roller らは，Blender が人間との会話では矛盾応答を高頻度で生成しない理由について，システムの学習データにあたる人間同士の会話中に矛盾が含まれにくいことから，典型的な対話の流れのなかで学習データをなぞった応答をするときには矛盾が表出しにくいためであると考察している [1]. こうした考察をふまえると，近年のシステムであっても，学習データ中に含まれる対話の流れから外れた文脈のもとでは，矛盾応答を生成するという脆弱性を抱えている可能性がある．本節の実験では，システムのこうした脆弱性について検証するために，矛盾応答が生成されうる状況下においてはシステムが矛盾応答を生成することを確認した。

## 2.1 実験方法

矛盾応答が生成されうる対話文脈を与えたときのシステム応答を人手評価することで，システムが矛
表 1 自然言語推論データを用いた対話文脈作成の例

 & $\longrightarrow$ &  &  \\

盾応答を生成する頻度を調べる. 矛盾応答が生成されうる対話文脈については，Saleh ら [7] の方法を拡張し，自然言語推論タスクのデータセットを擬似的な対話の形式に変換することで用意する．具体的には，自然言語推論タスクの前提文をシステム側の一つ目の発話（対話履歴），それに対する仮説文を対話履歴に対するユーザ側の応答（ユーザ発話）として，システムにユーザ発話への応答を生成させるような対話文脈を作成する。このとき，自然言語推論データの仮説文を一般疑問文に変換することで，仮説文が含意ラベルを持つ場合であれば否定を返すことで矛盾する疑問文，矛盾ラベルを持つ場合であれば肯定を返すことで矛盾する疑問文となる．表 1 に，自然言語推論データの例と，そこから仮説文を変換することで作成した対話文脈の例を示す.このように，自然言語推論のデータを変換することで，会話として不自然ではないかたちでシステムが矛盾応答を生成しうる対話文脈が作成できる。これを入力として生成される応答を評価することで，システムの矛盾に関する脆弱性を検証する。

## 2.2 実験設定

検証するシステムとその設定本実験では，近年構築された高性能な対話システムのうち，モデルパラメータが公開されている Zhang ら [2] の DialoGPT と Blenderの 2 種類について検証をおこなった. 各システムについてはパラメータ数が異なる複数のモデルパラメータが公開されているため，合計 5 つのシステムについて検証した1) . 応答生成時は，すべてのシステムについて，ビーム幅を 10 とするビー ム探索をおこなった。

検証時の対話文脈対話文脈の作成元とする自然言語推論タスクデータとして，幅広いドメインを取り扱う大規模かつ高品質なデータとして知られている Multi-Genre Natural Language Inference コーパス

1) DialoGPT はパラメータ数 $345 \mathrm{M}, 762 \mathrm{M}$ の 2 種類, Blender については 400M，1B，3B の 3 種類を検証した.表 2150 個の対話文脈に対し矛盾応答を生成した頻度. $\checkmark$ は適切な応答， $x$ は誤りを含む応答を表す.

[9]を用いた.このなかでも，オープンドメインでの会話データを扱っている"TELEPHONE"ドメインのデータを用いた．仮説文が含意ラベル，矛盾ラベルを持つ自然言語推論データからそれぞれ 75 個ずつ，合計 150 個の対話文脈を作成した。

## 2.3 実験結果

表 2 に，各システムが与えられた 150 個の対話文脈に対して適切な応答と，誤りを含む応答，そのうち矛盾が誤りの原因である応答を生成した頻度をそれぞれ示す．同表から，検証した全システムが高頻度で矛盾を含む応答を生成したことがわかる。このことから，人間との典型的な会話では矛盾応答を生成することが少ない近年の高性能なシステムであっても，対話文脈によっては矛盾応答を生成するという脆弱性を抱えていることが確認された。

## 3 応答生成確率の矛盾に対する感度

2 節の結果から，近年のシステムであっても文脈によって矛盾応答を生成することがわかった。本節の実験では，システムが文脈との一貫性に関し感度の低い生成確率を算出することが，矛盾応答を生成する原因となりうる可能性があることを確認した。

## 3.1 実験方法

図 1 では，システムが矛盾応答と無矛盾応答に対し同程度の生成確率を割り当てることで，応答探索のスコア上位にこれらの応答が混在してしまう例を示した. このような場合，ビーム探索法における探
索幅の変更など，探索の方法の変化だけで，システムの 1-best が矛盾応答と無矛盾応答のどちらとなるか（極性と呼ぶ）が反転する可能性がある。逆に言えば，探索方法の変化による極性の反転の発生は， システムが対話文脈との一貫性に関して感度の低い生成確率を算出することを意味する．そこで本実験では，ビーム探索法の探索幅の変化に伴うシステム応答の極性の反転を観察することにより，現状のシステムが文脈との一貫性に関する感度の低い生成確率を算出することを示す。

## 3.2 実験設定

検証するシステムとその設定本実験では，2 節の実験で用いた DialoGPT，Blender の合計 5 つのシステムについて，ビーム探索法の探索幅を， $\{1,5,10,15,20,25,30,35,40,45,50\}$ の 11 種類に変化させたときの応答の変化を分析した.

検証時の対話文脈分析の容易さの観点から，システムに与える対話文脈は，肯定と否定のどちらか一方が矛盾応答，他方が無矛盾応答となる 2 節と同様のものを用いた. これによって，応答が肯定と否定どちらに当たるかが分かればその極性が判定可能となる. 仮説文が含意ラベル，矛盾ラベルを持つ自然言語推論データからそれぞれ 2,000 個ずつ, 合計 4,000 個の対話文脈を作成した。

生成応答の肯定・否定の判定大量のシステム応答について肯定・否定を人手で判定するにはコストがかかるため, 自動での判定をおこなった. 判定の方法や精度については付録 A で詳述する。

極性反転の判定本実験では，システムは一つの対話文脈に対し, ビーム幅を変えながら複数の応答を生成する. 対話文脈 $c$ に対しビーム幅 $i, j$ 間で極性反転が起きたときに 1 となる $\operatorname{inv}(c, i, j)$ を以下のように定義する.

$
\operatorname{inv}(c, i, j)= \begin{cases}1, & \text { if } \operatorname{pn}(c, i) \cdot \operatorname{pn}(c, j)=1 \\ 0, & \text { otherwise }\end{cases}
$

ここで, $\mathrm{pn}(c, i)$ は対話文脈 $c$ に対するビーム幅 $i$ の 1-best 応答が肯定であれば 1 , 否定であれば -1 , 不明であれば 0 をとる. また，対話文脈集合 $\mathscr{~}$ 対し, ビーム幅 $i, j(i<j)$ 間で極性反転が生じる頻度は次式のようになる。

$
N_{\text {inv }}(i, j)=\sum_{c \in \mathscr{C}} \operatorname{inv}(c, i, j)
$

表 3 ビーム幅変化で極性反転が生じた対話文脈の数

図 2 各システムの極性反転のタイミングの分布

## 3.3 実験結果

極性反転の頻度ビーム幅の変化により極性反転が生じる頻度を確認する。本実験では，異なるビーム幅のもと各対話文脈 $c$ に対し 11 個の応答を各システムが生成する. 11 個のビーム幅のなかに $\operatorname{inv}(c, i, j)=1$ を満たす $i, j$ が存在する対話文脈を数え，極性反転が生じた対話文脈の数を求めた．結果を表 3 に示す. 同表より，各システムとも 1 割を超える対話文脈で極性の反転が起きたことがわかる.極性反転により対話文脈との一貫性に関わるかたちで応答内容が正反対となることや，肯定・否定の自動判定ができない応答は $\mathrm{pn}(c, i)=0$ となることを考慮すると，この割合は高いと考えられる。このことから，検証したシステムは，生成確率の算出における対話文脈との一貫性に関する感度が低いために，極性の反転を頻繁に発生させることがわかった。

極性反転が生じるタイミング表 3 で示した極性の反転がどのビーム幅の変化のタイミングで生じたのかを確認するために， $N_{\text {inv }}(i, j)$ をグラフ化したものを図 2 に示す. 同図より, 各システムともビーム幅が小さいときに極性反転が頻繁に生じている一方で，ビーム幅が 10 以上の値からさらに大きくなる際にも極性の反転が起きていることがわかる.もとのビーム幅が十分大きい場合，更にビーム幅を大きくしたときに探索にもたらす影響は小さいことが考えられる，そのため，こうした例では，矛盾応答と無矛盾応答の生成確率が特に近い，すなわち対話文

図 3 ビーム幅と対話文脈に対し正しい極性の応答を生成できた割合の関係

脈との一貫性に関する感度が特に低く，わずかな探索の変化で極性が反転すると考えられる。

ビーム幅と極性の関係極性反転が生じることで，実際に出力されるシステム応答がどのような影響を受けるかを分析する。図 3-a および図 3-bに， それぞれ含意，矛盾ラベルを有する自然言語推論データから作成した対話文脈 2,000 個ずつに対し,無矛盾応答を生成した割合 ${ }^{2}$ とビーム幅の関係を示す. また，図 3-c に実験で用いた全ての対話文脈 4,000 個に対し，無矛盾応答を生成した割合を示す.図 3-a および図 3-bでは，各システムともビーム幅の変化に伴い無矛盾応答を生成する割合が変化している.このことから，システムが矛盾応答を生成する対話文脈の傾向がビーム幅の影響を受けていることがわかる. この結果は, 特定のビーム幅のもとで生成された応答を分析するだけでは, システムの矛盾応答の生成傾向を正確に分析できない可能性があることを示唆すると考えられる。また, 図 3-a と図 3-b の関係に注目したとき, 図 3-a で無矛盾応答, すなわち肯定にあたる応答を生成する割合が高い場合において図 3-bでも矛盾応答，すなわち肯定にあたる応答を生成する割合が高くなっており，その逆も成立している.このことから，システムが肯定，否定を生成する割合自体もビーム幅により変化していることがわかる．これによって，ビーム幅の変化に伴って肯定，否定が生成される割合が図 3-a と図 3-b の場合で同様に変化し，一方で無矛盾応答の割合が，他方で矛盾応答の割合が高くなる. その結果，肯定，否定を応答として返すべき対話文脈が同数ずつ含まれる図 3-c では，無矛盾応答を生成する割合がビーム幅の変化に対し頑健であるように見えてしまう.この結果は，実験に用いる対話文脈集合

2）図 3-a においては肯定応答を生成した割合を, 図 3-bにおいては否定応答を生成した割合を示す.ラベルが付与できない応答は割合計算時の分母にカウントしない.
によってはシステム応答の矛盾に関する傾向を正確に分析できない可能性があることを示唆していると考えられる。

## 4 まとめ

本論文では，対話システムにおける重要な課題の一つである矛盾応答に着目し分析をおこなった。我々の分析で得られた知見を改めて以下に示す.

・人間との対話による評価で矛盾応答が確認されない対話システムであっても対話文脈によっては矛盾応答を生成する脆弱性を抱えている.

・現状のシステムは同じ文脈に対しても探索のゆれで応答の極性が変化するなど，対話文脈との一貫性に対し感度の低い生成確率を算出しており，矛盾応答の原因となりうる可能性がある.

また 3 節の実験では，システムの矛盾応答について分析するうえで注意すべき以下の示唆が得られた。

・システムが矛盾応答を生成する対話文脈の傾向が応答の探索方法によって変化しうるため，特定の探索方法のもと生成された応答を分析するだけではシステムの矛盾応答の生成に関する振る舞いを正確に分析できない可能性がある.

・肯定，否定の割合などシステム応答自体の傾向も探索方法の影響を受けるため，入力に用いる対話文脈の傾向によっては正確なシステム分析ができない可能性がある.

本研究では対話文脈の発話数やユーザ発話の発話行為を限定したうえでの分析をおこなったが，将来的にはより多様な対話文脈のもとで生成される応答や，ユーザとの会話のなかで生成される応答に含まれる矛盾についても分析することを検討している。

謝辞本研究は, JSPS 科研費 JP19H04425, JP19J21913 の助成を受けたものである.

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. arXiv:2004.13637, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pretraining for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, $\mathrm{pp}$. 270-278, Online, July 2020. Association for Computational Linguistics.

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. arXiv:2001.09977, 2020

[4] 東中竜一郎, 船越孝太郎. Project next nlp 対話タスク：雑談対話データの収集と対話破綻アノテーションおよびその類型化. 言語・音声理解と対話処理研究会,第 72 巻, pp. 45-50, 2014.

[5] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Coтputational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Margaret Li, Stephen Roller, Ilia Kulikov, Sean Welleck, Y-Lan Boureau, Kyunghyun Cho, and Jason Weston. Don't say that! making inconsistent dialogue unlikely with unlikelihood training. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 47154728, Online, July 2020. Association for Computational Linguistics.

[7] Abdelrhman Saleh, Tovly Deutsch, Stephen Casper, Yonatan Belinkov, and Stuart Shieber. Probing neural dialog models for conversational understanding. In Proceedings of the 2nd Workshop on Natural Language Processing for Conversational AI, pp. 132-143, Online, July 2020. Association for Computational Linguistics.

[8] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

## A 応答極性の自動判定方法

3 節の実験において，大量のシステム応答に対し肯定・否定かどうかを人手で判定するにはコストがかかるため, 自動での判定をおこなった. 図 1 の例ではモデルの応答が"Yes", "No"で始まる応答はそれぞれ肯定，否定として判定したが，これらの単語から始まらない応答を多く生成するシステムも存在したため，本実験では肯定文，否定文の冒頭に出現する文頭フレーズを収集したうえで，これらのフレーズから始まる応答をそれぞれ肯定, 否定として判定した. 文頭フレーズは, 本実験において生成される応答から収集した.具体的には，生成される全 220,000 個の応答の文頭からフレーズ3)を取り出していき，100 回以上登場するフレーズについては，「肯定」，「否定」，「どちらともとれない」のいずれかに分類した. "Yes"または"No"で発話が始まるかで応答を分類したとき，ラベルを付与できたのは生成される全応答のうち $28.3 \%$ にとどまった一方，前述の方法により $39.1 \%$ の応答にラベルを付与することができた. また，2 節の実験で人手評価をした応答に対して同様に自動ラベリングをおこなったところ，自動ラベリングに成功した応答のうち $92.7 \%$ は人手ラベルと判断が一致し，"Yes"，"No"で発話が始まるかどうかでラベル付与したときの $92.4 \%$ と同程度の精度となった.

3）各発話について，「,」または「.」を区切り文字として分割したときの一つ目の単語列を文頭フレーズとした.


# 対話システムの先読み能力を分析可能なタスクの検討

岸波洋介 ${ }^{1}$ 赤間怜奈 ${ }^{1,2}$ 佐藤志貴 1 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yosuke.kishinami.q8@dc.tohoku.ac.jp,
\{reina.a, shiki.sato, jun.suzuki, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

深層ニューラルネットワークを用いた自然言語文生成技術の進歩と膨大な対話データの存在に支えられ，ニューラル対話応答生成技術は着実に発展を遂げてきた。近年のニューラル対話応答生成では，対話が持つ時系列データとしての特質を利用し，応答の直前の発話に加えて過去の文脈も考慮することで，生成応答の関連性や一貫性を向上させるアプローチが主流となっている $[1,2,3,4]$.

ここで，人間同士の対話を考えてみると，人間のある時点での発話は，当然ながら過去の文脈に大きく依存するが，それだけではなく，この先で起こりうる或いは自らが望む未来の展開に動機付けられる場合もしばしばある.未来の展開を考慮することが重要な対話の例として，交涉や説得などが挙げられる。他にも，たとえば雑談における意図的な話題の転換などもこれに含まれると考えられる．未来の展開を先読みし現在の発話に活かすことは，能動的に対話を進行させるための重要な要素のひとつであり，これは円滑なコミュニケーションの実現に繋がる. ニューラル対話応答生成の研究領域でも, 未来の展開を考慮した応答生成に関する議論が始まりつつあり $[5,6]$ ，この観点は対話応答生成技術のさらなる発展に繋がると考えられる。

本研究では，対話応答生成システムが備える未来の展開を先読みする能力および能動的に対話を進行する能力を測定するためのタスクを提案する．提案タスクは，パーティーゲームのひとつ「NGワードゲーム」に類似し，未来の展開の正確な予測とそれに基づく効果的な対話のプランニングがタスク達成の鍵となる。本タスクへの取り組みにより，システムの先読み能力および対話進行能力が醭成されることを狙う．実験では，人間同士でタスクを実施した場合の結果の分析を通して，提案タスクが人間には達成できる難易度であること，および，システム側

図 1 提案する「先読み雑談タスク」の概要.

の先読み能力が分析可能であることを確かめる.

## 2 関連研究

説得・交渉対話システム対話における先読みが有効な場面として，交涉や説得が挙げられる。 Lewis らは交渉対話タスクを設計し，人間同士の対話データを収集することにより，交涉対話システムを End-to-End で学習可能であることを示した [7]. また，Yoshino らは感情表現を含む説得対話コーパスを作成し，感情を表現しながら説得をおこなうシステムを構築した [8]. 説得や交涉を実現する対話システムの研究は多数存在するが，先読み能力を利用することについての議論はなされていない。

未来の展開を考慮した対話システム Jiang らはタスク指向対話システムにおいて，未来に続く発話を予測する Looking-Ahead モジュールを構築し，それを用いて直後の応答を生成することで効率的な夕スクの遂行を実現した [5]. また，Kulicov らは，生成モデルで広く用いられる Beam Searchを発話レべルで考えることで，対話として適切な発話系列を選ぶ Multi-Turn Beam Search という手法を提案した [6].

## 3 提案: 先読み雑談タスク

対話システムの先読み能力を分析可能にすることを目的として，我々は「先読み雑談タスク」を提案

する（図 1)。提案タスクは，システムと人間の 1 対 1 の対話を通じて，システムの先読み能力と能動的な対話進行能力を測定する枠組みとなっている. タスクに参加するシステムと人間は，それぞれ異なるゴール感のもとで，決められたターン数 $N$ の対話をおこなう.ここで， $i$ ターン目のシステムの発話を $U_{i}^{\text {sys }}$, 人間の発話を $U_{i}^{\text {hum }}$ とすると, 1 タスク内でおこなわれる対話は $U_{1}^{\text {sys }}, U_{1}^{\text {hum }}, \ldots, U_{N}^{\text {sys }}, U_{N}^{\text {hum }}$ の発話系列で構成される。

・システム側のゴール: システムには，予め 1 ターン目の発話 $U_{1}^{\mathrm{sys}}$ とターゲット単語 $w$ のぺア $\left(U_{1}^{\mathrm{sys}}, w\right)$ が与えられる. システムは $U_{1}^{\mathrm{sys}}$ から対話を開始し， $N$ ターン以内に人間からター ゲット単語 $w$ を含む発話を引き出すことを目指

ステム側のタスク達成とする。
- 人間側のゴール: 人間には，システムと $N$ ター ンの対話を楽しむようにとだけ伝える。このとき，人間はシステム側のゴールを知らない.

システムがタスクを達成するためには, 自然な対話のなかで人間にターゲット単語を含む発話をさせるよう望ましい対話の展開を計画し，その展開になるよう対話を進めることが重要である。そのため，本タスクを通じてシステムの挙動を分析することにより，システムの先読み能力を調査することができる.また，本タスクの特長として，タスクの達成判定が「ターゲット単語を含む発話をしたかどうか」 という明確な基準に基づくため, 戦略の考察, 達成判定が容易という利点がある. この特長により，たとえば，もっとも単純には同条件下での「タスク達成率」という定量的な尺度のもとで, 複数システムの比較評価をおこなうことも可能となる.

## 4 実験

提案タスクがシステム側の先読み能力の分析に有効な設計となっていることを，人間同士による実際のタスク実施結果を分析することにより確かめる.

## 4.1 準備: データ作成

本研究では, 日常的な雑談対話における先読み能力の分析を想定する. タスクが適切な難易度となるよう，予めシステムに与える 1 ターン目の発話 $U_{1}^{\text {sys }}$ とターゲット単語 $w$ のペアを作成する. なお, 我々が目指す適切な難易度とは, 人間は達成可能だが,現在のシステムは苦戦する程度を想定している。

1 ターン目の発話日常的な雑談対話における自然な話題として, 本研究では日本語 Wikipedia のカテゴリを参考に「食べ物」「スポーツ」の2つを選定した.これらの話題について，それぞれ 1 種類ずつ 1 ターン目の発話を用意した. 既存の英語雑談対話コーパス DailyDialog [9] の1 ターン目の発話を参考に，話題が食べ物の場合は「お腹が空きましたね。」 を，話題がスポーツの場合は「週末は何をして過ごしますか？」を，本実験における1ターン目の発話として用いた.

ターゲット単語本実験では，(1) 品詞:\{名詞, 形容詞 $\} \times(2)$ 出現頻度:\{大, 小 $\}$ の 2 軸 4 パターンでター ゲット単語を用意し，タスクの難易度に与える影響を調査する。ターゲット単語は，日本語ツイート約 2.8 億発話からなる対話データ上で出現頻度が 10,000 以上を満たす単語のなかから選定した. 名詞については，少なくとも適切な対話戦略のもでは夕スクが達成可能であることを担保するために，日本語 WordNet [10] を利用して食べ物とスポーツにそれぞれ関連する単語を選択した. ${ }^{1)}$ 形容詞については,単語感情極性対応表 [11]を利用し，ポジティブまたはネガティブの極性を持つ単語をそれぞれ選択した. ${ }^{2}$ それぞれの品詞について，上記に該当する単語のうち出現頻度が最大あるいは最小の 2 つの単語を, 最終的なターゲット単語として獲得した。

ターン数ターン数 $N=5$ とした. ターン数はタスクの難易度に影響することが予想されるため，実験結果の分析により適切なターン数を考察する。

以上の手順により，本実験では表 1 に示す合計 12 設定を「先読み雑談タスク」として用意した.

## 4.2 実験: 人間-人間の先読み雑談タスク

実施方法学生 2 名がペアとなり，システム側と人間側を交互に担当した.1 ペアあたり設定の異なる 12 タスクを実施し，最終的に 10 ペアから合計 120 対話を収集した. また，各対話が終了するごとに参加者はアンケートに回答した．システム側は 「タスクを楽しむことができたか」「タスクは簡単だったか」，人間側は「対話を楽しむことができたか」「システム側の発言は自然だったか」について， それぞれ 5 を最高点とした 5 段階で回答した. シス

(a) 達成ターン数（全体）

(a-1) 達成ターン数 (名詞)

(a-2) 達成ターン数 (形容詞)

(b) 対話の自然さ

図 2 タスクの難易度に関する調査結果. (a) はシステムがタスクの達成に要した対話ターン数の分布. (a-1,2) はターゲット単語の品詞別の同分布. (b) は「システム側の発言は自然だったか」に対する人間側の回答.

テム側には，成功・失敗した理由等を記入する自由記述闌も用意した.

結果各設定における達成率を，表 1 に示す。なお，本実験では，達成判定に際して，ターゲット単語の本質的でない表記の摇れ（漢字か平仮名か, 形容詞の語尾の活用など）は許容した。

分析 1: ターゲット単語の品詞と難易度表 1 から，ターゲット単語が名詞の設定では，達成率が 80\%（32/40）であった. つまり，人間にとっては達成可能な設定であるといえる. 一方，ターゲット単語が形容詞の設定では，達成率が $32.5 \% （ 26 / 80 ）$ であった. 特定の形容詞を含む発話を引き出すことは人間にも難易度が高いタスクであった. タスクを達成できなかった参加者からは，「あと数ターンあれば達成できた」という意見もあった。

分析 2: ターゲット単語の出現頻度と難易度表 1 から，ターゲット単語が名詞の場合，出現頻度による達成率の変化はほとんど見られなかった（出現頻度大:15/20, 出現頻度小:17/20）ことから, 出現頻度が難易度に与える影響は少ないと考えられる。ただし，本実験では対話データ上の出現頻度 10,000 以上の単語からターゲット単語を選定したため，閾値をさらに下げることによって難易度が上がる可能性は残る。一方, ターゲット単語が形容詞の場合, 出現頻度小で達成率が 20\%（8/40）であった. 形容詞かつ出現頻度の小さい単語を含む発話を引き出すことは人間にとっても特に難しい設定であるといえる. この設定でタスクをおこなう場合は，難易度調整のためのさらなる工夫が必要となる.

分析 3: ターン数システム側がタスクの達成に要した対話ターン数の分布を図 2 (a) に示す. 全体としては，タスクを達成した対話のうち $80 \%$ 以上が 2〜4 ターンで達成していることがわかる. ター ゲット単語の品詞別に見ても，概ね傾向に大きな差はない（図 $2(\mathrm{a}-1),(\mathrm{a}-2)$ ). 本実験における $N=5$ という設定は, 妥当な難易度であったことが示唆さ表 1 人間-人間による「先読み雑談タスク」の実施結果. +/-は単語の極性（ポジティブルネガティブ）を表す.

} & \multirow{2}{*}{ 名詞 } & 頻度大「パン」 & $8 / 10$ \\

れる。

分析 4: 自然に対話しながら達成できる設計 「システム側の発言は自然だったか」に関する人間側の評価結果を図 2 (b) に示す. 全体の $80 \%$ 以上が自然な対話と評価された（評価点 4 または 5 を獲得）. タスク内でおこなわれた対話を定性的に観察したところ， $U_{1}^{\mathrm{sys}}$ の直後に人間が偶然ターゲット単語を発話してしまった例が一つ存在したが，「〜と言いなさい」など強制的にターゲット単語を発話させることで不正にタスクを達成する例はなく，自然な対話の枠組み内での試行錯誤がおこなわれていた。

分析 5: タスク達成のための戦略収集した対話を分析した結果，タスクを達成するための特徴的な戦略が存在した.これは，システムの先読み能力の実現に向けた重要な知見となる。ひとつは，表 2 のように，システム側が自らターゲット単語を発話することでターゲット単語が話題となるような対話に誘導し，人間側から相槌的にターゲット単語を引き出すという戦略である。この例では $U_{4}^{\mathrm{sys}}$ で「牛肉」 を含む発話をおこなうことで，ターゲット単語である「牛肉」を引き出している．Den らが分類した相槌の形態 [12] のひとつに「繰り返し」というものが
存在するが，これを引き出すような戦略に近いと考えられる。

もうひとつは，表 3 のように，システム側がター ゲット単語に関連するような発話をすることで人間側からターゲット単語を引き出すという戦略である.この例では $U_{2}^{\text {sys }}$ で「太る」という単語を発話することで，ターゲット単語である「運動」を引き出している.

いずれの戦略でも，過去の文脈だけでなく，未来に人間側がどのような発話をするかまで考慮することが必須で，さらにシステム側にとって望ましい展開に対話を進める技術も必要となる。 以上より，本タスクは，システム側が望ましい対話の展開を計画し，その展開になるように対話を進めることに成功すれば達成可能な設計になっていることが示唆される。

分析 6: タスク失敗例失敗した対話例を表 4 に

「パン」ではなく，「食べる量」に着目されてしまい，ターゲット単語を引き出すことに失敗した.これは，人間側が，システム側が望まない箇所に着目し，対話がシステム側にとって望ましい展開から逸れてしまったため達成できなかったと考えられる。 この例のように一度システム側が望ましい対話の展開から逸れてしまうと，ターン数の制約もあり，タスクの達成が難しくなる。

これらの分析結果は対話システムの先読み能力を実現する，つまり対話システムで提案タスクを達成するために重要な知見であると考えられるが，実際にどのようにシステムに取り入れるかについては今後の課題としたい.

## 5 おわりに

本研究では，対話システムの先読み能力および能動的に対話を進行する能力を測定するための「先読み雑談タスク」を提案した．実際に人間同士でタスクを実施した結果，提案タスクが人間にとって妥当な難易度であることを確認し，システム側の先読み能力の分析に有効であることが示唆された.

今後の取り組みとして, 未来の展開を考慮できるような対話システムについて考え，実際に提案タスクをシステムと人間とで実施することを通して，先読み能力の実現を目指すことを考えている。表 2 達成した対話例 1 （ターゲット単語「牛肉」）

表 3 達成した対話例 2（ターゲット単語「運動」）

$U_{1}^{\mathrm{sys}}:$ 週末は何をして過ごしますか？

$U_{1}^{\text {hum }}:$ 家で過ごしたり，外で買い物をしたりします。

$U_{2}^{\text {sys }}$ : あまり家で過ごしていると太ってしまいますね。

$U_{2}^{\text {hum }}:$ そうですね。運動しないといけないです・・

$U_{3}^{\mathrm{sys}}:$ 運動するとしたらどんなことをしますか？

$U_{3}^{\text {hum }}:$ ランニングとかですかね。

$U_{4}^{\mathrm{sys}}$ : 良いですね。どのくらいの距離を走るのですか?

$U_{4}^{\text {hum }}$ : あまり長いと飽きちゃうので、 4 キロくらい走ります。

$U_{5}^{\text {sys }}$ : なるほど、継続できる様に頑張ってください。

$U_{5}^{\text {hum }}$ :ありがとうございます!

表 4 失敗した対話例（ターゲット単語「パン」）

$U_{1}^{\text {sys }}:$ お腹が空きましたね。

$U_{1}^{\mathrm{hum}}:$ 実は先ほど夕飯を食べました。

$U_{2}^{\mathrm{sys}}$ : 私も先ほどパンを食べたのですが、今かなりお腹が空いています。

$U_{3}^{\text {sys }}:$ はい、かなり多くて、先ほどは食パンを 3 切れも食べてしまいました。

$U_{3}^{\text {hum }}$ :それは多いですね。この後は何を食べるか決まっていますか？

$U_{4}^{\mathrm{sys}}$ : 近くにおいしいパン屋さんがあるので、そこでパンを買ってこようかと思っています。この後、一緒にパンを食べませんか。

$U_{5}^{\text {sys }}$ : 何か食べたいパンはありますか？

$U_{5}^{\text {hum }}:$ 僕はクロワッサンが食べたいです。

## 謝辞

本研究はの一部は，JSPS 科研費 JP19H04162 の助成を受けたものです.また，本研究で提案したタスクの実施にご協力いただいた東北大学乾研究室・松林研究室の皆様に感謝いたします。

## 参考文献

[1] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 196-205, 2015.

[2] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-To-end dialogue systems using generative hierarchical neural network models. In Proceedings of the 30st AAAI Conference on Artificial Intelligence (AAAI), pp. 3776-3784, 2016.

[3] Daniel Adiwardana, Minh Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. In arXiv preprint arXiv:2001.09977, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In aiXiv preprint arXiv:2004.13637, 2020.

[5] Zhuoxuan Jiang, Xian Ling Mao, Ziming Huang, Jie Ma, and Shaochun Li. Towards end-to-end learning for efficient dialogue agent by modeling looking-ahead ability. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL), pp. 133-142, 2019.

[6] Ilia Kulikov, Jason Lee, and Kyunghyun Cho. Multiturn beam search for neural dialogue modeling. In arXiv preprint arXiv:1906.00141, 2019.

[7] Mike Lewis, Denis Yarats, Yann N. Dauphin, Devi Parikh, and Dhruv Batra. Deal or no deal? End-to-end learning for negotiation dialogues. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2443-2453, 2017.

[8] Koichiro Yoshino, Yoko Ishikawa, Masahiro Mizukami, Yu Suzuki, Sakti Sakriani, and Satoshi Nakamura. Dialogue scenario collection of persuasive dialogue with emotional expressions via crowdsourcing. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), 2018.

[9] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (IJCNLP), pp. 986-995, 2017.

[10] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (in conjunction with ACL-IJCNLP), pp. 1-8, 2009.

[11] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌, Vol. 47, No. 02, pp. 627-637, 2006.

[12] Yasuharu Den, Nao Yoshida, Katsuya Takanashi, and
Hanae Koiso. Annotation of japanese response tokens and preliminary analysis on their distribution in three-party conversations. In Proceedings of the 2011 International Conference on Speech Database and Assessments (Oriental COCOSDA), pp. 168-173, 2011.

## A アンケート集計結果の詳細

「タスクを楽しむことができたか」「タスクは簡単だったか」「対話を楽しむことができたか」のそれぞれに関するの評価結果を図 3 , 図 4 , 図 5 に示す.

図3「タスクを楽しむことができたか」に対するシステム側の回答

図4「タスクは簡単だったか」に対するシステム側の回答

図 5 「対話を楽しむことができたか」に対する人間側の回答

## B タスク所要時間と満足度

1 回のタスクの所要時間と「対話を楽しむことができたか」の評価結果との関係を図 6 に示す. 図 6 から，対話にかかる時間が短いほど満足度が高いことがわかる.

図 6 タスク所要時間と人間側の満足度の関係

## C その他の対話例

ターゲット単語が形容詞である場合の対話例を表 5 に示す.この例では, 視力に関する話題で対話を進行することで，目が「悪い」を引き出している.

表 5 達成した対話例 3（ターゲット単語「悪い」）

$U_{1}^{\text {hum }}$ : 特に何かしている記憶が無いほど、ゆっくり過ごし

ています。強いて言えば勉強とスマホのゲームですかね。

$U_{2}^{\text {sys }}$ : 僕と似ていますね。ですが、僕は主にこの二つで目が悪くなったような気がしているので、最近は気をつけています。

$U_{2}^{\text {hum }}$ :そうなんですね。私も気をつけなければいけませんね。

$U_{3}^{\mathrm{sys}}$ : まだ視力がある感じの返答ですね。もしそうなら羡ましい限りです。

$U_{3}^{\text {hum }}$ : 片目は自動車の免許がとれるくらいの視力が残っています。もう片方は一般的な一番上の C が見えるかギリギリなので、これ以上悪化させたくないです。

$U_{4}^{\text {sys }}$ : 大事にした方が良いですよ。目が悪くて良かったと思えることに僕はほとんど心当たりがありません。 ちなみに親御さんは眼鏡かけてますか？

$U_{4}^{\text {hum }}$ 父はとても目が悪いのでいつも眼鏡をかけています。母の視力自称 2.0 は娘から自慢したいです。

$U_{5}^{\text {sys }}$ : 視力は遺伝すると思っていたのですが、それにしてもお母さんすごいですね。胸を張って自慢できることだと思います。

$U_{5}^{\text {hum }}$ : 父と母から片方ずつ遺伝したと思うことにしているので幸せです。


# 小規模データにおける文脈情報復元に基づいた マルチターン対話システム

頼 展蓞
株式会社バンダイナムコ研究所
z-lai@bandainamco-mirai.com

## 1 はじめに

シングルターン対話システムが、直前のユーザの発話文だけから適切な応答を生成するシステムであるのに対し、マルチターン対話システムとは、それに加え対話履歴の文脈情報も考慮に入れ適切な応答を生成するシステムである．近年では、シングルターン対話システムにおいて、発話文を基に End-to-End に応答文を生成する Seq2Seq[1] モデルなどが提案されている [2][3]. 大量の人間による発話・応答ペアの学習デー タを用いれば、発話文に対して比較的に高品質な応答文を出力することができる。しかし、シングルターン対話システムがめざましい進歩を遂げている一方、マルチターン対話においてはまだ人間が満足のいくものは少ない.その大きな課題には、日常会話、特に日本語や中国語のようなプロドロップ言語で頻繁に発生する共参照や情報の省略である. Su ら [4] の研究では、 2000 人による中国語のマルチターン対話に対し調査を行ったところ、70\%以上の対話には、共参照や情報の省略が存在していた. 表 1 は、マルチターン対話における 2 つの典型的な例を示している. Context 1 の発話 3 の「あれ」は「昨日の番組」の共参照関係にあり、Context 2 の発話 3 の「なぜ」には「映画が好き」 という情報が省略されている。このように、文脈に隠された共参照や省略された情報を与えない限り、正確な応答文を提示することが難しい。

この問題を解決するため、Su ら [4] は発話文を書き換えることでマルチターン対話をシングルターン対話に単純化することを提案している。発話文の書き換えによって、共参照とされた内容と省略された内容をすべて復元するための情報補完を行う. 表 1 の実施例では、発話 3 ’ は発話 3 を書き換え後の発話文である.対話システムは、文脈である発話 1 と発話 2 を考慮せずに、発話 3' の情報のみで応答文を出力する．このような単純化を行うことにより、対話に必要な情報を

\author{
高橋誠史 \\ 株式会社バンダイナムコ研究所 \\ m3-takahashi@bandainamco-mirai.com
}

表 1 マルチターン対話の一例. 発話 3 ’ は発話 3 を書き換え後の発話. 太字は共参照や省略された部分を表す. Context 1: 共参照

維持しつつ、入力情報を圧縮することでマルチターン対話システムの実現の難しさを緩和できる。また、複数行の文脈情報は単一の発話に反映されるため、他の手法よりメモリ効率が高い.

発話文書き換えの手法について、これまでの研究では、Pointer Network[5] や Copy Mechanism[6] を用いて、復元された発話文をゼロから生成するものがほとんどである. これら生成型手法には二つの課題が存在している [7]. 一つ目は、データ準備にかかるコストの高さである. 出力文は訓練データに対する依存度が高いため、高品質な発話文を生成するために数十万件以上の大規模データセットが必要である。さらに、書き換え前後の発話文のようなぺアデータに人間によるアノテーションが必要となる。二つ目は、推論速度の遅さである. 生成型手法はアルゴリズムの性質上、単語の出力は一つ前の出力結果に依存するため、推論速度が遅い。

本研究では、生成型手法の課題を解決するため、発話文復元のタスクを、文脈情報に基づいた発話文に対する編集操作に単純化することを提案する。復元された後の発話文は、文脈や復元前の発話文の単語のみから再構成することで解決する可能性が高く、復元後の発話文と復元前は文法的に近い構造を持っている。例

えば、表 1 の Context 1 では、発話 3 の「あれ」を発話 1 から抽出した参照情報「昨日の番組」に置換することで発話文 3 ' が得られる. 同様に、Context 2 では、発話 3 の「なぜ」の後に発話 1 から抽出した省略情報「映画」「が好き」を挿大することで発話文 3 ’ が得られる.

また、本研究では、データに対する学習効率を向上するため、共参照解析と省略補完を独立した 2 つのサブタスクに分離した複数タスク学習手法を提案する。結果として、自動評価スコアと推論速度において既存手法を上回った. 特に数千件以下の小規模データに対して、データ数減少による性能の低下を抑えることができた.

## 2 関連研究

不完全な発話文に対する書き換えはさまざま自然言語処理タスクで広く採用されている。機械翻訳では、 Seq2Seq モデルから出力された文章の品質向上に利用されている [8]. テキスト要約では、See ら [9] が抽出された要約文を書き換えることでより正確な要約文を生成する手法を提案している．対話生成では、Pan ら [10] は、まず文脈から BERT[11]を介して単語を選択し、これらの単語を組み合わせて書き換えられた発話を生成するカスケードモデルを提示している．Liu ら [12] はセマンティックセグメンテーションの手法を用いて単語レベルでの編集行列を予測する手法を提案している.

しかし、以上の手法はいずれも共参照解析と省略補完などのタスクを同時にモデルを学習させた、いわゆる複数タスク学習のアプローチである．Lee ら [13] はこの複数タスク学習の小規模データの場合においての性能低下への懸念を指摘している。これに対し、 Houlsby ら [14] は Adapter を用いて、タスクごとに Fine-tuning を行う際に、ごく一部のパラメータのみ学習する手法を提案している. Pfeiffer ら [15] は Adapter 構造を改善した上、さらに各タスクで学習した情報を共有する AdapterFusion 構造を提案し、Houlsby らに対する優位性を示している。

また当然ながら、本研究は共参照解析と関連がある. Joshi ら [16] は SpanBERT を用いて共参照解析におけるスパン表現を強化している。 Wu ら [17] は共参照解析をクエリベースのスパン予測として定式化をし、SpanBERT を用いて機械読解タスクとして解決を行っている.

## 3 提案手法

本研究の提案手法のモデル構造を図 1 に示す. 左側はモデルが表 1 の Context 1 を入力情報とし、共参照解析タスクにおいて、発話文の省略情報位置および置換位置のタグを抽出する過程を示す. 右側は使用する Transformer[18] モデルの内部構造の中で、複数タスク学習に関わる部分を表す。

## 3.1 入力表現

入力情報に対して文区切りと形態素分割をした後、入力情報の先頭に [CLS]、各文章の末尾に [SEP] トー クンを挿入する (Word Embeddings). また、モデルに入力する際、文脈部分と発話文部分を区別するための特殊トークンを付与する (Dialog State Embeddings). さらに各トークンの位置に応じた埋め込みを付与する. (Positional Embeddings).

## 3.2 出力層

出力層では選択モデルに基づき最終層のベクトルを全結合層に入力する. 入力情報の全トークンに対してそれぞれの位置タグスコアを計算し、各位置タグはスコア最大となるトークンの位置を採用する。

$
h=\operatorname{Transformer}(x) \in \mathbb{R}^{r_{h}^{*}|x|}
$

$
l_{i}=\operatorname{softmax}\left(W_{i} \cdot h+b_{i}\right)
$

ここで、 $h$ はモデルの隠れ状態、 $|x|$ は文脈と発話文をつないだ入力情報の長さ、 $r_{h}$ は隠れ状態の次元数を表す。 1 訓練データに対する損失関数 $L$ は各位置夕グのクロスエントロピーの平均とする:

$
L=-\frac{1}{k} \sum_{i=1}^{k} \sum \log l_{i} \square\left(T_{i}\right)
$

の復元された発話文における位置タグ (GroundTruth) の one-hot 表現を表す。

最後に、位置タグ $T_{i}=\operatorname{argmax}\left(l_{i}\right)$ として計算する.共参照解析 $(k=4)$ において、 $T_{1}$ と $T_{2}$ はそれぞれ先行詞の開始位置、終了位置、 $T_{3}$ と $T_{4}$ はそれぞれ照応詞の開始位置、終了位置を表す。 $\left[w_{T_{3}}, \ldots, w_{T_{4}}\right]$ のトークンが $\left[w_{T_{1}}, \ldots, w_{T_{2}}\right]$ のトークンに置換される．省略補完 $(k=3)$ において、 $T_{1}$ と $T_{2}$ はそれぞれ省略情報の開始位置、終了位置、 $T_{3}$ は省略情報の挿入位置を表し、

図 1 提案手法のモデル構造

$w_{T_{3}}$ のトークンの後に $\left[w_{T_{1}}, \ldots, w_{T_{2}}\right]$ のトークンを挿入する. $T_{i}$ が [CLS] トークンを指す場合や $T_{i-1} \geq T_{i}$ の場合、書き換えは行わない。なお、本手法の書き換えの対象は、1つの発話文につき、共参照と情報省略に対しそれぞれ 1 件以内に限定する。

## 3.3 複数タスク学習

本研究では共参照解析と省略情報補完、この二つのタスクに対し二段階の学習手法を提案する. 第一段階では、Adapterを用いて各タスクの情報をカプセル化したタスク固有のパラメータを学習する。 ここで Adapter は Pfeiffer らが提案した構造 [15] を用いる。共参照解析を学習した Adapter と省略情報補完を学習した Adapter は図 1 の右側でそれぞれ 「Substitute Adpt.」と「Insert Adpt.」で表す. 第二段階では AdapterFusion[15] でこれらの学習した表現を結合させる. 第一段階の知識抽出と第二段階の知識結合を分離することで、第一段階においてデータの利用効率を向上させるとともに、複数タスクの同時学習で発生しやすい致命的な忘却やタスク間のアンバランスを回避しつつ、両方のタスクで学習した知識を効果的に共有することが可能である.

## 4 実験

## 4.1 データセット

本実験では Restoration-200K[10] データセットを用いた. Restoration-200K は SNS 上で収集した 20 万件の中国語のマルチターン対話データセットである. 各会話は 6 つの発話と 1 つのラベルで構成されている.最初の 4 つの発話は対話の文脈情報、 5 番目の発話は現在の発話文である. ラベルは、 5 番目の発話文にお
いて共参照もしくは情報省略が発生したかどうかを示すラベルである．ラベルが 1 の場合、6つ目の発話文が欠落した情報が復元された発話文となるが、ラベルが 0 の場合、6つ目の発話文は 5 番目の発話文と同じものとなる。なお、これらの対話データから 2,000 件をランダムにサンプリングしたところ、共参照が発生したのが $33.5 \%$ 、省略が発生したのが $52.4 \%$ 、共参照も省略も発生しない発話文は $29.7 \%$ であった.

さらに、上記割合に沿って改めて抽出した 2,000 件の対話データに対し人間の翻訳者が和訳し (1 名の作業者の約 1 週間の作業量として想定)、一部中国語独自の表現を日本語に適した表現に差し替えた対話データを「Restoration-2K-ja」で表す. 中国語データセットと日本語データセットそれぞれ $10 \%$ \%バリデーション、 10\%をテストに用い、その他を訓練データに用いた.

## 4.2 ベースライン

ベースラインを $\mathrm{Su}$ ら [4] の提案手法の中で、最も

は 4 を用いた。だたし元論文で「T-Ptr- $\lambda$ 」は PyTorch での著者実装が公開されていなかったため、公平性を考慮して推論速度の比較では PyTorch 実装が公開されており、かつ元論文の比較手法の中で最もシンプルな 「L-Gen」を基準とした。なお、本研究の提案手法の中から、共参照と省略補完を単一の Adapter で学習したモデルと、図 1 のような複数の Adapter で学習したモデルで同時に実験を行った。結果をそれぞれ「Single Adpt.」、「Multi Adpt.」で表す.

## 4.3 訓練設定

事前学習済みモデルには、中国語と日本語ではそれぞれ Joint Laboratory of HIT and iFLYTEK

Research が公開した BERT-wwm-Chinese、東北大学が公開したBERT-base-mecab-ipadic-bpe-32k whole-wordmaskを使用した. 入力系列長の上限を 128 とし、上限を超える文章は学習・評価から除外した。 バッチサイズを 32 に設定した. 訓練と推論には NVIDIA Tesla V100を 1 枚用い、実装は PyTorch で行った.

## 4.4 評価指標

自動評価の指標として、ベースライン [4] に倣い、ROUGE-1、ROUGE-2、ROUGE-L を用いる.また、単語の一致率だけでなく、復元前後の発話文の意味的近似度を比較する観点から、 spaCy および Sentence-BERT[19] で計算する復元前後の文章べクトルのコサイン類似度を用いた. $\mathrm{spaCy}$ の事前学習済みべクトルには、中国語と日本語でそれぞれ 「zh-core-web-lg」、「ja-core-news-lg」を使用した. 推論速度の比較においては 10 件推論した際の平均值を指標とした。

## 4.5 実験結果

自動評価の指標を用いて評価した実験の結果を表 2 に示す. Restoration-200K において、ベースラインと比べ、ROUGE スコアでは提案手法が最も高い結果となった. 文章ベクトルのコサイン類似度においても、 spaCy と Sentence-BERT で計算したスコアの上昇を確認した. また、複数 Adapter を用いた手法と単一 Adapter と比較した場合において、複数 Adapter を用いた手法の方が性能が向上した.

推論速度の比較において、ベースラインの速度を 1.00 とした場合、提案手法が 14 倍以上速く、ベースラインを大きく上回った.

一方、Restoration-2K-ja において、ベースラインの手法では GroundTruth と近い構造を持つ発話文を出力することができなかったが、提案手法ではベースラインを大きく上回るスコアとなった.

図 2 訓練データサイズごとの ROUGE-1 スコア

データ数による性能への影響を検証するため、 Restoration-200K からランダムで抽出した 200 件, 2,000 件と 20,000 件のサブセットで計算した ROUGE1 スコアを図 2 で示す. 特に 200 件や 2,000 件など小規模データにおいて、本研究の提案手法のスコアが既存手法より大幅に上昇し、200,000 件のデータを全部使用したモデルのスコアと比較しても、減少量が最大 20 ポイントに抑えることができた.この結果から、本研究の提案手法は数千件以下の小規模データに対しても、共参照や情報補完タスクの学習にフォーカスすることで、文脈情報を発話文に反映させることができた.

## 5 おわりに

本研究では、小規模データにおける文脈情報復元に基づいたマルチターン対話システムの改善に取り組んだ. 提案手法では、マルチターン対話システムの文脈理解タスクを、編集操作によって共参照と省略情報を発話文に復元するタスクに単純化した。また、共参照と省略補完の学習を複数の Adapter で分離することにより、小規模データにおいて既存手法を大きく上回った.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27, pp. 3104-3112. Curran Associates, Inc., 2014.

[2] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020 .

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot, 2020.

[4] Hui Su, Xiaoyu Shen, Rongzhi Zhang, Fei Sun, Pengwei $\mathrm{Hu}$, Cheng Niu, and Jie Zhou. Improving multi-turn dialogue modelling with utterance rewriter. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 22-31, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Oriol Vinyals, Meire Fortunato, and Navdeep Jaitly. Pointer networks. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28, pp. 2692-2700. Curran Associates, Inc., 2015.

[6] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor O.K. Li. Incorporating copying mechanism in sequence-to-sequence learning. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1631-1640, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Eric Malmi, Sebastian Krause, Sascha Rothe, Daniil Mirylenka, and Aliaksei Severyn. Encode, tag, realize: High-precision text editing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5054-5065, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Jan Niehues, Eunah Cho, Thanh-Le Ha, and Alex Waibel. Pre-translation for neural machine translation, 2016.

[9] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Zhufeng Pan, Kun Bai, Yan Wang, Lianqiang Zhou, and Xiaojiang Liu. Improving open-domain dialogue systems via multi-turn incomplete utterance restoration. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1824-1833, Hong Kong, China, November 2019. Association for Computational Linguis- tics.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Qian Liu, Bei Chen, Jian-Guang Lou, Bin Zhou, and Dongmei Zhang. Incomplete utterance rewriting as semantic segmentation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2846-2857, Online, November 2020. Association for Computational Linguistics.

[13] Jason Lee, Kyunghyun Cho, and Thomas Hofmann. Fully character-level neural machine translation without explicit segmentation, 2017.

[14] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameterefficient transfer learning for nlp, 2019.

[15] Jonas Pfeiffer, Aishwarya Kamath, Andreas Ruckle, Kyunghyun Cho, and Iryna Gurevych. Adapterfusion: Non-destructive task composition for transfer learning, 2020 .

[16] Mandar Joshi, Omer Levy, Luke Zettlemoyer, and Daniel Weld. BERT for coreference resolution: Baselines and analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5803-5808, Hong Kong, China, November 2019. Association for Computational Linguistics.

[17] Wei Wu, Fei Wang, Arianna Yuan, Fei Wu, and Jiwei Li. CorefQA: Coreference resolution as query-based span prediction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 69536963, Online, July 2020. Association for Computational Linguistics.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[19] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.


# 共同図形配置課題における対話の共通基盤構築過程の分析

光田航 東中竜一郎 大賀悠平＊杵渕哲也
日本電信電話株式会社 NTT メディアインテリジェンス研究所
\{koh.mitsuda.td, ryuichiro.higashinaka.tp, tetsuya.kinebuchi.xh\}@hco.ntt.co.jp
s2020716@s.tsukuba.ac.jp

## 1 はじめに

対話において，対話の参加者の間で共有される知識や信念などの情報を共通基盤（または相互信念） と呼ぶ $[1,2]$. 対話をモデル化する上で，共通基盤は重要な概念の一つとされきたが，共通基盤が構築される過程を分析した研究は少ない [3]. 複雑な内容を伴う対話は，その内容の理解を積み上げていく必要があるため，今後，ユーザとの高度な対話（例えば，教育，議論，交渉などを目的とする対話）が可能なシステムを実現するためには，対話を通じてユーザとともに共通基盤を構築していき，それに基いて対話を行うモデルを確立することが望ましい.

共通基盤構築をモデル化するための試みとして，二名の作業者が課題を達成する音声対話を収集，分析した研究が存在する $[4,5,6]$. また, 近年, テキストチャットに焦点を当て，課題が達成されるまでのチャットログを大規模に収集しモデルを構築する研究も報告されている $[7,8,9]$. これらの研究では,作業者が実施した課題の成果を共通基盤とみなし，対話と共通基盤の関係を分析している. しかしながら，課題が達成されるまでの過程は定量的に記録されていないため，対話を通じてどのように共通基盤が構築されていったのかを分析することが難しい.

本研究では, 二名の作業者が対話を通じて課題を達成するまでの途中過程を共通基盤とみなして記録する。記録された共通基盤を推定する手法を検討することで，共通基盤構築の過程を明らかにすることを目指す。二名の作業者が独立に図形を配置する共同図形配置課題を設定し，一致した図形配置を共通基盤とみなすことで，対話と共通基盤を記録した共同図形配置コーパスを構築，分析する。本稿では，共同図形配置コーパスの構築，および，共通基盤構築の過程の予備的な分析結果について報告する.

## 2 共同図形配置コーパスの構築

共通基盤の途中過程を記録するための課題を設定するにあたって, 先行研究, 特に, Udagawa らが提案した OneCommon（複数の点が描画された円の中から共通の点を一つ選ぶ課題）[9]を参考に要件を設定した. OneCommon 同様, 課題の達成に必要な情報が完全な情報として発話されないよう，連続的な要素を含む課題とした。 また，共通基盤が段階的に構築されるよう，対話をしながら複数回の操作を必要とする課題とした. さらに, 共通基盤の構築が課題の達成につながり，その度合いを定量化できる課題とした.これらの要件を満たす課題として，ランダムに配置された複数の図形の配置を二名が相談しながら揃える共同図形配置課題を設定した.

## 2.1 共同図形配置課題のツールと手順

図 1 に，共同図形配置コーパス収集に利用した，共同図形配置課題を行うためのツールの画面を示す. 二名の作業者 A と B は，図に示すブラウザベー スのツールを利用して，対話をしながら図形の配置を決定する、ツールは図形配置画面とチャット画面で構成され，画面上部には作業開始と終了のボタン，および，作業の残り時間（最大 10 分）が表示される。二名の作業者には，同じ図形の集合がそれぞれランダムな配置で与えられるので，どのような配置にするかをチャット画面を用いて話し合い，二名の間で納得できる共通の配置を決定する。このとき，作業中の図形配置を記録し，図形配置の一致部分を共通基盤としてみなすことで，共通基盤を定量的に記録することができる。

図形配置画面では，図形の回転，拡大縮小，削除はできず，マウスを用いた平面移動の操作のみを可能とした. 操作のログとして，図形のドラッグ\&ドロップの開始，終了時刻とそれぞれの座標を記録する. チャット画面は作業者間で共通だが，図形配置

図 1 共同図形配置コーパス収集に利用した，共同図形配置課題を行うためのツールの画面

画面は作業者ごとに異なる画面を見て作業を行う。

配置対象の図形として, 最も単純な図形として単

純図形と，図形に関する前提知識を利用できると考えられる建物図形の二種類を用意した。それぞれ 10 種類の図形で構成される. 単純図形はパワーポイントに登録されている図形を利用し，建物図形は建物を端的に表す白黒のアイコンセット1)を利用した. 図形の個数は 5 個または 7 個とし, 重複ありでランダムな大きさ，位置に設定して初期配置を作成した.

## 2.2 収集されたコーパス

表 1 に，収集された共同図形配置コーパスの統計情報を示す.コーパス収集には一般の作業者 287 名が参加し，212 組の作業者ぺアに分けて共同図形配置課題を行った. 各ぺアは単純図形 5 個と 7 個, 建物図形 5 個と 7 個で計 4 セッション作業を実施し $た^{2)}$. その結果，平均で 28.8 発話からなる 984 対話が収集された. 発話に加えて，収集された図形の操作数は一対話あたり 65.4 回となり，発話のおよそ二倍の数の操作が収集された. 図形の種類を比較すると, 建物図形の方が発話数が多く, 操作数が少ない結果となった。これは，建物に関する前提知識が発話として多く表れ，効率的に図形配置が進んだためではないかと考えられる。

表 2 に，共同図形配置コーパスの対話例を示す。 この例は図 1 に示したセッションで収集された対話である. $U_{15}$ までで最終的な配置イメージを合意し，

1) https://www.flaticon.com/packs/city-life-3における白黒アイコン（Lineral）を利用した.

2）例外的に， 25 組のペアについては同じペアで 4 セッションの作業を複数回行うことでデータを収集した.表 1 収集された共同図形配置コーパスの統計情報

表 2 共同図形配置コーパスの対話例. ID は発話 IDを表し，S は作業者を表す. この例は図 1 に示した作業者 $\mathrm{A}$ と Bにより収集された対話である.

 \\

$U_{16}$ 以降で相談しながら図形を配置している。この中には， $U_{21}$ のようにお互いの配置を確認する発話など，共通基盤構築に関係する発話が確認できる。

## 3 共通基盤構築過程の分析

本稿では，収集された共同図形配置コーパスを用いて，最終的な共通基盤とそこに致るまでの過程を予備的に分析した結果について述べる。まず，最終的な共通基盤を人手で確認し，どのようなパタンが存在するのかを調査した. 次に，作成したパタンに基づいて，共通基盤を定量的に測る尺度を設定し，課題が達成されるまでの過程でどのように変化していくかを調査した.

## 3.1 最終的な図形配置のパタン

収集された共同図形配置コーパスから，作業者間で図形が一致したと判断された場合でも，最終的な図形配置が異なり，それらが特定のパタンに分かれることが確認された.これを最終図形配置パタンとし，著者らにより類型を作成した。具体的には， 50 セッション分の最終的な図形配置をサンプリングし，図形配置のぺアの関係を場合分けした。

図 2 に，最終図形配置パタンを示す. 図に示すように，二名の作業者が作成した最終的な図形配置の一致, 不一致のパタンは, 下記の 7 パタンに分かれた。

1. 完全一致: 図形が完全に一致しているもの

2. 原点ずれ: 図形全体の位置が異なるもの

3. 同図形混同: 同種の図形の位置が異なるもの

4. 異図形混同: 異種の図形の位置が異なるもの

5. 縮尺ずれ: 図形全体のサイズが異なるもの

6. 対称ずれ: 図形の位置が対称的に異なるもの

7. 完全不一致: 図形の位置が全く異なるもの

1. の完全一致以外は，図形の種類や位置が異なるパタンである．作業者には，図形全体の位置（原点） を揃えるよう教示を与えなかったため，本研究では 1. の完全一致と 2. の原点ずれにおいて, 共通基盤が完全に構築されており, 課題が達成されたとみなす. 図 1 と表 2 で示した例は, 最終的に図 2 における 4.の同図形混同に示す図形配置になっている.この例から，作業者間で共通基盤が形成されたと認識している場合でも，必ずしも図形配置が一致しているとは限らないことがわかる.7.の完全不一致は，図形が全く一致していないが，作業者が作業を実施しなかったということではなく，対話を確認したところ，抽象的なイメージのみで図形を配置してお互いの理解を確認し合わないようなものが見られた.

2. 原点ずれ

3. 同種図形混同

4. 異種図形混同

5. 縮尺ずれ

6. 対称ずれ

7. 完全不一致

図 2 最終図形配置パタン

表 3 最終図形配置パタンの割合

表 3 に，最終図形配置パタンの割合を調査するため, 200 セッションのログに対して最終図形配置パタンをアノテーションした結果を示す. アノテー ションは, 著者らとは異なる 1 名の作業者が行った.表から，1.9完全一致と 2. の原点ずれ（共通基盤が完全に構築されたもの）は全体の $25 \%(19 \%+6 \%)$ であり，同程度の $28 \%$ で 7. の完全不一致になっていることがわかる. 不一致のパタンとして多いのは, 4. の異図形混同であり, 全体の $26 \%$ 占めている.図形種別を比較すると，建物図形の方が課題が達成された割合が多い. また，図形の個数を比較すると， 5 個と 7 個で各パタンの割合が大きく変化していないことから，図形が増えても，表 1 に示した通りより多くの発話と操作を行えば同程度の割合で課題を達成できることが確認できる.

## 3.2 共通基盤が構築される過程の分析

共通基盤を定量的に測る尺度を導入し，対話を通じて共通基盤がどのように構築されるかを分析する. 本稿では，最終図形配置パタンにおける 1.の完全一致，および，2.の原点ずれにおいて共通基盤が構築できていると考え，任意の二図形間で定義されるベクトルの差の距離の総和を図形配置間距離として導入する．具体的には，作業者 A の図形配置における図形 $\mathrm{i}$ と $\mathrm{j}$ 間で定義されるべクトル $v_{A, i j}$ と,作業者 B で同様に定義されるべクトル $v_{B, i j}$ の差を計算し，その距離の総和を共通基盤構築の尺度として利用する。この値が低いほど作業者間の図形配置が近く，共通基盤が構築されていることを示す.

図形配置間距離に基づき，ログの各タイムステップにおける図形配置から共通基盤構築の度合いを測ることができる. 本稿では，共通基盤構築の典型的な流れを明らかにするため，図形配置間距離を時系列データとみなし，クラスタリングを適用した. 手法として，k-means べースの手法である k-Shape [10] を利用した。クラスタリングの対象には，共同図形配置コーパスに含まれる全 987 セッション分のログを利用した。このとき，今後発話単位で解析を行うことを想定して，タイムステップとして，発話，および，連続する図形移動を一単位に設定した。

図 3 亿, 図形配置間距離に基づく共通基盤構築過程のクラスタリング結果を示す. 図には k-Shape で作成されたクラスタが 5つ示されている. クラスタ数を 6 つ以上に増やした場合は類似のクラスタが見られた。横軸は発話または図形移動に対応するタイムステップを表す ${ }^{3)}$ 。縦軸は図形配置間距離を表しており，0未満の值を取っているのは，k-Shape を利用するにあたって値が平均 0 , 分散 1 の正規分布に従うよう正規化したためである. 各クラスタが全体に占める割合は 1 から順に 7\%，28\%，11\%，24\%， 29\%であった.

各クラスタの傾向を明らかにするために，クラスタごとに 10 セッション程度のログをサンプリングし調査した. 図形の初期配置については，人手で確認した限りではクラスタ間で端的な差が見られなかった. Cluster 1 は, 図形配置間距離が対話を通して低下しており，順調に共通基盤が構築されていると考えられる。対話としては，最初に最終的な図形

図 3 図形配置間距離に基づく共通基盤構築過程のクラスタリング結果

配置のイメージを共有し，その後，お互いの配置を確認しながら図形を順に移動するものが見られた. Cluster 2 から Cluster 4 は，中盤から共通基盤が順調に構築されていると考えられる。対話としては，中盤までは局所的な図形配置について相談し，最後に残った図形の配置と全体のイメージの確認を行うものが見られた. Cluster 5 は，共通基盤構築がうまく進んでいない，最終図形配置パタンにおける 7.の完全不一致に該当するものである．対話としては，位置の確認を怠ったり，最終的な図形配置のイメージを勘違いしたり（例えば，「斜めに配置」を「右下がり」と「左下がり」と理解) するものが見られた.

## 4 おわりに

本稿では，対話における共通基盤構築のモデル化を目指して，共同図形配置コーパスの構築と予備的な分析を行った結果について述べた。二名の作業者がテキストチャットを通じて図形を配置する共同図形配置課題を設定し，図形配置の一致部分を共通基盤とみなすことで，共通基盤が構築される過程を記録することを狙った．予備的な分析として，最終図形配置パタンを作成し, 最終的な共通基盤が 7 パタンに分かれることが明らかになった。また，図形配置間距離を導入して典型的な共通基盤構築の流れを調査し，5つのクラスタに分かれることが明らかになった. 今後は，対話からの図形配置間距離や図形配置の予測，図形の自動配置，発話生成などの問題に取り組み，共通基盤構築をモデル化する手法を検討したい。

## 参考文献

[1] Herbert H Clark. Using language. Cambridge university press, 1996.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] 中野幹生. 対話システムにおける基盤化処理. 言語・音声理解と対話処理研究会 SIG-SLUD-B901-01, 2019.

[4] 市川熹, 堀内靖雄, 土屋俊. 日本語地図課題対話コーパス. 音声研究, Vol. 4, No. 2, pp. 4-15, 2000 .

[5] 片岡邦好. 問題解決型タスクにおける日・英語話者の視線について: 談話データ「Mister O コーパス」にもとづく一考察. 文明 $21,2017$.

[6] 日本語話し言葉コーパスの構築法. Technical report, 独立行政法人国立国語研究所, 2006.

[7] Mike Lewis, Denis Yarats, Yann N Dauphin, Devi Parikh, and Dhruv Batra. Deal or no deal? endto-end learning for negotiation dialogues. Proc. EMNLP, pp. 2443-2453, 2017.

[8] $\mathrm{He} \mathrm{He}$, Anusha Balakrishnan, Mihail Eric, and Percy Liang. Learning symmetric collaborative dialogue agents with dynamic knowledge graph embeddings. Proc. ACL, pp. 1766-1776, 2017.

[9] Takuma Udagawa and Akiko Aizawa. A natural language corpus of common grounding under continuous and partially-observable context. In Proc. AAAI, pp. 7120-7127, 2019.

[10] John Paparrizos and Luis Gravano. k-Shape: Efficient and accurate clustering of time series. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data, pp. 18551870, 2015.


# 議論の流れを利用した皮肉を含むコメントの検出

武石 健吾
東京工業大学 情報理工学院
takeishi.k.aa@m.titech.ac.jp

## 1 背景と目的

皮肉は複雑な言語現象であり，発話の真の意味がその文字通りの意味とは異なる。皮肉の理解はソー シャルメディアを対象としたオピニオンマイニングや感情分析において難しい課題となる。皮肉検出の先行研究では, 主に文中の語彙的な手がかりを利用している [1]. 最近の研究では皮肉検出における文脈の重要性を指摘しているものが多い、ソーシャルメディア・テキストのコメントは，多くの場合，先行するコメントや世界で起きている出来事に関連して行われる.これは文脈が皮肉の検出に重要な役割を果たすことを示唆している。

本研究は議論の流れを用いて皮肉を含んだコメントを検出する手法を提案する. 議論を構成する各コメントはその議論のトピックに対して直接言及しているものと別のコメントに対して言及しているものに分けられる．後者のコメントにさらに別のコメントが付けられることで議論が構成される. 本研究で用いる議論の流れとは検出対象とするコメントからトピックまで親コメントを辿るパス中のコメントの系列を指す。

図 1 不自然な議論の流れ

議論の流れを皮肉の検出に利用する動機は議論の流れからして不自然である皮肉を含んだコメン卜に注目することである. 図 1 は，政治カテゴリに投稿された佐藤という議員が掲げた公約に関するトピックへのコメントである. Comment A に対して Comment B が投稿され，さらに Comment B に対して Comment C が投稿されている. Comment A と

徳永健伸

\author{
東京工業大学情報理工学院 \\ take@c.titech.ac.jp
}

Comment B を参照すると佐藤議員の公約への批判の流れが発生している. この次に投稿されるコメントが公約を擁護するものである場合，逆説の意味を持つフレーズが入ることが予想される。 しかし，続くコメントは逆説フレーズがないにも関わらず公約に賛成するような文意を持っている。このことから Comment C は皮肉を含んだコメントであることがわかる.このように議論の流れを参照することで，皮肉の検出精度が向上することが期待される.

## 2 関連研究

本研究はオンラインディスカッションフォーラム Reddit ${ }^{1}$ に投稿されたコメントを検出対象とする. ある著者があるトピック（ニュース記事へのリンクなど）を Reddit に投稿すると，著者同士でこのトピックについて Web サイトで議論することができる.これにより Reddit は図 2 のような各コメントに親コメントが含まれるツリー構造の会話構造が確立されている.

図 2 Reddit の構造

Reddit に投稿されたコメントの皮肉検出の研究の動向について以下で紹介する. 文献 [2] ではオンラインソーシャルメディアディスカッションでの皮肉検出のために, 内容駆動型と文脈駆動型の両方のモデリングのハイブリッドアプローチを採用し

1) http://reddit.com

た CASCADE というモデルを提案している. 文脈情報の 1 つ目は著者の行動特性を表現する著者べクトルである．著者の過去の投稿を利用して，ライティングスタイルとパーソナリティインジケー ターをモデル化し，その後，正準相関分析 (CCA) を使用して包括的な著者ベクトルに融合する. 文脈情報の 2 つ目は談話べクトルである. これは，同じフォーラムに属するこれらの統合されたコメントのドキュメントモデリングによって行われる.これらの談話の特徵は，皮肉を検出するために必要なジャンルの情報とともに，重要な文脈情報，背景の手がかりを与える。内容のモデリングには CNN (Convolutional Neural Network)を使用して構文上の特徴を抽出する。本研究では CASCADE をべースラインとし，不自然な議論の流れを特徴量として加えたモデルを提案する。文献 [3] では特定のコーパスで皮肉を含むコメントを検出するために，マルチヘッドアテンションベースの双方向ロングショートメモリ（MHA-BiLSTM）ネットワークを提案している. また, 感情や句読点などの様々な特徴量を検討している.

## 3 提案モデル：議論の流れの導入

本研究は文献 [2] で提案されているモデル CASCADEをベースラインとし, CNN, SentenceBERT [4]，MT-DNN[5] をそれぞれべースとしたモデルを 3 つ提案する.

## 3.1 CASCADE

CASCADE はコメントの内容および文脈の情報を活用する. 内容モデリングでは，CNNを使用してコメントのベクトル表現 $\vec{C}_{i j}$ を生成している. このベクトル $\vec{C}_{i j}$ は, 構文情報と意味情報の両方を取得する. 文脈モデリングは, 著者ごとの特徴量とトピックのカテゴリを表す', Subreddits', ごとの特徵量をそれぞれ学習し, 著者べクトル $\vec{u}_{i}$ と談話べクトル $\vec{t}_{j}$ を生成する. その後, これら 3 つのベクトル $\vec{C}_{i j}, \vec{u}_{i}$, および $\vec{t}_{j}$ を連結し皮肉または非皮肉に分類する。

## 3.2 議論の流れを表すテキスト

本研究では議論の流れを表現するために「話題テキスト」と「議論テキスト」を利用する. 話題テキストは議論の始まりに位置するトピックを形成しているテキストである. 図2 のように全てのコメント
は一つのトピックを根ノードとする木のノードである. 話題テキストは議論の先頭に位置しており議論の方向性を決定すると考えられる。一方，議論テキストは議論の流れを形成している各コメントのテキストを連結して生成する。連結の際にはコメントの境目を明確にするために区切り文字 “<END>”を各コメントから取得したテキストの間に差し込む．議論テキストは議論の流れ自体を表している。これら 2 つのテキストと検出対象のコメントのテキストである「対象テキスト」との関係をモデリングすることで不自然な議論の流れを利用して皮肉を含むコメントを検出する。

## 3.3 CNNをベースとしたモデル

CNNでのテキストのバッチモデリングでは，テキストの長さを統一するために制限またはパディングが行われる. 先行研究ではテキストの単語数を制限する際は設定値に達するまで先頭から順に単語を取得しており, 本研究でも対象テキスト及び話題テキストは同様の方法で長さの制限を行う。一方で議論テキストの場合, 議論の先頭に近いコメントほど検出対象から遠ざかり検出に有用な情報が少ないことが予想されるため，各コメントのテキストから同数の単語を取得した後に区切り文字 “<END>” を各コメントから取得したテキストの間に差し込むことで議論テキストを生成する。この時, 区切り文字の数も含めてテキストの長さが統一されるように単語の取得数を調整する。その後, 話題テキスト，議論テキスト，対象テキストを区切り文字 “<END_C>” を介して遠結する。

次に連結したテキストを CNN に入力として加えベクトル表現を生成する.この表現は両テキストの構文情報と意味情報に加えテキスト間の関係を含む. その後 CASCADE と同様に CNNを用いて生成したべクトルに著者ベクトルと談話ベクトルを連結し皮肉または非皮肉に分類する，話題テキスト，議論テキスト及び対象テキストの長さは先行研究と等しくなるようそれぞれ 100 に設定する. よって結合したテキストの長さは区切り文字も含めて 302 となる. それに合わせて関係べクトルのサイズは 302 に設定する。

## 3.4 Sentence-BERT をベースとしたモデル

本研究では皮肉検出タスクを文関係の推論タスクと捉える。そこで Sentence-BERT [4] をべースとし

たモデルを検討する. Sentence-BERT の文埋め込みは InferSent [6] や Universal Sentence Encoder [7] などの他の最先端の文埋め込み方法よりも優れていることが知られている. また, Fine-tuning 用のデータセットとして SNLI [8] と Multi-Genre NLI [9] を用いており，NLI (Natural Language Inference) タスクに強みを持つ.

Sentence-BERTを使用して関係べクトルを生成し, CASCADE のベクトル結合層に加えたモデルを検討する. 文献 [4] の実験で最高性能であったベクトルの連結方法を参考にし，テキスト $A$ とテキスト $B$ の関係ベクトル $v_{A}$ と $v_{B}$ を利用した $\left(v_{A}, v_{B},\left|v_{A}-v_{B}\right|\right)$ を採用する. すなわち, 結合層に含まれるべクトルは CNN で生成した対象テキストのベクトル表現 $\vec{C}_{i j}$, Sentence-BERT で生成した関係ベクトル $\left(v_{A}, v_{B},\left|v_{A}-v_{B}\right|\right)$, 著者ベクトル $\vec{u}_{i}$, 談話べクトル $\vec{t}_{j}$ である. 本研究では, Sentence-BERT を用いて話題テキスト，議論テキスト，対象テキストをそれぞれ $v_{\text {topic }}, v_{\text {chain }}, v_{\text {target }}$ にベクトル化し， $v_{\text {target }}, v_{\text {chain }}, v_{\text {topic }},\left|v_{\text {target }}-v_{\text {chain }}\right|,\left|v_{\text {target }}-v_{\text {topic }}\right|$ を連結して関係べクトルとして使用する。 モデルに使用する Sentence-BERT のパラメータは文献 [4] に従う.

## 3.5 MT-DNN をベースとしたモデル

文関係の推論タスクで他のモデルを上回る性能を示した MT-DNN [5] を皮肉検出タスクで利用することを検討する．MT-DNN は BERTをマルチタスク学習に拡張したモデルであり,一般的な言語理解評価ベンチマーク 9 タスク中 8 つで最高の結果が出ている。また SNLI，SciTail といった，文関係の推論タスクの精度が素の BERT に比べて大幅に改善されている. 本研究では皮肉検出で有用と考えられ CASCADEにもコンテキストモデリングとして導入されている，著者ごとの特徴量と Subredditsごとの特徴量をそれぞれ学習し生成された著者ベクトルと談話ベクトルを MT-DNN に導入する。

皮肉検出タスクは MT-DNN が適応する 4 つの夕スクのうち，文関係の分類タスクに該当する。このタスクは, 長さ $m$ の Premise : $P=\left(p_{1}, \ldots, p_{m}\right)$ と長さ $n$ の Hypothesis : $H=\left(h_{1}, \ldots, h_{n}\right)$ を入力として加え， $P$ と $H$ 間の論理関係 $R$ を見つける. 出力モジュールの設計は，ニューラル NLI モデルである確率的回答ネットワーク (SAN) [10] の回答モジュー ルを使用している. その中で $t$ ステップ目の状態 $s_{t}$ とその前の状態 $s_{t-1}$ および Premise のワーキング表 1 各データセット中のコメント数

メモリ $M_{p}$ から計算される $x_{t}$ を用いて各ステップ $t \in 0,1, \ldots, T-1$ の関係の確率分布 $P_{t}{ }^{r}$ は式 (1) で計算される.

$
P_{t}^{r}=\operatorname{softmax}\left(\theta_{4}\left[s_{t} ; x_{t} ;\left|s_{t}-x_{t}\right| ; s_{t} \cdot x_{t}\right]\right)
$

式(1)の 4 つのベクトルが連結されている部分に著者ベクトルと談話ベクトルも連結することで素性としてモデルに加える. モデルに使用する MT-DNN のパラメータは文献 [5] に従う.

## 4 評価実験

## 4.1 データセット

評価のために自己注釈付き Reddit コーパス SARC [11]を用いる.このデータセットには Reddit に投稿された皮肉を含む/皮肉を含まないコメントの 553M の例が含まれている. 各コメントには，コメントのテキスト，著者，所属する SubReddit，および親コメントなどの情報が含まれている. 公開されている不均衡データ2)の訓練データとテストデータからランダムサンプリングし, 皮肉を含むコメント数と皮肉を含まないコメント数の割合が 1:1 の均衡データセットと両カテゴリのコメント数の割合が 1:3 の不均衡データセットの 2 つを作成した. モデルの学習には訓練データの $10 \%$ 開発データとして使用する。データセットの統計を表 1 に示す.

これらのデータセットは大規模であるため同じモデルでの結果のバラつきは小さいと判断し，モデルごとにシード 3 回を変更した結果の平均值を計算する. 評価指標には Precision (P), Recall (R), Accuacy $(\mathrm{A}), \mathrm{F}$ 値 $(\mathrm{F})$ を用いる. 再現率と適合率のどちらも重要であるという考えられているため，この中で Accuacy と $\mathrm{F}$ 值を重要視してモデル性能の比較を行う.

## 4.2 結果と考察

実験結果を表 2 と表 3 に示す. 議論の流れを導入した 3 つのモデルの性能が CASCADE の性能を上

表 2 均衡データセットの結果

表 3 不均衡データセットの結果

回っていることがわかる. また，3つのモデルの中でも MT-DNN をベースにしたモデルの性能が他を上回っている。これを更に調査するために，不均衡データセットについて議論の流れ (議論テキスト)を利用できるコメントと利用できない (議論の先頭に位置する) コメントに分けて各指標を算出した結果を表 4 と表 5 に示す.

表 4 議論の流れを利用できるコメントの結果

まず，CASCADE と CNN 及び SBERT ベースとのモデルの性能の違いに着目する. 議論の流れを利用できないコメントでは Accuracy 及び F 值に目立った差は見られない。一方，議論の流れを利用できるコメントでは議論の流れを導入した 2 つのモデルの性能が優っている．つまり，テキストの構文情報と意味情報の利用における性能の違いはなく，議論の流れの導入によって性能が向上したと結論づけられる. 次に CNN 及び SBERT ベースのモデルと MT-DNN ベースのモデルの性能の違いに着目する. Accuracy 及び $\mathrm{F}$ 值は議論の流れの有無に関わらず性能は向上している. この場合, 議論の流れが有用に働いたか判断することができない，そこで，話題テキストと議論テキストを使わず MT-DNN の全ての Premise テキストを空白テキストにしたモデルの性能を検証する．各データセットでの実験結果を表 6 と表 7 に示す.

CASCADE と MT-DNN (Premise なし) では後者のモデルの方が性能が良いことから MT-DNN の内容議論の流れを利用できないコメントの結果

表 6 均衡データセットにおける Premise の効果

ベースのモデリングの方が性能が高いと考えられ

る. MT-DNN では Premise がある方が性能が高いことから MT-DNN が議論の流れをモデリングしたことが皮肉検出に有効に働いていると考えられる。

## 5 結論

本研究ではオンラインディスカッションフォーラム内の皮肉を含むコメントの検出に議論の流れを利用することを提案した. 議論の流れを導入したモデルとして CNN ベースのモデル，SBERT ベースのモデル，MT-DNN ベースのモデルを検討し，性能の比較を行なった. その結果，議論の流れが皮肉検出に有用に働くことを確認した. 今後の課題は議論を構成するコメントのテキストからの単語の取得方法の更なるバリエーションである．本研究では各コメントのテキストからの単語の取得は先頭から行ったが，同じテキストでも単語を取得する部分を工夫する余地がある.

## 参考文献

[1] Roger Kreuz and Gina Caucci. Lexical influences on the perception of sarcasm. In Proceedings of the Workshop on computational approaches to Figurative Language, pp. $1-4,2007$.

[2] Devamanyu Hazarika, Soujanya Poria, Sruthi Gorantla, Erik Cambria, Roger Zimmermann, and Rada Mihalcea. Cascade: Contextual sarcasm detection in online discussion forums. arXiv preprint arXiv:1805.06413, 2018.

[3] A. Kumar, V. T. Narapareddy, V. Aditya Srikanth, A. Malapati, and L. B. M. Neti. Sarcasm detection using multi-head

表 7 不均衡データセットでの各評価指標

attention based bidirectional lstm. IEEE Access, Vol. 8, pp. 6388-6397, 2020.

[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. arXiv preprint arXiv:1901.11504, 2019.

[6] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, and Antoine Bordes. Supervised learning of universal sentence representations from natural language inference data. arXiv preprint arXiv:1705.02364, 2017.

[7] Daniel Cer, Yinfei Yang, Sheng-yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, Chris Tar, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[8] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326, 2015.

[9] Adina Williams, Nikita Nangia, and Samuel R Bowman. A broad-coverage challenge corpus for sentence understanding through inference. arXiv preprint arXiv:1704.05426, 2017.

[10] Xiaodong Liu, Kevin Duh, and Jianfeng Gao. Stochastic answer networks for natural language inference. CoRR, Vol. abs/1804.07888, , 2018.

[11] Mikhail Khodak, Nikunj Saunshi, and Kiran Vodrahalli. A large self-annotated corpus for sarcasm. arXiv preprint arXiv:1704.05579, 2017.


# ラベル間の意味の違いを考慮した Few-shot テキスト分類

大橋 空 1 高山 隼矢 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 荒瀬 由紀 ${ }^{1}$
1 大阪大学大学院情報科学研究科 2 愛媛大学大学院理工学研究科
${ }^{1}$ \{ohashi.sora, takayama.junya, arase\}@ist.osaka-u.ac.jp
${ }^{2}$ kajiwara@cs.ehime-u.ac.jp

## 1 はじめに

テキスト分類タスクにおいて、ニューラルネットワークに基づくモデル $[1,2]$ が多数提案されており、大きな成功を収めている。特に BERT [3] による文の表現生成は多くのテキスト分類タスクにおいて最高性能を達成し、その有効性が示されている。しかしこれらの機械学習モデルでは、少数の事例しか持たないラベルが存在する場合、訓練時に過学習を起こしやすいという問題が知られている [4]。この問題に対処するために、ラベルごとに数個の事例のみが訓練データとして与えられる設定の Few-shot テキスト分類 [5-8] が活発に研究されている。

Few-shot テキスト分類では、距離学習やメタ学習を用いる手法が成功を収めている。例えば、様々な粒度の注意機構を用いて分類が容易なべクトル表現を生成する手法 [6] や、注意機構において単語の共起パターンを考慮する手法 [8] が提案されている。 これらの先行研究ではラベル表現同士の類似度を考慮しないため、意味的に近いラベルが混同されやすく、それらの分類が難しいという課題がある。

この問題に対処するため、本研究ではラベル表現同士を比較し、各ラベル表現を互いに分離する学習手法を提案する。提案手法では、ラベル間の意味の違いを把握し、各ラベルに特有の情報のみをラベル表現に織り込んだ表現を生成する。これによりラべル間の違いが明確になり、分類が容易になると期待できる。

提案手法の有効性を検証するために、Huffpost [9] および FewRel [10] のデータセットを用いて Fewshot テキスト分類の害験を行った。実験の結果、両データセットにおいて提案手法がベースラインモデルの性能を有意に改善し、提案手法の有効性を確認できた。さらに提案手法は、分類対象のラベルが増加するにつれて、また各ラベルの事例数が減少するにつれて、その有効性が増すことが明らかとなり、
より困難な設定の Few-shot 分類において分類精度の向上に貢献することが示された。

## 2 背景知識：Few-shot テキスト分類

## 2.1 問題定義

Few-shot テキスト分類では、サポート集合およびクエリ集合が入力として与えられる。サポート集合とは、テキストとラベルの組の集合 $S=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=1}^{N K}$ である。 $N$ はサポート集合に含まれるラベルの種類であり、 $K$ はラベルごとのサンプル数である。以降、 $N=n, K=k$ である場合を $n$-way $k$-shot 分類と呼ぶ。また、ラベル $L$ のみが含まれるサポート集合を $S_{L}=\left.\{\left(x_{p}, y_{p}\right) \mid y_{p}=L\right.\}$ と表記する。クエリ集合とは、分類対象であるテキストの集合 $Q=\left.\{q_{j}\right.\}_{j=1}^{M}$ のことを指す。Few-shot テキスト分類モデルは、この各クエリ $q_{j}$ に対してラベルを推定することを目的とする。なお、サポート集合 $S$ が持つラベルの集合とクエリ集合 $Q$ に対応するラベルの集合は等しい。

Few-shot 分類では、エピソード [11] と呼ばれるデータセットの部分集合を単位として訓練および評価を行う。訓練エピソードは、訓練用データから無作為に選択された $N$ 種類のラベルについて、そのラベルを持つ事例を $K+m$ 個だけ無作為抽出し、サポート集合とクエリ集合に分割して作成する。ただし $m=\frac{M}{N}$ である。評価エピソードも評価用データから同様に作成し、クエリ集合ごとの正解率を平均してモデルの評価とする。

## 2.2 Few-shot テキスト分類モデル

本節では、Few-shotテキスト分類モデルの一般形について説明する。まず、サポート集合およびクエリ集合に含まれる文をそれぞれべクトル表現に変換する。 $S_{i}$ に属する文を $s_{i}^{p}(1 \leq p \leq K) 、 Q$ に属する文を $q_{j} \in Q$ 、文符号化器を $E(\cdot)$ とすると、文のべクトル表現 $\boldsymbol{s}_{i}^{p}$ および $\boldsymbol{q}_{j}$ は次のようになる。

図 1 提案する Few-shotテキスト分類モデルの全体図（赤色の部分が提案手法）

$
\begin{aligned}
& \boldsymbol{s}_{i}^{p}=E\left(s_{i}^{p}\right) \\
& \boldsymbol{q}_{j}=E\left(q_{j}\right)
\end{aligned}
$

文の符号化には、再帰的ニューラルネットワーク [2] や畳み込みニューラルネットワーク [1]、BERT [3] など、任意の手法を適用する。

次に、同じラベルを持つ $K$ 文のベクトル表現からラベル表現を生成する。ラベル表現を生成する関数を $C(\cdot)$ とすると、ラベル表現 $\boldsymbol{l}_{i}$ は次のようになる。

$
l_{i}=C\left(s_{i}^{1}, s_{i}^{2}, \cdots, s_{i}^{K}\right)
$

$C(\cdot)$ として、平均プーリングや最大プーリング等が用いられる。

最後に、 $\boldsymbol{l}_{i}$ と $\boldsymbol{q}_{j}$ の関連度を計算し、クエリ表現と最も関連度の高いラベル表現を選択することによってラベルを推定する。関連度を計算する関数を $R(\cdot)$ とすると、ラベルの確率分布は以下の式で計算できる。

$
p\left(i \mid \boldsymbol{l}_{1}, \cdots, \boldsymbol{l}_{N}, \boldsymbol{q}_{j}\right)=\frac{e^{R\left(\boldsymbol{l}_{i}, \boldsymbol{q}_{j}\right)}}{\sum_{p} e^{R\left(\boldsymbol{l}_{p}, \boldsymbol{q}_{j}\right)}}
$

$R(\cdot)$ にはコサイン類似度等、任意の手法を適用する。分類の損失関数 $L_{c}$ には、負の対数尤度を用いる。

$
L_{c}=-\frac{1}{M} \sum_{i=1}^{M} \log p\left(y_{j}\right)
$

ここで、 $y_{j}$ は $q_{j}$ に対応する真のラベルを表す。

## 3 提案手法

図 1 亿提案手法の概要を示す。本手法は、2.2 節で述べた構成の Few-shotテキスト分類モデルに、3.1 節の相違点抽出器と 3.2 節の損失関数を導入するマルチタスク学習のアプローチである。相違点抽出器を用いてより分類が容易となるラベルの特徴量を抽出することで、意味的に近いラベルの分類を容易にし、分類精度を向上させる。

## 3.1 相違点抽出器

相違点抽出器では、(3) 式で得たラベル表現 $\boldsymbol{l}_{i}$ を互いに比較し、各ラベルに固有の情報のみを持つラベル表現 $\hat{l}_{i}$ に修正する。ここで、ラベル $i$ に固有の情報を持つ理想的なべクトル表現 $\hat{l}_{i}$ は、 $\hat{l}_{j}(i \neq j)$ との相互情報量 $I\left(\hat{l}_{j} ; \hat{l}_{i}\right)$ が 0 となる、すなわち各ラベル表現が独立となる、と仮定する。ただし、クエリ $q_{i}$ に関して無関係な情報を抽出するのを防ぐため、ラベル表現とクエリ表現を同時に考慮する。具体的には、ラベル表現 $l_{1}, \cdots, l_{N}$ とクエリ表現 $q_{j}$ を以下の式を用いて変換する。

$
\begin{aligned}
\boldsymbol{H}_{k} & =\operatorname{MultiHeadSelfAttention}\left(\boldsymbol{l}_{1}, \cdots, \boldsymbol{l}_{N}, \boldsymbol{q}_{j}\right) \\
\hat{\boldsymbol{l}}_{\boldsymbol{i}}^{j} & =\operatorname{GELU}\left(\boldsymbol{W}_{1} \boldsymbol{H}_{k, l_{i}}+\boldsymbol{b}_{1}\right) \boldsymbol{W}_{2}+\boldsymbol{b}_{2} \\
\hat{\boldsymbol{q}}_{j} & =\operatorname{GELU}\left(\boldsymbol{W}_{1} \boldsymbol{H}_{j, q_{j}}+\boldsymbol{b}_{1}\right) \boldsymbol{W}_{2}+\boldsymbol{b}_{2}
\end{aligned}
$

ここで、MultiHeadSelfAttention(.) は 1-layer 8-head の自己注意機構 [12] の出力であり、GELU($\cdot$) は活性化関数 [13] である。 $\boldsymbol{H}_{j, l_{i}} \in \mathbb{R}^{(N+1) \times d}$ は自己注意機構

の出力のうち、 $l_{i}$ に対応するべクトルを表す。 $d$ は入力ベクトルの次元数である。

## 3.2 損失関数の設計

本研究では $L_{c}$ に加元、相違点抽出器が各ラベルに固有の情報のみを含むような制約を付加する損失関数 $\hat{L}$ を新たに定義する。

$
\hat{L}=\sum_{1 \leq i, j \leq N, i \neq j} I\left(\hat{\boldsymbol{l}}_{i}, \hat{\boldsymbol{l}}_{j}\right)
$

最終的な損失関数は次のようになる。

$
L=L_{c}+\beta \hat{L}
$

ここで、 $\beta>0$ は $\hat{L}$ の重みである。

相互情報量 $I\left(\hat{l}_{i} ; \hat{l}_{j}\right)$ を直接計算するのは困難であるため、相互情報量の上界を最小化することで間接的に相互情報量を最小化する。具体的には、Cheng ら [14]に従い、以下を最小化する。

$
\begin{aligned}
\hat{I}\left(\hat{\boldsymbol{l}}_{i} ; \hat{\boldsymbol{l}}_{j}\right) & =\sum_{a} R_{a} \\
R_{a} & =\left[\log p_{\theta}\left(\hat{\boldsymbol{l}}_{i}^{a} \mid \hat{\boldsymbol{l}}_{j}^{a}\right)-\frac{1}{|Q|} \sum_{b} \log p_{\theta}\left(\hat{\boldsymbol{l}}_{i}^{a} \mid \hat{\boldsymbol{l}}_{j}^{b}\right)\right]
\end{aligned}
$

ここで、 $p_{\theta}(\cdot)$ は、確率 $p\left(\hat{i}_{i}^{a} \mid \hat{l}_{j}^{a}\right)$ を、パラメータ $\theta$ のニューラルネットワークで近似した関数である。

## 4 実験

本実験では、相違点抽出器および損失関数 $\hat{L}$ の有効性を検証する。

## 4.1 実験設定

Bao ら [8] によって公開1)されている以下の $2 \supset の$ データセットを用いて実験する。

Huffpost 英語版ハフポストのタイトルから記事のカテゴリを推定するタスク。訓練用データ、検証用データ、評価用データには、それぞれ 20 種類、5 種類、 16 種類のラベルが含まれており、事例数はラベルごとに 900 である。

FewRel エンティティ間の関係を推定するタスク。訓練用データ、検証用データ、評価用データには、それぞれ 65 種類、 5 種類、 10 種類のラベルが含まれており、事例数はラベルごとに 700 である。

ベースラインとして、ProtoNet [4]を用いる。ただし、(1) 式および (2) 式の文の符号化には BERT [3] を使用し、(3) 式のラベル表現の生成には平均プー リングを用いる。提案手法として、ProtoNet + 相違点抽出器および ProtoNet + 相違点抽出器 $+\hat{L}$ を比較する。両者は共通のモデル構造だが、前者は 3.2 節の損失関数を用いず (5) 式の損失関数のみで訓練するものである。また、本実験設定において最高性能を達成している Bao ら [8] の手法とも比較する。

本実験では、全てのモデルを 5-Way 1-Shot の設定で訓練した。最適化アルゴリズムには Adam [15]を用いた。学習率は、1e-5, 3e-5, 5e-5 の中から、検証用データにおける正解率が最高の値を選択した。提案手法における (10) 式の重み $\beta$ は、1e-6, 1e-4, 1e-2, 1 の中から、同様に検証用データを用いて選択した。

## 4.2 実験結果

実験結果を表 1 に示す。2)両データセットにおいて、提案手法はベースラインの性能を常に有意に改善した。また、 $\hat{L}$ を用いずに訓練した場合、常に性能が悪化することも確認した。以上の結果から、ラベルに固有の情報を抽出することは Few-shot テキス卜分類において有用であると言える。

2）[8] では ProtoNet より高い性能が報告されているが、BERT の fine-tuning 設定を調整した結果、ProtoNet が Bao らの手法を上回った。
表 2 1-Shot 設定での Way 数による性能変化

## 4.3 性能上昇幅に関する分析

本節では、Way 数および Shot 数を変化させたときの性能の変化について分析する。表 1 において、Huffpost では 5-Way 1-Shot 設定で 1.3 ポイント、 10-Way 1-Shot 設定で 1.4 ポイントの改善が見られた。また、FewRel データセットにおいては 5-Way 1-Shot 設定で 0.4 ポイント、10-Way 1-Shot 設定で 2.1 ポイントの改善が見られた。これらの結果から、提案手法は Way 数が増加するにつれて有効性が増すと予想できる。これを検証するため、2-Way、 4-Way、6-Way、8-Way における ProtoNet および提案手法の性能の変化を調査した。表 2 および表 3 に、 FewRel データセットにおける実験結果を示す。なお、評価は 1-Shot および 5-Shot の設定で行った。 Way 数が増加するにつれて、提案手法による性能の上昇幅が増加する傾向があることが確認できる。つまり、提案手法は分類対象が多くなるにつれ有効性が高まると言える。これは、分類対象となるラベルが増加するにつれて、意味的に類似したラベルが出現する確率が高くなるためであると推測される。

また、1-Shot 設定と 5-Shot 設定を比較した結果、 10-Way 設定を除いて、提案手法による性能の上昇幅は 1-Shot 設定の方が大きい。事例数が少なくなるほど、文符号化器によって分類に有効なラベル表現を生成することが困難になる。提案手法はラベル間の意味的な違いを抽出するため、その利得は事例数が少ない場合においより顕著になると考える。

## 5 関連研究

Few-shot 分類の先行研究は、距離学習を用いる手法とメタ学習を用いる手法の 2 つに大別できる。

距離学習を用いる Few-shot 分類モデルとしては、 ユークリッド距離で分類を行う手法 [4]、注意機構を用いてラベル表現を生成しコサイン類似度を基に分類を行う手法 [11]、ニューラルネットワークを用いて関連度を計算する手法 [16]、グラフニューラルネットワークを用いた手法 [17] などが存在する。表 3 5-Shot 設定での Way 数による性能変化

メタ学習を用いる手法では、数回のパラメータ更新で良好な汎化性能が得られるよう分類器のパラメータを生成する手法 [18]、パラメータ更新方法や学習率を学習する手法 $[19,20]$ 、勾配からパラメータ更新方法をニューラルネットワークを用いて決定する手法 [21-23] が存在する。

自然言語処理における Few-shot 分類でも、距離学習やメタ学習を用いる手法が提案されている。例えば、ベクトル表現の計算時にクエリとサポートを相互に参照する手法 [5] や、様々な粒度の注意機構を適用し、より分類が容易なべクトル表現の獲得を目指した手法 [6,7]、単語の共起パターンから注意スコアを計算する手法 [8] などが存在する。

これらの既存研究では、ラベル間の意味の違いを考慮しておらず、意味的に近いラベルを誤分類する恐れがある。本研究は、ラベル同士を比較して意味的な違いを考慮することで、この問題の解決を目指すものである。

## 6 おわりに

本研究では、Few-shotテキスト分類モデルの性能改善に取り組んだ。既存手法ではラベル同士を明示的に比較しておらず、ラベル間の意味的な違いを陽に考慮することができなかった。このため、意味的に類似したラベルが出現すると意味の違いを把握できずに誤分類してしまう。これを解決するため、ラベル表現を比較し互いの相互情報量が低くなるようラベル表現を修正する手法を提案した。実験結果より、本手法はベースラインである ProtoNet を全ての設定で有意に上回ることが確認された。また、本手法は同時に分類するラベルの種類数が多くなるにつれてその有効性が高まることが確認された。

今後は、任意の Few-shotテキスト分類モデルに関する提案手法の有効性を調査する予定である。

## 謝辞

本研究は JST (AIP-PRISM, 課題番号: JPMJCR18Y1）の支援を受けたものです。

## 参考文献

[1] Yoon Kim. Convolutional Neural Networks for Sentence Classification. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1746-1751, 2014.

[2] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical Attention Networks for Document Classification. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489, 2016.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[4] Jake Snell, Kevin Swersky, and Richard Zemel. Prototypical Networks for Few-shot Learning. In Advances in Neural Information Processing Systems, Vol. 30, pp. 4077-4087, 2017.

[5] Zhi-Xiu Ye and Zhen-Hua Ling. Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 28722881, 2019.

[6] Shengli Sun, Qingfeng Sun, Kevin Zhou, and Tengchao Lv. Hierarchical Attention Prototypical Networks for FewShot Text Classification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 476-485, 2019.

[7] Tianyu Gao, Xu Han, Zhiyuan Liu, and Maosong Sun. Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 64076414, 2019.

[8] Yujia Bao, Menghua Wu, Shiyu Chang, and Regina Barzilay. Few-shot Text Classification with Distributional Signatures. In Proceedings of the Eighth International Conference on Learning Representations, 2020.

[9] Rishabh Misra. News Category Dataset, 2018.

[10] Xu Han, Hao Zhu, Pengfei Yu, Ziyun Wang, Yuan Yao, Zhiyuan Liu, and Maosong Sun. FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4803-4809, 2018.

[11] Oriol Vinyals, Charles Blundell, Timothy Lillicrap, koray kavukcuoglu, and Daan Wierstra. Matching Networks for One Shot Learning. In Advances in Neural Information Processing Systems, Vol. 29, pp. 3630-3638, 2016.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.
[13] Dan Hendrycks and Kevin Gimpel. Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear Units. CoRR, 2016.

[14] Pengyu Cheng, Martin Renqiang Min, Dinghan Shen, Christopher Malon, Yizhe Zhang, Yitong Li, and Lawrence Carin. Improving Disentangled Text Representation Learning with Information-Theoretic Guidance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7530-7541, 2020.

[15] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15, 2015.

[16] Flood Sung, Yongxin Yang, Li Zhang, Tao Xiang, Philip H. S. Torr, and Timothy M. Hospedales. Learning to Compare: Relation Network for Few-Shot Learning. In Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1199-1208, 2018.

[17] Victor Garcia Satorras and Joan Bruna Estrach. Few-Shot Learning with Graph Neural Networks. In Proceedings of the Sixth International Conference on Learning Representations, 2018.

[18] Chelsea Finn, Pieter Abbeel, and Sergey Levine. ModelAgnostic Meta-Learning for Fast Adaptation of Deep Networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70, pp. 1126-1135, 2017.

[19] Zhenguo Li, Fengwei Zhou, Fei Chen, and Hang Li. MetaSGD: Learning to Learn Quickly for Few Shot Learning. CoRR, 2017.

[20] Antreas Antoniou, Harrison Edwards, and Amos Storkey. How to train your MAML. In Proceedings of the Seventh International Conference on Learning Representations, 2019.

[21] Marcin Andrychowicz, Misha Denil, Sergio Gómez, Matthew W Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, and Nando de Freitas. Learning to learn by gradient descent by gradient descent. In Advances in Neural Information Processing Systems, Vol. 29, pp. 39813989, 2016.

[22] Sachin Ravi and Hugo Larochelle. Optimization as a Model for Few-Shot Learning. In Proceedings of the Fifth International Conference on Learning Representations, 2017.

[23] Ke Li and Jitendra Malik. Learning to Optimize. In Proceedings of the Fourth International Conference on Learning Representations, 2016.


# 自然言語処理技術による SDGs 関連特許技術の「見える化」

前原 義明久々宇 篤志喜部
一般財団法人 日本特許情報機構
\{yoshiaki_maehara, atsushi_kuku, yoshiyuki_osabe\}@ japio.or.jp

## 1 はじめに

SDGs とは「Sustainable Development Goals (持続可能な開発目標)」の略称であり，2015 年 9 月の国連サミットで採択された,国連加盟 193 力国が 2016 年から 2030 年の 15 年間で達成するために掲げた目標である [1].SDGs は以下の通り，17 の大きな目標と，光れらを達成するための具体的な 169 のターゲットで構成されている。

图 1 持続可能な開発目標

機械学習を用いたSDGs 関連の文章分類についてはいくつかの先行研究があるものの ( [2], [3]), 特許文献をSDGs の観点から分類した先行研究は，今まで存在しなかった.すなわち，SDGsの実現には技術イノベーションが不可欠であるものの, 現状では SDGs 関連技術がどこ (国や企業) にどの程度あるのか不明であった [4] .

本研究では，自然言語処理技術である BERT [5]，及び, 日本特許情報機構 (以下、「弊機構」という) が所有する日本国特許公報を用いて，我が国におけるSDGs 技術の「見える化」について取り組んだ .

## 2 分析手法

## 2.1 解析モデル

本研究においては，機械学習モデルとして BERT を採用した．BERT とはマスク語予測 (Masked Language Model) と次文予測 (Next Sentence Prediction) という 2 つのタスクでトレーニングされた, 双方向性を持つ Transformer であり, 感情分析や文章分類等の特定タスクに応用した場合に，少ないコーパスで非常に高い精度が達成できるのが特徵である。

本研究においては, まず, 東北大学か開発・配布している日本語 BERT [6]の最下層に 17 クラスの分類層を追加することによってモデルを作成した . なお，タスクはシングルラベルタスクとし，最終層の出力は Softmax 関数で正規化されている.

## 2.2 訓練データ

本研究では，BERT を用いるため，訓練データとなるコーパスのサイズは光れほど大きくなくてもよい.光のため，目視で収集した各 SDGs に関連する約 150 個の文章を訓練データとして採用した .

## 2.3 分析データ

弊機構が所有する日本国特許公報に対して分析を行った。なお，東北大学が配布する日本語 BERT モデルの入力層は入力トークン列が 512 と固定されているため特許の特徴が現出しやすい「発明の課題」 についての記載がある箇所を，部分選択的に BERT に読み込ませた。

## 2.4 訓練及び分析対象

交差エントロピーを損失関数とし，100 エポック訓練を行ったモデルで分析を行った . Softmax で正規化された各ラベル (ゴール) の推定確率のうち，最も確率が高かったラベルを光の特許文献のラベルとして採用した . 訓練後におけるモデルの精度検証は，交差検証（クロスバリデーション）ではなく，訓練データ自身の精度をみたがラベル正解率 $100 \%$ であった。

## 3 結果及び考察

2010 年以降に出願された特許出願の特許公報の全てにラベルを付与した結果, SDGs のラベルは図 2 に示す分布で付与された。

図 22010 年以降に出願された日本国特許公報に付与された SDGs ラベル (縦軸) の分布 (件数)

この結果から，17 個ある SDGs ゴールのうち, 特許が貢献できるものは, 目標 2 (飢餓をゼロに), 目標 3 (すべての人に健康と福祉を), 目標 6 (安全な水とトイレを世界中に), 目標7 (エネルギーをみんなに光してクリーンに), 目標9（産業と技術革新の基盤をつくろう), 目標 11 (住み続けられるまちづくりを),目標 13 (気候変動に具体的な対策を) であることがわかった .これは, WIPO (世界知的所有権機関) によって，特許が寄与できる SDGs のゴー ルとして挙げていたもの [7]とおおむね整合するも
のである．

また, 各目標に対応する特許として抽出されたものをサンプル的に抽出すると，表 1 の通りになる．

表 1 各SDGs に対応する特許文献の例

 \\

 \\

そして，モデルの推定精度を検証するために，各ゴールにつき，Softmax で正規化された推定值が高い順に 100 件, 目視で推定が正解かどうか確認を行つた.

目標 $2 ， 3 ， 6 ， 7 ， 8 ， 9 ， 11$ については，推定値が高いものについては問題なく推定できていた.しかし, 目標1 (貧困をなく光う), 等の科学技術が設定する課題として光ぐわないものについては，推定度が高いものであってもほとんどがノイズであった.また,目標4（質の高い教育をみんなに）については，「学習」という単語に引きずられて，機械学習に関する特許文献がノイズとして混入していた。 また,目標13についても,「温度」という単語に引きずられたためか、空気調和機に関する特許文献が多数混入していた。

今後はコーパスを増強するか，モデルに特許ドメインに特化した BERT を用いるなどして, 分類精度の向上を図っていきたい.

## 参考文献

1. United Nations. THE 17 GOALS. (オンライン) (引用日: 2020 年 12 月 24 日.) https://sdgs.un.org/goals. 2. 張金盖. SDGs 日本語データセット及び分類タスクベースラインの作成. 出版地不明 : 一般社団法人人工知能学会, 2020.

3. MedinaRodríguezSamuel. Multi-Label Text Classification with Transfer Learning for Policy Documents. 出版地不明 : UPPSALA UNIVERSITET, 2019.
4. 日本経済新聞社. 国連の開発目標と知財関連技術、特許で可視化を. 2018 年.

5. DevlinJacob. Pre-training of Deep Bidirectional Transformers for Language Understanding. 出版地不明 : arXiv, 2018.

6. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models released / 日本語 BERT モデル公開. (オンライン) 2019 年 12 月 13 日. (引用日: 2020 年 12 月 24 日.) https://www.nlp.ecei.tohoku.ac.jp/newsrelease/3284/

7. WIPO. The Impact of Innovation: WIPO and the Sustainable Development Goals. (オンライン) (引用日: 2020 年 12 月 24 日.)

https://www.wipo.int/sdgs/en/story.html.