# 発話の交換を考慮した 対話システムにおけるユーザ感情推定手法の検討

宮川由衣 ${ }^{1}$ 加藤大貴 ${ }^{2,1}$ 松平茅隼 ${ }^{1}$ 平山高嗣 3,1 駒水孝裕 1 井手一郎 ${ }^{1}$
1 名古屋大学 2 名城大学 3 人間環境大学
\{miyakaway, katoh, matsuhirac\}@cs.is.i.nagoya-u.ac.jp
t-hirayama@uhe.ac.jp
taka-coma@acm.org
ide@i.nagoya-u.ac.jp

## 概要

非タスク指向対話システムは目標が明確でないため，システムの性能を評価することが難しい. システムの究極の目標はユーザの満足であるため, 対話におけるユーザの感情遷移が重要な指針となる。 そこで我々は，対話システムと人との対話の様子を収めたマルチモーダルコーパスを使用し, システム発話に対するユーザの感情推定モデルを構築している. 本発表では，その際に 1 つの発話のみでなく, どれだけ過去の発話が重要であるか検討した結果を報告する. 具体的には，心象アノテーションと発話の書き起こしを用いて BERT モデルを Fine-tuning した. 実験の結果，システム発話とユーザ発話との対に加えて1つ過去のユーザ発話まで考慮することで，最高 0.89 の F1 スコアを達成した.

## 1 はじめに

自然言語処理や音声認識の発達に伴い，Amazon 社の Alexa [1] や Apple 社の Siri [2] などの音声対話システムが実用化されている.また，チャットボットやオープンドメイン対話システムなど、非タスク指向の対話システムの開発にも大きな関心が寄せられている. 非タスク指向対話システムの品質向上はユーザの対話体験にとって重要であるが，タスクの達成のような目標が明確でないため，システムの性能評価が難しい、ユーザが対話に満足しているか, システムとストレスなく対話できているかは，対話システムの性能について考える際に重要な要素であることから，対話によるユーザの感情遷移を自動的に推定することができれば，重要な指針となると考えられる。
そこで本研究では，発話の書き起こしのみから， システム発話に対するユーザの感情を推定するモデルを提案する。一般に，対話においてはユーザの感情は 1 つの発話のみに明確に表れるとは限らず，それまでの対話の流れに影響される。そのため本研究では，過去の発話も考慮したモデルを構築する. そして，どれだけ過去の発話まで考慮した場合にユー ザの感情を最も良く推定できるかを実験的に明らかにする.

以降，まず 2 節で関連研究を，3 節で使用するコーパスを各々紹介する。次に 4 節でコーパスへの感情ラベルの付与について，5 節で提案手法について各々述べる. 最後に 6 節で実験について報告し， 7 節で本論文をまとめ，今後の課題について述べる.

## 2 関連研究

Wei ら $[3,4]$ や Hirano ら [5] は, 対話システムと人との対話の様子を収めたマルチモーダルコーパス $[6,7]$ を使用し，対話システムとの対話におけるユーザの内的状態を推定している. Wei ら [3] は，音響特徴, 視覚特徴, 言語特徴を RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), GRU（Gated Recurrent Unit）に入力し，システム対話におけるユーザの満足度を認識するマルチモーダルモデルを提案している。さらに，対話全体におけるユーザの感情と， 1 対の受け答え（以下，交換）におけるユーザの感情の関係も分析している [4]. 一方 Hirano ら [5] は，弱教師付き学習とマルチタスク学習を融合することで, 心象アノテーションの信頼性の低さやデータ数の少なさを解決している.

しかし，これらの研究では，過去の発話を考慮することによるユーザの感情の推定性能への影響は検
討されていない.

## 3 対話コーパス

本研究では，先行研究 $[3,4,5]$ で用いられている対話コーパス (Hazumi）[6,7]に含まれる 3 つのデー タセット Hazumi1712, Hazumi1902, Hazumi1911を使用する．以下，これらについて紹介する。

## 3.1 対話の収録

対話システムを模擬して，Wizard-of-Oz 方式により別室から人が操作 ${ }^{1)} し$, 実験参加者が対話システムと雑談する様子を 1 名あたり約 15 分間収録している. 各データセットは, ビデオカメラと Microsoft Kinect センサにより記録された参加者の行動や表情, さらにシステムと参加者の発話の書き起こしを収録している。

使用するデータセットのうち, Hazumi1712では,事前にいくつかの話題に対する参加者の興味の有無を調査した上で, 参加者の興味がある 3 話題と興味がない 3 話題をとりあげて対話が行なわれている.話題の例としてはスポーツ，ドラマ，芸能人，ゲー 厶，電車などがある．参加者は 20 代から 50 代の男女29名（男性 14 名，女性 15 名）である.

一方, Hazumi1902 と Hazumi1911では, 参加者が楽しんでいる時間が長くなるように話題を調整しながら対話が行なわれている. Hazumi1712 との違いは，参加者がある話題に興味を示さなかった場合に，対話システムが別の話題に変えている点である. 参加者は 20 代から 70 代の男女 60 名（男性 25 名，女性 35 名）である.

## 3.2 心象アノテーション

これらのデータセットには，参加者とは別のアノテータ 5 名により心象アノテーションが付与されている.アノテーションの付与単位は発話における 1 交換（あるシステム発話開始時刻から次のシステム発話開始時刻まで）である.アノテータは対話の様子を記録した映像を始めから順番に視聴しながら，参加者のシステム発話に対する感情について，各交換に対して 7 段階で付与している. ここで， 1 がネガティブ（楽しくない，話し続けたくない，不満, 困惑など), 7 がポジティブ (楽しい, 話し続けたい，満足など）である.

1）人間のオペレータが遠隔から，実験参加者の様子を見ながら専用のインタフェースを通じて，システムの応答を選択.

図 1 付与されたユーザ感情ラベルの分布

## 4 ユーザ感情ラベルの付与

本研究では, ネガティブ, ニュートラル，ポジティブの3クラス分類を行なう．そのために，アノテータ 5 名分の心象アノテーションを集約することで得られる3クラスのラベルをユーザ感情ラベルと定義する. 各交換に対してユーザ感情ラベルを付与する際に，以下の 2 種類の方法を検討する。

平均ラベル法アノテーションの平均をとる方法である. 5 名分の心象アノテーションの平均をとり, 先行研究 $[5,8]$ に倣い, 3.5 未満はネガティブ, 4.5 以上はポジティブ，その他はニュートラルに分類する.

多数決ラベル法アノテーションの多数決をとる方法である. 平均ラベル法でアノテーションがポジティブとネガティブに分かれた場合にニュートラルに分類されてしまう問題の解消を目的とする． 5 名分の心象アノテーション各々について, 3.5 未満はネガティブ， 4.5 以上はポジティブ，その他はニュー トラルに分類した後， 3 つ以上一致したラベルに分類する.

7,743 交換に対して，平均ラベル法と多数決ラベル法各々によるユーザ感情ラベルの分布を図 1 に示す. なお，多数決ラベル法で 3 つ以上一致するラべルがなかった交換は削除したため，同法については合計 7,306 交換になった.

## 5 感情推定モデルの構築

感情推定モデルを構築する際に, 学習データ数の少なさを考慮して，少数のデータでも高精度の分類が期待できる事前学習済み BERT (Bidirectional Encoder Representations from Transformers) [9] の Fine-
表 1 学習データの例

 &  & ニュートラル & ポジティブ \\

図 2 Token type IDs の使用例

tuningを行なう.

ここでは，あるシステム（ユーザ）発話開始時刻から次のユーザ（システム）発話開始時刻までを 1 発話と定義し，モデルへの入力単位は，連続する $N$発話を連結したものとする. $N=1$ のとき入力単位は最後のユーザ発話のみとなり, 過去の発話を考慮しない条件と等価である. システム発話とユーザ発話の間には文章の区切りを表す [SEP] トークンを挿入する. $N=3$ 以上の場合には最後の交換に付与されたユーザ感情ラベルを使用する. 表 1 は $N=2$ 及び $N=4$ における学習データの例である.ここで， 3 列目の「sys」はシステム発話，「user」はユーザ発話を表す.

また，ユーザ感情ラベルには最後のユーザ発話の影響が大きいという仮説のもと，最後のユーザ発話を明確化することを目的とし，入力を Encode する際に Token type IDs を付与する. 図 2 は表 1 における連結数 $N=4$ の ID 2 に対する Token type IDsの例である. 最後のユーザ発話に 1 を付与し，その他には 0 を付与する。

## 6 実験

4 節の方法で，対話の様子を収録した映像を視聴して付与された心象アノテーションに基づいて定義したユーザ感情ラベルについて，発話の書き起こしのみから推定するという問題設定で，分類実験を行なった.

## 6.1 実験条件

ユーザ感情ラベルを付与した書き起こしデータを $8: 1: 1$ の比率に分け, それぞれ学習データ，検証データ，テストデータとした. この学習データと検証データを用いて, 日本語の感情分析データによって事前学習された BERT モデル [10] を Fine-tuning した.

発話の連結数 $N$ について, $N=1,2,3,4,6,10$ の 6 通り測定して，結果を比較した. 更に，直近のシステム発話 1 発話のみを入力とした場合の結果も比較した。

## 6.2 ベースラインモデル

ベースラインモデルとして，ML-Ask [11] を用いた. これは, 感情表現辞典 [12] に基づく2,100 の感情語によるパターンマッチングを行なうことで 10 種類の感情（怒，哀，怖，厭，昂，驚，恥，喜，好，安）を推定し，推定した感情に基づいて 3 クラス分類を行なうモデルである．具体的には，入力されたテキストはネガティブ (怒，哀，怖，厭），ニュートラル (昂，驚，恥)，ポジティブ（喜，好，安）の感情語の個数に応じて 3 クラスのいずれかに分類される。

本実験では，感情語が存在しないために分類できなかったものは全てニュートラルに分類した.

連結数 $N=1,2$ のテストデータに対してユーザ感情ラベルを推定し，その分類性能を評価した。
表 23 クラスの平均 $\mathrm{F} 1$ スコア

## 6.3 実験結果

実験結果として，3つの感情クラスの平均 F1 スコアを表 2 に示す. 3 列目がユーザ感情ラベル付与に平均ラベル法を採用した場合の F1 スコア， 4 列目が多数決ラベル法を採用した場合の F1 スコアである.また，「1 (sys)」はシステム発話のみを入力単位とした場合，「1 (user)」はユーザ発話のみを入力単位とした場合を表している。各方法で最高の F1 スコアを太字で示した. 平均ラベル法では $N=2$ と $N=3$ の場合のスコア（0.83）が，多数決ラベル法では $N=3$ の場合のスコア（0.89）が最高であった.一方， $N=6$ 以上連結した場合や，ML-Ask モデルで分類した場合には性能が低かった. また，平均ラべル法と比較して多数決ラベル法の方が総じて良い性能を得られた。

## 6.4 考察

ML-Ask モデルの性能が低かったのは，テストデータ中に感情語が存在しない発話が多かったためと考えられる．1交換 $(N=2)$ において，感情語が存在しない交換は平均ラベル法では 774 交換中 513 交換，多数決ラベル法では 731 交換中 482 交換であった。辞書を使用する手法では，辞書に含まれない感情語を発している場合や明確にポジティブ／ ネガティブな単語を発していない場合の感情推定に限界があるため，機械学習による手法より劣ると言える。

また，平均ラベル法と比べて多数決ラベル法の方が良い性能を得られた. これは，心象アノテーションを閾値処理して得た感情ラベルが 3 つ以上一致しないような，感情が明確でない交換が，多数決ラべルにおいて除外されたためであると考えられる.

また表 2 において，平均ラベル法と多数決ラベル法どちらの場合でも「1 (sys)」よりも「1 (user)」の方が性能が高くなった. このことから，ユーザ感情表 34 発話における感情クラス別の F1 スコア

ラベルにはシステム発話と比較してユーザ発話の影響が大きいことが分かる.

表 3 に提案手法において $N=4$ とした場合のクラス別の F1 スコアを示す. ポジティブやニュートラルと比較してネガティブの性能が低いことが分かる.この原因として，対話内で明確にネガティブな言葉（嫌い，つまらないなど）がほぼ発されないため，他クラスよりも推定が難しいことや，他クラスと比較してデータ数が少ないため，十分に学習できていないことなどが考えられる（図 1 参照）、ネガティブクラスに対する分類性能の向上は今後の課題である.

## 7 おわりに

本研究では，システム発話に対するユーザの感情を推定するモデルを提案した。

Hazumi データセットの心象アノテーションに基づいて，2 種類の方法で 3 クラスのユーザ感情ラベルを付与し，このラベルと発話の書き起こしを用いて BERT モデルを Fine-tuning した. 入力単位とする発話の連結数を変えてモデルをそれぞれ学習し，感情クラス分類の性能を比較した。

実験の結果，平均ラベル法では入力単位を 2 発話及び 3 発話とした場合，多数決ラベル法では 3 発話とした場合に最高の F1 スコアが得られ，過去の発話を考慮することで分類性能が向上する可能性が示唆された。

分類性能向上のための今後の課題として，発話の連結方法の改善が挙げられる. 例えば，Token type IDs の拡張による全ての発話の区切りの明確化や,最後の発話に対する重み付けが考えられる。

また，状況に応じた発話の連結数の切り替えも挙げられる。例えば，話題が切り替わった際には過去の発話を連結しない，発話が短い場合にのみ過去の発話も連結する，などが考えられる。

更に，今後は画像，音声， 3 次元動作などのデー タも加えてマルチモーダルな分析を行なっていきたい.

## 謝辞

本研究の一部は，JSPS 科研費 JP22H03612 の助成を受けたものである.

## 参考文献

[1] Amazon.com, Inc. Amazon Alexa, (2023-1-9 閲覧). https://www . amazon.co.jp/b?node=10406417051.

[2] Apple Inc. Siri, (2023-1-9 閲覧). https://www.apple. com/jp/siri/.

[3] Wenqing Wei, Sixia Li, Shogo Okada, and Kazunori Komatani. Multimodal user satisfaction recognition for nontask oriented dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 586-594, 2021.

[4] Wenqing Wei, Sixia Li, and Shogo Okada. Investigating the relationship between dialogue and exchange-level impression. In Proceedings of the 2022 International Conference on Multimodal Interaction, pp. 359-367, 2022.

[5] Yuki Hirano, Shogo Okada, and Kazunori Komatani. Recognizing social signals with weakly supervised multitask learning for multimodal dialogue systems. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 141-149, 2021.

[6] 駒谷和範. マルチモーダル対話コーパスの設計と公開. 日本音響学会誌, Vol. 78, No. 5, pp. 265-270, 2022.

[7] 大阪大学産業科学研究所. マルチモーダル対話コー パス (Hazumi),(2023-1-6 閲覧).https://www.nii. ac.jp/dsc/idr/rdata/Hazumi/.

[8] Yuki Kubo, Ryo Yanagimoto, Hayato Futase, Mikio Nakano, Zhaojie Luo, and Kazunori Komatani. Team OS's system for dialogue robot competition 2022. Computing Research Repository arXiv Preprint, arXiv:2210.09928, 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, In Proceedings of the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[10] daigo. bert-base-japanese-sentiment, (2023-1-6 閲覧). https://huggingface.co/daigo/ bert-base-japanese-sentiment.

[11] Michal Ptaszynski, Pawel Dybala, Wenhan Shi, Rafal Rzepka, and Kenji Araki. A system for affect analysis of utterances in Japanese supported with Web mining. 知能と情報, Vol. 21, No. 2, pp. 30-49, 2009.

[12] 中村明. 感情表現辞典. 東京堂出版, 1993.


# A Study on Subjectivity-oriented Polarity Classification

Na Dong Kiyoaki Shirai
Japan Advanced Institute of Science and Technology
\{s2010417,kshirai\}@jaist.ac.jp
}

\begin{abstract}
This paper presents two methods of document-level polarity classification that consider the subjectivity of sentences, which is based on the idea that subjective sentences in a document play a more important role than objective sentences. The first method determines the polarity of a document by weighted voting of the polarity of sentences in it, where the weights are defined as the intensity of the subjectivity. The second method utilizes pre-trained language models such as BERT and XLNet after objective sentences are filtered out. The effectiveness of these two methods is empirically evaluated on two datasets.
\end{abstract
## 1 Introduction

Polarity classification, which is a kind of sentiment analysis (SA), is a task to classify a given text into polarity, i.e. to judge whether a text expresses positive or negative opinions [1]. A text for polarity classification can be a document, sentence, or aspect, but this study focuses on document-level polarity classification. A typical example is the classification of the polarity of user reviews.

In general, there are two kinds of sentences in user reviews. One is a subjective sentence that expresses the writer's emotion or opinion, the other is an objective sentence that refers to objective facts. Intuitively, subjective sentences play a more important role than objective sentences in polarity classification. It would be helpful to filter out objective sentences or put more priority on subjective sentences in order to improve the performance of polarity classification. Subjectivity is also considered in past studies of SA, such as a subjectivity classification task, but it is not paid much attention in polarity classification.

The goal of this study is to propose two methods of document-level polarity classification that heavily considers the subjectivity of the sentences. One is an approach to determine the polarity of an overall document by vot- ing of the polarity of sentences in it where the polarity of the subjective sentences are highly weighted. The other is an approach to use pre-trained language models such as BERT[2] and XLNet[3] with filtering of the objective sentences.

## 2 Related work

The subjectivity of the sentences has been considered in polarity classification in a few previous studies. Pang and Lee proposed a method to extract only subjective sentences from a document by using a minimum cut framework, then classify the polarity of the extracted document by naive Bayes model [4]. Their results of experiments demonstrated that the document consisting of only subjective sentences was not only shorter but also more effective than the original document, namely the accuracy of the polarity classification was significantly improved. Sindhu et al. proposed a similar method consisting of subjectivity classification and polarity classification [5]. The subjectivity classification was performed to filter out objective sentences, then the polarity classification was carried out using only subjective sentences. The subjectivity was also considered in a wide variety of sentiment analysis, e.g. extraction of aspect and opinion words. Kamal proposed a method to extract pairs of features (aspects) and opinions by combining supervised machine learning and rule-based approaches [6]. The subjectivity of sentences in texts is classified first, then feature-opinion pairs are mined from only the subjective sentences by a rule-based method.

This study shared the basic idea with Pang's and Sindhu's methods: subjective sentences are more important in polarity classification. Although the objective sentences are just ignored in their methods, we suppose that the objective sentences have less but also useful information for polarity classification. Therefore, this study investigates the way to use both subjective and objective sentences with priority on the former.

Figure 1 Overview of subjectivity weighted voting

Recently, BERT has been applied for many tasks of natural language processing (NLP) and often achieved stateof-the-art results. Inspired by the success of pre-trained language models, Pota et al. proposed a two-step approach for polarity classification of tweets posted on Twitter [7]. First, tweets including special tokens of Twitter were converted into plain texts using a language-independent or easily adaptable process for different languages. Second, the polarity of the converted tweets was classified using the language model BERT. This paper also explores how to use pre-trained language models. Furthermore, we investigate how subjective and objective sentences can be handled to improve the performance of polarity classification by language models.

## 3 Proposed method

This section explains the details of two proposed subjectivity-oriented polarity classification methods.

## 3.1 Polarity Classification by Subjectivity Weighted Voting

Our first method classifies the polarity of a given document by voting of the polarity of each sentence where the subjective sentences are more heavily considered. The overview of this method is shown in Figure1. It is implemented by the following steps.

1. Data preprocessing. Tokenization, lemmatization, and removing stop words are performed as preprocessing.

2. Polarity classification of each sentence. For each sentence in a review, the polarity of it is classified by the supervised machine learning model.

3. Subjectivity classification of each sentence. For each sentence, a subjectivity score, i.e. intensity of the subjectivity, is calculated by the supervised machine learning model.
4. Voting. The polarity of the overall review is determined by the weighted voting of the polarity classes of the sentences, where the weight is defined as the subjectivity score of each sentence.

Since our goal is document-level polarity classification, we suppose that a collection of documents (reviews) annotated with their polarity is available as the training data. In the step 2, to train the sentence-level polarity classifier, we automatically assign the same polarity label for each sentence as that of the review. That is, all sentences in a positive (or negative) review are classified as positive (or negative) sentences. Then the sentence-level polarity classifier ("Pol-CL" in Figure 1) is trained from this dataset.

In the step 3, we suppose that a dataset of sentences annotated with the subjectivity labels ("subjective" or "objective") is available. The subjectivity classifier ("Sub-CL" in Figure 1) is trained from the subjectivity dataset. Then, the probability of the classification predicted by the classifier is used as the subjectivity score of the sentence.

An illustrative example of this method is shown in Figure 2. The example review, whose gold label is "positive", consists of five sentences. The simple voting wrongly classifies it as "negative", since the number of negative sentences is more than that of the positive sentences. On the other hand, the proposed method classifies it as "positive", since the sum of the subjectivity score for positive sentences is greater than that of negative sentences.

 & positive & 0.647 \\

everybody.

Simple voting:

Count $_{\text {pos }}=2<$ Count $_{\text {neg }}=3 \Rightarrow$ negative

Proposed method:

Score $_{\text {pos }}=1.429>$ Score $_{\text {neg }}=1.263 \Rightarrow$ positive

Figure 2 Example of polarity classification

## 3.2 Polarity Classification by Pre-trained Language Model with Subjectivity Filtering

Our second method mainly relies on the pre-trained language model. We use two common language models: BERT and XLNet. In addition, we incorporate a filtering mechanism to use only subjective sentences for polarity classification. The document-level polarity classifier is trained by the following steps.

1. Data preprocessing. It is the same as the one in Subsection 3.1.

2. Subjectivity filtering. Each sentence is classified whether it is subjective or objective. Then the objective sentences are discarded and only subjective sentences are retained. We call a set of remaining subjective sentences as "pseudo review".

3. Fine-tuning. Using the pseudo reviews as the training data, we fine-tune BERT or XLNet model. Although the pseudo review consists of several sentences, we treat it as a single sentence.

In the test phase, an input pseudo review is obtained by the same preprocessing and filtering, or the original review is just used as an input. Then, the polarity is classified by the fine-tuned BERT or XLNet.

## 4 Evaluation

This section reports several experiments for the evaluation of our proposed methods.

## 4.1 Dataset

The following two datasets are used for the experiments.

IMDB Review Dataset IMDB Review Dataset [8] is a collection of 50,000 movie reviews. Each review is annotated with binary polarity labels: positive or negative. In this experiment, $25 \mathrm{~K}$ reviews are used as the training data, while the rest of $25 \mathrm{~K}$ reviews are used as the test data.

Amazon review dataset Amazon review dataset [9] is a collection of user reviews posted to the EC website Amazon. There are 35 million reviews for 18 years, up to March 2013. Each data includes a product name, user information, a rating, and a user review as plain text. The reviews with rating 4 or 5 are used as positive reviews, while 1 or 2 as negative reviews. We use the same number of reviews as the IMDB dataset, i.e. we randomly choose $25 \mathrm{~K}$ reviews as the training data and another $25 \mathrm{~K}$ reviews as the test data.

Besides, the following dataset is used to train the subjectivity classifier.

Subjectivity datasets Subjectivity datasets [10] include 5,000 subjective sentences excerpted from the movie review website and 5,000 objective sentences excerpted from IMDB plot summaries. Each line in the file of this dataset corresponds to a single sentence or snippet, and all sentences or snippets are downcased. Only sentences or snippets containing at least 10 tokens were included. The subjectivity labels of the sentences and snippets were automatically assigned.

Note that the subjectivity classifier trained from this dataset is used for the polarity classification in the aforementioned two polarity datasets. The domain of the IMDB dataset is the same as the subjectivity dataset (i.e. the movie review), but that of the Amazon dataset is different. It may degrade the classification performance on the Amazon dataset.

## 4.2 Result

## 4.2.1 Result of Subjectivity Classification

First, we analyze the performance of subjectivity classification. Three classifiers are compared: Support Vector Machine (SVM) using bag-of-words features, BERT and XLNet. Table 1 shows the accuracy of these classifiers ${ }^{1)}$. It is found that XLNet performs the best and its accuracy is 0.96. In the rest of the experiments, this XLNet model is used as the subjectivity classifier.

Table 1 Accuracy of subjectivity classification

## 4.2.2 Results of Subjectivity Weighted Voting

We evaluate the method using the subjectivity weighted voting explained in Subsection 3.1. Our method "Weighted Voting" is compared with two baselines: "Sub. Only Voting" where the objective sentences are removed and the polarity is determined by voting of the polarity of the subjec-

tive sentences ${ }^{2}$, and "Simple Voting" where the polarity is determined by voting without considering the subjectivity scores. Table 2 reveals the accuracy on the IMDB dataset when BERT and XLNet are used as the base polarity classifier ${ }^{3)}$.

Table 2 Accuracy of polarity classification by subjectivity weighted voting (IMDB dataset)

"Sub. Only Voting" is obviously worse than other methods, indicating that it is not good to totally ignore objective sentences. Our method outperforms the "Simple Voting" baseline for both BERT and XLNet, however, the improvement of the BERT model is rather small. On the other hand, significant improvement is found for XLNet, and our method with XLNet achieves the highest accuracy 0.853 .

## 4.2.3 Results of Language Model with Sub. Filter- ing

We evaluate the proposed method using the pre-trained language models with the subjectivity filtering explained in Subsection 3.2. In this method, only the subjective sentences are used for training the polarity classification. For comparison, we also evaluate the method using all (both subjective and objective) sentences and only objective sentences in each training and test data. Table 3 shows the accuracy on the IMDB and Amazon datasets. The system using $\mathrm{S}+\mathrm{O}$ (subjective and objective sentences) as the training and test data is the baseline that simply applies BERT or XLNet without filtering ("BL" in Table 3), while the systems using $\mathrm{S}$ (subjective sentences) as the training data and $\mathrm{S}+\mathrm{O}$ or $\mathrm{S}$ as the test data are our proposed systems ("PRO1" or "PRO2"). The best system among ones trained from the same training data is indicated in bold.

As for the IMDB dataset, BERT always achieves better accuracy than XLNet. When the settings (S+O, $\mathrm{S}$, or $\mathrm{O}$ ) of the training and test data are the same, the accuracy becomes the highest. It seems reasonable because the classifiers are fine-tuned using the training data obtained

2) It is a similar approach of previous work $[4,5]$ that filtered out objective sentences.

3) We did not evaluate the methods using the Amazon dataset, since the accuracy was much worse than our second method as reported in 4.2.3.
Table 3 Accuracy of polarity classification by language models

by the same filtering strategy as the test data. The baseline achieves the best accuracy, 0.997 . Thus the filtering of the objective sentences is not effective in the IMDB dataset.

As for the Amazon dataset, BERT is slightly better than XLNet but they are almost comparable. Comparing the settings of the test data, the systems using subjective and objective sentences $(\mathrm{S}+\mathrm{O})$ are always the highest, following only $\mathrm{S}$ and only $\mathrm{O}$. In the test data, the subjective sentences seem more effective than the objective sentences, but the latter also includes some useful information. The best system is one of our proposed methods where $\mathrm{S}$ is the training data and $\mathrm{S}+\mathrm{O}$ is the test data. It indicates that the removal of the objective sentences from the training data is effective to improve the quality of the polarity classifier using BERT.

Finally, it is found that the methods using the pre-trained language model (Table 3) are much better than the voting methods (Table 2) on the IMDB dataset. Those results prove that the pre-trained language model is powerful and effective for the polarity classification as reported in many previous papers on various NLP tasks.

## 5 Conclusion

This paper presented the methods of document-level polarity classification that consider the subjectivity of the sentences. The experimental results demonstrated that the weighting or filtering of the subjectivity sentences could improve the performance in some cases. However, our method did not always achieve the best performance on the IMDB dataset. In the future, we will investigate the major reason for it and explore a robust subjectivity-oriented method that can be effective for any datasets.

## References

[1] Valerio Basile, Nicole Novielli, Danilo Croce, Francesco Barbieri, Malvina Nissim, and Viviana Patti. Sentiment polarity classification at evalita: Lessons learned and open challenges. IEEE Transactions on Affective Computing, Vol. 12, No. 2, pp. 466-478, 2018.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[3] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R. Salakhutdinov, and Quoc V. Le. XLNet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[4] Bo Pang and Lillian Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts. arXiv preprint cs/0409058, 2004.

[5] C Sindhu, Binoy Sasmal, Rahul Gupta, and J Prathipa. Subjectivity detection for sentiment analysis on Twitter data. In Artificial intelligence techniques for advanced computing applications, pp. 467-476. Springer, 2021.

[6] Ahmad Kamal. Subjectivity classification using machine learning techniques for mining feature-opinion pairs from web opinion sources. arXiv preprint arXiv:1312.6962, 2013.

[7] Marco Pota, Mirko Ventura, Rosario Catelli, and Massimo Esposito. An effective BERT-based pipeline for Twitter sentiment analysis: A case study in Italian. Sensors, Vol. 21, No. 1, p. 133, 2020.

[8] Andrew Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies, pp. 142-150, 2011. https://ai.stanford.edu/ amaas/data/sentiment/index.html.

[9] Julian McAuley and Jure Leskovec. Hidden factors and hidden topics: Understanding rating dimensions with review text. In Proceedings of the 7th ACM Conference on Recommender Systems, pp. 165-172, 2013.

[10] Subjectivity datasets, (Accessed on Dec. 2022). https://www.cs.cornell. edu/people/pabo/ movie-review-data/.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 音声対話システムの対話破綻に対する ユーザの反応と個人特性との関連

坪倉和哉 1 武田拓也 ${ }^{2}$ 入部百合絵 2 北岡教英 3
1 愛知県立大学大学院 情報科学研究科 2 愛知県立大学 情報科学部
3 豊橋技術科学大学 情報 - 知能工学系
\{im212008,is191056\}@cis.aichi-pu.ac.jp
iribe@ist.aichi-pu.ac.jp kitaoka@tut.jp

## 概要

近年，対話システムが身近な存在になってきたが，同じ内容の質問を繰り返す，事実と異なる発言をする，などの対話破綻が依然として生じている。 そのため, 対話破綻検出の研究が行われているが, ユーザの対話破綻に対する反応の個人差については考慮されていない. そのような個人差は破綻検出精度を低下させる恐れがあるため, 生じる個人差を明らかにし，その要因を追求することは重要である.破綻時には怒りや困惑などの感情変化を引き起こす可能性があるため, 本研究では, 感情変化と関連の考えられる個人特性に着目し，対話破綻時のユーザの反応の個人差を分析した. 分析の結果, 開放性が低い人は, 破綻時に怒りや嫌悪の表情を強く表出するなど，破綻に対する反応の個人差がどの個人特性に現れるかが明らかとなった。

## 1 はじめに

近年, 自然言語処理や音声認識の技術の発展により, 対話システムが身近なものとなった。しかし，現状の対話システムでは, 人間同士の対話と同じように自然な対話ができているとは言い難い。特に， ユーザがシステムの発話に対して不適切な発話をしてしまう「対話破綻」が発生している [1]. 対話破綻はユーザの対話意欲を低下させ，システムに対する信頼感を損う可能性があるため, 対話破綻を検出することで, 破綻を事前に回避し, 修正する必要がある.これまで，テキストチャットにおける対話破綻を検出することを目的とした「対話破綻検出チャレンジ」[1] が開催され, 関連した研究が行われている. また, マルチモーダル情報を用いた対話破綻検出も研究されており, 対話破綻後のユーザのマル
チモーダル情報から，対話破綻か否かを識別している [2]. しかし, 従来のマルチモーダル情報を用いた対話破綻検出では, ユーザの個人差が考慮されてこなかった．先行研究において，対話破綻に対する非言語特徵には個人差が存在すると報告されている $[3,4]$. マルチモーダル情報の表出が個人によって異なれば破綻検出に大きな影響を及ぼす.

システムが破綻すると，ユーザは怒りや困惑の感情を示す可能性がある. そこで本研究では, 破綻に対する感情変化と関連の考えられる個人特性に着目し, 対話破綻に対するユーザの反応の個人差を分析する.これまで我々は，非言語情報の個人差を性格特性に着目して分析を行ってきた [5]. 本研究では,非言語情報に加えて言語情報の個人差も分析した. また, 個人差の要因として, 性格特性以外にも感情変化と関連の考えられる, 性別と社会的スキルも含めた。

以降，2 章では収集したデータについて述べる。次に, 3 章で収集したデータから, 対話破綻後のユーザのマルチモーダル特徴量の抽出を行う. 4 章では，マルチモーダル特徴量と個人特性との関連を分析し, 5 章で本稿をまとめる.

## 2 収集デー夕

本章では, 収集した対話データについて述べる.対話実験の参加者は, 愛知県立大学の学生 33 名 (男性 19 名，女性 14 名）である。

対話実験では実験参加者 1 名につき 3 セッション, 合計 99 セッションの対話を収録した。1 セッションにつき, 10 発話以上発話することを実験参加者に指示した．対話は雑談対話である．対話はシステム発話から開始され, 実験参加者が対話を終了したいと思ったタイミングで「さようなら」と発話す

図 1 構築した対話システム

ることで対話を終了した。なお，実験は，愛知県立大学の研究倫理審査委員会の承認を得て実施している.

## 2.1 実験に用いた対話システム

対話実験のために構築したシステムの概要を図 1 に示す. 本実験では, オンライン会議システムZoom を用いて遠隔で音声対話を行うため, 実験参加者の Zoom の音声を入力とする．実験参加者の Zoom の音声を仮想ミキサーにより抽出し, Google Cloud Speech-to-Text API により音声認識を行う. 音声認識結果は対話応答生成モデルの入力となる. 応答生成モデルには, 日本語 Transformer Encoder-decoder 対話モデル「japanese-dialog-transformers」[6]を用いた.応答生成モデルにより応答候補を生成した後, 過去と同じ応答の繰り返しを避けるため, フィルタリングを行った. 具体的には, 応答候補に含まれる単語の集合とそれ以前にシステムが行った発話のひとつひとつに含まれる単語の集合の Jaccard 係数を計算し, それらの最大值の類似スコアが 0.20 以上となる候補を除外した。閾值 0.20 は先行研究を参考にした [7]. 以上のように生成された応答発話テキストは対話エージェント（MMDAgent [8]）に送られ, 音声合成が出力される. Zoom では対話エージェントの動きと音声を画面共有により実験参加者に配信している.

## 2.2 対話の収録

対話実験では, Zoom の録画機能により, 実験参加者と対話システムとの対話を録画した。また，実験参加者の発話の音声認識結果とシステムの発話,
それらの発話時刻を対話ログとして記録した。さらに, 対話終了後に実験参加者本人がシステムの各発話に対して対話破綻か否かのラベルを付与した。アノテーションの基準は，システム発話に対して違和感や不適切さを感じた場合は「破綻」，それ以外は 「非破綻」と判断してもらった。

実験では, 1,085 発話のシステム発話とユーザ発話のペアを収集した。セッション毎の平均発話数は 11.0 発話であった。全体の破綻割合は, $24.3 \%$ (264 発話）であったが，個人毎の平均破綻割合は最小で $0.0 \%$, 最大で $63.0 \%$ あった。従って, 実験参加者毎の破綻割合に大きなばらつきがあることがわか $る^{11}$. どのシステム発話に対しても破綻と感じない実験参加者や半数以上の発話に対して破綻と感じる実験参加者がおり, 実験参加者によって破綻の起こりやすさや破綻への感度が異なることが示唆される.

## 2.3 個人特性に関するアンケート

3 セッションの対話が終了した後, 実験参加者の個人特性に関するアンケートを行った。具体的には, BigFive 性格特性と社会的スキルに関するアンケートを行った。

## 2.3.1 BigFive 性格特性

BigFive $^{2)}$ [9] の 5 つの特性を 10 項目で測定する日本語版 Ten Item Personality Inventory（TIPI-J）[10] の

1) より詳しい分析を付録 $\mathrm{A}, \mathrm{B}$ に掲載した.

2） パーソナリティの全体的構造を外向性 (Extroversion), 協調性 (Agreeableness), 勤勉性 (Conscienciousness), 神経症傾向 (Neuroticism), 開放性 (Openness) の 5 つの次元で捉えるモデル.
質問文を利用した。このアンケートにより, BigFive の各項目に対して 2 から 14 点の得点が得られる.

## 2.3.2 社会的スキル

実験参加者の社会的スキルを測定するために， KiSS-18 (Kikuchi's Scale of Social Skill: 18 items) [11] を用いてアンケートを行った。このアンケートでは 18 項目のアンケートにより, 社会的スキルを測ることができる。

## 3 マルチモーダル特徵量の抽出

本章では，対話破綻に対する反応を分析するため, 収集した対話データから, 対話破綻後の実験参加者のマルチモーダル特徴量の抽出を行う. マルチモーダル特徴量として, 言語特徴量, 音響特徴量,画像特徴量を抽出する.

## 3.1 言語特徵量

破綻したシステム発話の直後のユーザ発話から言語特徴量を抽出する. まず, 日本語形態素解析器 $\mathrm{MeCab}^{3}$ により, ユーザ発話を形態素に分解し, 品詞毎の割合を求める. 品詞には, 感動詞と接続詞を選択した。これらの特徴量を選択した理由は, 対話破綻時にユーザが話題を切り替えようとしたときに接続詞が増加したり, 破綻に対して感情を示す感動詞やフィラーが増加したりすると考えられるためである.

## 3.2 音響特徵量

対話システム発話終了後から次のシステム発話開始までの音声区間に対して音響特徵量を抽出した. 音響特徵量の抽出には OpenSMILE [12] を用いた。本研究では INTERSPEECH2009 Emotion Challenge feature set [13] で使用された音響特徴量セットから, 音声の大きさに関する RMSenergy の平均，声の高さに関連する $\mathrm{F} 0$ の平均を用いる。これらの特徴量により, 破綻に対してユーザが驚いたり怒ったりしたときの韻律の変化を捉える.

## 3.3 画像特徵量

画像特徴量は, Zoom の機能により録画した動画から抽出を行う，抽出区間は, システム発話開始から次のシステム発話開始までの区間である. 画像特徵量の抽出には OpenFace [14] を用い，フレーム毎

の ActionUnit 特徴量と頭の動きに関する特徴量を抽出した. ActionUnit（AU）は，顔の表情を記述するための動作単位で, P. Ekman \& W.V. Friesenにより提案された Facial Action Coding System（FACS）で採用されている特徴量である [15]. 本研究では, 先行研究 [16] で対話破綻検出に有効とされる AU2（眉の外側を上げる)，AU4（眉を下げる），AU6（頬を上げる), AU12（唇両端を上げる）を分析に用い，これらの $\mathrm{AU}$ の強度に対して, 全フレームの平均值を求めた. AU2 は驚き，AU4 は怒りや嫌悪, AU6 と AU12 は喜びの表出に関わる。また，頭の動きに関する特徵量には, 頭のピッチとヨーの全フレームの標準偏差偏差を求めた。これは, 頭の動きを用いて対話破綻検出を行っている先行研究 [4]を参考にした.

## 4 特徵量と個人特性との関連の分析

本章では対話破綻時の特徴量と個人特性との関連を分析する. 本研究では，対話における反応の個人差が現れると考えられる, 性別, 性格特性, 社会的スキルの 3 つを個人特性として扱う。

まず，非破綻時のデータを含む全データに対して, 個人毎に標準化を行った。これは, 非破綻時 （すなわち，違和感のない通常の対話時）にも特徴量には個人差が含まれると考えられるが，この影響を取り除き，破綻時における個人差を分析するためである。その後, 対話破綻時のマルチモーダル特徴量について各個人特性の得点上位群と下位群（性別は男性群と女性群）に分け，マン=ホイットニーの U 検定を行った。

表 1 に，検定の結果を示す。また，検定の結果，有意差または有意な傾向が確認された特徴量について, 各特徴量の上位群と下位群（性別は男性群と女性群）の平均値を表 2 に示す. 社会的スキルについては，どの特徴量にも有意差が確認できなかったため，表からは除外している。

言語特徴量では，接続詞において，開放性を除く 4 つ BigFive 性格特性の項目と性別との間に有意差が認められた。接続詞は言い換えたり, 話題を切り替えたりする役割を持つ。すなわち，システムが破綻したときに，実験参加者はシステムが前の実験参加者の発話を理解していないと考え，接続詞を用いることで，言い換えたり別の話題に切り替えたのではないかと推察される.よって, この結果は, 実験参加者の性格によって，システムの破綻後に実験参加者が取る対話戦略が異なることを示唆するもので
表 1 対話破綻に対する反応の個人差（表の数値は $p$ 值である．なお， 0.00004 以下は 0.000 と表示している.）

表 2 有意差が確認された個人特性の上位群と下位群の平均値（個人特性が性別の場合は，女性群と男性群）

} &  \\

\cline { 2 - 4 } & 外向性 & 0.051 & 0.013 \\
\cline { 2 - 4 } & 協調性 & 0.021 & 0.050 \\
\cline { 2 - 4 } & 勤勉性 & -0.034 & 0.079 \\
\cline { 2 - 4 } & 神経症傾向 & 0.066 & -0.034 \\
\cline { 2 - 4 } & 性別 & 0.028 & 0.125 \\
\cline { 2 - 4 } & 協調性 & 0.065 & 0.134 \\
\cline { 2 - 4 } F0 & 開放性 & 0.109 & 0.074 \\

ある。また，感動詞では，性別, 協調性, 開放性について有意差または有意傾向が確認された。性別では男性が，協調性では下位群が，開放性では上位群が破綻時に，より感動詞を用いる傾向にある。女性や協調性が高い人は，破綻してしまったシステムに対して気を使って感情的な言葉を使わない傾向にあると考えられる。また，開放性が高い人は好奇心が高い可能性があるが，システムの破綻に対して感情的な語彙を用いて応答すると推察される.

音響特徵量では，声の高さを表す F0 と外向性の間に有意傾向が確認された。外向性上位群の方が F0 の值が低くなっており，外向性が低い人は，システムが破綻したときに声が上ずることが示唆される.
ActionUnit 特徴量では，怒りや嫌悪を表す AU4 と開放性との間に有意傾向が確認された。開放性上位群の方が AU4 の表出が小さいことから，好奇心のある人は破綻に対して不快感を抱きにくいと考えられる.また，喜びの表出にかかわる AU6 と性別との間に有意差が確認された. システムの破綻時に，女性は男性より喜びの表出を強める傾向にある.

頭の動きに関する特徴量については，どの個人特性についても有意差が認められなかった。高齢者を対象とした破綻検出において, 頭の動きの周波数に個人差があることが報告されている [4]. 本研究では大学生を対象としているが，本研究で対象とした個人特性以外に実験参加者の年齢が破綻に対する反応の違いを引き起こす可能性がある.

## 5 おわりに

本研究では，対話破綻に対する実験参加者の反応を個人特性の観点から分析を行った。まず，対話データの収集を行い，収集したデータからマルチモーダル特徴量を抽出した。マルチモーダル特徴量と個人特性（性別, 性格特性, 社会的スキル）との関連を分析した結果，破綻に対する反応の個人差がどの個人特性に現れるかが明らかとなった。今後は，個人差の要因として，年齢や文化による違いについても新たにデータを収集し分析を行う。また，個人特性を考慮することで対話破綻検出精度の向上を目指す。

## 参考文献

[1] Ryuichiro Higashinaka, Luis F. D' Haro, Bayan Abu Shawar, Rafael E. Banchs, Kotaro Funakoshi, Michi-
masa Inaba, Yuiko Tsunomori, Tetsuro Takahashi, and João Sedoc. Overview of the Dialogue Breakdown Detection Challenge 4. In Erik Marchi, Sabato Marco Siniscalchi, Sandro Cumani, Valerio Mario Salerno, and Haizhou Li, editors, Increasing Naturalness and Flexibility in Spoken Dialogue Interaction: 10th International Workshop on Spoken Dialogue Systems, Lecture Notes in Electrical Engineering, pp. 403-417. Springer, Singapore, 2021.

[2] Tsubokura Kazuya, Iribe Yurie, and Kitaoka Norihide. Dialog breakdown detection using multimodal features for non-task-oriented dialog systems,. In Proceedings of the IEEE GCCE 2022, October 2022.

[3] 阿部元樹, 栂井良太, 綱川隆司, 西田昌史, 西村雅史.個人差と対話行為を考慮した対話破綻検出に関する検討. 第 16 回情報科学技術フォーラム, E-002, 2017.

[4] Ayaka Kawamoto, Kazuyoshi Wada, Tomohiko Kitamura, and Kaoto Kuroki. Preliminary Study on Detection of Behavioral Features at Conversation Breakdown in HumanRobot Interactions. In 2019 IEEE/SICE International Symposium on System Integration (SII), pp. 375-378, Paris, France, January 2019. IEEE.

[5] 坪倉和哉, 入部百合絵, 北岡教英. マルチモーダル対話システムにおける対話破綻時のユーザの個人差.日本音響学会第 148 回 (2022 年秋季) 研究発表会, 3-Q-13, 2022.

[6] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv:2109.05217, 2021.

[7] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮,宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. Ilys aoba bot:大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 90, p. 25, 2020.

[8] Akinobu Lee, Keiichiro Oura, and Keiichi Tokuda. Mmdagent- a fully open-source toolkit for voice interaction systems. In 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 8382-8385. IEEE, 2013.

[9] Lewis R Goldberg. An alternative" description of personality": the big-five factor structure. Journal of personality and social psychology, Vol. 59, No. 6, p. 1216, 1990.

[10] 小塩真司, 阿部晋吾, Pino Cutrone. 日本語版 ten item personality inventory（tipi-j）作成の試み. パーソナリティ研究, Vol. 21, No. 1, pp. 40-52, 2012.

[11] 菊池章夫. 思いやりを科学する. 向社会的行動の心理とスキル, 1988.

[12] Florian Eyben, Martin Wöllmer, and Björn Schuller. Opensmile: The munich versatile and fast open-source audio feature extractor. In Proceedings of the 18th ACM International Conference on Multimedia, MM '10, p. 1459-1462, New York, NY, USA, 2010. Association for Computing Machinery.

[13] Björn Schuller, Stefan Steidl, and Anton Batliner. The INTERSPEECH 2009 emotion challenge. In Proc. Interspeech 2009, pp. 312-315, 2009.
[14] Tadas Baltrusaitis, Amir Zadeh, Yao Chong Lim, and Louis-Philippe Morency. Openface 2.0: Facial behavior analysis toolkit. In 2018 13th IEEE International Conference on Automatic Face \& Gesture Recognition (FG 2018), pp. 59-66, 2018.

[15] Paul Ekman and Wallace V Friesen. Facial action coding system. Environmental Psychology \& Nonverbal Behavior, 1978.

[16] Dimosthenis Kontogiorgos, Minh Tran, Joakim Gustafson, and Mohammad Soleymani. A Systematic Cross-Corpus Analysis of Human Reactions to Robot Conversational Failures. In Proceedings of the 2021 International Conference on Multimodal Interaction, pp. 112-120, Montréal QC Canada, October 2021. ACM.

## A 個人毎の破綻割合

実験参加者毎の破綻割合を図 2 に示す. 図より，実験参加者毎の破綻割合に大きなばらつきがあることがわかる。また，破綻割合は最小で $0.0 \%$, 最大で $63.0 \%$ であった. どのシステム発話に対しても破綻と感じない実験参加者や半数以上の発話に対して破綻と感じる実験参加者がおり, 実験参加者によって破綻の起こりやすさや破綻への感度が異なることが示唆される。

実験参加者ID

図 2 実験参加者每の破綻割合

## B破綻割合と個人特性との関連

個人特性毎に得点の上位群（性別の場合は女性），下位群（性別の場合は男性）の 2 群に実験参加者を分割し，群毎の破綻割合を求めた（図 3). 図 3 の縦軸は破綻割合を表している. 各個人特性の左側（赤色）の箱ひげ図は得点上位群（性別の場合は女性，右側（青色）の箱ひげ図は得点下位群（性別の場合は男性）である. 各個人特性に対して 2 群間でマン=ホイットニーの U 検定を行った結果，性別に対して有意な傾向がみられた $(p=0.089)$. また, 神経症傾向に対して有意差が確認された $(p=0.012)$. 性別では, 男性の方が破綻割合が高い傾向にあることがわかった，神経症傾向では，神経症傾向が高いグループの方が統計的に有意に破綻しやすいことがわかった。

図 3 破綻割合と個人特性の関係 $(\dagger: p<0.1, *: p<0.05)$


# 知識グラフに基づく応答文生成における 記号化されたエンティティの利用

籾井裕貴 1 滝口哲也 ${ }^{2}$ 有木康雄 ${ }^{2}$
1 神戸大学工学部情報知能工学科 2 神戸大学大学院システム情報学研究科
1935070t@gsuite.kobe-u.ac.jp \{takigu,ariki\}@kobe-u.ac.jp

## 概要

近年では，生成ベースの応答文生成において，対話履歴のみではなく, 外部のデータベースから検索した外部知識を利用することによって，情報に富んだ応答文生成が可能となることがわかっている。一方，既存の生成手法では，応答文生成モデルの学習に知識を具体的な名称（エンティティ名）のまま用いている. 外部から必要な知識を得るのであれば，具体的な知識を学習せず，知識の用い方のみを学習すべきであると本研究では考え，具体的な名称を記号化し, 知識の用い方を学習しやすくする手法を提案する. 実験により, 提案手法は, 既存手法よりも，多くの知識を応答文に取り入れることが可能であることがわかった.

## 1 はじめに

雑談対話システムの課題として，一般的な応答ではなく, 情報に富んだ応答生成が挙げられる. 生成ベースの手法においては，学習時に対話履歴だけではなく, 外部から検索した知識を組み込むことで，情報の多い応答文生成が可能となる [1]. しかし，既存の応答文生成モデルでは，参照すべき知識が与えられているにも関わらず，知識を用いずに応答文を生成してしまう現象，あるいは誤った使い方をしてしまう現象があることもわかっている [2].

この問題に対処する方法として，具体的に知識を学習するのではなく, 知識の用い方，すなわち応答文中のどこに知識を含めるかを学習する方法が考えられる。 [3]では知識グラフを用いた場合を対象として, Entity Name Constrained Decoding(ENCD) という手法が提案されている (3.1 節参照). しかし, この手法では，知識を具体的な名称のまま学習に用いており, 具体的な知識が学習されてしまう. この結果，知識の用い方だけではなく，具体的な知識もパ
ラメータ中に保持されてしまい，学習できる用い方が減少する問題が発生する。 その場合，与えられた外部知識を利用できない可能性が増してしまう。

本研究では，ENCD におけるこの問題を解消する手法として，参照している知識のエンティティ名を記号化する手法を提案する. エンティティ名を特殊トークンに置き換えることで，具体的な名称での学習を避け，知識の用い方のみを学習させることを目的とする. 自動評価による比較実験の結果，提案手法は, 既存の手法と比べて, 応答文としての適切性を保ちつつ，より多くの知識を利用できることがわかった.

## 2 関連研究

## 2.1 外部知識の利用

対話システムが参照する外部知識としては，文章のような非構造的な知識から，テーブルデータベー スのような構造的な知識も存在している. 提案手法では，外部知識として構造的な知識である知識グラフを使用する．知識グラフは知識の追加や削除，更新が行いやすく，大規模な知識グラフとして，代表的なものに Wikidata[4] がある. 知識グラフの例を図 1 に示す.

図 1 知識グラフの例

## 2.2 知識グラフに基づく応答文生成

知識グラフでは，知識はトリプル $(\mathrm{s}, \mathrm{r}, \mathrm{o})$ で表現されている. s,o がエンティティ, r が s,o の関係を表すリレーションである．知識グラフに基づく対話例

を表 1 に示す。

知識グラフに基づいて，応答文生成を行う方法として，いくつか提案されているものがある。一つは，検索してきた知識トリプルを，あらかじめ作成したテンプレートに当てはめて生成するものである [5]. 別の方法は，知識グラフを GNNに，対話履歴を LSTM などのエンコーダに入力してそれぞれの分散表現を獲得し, それらを結合して応答文生成モデルに入力する方法である [6]. さらに，対話履歴と知識トリプルを繋ぎ合わせて一つのテキストとして表現し, 生成モデルに入力して応答文を生成する手法もある [7]. この場合は, 対話履歴 $D=\left(d_{1}, d_{2}, \ldots, d_{m}\right)$, 知識トリプル $T=\left(t_{1}, t_{2}, \ldots, t_{n}\right)$,応答文 $\mathrm{r}$ を用いて, 以下の式 1 のように表される. $\theta$ は学習パラメータである.

$
P_{\theta}(r \mid D, T)=P\left(r \mid d_{1}, d_{2}, \ldots, d_{m}, t_{1}, t_{2}, \ldots, t_{n}\right)
$

今回は，対話履歴と知識トリプルを繋ぎ合わせて，式1のようにモデルに入力する方式を用いる.

 \\

## 3 提案手法

## 3.1 Entity Name Constrained Decoding

提案手法のもとになった Entity Name Constrained Decoding(ENCD)[3] について述べる. これは, 応答文生成時，与えた知識を用いるよう，モデルに促す手法である. ENCD は，学習時に適用されるエンティティタグ付き学習と, 推論時に適用されるエンティティ名制約モジュール (ENCM:Entity Name Constraint Module)の 2 つの要素で構成される.

エンティティタグ付き学習学習データの応答文において，参照する知識トリプルに含まれるエンティティ名の前後を” [ “,”]”のタグで囲う. 学習の際は，タグを含めて生成を行うように学習する。 この学習により, 応答文生成モデルは, 知識を参照し始めると” [ “を生成し，参照し終わると” ]”を生成するようになり，与えられた知識を参照する夕イミングを学習する. 表 1 の対話例に，タグ挿入を行った例を表 2 に示す.

エンティティ名制約モジュール (ENCM) エンティティタグ付き学習により, 知識を参照するタイ
ミングがわかるようになるので，推論時に知識を参照する際には，ENCM を用いて，参照する知識トリプル中のエンティティ名のみを生成するよう，制約を加える。全体図を図 $\mathrm{A}$ (付録)に示す。

ENCD では，知識の用い方（応答文中のどこに知識を含めるか）を学習できていると考えられる。しかし, 学習時にはエンティティ名は具体的なままであることから，知識の用い方と具体的な知識内容がともに学習されてしまうという問題がある。外部から知識を得るのであれば，具体的な知識内容の学習は排除し，用い方のみの学習にすべきであると考え，本研究では，エンティティを記号化することにより，ENCD を拡張する方法を提案する。

表 2 タグの挿入例

 \\

## 3.2 エンティティの記号化

本論文では，エンティティをSKA，SKB といった特殊トークンに置換することで，エンティティを記号化する。具体例として，表 2 のタグ挿入を行った対話例に記号化を行ったものを表 3 に，提案手法を用いた応答文生成の全体図を図 2 に示す. 記号化により, 具体的な知識内容の学習を回避しながら, 対話履歴，知識トリプル中のリレーションをもとにして，応答文中のどこに知識を挿入するかを学習していくことが可能となる.

なお，このエンティティ記号化は，学習時には対話履歴, 知識トリプル, 応答文に，推論時には対話履歴, 知識トリプルに対して行う. モデルが生成する応答文は，SKA，SKB などを使ったものになるので，元のエンティティに戻して最終的な生成文とする.この際，記号化されたエンティティが元の知識トリプルでどのエンティティであったかは，SKA， SKB 中の A，Bによって判断することができる。また，A，Bによって知識トリプル中での関係を学習することも期待できる.

表 3 エンティティ記号化の例

 \\

## 記号化の逆処理

Generated response: Yes, [ SKA ] was written by [ SKB ]. Do you know him?

図 2 エンティティ記号化を利用した応答文生成

## 4 実験設定

## 4.1 データセット

学習と評価には，OpenDialKG[8] を用いた。これは，各応答が知識グラフのどのトリプルを参照したかアノテーションされたマルチターンのデータセットである．知識グラフには，freebase[9]のサブセットが用いられている (freebase は現在では, Wikidata に統合されている).なお，知識を参照していない応答もあるため，それらは前処理として除外し，学習データ 22589 文，検証データ 3535 文，評価データ 2832 文が得られた。

## 4.2 評価指標

[10] に倣い，F1，KF1を用いる．F1 は，モデルが生成した応答文と正解の応答文とのユニグラム一致度を測るものである。一方，KF1 は生成した応答文と参照している知識とのユニグラム一致度を測るものである. 生成した応答文，正解の応答文のユニグラムのリストをそれぞれ $R_{g}, R_{t}$ とすると，F1 は以下の式 4-1，4-2，4-3 で計算される.

$
\begin{array}{r}
\text { Precision }=\frac{\operatorname{len}\left(\operatorname{set}\left(R_{g}\right) \cap \operatorname{set}\left(R_{t}\right)\right)}{\operatorname{len}\left(R_{g}\right)} \\
\text { Recall }=\frac{\operatorname{len}\left(\operatorname{set}\left(R_{g}\right) \cap \operatorname{set}\left(R_{t}\right)\right)}{\operatorname{len}\left(R_{t}\right)} \\
F 1=\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{array}
$

なお，KF1 は，知識トリプルをテキスト表現にし， これを $R_{t}$ として計算できる. F1 が高いほど正解の応答文との類似度が高く，KF1 が高いほど参照して
いる知識をより多く取り入れたことを示す.

また，知識の用い方が学習できているかを評価するため，推論時に参照する知識トリプル中のエンティティを，ランダムに選択した別のエンティティに置換した場合の評価も行う。全体の流れを図 3 に示す. 用い方を学習できている場合，与える知識卜リプル中のエンティティと該当する対話履歴中のエンティティを変更した場合，エンティティ部分のみが異なる応答文が生成される。図 3 の例だと，通常の場合は，「He wrote Les Fleurs de mal. Have you read it?」が生成され，ランダムなエンティティの場合では，「He wrote Apocalypto. Have you read it?」が生成される。そして，エンティティ部分を置換前のエンティティに戻せば，通常の知識トリプルと対話履歴を与えた場合と比較して，F1，KF1 が同じ値になるはずである．今回の実験では，通常の場合とランダムなエンティティに置換した場合で $\mathrm{F} 1$ ， KF1 がどれだけ変化するかを確認する．なお，ランダムに置換する際は，共通のリレーションを持つ他のトリプルを二つ選択し，それぞれから $\mathrm{s}$ ，oを抜き出して置換した.

## 4.3 ベースライン

事前学習済み言語モデルである T5[11]の small モデルに対して以下の 2 パターンでファインチュー ニングしたものを，ベースラインとして用いる。なお，入力には，2.2 節で述べた，対話履歴と知識トリプルを繋ぎ合わせる入力方法を用いた.

Baseline-original 応答文をそのまま用いて学習し，推論時は通常のデコーディングを行うもの.

Baseline-encd 3.1 節で述べた，エンティティタグ付き学習を用いて学習をし，推論時は ENCM を用いるもの.

エンティティをランダムに置換した知識トリプルを用いた評価の流れ

表 4 生成された文章の例

 \\

[ J.R.R. Tolkien ] also wrote [ The Return of the King ].

## 4.4 実装

実装は，[3] に倣い，ベースライン，提案手法ともに Python の OSS ライブラリ Transformersを用いて実装を行った。最適化手法は AdamW[12], 学習率 1e-3，バッチサイズ 16 で学習を行い，推論時にはビーム幅 3 でビームサーチを行った (これらの設定も [3]を参考にした).

## 5 実験結果

実験結果を表 5 に示す。通常，ランダムのいずれの場合でも，KF1 は提案手法で最も高いことがわかる。これから，具体的な知識を学習しなくなった分，知識の用い方を多く学習できたと考えられる. 生成の例を表 4 に示す. Baseline-original と Baseline-encd では，与えられた知識トリプルのうち一つしか参照できていない，提案手法では，どちらも用いることができ，作者が共通しているのでその本を薦めているという内容の文が生成できている.

一方，表 5 の通常の場合，F1 については提案手法と Baseline-encd とでほとんど変化せず，Baselineoriginsl を上回った.この結果から，応答文としての適切性は変化してないことがわかる。これは，知識以外の単語生成については，参照するエンティ

ティ名ではなく，対話履歴やリレーションが大きく影響しているからであると考えられる。この点は， ENCD の知識を参照するステップとそうでないタイミングを切り替えて学習できるという利点が，提案手法でも保たれているためであると考えられる.

また，ランダムなエンティティに知識を変更した場合，ベースラインの 2 つでは $\mathrm{F} 1 \mathrm{~K} \mathrm{KF} 1$ のスコアが低下したが，提案手法では変化しなかった.

## 6 終わりに

本論文では，知識グラフに基づく応答文生成において，エンティティを記号化することにより，応答文としての適切性を保ちつつ，知識の用い方 (応答文中のどこに知識を含めるか) が学習できるようになることを示した．自動評価の結果，従来手法よりも知識の用い方を多く学習できていることがわかった.これは，記号化により具体的な知識内容では学習を行わず，用い方といったメタな学習が可能になったためであると考えられる。

## 謝辞

本研究の一部は，JSPS 科研費 JP21H00906 の支援

を受けたものである.

## 参考文献

[1] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. arXiv preprint arXiv:2107.07566, 2021

[2] Nouha Dziri, Andrea Madotto, Osmar Zaiane, and Avishek Joey Bose. Neural path hunter: Reducing hallucination in dialogue systems via path grounding. arXiv preprint arXiv:2104.08455, 2021.

[3] 佐良和孝, 滝口哲也, 有木康雄. 事前学習済み言語生成モデルを用いた知識グラフ検索に基づく対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 44-49. 一般社団法人人工知能学会, 2021.

[4] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[5] 曽傑, 中野有紀子. 知識と話題の埋め込み表現に基づく質問生成と対話システムへの適用一料理嗜好インタビューシステムに向けて一. 自然言語処理, Vol. 28, No. 2, pp. 598-631, 2021.

[6] Yueqing Sun, Qi Shi, Le Qi, and Yu Zhang. Jointlk: Joint reasoning with language models and knowledge graphs for commonsense question answering. arXiv preprint arXiv:2112.02732, 2021

[7] Yu Li, Baolin Peng, Yelong Shen, Yi Mao, Lars Liden, Zhou Yu, and Jianfeng Gao. Knowledge-grounded dialogue generation with a unified knowledge representation. arXiv preprint arXiv:2112.07924, 2021.

[8] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, 2019.

[9] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created graph database for structuring human knowledge. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pp. 1247-1250, 2008.

[10] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567, 2021.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[12] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

## A Entity Name Constrained Decoding $の$ 全体図

図 A Entity Name Constrained Decoding $の$ 全体図


# 発話とレビューに対する解釈文生成とトピック分類

林部祐太
株式会社リクルート Megagon Labs, Tokyo, Japan
hayashibe@megagon.ai

## 概要

我々は宿提案のための対話システムの構築に取り組んでいる。そこでは，カスタマーの発話意図をレビューなどから抽出した宿に関する情報とマッチングして，宿を提案する．それには，レビューやカスタマー発話内の文の意図を解釈する必要がある。そこで，文の意図を簡潔に示す「解釈文」を生成することで意図解釈を行う。そして，それぞれのトピックに基づきマッチングする．本論文では，解釈文生成とトピック分類の従来手法の改善に取り組んだ.

## 1 はじめに

我々は宿提案のための対話システムの構築に取り組んでいる。その対話システムは，単にカスタマー の入力した要望で検索するのではなく, 宿レビュー も参照しながら逆に質問して要望を詳細化していったり（詳細化），候補を絞るために異なる観点から要望を訪ねたり（要望追加），ときには代替案を提案したり（代替提案）と，インタラクティブに宿提案することを目的としている [1].

そのためにはまず，レビューや発話内の文の意図を解釈する必要がある. 例えば，システムが 2 択で質問した後，「後者がいい」とカスタマーが発話したとして，発話そのままでレビューなどを検索しても適切な結果は得られない. システムは「後者」が指す事柄を理解する必要がある．また，「すごく楽しめました。」というレビュー文では対象物が省略されているので，文そのままを検索対象にするのではなく，文の意図を適切に表した上で検索対象にする必要がある，そこで，文の意図を簡潔に表す「解釈文」にそれぞれ変換した上で，システム内で利用することにする.

そして，宿トピックに関する知識を用いてマッチングする．具体的には解釈文を事前に整備した宿トピックに関するツリー構造で整理した「トピックッリー」上に分類して，宿を提案する。例えば，『ト

図 1 解釈文生成とトピック分類による発話とレビューのマッチング例（作例）

ピックの子トピックに「バイキング」や「定食」といった食事の形式に関するトピックがある』という知識を用いてカスタマー発話の解釈文「おいしい食事が食べたい」とレビューの解釈文「バイキングを楽しめた」に対して詳細化した宿を提案する。図 1 に解釈文生成とトピック分類に基づくマッチングのイメージを示す.

これまで，我々は発話に対する解釈文生成のためのコーパス構築とモデル学習 $[2,3]$ や, トピックッリーの整備と分類 [1] について取り組んだ。本論文では,

・宿レビューへの解釈文アノテーション

・解釈文の生成候補リランキングによる改善

・トピック分類のフィルタリングによる改善についての取り組みについて報告する。

## 2 解釈文生成

## 2.1 解釈文コーパス

解釈文とは，発話理解の 1 つの形式で，対象の文の意味を文脈を読まなくても理解できるように表現した文 [3] である. ${ }^{11}$

例を表 1 と表 3 に示す. 対象の文の省略されている言葉を補ったり，照応詞を置き換えたりしている. また, 表 1 の(2) や表 3 の(B)のように複文を単文に分けて表現することで，複雑な要望を理解・処

1）[2]では「要約」,[3]では “Self-Contained Utterance Description” とよんでるが，本論文では「解釈文」とよぶ

 \\

表 1 発話と解釈文の例. 解釈対象の文とその解釈文は,同一番号で下線を引いている.

表 2 解釈文アノテーションの統計

理しやすくする.

本研究では，対話中の発話と，宿レビューの 2 種類を対象に解釈文コーパスを構築した.

## 2.1.1 発話の解釈文

架空の宿予約サービスにおけるカスタマーとオペレータの発話の作成を作業者に依頼し，対話を収集した。そして，各対話のカスタマーの発話の各文に対して，1 人のアノテータが解釈文を作成した. コーパスの統計を表 2 に示す2).

## 2.1.2 宿レビューの解釈文

旅行情報サイト「じゃらん net $\rfloor^{3)}$ に投稿された宿レビュー 475 件4）にも解釈文を作成した。例を表 3 に示す.また統計を表 2 に示す.(A) の解釈文は，対象文では省略されている「横浜スタジアムに」や 「ホテルから」を補い，文脈を見なくても対象の文の意図を理解できるようになっている. (B) では，複数の事柄が 1 文で書かれているレビュー文が複数の解釈文で表現され，システムの検索などで扱いやすくなっている.

## 2.2 解釈文生成モデルの構築

発話の解釈文を生成するモデルと，宿レビューの解釈文を生成するモデルの 2 つを構築する. モデ

2）コーパスは [3] にて作成した 2 演者間の対話と “Additional Corpus”を含んでおり，一部を除き公開している: https: //github.com/megagonlabs/asdc

3) https://www.jalan.net/

4) Evidence-based Explanation Dataset として公開しているレビューを用いた: https://github.com/megagonlabs/ ebe-dataset
ルは [3] での実験と同様に，日本語プレトレーニング済 Text-to-Text Transfer Transformer (T5) [4] モデル5) を fine-tuning することで学習する. 最適化アルゴリズムを Adafactor，学習率を $10^{-3}$, エポック数を 20 とし，開発データでの Cross Entropy Loss が最も低いモデルを用いる.

## 2.3 解釈文候補のリランキング

構築した生成モデルは誤った解釈文を生成することがありうる．例えば，表 4 では第 1 解釈文候補には発話意図とは異なる数値が含まれており誤っている.このような正解との Cross Entropy Loss が小さくても致命的な誤りは，Cross Entropy Loss の最適化で学習したモデルでは除外が難しい。 そこで，解釈文候補の正しさをスコア化するモデル（スコアラー）を別途用意し，複数の解釈文候補の中から尤もらしい候補を選ぶリランキングを行う.

スコアラーは日本語 RoBERTa モデル6)を finetuning することで構築し，正解らしさを 0 から 1 の確率値で予測する． fine-tuning には解釈文候補に対して正誤をアノテーションしたデータを用いる.

発話の解釈文候補のスコアラーは，学習に 7,769 件，開発に 3,821 件，評価に 775 件用いる. 正例はそれぞれ 3,855 件，2,953 件，278 件含まれている. また，宿レビューの解釈文候補のスコアラーは，学習に 5,630 件，開発に 779 件，評価に 648 件用いる.正例はそれぞれ 1,998 件，283 件，213 件含まれている.

最適化アルゴリズムを AdamW，学習率を $10^{-3}$, エポック数を 20 とし, 開発データでの Cross Entropy Loss が最も低いモデルを用いる.

評価データでのスコアラーの性能は，スコアが 0.5 以上の事例を正解と予測したとすると，発話用が Precision $=0.7231$, Recall $=0.9676, \mathrm{~F} 1=0.8277$ で，レビュー用が Precision $=0.7034$, Recall $=0.7793$, F1=0.7394 だった.

## 2.4 リランキングの効果検証

2 つのモデルはビーム幅 5 で探索して 5 つの解釈文候補を生成させる。そして，その候補の第 1 候補と，各候補にスコアラーが予測したスコアでリランキングした後の第 1 候補を比較して，リランキングの効果を検証する．具体的には，発話の解釈文生成
 t5-base-japanese-web-8k

6) https://huggingface.co/rinna/japanese-roberta-base

(A)レビュー 横浜スタジアムの野球観戦で利用しました。徒歩で行けたので良かったです。...

解釈文【customer】が横浜スタジアムにホテルから徒歩で行ける。

(B) レビュー … 部屋からは海が見元、周辺は閑静で非日常的な空間を味わうことができました。…

解釈文【customer】が部屋から海が見える。周辺が閑静だ。【customer】が非日常的な空間を味わうことができる。

表 3 宿レビューと解釈文の例. 例示対象の文に下線を引いている.

解釈文候補 (1) 1 泊 1 室あたりの予算の上限は 199 円だ。

(2) 1 泊 1 室あたりの予算の上限は 19999 円だ。

(3) 1 泊 1 室あたりの予算の上限は 20009 円だ。

表 4 第 1 候補が誤った解釈文となる例

評価データと，宿レビューの解釈文生成評価データの中から，リランキング前とのスコアの差が最も大きかった順にそれぞれ 35 事例を取り出し, 改善の有無を人手で評価する. 表 5 に結果の例を示す.

まず，発話の解釈文生成のリランキングでは，改善 11 件，悪化 15 件，変わらず 9 件だった. 改善した事例では，欠落している情報が増えた事例 8 件，不要な情報が消えた事例 3 件だった. 悪化した事例では，6 件がインフォーマルな表現になってしまった事例，必要な情報が消えた事例 5 件, 不要な情報を付加してしまった事例 4 件だった. また，宿レビューの解釈文生成のリランキングでは，改善 16 件, 悪化 4 件, 変わらず 15 件だった. 改善した事例の内訳は，欠落している情報が増えた事例 7 件,不要な情報が消えた事例 8 件, 流暢性が増した事例 1 件だった. 悪化した事例は，不要な情報が消えた事例 3 件，不要な情報を付加してしまった事例 1 件だった.

以上より，リランキングは生成の改善に一定の効果があることがわかった. しかし，十分な改善とはいえないため，さらなる改善を今後行う予定である。

なお，すべての出力に対してリランキングを行った場合の ROUGE ${ }^{7)}$ [5] スコアについて調べたところ，発話の解釈文生成では，リランキングで 0.867 から 0.790 に，宿レビューの解釈文生成では 0.775 から 0.749 に減少した. ROUGEでは致命的な解釈の誤りを過小評価してしまうと考えられ，より適切なリランキング方法や評価指標の選定も今後の調査

 \\

## 宿レビュー

解釈対象とても清潔感がありキッズルーム、貸切風呂にはたくさんのおもちゃがありました。

正解【宿】にとても清潔感がある。キッズルームにたくさんのおもちゃがある。貸切風呂にたくさんのおもちゃがある。

前清潔感がキッズルームにある。貸切風呂にたくさんのおもちゃがある。

後清潔感がとてもある。キッズルームにたくさんのおもちゃがある。貸切風呂にたくさんのおもちゃがある。（改善）

表 5 解釈文生成結果のリランキングの前後の例

課題である.

## 2.5 関連研究

解釈文生成のように後続の処理のため入力となる文を書き換える手法として，[6] が提案されている. リランキングに異なる分類器を用いた研究には，含意関係認識器を要約候補のリランキングに用いる手法 [7] がある，候補生成自体の改善には，学習する損失関数に負例も利用する手法 ${ }^{8)}$ [8] や重複表現の生成を防ぐ手法 ${ }^{9}$ [9] などが提案されている.

8) https://github.com/aistairc/contrastive_data2text

9) https://github.com/yxuansu/SimCTG

表 6 宿トピックとトピック例文の例

## 3 解釈文のトピック分類

## 3.1 トピックツリーと分類モデル

[1] では，宿提案対話システムで用いる知識整備として，ツリー構造での宿に関するトピックを整理した. 本論文ではそれを微修正したトピックッリーを実験に用いる. トピックッリーの例を表 6 に示す.

また，テキストのトピック分類には，同じく [1] で提案したトピック数が非常に多いが学習事例が非常に少ないという制約においても頑健に動く類似度に基づく手法を用いる.

## 3.2 既存モデルの問題点とフィルタリング

前述のトピック分類モデルは類似度に基づくため，類似はするが関係がないトピックを排除するのが難しい．例えば，「禁煙の部屋を希望する」という解釈文のトピックに「禁煙」のみならず「喫煙」も予測する，ということが起こりうる. また，「【customer】がパンを食べたい。」という解釈文のトピックに「パン」のみならず「クロワッサン」というトピックも予測しうる.

そこで，分類結果の正しさをスコア化するモデル （スコアラー）を別途用意し，閾値未満のスコアをもつトピックをフィルタリングすることで，関係のないトピックを排除する.

スコアラーはじゃらん net に掲載されている宿レビューを使って学習した BERT ${ }^{10)}$ を fine-tuning することで学習する. スコアラーはトピックを表す「トピック例文」と分類対象の解釈文のペアを入力として，正しさを 0 から 1 の確率值で予測する.なお， テキストのペアを入力とせずに，トピックごとに予測をする方法も考えられるが，トピック数が 1,051 と非常に多く, 学習データを用意するのが困難であるため，その方法は用いない. 分類問題に文の対を用いる手法としては， ゼロショットテキスト分類に

10）分類モデルの学習で用いた BERT と同一

 &  &  \\

表 7 トピック分類結果のフィルタリング前後の例

含意関係認識を用いる手法 [10] が提案されている. fine-tuning には発話の解釈文や宿レビューの解釈文のトピック分類結果に対して正誤をアノテーションしたデータを用いる。学習には，31,232 件，開発に 7,746 件，評価に 1,675 件用いる。このうち，正例はそれぞれ 20,722 件，5,859 件，241 件含まれている。

評価データでのスコアラーの性能は，スコアが 0.5 以上のトピックを正解と予測したとすると， Precision=0.6328, Recall=0.8797, F1=0.7394 だった.

## 3.3 フィルタリングの効果検証

既存モデルで評価用の解釈文にトピック分類モデルで 5 つ候補を類似度スコア付きで出力し，それぞれに対してスコアラーで「正しさスコア」を求めそれが 0.5 未満のトピックを候補から消去してフィルタリングする。残る候補の中で類似度スコアが最も高いトピックを新しい予測結果とする.

このフィルタリングによって，予測結果に変化があった 139 事例中 35 事例に対して評価した. 内訳は， 17 件が改善， 7 件が悪化， 11 件が改善とも悪化ともいえない，だった. 例を表 7 に示す. 以上より，多くの事例ではフィルタリングで改善できることが分かった. 誤ったフィルタリングを減らすことや1つではなく複数のトピックに分類するよう拡張することなどが今後の課題である.

## 4 おわりに

本論文では解釈文生成とリランキングによる改善，およびトピック分類とフィルタリングによる改善について報告した. それぞれ改善する事例があるが，悪化する事例も少なくないため，さらなる手法の洗練が今後の課題である.

謝辞アノテーションを行っていただき，多くの示
唆に富んだご意見をくださった山下華代氏に感謝します。また，有益な助言していただいた大阪大学の荒瀬由紀准教授に感謝します。

## 参考文献

[1]林部祐太, Varga István. 宿トピックの整理と自動分類の試み. 言語処理学会年次大会, 2022.

[2] 林部祐太. 要約付き宿検索対話コーパス. 言語処理学会年次大会, 2021 .

[3] Yuta Hayashibe. Self-contained utterance description corpus for Japanese dialog. In LREC, 2022.

[4] Colin Raffel, Noam Shazeer, et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, 2020 .

[5] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using $\mathrm{N}$-gram co-occurrence statistics. In NAACL, 2003.

[6] Zhiyu Chen, Jie Zhao, et al. Reinforced question rewriting for conversational question answering. In EMNLP, 2022.

[7] Tobias Falke, Leonardo F. R. Ribeiro, et al. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In ACL, 2019.

[8] Yui Uehara, Tatsuya Ishigaki, et al. Learning with contrastive examples for data-to-text generation. In COLING, 2020.

[9] Yixuan Su, Tian Lan, et al. A contrastive framework for neural text generation. In NeurIPS, 2022.

[10] Wenpeng Yin, Jamaal Hay, et al. Benchmarking zero-shot text classification: Datasets, evaluation and entailment approach. In EMNLP, 2019.


# 経験に基づく知識の想起・深化を行う 対話システムの開発に向けたコーパスの構築

渡邊 寛大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 ${ }^{2,1}$ 吉野 幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト
watanabe.kanta.wm7@is.naist.jp,
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

対話システムが人間社会で活用されるには，高い信頼性と長期的な関係性を築くための記憶・学習能力が必要である. 具体的には，複数回行われる対話の中で以前の対話を記憶・利用し，またそこに出現するキーワードなどから自身の知識を深めて次回以降の対話に活用できる機能が必要である. 本研究ではこうした対話モデルを構築することを指向して，過去の対話セッションとそれに紐づけられた外部データベースを考慮した雑談対話コーパスを収集し，分析した.

## 1 はじめに

自然言語を用いて人間と対話をする対話システムは，医療や教育，生活支援をはじめとした様々な分野で注目され $[1,2,3]$, 研究開発が活発に行われている. 一方で，実際に活用されるために改善すべき課題は依然として存在する。例えば，現在の対話システムの多くは，単一セッションで毎回異なる話者と初対面の対話を行うことを想定している。しかし，医療であれば患者，教育であれば生徒，生活支援であれば持ち主のように，長期間に渡って特定のユー ザと対話し，過去の対話内容を想起・活用し，そこから学習する能力が必要となる. こうした場合，対話者が人間であれば，複数回行われる対話（過去の対話セッション）の中で行われた対話を記憶・利用し，またそこに出現するキーワードなどから，自身の知識を深めて次回以降の対話に活用することができる. 対話システムもこのように，対話履歴（経験）から知識を想起・深化して次回以降の対話で活用することが望まれる. 対話システムがこのような経験に基づく知識の想起・深化・活用を行うこと

$
\begin{aligned}
& \text { Apprenticeは過去の対話セッションの内容を基に、 } \\
& \text { 外部データベースを用いてさらに学習 }
\end{aligned}
$

図 1 本研究で想定する対話システムの概要

で，信頼関係の構築や，経験や知識の再検討による自己成長・自己理解・相互理解が可能となる. 長期間に渡って特定のユーザと対話を行う対話システムを構築しょうとする場合，こうした機能は必要不可久である.

本研究では，過去の対話セッションに基づいて知識を想起し，外部データベースを用いて知識の深化を行い対話に活用する対話システムの開発を目指す (図 1).その第一段階として, 過去の対話セッションとそれに紐づけられた外部データベースを考慮した雑談対話コーパスを構築し，分析した。結果として，考案した設定により目的に沿った対話を収集可能であることが確認できた。

## 2 関連研究

対話システムによる知識の想起やモデルの更新に関わる研究として，外部知識を対話システムの応答生成に組み込んだ研究 $[4,5,6]$ や特定ユーザとの長期的な対話に焦点を当てた研究 $[7,8,9]$ が存在する.本節では, これらの研究と本研究の違いについて説明する。

## 2.1 外部知識に基づく応答生成

Dinan ら [4] は，応答に必要な外部知識を選択し，選択した外部知識に紐づいた応答を生成する対話応答生成モデルを提案した. また，このモデルを実際に学習・評価するために, Wikipedia の知識に基づくオープンドメインの対話の大規模なコー パスである Wizard of Wikipediaを収集してモデルを構築・評価した. Komeili ら [5] は，対話文脈から生成したクエリでインターネット検索を行い， その結果を知識として利用して応答を生成する対話応答生成モデルを提案した. Shuster ら [6] は, neural-retrieval-in-the-loop 構造を知識ベース対話に利用して，会話能力を維持したまま知識を最大化するモデルを構築・評価した. これらの研究では, 過去数ターンの発話から外部知識を検索して応答生成に使用する.これに対して本研究では, 過去の対話セッションから知識を想起し, 外部のデータベースから知識の深化を行い，それによってモデルが動的に変化する対話モデルを構築することを指向する.

## 2.2 長期間の文脈を考慮した応答生成

Xu ら [7] は，過去の対話セッションの要約が注釈されたマルチセッション対話のデータセット Multi-Session Chat を収集し，過去の対話セッションを要約して応答生成に使用するモデルを構築した。 $\mathrm{Xu}$ ら [8] は, ユーザとシステム双方のペルソナ情報（テキストで記述された個人の情報）を過去セッションの対話履歴から抽出・更新・参照し, 応答を生成する対話応答生成モデルを提案した．Bae ら [9] は，ペルソナ同士が矛盾を生まないように情報を動的に更新する手法を提案した. これらの研究では応答生成に過去セッションの対話履歴の一部や要約を考慮するが，本研究では過去の対話セッションの考慮に加えて, 過去の対話セッションに基づいて知識を想起し, 外部のデータベースから知識を深化して対話システムの応答生成に活用することを指向する.

## 3 知識の想起・深化を伴う対話コーパス

ここまでの説明のように，本研究では過去の対話セッションが存在する状況で，その対話セッションに基づく知識の想起と外部データベースを用いた知識の深化から対話モデルを更新するような対話システムの構築を目的としている。このため，まずは知識の想起・深化を行うシステム役を人間が行った場合の対話を収集して分析する。この節では収集における具体的な対話タスクの設定と，その収集方法の詳細について述べる。

## 3.1 タスク設定

本研究では, 過去の経験（過去の対話セッション） に基づいて知識を想起して，外部データベースを用いて深化し，次回の対話に活用した対話コーパスを構築した. 過去の対話セッションとしては Wizard of Wikipedia データセット [4]を日本語訳したもの，外部データベースには Wikipediaを使用した. Wizard of Wikipedia では知識を伝える Wizard と知識について尋ねる Apprentice という役割分担で対話が行われ，Wizard 側のシステムを構築することが行われてきた. 今回は我々の目的である経験に基づく知識の想起・深化を行う様子を収録するため, Apprentice 側が過去の対話セッションに基づいて自主学習を行うシステムという想定で対話収集を行った．具体的には, 過去の対話セッションで Wizard から与えられた知識を Apprenticeがより深く学習してきたという設定で行った. Wizard of Wikipedia の設定と対比させた本研究での設定は以下の通りである.

## 3.1.1 Wizard of Wikipedia の役割設定

Apprentice 会話の各段階で, Apprentice はWizard に自由に話しかけ，好奇心旺盛な学習者の役を演じ，おしゃべりに熱中する。目標は，自分自身や相手が興味を持っている選ばれたトピックについて，会話を魅力的で楽しいものにしながら，深く掘り下げていくことである.

Wizard Wizard は情報検索システムにアクセスし, Wikipedia から会話に関連しそうなパラグラフを見ることができる．会話の順番が回ってくる前に，これらのパラグラフを読み，観察された知識に基づいて次の返答をすることが可能である.

## 3.1.2 本研究の役割設定

本研究では， Wizard of Wikipedia から以下のようにそれぞれの役割の設定を更新している。

Apprentice 前回教えてもらったことに対して，新たに学んできたことをWizard に提示して, さらに議論を深めるのが目的である. Apprentice は過去の対話セッションとそれに紐づけされた Wikipedia の記事をもとに知識を深化した発話を行う。
表 1 各コーパスの統計情報と語彙的特徴

表 2 役割ごとの統計情報と語彙的特徴

Wizard Wizard は前回の対話で自身の知識を Apprentice に与えている. 今回は Apprentice が学習してきたことを深掘りして，さらに議論を深めることがが目的である.

## 3.2 収集方法

収集の方法には，テキストチャットを用いた。対話の収集は，日本語を母国語とする 3 名（Wizard 役 1 名, Apprentice 役 2名）の作業者によって行った.自然な対話を意識すること，過去の対話セッションとつじつまが合うこと，話し方を統一するため丁寧語で会話すること，想起対象である過去の対話セッションに紐づけられた Wikipedia の記事の情報をできるだけ発話に使用することを指示した。

## 3.2.1 実験の手順

1. 二人の作業者に役割 (Apprentice 役と Wizard 役）を与える.

2. 過去の対話セッションをお互い確認する.

3. Apprentice 役は記事を使用して知識を深めた対話の内容を考える. 過去セッションの各単語に Wikipedia の見出し語へのリンクが付与されており, Apprentice 役も Wizard 役も自由に記事の内容を参照できる.

4. Apprentice 役から Wizard 役に「実験開始」の文字列を送信すると，実験が開始される。

5. Wizard 役が最初の発話を送信する。

6. 記事及び Wizard 役からの発話を考慮して, Apprentice 役が応答を送信する.

7. 応答の際に使用した知識が記載されているパラ
グラフのタイトルをスプレッドシートに記入する.

8. 応答の際に焦点を当てた過去の対話セッションの発話をスプレッドシートに記入する。

9. 5-8 の手順を合計 20 ターン行う.

## 3.3 対話行為ラベルの付与

収集した発話と過去の対話セッションを句点ごと分割し, 対話行為ラベルを付与した. 対話行為ラベルの定義には, ISO 24617-2 に基づいて Informationseeking, Information-providing, Commissives, Directives を使用した [10].これらの対話行為のいずれにも属さない場合は Others とした.

## Information-seeking（IS）

話し手が聞き手から特定の情報を得ることを目的とする機能。(例：質問)

## Information-providing (IP)

話し手が聞き手に特定の情報を知らせることを目的とする機能. (例 : 応答，賛成，不賛成）

## Commissives (CM)

話し手が特定の行為を行うために自分自身の行為を聞き手に委ねることを目的とする機能.（例：依頼，約束，指示機能への承諾）

## Directives (DR)

話し手が聞き手に特定の行為を行わせることを目的とする機能. (例 : 指示，要求，提案）

## 4 分析

知識の想起・深化を伴う対話コーパス（今回の対話セッション）と過去の対話セッションの統計を表

1,2 に，実際の収集データの例を付録 $\mathrm{A}$ に示す. 語彙的特徴については，各コーパスの基本的な統計情報に加えて，表層上の語彙の多様性を Herdan の $C$ [11,12] を用いて算出した. この指標は, 総トークン数 $N$ と語彙数 $V$ を用いて次のように表される.

$
C=\frac{\log V}{\log N}
$

## 4.1 語彙多様性

語彙の多様性を表す $C$ の値は，過去の対話セッションよりも知識の想起・深化を伴う対話コーパスの方がやや大きかった. このことから, 知識の想起・深化を伴う対話コーパスには過去の対話セッションよりも多様な語彙が含まれていることが分かる. また, 役割ごとの分析でも, Apprentice の $C$ の值は過去の対話セッションと比べて大幅に向上している.このことから, 過去の対話セッションから知識を想起し，外部データベースを用いて知識の深化を行い，次の対話に活用する対話設定は，語彙の多様性の向上に寄与すると考えられる.

## 4.2 対話行為

役割設定を更新したことで，Apprentice と Wizard の対話行為ラベルの分布傾向が逆転した. 知識の想起・深化を伴う対話コーパスの各発話の対話行為として Apprentice 役からは Information-seeking が高い割合 $(90.4 \%)$ で使用されたことが分かった。また， Apprentice 役は過去の対話セッションに紐づけられた Wikipedia の記事の情報を利用した発話を，全体の $84.0 \%$ 行っていた. この結果から, 過去の経験に基づく知識の想起・深化を活用した発話を含む対話収録として，おおむね適切な設定ができたと考えられる. しかし, 今回用いた Wizard 役が知識の深堀りに特に協力的であったことがこれらのスコアに大きく影響を与えた可能性も考えられる. 雑談の中で自然に知識の深堀りを行ってもらうために，今後は Wizard 役をもう少し自由な設定にして収集を行う必要がある.

## 4.3 使用記事

知識の想起を伴う対話コーパスの 1 対話あたりの平均使用記事数は 2.6, 1 記事による最大持続ターン平均は 12.2 であった. つまり, 20 ターンの対話に

表 3 各対話行為の割合 [\%] 1)

おいては多くの場合, 複数の話題が現れ, 話題の切り替わりが生じるような対話データが収集された。

## 4.4 対話パターン

今回は話し始めを Wizard 役で固定していたため,同じような発話が多くなり，話の展開が Wizard 役主導になることが多いという問題があった. 発話の多様性と Apprentice 役主導の展開の対話を収集するため，話し始めが Apprentice 役の対話パターンも今後検討する必要がある.

さらに，Wizard 役の個性に関わらず雑談の中で自然に知識の深堀りを行う対話を収録する必要もある. そのため, Wizard 役に深堀りを行う設定を与える場合と与えない場合についても比較の検討の余地がある.

## 5 おわりに

本研究では，経験に基づいて知識を想起し，外部データベースを用いて知識の深化を行い対話に活用する対話システムの開発を目的として，知識の想起・深化を伴う対話コーパスを構築した. 構築したコーパスを分析した結果，今回の対話収集設定はおおむね目的に沿った対話が収集可能であることが確認できた．今後の方針としては，データ規模の拡大，構築した対話コーパスを活用した対話システムの構築に取り組む．具体的には，焦点を当てるべき過去の対話セッションの発話・知識を検索するモデル, Wikipedia の記事から知識を深化するモデル，構築したコーパスで Finetuningを行った言語モデル，以上を組み合わせた対話システムの構築に取り組む。

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受けた.

## 参考文献

[1] Guangtao Zeng, Wenmian Yang, Zeqian Ju, Yue Yang, Sicheng Wang, Ruisi Zhang, Meng Zhou, Jiaqi Zeng, Xiangyu Dong, Ruoyu Zhang, Hongchao Fang, Penghui Zhu, Shu Chen, and Pengtao Xie. MedDialog: Large-scale medical dialogue datasets. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9241-9250, Online, November 2020 .

[2] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, Los Angeles, September 2016.

[3] Eugene Agichtein, Yoelle Maarek, and Oleg Rokhlenko. Alexa prize taskbot challenge. In Alexa Prize TaskBot Challenge Proceedings, 2022.

[4] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019 .

[5] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8460-8478, Dublin, Ireland, May 2022.

[6] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 37843803, Punta Cana, Dominican Republic, November 2021.

[7] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022.

[8] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022.

[9] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022.

[10] Harry Bunt, Jan Alexandersson, Jean Carletta, Jae-Woong Choe, Alex Chengyu Fang, Koiti Hasida, Kiyong Lee, Volha Petukhova, Andrei Popescu-Belis, Laurent Romary, Claudia Soria, and David Traum. Towards an ISO standard for dialogue act annotation. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010.

[11] G. Herdan. Type-token Mathematics. Janua linguarum, Studia memoriae Nicolai van Wijk dedicata. Series maior, 4. Mouton, 1960.

[12] G. Herdan. Quantitative Linguistics. Butterworths, 1964.

## A 収集データの例2)

## A. 1 過去の対話セッション

表 4 過去の対話セッションの例

A. 2 知識の想起・深化を伴う対話コーパス

表 6 発話に使用された知識と焦点を当てた過去の対話セッションの発話の例

2) A : Apprentice 役 W: Wizard 役


# 雑談対話における会話継続予測に基づくユーザ適応的応答評価

蔦侑磨 1 吉永直樹 2 佐藤翔悦 * 豊田正史 ${ }^{2}$
1 東京大学大学院 2 東京大学 生産技術研究所
\{tsuta, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

雑談対話システムでは、話し相手となるユーザに即した応答を生成することが望ましいが，そのような応答を適切に評価するには、当該ユーザ自身が評価を行う必要があり、コストが大きい. 本研究は雑談応答生成において，対話システムが応答する話者の視点を取り入れた自動評価手法を提案する．提案手法は，評価ユーザが会話を継続する応答が良い応答であるという発想から、評価ユーザを考慮した会話の継続性予測タスクを通じて生成応答の主観評価を行う．大規模な Twitter データセットを用いた実験から，ベースラインより高い精度で会話の継続性の予測が行えることを確認し、当該ユーザの介入なしで主観評価を行うことが可能となった。

## 1 はじめに

GPT-3 [1] などの大規模事前学習済み生成モデルの出現により, 近年の雑談対話システムは与えられた発話に対し、ある程度自然な応答ができるようになった $[2,3,4,5]$. 今後、雑談対話システムがスマー トスピーカやスマートフォンに搭載され，日常的に会話を続けるためには，過去の会話履歴やユーザの最新のプロフィールなどを参照しながら対象ユーザに即した応答を返すなど，応答生成モデルの個人適応が求められると考えられる $[5,6,7]$.

では，このように特定のユーザとの会話に特化した対話システムをどのように評価するのがよいのだろうか. ユーザが好む応答は、個別ユーザに依存する [8] ため、ユーザによる対話的評価 $[3,4,5]$ は理想的ではあるものの，そのようなコストが高く，再現性が担保できず，評価の信頼性が評価者に依存する [9] という問題もあり，効率的に対話システムを開発する上で課題が残る，雑談対話システムの自動評価に関する研究 $[10,11,12,13,14]$ は様々あるが, これらの既存の自動評価手法では，対話システムの

図1 システム応答に対して話し手が応答するかどうかを予測するタスク

話し相手であるユーザの視点は考慮されていない.

このような背景を受けて、我々は対話の継続性予測タスクを通じた生成応答の自動主観評価 [15]（図 1）の研究を進めている。この研究では、Twitter などから得られる大規模対話ログにおいて、ユーザが応答した発話は応答しない発話よりそのユーザにとって良い発話であるという仮定に基づき、ユーザのプロフィールを考慮して会話の継続性予測を行うモデルを用いて自動で主観評価を行うことを実現した. 予備的な実験を通して、継続性の予測ができることを確認したものの、プロフィール文のあるユー ザしか評価に利用できず、対話システムの生成応答の評価まで行えていなかった。

そこで本稿では、ユーザトークン [16]を用いて会話の継続性予測を個人適応する手法を提案し，これをプロフィール文を用いて個人適応する手法 [15] との比較を行う。また，実際に対話システムの生成応答に対して提案手法を適用し，評価ユーザによる人手評価との相関に基づき、提案手法の自動主観評価手法としての有効性を確認する.

実験では，Twitter 上の膨大な会話データセットを用いた実験により，本稿で提案するユーザトークンを用いた会話の継続性予測手法が既存のプロフィー ル文を用いた会話の継続性予測手法と同程度の精度で会話の継続性を予測できることを確認した。また，評価ユーザによる対話システムの生成応答に対

する人手の継続性評価にとの相関については、一部のユーザに関して，人手の継続性評価と提案手法の予測結果が相関する結果が得られた。

## 2 関連研究

対話システムの主観評価を自動で行う研究は先行研究 [15] のみである. 本節では, 雑談対話生成において話し相手となるユーザや，対話システム自体のキャラクター性を考慮して応答を生成する研究を説明する (§ 2.1). 続いて, 生成応答に対する自動評価に関する関連研究 (§ 2.2)を紹介する。

## 2.1 対話システムの個人適応

雑談対話応答生成の研究分野では，対話システムに個性を埋め込むことで，一貫した応答の生成やシステムのキャラクター付けを可能にした研究が多く行われている。例えば， $\mathrm{Li}$ らは，話者に固有の学習可能な埋め込み表現を利用することで話者の性別や住所などを再現することを可能にした [16]. また， PersonaChat [17] やマルチセッションチャット [5] には，特定の個性を持った人物を演じる会話が含まれており趣味や生活環境などの話者の疑似的な特徴を含む会話が利用可能である.

これらの研究では，与えられた話者性に合致する応答を生成する対話システムの開発 $[17,18,19]$ だけでなく，会話相手の特徴を意識した会話を可能にしてエンゲージメント向上を目指した研究 $[20,21]$ も存在する. これらの研究は, キャラクター性の理解・表出により，エンゲージメントの高い回答を生成することが可能となったが，人手評価は応答対象のユーザではない第三者が行なっており，応答対象ユーザの観点からの評価はなされていない.

## 2.2 雑談対話システムの自動評価研究

既存の生成応答の自動評価手法は，生成応答と参照応答との一致度に基づく評価 (例えば, BLEU [22])，あるいは参照文を用いない評価モデルによる生成応答の評価 (例えば，RUBER [23]) があるが，現在のところ既存の生成応答の自動評価手法は不安定であり，機械翻訳における BLEU のような標準的な生成応答の自動評価手法は存在しない. 我々は，生成応答の評価は評価者に強く依存し，対話システムのユーザと異なる評価者が行った人手評価との相関を取ることに自動評価の本質的な問題があると考えて，主観評価を自動化することを考えた。対話システムの評価モデルの学習において，システム応答や実応答に対する人手の評価を用いた研究が存在する $[11,13]$.また，SNS 上のフィードバックデータを学習データとして用いる評価手法が提案されている [12]. しかし, これらの研究は主観的な自動評価を行うことを目的としていない.

## 3 提案手法

## 3.1 会話継続性予測に基づく評価

雑談対話システムのユーザを意識した評価を可能するためには，そのユーザに好まれる文を理解すること，つまり当該ユーザが好む実応答と，好まない実応答が必要となる. そのデータはどのようにして得られるのだろうか? 我々は先行研究 [15] において，この問いに対話の継続性に関する自然注釈を利用することで答えた。すなわち，与えられた応答に対し, ユーザが応答し，会話が継続しているかどうかが，ユーザの応答に対する好みを反映していると考えた. 本研究でもこのアイデアを利用し，与えられた応答に対して当該ユーザが会話を継続するかを予測するモデルを学習し, その予測確率を評価値として，与えられた応答の主観評価を行う。

## 3.2 ユーザを考慮した会話継続性の予測

本研究では，先行研究で提案したプロフィール文を利用した会話の継続性予測手法に加えて，Li ら [16] が応答生成タスクにおいて提案したユーザトークンを用いた会話の継続性予測手法を検討する. 本手法では，各ユーザの発話に対してユーザ特有の特殊トークンを発話の先頭に付加し，ユーザの会話データから与えられた応答に対する当該ユーザの会話継続性の予測モデルを学習する。プロフィー ルでなく、ユーザトークンを用いることで、プロフィール文が利用できない Reddit ${ }^{1}$ ) 2) のような会話データを用いた対話システムの評価を行うことができる。また，プロフィール文が利用できる Twitter 上の会話データでも，プロフィール文が存在しないユーザを対象とした評価を行うことができる.

## 3.3 会話継続性予測タスク

本研究の応答継続性予測タスクは，問いかけられたユーザが返答を行うかを予測するタス

1) https://www.reddit.com/

2）Reddit ユーザの話者の特徴データの抽出可方法は公開されているが [24], 抽出データが未公開のため再現が難しい.

クである. 具体的には， $N$ 個の発話を含む会話 $U=\left[u_{0}, u_{1}, \ldots, u_{N-1}\right]$ が 2 人の話者 $s_{i}$ と $s_{j}$ によって交互に行われている ${ }^{3}$ ) と仮定し（なお， $u_{N-1}$ は $s_{j}$ による発言とする)，予測モデルは会話における $s_{i}$ の応答確率 $P\left(u_{N}=\right.$ exists $\left.\mid U, s_{i}\right)$ を予測する. そのため, モデルは会話文 $U$ と, 返答の有無を予測するユーザ $s_{i}$ が入力され, 返答予測確率を出力する. ユーザを考慮するために固有のトークンを利用する際には，対象となるユーザ $s_{i}$ に対して固有トークン （[USER i]）を用意し，ユーザ $s_{i}$ の全ての発言の前にそのトークンを結合しモデルに入力する. 考慮されないユーザは，代わりに汎用のユーザトークンが用いられる. プロフィールでユーザを考慮する場合は，ユーザ固有トークン [USER i] の代わりに二人の話者を区別する目的で汎用トークン（例えば， [SPK $\mathrm{A}]$ と $[\mathrm{SPK} \mathrm{B}]$ )を用い，ユーザ $s_{i}$ のプロフィール文 $\left(p_{i}\right)$ をモデルに入力する会話文の先頭に結合する ([SPK A] $p_{i}\{$ 会話文 $\}$ ). なお, モデルの最大入力長を超える場合，古い文脈が優先的に無視される。

## 4 実験

本研究は, 話者が識別可能な Twitter から収集した膨大な実会話ログを用いて応答評価モデル（会話の継続性予測モデル）の学習，評価を行う．まず，会話データ中の対象ユーザに関して評価モデルを学習し, 人同士の会話について対象ユーザの応答予測が可能かどうかを確認する（以下，内的評価と呼ぶ). 次に，雑談対話システムによる生成応答に対してアノテータによる評価を行い，これを正解ラべルとして応答評価モデルを評価した（以下，メタ評価と呼ぶ).

## 4.1 会話データ

本研究では，Twitter 公式 API を用いて収集した Twitter 上の日本語の投稿（ツイート）を用いた. 会話データとして構築するために，2 人のユーザ間の投稿とその返信からなる一連の投稿のみを利用した. 2017 年 1 月から 2018 年 3 月の間に 30 回以上会話したユーザ（以下，ターゲットユーザ）をランダムに 1 万人抽出し, 1 人あたり最大 400 回の会話,合計約 125 万件の会話データを収集した. 収集した会話を，モデルの訓練データおよび検証データとして使用した ${ }^{4)}$.このうち, 各ユーザの $5 \%$ の会話を検

3）本研究では簡単のため二人の間での会話を扱う（§4.1)

4）なお，自分への返信，送信元の URL や名前に「bot」が含まれる botによる発言， 3 語以下の発言などの会話文として証用データとして確保し，残りを訓練データとして利用した. 訓練データの統計量などは付録 $\S$ A. 1 に記載した. また，内的評価のためのテストデータとして，2018 年 3 月から 12 月の間のターゲットユー ザの会話約 200 万件を別途収集した.

雑談対話システムの生成応答を利用して行うメタ評価には，評価者と対話システムとの会話，および正解ラベルとして対話システムの生成応答に対する評価者の評価が必要である. そこで，と研究室のメンバー 2 名がそれぞれ Twitter 上で行った会話を収集した。これら会話データ，それぞれ（訓練・検証・テスト）の順で $(165 \cdot 43 \cdot 27) \cdot(19 \cdot 6 \cdot 10)$ の会話を上記のデータセットに追加した.

## 4.2 評価モデルとハイパーパラメタ

実験では，事前学習済みの日本語 BERT [25] ${ }^{5 ｝ を$評価モデルのベースモデルとして採用し，分類モデルとして微調整 (fine-tuning) した. ユーザを考慮して会話の継続性予測を行うことで, 予測精度が上がるか，すなわち，より信頼性のある応答評価が可能かを確認するため，ユーザを考慮したモデルと考慮しない（すなわち，ターゲットユーザ独自のトークンやプロフィールを用いない）応答評価モデルを学習した. また，メタ評価にあたって，Gao らの研究 [12] を参考に妥当性検証用のモデルを利用しているが，すべての学習可能なモデルで同様の利用を行っているため，モデル間の比較に影響はない （§ A.4）その他の詳細は，付録 § A. 2 に記載する。

## 4.3 メタ評価のための人手評価の収集

対話システムの生成応答での性能を評価するために，正解ラベルとなる人手評価データが必要である.なお，生成応答までの会話文脈は 4.1 で述べたアノテータのテストデータから作成し, 生成応答によってアノテータに問いかける形式にした. Ji らの研究 [26] を参考に，アノテータ（共著者 1 名，学生 1 名) は, 7 種の対話モデル (§ A.3) による生成応答と 1 つ実応答を 0 から 100 のスコアで評価した.結果，400 件と 192 件の会話データおよび正解ラべルを得た。

不適切な文および会話は除外した．また，Twitter APIにより 2021 年 12 月時点で，追加の返信がないことを再確認した.

5) https://huggingface.co/cl-tohoku/bert-base-japanese-v2

## 4.4 評価モデル

ベースラインとしては，ユーザごとに多数ラベルを予測する手法（以下，多数クラス）を用いる. 評価モデルとしては，ユーザを考慮しない手法 (BERT) と，ユーザを考慮する提案手法を追加したものを利用する. § 3.2 で説明したように，ユーザの考慮の方法は 2 種類 (ユーザトークン，プロフィール) 検討し，それぞれを排他的または同時に考慮する手法 （以下，「全て」と呼称）も比較する。

## 4.5 評価指標

評価モデルの内的評価における評価指標には，実際の返答の有無を正解ラベルとする分類精度 (acc.) を用いる。また, Twitter 上の実際の会話ログでは,一般に問いかけが応答されやすく会話が継続する傾向なため (図 2), この偏りを是正するために会話の有無の両方のラベルに対する $\mathrm{F}_{1}$ を平均化したマク口 $\mathrm{F}_{1}$ も計測した. なおメ夕評価では， § 4.3 で述べたように，正解ラベルが $[0,100]$ の範囲のため，分類問題ではなくモデル出力との相関値 (Pearson’s $r$ )を記載した ${ }^{6)}$. また, 内的評価の結果との比較のために，50 以上の評価値の応答を正例とみなした分類問題としての結果も記載した. なお，メタ評価ではユーザごとの会話継続性の割合が異なることを考慮し，ユーザごとに結果を表記した。

## 4.6 実験結果

表 1 は，Twitter ユーザ間の会話での内的評価での結果である。この結果から，ユーザを考慮しない BERTによる応答継続性予測は，(ユーザ性を考慮した）ユーザごとの多数クラスを出力する単純な方法と差がないことが確認された。一方で，ユーザを考慮した手法は，いずれもより高い予測精度となることが確認できた. 特に，その方法としてプロフィー ルよりもユーザ独自のトークンを用いる方が有効であることが確認された。

表 2 は，対話システムによる生成応答（および実応答）に対する予測を人手の評価ラベルに基づいて評価した結果である. アノテータ 1 に関しては，正解率・マクロ $\mathrm{F}_{1}$ ではユーザ独自のトークンによりユーザを考慮したモデルの予測が最も人手評価と一致しており，人手評価との相関ではプロフィールも表 1 Twitter の会話ログから対象ユーザーが反応したかどうかを予測することに関する内的評価.

表 2 雑談対話システムに対する生成応答への応答の有無の予測におけるメタ評価。

 \\

考慮すること (+all) で最も人手評価と一致することが確認できた。一方で，アノテータ 2 ではユーザを考慮しない方法がすべて人手評価に近いことが確認できた. 内的評価とは異なり，メタ評価では会話相手が対話システムであるため，アノテータ 1 では対話システムが会話相手でも問題なく受け入れられたが，アノテータ 2 では対話システムに対する返答の傾向が変化した可能性などが考えられる.

## 5 おわりに

本論文では，対話システムの評価において、システムの話し相手であるユーザの視点を取り入れた自動主観評価手法を提案した。提案手法では，与えられた応答に対してユーザが返答を行う確率を予測し，これをユーザによる応答評価に転用する。ユー ザの視点を取り入れるために，ユーザトークンを用いてユーザをモデル化した．Twitter から収集した人同士の膨大な会話ログを用いた評価では，ユーザを考慮することで会話の継続性予測の性能が改善すること，すなわち，より信頼性の高い評価が行えることを確認した. さらに，本手法を複数の雑談対話システムによる生成応答の評価に適用した場合，提案手法が一部のユーザでは有効であることを確認した.

6）このため, メタ評価では常に多数クラスを出力する方法は記載しない.

## 謝辞

この研究は国立情報学研究所（NII）CRIS と LINE 株式会社が推進する NII CRIS 共同研究，および JSPS 科研費 JP21H03494 の助成を受けています。人手評価にご協力くださった研究室の方々に深く感謝致します。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, H. Lin, editors, Advances in Neural information Proce
Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020 .

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng $\mathrm{Lu}$, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot, 2020

[5] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Longterm open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, May 2022

[6] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, May 2022.

[7] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. arXiv preprint arXiv:2210.08750, 2022.

[8] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. Annual Meeting

[9] Elizabeth Clark, Tal August, Sofia Serrano, Nikita Haduong, Suchin Gururangan, and Noah A. Smith. All that's 'human' is not gold: Evaluating human evaluation of generated text. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7282-7296, 2021

[10] Michel Galley, Chris Brockett, Alessandro Sordoni, Yangfeng Ji, Michael Auli, Chris Quirk, Margaret Mitchell, Jianfeng Gao, and Bill Dolan. deltaBLEU: A discriminative metric for generation tasks with intrinsically diverse targets. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 445-450, 2015 .

[11] Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas AngelardGontier, Yoshua Bengio, and Joelle Pineau. Towards an automatic Turing test: Learning to evaluate dialogue responses. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1116-1126, 2017

[12] Xiang Gao, Yizhe Zhang, Michel Galley, Chris Brockett, and Bill Dolan. Dialogue response ranking training with large-scale human feedback data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 386-395, 2020.

[13] Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, and Nanyun Peng. Predictive engagement: An efficient metric for automatic evaluation of opendomain dialogue systems. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7789-7796, Apr. 2020

[14] Yuma Tsuta, Naoki Yoshinaga, and Masashi Toyoda. uBLEU: Uncertaintyaware automatic evaluation method for open-domain dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 199-206, 2020

[15] 蔦侑磨, 吉永直樹, 佐藤翔悦, 豊田正史. パーソナリティを考慮した雑談対話の会話継続可能性評価. 言語処理学会第 28 回年次大会発表論文集, pp. 583-587, 2022

[16] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, 2016.
[17] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 22042213, 2018.

[18] Hyunwoo Kim, Byeongchang Kim, and Gunhee Kim. Will I sound like me? improving persona consistency in dialogues through pragmatic selfconsciousness. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 904-916, 2020

[19] Haoyu Song, Yan Wang, Wei-Nan Zhang, Xiaojiang Liu, and Ting Liu. Generate, delete and rewrite: A three-stage framework for improving persona consistency of dialogue generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 58215831,2020 .

[20] Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou and Dongmei Zhang. You impress me: Dialogue generation via mutual persona perception. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1417-1427, 2020.

[21] Itsugun Cho, Dongyang Wang, Ryota Takahashi, and Hiroaki Saito. A personalized dialogue generator with implicit user persona detection. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 367-377, 2022.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[23] Chongyang Tao, Lili Mou, Dongyan Zhao, and Rui Yan. RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems. In AAAI Conference on Artificial Intelligence, pp. 722-729, 2018

[24] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, 2018 .

[25] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[26] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Aroceedings of the 60th Annual Meeting of the Association for Comproceedings of the 60th Annual Meeting of the Association for Com-
putational Linguistics (Volume 1: Long Papers), pp. 6416-6437, May 2022.

[27] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019

[28] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models Are Unsupervised Multitask Learners. 2019.

[29] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[30] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.
表 3 訓練会話におけるターン・文字数に関する統計。

図 2 訓練データのターンごとの応答返答率の分布. ター ンは，問いかけを含んでそれまでに何回発言が行われたかを意味し，正例割合はその中でどの程度問いかけに返答されたか（つまり，訓練データでの正例の割合）を示す.

## A 付録 (Appendix)

## A. 1 訓練データの情報

表 3 に訓練データのターン・文字数に関する統計を，図 2 に訓練データにおけるターンごとの事例数と，正例の割合を示す.

## A. 2 モデルの学習パラメータ

すべてのモデルのハイパーパラメタは，学習率 $3 e-5$, バッチサイズ 64 , エポック数 5 で学習し, optimizer として AdamW [27], 損失関数には交差エントロピー損失を使用した. なおモデルの実装には全て Hugging Face Transformers 7 )を用いた. 実験に用いた全てのライブラリのライセンスは, 学術目的での使用を許可している.

## A. 3 雑談対話システム

メタ評価のためのデータセットには，対話システムによる生成応答が必要であるため，§ 4.1 で述べた訓練データを用いて事前学習済み GPT- $2^{8)}$ [28] の転移学習を行った. 対話システムは, 再学習時に事前学習パラメタを継承するかランダム初期化するか, またユーザトークンを利用するかしないか（§ 3.3 と

7) https://github.com/huggingface/transformers

8) https://huggingface.co/rinna/japanese-gpt2-medium同様の方法)を組み合わせて、4種のモデルを学習した. さらに，事前学習済み Transformer ${ }^{9}$ [29, 30] の公開済みの 3 種のモデルも使用した. 上記の合計 7 種の応答生成モデルの生成応答をメ夕評価に利用した.

## A. 4 妥当性評価モデル

実験における評価モデルは，Twitter 上の人同士のデータで学習される。一方で，メタ評価では対話システムの応答の評価がメインであり，対話システムの性能が低い場合，生成された応答が理解できない非文になっている可能性が考えられる．理解可能な人同士の文章のみで学習されたモデルの, 非文を含むデータに対する脆弱性を考慮し, 補強する必要がある。

Gao らの研究 [12] では，実会話となる問いかけと応答のペアを正例，ランダムな問いかけと応答のぺアなどを不例として学習した（従来の評価モデルと同様の）妥当性評価モデルにより, 応答として不適格な文にペナルティを与えることで，生成応答に対するエンゲージメント評価の性能向上を行った. そこで，本研究でも同様に，BERT の Next Sentece Prediction タスクにより学習したモデルを妥当性評価モデルとして採用し，生成応答にペナルティを与えた.なお，このペナルティはすべての生成応答に同一の条件で与えられ，その後の評価モデルにも依存しないため, 本研究における実験での学習可能なモデルの比較には影響がない。

応答妥当性評価モデルの学習のためのデータセットは, § 4.1 の学習データと同じ会話データから作成した. 正例は, 会話データのうち正例（会話の後に応答があるもの）約 $1 \mathrm{M}$ の対話データを用いた. 負例には，会話中のすべての応答について，会話文脈をランダムにサンプリングして組み合わせることで作成した約 $2 \mathrm{M}$ の会話データを利用した．学習時には，正例と負例が同数となるように学習した。

9) https://github.com/nttcslab/

japanese-dialog-transformers


# エントレインメントスコアを用いた 応答リランキングとその自動評価

金崎 翔大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 2 桂井 麻里衣 3 吉野 幸一郎 ${ }^{2}$
1 同志社大学大学院理工学研究科 2 理化学研究所ガーディアンロボットプロジェクト
3 同志社大学理工学部
\{kanezaki21,katsurai\}@mm.doshisha.ac.jp
\{seiya.kawano, akishige.yuguchi,koichiro.yoshino\}ariken.jp

## 概要

人間と人間の会話では，エントレインメントと呼ばれる対話の進行に従って話し方が同調する現象がしばしば発生する．著者らは直近の研究で，対話文脈に対して理想的なエントレインメント度合いを自動決定し，それに基づきニューラル雑談対話モデルの応答リランキングをする手法を提案した。本研究ではこの枠組みに基づき，新たに BERTScore に基づくエントレイメント尺度を提案する。また，従来研究で提案したエントレインメント尺度と本研究で提案したエントレイメント尺度に基づいて， ニューラル雑談対話モデルの応答リランキングを行う.また，このリランキング結果に対する自動評価を行う。

## 1 はじめに

エントレインメントは，収束やアラインメントとも呼ばれ，対話における話者間の話し方が対話の進行に従い類似する現象を指す。この現象は，語彙 [1], 統語構造 [2], 文体 [3], 韻律 [4], ターンテイキング [5], 対話行為 [6] など，対話における様々な要素で観測される．エントレインメントは，対話のタスク成功率や自然性，対話意欲と相関することが報告されており，エントレインメントの分析 $[7,8]$ を通して対話システムの性能や対話の質を評価する試みが行われている。また，エントレインメントを考慮して，対話システムの応答選択・応答生成を制御する試みもある $[9,10,11]$.

著者らは直近の研究で，対話文脈に対する応答のエントレインメント予測モデルを構築し [12], それに基づきニューラル雑談対話モデルの $n$-best 応答候補をリランキングする手法を提案した [11]. この研究では，システムが対話文脈に対して “どの程度” エントレインメントした応答をするべきかを予測モデルによって学習し, “理想的” なエントレインメン卜度合いをもたらすような応答を自動決定する手法を提案した。提案したリランキング手法が主観評価を顕著に悪化させることなく応答のエントレインメントを制御することが可能であることを示した。一方で，この研究で用いた単語分散表現に基づく尺度だけではエントレインメント現象を十分に捉えられず，対話システムの応答生成に利用するための十分な情報量を持っていない可能性が示唆された。

言語的なエントレインメント分析における先行研究では，様々なエントレインメント尺度が提案されている. Nenkova らは対話コーパス内の頻出単語に着目し，2名の話者によるそれらの利用傾向に基づくエントレインメント尺度を提案した [7]. しかし，頻出単語のみに着目した尺度では，単語の意味や統語構造などの複数の側面を捉えきれない可能性があった。 そこで，Nasir らは単語分散表現の類似度に基づく尺度を新たに提案した [8]. 2 つの対話コーパスを用いた分析実験の結果，bag-of-words に基づくエントレイメント尺度と比べ，単語分散表現に基づく尺度が対人行動情報を把握するために有用であることが示された。なお Nasir らは深層学習による文脈埋め込み表現を用いた尺度の可能性に言及していた. その方向性の研究として, Bidirectional Encoder Representations from Transformers (BERT) [13] によって埋め込まれた文ベクトルの相関に基づくエントレイメント尺度が Liu らにより提案されている [14].

本研究では，著者らが直近に提案した単語分散表現に基づくエントレイメントスコアを用いたリランキング手法に対して，新たに BERT の文脈埋め込みに基づくエントレインメントスコアを用いることを
提案する.そして，これらのスコアに基づくリランキング手法で得られた応答の自動評価を比較する.

## 2 エントレインメントスコアを用い た対話応答のリランキング

本研究では，著者らが直近で提案したリランキング手法 [11] を適用する. 手法の概要を図 1 に示す.

図 1 リランキング手法の概要

## 2.1 ニューラル雑談対話モデル

ニューラル雑談対話モデルは，入力に $t$ ターン目の発話文 $U_{t}$ までの対話履歴 $\boldsymbol{U}=\left.\{U_{1}, U_{2} \ldots, U_{t}\right.\}$ を受け取り ${ }^{1)}$, 出力として $t+1$ ターン目の $n$ 個の $n$-best 応答候補リスト $\boldsymbol{R}=\left[R_{1}, R_{2} \ldots, R_{n}\right]$ および応答候補の尤度リスト $\boldsymbol{l}_{\boldsymbol{R}}=\left[l_{R_{1}}, l_{R_{2}} \ldots, l_{R_{n}}\right]$ を出力する。ただし，応答候補リスト $\boldsymbol{R}$ は尤度の降順になっており, $l_{R_{1}} \geq l_{R_{2}} \geq \ldots, \geq l_{R_{n}}$ を満たす.

## 2.2 エントレインメントスコアの定義

本研究では，局所的な（固定窓幅における対話文脈の）言語的エントレインメントを測定するフレー ムワークである Local Interpersonal Distance (LID) [8] を用いてエントレインメントスコアを算出する．著者らの従来手法 [11] では，ある発話者による発話 $U_{t}$ に関し，その対話相手へのエントレインメント度合い $\mathrm{LID}_{U_{t}}$ を次式により算出した.

ここで, $\boldsymbol{U}^{\text {partner }}$ は $U_{t}$ より過去に観測された発話のうち，対話相手による過去 2 ターンの発話文集合を表す.また, $\mathrm{WMD}\left(U^{\text {partner }}, U_{t}\right)$ は Word Mover's Distance (WMD) [16] を用いて計算される発話 $U^{\text {partner }}, U_{t}$ 間の単語分散表現空間上での意味的距離である. $\operatorname{LID}_{U_{t}}^{(\mathrm{WMD})}$ は 0 以上の值をとる実数であり，値が小さいほど発話 $U_{t}$ が対話相手の発話集合 $\boldsymbol{U}^{\text {partner }}$ に対して同調しているとみなせる.

本稿では, 式(1)の代わりに, 新たに BERTScore [17] に基づくエントレインメント度合い $\operatorname{LID}_{U_{t}}^{(\mathrm{BERT})}$ を用いることを提案する. BERTScore は単語ごとに独立して埋め込み表現を獲得するのではなく， Self-Attention により文全体の意味を考慮して埋め込
_{t}=\left.\{U_{t-3}, U_{t-2} \ldots, U_{t}\right.\}$ を用いる.
}

み表現を獲得する。この文脈埋め込みを発話文間の類似度算出に用いることで，発話文全体を考慮したエントレインメントスコアを期待する。

$\operatorname{LID}_{U_{t}}^{(\mathrm{BERT})}$ は 0 以上 1 以下の值をとる実数であり,値が 0 に近いほど発話 $U_{t}$ が対話相手の発話集合

## 2.3 エントレインメント予測モデル

$t$ ターン目までの対話履歴 $\boldsymbol{U}$ が入力されたとき, $t+1$ ターン目の発話文 $U_{t+1}$ が持つべきエントレインメントスコア $\mathrm{LID}_{U_{t+1}}$ を予測するようモデルを学習する [12]. 図 2 に示すように, Gated Reccurent Unit (GRU) [18]を用いた階層的エンコーダモデルと線形変換層（Affine）を用いたエントレインメントデコーダモデルで構成する。

図 2 エントレインメント予測モデルの概要

発話文中の各単語 $u_{t, i} \in U_{t}$ を，式 (3) で定義するエンコーダで発話レベルの特徴ベクトル $h_{t}=h_{t},\left|U_{t}\right|$ に変換する ${ }^{2}$.

$
\boldsymbol{h}_{\boldsymbol{t}, \boldsymbol{i}}=\operatorname{GRU}_{\text {utter }}\left(\boldsymbol{h}_{\boldsymbol{t}, \boldsymbol{i}-\mathbf{1}}, \operatorname{Embedding}\left(u_{t, i}\right)\right)
$

ここで, Embedding($\cdot$) は, $U_{t}$ における各単語 $u_{t, i} \in U_{t}$ を固定長の密べクトル表現に変換する単語埋め込み層である。

次に，式 (4) で定義される対話エンコーダを用いて，各ターンまでに得られた発話レベルの特徴べクトル $\boldsymbol{h}_{\boldsymbol{t}}$ の系列を対話レベルの特徴ベクトル $\boldsymbol{h}_{\boldsymbol{t}}^{\prime}$ に統合する。

$
\boldsymbol{h}_{\boldsymbol{t}}^{\prime}=\operatorname{GRU}_{\text {context }}\left(\boldsymbol{h}_{\boldsymbol{t}}, \boldsymbol{h}_{\boldsymbol{t}-\mathbf{1}}^{\prime}\right)
$

2） $\boldsymbol{h}_{\boldsymbol{t}}$ は発話エンコーダ $\mathrm{GRU}_{\text {utter }}$ に対する最後の単語 $u_{t,\left|U_{t}\right|}$ の大力に対応する，隠れべクトル $\boldsymbol{h}_{\boldsymbol{t},\left|\boldsymbol{U}_{\boldsymbol{t}}\right|}$ である.

さらに，エントレインメントデコーダ Affine($\cdot$) を用いて, 各ターンの特徴ベクトル $\boldsymbol{h}_{\boldsymbol{t}}^{\prime}$ からエントレインメントの予測値 $\mathrm{LIID}_{U_{t+1}}$ を得る.

$
\mathrm{LiO}_{U_{t+1}}=\operatorname{Affine}\left(\boldsymbol{h}_{\boldsymbol{t}}^{\prime}\right)
$

## 2.4 エントレインメントを用いたリランキ ング機構

まず，対話履歴からみて望ましいエントレインメントスコアを式 (5) で予測し，それを $\mathrm{LID}_{\text {target }}=\mathrm{LII}_{U_{t+1}}$ とおく. そして，ニューラル雑談対話モデルによる応答候補 $R_{i} \in \boldsymbol{R}$ が実際にもたらすエントレインメントスコア $\mathrm{LID}_{R_{i}}$ との差の絶対値を, エントレインメントの実現度 $d_{R_{i} \text {, target }}$ として定義する。

$
d_{R_{i}, \text { target }}=\left|\mathrm{LID}_{R_{i}}-\mathrm{LID}_{\text {target }}\right|
$

著者らのこれまでの手法 [11] と同様に，実現度 $d_{R_{i} \text {, target }}$ と応答尤度 $l_{R_{i}}$ の両方をバランスよく考慮して応答候補リスト $\boldsymbol{R}$ 内をリランキングする。具体的には, $R_{i} \in \boldsymbol{R}$ に対し, 正規化した尤度 $l_{R_{i}}$ と正規化した実現度 $d_{R_{i}, \text { target }}$ の F-beta を算出し, 最大值をとる応答 $R_{\text {F-beta }}(\beta)$ を選択する.

上式において，〜はそれぞれの応答候補リストを基準とした Min-Max 正規化を表し， $\beta$ は 0 以上の実数となる重み係数である。 $\beta$ が 1 より大きいほどエントレインメントを重視して応答を選択する。本研究では, $\beta=1$ と設定した.

## 3 評価実験

本章では，ニューラル雑談対話モデルの応答リランキングに提案手法を適用した場合の応答の自然性を自動評価指標を用いて評価する.

## 3.1 データセット

評価実験では，感情的な状況下での共感的な対話を収録した雑談対話コーパス JEmpatheticDialogues [15]を用いた. コーパス内の対話数は $20,000 ， 1$対話は 4 ターンである. 文献 [15] の実験に従い， 16,667 対話 ( $83.34 \%$ ）を学習データ，1,667 対話を検証データ $(8.34 \%) ， 1,666$ 対話（ $8.33 \% ） を$ 評価デー タとした.

## 3.2 実験設定

$n$-best 応答候補リストを生成するニューラル雑談対話モデルとして, JEmpatheticDialogues でファインチューニングされた Transformer Encoder-Decoder モデル [15] を用いた. $n$-best 応答候補リストのサイズは $n=80$ に設定した. 本実験では，次に示すべースライン応答とリランキング応答を自動評価によって比較する。
- $R_{1}$ (ベースライン，尤度最大の応答）
- $R_{(\mathrm{BERT})}$ (提案手法, $\mathrm{LID}_{U_{t}}^{(\mathrm{BERT})}$ に基づく応答)
- $R_{(\mathrm{WMD})}$ （従来手法， $\mathrm{LID}_{U_{t}}^{(\mathrm{WMD})}$ に基づく応答)

また，エントレインメント予測モデルの教師スコアを用いて，式 (6) について $\mathrm{LID}_{\text {target }}=\mathrm{LID}_{U_{t+1}}$ として設定した場合のリランキング応答も比較する。これはテストデータ中の対話履歴に存在する実際の応答発話のエントレインメントスコアを目標とする設定であり，エントレインメント予測モデルの誤差が無い場合に相当する。

エントレインメントスコアの計算に使用する単語分散表現モデルについては，Akama らが提案したスタイルの類似性と統語的・語義的な類似性の両方を考慮した単語分散表現モデル [19] を用いた. 単語分散表現モデルの学習には，学習データセット内に含まれる発話を用いた。

エントレインメント予測モデルにおけるハイパー パラメータは，単語埋め込み層の次元を 300 ，GRU の中間層の次元を 300 ，層数を 1 に設定した。また，使用する語彙サイズは 8,000 とし，未知語は特殊記号 “UNK” に置き換えた。予測モデルの訓練においてはバッチサイズを 64 , 学習率を $1 \times 10^{-3}$ として， Optimizer には Adam[20]を使用した。

## 3.3 評価指標

システム応答 $R_{\#}$ と対話履歴に対する実際の応答発話 $U_{t+1}$ とのエントレインメント誤差を評価するために，次式で表される symmetric mean absolute percentage error (sMAPE)を用いた.

$
\begin{aligned}
& \operatorname{sMAPE}\left(\mathbf{L I D}_{R_{\#}}, \mathbf{L I D}_{U_{t+1}}\right) \\
& =\frac{200}{n} \sum_{j=1}^{n} \frac{\left|\mathrm{LID}_{R_{\#}, j}-\mathrm{LID}_{U_{t+1}, j}\right|}{\left|\mathrm{LID}_{R_{\#}, j}\right|+\left|\mathrm{LID}_{U_{t+1}, j}\right|}
\end{aligned}
$

ここで $n$ は評価データの数である。また LID には $\mathrm{LID}^{(\mathrm{BERT})}$ とID${ }^{(\mathrm{WMD})}$ の 2 種類がありエントレイメント誤差はそれぞれの尺度について算出する。
表 1 自動評価結果 $\left(\mathrm{LID}_{\text {target }}=\mathrm{LIID}_{U_{t+1}}\right)$

表 2 自動評価結果 $\left(\mathrm{LID}_{\text {target }}=\mathrm{LID}_{U_{t+1}}\right)$

$\operatorname{LID}_{U_{t+1}}$ はテストデータにおける対話履歴に対する実際の応答発話のエントレインメントスコアである. 応答の自動評価指標には BLEU [21], Distinct [22], Embedding Average [23] を用いた.

## 3.4 実験結果

表 1 に予測モデル $\left(\mathrm{LID}_{\text {target }}=\mathrm{LIID}_{U_{t+1}}\right.$ とした場合 $)$ によるリランキング応答の自動評価の結果を示す。 これは提案手法と従来手法による評価実験の結果である. BERTScore と WMDのどちらの手法においても, ベースラインに比べてリランキングされた応答はそれぞれの尺度に対応するエントレイメント誤差 （sMAPE）が減少した. さらに，リランキングで用いなかった尺度に対応するエントレイメント誤差も僅かに減少する.これは BERTScore と WMD が埋め込み表現を獲得する際に，一部は同じ言語特徴量を捉えている可能性がある。一方で，どちらの尺度を用いた場合でも自動評価の結果に大きな差はみられなかった．特に，埋め込み表現を用いたにも関わらず，Embedding Average は向上しなかった.

次に, 表 2 に教師スコア $\left(\mathrm{LID}_{\text {target }}=\mathrm{LID}_{U_{t+1}}\right.$ とした場合）によるリランキング応答の自動評価の結果を示す.これはエントレインメント予測モデルの誤差が無い場合に相当する. 表 1 と比較すると, どちらの手法においてもべースラインに比べてリランキングされた応答はそれぞれの尺度に対応するエントレイメント誤差が大幅に減少した. しかし, リランキングで用いなかった尺度に対応するエントレイメント誤差はそれほど減少しない。このことから BERTScore と WMD は異なる言語的特徴を捉えている可能性がある. 自動評価の結果については大きな差はみられない. しかし, 表 1 と比較すると全体として自動評価の結果が僅かに良い傾向にある.このことから，エントレインメント予測モデルの精度が向上することで応答の自然性などが向上する可能性がある．ただし，雑談対話システムに対する BLEU
などの自動評価指標は人間による主観評価とはほとんど相関がないことが報告されており [23], 主観評価は異なる結果が得られる可能性がある.

## 4 おわりに

本研究では，著者らが直近に提案した単語分散表現に基づくエントレイメントスコアを用いたリランキング手法に対して，新たに BERT の文脈埋め込みに基づくエントレイメントスコアを導入した. また，これらのエントレイメントスコアに基づく応答を自動評価し，性能を比較した。従来手法と提案手法によるリランキングはどちらもべースラインに比ベてエントレイメント誤差が減少した。一方, 応答の自動評価の結果は提案手法と従来手法の間でほとんど違いがみられなかった。

今後は，BERTScore に基づくリランキング結果について主観評価を実施する。また，異なるエントレイメントスコアが捉える言語的側面（語彙，統語構造，文体，ターンテイキング，話者の意図など）を分析し，それらを網羅的に捉える新たなエントレイメントスコアの算出方法を検討する。

## 謝辞

本研究は, JSPS 科研費 $22 \mathrm{~K} 17958,22 \mathrm{H} 04873$, 20H04484 の助成を受けた。

## 参考文献

[1] Susan E Brennan and Herbert H Clark. Conceptual pacts and lexical choice in conversation. Journal of Experimental Psychology: Learning, Memory, and Cognition, Vol. 22, No. 6, p. 1482, 1996.

[2] David Reitter and Johanna D Moore. Predicting success in dialogue. 2007.

[3] Kate G Niederhoffer and James W Pennebaker. Linguistic style matching in social interaction. Journal of Language and Social Psychology, Vol. 21, No. 4, pp. 337-360, 2002.

[4] Arthur Ward and Diane Litman. Measuring convergence and priming in tutorial dialog. University of Pittsburgh,

2007.

[5] Nick Campbell and Stefan Scherer. Comparing measures of synchrony and alignment in dialogue speech timing with respect to turn-taking activity. In Eleventh Annual Conference of the International Speech Communication Association, 2010

[6] Masahiro Mizukami, Koichiro Yoshino, Graham Neubig, David Traum, and Satoshi Nakamura. Analyzing the effect of entrainment on dialogue acts. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, September 2016.

[7] Ani Nenkova, Agustin Gravano, and Julia Hirschberg. High frequency word entrainment in spoken dialogue. In Proceedings of the 46th annual meeting of the association for computational linguistics on human language technologies: Short papers, pp. 169-172. Association for Computational Linguistics, 2008.

[8] Md. Nasir, Sandeep Nallan Chakravarthula, Brian R.W. Baucom, David C. Atkins, Panayiotis Georgiou, and Shrikanth Narayanan. Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover' $s$ Distance. In Proc. INTERSPEECH 2019, pp. 1423-1427, 2019.

[9] 水上雅博, 吉野幸一郎, Graham Neubig, 中村哲. エントレインメント分析に基づく応答文選択モデルの評価. 言語処理学会第 23 回年次大会 (NLP2017), 茨城, 32017.

[10] Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino, and Satoshi Nakamura. Entrainable neural conversation model based on reinforcement learning. IEEE Access, Vol. 8, pp. 178283-178294, 2020.

[11] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメント予測に基づいたニューラル雑談対話モデルの応答リランキング. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 3Yin248-3Yin248, 2022.

[12]金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. 対話における後続発話のエントレインメント予測. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 50-55, 2021.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[14] Yuning Liu, Aijun Li, Jianwu Dang, and Di Zhou. Semantic and acoustic-prosodic entrainment of dialogues in service scenarios. In Companion Publication of the 2021 International Conference on Multimodal Interaction, ICMI ' 21 Companion, p. 71-74, New York, NY, USA, 2021. Association for Computing Machinery.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In International Conference on Machine Learning, pp. 957-966, 2015.

[17] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[18] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. In Proc. of EMNLP, pp. 1724-1734, 2014.

[19] Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, and Kentaro Inui. Unsupervised learning of style-sensitive word vectors. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 572-578, 2018.

[20] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[23] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

## 付録（Appendix）

## A 実際の対話例

本節には，評価実験における実際の対話履歴とリランキング応答について 3 つの具体例を示す. 各表では対話者 $\mathrm{A} ， \mathrm{~B}$ による対話履歴を示した後に，対話履歷に続く実際の応答， $R_{1}$ (ベースライン応答, 応答尤度最大), $R_{(\mathrm{BERT})}$ (提案手法によるリランキング応答)， $R_{(\mathrm{WMD})}$ (従来手法によるリランキング応答)を順に示す.

## A. 1 対話例 1

$R_{(\mathrm{BERT})}$ には 5 番目の応答候補が選択され， $R_{(\mathrm{WMD})}$ には 7 番目の応答候補が選択された.

表 3 対話例 1

## A. 2 対話例 2

$R_{(\mathrm{BERT})}$ には 1 番目の応答候補が選択された. つまり BERTScore に基づく尺度を用いたリランキング手法を適用しても，リランキングする前と同じ応答が出力された. $R_{(\mathrm{WMD})}$ には 3 番目の応答候補が選択された.

表 4 対話例 2

## A. 3 対話例 3

$R_{(\mathrm{BERT})}$ には 8 番目の応答候補が選択され， $R_{(\mathrm{WMD})}$ には 2 番目の応答候補が選択された.

表 5 対話例 3