# 分類モデル BERT による不整合生成文の検出について

大野瞬 1 森脇恵太 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部 ${ }^{2} \mathrm{NTT}$ コミニケーション科学基礎研究所
\{18aj031,18aj128\}@ms.dendai.ac.jp h.sugi@ieee.org
\{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

ニューラル文章生成において, 文章としては自然であるが, 内容が事実と異なるという事実不整合（factual inconsistency）の発生が問題となっている.そこで本研究では, BERT (Bidirectional Encoder Representations from Transformers）の分類タスクを応用して事実不整合となる生成文を検出することを試みる. 実験対象として観光地案内をドメインとし, 客の質問に適切な知識を用いて答えるニューラル生成モデル Hobbyist の出力文を扱う. 料金, 営業時間, アクセス方法に関する知識情報源と正しい応答文との対 2,299 件をもとにし, そこから整合対 6 万件, 不整合対 6 万件からなる疑似データセットを作成した. この疑似データセットを用いて BERT の学習を行った結果, 事実不整合を含むニューラル生成文に対して recall 0.69 の結果を得た. 一方, 日本語 SNLI デー タセットを用いた学習では 0.50 であり, 不整合検出におけるドメイン適応の重要性が明らかになった。

## 1 はじめに

GPT-3 (Generative Pre-trained Transformer - 3) [1] や BART (Bidirectional Auto-Regressive Transformer) [2] など, 現代のニューラルネットを使った文章生成モデルは人間の書いた文章と相違ない自然な文章生成が可能になっている. 生成モデルを用いた質問応答チャットシステムの実装などができればより人手応答に近い柔軟な応答ができるようになると考えられる.しかし,生成モデルはしばしば図 1 のような事実と異なる内容を含んだ文章を出力してしまう.この

図 1 事実不整合を含んだ出力例
ような出力はユーザの信頼を損なうことにつながり,システムを実用レベルにするためにはこの問題に対策を講じる必要がある.

そこで我々は事実不整合を含む出力を検出し, 修正するため分類モデルと修正モデルを用いた事実不整合修正の為の機構を提案する. 生成モデルの出力を分類モデルにかけ不整合検出を行い, もし不整合が検出された場合さらに下に構えている修正モデルに引き渡し, 事後修正を行うことで文章を正しいものにすることが狙いである. 生成モデルの学習用に作られたデータセットを改変, 増強して学習を行うことで特定の生成モデルに特化した修正機構を構築することを試みる. 機構のイメージは図 2 に示した通りである. 本稿では修正モデル部分の話には触れず, 提案機構の中の分類モデル部分についてのみ記述する. 分類モデルには BERT（Bidirectional Encoder Representations from Transformers）[3]を用いた。

これまでの研究として, 例えば, [4] は既存のデー タセット（ここでは CNN/DailyMail dataset[5]）から改変例を大量に用意し, BART に学習させ,他のニューラル生成モデルの出力文章を入力として事実に即した内容に書き換えをするという手法であるが, 十分な成果を得られていない. 一方我々は生成モデルの学習に用いたデータをテンプレートとして改変例を作成し, 事実不整合検出の為の学習データとした.これにより特定の生成モデルに対して高い精度で事実不整合の検出, 修正を行うことを期待できる.

## 2 データセット

今回作成する学習用データセットは観光地情報に基づく旅行代理店対話コーパス [6] に含まれる基準対話データセットを利用したものである.これに含まれる知識情報と,それを使って作られた店員発話を改変することで疑似的に多くのデータを作成する. 知識と店員発話の整合性を保った疑似整合例と，

図 2 提案する機構のイメージ

図 3 疑似例の作成例（料金情報）

整合性をなくした疑似不整合例を作成し，モデルの学習に利用する. 知識情報はそれぞれ最大 12 件用意されていたが, 今回は特に数值に対してロバストなモデルになるよう学習を行うため, 知識に数値が含まれている料金情報, アクセス情報, 営業時間情報という 3 つのカテゴリに絞って学習に用いることとする. 数値の含まれているデータに絞る理由としては,第一に整合性の判定が比較的容易と考えられることである.これら 3 つのカテゴリは観光地情報の中でもある程度決まったフォーマットになっており, 扱いやすいものと考える. 第二に我々が実際に生成モデルを動かした際, 数値周りに不整合が多く発見されたことである. 我々の扱うモデルは NTTコミュニケーション科学基礎研究所開発の雑談対話エンジン [7] を観光地情報に基づく旅行代理店対話コー パスでファインチューニングしたもの（以下，これを Hobbyist と呼ぶ）であり,これは入力に知識情報と質問文を入れると, 知識情報を用いて質問文への回答を生成する. Hobbyist に文章生成を行わせたところ, 特にこれら 3 つのカテゴリを用いて回答生成した際に数値を誤ったかたちの不整合が多くみられ

 \\

図 4 アクセス情報と店員発話の一例

図 5 営業時間情報と店員発話の一例

た. 以上の理由から, 我々の提案手法の有効性を見るために数値に特化することは有効であると考えた。

疑似例の作成は数値や日付, 駅名等を書き換えることで行うが, 料金,アクセス, 営業時間情報について含まれる書き換え対象が異なるため, それぞれについて異なる形でデータの改変を行う. 疑似例作成の一例を図 3 に示す. 疑似例のカテゴリによって改変方法が異なるため, 以下にそれぞれの手順を示す.

## ・料金情報の疑似例

疑似整合例知識及び店員発話に含まれる料金を表す数值の十の位の書き換えを行う。

疑似不整合例疑似整合例の内容から店員発話部分のみに対してスワッピングまたは数字の付け足しを行い知識と店員発話の整合性を消す。

## ・アクセス情報の疑似例

疑似整合例知識及び店員発話に含まれる時間表記及び駅名を同様に書き換える。

疑似不整合例疑似整合例の内容から店員発話部分のみに対して数値のスワッピングまたは書き換え, 及び駅名の書き換えを行い, 知識との整合性を消す。

## ・営業時間情報の疑似例

疑似整合例曜日や日付, 時刻を示す表現に対し, 知識と店員発話の該当する部分を同様に書き換える。

疑似不整合例疑似整合例の内容から店員発話のみに対して時刻の「分」部分の書き換えを行い知識との整合性を消す。

それぞれ疑似例の元とした知識と店員発話のぺア （テンプレート）数として料金情報は 224 件, アクセス情報は 1,607 件, 営業時間情報は 468 件となっている.

疑似例を用いた学習用のデータセットとは別に， Hobbyist の出力を収集した評価用のデータセットも
表 1 事実整合性判定学習データセットの内訳

表 2 ニューラル生成文データセットの内訳

作成する. Hobbyistへの入力は知識情報と質問文であり, Hobbyist の出力は知識情報を用いた質問文への回答である。

以下に今回作成した 2 つのデータセットについて述べる.

事実整合性判定学習データセット料金,アクセス, 営業時間情報について作成した疑似整合例, 不整合例をそれぞれのカテゴリについて同じ件数ずつ集め, データセットを作成する.

実験においては,この件数を 20,000 件とする.内訳を表 1 に示す.

ニューラル生成文データセット Hobbyistを用いて生成した文章に対して, 知識に即しているか否かを人手で判定してラベリングを行ったデータセットを作成する. 料金, アクセス, 営業時間情報のみを用いて 1,000 件の応答を生成し, うち生成文にも知識にも数値が含まれているもののみを抽出し, まとめたデータセットとなっている. 内訳は表 2 を参照.

## 3 実験

## 3.1 実験設定

分類モデルとして学習を行うのは Laboro 社の日本語 BERT（base）である.[8]

黒橋研究室が公開している日本語 SNLI データセット [9]をベースラインデータセットとして我々の提案データセットである事実整合性判定学習デー タセットと比較を行う.このデータセットからはフィルタリングされた学習データからのみ抽出し,元についていたラベルが entailment（含意）であるものを整合例, ラベルが contradiction（矛盾）であるものを不整合例として, 表 3 の形でデータセットを表 3 日本語 SNLI データセットの内訳

整形する.

我々の作成したデータと異なりアクセスや料金などのカテゴリ分けはできないため, 単に学習に用いたデータ数を整合, 不整合で 60,000 件ずつに合わせる形とする。

モデルの学習には huggingface transformers[10]を利用してファインチューニングする. このとき, 学習に用いるデータセットを 9:1 に分割し, 前者を学習データ, 後者を検証データとする. ファインチューニングのパラメータ設定は学習率を 5e-5, loss を cross entropy, バッチサイズを 64 とし, 10 エポックの学習を行う. 評価結果には最良モデルの混同行列を載せるが, 最良モデルの基準としては評価データであるニューラル生成文データセットに対する不整合例の recall が最大であるものとする. 本来であれば検証データに対する loss が低いエポックについてデータを載せることが一般的であると考える。このようにした理由として, 学習の際 loss の収束は早く完了してしまうことが多く，しかし評価データに対しての精度は loss 収束後のエポック同士でもかなり異なっていることから lossのみを見ても本来の分類対象に対しての性能が測れないと考えたからである. 加えて, 今回の目的は不整合を含む生成モデル出力の検出であるため評価データの不整合例に対する recall が低いモデルは大量の不整合を見逃していることになり，目的を果たせていないと考えたことによる。

## 3.2 実験結果・考察

結果はそれぞれ図 6,7 に示すとおりである. (positive, negative はそれぞれ整合例, 不整合例を示す）加えて提案データセットについて学習曲線の上から評価データの recall をプロットしたものを図 8 に示す. (train, validation はそれぞれ学習, 検証データである）提案手法では不整合例, 整合例の recall ともにベースラインよりも高い結果を記録した。

学習曲線について, 学習, 検証データの accuracy は単調増加をしているような動きで順調に学習が進んでいるように見える. そのうえで学習曲線に重ねた評価データの recallを見ると, 特に負例について学習が進むごとに上がっているように見られ, 提案手法に事実不整合検出に対しての有効性があることを示

図 6 提案データセットで学習したモデルを用いた評価結果

している可能性がある.

今回正解できなかった不整合例の内訳は料金 7 件, アクセス 1 件, 営業時間 16 件となっている. 表 2 と見比べると料金, 営業時間, アクセスの順で recall が低い. 今回用意できたテンプレートは料金 224 件, 営業時間 468 件, アクセス 1,607 件であり, テンプレー トの件数とカテゴリごとの recall の順は同一である.精度向上にはそれぞれのテンプレート数を増やす必要が想定され, 今後この手法で精度を上げていくためにはテンプレートの拡充が必須であると考えられる。

今回整合例に対して不整合例の精度が落ちているのは, 整合例は単に知識の内容が生成内容に含まれていれば良いのに対し, 不整合例は整合例以上に広い分布をするからと考える. 今回正解できなかった不整合例をさらうと, 知識内容の一部のみ矛盾している, 知識に一切含まれない内容が含まれているというもので占められていた. どちらも今回の作成疑似例でカバーすることができると考えていたが, 実際にはそういったことを学習させることはできておらず，よりバリエーションに富んだ疑似例作成手法を考える必要がある。

## 4 おわりに

本稿では, 生成モデルに含まれる事実不整合を BERT の分類タスクを応用して検出することを試みた. 分類モデルの学習に生成モデルの学習に用いたデータを改変したデータを用いることで, ベースラインの手法に対する提案手法の有効性を示すことができた. 今後, 他の生成モデルに対して同様の手法を用いた事実不整合検出の可能性についても検討を進める. また, 実際に現れる事実不整合のパターンは無

図 7 ベースラインデータセットで学習したモデルを用いた評価結果

図 8 提案データセットを用いたモデルの学習曲線, 評価データの recall

数にあり,それらを限られたデータから効率的に検出する手法の調査も必要となるだろう.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受けたものである。

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam

McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, Online, December 2020.

[2] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv:1910.13461 [cs, stat], October 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), Vol. 1, pp. 4171-4186, Minneapolis, MN,USA, June 2019. Association for Computational Linguistics.

[4] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6251-6258, Online, November 2020. Association for Computational Linguistics.

[5] Karl Moritz Hermann, Tomáš Kočiský, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS), Vol. 1, pp. 1693-1701, Cambridge, MA, USA, 2015. MIT Press.

[6] 金田龍平, 芳賀大地, 杉山弘晃, 酒造正樹, 前田英作.知識源との一対多関係を有する対話コーパスによる発話生成. 言語処理学会第 28 回年次大会, 2022 発表予定.

[7] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv:2109.05217 [cs], September 2021.

[8] Xinyi Zhao, Masafumi Hamamoto, and Hiromasa Fujihara. Laboro BERT Japanese: Japanese BERT pre-trained with web-corpus. https://github.com/laboroai/LaboroBERT-Japanese, 2020.

[9] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会研究報告, Vol. 2020-NL-244, No. 6, pp. 1-8, 2020.

[10] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.


# Transformer による hallucination error の事後修正

森脇恵太 ${ }^{1}$ 大野瞬 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{18aj128, 18aj031\}@ms.dendai.ac.jp
h.sugi@ieee.org \{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

大規模対話コーパスで学習された End-to-End 対話モデルは非常に自然な文章を生成できることが知られている。一方，文生成時に与えた外部知識と異なる内容を持つ発話文を生成してしまう, hallucination error(以降，HE)が課題となっている. そこで本研究では，HEを含むデータを疑似的に作成し，BART や transformer などのニューラルモデルを用いて， HE の事後修正 (postfix)を試みた。旅行対話タスクにおける自動発話生成において発生した HE の中で重要性が高く，且つ，比較的扱いが容易であると考えられる，3つの情報源 (アクセス，営業時間，料金)を対象に検討を行った. その結果, transformerでは実際にニューラル生成モデルで生成した $\mathrm{HE}$ を含む文章 52 件中 29 件を修正した。

## 1 はじめに

GPT-3（Generative Pre-trained Transformer-3）[1] ど大規模ニューラル文章生成モデルの研究が進み，可読性が高く且つ自然な文章が生成できるようになりつつある。 それによって，雑談対話のように非目的指向型の対話も実現可能になった。しかし，こうしたニューラル生成モデルによる文章生成では，生成した文章が事実と異なる HE が発生するという問題が指摘されている [2]. 例えば，「新宿三丁目駅から徒歩 5 分」という事実があるのにも関わらず，生成モデルが「新宿駅から徒歩 5 分」など誤った文章を生成することがある. この HE の問題に対し, 文章生成モデルと TruthfulQAを用いた検証が行われているが，モデルの規模が大きくなるほど事実と異なる生成を行う傾向がある [3].

文章要約の対象となる原文と要約文のいずれか人工的に書き換えることで HE を含む疑似不整合例を作成し，これを学習データとして用いることで postfix モデルを構築する．具体例として，要約文中のエンティティを書き換えることにより作成した疑似不整合例を BART (Bidirectional Auto-Regressive Transformer）[4]を用いて修正する [5]. また, 要約文の代名詞や数字の入れ替え，要約文中にある単語を追加，削除することで疑似不整合例を作成し，スパン選択ヘッドを追加した BERT(Bidirectional Encoder Representations from Transformers )[6] を用いて HE の検出と修正の両方を行う手法も提案されている [7].本論文では，HE を検出し修正する機構 [8] のうち，HEを修正する postfix モデルの検証を行った.旅行対話タスクにおける生成発話において発生した $\mathrm{HE}$ の中で重要性が高く, 且つ, 比較的 HE の修正を学習するためのデータセットの作成が容易であると考えられる，3つの情報源 (アクセス，営業時間，料金)を対象に検討を行う。

知識源を参考に記述された文章にあるエンティティの書き換える手法と知識源とは無関係の文を追加する手法のそれぞれを用いて HE を含むデータを作成し，BART や trandformers を finetune することで postfix モデルを構築した。また，旅行対話データで finetune した大規模雑談対話モデル [9] を利用し， HE を含むデータセットで学習した postfix モデルがどの程度事実と異なる内容を正しく書き換えられるかを評価した。

## 2 データセット

## 2.1 データの収集

クラウドソーシングを利用して収集した観光地情報に基づく旅行代理店対話コーパス [10] を対象にして実験を行った。このコーパスは旅行代理店における客と店員の対話ログで構成されており，12 種類の知識情報を有する 600 箇所の観光地がある．店員の発話文は知識源にある内容を参考に記述されており，

図 $1 \mathrm{HE}$ 修正データの作成手順

表 1 知識カテゴリごとの書き換え対象エンティティ

12 種類の知識源のうちどの知識源を参考にしたかが明記されている。

## 2.2 事後修正のための学習用データセット

知識源に数値や固有名詞がある場合ニューラル生成モデルが HEを起こしやすいという傾向に基づき， コーパスにある 12 種類の知識源のうち，営業時間， アクセス，料金のいずれかを参考に記述された店員の発話文と知識源のペアを抽出した. 収集した発話文と知識源のペアは営業時間が 468 件，アクセスが 1,600 件，料金が 224 件と知識カテゴリで数が異なるだけでなく，最も多いアクセス情報で約 1,600 件と数が少ないため，一つの発話文と知識源のぺアをテンプレートとして複数のデータを疑似的に作成することで，各知識カテゴリごとに 40,000 件の発話文と知識源のペアを作成した。

抽出した発話文と知識源のペアに存在する同一のエンティティを書き換えることで疑似整合例を作成し，疑似整合例の発話文にあるいずれかのエンティティを書き換えることで疑似不整合例を作成した [8]. 表 1 に示すように，書き換え対象となるエンティティは知識源に割り当てられているカテゴリによって異なる. 図 1 に示すように疑似整合例と疑似不整合例を組み合わせることで，HE を含む発話文とその HE を修正した発話文で構成される HE 修正データを作成した. postfix モデルは HE を含む発話

付与対象:[18時からですね。], [年中無休で営業しています。]

引用対象候補から一つ選択

図 2 無関係な発話を含むデータの作成手順

文と参考にした知識源を入力として受け付け， $\mathrm{HE}$ を修正した発話文を出力するように学習する。これにより, postfix モデルは知識源に則していないエンティティを書き換える。

## 2.3 無関係な発話を含むデータの追加

ニューラル生成モデルは事実と無関係な文章を生成する場合がある。これを考慮し、エンティティの書き換えだけでなく，無関係な発話を含んだデータを作成した。データを追加することで事実と不整合な文を削除し、HEを修正することを期待した.このデータセットは 2.2 で作成した HE 修正学習デー タセットに 40,000 件の無関係な発話を含むデータを追加したものである. エンティティの書き換えを行って集めた 90,000 件の HE 修正データから二つの異なる発話文を抽出した後に，抽出した一方の発話文を句読点で分解し，分解したうちの一つの文をもう一方の発話文に加えることで無関係な発話を含むデータを作成した。無関係な発話を含むデータの作成手順と具体例を図 2 に示す.

## 2.4 評価用データの収集

HE 修正学習データセットはルールベースで作成されており，同じデータを拡張することで件数を増やしているためデータに偏りが存在する. これを考慮し, 作成した HE 修正学習データセット以外で評価用のデータを収集した。評価用データはニューラル生成モデルからの出力データ（ニューラル生成デー タセット）と人の手で作成した知識源と発話文のぺアで構成される評価用データ（handmade データセット）の二種類を作成した.

ニューラル生成データセットはニューラル生成モ
表 2 各種データセットの件数と概要

デルから出力された $\mathrm{HE}$ を含む生成文と文章生成に用いた知識源で構成される. データセットを作成するために，旅行対話データで fine-tuning したニュー ラル生成モデルを用いて発話文を生成し，人の目で HE を含むかどうかを判定した。

handmade データセットの一部は表 1 の書き換え対象を踏まえて，知識源と $\mathrm{HE}$ を含む発話文を作成した. これは $\mathrm{HE}$ 修正データがルールベースの書き換えで作成されたことを考慮している。また，表 1 の書き換え対象とは異なるデータを加えている。これは，モデルのロバスト性を評価する意図がある。

handmade データセットは作成時にターゲットとなる教師データを加えているが，ニューラル生成データセットにはターゲットとなる教師データは存在しない.

## 3 実験

## 3.1 実験設定

事前学習済みの Transformer，BARTを今回作成した $\mathrm{HE}$ 修正学習データセットでファインチューニングすることで postfix モデルを構築した. 事前学習済みモデルとして NTTコミュニケーション科学基礎研究所が公開している japanese-dualog-transformers ${ }^{1)}$,黒橋研究室が公開している BART 日本語 Pretrained モデル $[11]^{2)}$ を使用した. それぞれのパラメータ数は japanese-dialog-transformers は 1.6B, BART は 0.12B である. HE 修正学習データセットは 2.3 で作成した無関係な発話を含むデータセット (add_unrelated) と含まないデータセット（baseline）の 2 種類を用意した.また, ニューラル生成データセットと handmade データセットを用いて、それぞれのモデルを評価した. 学習, 評価に使用したデータセットの件数を表 2 に示す.

モデルの学習，評価にはシーケンスモデリングツールキットである fairseq ${ }^{3)}$ 利用した。

1) https://github.com/nttcslab/japanese-dialog-transformers

2) https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル

3) https://github.com/pytorch/fairseq

表 4 handmade データセットによる評価結果

モデルへの入力は知識源と HE を含む発話文をセパレーショントークン（[SEP]）で繋げたものである。しかし，事前学習済みの BART ではこのトー クンに対応していない。これを回避するために Fusion-in-Decoder[12] BART に実装し，知識源と修正対象を入力した.

## 3.2 評価指標

修正結果の評価指標として，修正結果の内容が知識源の内容と一致しているかを一手において評価した Faithfulness[13] と BLEU-4 score[14] を用いた. モデルの生成文に知識源と無関係な文，または知識源と矛盾した文のいずれかが一つも含まれない場合、モデルは HE を修正したと判定する.

モデルの出力を得るために fairseq の Command-line Toolsを利用し， beam sizeを 10 に設定した。これにより一つの入力に対して 10 個の出力候補を得られる. Faithfulness では, 10 個の出力候補の中に一つでも HE を修正したと判定されるものがあればその入力を修正できたとして評価している.

## 3.3 結果・考察

表 3, 4 より, BLEU-4 score と Faithfulness の結果が比例するとは限らないことが分かる。 入力に用いた発話文とターゲットが似ているため BLEU-4 score が高くなりやすいと考えられる。この結果は，BLEU-4 score では数値が異なるといった単純な $\mathrm{HE}$ を正しく評価することができないことを示唆している. BART と transformer で結果に大きな差がでたのはパラメータ数と事前学習に用いたデータセットの差によるものだと考えられる。

評価用データを用いて得られたいくつかの出力例
表 5 transformer におけるデータセットごとの出力例

 &  &  &  \\

を表 5 に示す. HE 修正データの書き換え対象であるエンティティに着目すると，一部のデータでは正しく書き換えられていない．特に知識源に出現するエンティティ順序と発話文に出現するエンティティの順序が異なる場合，postfix モデルは正しく書き換え出来ていない. モデルは"大人"と"500 円"のようなエンティティの関連付けが出来ていないと言える. また，知識源に出現するエンティティの順序とモデルの出力に出現するエンティティの順序が同じであることから，エンティティが出現する順序に注目して対象となるエンティティの書き換えを行っていると考えられる。

baseline では発話文にあるエンティティのみ書き換えるのに対し， add_unrelated では発話文にある一文を削除して出力する傾向が見られた．モデルは入力にある発話文の一部を削除することを学習したと考えられる。しかし，無関係な一文に限らず知識源に則っている一文についても削除するものもある. これらから，発話文の削除とエンティティの書き換えを行うことで知識源との整合性を取るように学習したと考えられる. 発話文の削除は無関係な一文に関わらず，知識源と矛盾，または含意の一文にも行うことで生成文全体が知識源に則るように文章を生成すると考えられる。

## 4 おわりに

本研究では，特定のエンティティのみを書き換えたデータ，無関係な発話を追加したデータなどで構成される $\mathrm{HE}$ 修正学習データセットを用いて，知識源
を使用する文章生成における HE を修正する postfix モデルの学習を行った.

学習データとは独立に用意したデータセットにより評価実験を行い，学習時に使用する HE 修正デー タを変えることで HE 修正データに沿ってモデルの挙動が変化することを示した。また，HE 修正学習データセットと似たデータがあるにも関わらず HE を修正できない例も存在した.. 今後は, HE 修正学習データセットの基となるデータの収集，書き換えルールなど作成手法の拡張が必要である。また，拡張した結果モデルの出力が変化し, HE の修正に貢献したかを手法ごとに検証すべきである.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受けた。

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Ashish Agarwal Clara Fannjiang David Sussillo Katherine Lee, Orhan Firat. Hallucinations in neural machine translation. Accepted in Workshop of Interpretability and Robustness in Audio, Speech, and Language, 2018.

[3] Stephanie Lin, Jacob Hilton, and Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan

Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[5] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6251-6258, Online, November 2020. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Wojciech Kryściński, Bryan McCann, Caiming Xiong, and Richard Socher. Evaluating the factual consistency of abstractive text summarization. arXiv preprint arXiv:1910.12840, 2019.

[8] 大野瞬, 森脇恵太, 杉山弘晃, 酒造正樹, 前田英作. 分類モデル bert による不整合生成文の検出について. "言語処理学会第 28 回年次大会", 2022(発表予定).

[9] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[10] 金田龍平, 芳賀大地, 杉山弘晃, 酒造正樹, 前田英作.知識源と一対多関係を有する対話コーパスによる発話生成. 言語処理学会第 28 回年次大会, 2022(発表予定).

[11] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセットと訂正システムの改良. 言語処理学会第 27 回年次大会, 2021.

[12] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering, 2020.

[13] Ankur P Parikh, Xuezhi Wang, Sebastian Gehrmann, Manaal Faruqui, Bhuwan Dhingra, Diyi Yang, and Dipanjan Das. Totto: A controlled table-to-text generation dataset. arXiv preprint arXiv:2004.14373, 2020.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模因果関係テキストを用いた反論生成手法

鎌倉 まな ${ }^{1,2}$ 飯田 龍 ${ }^{1,2}$ 呉 鍾勲 ${ }^{1}$ 田仲 正弘 ${ }^{1}$
Julien Kloetzer ${ }^{1}$ 淺尾 仁彦 ${ }^{1}$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人 情報通信研究機構 (NICT)
データ駆動知能システム研究センター (DIRECT)
2 奈良先端科学技術大学院大学 先端科学技術研究科
\{kamana, ryu.iida, rovellia,mtnk, julien, asao, torisawa\}@nict.go.jp

## 概要

議論は他者と意見交換を行い意思決定を行う重要な手段であり、ユーザと議論する対話システム $[1,2,3]$ が研究されてきたが、データ構築の困難さにより適用できる議論は限定的であった。本研究では、ブレインストーミングが可能な音声対話システムの実現を目指し、Webから 7.9 億件の大規模な因果関係を表すテキストを、テキスト中の省略を補完しつつ収集し、それを活用することで、ユーザの多様な主張に反論を出力する手法を提案する。また、提案手法が出力した反論を人手で評価した結果を報告し、今後対処すべき課題について論じる。

## 1 はじめに

議論は日常生活と社会生活において、他者との間でそれぞれの意見を交換し、集団内でより良い意思決定を行うため重要な手段である。特に、他者の意見に対して反論することで、集団による不適切な意思決定を回避したり、より精密な意思決定を行うことが可能になる。例えば、ある人が「リニアが奈良を通ったらいいよね」と言ったとき、他の人が「でも、リニアが奈良を通ると京都の経済力が落ちるかもしれないよ」と、潜在的リスクを挙げて反論を行えば、より適切な意見、意思決定につながることが期待できる。本研究では、Walton [4] が論証スキー ムの一つとして挙げた、ネガティブな帰結からの論証 (Argument from Negative Consequences、ANC) 「もし Aを実行すると、Bが起きる。B は悪い結果である。ゆえに、Aを実行すべきでない」をべースとし、大量の Web データから反論となるテキストを見つけ出す手法を開発した。上述のリニアに関する反論は、Aを「奈良にリニアを通す」、Bを「京都の経済力が落ちる」とすれば、まさにこの ANC の典型例
と言える。反論となるテキスト候補としては、Web から抽出した因果関係知識（例えば、原因文「奈良にリニアを通す」、帰結文「京都の経済力が落ちる」 のように、因果関係を持つ原因文、帰結文の対）を 7.9 億件用いており、多岐にわたる話題に関して反論テキストを発見することが可能である。

NICT DIRECT では、現在、雑談対話システム WEKDA [5] や介護支援用対話システム MICSUS ${ }^{1 \text { ) }}$ $[6,7]$ の開発を行なっている。これらのシステムは Web 情報を用いて雑談を行うが、本研究で開発した手法は、そうした雑談に反論を導入し、多様な意思決定に関するブレインストーミングを可能にし、これらの対話システムの適用範囲をより広げる狙いがある。

提案手法では、ユーザの主張が入力されると、因果関係知識のデータベースから、BERT ベースのモデルを複数個使い、ユーザの主張を含意する／に含意される原因文を持つ因果関係で、帰結文がなんらかのトラブルを表しているものを反論として発見する。手法の評価のため、「リニアが奈良を通る」のような何らかの出来事、行為、施策を表す主張を 500 件作成し、そのうち提案手法が反論候補を出力できた 452 件について、著者以外の 3 人の作業者の多数決で、それらの反論候補が本当に反論として成立するかどうか判定した。各々の主張に対して、トラブル認識のスコアの最上位の出力が反論として成立した割合は $50.0 \% 、 3$ 位まで出力した場合、そのうちのどれかが反論として成立した割合は $79.0 \%$ であった。この精度は高くはないが、反論生成に特化したデータを使っていない初の試みとしてはまずまずの

1）けいはんな $\mathrm{R \& D} フェア 2021 「$ 高齢者介護支援マルチモーダル音声対話システム MICSUS」https://keihannafair.jp/exhibition/ai/899、YouTube NICTchannel「高齢者向けマルチモーダル音声対話システム“MICSUS”」 https://www.youtube.com/watch?v=gCUrC3f9-Go
結果であると考えている。本論文の最後で、誤りの原因も分析し、今後の改善策についても言及する。

## 2 関連研究

これまでもユーザと議論する手法がいくつか研究されてきた。Sakai ら $[8,9]$ は、約 2 千件の主張や根拠を表す文を支持・不支持関係で結びつけた論証構造を手動で作成し、論証構造に基づいてユーザと議論する対話システムを提案した。また、Reddit 等のオンラインディベートフォーラムのデータを用いて、議論のためのテキストを発見したり、生成したりする研究もある $[2,10,11]$ 。これらの研究の課題は、まず、議論可能なトピックや反論がディベー トフォーラムのデータや人手で作成したデータによって強く制約されてしまうことである。また、テキスト生成を行う手法では、根拠のない議論を行ってしまう可能性がある。加えて、英語ではディベー トフォーラムが盛んであり、中には支持・不支持等のタグづけがユーザによってなされているものもある一方、日本語ではそこまでデータが集まっておらず、日本語を対象とするシステムでの活用は難しいという問題がある。一方、我々の手法では、対象が反論に限定されてはいるが、ディベートフォーラムであるか否かを問わず、非常に大量の Webぺージから取得した因果関係テキストを使うため、極めて広範な話題に関して反論を出力でき、また、反論は実際に誰かが Webに書いたテキストを元にしているため、全く根拠のない反論が出力されるリスクはきわめて小さく、優位性があるものと考えている。

## 3 反論を出力するアルゴリズム

提案手法は、ユーザの主張を表す入力文に対して反論を出力するが、 4 節で述べる大規模な因果関係に関する知識ベースと、入力文に関して知識ベースを検索した結果をフィルタリングするための各種分類モデル (4 節で述べる含意等認識器、トラブル認識器）を利用する。因果関係に関する知識べースは、原因と帰結のぺアがそれぞれ文の形式で（例えば、原因文「これから導入されるマイナンバーは、国だけではなく、一般企業も給与の支払いなどで使用する」と帰結文「マイナンバーで情報漏えいが起きるリスクが高い」のように）保持している。 Hashimoto らの研究 [12] と異なり、原因文、帰結文にはそれぞれ名詞 1 個、述語 1 個といった制限はなく、任意の形態の文が含まれる。手続きとしては、入力文に含まれる内容語 (「プロ野球に FA 制度がある」の「プロ野球」や 「FA 制度」）を原因文に含む因果関係を、Lucene を用いて検索し、次に得られた原因文・帰結文ぺアの各々に関して、含意等認識器、トラブル認識器を適用し、1) 入力文と含意 （含意の方向は問わない）もしくは等価であると分類された原因文と 2) トラブルを含むと分類された帰結文からなるぺアのみを選択し、その帰結文を反論として出力する。なお、評価ではトラブル認識器の分類スコアが最も高い帰結文を最大で 3 個出力した。なお、後述するように含意等認識器、トラブル分類器ともに、BERT ベースの二値分類器であり、入力が含意等の性質を持つ確率を分類スコアとして出力しているが、その確率が 0.5 を上回るものをその性質を持つ入力であるとみなした。本手法が出力した反論の例を表 1 に示す。

## 4 因果関係獲得と含意等文間関係・ トラブル認識処理

3 節のアルゴリズムで利用する知識の獲得は下記の手順で行う。まず、Webから収集した 7 文からなるテキストパッセージと、そのパッセージに Oh ら [13] の CRFベースの因果関係抽出手法を適用して得られる因果関係の候補を表すテキストの原因部分と帰結部分の単語列を入力とし、さらに高精度な因果関係を抽出するため、BERTで重ねて分類を行った。 この BERT モデルの学習のためにアノテータ 3 名の多数決を実施し、学習用、開発用、評価用データとして、それぞれ 127,240 事例、20,937 事例、20,954 事例を得た。実際には、呉らの因果関係をさらに、解決法、「〜が起きると、〜の可能性が高くなる」等いくつかのタイプの因果関係に再分類しており、上記学習データはそれらの再分類された因果関係のタイプに関するアノテーションを含んでいるが、本研究では、先述の「可能性が高くなる」因果関係のみを利用するので他の詳細は割愛する。NICT が収集した大規模 Web テキスト 350GB で事前学習した $\mathrm{BERT}_{\text {large }}$ でファインチューニング2) した結果、評価用データに関する上述の「可能性が高くなる」因果関係に関する自動分類の性能は平均精度で $91.7 \%$ となった。

上述の手法で抽出された因果関係は、ゼロ照応等による省略が含まれており、原因文、帰結文それぞれを単独で読んでも意味が通らないことが多い。こ

表 1 入力と反論の例

のため、省略等が補完され原因文、帰結文それぞれの単体を読んで内容が理解できるような形式で整形された原因と帰結の文の対を生成する課題を設計し、その処理に必要な判定、生成の学習・評価用データを作成した。先述の BERT 学習用データの原因部分、帰結部分に各事例 1 名のアノテータが元パッセージからの省略等の補完や文の整形などを行う編集作業を実施した。また、省略が補完された原因文、帰結文アノテーション学習用、開発用、評価用データの件数はそれぞれ他の関係と合わせて 113,486 事例、17,216 事例、17,364 事例である3)。これをもちいて、上述の $\mathrm{BERT}_{\text {large }}$ をべースとして、さらに事前学習を行った Transformer Encoder-Decoder モデルをファインチューニングして生成器を作成し、この性能は評価データの ROUGE- $1 \mathrm{~F}$ 值で 80.0 \%である。これらの因果関係判定器、生成器を Web 約 200 億ページから得た約 35 億パッセージに適用し、「可能性が高くなる」関係に関しては約 7.9 億件の知識を獲得した。

また、含意の認識処理についても、類似する文対をヒューリスティックに獲得し、それらに対して意味的に等価、含意（含意の方向性として、2つの可能性があるので、2 種類の関係)、(本研究では使用していないが）矛盾の４つの関係をアノテーションした。 5 万件の事例に対し 3 名のアノテータが独立に判定を行い、多数決でラベルを決定した。この事例を学習用、開発用、評価用データとして 35,000 事例、5,000 事例、 10,000 事例に分割し、上記の関係判別と同様に $\mathrm{BERT}_{\text {large }}$ をファインチューニングして実験を行った。この結果、等価、含意 (2 種類)、矛盾の判定性能は評価データの平均精度でそれぞ

3）上述の因果関係の判定アノテーションでは複数の因果関係のタイプに関して判定を行うため 1 事例に対して複数の正例が得られる場合もあるが、生成のアノテーションではその個別の正例を 1 事例としてアノテーションを行っているため、上記の判定の事例数とはアノテーションの件数が異なっている。
れ $88.0 \% 、 87.6 \% 、 88.8 \% 、 55.4 \%$ という結果を得ている。

また、トラブル認識のためにも学習・評価用デー タを作成した。この作成時には、負担・トラブル表現リスト ${ }^{4 ）}[14]$ と活性・不活性辞書 [15] を組み合わせ、「結核を患う」のようなトラブル名詞と活性述語テンプレートの組み合わせ、また、「出生率が低下する」のような非トラブル名詞と不活性述語テンプレートの組み合わせをトラブル認識の対象となる核表現とし、その核表現を含む文をその前後文とともに Web 文書から 4 万件サンプリングした。 3 名のアノテータが文中の核表現がトラブルを表す内容として記述されているかを判定し、多数決でラベルを決定した。ただし、3節で述べた提案手法では帰結文全体を入力してトラブルを含むか否かを判定する必要があるため、核表現に対するアノテーション結果をその核表現が含まれる文に対するアノテーション結果とみなして学習・評価に利用した ${ }^{5}$ )。上述の 4 万事例を学習用、開発用、評価用としてそれぞれ 28,000 事例、4,000 事例、8,000 事例に分割し、上記の BERT $_{\text {large }}$ でファインチューニングを行った。この結果得られた分類器の性能は、評価用の平均精度で約 $91.0 \%$ である。

## 5 実験

対話システムにユーザが話しかけるとき「マイナンバーで役所の手続きが簡単になるといいね」「小学校でプログラミングが必修になるんだって」のようにユーザの主張が明示されないか、間接的な言い方で示されることが想定される。ここでは問題を単純化するために、「マイナンバーを導入する」「小学校でプログラミングを必修にする」のように、ユー

表 2 評価用主張文 500 件に対する反論候補の評価結果

ザ発話中の出来事を取り出し、賛成と反対の両方の立場が仮定できるシンプルな主張に書き換え、ユー ザが主張に「賛成」「そう願っている」と仮定する。以下では書き換え後の文をユーザの主張として扱い、提案手法が出力した反論候補が反論として成立するかどうか評価する。

より具体的には、雑談のための入力発話として、任意のトピックに関してアノテータが作成したユー ザ入力発話の中から、賛成と反対の両方の立場が仮定できるシンプルな主張に書き換え可能なものを著者の一人が選び、上記のようにシンプルな主張への書き換えを行い、ユーザの主張文とした。ユー ザの主張は、開発用、評価用としてそれぞれ 50 事例、500 事例を用意した。提案手法の適用に際しては、含意等認識を適用する因果関係の候補として、 Lucene の検索結果上位 5,000 件を利用した。また、反論候補が複数得られた場合にはトラブル認識の分類スコアが最も高い反論候補を最大 3 つ出力することとした。評価としては、主張文と反論候補の組を提示し、主張文の内容に対して「賛成」「そう願う」「よい選択だ」のような立場をある人がとったと仮定した場合に、反論候補がその人に対する反論となるかどうかを、3名の作業者がそれぞれ独立に判定し、多数決でラベルを決定する。

## 5.1 実験結果

入力となる主張文、開発用 50 事例、評価用 500 事例のうち、反論が出力できたのはそれぞれ 41 事例、 452 事例であった。評価様主張文の人手評価結果を表 2 に示す。トラブル認識の分類スコアスコア最上位の反論候補が反論になると判定された場合 (P@1) が $50.0 \%$ 、トラブル認識の分類スコア 3 位までの反論候補に、反論になると判定されたものが含まれる割合(P@3) が 79.0\%となった。Fleiss の $\kappa$ 値は 0.605 であった。特に分類スコア最上位の場合は高精度とは言えないが、特に反論生成に特化した学習データを作成していないことを考えると、まずまずの結果であると考えている。

誤りの原因を探るため、評価用データに対して出力された反論について、トラブル認識の分類が最大の反論候補のうち、反論ではないと判定された事例表 3 反論として成立しなかった要因（合計 100 件）

の中から 100 件サンプリングし、反論が成り立たない要因を分析した。その要因の分類と事例数を付録表 3 に示す。主な要因は因果関係が迂遠で分かりづらいことであった。例えば、主張「ホームドアを設置する」に対する反論「事故が起きる可能性がある」では、「ホームドアが設置されている駅とされていない駅が混在することで視覚障害者が混乱してしまい事故につながる」といった説明があれば反論として成立すると考えられる。また、含意等判定器、因果関係判定器、生成器にも改善の余地があることがわかる。今後は、反論に特化した学習データを作成するとともに、こうした課題に対処していく予定である。

## 6 おわりに

本論文では、ユーザのブレインストーミングを助けより良い意思決定を支援する手法の開発を目指し、因果関係知識を大規模に獲得し、ユーザに対して帰結に問題を含む因果関係を用いて、反論として出力する手法を提案した。提案手法による反論は情報源が Web であるため、信頼性に難があったり意見が偏っていたりするものもあり得るが、今後は、 DISAANA [16] 等のデマ検出技術で培ったテキスト間の矛盾検知技術 [17] 等も活用し、よりバランスの取れた反論や、因果関係 [12] の連鎖による推論等も用いてよりクリエイティブな反論や、ユーザや文脈により適合した反論を提供することを目指す。加えて、深層学習自動並列化ミドルウェア RaNNC[18] を用いて事前学習したより巨大な言語モデルや、そもそもアーキテクチャの異なる言語モデル、例えば [19] も用いてさらなる高精度化を図る。また、反論だけではなく、支持のような議論の他の構成要素も同様の手法で出力が可能だと考えており、これらも用いて多様な意思決定に関するブレインストーミングを可能にする対話システムの実現を目指す。

## 参考文献

[1] Ryuichiro Higashinaka, Kazuki Sakai, Hiroaki Sugiyama, Hiromi Narimatsu, Tsunehiro Arimoto, Kiyoaki Matsui, Takaaki Fukutomi, Yusuke Ijima, Hiroaki Ito, Shoko Araki, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Yoshihiro Matsuo. Argumentative dialogue system based on argumentation structures. In Proceedings of the 21st Workshop on the Semantics and Pragmatics of Dialogue, 2017.

[2] Dieu Thu Le, Cam-Tu Nguyen, and Kim Anh Nguyen. Dave the debater: a retrieval-based and generative argumentative dialogue agent. In Proceedings of the 5th Workshop on Argument Mining, pp. 121-130, 2018.

[3] Noam Slonim, Yonatan Bilu, Carlos Alzate, Roy BarHaim, Ben Bogin, Francesca Bonin, Leshem Choshen, Edo Cohen-Karlik, Lena Dankin, Lilach Edelstein, Liat Ein-Dor, Roni Friedman-Melamed, Assaf Gavron, Ariel Gera, Martin Gleize, Shai Gretz, Dan Gutfreund, Alon Halfon, Daniel Hershcovich, Ron Hoory, Yufang Hou, Shay Hummel, Michal Jacovi, Charles Jochim, Yoav Kantor, Yoav Katz, David Konopnicki, Zvi Kons, Lili Kotlerman, Dalia Krieger, Dan Lahav, Tamar Lavee, Ran Levy, Naftali Liberman, Yosi Mass, Amir Menczel, Shachar Mirkin, Guy Moshkowich, Shila Ofek-Koifman, Matan Orbach, Ella Rabinovich, Ruty Rinott, Slava Shechtman, Dafna Sheinwald, Eyal Shnarch, Ilya Shnayderman, Aya Soffer, Artem Spector, Benjamin Sznajder, Assaf Toledo, Orith Toledo-Ronen, Elad Venezian, and Ranit Aharonov. An autonomous debating system. Nature, Vol. 591, No. 7850, pp. 379-384, 2021.

[4] Douglas Walton, Chris Reed, and Fabrizio Macagno. Argumentation Schemes. Cambridge University Press, 2008.

[5] 水野淳太, クロエツェージュリアン, 田仲正弘, 飯田龍, 吳鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源とする質問応答システムを用いた博学対話システム. 人工知能学会第 84 回言語・音声理解と対話処理研究会, pp. 135-142, 2018.

[6] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 653-661, 2020.

[7] 淺尾仁彦, 水野淳太, 呉鍾勲, Julien Kloetzer, 大竹清敬, 福原裕一, 鎌倉まな, 緒形桂, 鳥澤健太郎. 介護支援対話システムのための意味解釈モジュール. 言語処理学会発表論文集, 2022.

[8] Kazuki Sakai, Akari Inago, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Junji Tomita. Creating large-scale argumentation structures for dialogue systems. In Proceedings of the 11th International Conference on Language Resources and Evaluation, 2018.

[9] Kazuki Sakai, Ryuichiro Higashinaka, Yuichiro Yoshikawa, Hiroshi Ishiguro, and Junji Tomita. Hierarchical argumentation structure for persuasive argumentative dialogue generation. IEICE Transactions on Information and Systems, Vol. E103.D, No. 2, pp. 424-434, 2020.

[10] Xinyu Hua, Zhe Hu, and Lu Wang. Argument generation with retrieval, planning, and realization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2661-2672, 2019.

[11] Khalid Al Khatib, Lukas Trautner, Henning Wachsmuth, Yufang Hou, and Benno Stein. Employing argumentation knowledge graphs for neural argument generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4744-4754, 2021.

[12] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, István Varga, Jong-Hoon Oh, and Yutaka Kidawara. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 987-997, 2014.

[13] Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. Whyquestion answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 1733-1743, 2013.

[14] Stijn De Saeger, Kentaro Torisawa, and Jun'ichi Kazama. Looking for trouble. In Proceedings of the 22nd International Conference on Computational Linguistics, $\mathrm{pp}$. 185-192, 2008.

[15] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, and Jun'ichi Kazama. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, 2012.

[16] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP systems for analyzing textual big data. In Proceedings of COLING 2016: System Demonstrations, pp. 263-267, 2016.

[17] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano, and Kiyonori Ohtake. Two-stage method for large-scale acquisition of contradiction pattern pairs using entailment. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 693-703, 2013.

[18] 田仲正弘, 田浦健次朗, 塙敏博, 鳥澤健太郎. 自動並列化深層学習ミドルウェア RaNNC. 自然言語処理, Vol. 28, No. 4, pp. 1299-1306, 2021.

[19] Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, and Kentaro Torisawa. BERTAC: Enhancing transformer-based language models with adversarially pretrained convolutional neural networks. In Proceedings of the 59th ACL and the 11th IJCNLP, pp. 2103-2115, 2021.


# 後処理ネットワークを用いた強化学習によるタスク指向型対話 システムの最適化

大橋厚元 ${ }^{1}$ 東中竜一郎 1
1 名古屋大学大学院 情報学研究科
ohashi.atsumoto@g.mbox.nagoya-u.ac.jp, higashinaka@i.nagoya-u.ac.jp

## 概要

典型的なタスク指向型対話システムは，複数のモジュールが連結したパイプライン型の構成となっている. 近年では，このパイプライン型システムの対話タスク能力を向上させるため，システムを構成する複数のモジュールを同時に学習することでシステ么全体を最適化する手法が多く提案されている。しかしこれら手法では，各モジュールが学習可能な手法で実装されていなければならない。本研究では，強化学習を用い，各モジュールの実装手法に依存せずにパイプライン型システム全体を同時に最適化できる後処理ネットワークを用いた手法を提案する。

## 1 はじめに

タスク指向型対話システムは複数のモジュー ルが連なって構成されるパイプライン型システムと End-to-End 型システムの 2 つに分類される $[1,2]$. 典型的なパイプライン型システムは，言語理解 (Natural Language Understanding; NLU), 状態更新 (Dialogue State Tracking; DST), 行動決定 (Policy),言語生成（Natural Language Generation; NLG）という 4 つのモジュールで構成され [1], 各モジュールは人手で作成したルールによる手法（ルールベー ス手法）やニューラルネットワークを用いた手法 （ニューラルベース手法）など，任意の手法で実装することができる， パイプライン型システムは， システム内部の各モジュールの入出力が明確であるので，開発者がシステムを解釈しやすいという利点がある。しかし，各モジュールが順番に処理されるため，先行するモジュールのエラーが後続するモジュールに伝播しやすく，結果として対話タスク能力が低下してしまうという欠点がある.

そこで，パイプライン型システムを構成する複数のモジュールを同時に学習することでシステム全体
を End-to-End に最適化する手法が多く提案されている $[3,4,5,6]$. しかしこれらの手法は，ニューラルベース手法による学習可能なモジュールでシステムが構成されていることを前提としている. したがって，ルールベース手法や Web API 等を用いて実装された学習不可能なモジュールを使用したい場面では，これら手法は適用することができない.

このような背景から, 本研究ではシステムに含まれるモジュールがどのような手法で実装されていたとしても，システム全体を最適化できる後処理ネットワークを用いた手法を提案する。本手法では，システムを構成する各モジュールの出力を後処理するネットワーク（Post-processing Networks; PPN）を用意する. 各 PPN は，後処理として各モジュールの出力を修正し，システム全体のパイプライン処理を円滑にする。各 PPN の後処理は，強化学習を用いて夕スク達成などの対話タスク能力を向上できるように学習される。実際に学習されるのは各 PPN であるため，各モジュール自身が学習可能である必要はない. MultiWOZ データセット [7] に基づいて実装された複数のパイプライン型システムに PPN を適用し，本手法の有効性を確認した。

## 2 提案手法

本手法の目的は，PPNの後処理によって各モジュールの出力を修正することで，システム全体の対話性能を向上させることである. 図 1 は，複数のモジュール ( Module A $_{\mathrm{A}} \sim$ Module $_{\mathrm{N}}$ ) からなるパイプライン型システムに PPNを適用した際の全体像を示している.

## 2.1 後処理アルゴリズム

図 1 を用いて, $\mathrm{PPN}_{\mathrm{I}}$ がターン $t$ における Module $\mathrm{I}_{\mathrm{I}}$ の出力 $o_{I}^{t}$ を後処理するアルゴリズムを説明する.

まず，一般的なパイプライン型システムと同様

図 1 PPNを適用したパイプライン型システムのアーキテクチャ. 各 PPN は対象とするモジュールの出力 $o$ を，全モジュールの状態 $s_{A l l}$ を考慮しながら後処理する.

に, Module は先行する Module H $_{\mathrm{H}}$ の出力を受け取り，自身の処理結果 $o_{I}^{t}$ を出力する．またこのとき， Module $_{\text {I }}$ が自身の状態に関する補足的な情報（例えば， $o_{I}^{t}$ の信頼度スコア）を出力できる場合はそれを状態べクトル $s_{I}$ として出力する. そしてこれを用いて，全モジュールの状態ベクトルを結合した $s_{A l l}^{t}=\left[s_{A}^{t} ; \ldots ; s_{I}^{t} ; s_{J}^{t-1} ; \ldots ; s_{N}^{t-1}\right]$ を作成する.

次に， oot ${ }_{I}^{t} \mathrm{PPN}_{\mathrm{I}}$ に入力する. $\mathrm{PPN}_{\mathrm{I}}$ 内では, InAdapter ${ }_{I}$ が $o_{I}^{t}$ のバイナリベクトル表現 $v_{I}^{t}$ を作成する. $v_{I}^{t}$ の次元数は Module $\mathrm{I}_{\mathrm{I}}$ の出力語彙数であり,各バイナリは Module $_{\text {I }}$ の各出力語彙が $o_{I}^{t}$ に含まれているか否か」を 1 か 0 で表す. InAdapter $I_{I}$ は， Module $_{\text {I }}$ に定義されている出力語彙セットに基づいて人手で作成する.

ここまでで作成された $v_{I}^{t}$ と $s_{A l l}^{t}$ を結合し, 多層パーセプトロン $\mathrm{MLP}_{\mathrm{I}}$ に入力する. $\mathrm{MLP}_{\mathrm{I}}$ は $v_{I}^{t}$ と同じ次元数のバイナリベクトル $v_{I}^{\prime t}$ を出力する. この時点での $v^{t}$ と $v^{t}$ の変化分が $\mathrm{PPN}_{\mathrm{I}}$ による後処理となる. 最後に OutAdapter $I_{I} よって, v_{I}^{\prime t}$ の中で 1 となっている要素が Module I の出力語彙に復元され,最終的な PPN の出力 $o_{I}^{t}$ が作成される. OutAdapter ${ }_{I}$ も InAdapter $I_{I}$ と同様に, Module I $^{2}$ に定義されている出力語彙セットに基づいて人手で作成する.

## 2.2 強化学習による最適化

本研究では対話シミュレーションを用い，システムに含まれる各 PPN の MLP を方策ネットワークとして強化学習を行う. 強化学習で用いる報酬としては，対話タスクの達成に関するものを人手によるルールで設計する. 強化学習アルゴリズムとしては，方策べースの手法であり学習の安定性も高いという理由から, Proximal Policy Optimization (PPO) [8] を用いた. 以下は, PPO に基づいた PPN の学習ループ 1 回分の手順である. この学習ループは事前に決められた回数繰り返す。

1. ユーザシミュレータを用いて対話をシミュレー
ションする．対話における各ターン $t$ では，各 PPN が後処理を行い，そこで得られる $s_{A l l}^{t}, v^{t}$, $v^{\prime t}$ ，報酬 $r^{t}$ からなるタプルを行動履歴として蓄積する. 対話シミュレーションは行動履歴が事前に決められた量（ホライゾンと呼ぶ）に達するまで繰り返す。

2. PPN 選択戦略（後述）に基づいて，今回の学習ループで更新する PPNを選択する。

3. ステップ 1 で得られた行動履歴を用い，事前に決められたエポック数だけ PPO アルゴリズムに基づいて，ステップ 2 で選択した PPN の MLPを更新する.

PPN 選択戦略とは，各学習ループで更新する PPN を選択するためのルールである. システムに 2 つ以上の PPN が含まれる場合，どの PPNをどの順番で更新するべきかは自明ではない，そこで本研究では ALL（各学習ループで，必ずすべての PPN を選択する)，RANDOM（各学習ループで，1つ以上の PPNをランダムに選択する), ROTATION (学習ループごとに，PPNを 1 つずつ順繰りに選択する）の 3 種類を用意し，最も有効な戦略を実験的に調査する。

## 3 実験

## 3.1 データセットとプラットフォーム

本研究では, MultiWOZデータセット [7] に基づいて実装されたモジュールを用いて複数の異なる対話システムを構成し, 各システムに PPNを適用することで，本手法の有効性を検証する．MultiWOZ は旅行サポートサービスを行う店員と顧客とのタスク指向型対話コーパスであり， 10,438 対話が含まれる.

実験では，タスク指向型対話システム用プラットフォームである ConvLab2 [9]を用いる. ConvLab2 では，MultiWOZに基づいて実装された各モジュー ルやユーザシミュレータ [10]を用いた対話システム評価ツール等が提供されている.

図 2 強化学習における PPN 選択戦略ごとの各評価尺度の推移

## 3.2 評価尺度

各対話におけるタスク評価には，ConvLab2 で利用可能であり, 先行研究 $[11,12,13]$ でも一般的に使用されている，Turn（対話に要したターン数）， Inform F1（ユーザが要求した情報に過不足なく答えたか)，Match Rate（ユーザの条件に合ったエンティティ1)を提示したか)，Task Success (20 ターン以内に Inform Recall と Match Rate が同時に 1 になったか）の４つの尺度を用いる。なお本実験では，ユー ザ発話とそれに対するシステムの応答 1 回を 1 ター ンとして定義する. システムの評価時には公正な比較を行うため，異なる 5 種類のランダムシードで 1,000 対話ずつシミュレーションし，その平均スコアを用いる。

## 3.3 システム構成

本研究では，Takanobu ら [14] の実験に倣い，パイプライン型システムの一般的なモジュール構成である，NLU，DST, Policy, NLGの 4 モジュールからなるシステムを用意する. 各モジュールとしては， ConvLab2 で実装されているモデル2)の中から，古典的なルールベース手法（学習不可能なモデル）と最新のニューラルベース手法（学習可能なモデル）の両方を含むように選択した. なお，学習可能なモデルであってもそのモデル自体は学習せず PPN のみを学習する. 以下で，モジュール別に，今回利用するモデルを説明する。

NLU BERT[15] NLU モデルを使用する. 本モデルは BERT による埋め込み表現を用い，ユーザ発話文中の各単語が表す意図をクラス分類する [16].

 &  &  & Turn \\
& 64.2 & $\mathbf{7 1 . 9}$ & 76.6 & 9.20 \\

RANDOM & 60.4 & 70.5 & 73.2 & 9.10 \\

DSTRule DST と TRADE [17] の 2 モデルを使用する. Rule DST は NLU が推定したスロットを用いて対話状態を更新するモデルであり，更新ルー ルは人手によるルールで作成されている。一方で TRADE はニューラルベース手法のモデルであり， システムとユーザの発話履歴を大力として，対話状態を直接生成する.

Policy Rule Policy, MLE Policy, PPO [8] Policy, LaRL [18]の 4 モデルを使用する. Rule Policy は人手で作成されたルールに従って行動を決定するモデルである. MLE Policy は MultiWOZ データセットにおける店員の行動を模倣するように教師あり学習されたニューラルベースモデルである. PPO Policy は MLE Policy をべースに PPO アルゴリズム [8] によってタスク達成に最適化するように fine-tune されたモデルである．LaRL は対話状態を元にシステムの発話文を直接生成する RNN ベースのモデルである.

NLG Template NLG と SCLSTM [19] の 2 モデルを使用する。Template NLG は，人手で事前に用意されている発話テンプレート文の集合から, Policy が出力した行動に合うものを選択する手法である. SCLSTM はRNN ベースのモデルであり, Policy が出力した行動に合ったシステム発話文を生成する.

## 3.4 結果

本研究では，まずどの PPN 選択戦略が最も有効であるかを調査し，次に PPNが任意のシステムに適用可能であるかを調査した.
表 2 各システムにおけるモデルの組み合わせと PPN 適用前後での評価尺度の比較

## 3.4.1 PPN 選択戦略の比較

図 2 と表 1 は各 PPN 選択戦略を用いてシステムを学習した場合の学習推移と最終スコアをそれぞれ示している.なおこの実験では BERT NLU，Rule DST，MLE Policy，Template NLG の組み合わせで構成したシステムに PPNを適用した。このシステムを用いた理由は，PPN 適用前の Task Success が 50\%前後（図 2 左図参照）であるため PPN の適用による影響がわかりやすく，また MLE Policy はしばしば強化学習の初期重みとして用いられる [11,12]ため,本研究における初期モデルとして合理的だと考えられるからである. 結果から，いずれの PPN 選択戦略であっても PPNが有効であることが確認できる. なお，ALL はほかの 2 種類に比べ早く最高スコアに到達するが，それ以降では学習が不安定になることが分かる。一方 RANDOM と ROTATION は学習が安定しており, 特に RANDOM は最終的に全 3 種類中最高スコアを達成している.

## 3.4.2 モデルの組み合わせによる影響

表 2 は複数のモデル（3.3 節参照）を用いて実装した 6 種類のシステムの構成と PPN 適用前後での評価尺度を示している. PPN 選択戦略としては，3.4.1 節の結果から RANDOMを用いた. 表 2 から，ほとんどのシステムにおいて，PPNを適用することによってその対話タスク能力が改善することがわかる. 一方で特に SYS-RUL など, Rule Policy が含まれるシステムについては改善が見られない場合も確認できる. Rule Policy は人手ルールによって入念に作りこまれており元から精度が高いモデルである. したがって, 特に Policy に改善の余地がある場合に PPNによる改善が見込めると考えられる。

## 4 関連研究

本研究は，モジュール構造をとるシステムを End-to-End で最適化するニューラルベース手法と関連している. Lei ら [20] はDST と NLGに相当する 2 つの decoder を sequence-to-sequence モデル [21] に導入した手法を提案している. さらに Policy や NLU に相当する decoder によって Lei らのモデルを拡張した手法も提案されている $[4,22]$. しかし, これら手法は End-to-End モデルを教師あり学習により最適化しており，対話全体の教師データ必要とする点が本研究とは異なる。

本研究は，強化学習によるパイプライン型システ么の性能向上を目的としている. Liu ら [5] は模倣学習を組み合わせることで，Policyを実ユーザに最適化させる手法を提案している。 また，システム内の各モジュールを同時に fine-tune するすることで， システム全体の対話能力やエラーに対するロバスト性を向上させる手法 $[23,24,6]$ が多く提案されている.これら手法は，ニューラルベース手法で実装された各モジュールを強化学習によって直接学習するため，学習不可能なモジュールを含むシステムには適用できない。一方で本研究で提案する手法は，任意のパイプライン型システムに適用可能である.

## 5 おわりに

本研究では後処理ネットワークと強化学習を用い，各モジュールの実装手法に依存せずにパイプライン型対話システム全体を同時に最適化できる手法を提案した. MultiWOZ と ConvLab2 における実験から，多様なモデルで構成された複数のシステムに対して本手法が有効であることを確認した。

## 謝辞

本研究は科研費「モジュール連動に基づく対話システム基盤技術の構築」（課題番号 19H05692）の支援を受けた。

## 参考文献

[1] Hongshen Chen, Xiaorui Liu, Dawei Yin, and Jiliang Tang. A survey on dialogue systems: Recent advances and new frontiers. ACM SIGKDD Explorations Newsletter, 19(2):25-35, 2017.

[2] Zheng Zhang, Ryuichi Takanobu, Qi Zhu, MinLie Huang, and XiaoYan Zhu. Recent advances and challenges in task-oriented dialog systems. Science China Technological Sciences, pages $1-17,2020$.

[3] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve Young. A Network-based End-to-End Trainable Task-oriented Dialogue System. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 438-449, April 2017.

[4] Yichi Zhang, Zhijian Ou, and Zhou Yu. Task-Oriented Dialog Systems That Consider Multiple Appropriate Responses under the Same Context. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 9604-9611, Apr. 2020.

[5] Bing Liu, Gokhan Tür, Dilek Hakkani-Tür, Pararth Shah, and Larry Heck. Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 20602069, June 2018

[6] Zichuan Lin, Jing Huang, Bowen Zhou, Xiaodong He, and Tengyu Ma. Joint System-Wise Optimization for Pipeline Goal-Oriented Dialog System. arXiv preprint arXiv:2106.04835, 2021.

[7] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 5016-5026, October-November 2018.

[8] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 142-149, July 2020.

[10] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-Based User Simulation for Bootstrapping a POMDP Dialogue System. In Proceedings of Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pages 149-152, April 2007.

[11] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided Dialog Policy Learning: Reward Estimation for Multi-Domain TaskOriented Dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 100-110, November 2019.

[12] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao.
Guided Dialogue Policy Learning without Adversarial Learning in the Loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 2308-2317, November 2020.

[13] Zhengxu Hou, Bang Liu, Ruihui Zhao, Zijing Ou, Yafei Liu, Xi Chen, and Yefeng Zheng. Imperfect also Deserves Reward: Multi-Level and Sequential Reward Modeling for Better Dialog Management. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2993-3001, June 2021.

[14] Ryuichi Takanobu, Qi Zhu, Jinchao Li, Baolin Peng, Jianfeng Gao, and Minlie Huang. Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 297-310, July 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, June 2019.

[16] Qian Chen, Zhu Zhuo, and Wen Wang. Bert for joint intent classification and slot filling. arXiv preprint arXiv:1902.10909, 2019.

[17] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable MultiDomain State Generator for Task-Oriented Dialogue Systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 808-819, July 2019.

[18] Tiancheng Zhao, Kaige Xie, and Maxine Eskenazi. Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1208-1218, June 2019.

[19] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1711-1721, September 2015

[20] Wenqiang Lei, Xisen Jin, Min-Yen Kan, Zhaochun Ren, Xiangnan He, and Dawei Yin. Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1437-1447, July 2018.

[21] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Proceedings of Advances in neural information processing systems, pages 3104 3112, 2014 .

[22] Weixin Liang, Youzhi Tian, Chengcai Chen, and Zhou Yu. MOSS: End-to-End Dialog System Framework with Modular Supervision. Proceedings of the AAAI Conference on Artificial Intelligence, 34(05):8327-8335, Apr. 2020.

[23] Xiujun Li, Yun-Nung Chen, Lihong Li, Jianfeng Gao, and Asli Celikyilmaz. End-to-End Task-Completion Neural Dialogue Systems. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 733-743, November 2017

[24] Hwaran Lee, Seokhwan Jo, Hyungjun Kim, Sangkeun Jung, and Tae-Yoon Kim. SUMBT+LaRL: Effective Multi-Domain Endto-End Neural Task-Oriented Dialog System. IEEE Access, 9:116133-116146, 2021


# 応答の生成・評価・選択による対話システム

榮田亮真 河原大輔
早稲田大学理工学術院
s.ryoma6317@akane.waseda.jp dkw@waseda.jp

## 概要

本論文では、人間から良い評価が得られる応答を生成する対話システムを目指し、応答評価モデルを対話システムに取り入れることを提案する。提案するシステムは、応答生成モデルが複数生成した応答を応答評価モデルで評価し、最適な応答を選択して応答を出力するものである。提案システムによる出力をベースラインシステムの出力と比較する人手評価を行った。人手評価の結果、提案システムの応答が良いと判断されることが多く、提案手法の有効性が示された。

## 1 はじめに

対話システムはルールベースのシステムが利用されることが多い領域であった。近年では他の自然言語処理タスクと同様に、深層ニューラルネットワー ク (以下、DNN) を利用して、自然な応答を生成することができるようになっている。

対話システムの自動評価は、BLEU [1]などの、システムの応答と正解の応答を比較する手法が一般的に用いられている。しかし、そのうえでは、対話が持つ性質で、 1 つの発話に対して適切な応答が多く存在することを意味する、one-to-many の性質 [2] が障壁となっている。 1 文もしくは少数の正解応答との比較では、正解応答とまったく異なる文だが適切な応答を正しく評価できない。そのため、正解応答を用いない評価手法が求められており、その 1 つが DNNによる評価である。人間やシステムが行う応答に対する人手評価を正解データとして DNN の学習を行うことで、人手評価とある程度の相関がある評価ができるようになる方法が提案されている $[3,4]$ 。

本研究では、DNNによる応答評価モデルの利用法として、独立に研究されていた応答生成モデルと応答評価モデルを合わせて 1 つの対話システムとすることを提案する。応答評価モデルは正解応答を必要としないことから、応答の生成時にも利用できることが特徴である。応答評価モデルを対話システムに組み込むことで、人からより良いと判断される応答を生成できるようになることを目指す。具体的には、生成モデルによって応答を複数生成し、それらの応答を評価モデルによって評価、もっとも高い評価を得た応答を選択するという応答生成・評価・選択システムを提案する。応答生成モデルには事前学習モデルの T5 [5]、応答評価モデルには事前学習モデルの BERT [6] を利用する。それらのモデルは独立に Fine-tuning する。応答を複数生成するためには、グリーディーサーチ、ビームサーチ [7]、サンプリング [8] の 3 種類のデコーディング手法を用いる。

提案手法を評価するために、提案システムとべー スラインシステムの出力を比較するクラウドソーシングで人手評価を行った。このクラウドソーシングで、提案システムがより良い応答を出力すると判断されることが多く、提案手法の有効性が示された。

なお、対話システムの既存研究として、複数ター ンの対話を扱うもの、発話以外の知識 [9] や感情 [10]、個性 [11] などを扱うものも存在するが、本研究では、単一の発話のみを入力し、応答を出力する 1 ターンの対話システムを扱う。

## 2 関連研究

対話システムによる応答を評価する手法は、人手評価と自動評価に分けられ、さらに自動評価は正解文を必要とする評価と必要としない評価に分類できる。人手評価は、関連度、おもしろさ、流暢さなどの観点を設け、クラウドソーシング等で評価を集めるのが一般的である [12]。しかし、人手評価にはコストと時間が必要という問題がある。一方、自動評価として主に用いられるのは BLEU [1] で、正解文との N-gram の一致度で応答を評価するものである。しかし、BLEU と人手評価にはまったく相関がないことが示されている [13]。原因の 1 つは one-to-many [2] として知られる、一つの発話に対

図 1 提案システムの概要図

し、複数の適切な応答が存在する対話の性質にある。この性質を考慮したとき、正解文との一致度を計るような手法は応答の適切な評価手法とはいえない。そこで、自動かつ、正解文を必要としない評価手法が研究されており、DNNを利用した手法がある。Zhao ら [3] や Ghazarian ら [4] は、BERT [6] を人手評価のデータセットで学習させることで、人手評価と相関がある自動評価ができるシステムを構築している。

## 3 提案手法: 応答生成・評価・選択 システム

対話システムとして、応答を生成するモデルと評価するモデルの 2 つを利用し、応答を複数生成、それらの応答を評価、もっとも高い評価を得た応答を選択して出力するシステムを提案する。提案システ么の概要図を図 1 に示す。応答を複数生成するために、グリーディーサーチ、ビームサーチ、サンプリングの 3 種類のデコーディング手法を用いる。特にサンプリングを繰り返すことで、多様な応答を得ることができる [14]。サンプリングは top-50 サンプリングを用いる。

応答生成モデルとしては Huggingface Transformers に登録されている sonoisa/t5-base-japaneseを Finetuning したものを利用する。sonoisa/t5-base-japanese は、Raffel ら [5] にならって、日本語で事前学習が行われたモデルである。Fine-tuning 用の対話コーパスとして、Twitter から Twitter APIを用いて我々が収集したツイートーリプライ対を利用する。学習に用いる対話ぺア数は 800,000 ペアである。表 1 応答評価コーパスのデータ数

応答評価モデルについては 4 節で詳しく述べる。

## 4 応答評価モデルの構築

応答評価モデルの学習に用いるのに適切な日本語のコーパスは公開されていないため、まず応答評価コーパスを構築し、そのコーパスを利用して応答評価モデルを作る。

## 4.1 応答評価コーパス

クラウドソーシングを利用して、発話応答ペアに 1 から 5 の評価を付与する。評価観点は、対話システムの評価において一般的に用いられている関連度、おもしろさ、会話相手としての魅力の 3 つに、会話相手の感情に寄り添っているかを加えた 4 つである。会話相手の感情に寄り添っているか、については、対話システムが生成する応答はユーザの感情に寄り添うべきもので、それを評価したいため追加した。各観点は以下のようにして尋ねた。質問に含まれる A、B はそれぞれ、ある発言をした話者と、 それに対する応答をした話者を表す。

・関連度「B の応答は A の発言に関係したものですか」

・おもしろみ 「B の応答はおもしろいですか」

・魅力 「あなたが A だとして、B は会話相手として魅力的であり、B ともっと会話を続けたいですか」

・感情「B の応答は $\mathrm{A}$ の感情に寄り添っていますか」

発話応答ペアとしては、Twitter のツイートーリプライ対 (Twitter データセット) と、Twitter のツイー 卜-応答生成モデルの出力対 (モデルデータセット) の 2 種類を利用する。モデルデータセットについては、 1 つ発話に対して応答生成モデルが出力した、複数の応答に関して評価を集めることで、応答が異なれば評価が異なる様子を表現したデータセットとする。複数の応答は 3 種類のデコーディング手法を利用して得た。各観点のデータ数を表 1 に示す。
表 2 応答評価モデルの評価例

表 3 応答評価モデルの性能

表 4 魅力の評価における応答評価モデルの出力と応答の表層的性質の相関

データセットの例を付録 A に示す。

1 つの発話応答ペアに対して 5 人のクラウドワー カから評価を集め、その平均を評価値とする。

本研究においてクラウドソーシングはすべて、 Yahoo!クラウドソーシングを利用して行った。

## 4.2 応答評価モデル

2 節の Zhao ら [3] にならい、BERTを応答評価コーパスで Fine-tuning することで、応答評価モデルを構築する。モデルは Huggingface Transformers の cl-tohoku/bert-base-japanese-whole-word-masking を利用する。評価値は BERT の出力の [CLS] に対応するべクトルを線型層に通してから、Sigmoid 関数に入力することで、 0 から 1 の值を得て、それをスケール変換して 1 から 5 の連続値として得ている。

なお、対話システムによる応答の人手評価は複数の観点を設けるのが一般的であるが、本研究の応答生成・選択・評価システムにおいては、それら複数の観点の総合といえる、会話相手としての魅力を評価観点とする応答評価モデルを利用する。

## 4.3 応答評価モデルの評価

応答評価モデルの評価には、 5 分割交差検証を行い、評価指標として、ピアソンの相関係数とスピア表 5 魅力の評価における応答評価モデルと応答の表層的性質による評価の性能比較

マンの順位相関係数を用いた。評価結果を表 3 に示す。

応答評価モデルが応答の長さ、発話との単語の重複割合のような、表層的な性質に基づいて評価をしていることが懸念されるため、それら表層的性質とモデルの出力の相関を調べる。テストコーパスは、学習に使ったものとは別に Twitter から収集したツイートと、そのツイートを応答生成モデルに入力したときの出力 14,000 ペアであり、評価観点は魅力である。ここでは相関係数はピアソンの相関係数である。結果を表 4 に示す。相関係数がそれほど高くないことから、応答評価モデルの評価が、それら表層的性質のみを手がかりにしていないことがわかる。

また、表層的な性質による評価をべースラインととらえ、人手評価との相関を調べ、応答評価モデルと比較する。テストコーパスは学習に用いたコーパスと同じ、 4.1 節の対話評価コーパス 8,000 ペアで、評価観点は鬿力である。ここでは相関係数はピアソンの相関係数である。応答評価モデルの相関係数は、 5 分割交差検証によって得たものである。結果を表 5 に示す。結果から、表層的な性質による単純なべースラインに比べて、応答評価モデルによる評価がより正確に人間の評価を表現できることがわかる。

応答評価モデルによる評価の例を表 2 に示す。発話に関連していて、丁寧な応答がより高い評価を得ており、人間に近い評価ができていることがわかる。
表 6 発話「美味しいですよね。台湾茶。大好き。」に対する提案システムの応答例

 & $\mathbf{3 . 9}$ \\

表 7 提案システムの評価結果

## 5 応答生成・評価・選択システムの 評価

## 5.1 実験設定

提案手法の有効性を確かめるため、クラウドソー シングによる人手評価を行う。ある発話に対する、提案システムの応答とベースラインの対話システムの応答の 2 つをクラウドワーカに見せ、どちらの応答をする相手と会話を続けたいかを尋ねる。1つの発話応答ペアについて 3 人に尋ね、多数決をとって結果とする。テストコーパスは応答生成モデルの学習に使ったものと同様の Twitterコーパスで、 2,000 文である。ベースラインとしては以下の 2 種類を用いる。

・グリーディーシステム

応答生成モデルがグリーディーサーチによる応答だけを生成するシステム

・ランダムシステム

応答生成モデルが生成した複数の応答を評価せず、それらからランダムに選択した応答を出力とするシステム

ランダムシステムと提案システムの応答生成モデルでは、グリーディーサーチによる応答 1 つ、ビームサーチによる応答 1 つ、サンプリングによる応答 5 つの計 7 つの応答を生成して、そこから 1 つを選択して出力とする。

## 5.2 実験結果

実験結果を表 7 に示す。グリーディーシステム、 ランダムシステムどちらのシステムとの比較においても、提案システムが勝利する結果となり、提案手法の有効性が示された。

提案システムによって出力される応答の例を表 6 に示す。発話「美味しいですよね。台湾茶。大好き。」に対して応答生成モデルから 7 個の応答を得たが、グリーディーサーチとビームサーチによる応答は同一であった。またサンプリングによる応答は 2 つだけを示している。複数の応答の中で、人間からの評価が高いと考えられる応答「美味しいですよね。味も飲みやすくて、お值段の割にちょっぴり高級感があって良いですよね」を選択できており、提案手法の有効性がわかる。

## 6 おわりに

本研究では、人手評価を学習データとして学習した応答評価モデルを対話システム内に組み込むことで、人間からより良いと判断される応答を出力できる対話システムを構築することを目指した。応答生成モデルが生成した複数の応答を応答評価モデルで評価し、最適な応答を選択して出力することで、グリーディーサーチのみを利用するシステムや、複数の応答からランダムに応答を選択するシステムより良い応答を出力できることがクラウドソーシングによる人手評価によって示された。

DNN による応答評価モデルは応答の評価のみならず、本研究のように応答の生成に応用することや、対話コーパスのフィルタリングに利用することなどもでき、今後もさらなる研究が求められる。そのために、評価に関するデータセットが大規模に収集され、公開されることが期待される。

また、本研究では応答生成モデルと応答評価モデルは完全に独立して学習しており、本研究の発展として、応答生成モデルと応答評価モデルの相互作用を利用して学習するような構造が考えられる。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受けて行った。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[4] Sarik Ghazarian, Johnny Wei, Aram Galstyan, and Nanyun Peng. Better automatic evaluation of open-domain dialogue systems with contextualized embeddings. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 8289, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Yuanlong Shao, Stephan Gouws, Denny Britz, Anna Goldie, Brian Strope, and Ray Kurzweil. Generating high-quality and informative conversation responses with sequence-to-sequence models. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2210-2219, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchical neural story generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 889-898, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In Interna- tional Conference on Learning Representations, 2019.

[10] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[11] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[13] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[14] Hannah Rashkin, David Reitter, Gaurav Singh Tomar, and Dipanjan Das. Increasing faithfulness in knowledgegrounded dialogue with controllable features. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 704-718, Online, August 2021. Association for Computational Linguistics.
表 8 応答評価コーパスの例

## A 応答評価コーパスの例

応答評価コーパスの例を表 8 に示す。


# 表出感情と経験感情をタグ付けした対話コーパスの構築

井手竜也 河原大輔
早稲田大学理工学術院
\{t-ide@toki . , dkw@\}waseda.jp

## 概要

人間は，対話において相手の感情を認識し，共感や慰めなどを込めて応答する. 本論文では，このような能力をもつ対話システムの開発に向けて，感情タグ付き対話コーパスを構築する。ある発話を話した人が表した感情（表出感情）と，それを聞いた人が感じた感情（経験感情）を，クラウドソーシングによってタグ付けする. 日本語の感情タグ付き対話コーパスを構築し，それを統計的に分析した結果，対話における表出・経験感情の特徴および違いが明らかになった. また表出・経験感情の認識実験を行い，経験感情の認識がより難しいことや，2 種類の感情認識が互いの性能を向上させることを示した.

## 1 はじめに

社会のオンライン化に伴って，テキストベースのコミュニケーションは不可欠なものとなっている. Transformer [1] の登場や転移学習 $[2,3]$ の成功を契機に, 対話システムの性能も急速に向上している. 最近では，人間らしい応答ができるオープンドメインのチャットボットを目指した研究 $[4,5,6]$ もある.

人間は相手がもつ感情を認識し，それにふさわしい感情（共感や慰めなど）を込めて応答を返すと考えられる. 対話システムを人間らしくするための鍵として，相手の感情をふまえて応答を生成すること [7] が挙げられる．感情タグ付き対話コーパスはいくつか存在するが，発話ごとに話者の感情のみを夕グ付けしているもの $[8,9]$ が多く, 不十分である.

本研究では，相手の感情を認識した上で適切な感情を込めた応答を生成できる対話システムを実現するための感情タグ付き対話コーパズ1)を構築する。話し手が発話に込めた感情（表出感情）と発話の聞き手が受けた感情（経験感情）を発話ごとにタグ付けする。なお本研究ではこれを日本語で構築する

図 1: 表出感情と経験感情のタグ付け

が，手法はどの言語にも適用できる.

手法としては，Twitter から 2 人が交互に話すような対話を収集し，対話コーパスとする．Plutchikの感情の輪 [10]をラベルに採用し，クラウドソーシングによって各発話における表出感情と経験感情を夕グ付けする。複数のラベルがタグ付けされることを許し，投票数に応じて各ラベルに強弱を設ける.

上記の手法によって，3,828 対話（13,806 発話）からなる対話コーパスを構築した. 統計的な分析から，表出感情と経験感情の関係が明らかになった。 さらに表出感情と経験感情を BERT [3] で認識する実験を行った．各ラベルの強度を回帰させ，相関係数を評価指標として性能を評価した. 実験の結果から，表出感情よりも経験感情を認識する方が難しいことや，それらのマルチタスク学習が認識の性能を向上させることがわかった. 本研究で構築したコー パスによって，対話における感情の認識および感情に基づく応答生成の研究が促進されると期待する.

## 2 関連研究

EmoBank [11] はある文を書いた人とそれを読んだ人の感情を，クラウドソーシングによってタグ付けしたコーパスである. WRIME [12] は EmoBank と同様, 主観的と客観的な感情をタグ付けした日本語のコーパスである． EmoInt [13] は怒り・恐れ・喜
表 1: 表出感情と経験感情がタグ付けされた対話の例

び・悲しみの 4 感情について，その強度をタグ付けしたコーパスである. StoryCommonsense [14] は短い物語をなす一連の文に，登場人物の Motivation と Emotional Reaction をタグ付けしたコーパスである. しかし，上記のコーパスはどれも対話に関するものではない. StoryCommonsense は本研究に似ているが，対象は物語である。

EmpatheticDialogues [7] は 2 人の話者を Speaker と Listener に割り当て, 対話ごとに Speaker の感情とその状況をタグ付けした対話コーパスであり，日本語版 [15] も存在する. EmpatheticDialogues は対話ごとに感情をタグ付けしているため，発話ごとの感情を理解することには向かない. DailyDialog [8] は発話ごとに感情と意図をタグ付けした対話コーパスである. EmotionLines [9] は発話ごとに感情をタグ付けした対話コーパスで，話者が複数人である．本研究では DailyDialog や EmotionLines と同じく, 発話ごとに感情をタグ付けする。これらの対話コーパスは発話に込められた感情のみをタグ付けしているが，本研究ではその発話を聞いた相手が抱く感情もタグ付けする. さらに本研究では複数の感情を許容し， それぞれの感情に強弱を設ける。

## 3 コーパスの構築

## 3.1 対話の収集

対話は Twitter APIによって収集する。2 2 人のユー ザによるツイートとリプライのかけあいを対話とみなし，それを抽出する。ただしハッシュタグや URL，画像を含む対話はすべて除外する．対話あたりの発話数は 2 から 9 までに絞り，いくつかのフィルタを施す。まず特殊な記号や絵文字を含む対話はすべて除外する. ほかにも 4 回以上繰り返される文字や単語を含む場合や，発話が 4 文字未満の場合も除外する.

上記の手法によって，3,828 対話（13,806 発話）を獲得した. ただしターン数が多い対話ほど，そのサンプル数は減る傾向にある.表 2: ラベルごとの発話数

## 3.2 表出感情と経験感情のタグ付け

本研究では Plutchik の感情の輪 [10] をラベルに採用する. ${ }^{2}$ 具体的には $\{$ 怒り, 期待, 喜び, 信頼, 恐れ, 驚き, 悲しみ, 嫌悪 $\}$ の 8 感情である. 発話ごとにそれを話した人が抱いていた感情（表出感情）とそれを聞いた人が抱いた感情（経験感情）をタグ付けする.つまり発話ごとに主観的な感情と客観的な感情 $[11,12]$ をタグ付けすることになる．表出感情と経験感情を分けてタグ付けすることで，発話間や話者間における感情の変化を捉える。

感情のタグ付けはクラウドソーシングによって行う. プラットフォームとしては Yahoo!クラウドソー シング3)を用い，クラウドワーカに発話とその履歴を与え，各感情の有無を問う．複数の感情を選択することや，どの感情も選択しないことを許容する。発話ごとに 7 人のクラウドワーカを雇い，半数（4 人）以上が選んだ感情を強ラベル，4 分の 1 （2人）以上が選んだ感情を弱ラベルとする。このタグ付けを表出感情と経験感情のそれぞれについて独立に行う。タグ付けされた対話の例を表 1 に示す。

ラベルごとの発話数を表 2 に示す。およそ 9 割の発話がいずれかの弱ラベルを伴っており，その他の

2）感情タグ付きコーパスでは，Ekman の 6 感情 [16] や Plutchik の感情の輪 $[10]$ がよく用いられる．クラウドソーシングを用いた予備実験の結果，後者の方がより感情タグとして適切であることが明らかになった．したがって本研究ではそれを採用する.

3) https://crowdsourcing.yahoo.co.jp/

(a) 表出感情と経験感情（特定の発話について）

(b) 経験感情と次の表出感情（特定の話者について）

図 2: 表出感情と経験感情の関係

感情や無感情のラベルが大部分を占める DailyDialog [8] や EmotionLines [9] よりも有効である.

## 4 コーパスの分析

構築した対話コーパスにおける，表出感情と経験感情の関係を分析した. 具体的には，次のような関係が考えられる。

1. 同一の発話に対する表出感情と経験感情（異なる話者)

2. ある発話に対する経験感情と次の発話に対する表出感情（同一の話者）

強ラベルに関する，それぞれの混同行列を図 2 に示す. なお各要素の値は行方向に正規化してある.対角成分における値が大きくなっていることから，同一の発話および同一の話者についての関係としては，同じ感情が起こりやすいことが言える．異なる感情間の関係としては，図 $2 \mathrm{a}$ から，期待・信頼・驚きの発話に対して喜び，怒りと嫌悪にはそれぞれ嫌悪と悲しみを抱きやすいことがわかる．また図 $2 b$ から，信頼と怒りを抱いたあとはそれぞれ喜びと嫌悪を表しやすいことがわかる. 図 $2 \mathrm{a}$ と図 $2 \mathrm{~b}$ を比較すると，特に悲しみに対する反応が異なり，特定の話者においては話者が悲しみを受けたとき次に期待を表すことがある.これは相手の発話に対して悲しみを抱いた話者が，相手を慰めるために期待感のある発話を返していると考えられる。

## 5 感情認識の実験

表 3: モデルごとの相関係数

表 4: ラベルごとの相関係数 (NICT)

## 5.1 モデル

表出感情と経験感情について，それらの認識を実験する. 対象の発話とそれまでの履歴から，各ラべルの強度を回帰することを考える．ラベルがない場合に 0 ，弱ラベルと強ラベルにそれぞれ 1 と 2 を充てる. モデルは平均二乗誤差で学習する。

本研究ではモデルとして BERT [3] を利用する.事前学習済み BERT として，京都大学 [17]の WWM 版と $\mathrm{NICT}^{4)}$ の BPE 版を採用する. 入力は Juman++ [18] によって単語に分割し，さらに BPE [19] によってサブワードに分割する。履歴と対象の発話を [SEP] で結合し，[CLS] に対するべクトルを全結合

4) https://alaginrc.nict.go.jp/nict-bert/index.html
表 5: 予測結果の例（NICT，最後の発話に対する表出感情）

 & 強い悲しみ強い悲しみ \\

表 6: 特定の発話に関するマルチタスク学習

表 7: 特定の話者に関するマルチタスク学習

層に与える. 全結合層から得た 8 次元のベクトルに関して，各要素を 8 種類のラベルそれぞれの強度に回帰する。

対話コーパスを 8:1:1 に分割し, それぞれ学習データ・検証データ・テストデータに充てる。学習は 3 エポックと定め，テストデータに対して評価を行う. 評価指標には Pearson と Spearman の相関係数を採用する。

## 5.2 結果

モデルごとの相関係数を表 3 に示す. モデルとしては，どの値も NICTがもっとも高い. 表出感情と経験感情を比較すると，どのモデルも経験感情の値が低い。つまりある発話を話した人が抱いていた感情よりも，それを聞いた人が抱いた感情を予測することの方が難しい．NICT のモデルに関する，ラべルごとの相関係数を表 4 に示す. 表 4 と表 2 を比較すると，ラベルの発話数が多いほど相関係数の値も高くなっていることがわかる．モデルによる予測結果の例を表 5 に示す.

## 5.3 マルチタスク学習

単一のモデルに表出感情と経験感情の両方を認識させることを考える. 表出感情と経験感情には相関があるため，このことはそれぞれの認識に良い影響
があると考えられる．タスクごとに全結合層を用意し，それらを同時に訓練する。ロスはそれぞれに対して計算し，その算術平均を全体のロスとしてパラメータを最適化する。

4 章の関係を踏まえ，特定の発話と特定の話者に関する表出感情と経験感情をマルチタスク学習 [20] する。また訓練データとテストデータが異なる場合も実験する、マルチタスク学習の相関係数を表 6 と表 7 に示す.まず訓練とテストでデータが異なる場合，それらが同じ場合よりも値が低い。これは表出感情と経験感情を分けてタグ付けすることに意味があることを示している。マルチタスク学習としては，表出感情と経験感情のどちらもそれらを同時に学習させたときの方が値は高い. つまり表出・経験・次の表出感情は互いに助け合うと言える。

## 6 おわりに

対話システムが話者の感情やその変化を理解するための，感情タグ付き対話コーパスの構築手法を提案した. クラウドソーシングによって，2人の話者による対話の発話ごとに，その発話を話した人が抱いていた感情（表出感情）とそれを聞いた人が抱いた感情（経験感情）をタグ付けする。

上記の感情タグ付き対話コーパスを日本語で構築し，それを統計的に分析した．感情ごとに頻出な単語の傾向や，特定の発話および話者における表出感情と経験感情の関係が明らかになった。また日本語の事前学習済み BERT [17]を用いて，表出感情と経験感情の認識を実験した．経験感情の認識がより難しいことや，表出感情と経験感情のマルチタスク学習が互いの認識に対する性能を向上させることが示された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受けて行った.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Li Zhou, Jianfeng Gao, Di Li, and Heung-Yeung Shum. The design and implementation of XiaoIce, an empathetic social chatbot. Computational Linguistics, Vol. 46, No. 1, pp. 53-93, March 2020.

[5] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot, 2020.

[6] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[7] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[9] Chao-Chun Hsu, Sheng-Yeh Chen, Chuan-Chun Kuo, Ting-Hao Huang, and Lun-Wei Ku. EmotionLines: An emotion corpus of multi-party conversations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).
[10] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[11] Sven Buechel and Udo Hahn. EmoBank: Studying the impact of annotation perspective and representation format on dimensional emotion analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 578-585, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[13] Saif Mohammad and Felipe Bravo-Marquez. Emotion intensities in tweets. In Proceedings of the 6th Joint Conference on Lexical and Computational Semantics (*SEM 2017), pp. 65-77, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2289-2299, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Ekman Paul. An argument for basic emotions. In Cognition and Emotion, Vol. 6(3/4), pp. 169-200, 1992.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, 2019.

[18] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[19] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[20] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

図 3: クラウドソーシングの例

表 8: ラベルごとに頻出な単語の Top-3

## A クラウドソーシング

表出感情をタグ付けするクラウドソーシングの例を図 3 に示す. チェックボックス式のフォーマットを用いることによって，複数の感情が選ばれることを許容している。

## B感情ごとに頻出な単語

感情ごとの発話がもつ特性を知るため，感情ごとに単語の頻度を求める. 本研究では強ラベルのみを対象とし, 品詞として動詞と形容詞を採用する. 品詞の解析は Juman++ [18] によって行い, 代表表記を抽出する.どの感情にも現れる普遍的な単語を除くため，IDFによるフィルタを施す．具体的には IDF が最大値の半分を下回った単語を無視する。

フィルタを施した，感情ごとに頻出な単語の Top-3を表 8 に示す. 喜びの動詞や喜び・恐れ・嫌悪の形容詞は表出感情と経験感情で等しい，一方で，怒り・嫌悪の動詞や信頼の形容詞は表出感情と経験感情で異なる. 喜びや驚きの動詞に「交じる」があるが，これは形容詞の「マジだ」が誤って識別されたものである.同様に，喜びの形容詞にある「孵る」は「帰る」に対する誤りである。


# ソーシャルメディア上のインタラクションを利用した オープンドメイン対話応答生成

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

人間のような豊かな会話能力を持つオープンドメイン対話システムの構築は、自然言語生成における課題の一つである。しかし、近年のこの分野の発展にもかかわらず、既存のオープンドメイン対話生成モデルは知識を取り込むことができず、未知の発話に対して反復的または典型的な応答をすることが多い。知識に基づく対話応答生成に関する先行研究は、主にペルソナの組み込みや、Wikipedia のような構造化された知識べースの検索に焦点を当てている。本研究は、より汎用的かつ単純なアプローチをとり、SNS に見られる社会的なインタラクションを通じて人間の応答行動を模倣することで、システムの雑談能力を向上させることを目的とする。提案手法では、Reddit から抽出されたコメントデータを大規模な知識源とみなし、ニューラル retriever を用いて関連文を抽出する。続いて、その関連文を付加文脈として発話文に連結し seq2seq generator に渡す。このような generator と retriever からなるモデルをオープンドメイン対話データセットを用いて学習し、自動及び人手評価した結果、提案手法の有効性を確認した。

## 1 はじめに

Siri、Google Assistant などの音声アシスタントの生活への浸透に伴い、雑談対話システムの重要性が増している。そのため、雑談対話における応答生成は、自然言語処理における主要なタスクの一つと言える。

しかしながら、既存の雑談対話応答生成モデルは、面白くない、あるいは有益な応答が得られないといった基本的な問題に依然として悩まされている $[1,2]$ 。この主な原因は、人間とは異なり、モデルは個性や知識などを持たないためと考えられる。
この問題に対処するために、近年の研究では、ぺルソナ $[3,4]$ 、知識ベース [5] などの付加的な文脈情報を考慮することが提案されている。これらに対して、本研究は、応答生成モデルの雑談能力を向上させるという、より一般的な立場からこの問題に取り組む。特に、人間が会話する実際の環境、すなわち、社会的インタラクションを利用することを考える。そのために、ソーシャルメディア上の多様な会話からなる外部知識べース SMIkb (Social Media Interactions knowledge base)を構築する。SMIkb は、既存の知識べースと異なり、自然言語で記述されており、応答生成において外部知識として利用する。

提案モデルは、 retriever と generator からなる。 retriever は、入力された発話で SMIkb を検索し、関連知識を得る。generator は seq2seq モデルからなり、入力発話の情報に加えて関連知識も踏まえて応答を生成する。具体的には、Dense Passage Retriever [6] (以下、DPR)を retriever に、BART [7] を generator に用い、これらを同時に学習する。オープンドメインの対話データセットで generator と retrieverを学習し、Reddit の投稿とコメントからなる SMIkbを retriever の知識源として利用する。

応答生成の実験を行ったところ、提案手法が既存の seq2seq ベースライン (BART) を自動および人手評価指標のすべてにおいて上回ることがわかった。 SMIkb を利用することで、生成された応答はより魅力的になるだけでなく、より適切かつ自然になることも示され、提案手法の有効性が確認された。

## 2 関連研究

生成モデル近年、Transformer [8] や BERT [9] に始まるブレイクスルーにより、自然言語処理研究は急速に変化した。これらに自己回帰 seq2seq モデル （T5 [10]、BART）が続き、対話システムなどの生成モデルの性能が大幅に向上した。本研究では BART

を強力なベースラインとして採用する。

知識に基づく応答生成モデル対話システムに文脈や外部知識などを組み込むことが、近年、大いに注目されている。PersonaChat [4] や EmpatheticDialogues [11] では、ペルソナや感情が考慮されている。また、知識べースを利用した研究も進んでいる $[2,5]$ 。対話以外では、外部知識を様々な QA タスクで利用する研究がある $[12,13]$ 。応答生成のために検索を行うという点で、本研究に最も近いのは、retrieverを別途学習し、学習データから検索した応答候補も generator に入力し生成するアプローチ [14]である。本研究は、retriever 単独の学習を必要とせず、かつ、生成時により大規模な外部知識べースを検索するという点で大きく異なる。また、Wikipedia などに基づく retriever を用いた知識対話生成においては、事実との矛盾を調査した研究もなされている [15]。本研究では、応答の内容が事実に即しているかというよりは、対話システムの雑談能力の向上に焦点を当てる。

## 3 提案手法

本研究では、より自然で人間らしい応答生成のため、ソーシャルメディア上のインタラクションを外部知識ベース (SMIkb)として導入する。提案モデルは SMIkbを利用した retriever-generator の 2 段構成である。

## 3.1 タスク設定

外部知識に基づく応答生成のタスクは、入力発話 $\mathbf{u}$ と関連知識を含む可能性のある文書集合 $D$ が与えられたとき、 $m$ 単語の応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測するタスクとして定義することができる。本研究では、入力発話 $\mathbf{u}$ と知識べース Dに対して、モデルが確率 $p\left(r_{i} \mid \mathbf{r}_{<i}, \mathscr{D} ; \theta\right)$ で応答 $\mathbf{r}$ を生成するように学習する（ $\theta$ はモデルパラメータを表す)。

## 3.2 モデル

先行研究 $[12,16]$ における retriever に基づくQA システムにならい、本研究の応答生成タスクにおいても retriever と generator $の 2$ 段構造を採用する。図 1 に提案モデルの概要を示す。図に示した通り、本モデルの対話応答生成は、2 段階のプロセスとして定式化する。(1) retriever はあらかじめ索引付けされた SMIkb から入力発話に関連する上位 $k$ 文書を検索し、(2) generator は検索された文書と発話が連結

図 1 : 提案モデルの概要

されたものが大力され、応答を生成する。

具体的には、事前学習済みの Dense Passage Retriever (DPR) を retriever とし、大規模コーパスで事前学習済みの seq2seq モデル BARTを generator として利用する。DPR は入力クエリ (発話) $\boldsymbol{u}$ に対する上位 $k$ 個の関連文書を検索するように学習された高効率なニューラル retriever である。この効率化は、クエリと知識ベース全体を独立した 2 個の BERT [9] のエンコーダーに通すことによって実現されている (図の $\boldsymbol{t}$ )。FAISS [17] ライブラリを用いて SMIkb のインデックスとなる埋め込みべクトルを事前に構築する。事前に構築することで、オフラインでの高速な検索が可能になる。

3.1 節のタスク設定に従い、発話 $\mathbf{u}$ と知識ベース Dからの上位 $k$ 文書 $d_{j}$ が与えられたときに、モデルが応答 $\mathbf{r}$ を生成する確率を次のように定義する。

$p(\mathbf{r} \mid \mathbf{u} ; \theta, \lambda)=\sum_{j}^{k} p_{\lambda}\left(d_{j} \mid \mathbf{u} ; \lambda\right) \prod_{i} p_{\theta}\left(r_{i} \mid \mathbf{u}, \mathbf{r}_{<i}, d_{j} ; \theta\right)$,

ここで、 $\theta$ とは、それぞれ generator と retriever のパラメータを表す。これらは共に end-to-end で学習される。検索されるSMIkb においては正解の文書がタグ付けされていないため、関連文書を潜在変数とみなす。従って、デコーディングの際には、ビー ムサーチを用いて最も確率の高い最良の応答を返すために、検索された全ての文書に対してこの確率を周辺化する。

## 4 実験

提案モデルを、様々な外部知識データセットとオープンドメイン対話データセットを用いて比較する。また、純粋な BARTによる二つのベースラインとの比較も行う。
表 1: 対話データセットの規模

## 4.1 SMIkb

本研究では、対話システムの雑談能力を向上させることを目的として、人間の会話行動を蓄積した知識ベース SMIkbを構築する。SMIkb は、アメリカのニュース掲示板サイトである Reddit ${ }^{1}$ ) の 2020 年 (1 月 11 月) における人気スレッドタイトルとその上位 100 件のコメントから構成する。SMIkbを構築するために、オープンソースの Pushshift API [18]を通じ、合計 160 万件のデータをスクレイピングした。 SMIkb の一部を付録 A に載せる。

さらに、Reddit のような SNS から構築した SMIkb の有効性を検証するために、他に 2 種類の知識べー スを構築し比較する。一つは、Wikipedia 記事の夕イトルと冒頭 100 語からなる同サイズ (60万エントリを無作為に抽出) の Wikipedia 知識ベース (以下、「Wiki」)である。もう一つは、上記二つのデータベースの半分ずつを $1: 1$ で組み合わせたもの (以下、「Mix」)である。

## 4.2 対話データセット

本研究では様々なオープンドメインの対話データセットと Reddit からスクレイピングした対話データセットを用いて、提案モデルの fine-tuning を行う。

オープンドメイン対話データセット高品質な日常対話データセットとして DailyDialog [19] と DailyDialog++ [20]、また、映画の台詞で構成された Cornell Movie-Dialogs Corpus [21] の 3 種類をマージして用いる。

Reddit さらに、SMIkbとは別に Redditから 20 万件のコメントペアを抽出し、擬似的な対話データセットとして対話データを補完する。

上記のデータセットはマルチターン対話であるが、本研究の設定にそぐわないため各シングルター ンを対話として抽出した。使用するデータセットの規模を表 1 にまとめる。

## 4.3 実験設定

モデル提案する retriever-generator モデルは、事前学習された Dense Passage Retriever と BART-large (24 層、406M パラメータ) からなり、対話データセットを用いて fine-tuning する。モデルの学習には Adam optimizerを用い、バッチサイズ 1、学習率 $3 \times 10^{-5}$ のハイパーパラメータで学習する。 retriever の上位 $k$ 検索には $k=3$ を設定し、生成の戦略としてビームサイズ 5 のビームサーチを用いる。

ベースライン提案モデルの有効性を確認するために、 retriever なしの BART-large による二つのべー スラインを使用する。一つ目は、4.2 節で述べたデータセットのみで学習し、外部知識データベースの SMIkbを用いないものである (以下、「ベースライン 1$\lrcorner) 。 二つ$ 目として、retriever-generator $の 2$ 段構造を通して外部知識を利用することの有効性を確認するため、SMIkb の全データ (タイトルとそのコメント)を学習データに結合し、この新しい拡張データセットで純粋な BART-large を fine-tuning する (以下、「ベースライン 2」)。

## 4.4 評価

外部知識の影響を確かめるため、生成された対話応答について自動評価と人手評価の両方を行う。それらの結果を表 2 にまとめる。

自動評価関連性の指標である BLEU [22] スコアに加えて、生成された応答の多様性について、 Distinct-N [1] も算出する。

人手評価自動評価指標は、生成された対話応答の実際の質とあまり相関がないことが先行研究で報告されている [23]。本研究では、Amazon Mechanical Turk ${ }^{2}$ を用いてクラウドソーシングを行い、生成結果について以下の三つの評価指標で人手評価も行う。

・関連性 (Relevance): その応答が発話に関連しているかどうか

・エンゲージメント (Engagement): その応答をした相手とさらに会話を継続したいかどうか

・知識 (Knowledge): その応答が知識に富んでいるかどうか

評価者となるクラウドワーカーには、テストデータから無作為に選んだ 100 個の応答を上記の各指標に

2) Amazon Mechanical Turk: https://www.mturk.com
表 2: 生成された応答の自動評価と人手評価の結果。モデル (テストデータを除く)の中で最もスコアが良いものに「*」 を付与した。ODDは 4.2 節の Open-Domain Dataset の集合である。

} & \multirow[t]{2}{*}{ 知識ベース } & \multicolumn{3}{|c|}{ 自動評価 } & \multicolumn{3}{|c|}{ 人手評価 } \\

Here comes the birthday cake. Wow, what a lovely cake. I'll Wow, what a beautiful cake. It Really? Wow. Happy birthday Thank you. have a piece. must have tasted as good as I to you! You look so healthy. expected.

 &  &  &  & I don't think so. \\

ついて 1～5 の尺度で採点するよう求める。各応答は 7 人の評価者によって採点し、最終的なスコアはそれらの平均値とする。

## 4.5 結果

自動評価では、生成時に retriever を通じて SMIkb を利用する提案手法が、生成される応答の質を向上させ、より多様な応答を可能にすることが確認された。また、すべての評価指標において 2 種類のベー スラインより提案手法の方が高性能であることがわかった。さらに、Redditベースの SMIkb モデルは他の組み合わせよりも優れており、高品質な応答の生成につながったと考えられる。

クラウドソーシングによる人手評価でも同様の傾向が見られ、提案モデルの全ての組み合わせに対するスコアがベースラインよりも高かった。ブートストラップ法に基づく有意性検定により、全ての観点においてべースライン 2 と提案手法それぞれの人手評価スコアの差を検証したところ、統計的に有意であることが分かった $(p<0.01)$ 。当初の仮説通り、SMIkb モデルはエンゲージメントや雑談能力の面で最も高いスコアを記録した。一方、SMIkbと
Wikipedia の組み合わせ (Mix) は、会話の関連性と 「知識性」のバランスが取れており、関連性のスコアが人間の応答に対するスコア (Gold) を上回った。 これは、本研究の対象であるシングルターン評価の場合、SMIkb に Wikipediaを加えた提案手法による応答はクラウドワーカーの評価者にとってより関連性があるように感じられたためと考えられる。

各モデルによる生成応答の例を表 3 に示す。

## 5 おわりに

本研究では、対話システムの雑談能力を向上させることを目的として、SNS 上のインタラクションからなる SMIkbを備えた retriever-generator 2 段モデルを提案した。提案手法は、ニューラル retriever と seq2seq 生成モデルを一括で fine-tuning し、生成時には関連知識を知識ベースから抽出することによって、より自然な対話応答を実現する。実験では、本研究で構築した SMIkb に基づく応答生成は、自動評価とクラウドソーシングによる人手評価の両方によって、より多様で適切、かつ魅力的であることが示され、ベースラインと比較して性能の改善が確認された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受けて行った。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. A knowledge-grounded neural conversation model. arXiv preprint arXiv:1702.01932, 2017

[3] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[6] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2020.

[11] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguis- tics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[13] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading Wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1870-1879, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[14] Jason Weston, Emily Dinan, and Alexander Miller. Retrieve and refine: Improved sequence generation models for dialogue. In Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on Search-Oriented Conversational AI, pp. 87-92, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[15] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation, 2021 .

[16] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and MingWei Chang. Realm: Retrieval-augmented language model pretraining, 2020.

[17] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.

[18] Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire, and Jeremy Blackburn. The pushshift reddit dataset. In Munmun De Choudhury, Rumi Chunara, Aron Culotta, and Brooke Foucault Welles, editors, Proceedings of the Fourteenth International AAAI Conference on Web and Social Media, ICWSM 2020, Held Virtually, Original Venue: Atlanta, Georgia, USA, June 8-11, 2020, pp. 830-839. AAAI Press, 2020.

[19] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[20] Ananya B. Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M. Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, p. 810-827, Dec 2020.

[21] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[23] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4: SMIkb の一部

SMIkb

タイトルコメント文

 &  \\

## A SMIkb

Reddit に基づくSNS データベース (SMIkb) の一部を表 4 に示す。検索はタイトルに対して行うが、応答生成の根拠となる付加文脈として本質が会話と近いコメント文を利用する。

## B 人手評価: MTurk

応答生成の人手評価を行うため、Mturk 上タスク支持率 (過去のタスクによるクラウドワーカーの評価値) が 90\%以上の US 在住の英語話者に依頼した。平均報酬は 1 問あたり 1 セントに設定した。


# 対話システムにおけるペルソナ更新の導入とペルソナの数によ る影響分析

吉田快 ${ }^{1}$ 品川政太朗 1,2 須藤 克仁 ${ }^{1,2}$ 中村 哲 1,2
1 奈良先端科学技術大学院大学
2 理化学研究所革新知能統合研究センター
\{yoshida.kai.yf1, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp

## 概要

既存のペルソナ対話システムのペルソナは初めに条件付けられたもので固定されており，自動的に更新することができない. そのため，応答に含まれる新たなペルソナを考慮できないという課題がある.本研究ではシステムの応答履歴に応じて自動的にペルソナを更新するという新しい問題設定を考え，これを実現するために，ペルソナ追加機構を持つペルソナ対話システムを提案し, その際に起こりうる課題の調査を行った.

## 1 はじめに

ペルソナと呼ばれる複数の記述文によって表現されるプロフィール情報をシステムに持たせることで，そのペルソナに沿った一貫性のある応答をする対話システムとしてペルソナ対話システム [1] がある. ペルソナ対話システムに対する既存のアプロー チでは，いくつかの文を明示的なシステムのプロファイルとして組み込むことが試みられている [2]. しかし, 既存のアプローチではペルソナが初めに条件付けされたもので固定されており，自動的に更新することができない，例えば，図 1 のように，システムに条件付けられていないぺルソナに関しての質問 (図 1 : ユーザー入力 1) に対しては, “I have two dogs” (システム応答 1)のような新たなぺルソナを含んだ応答を生成する可能性がある. そのため, システムが一貫した対話を行うにはこのような新たなペルソナも考慮する必要がある. そこで，本研究では，ペルソナ対話システムが応答履歴に応じて自身のペルソナを自動で更新するという新たな問題設定を考え，これを実現するために，ペルソナ追加機構を持つペルソナ対話システムを提案する. ペルソナ追加機構はシステムの応答履歴から Mazare らの研

図 1 ペルソナ追加機構を持つ対話システム (提案手法) を用いた会話例

究 [2] と同様に条件を満たす記述をペルソナとして抽出し，抽出されたペルソナをフィルタリングして既存のペルソナに追加する機構である.

提案手法では，図 1 のシステム応答 1 のように新しいペルソナを含む応答をした場合に，条件を満たす記述を新しいペルソナとして追加し，次の応答生成に用いることで，ユーザー入力 2 に “Dogs. They can be so loving. と応答することが期待できる. 提案手法では既存のペルソナに新しいペルソナを随時追加するため，ペルソナの数の変化が応答生成に影響を及ぼす可能性がある。そこで本研究では，この影響について調査を行い，ペルソナを更新する問題設定における課題について明らかにする。

ペルソナ追加機構のフィルタリングには, 入力された 2 つのペルソナ文が含意・中立・矛盾のいずれの関係にあるか分類する分類器 [3] を用いる. しかし，文献 [3] では含意のみしか扱っていない。 そこで本研究では含意・中立・矛盾を含む評価用データセットである Persona NLI データセットを新たに構築し, 分類器の精度評価を行うことで, この分類器の精度が本研究に用いる上で十分か確かめる.

## 2 関連研究

明示的なペルソナを用いた応答生成に，含意関係推論を組み合わせることで，限られた規模の対話

データで対話モデルを構築できる BERT-over-BERT (BoB) [4] がある．BoBでは，ペルソナ対話データで学習された応答生成用のデコーダと, 非対話型推論データで学習された，生成した応答をペルソナ文により一貫した表現に再調整するデコーダの 2 つのデコーダを用いることで，少量の対話データでのペルソナを含んだ応答生成を可能にしている. しかし， BoB は事前に与えられたペルソナでシステムのペルソナが固定されているため，長い対話を想定した場合，実際に生成された応答と異なった応答をすることが考えられる。

一方で，Transformerを用いて特定のユーザーの過去の対話履歴から暗黙的なペルソナを自動的に学習する手法 [5] がある. この手法はユーザーの応答履歴を逐次更新するため，実質的にペルソナの更新を応答ごとに行っているが，ペルソナが暗黙的であることから，ペルソナを最大限活用できていないことが考えられる。

本研究では，応答履歴から逐次的に明示的なぺルソナを更新することで，長い対話における応答の矛盾を削減し，よりペルソナを活用できるシステムが構築できることを期待する.

## 3 手法

## 3.1 応答生成モデル

本研究では, ペルソナ追加機構の有無による応答生成への影響を検証するために，ベースとなる応答生成モデルとして，BERT-over-BERT (BoB) [4]を用いる．今回は著者らが公開しているコード1)を用いた. BoB は明示的なペルソナを用いた応答生成に，含意関係推論を組み合わせることで，限られた対話データで学習を可能にするモデルである．BoB の構造を図 2 に示す. BoB は図に示すようにエンコーダ $E$ と応答デコーダ $D_{1}, D_{2}$ の 3 つの BERT ベースのサブモジュールで構成されている． $D_{1}$ はペルソナ $P$ とクエリ $Q$ から応答ベクトル生成を行うデコーダである。また， $D_{2}$ は NLIコーパスによって，与えられたペルソナ $P$ に対して，より一貫した応答 $R_{2}$ を生成するように訓練されたデコーダであり， $D_{1}$ の出力である応答ベクトルとペルソナ $P$ から応答を再調整する。これにより， $D_{2}$ は $D_{1}$ よりもさらにぺルソナに対して一貫した応答を生成することができる. 生成された応答候補群からサンプリングする方

図 $2 \mathrm{BoB}$ の構造

法には，ペルソナの更新による影響を確認するため先行研究と同様の greedy searchを用いた.

## 3.2 ペルソナ追加機構

システムの応答履歴からペルソナを更新するために，ペルソナ追加機構を導入する．ペルソナ追加機構は，システムの応答履歴 $H$ から新しいペルソナを抽出し, 既存のペルソナに追加するために 2 つの段階を踏む．まず初めに，(a) 応答履歴 $H$ から Mazare らの研究 [2] と同様に以下の 3 つの条件を満たす記述をペルソナとして抽出する。
1. 4 から 20 の単語 (句読点を含む) で構成される

2. “I”か“my”という単語を含む

3. 名詞, 代名詞, 形容詞のうち少なくともどれか 1 つを含む

そして，(b) 抽出されたペルソナを NLI モデルを用いた重複，矛盾フィルタの 2 種類のフィルタによって更新の有無を決定する．NLI モデルは，入力された 2 つの文の関係を含意・中立・矛盾の 3 つのラべルに分類する分類器である。本研究における NLI モデルは，事前学習済みの BERTを，ペルソナ対話データに基づいて構築された Dialogue NLI コーパス [3] によって fine-tuning することで作成できる.本研究では，公開されている学習済みモデル [3] を用いた。このモデルのペルソナの組み合わせにおける中立ラベルの予測精度は $94.48 \%$ とされている [3] が，含意や矛盾ラベルにおける予測精度は示されていないため，独自に Persona NLI データセットの構
築を行い，精度評価を行う。

## 4 実験設定

実験では，まず検証に用いるモデル $(\mathrm{BoB})$ を作成し, ペルソナ追加機構に用いる NLI モデルの精度を調査する.これらを踏まえて，ペルソナの数による応答生成への影響について議論する。

## 4.1 モデル構築

BoB は学習済みモデルを公開しておらず，新たに学習する必要がある. 本研究では, 応答生成モデルの構築のために，ペルソナが付与された対話データセットである Persona-Chat [1] と，2つの文章間の含意関係を推測するタスクの, 非対話型推論データセットである MNLI コーパス [6] を用いた (データセットの詳細は付録 A に記載した).

## 4.2 NLI モデルの精度調査

ペルソナの含意関係推論における既存の NLI モデルの精度調査を行うため，新たに評価用のデータセットを構築し，このデータセットに対する NLI モデルの分類結果を評価する. 本節では，この評価用のデータセットである Persona NLI データセットの構築方法について述べる。

## Persona NLI データセット

Persona NLI データセットはペルソナのペアに対して，MNLIコーパスと同様に含意 (e), 中立 (n), 矛盾 (c) をラベル付けしたデータセットである. デー タの総数は 401 であり，内訳は含意が 103，中立が 196，矛盾が 102 となっている。データは次のようにペルソナ文のペアを作り，ラベル付けを行った。

含意 Persona-Chat からペルソナをランダムに選択し，含意になるようなペルソナを人手で生成した。例えば，Persona-Chat に含まれている“i love watching superheroes shows”に対して，それと含意関係になるような “i like superheroes”を人手で生成しぺアを作った.

中立 Persona-Chat に定義されているぺルソナの中から，ペルソナを中立になるように選択し組み合わせた。

矛盾 Persona-Chat からランダムに選択したペルソナに対し，2 通りの方法で矛盾したペルソナのペアを作成した. 1 つ目は, “i work in a veterinary office”を“i work in supermarkets” のように矛盾し
た文に書き換える方法であり，2つ目は否定を用いて “i love beef”を “i don’t like beef” のように書き換える手法である. 52 件を 1 つ目の方法で， 50 件を 2 つ目の方法で作成した.

## 4.3 ペルソナの数による応答生成への影響 の調査

ペルソナの数を変化させ，応答生成への影響を調べる方法について述べる。まず，定義されているぺルソナの数である 5 個より少ない場合は不必要な数を削除した. 6 個から 20 個の場合は重複や矛盾が無いように Persona-Chat に定義されているペルソナからランダムに追加し，20 個より多い場合は重複しないようにランダムに追加した. その後，数を変化させたペルソナと Persona-Chat の入力文を用いて応答生成を行った。

## 評価指標

ペルソナ対話システムにおいては，(a) 多様性があり，(b) ペルソナに一貫した応答を行うことが望ましい，そのため，ここでは応答の多様性と，応答とペルソナの一貫性の 2 つの側面で生成された応答を評価する。応答の多様性は, distinct 1/2 (Dist.1/2) [7] を用いて評価を行う．Dist は式 (1)のように，生成された応答に含まれるユニークな n-gram の数を単語数でスケーリングした数によって，どの程度の語彙を含んだ応答なのか評価するものである.

$
\text { distinct-n }=\frac{\mid \text { unique }(\text { n-gram }) \mid}{\mid \text { uni-gram } \mid}
$

応答の一貫性の評価には, Consistency Score (C.Score) [8]を用いる.これはモデルを用いてペルソナと生成した応答の一貫性を予測するもので，式 (2)のように生成された応答と応答生成に使用したペルソナを NLI 分類器によって含意，中立，矛盾に分類し，そのスコアの総和で評価を行う。

$
\begin{gathered}
\operatorname{NLI}\left(r, q_{i}\right)= \begin{cases}-1 & r \text { が } p_{i} \text { と矛盾 } \\
0 & r \text { が } p_{i} \text { と中立 } \\
1 & r \text { が } p_{i} \text { と含意 }\end{cases} \\
\operatorname{C.Score}(r)=\sum_{i=1}^{t} \mathbf{N L I}\left(r, p_{i}\right)
\end{gathered}
$

## 5 実験結果

## $5.1 \mathrm{NLI$ モデルの精度}

予測結果の混同行列を表 1 に示す. 分類の結果,

全クラスの予測精度は約 $74 \%$ であった. ラベル別に見ると, 中立の正解率は約 $97 \%$ と高い結果となったが，含意は $58 \%$ ，矛盾は $45 \%$ という結果となった.矛盾を含意と誤って予測した原因として，語彙がかなり似ている文同士が含意と分類されやすいことが確認できた. 例えば, “i like apple” と “i hate apple” は矛盾であるが，含意と予測されてしまった.

## 5.2 ペルソナの数による影響

はじめに，学習時と同じペルソナ 5 個 (再現) の場合とペルソナの更新 (提案手法) を導入した場合の評価を表 2 に示す. 結果, Dist と C.Score の両方で提案手法が既存手法の再現を上回る結果であった.

表 2 再現したモデルと提案手法の評価

次にペルソナの数ごとのスコアを図 3 , 図 4 に示す. 結果として，C.Score はペルソナの数が増えるほどスコアが下がっていくことが確認できた。また，Dist についてはペルソナの数が少ないほどスコアが高く，増えるにつれてスコアが下がることが確認できた. 生成した応答の内容を確認してみると, ペルソナの数が増えるほど，入力に関わらず，ペルソナのみに依存した応答をすることが確認できた。

図 3 ペルソナの数による応答の一貫性への影響

図 4

ペルソナの数による応答の多様性への影響

## 6 考察

表 2 の再現したモデルと提案手法では，システムの応答履歴からぺルソナを増やすことで, Dist と C.Score の両方を増加させることが確認できた。一方でペルソナの数を変化させた応答生成においては，ペルソナが増えるにつれて Dist と C.Score は下がることが確認できている. 原因として，ペルソナの数による実験では Persona-Chat に定義されている語彙を多く含むペルソナを追加しているため，モデルが機能し，複数のペルソナに沿った応答ができているため Dist が下がったことが考えられる。一方で，提案手法の実験では応答からペルソナを抽出し追加しているため, Persona-Chat のペルソナに含まれていない語彙を含んだペルソナが追加される可能性がある. そのためモデルが機能せず Dist が上がっていると考えられる。実際に学習データに定義されているペルソナのサブワードの種類が 3,940であるのに対し, 応答生成に使用したペルソナの内 1,567 が学習データに含まれていない語であった.また, ペルソナの数が 20 個程度になるまで Dist が低下し， それ以降はまた増加するのに関しても，同様にモデルが機能する限界と考えることができる。次に，ぺルソナが 64 個以上の場合にスコアが同じになってしまった現象については，ペルソナ 1 つに含まれる単語数がおよそ 6,7 個であることから，64 個より大きいペルソナを設定した場合に，エンコーダの上限に達してしまったと考えられる．C.Score については， ペルソナが増えることで一貫した応答ができないことが確認できた. しかし 20 個以上の場合は, ペルソナをランダムで選択しているため，その影響もあることが考えられる。

## 7 まとめ

本研究では，システムの応答履歴でペルソナを更新することで応答生成に与える影響を分析した。ぺルソナの数による応答生成への影響の実験から，学習データに含まれていない語彙を持ったペルソナに対してはモデルが機能しないことや, ペルソナの数が膨大だと応答が固定化されることが示唆された. そのため, 今後の課題として, 未知語に対応でき, かつ応答生成に必要なペルソナのみを選択できるモデル構築が必要だと考えられる.

## 参考文献

[1] Zhang et al. Personalizing dialogue agents: I have a dog, do you have pets too? arXiv preprint arXiv:1801.07243, 2018.

[2] Mazaré et al. Training millions of personalized dialogue agents. arXiv preprint arXiv:1809.01984, 2018.

[3] Welleck et al. Dialogue natural language inference. arXiv preprint arXiv:1811.00671, 2018

[4] Song et al. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proc. ACL-IJCNLP, 2021.

[5] Zhengyi Ma et al. One chatbot per person: Creating personalized chatbots based onimplicit user profiles. In Proc. SIGIR, 2021. ACM, 2021.

[6] Williams et al. A broad-coverage challenge corpus for sentence understanding through inference. arXiv preprint arXiv:1704.05426, 2017

[7] Li et al. A diversity-promoting objective function for neural conversation models. arXiv preprint arXiv:1510.03055, 2015.

[8] Lin et al. Personalizing dialogue agents via meta-learning. arXiv preprint arXiv:1905.10033, 2019.

[9] Dinan et al. The second conversational intelligence challenge (convai2). arXiv preprint arXiv:1902.00098, 2019.

## A 付録

## Persona-Chat

Conv AI2 Persona-Chat (Dinan et al., 2019) [9] は，大規模なタスク指向ではない大規模なデータセットで，1,155 人の個性的なキャラクターが含まれており，それぞれが少なくとも5つのプロフィール文で構成されている。このデータセットは，Zhang らの作成した Persona-Chat (Zhang et al., 2018) [1] を応答候補が複数になるよう拡張したものである。 Persona-Chat は Amazon Mechanical Turk で収集されており，ペアの話者はそれぞれ与えられたプロフィールを条件に対話を行ったデータが収録されている.

本研究ではこのコーパスを 121,880 の学習用に, 9,558 を検証用に，7,504をテスト用に分割して使用した.

## MNLI コーパス

Multi-Genre Natural Language Inference (MNLI) コー パス (Williams et al., 2018) は文章理解のための機械学習モデルの開発・評価に使用するために設計されたデータセットで，およそ 43 万件の自然言語推論 (文の含意関係の認識) のために利用可能なコーパスである.

データの内訳は, 含意が 130,615, 中立が 130,590,矛盾が 130,590 となっている.