# 生成モデルによる傾聴応答タイミングの推定と 動的 Prompt-Tune を用いた応答スタイルのパラメーター制御

室町俊貴 1 狩野芳伸 1
1 静岡大学大学院 総合科学技術研究科情報学専攻
tmuromachi@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

円滑な音声対話のためには、聞き手は継続的に傾聴行為を行う必要がある。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案する。提案手法は、特徴量から推測するパラメーターと話し手の発話文とを入力とする応答生成モデルによって応答タイミングを推定する。さらに、パラメーターから動的に生成される Prompt-Token を用いた Prompt-Tune によって、パラメーターに適した多様なスタイルの応答を返す。自動評価と人手評価の結果から、提案手法はベースラインモデルと比較し、より自然なタイミングで応答が可能となり、よりパラメーターに沿った応答を生成できることを確認した。

## 1 はじめに

人間同士の雑談において、聞き手は相槌や領きといった傾聴行為を行うことが多い。このような傾聴行為は、コミュニケーションをより円滑にする効果が期待できるため、人間と音声対話システムにおける対話でも、システムが聞き手にまわる際には継続的に傾聴行為を行う必要があると考える。そこで本研究では、聞き手が応答すべきタイミングを推定し、多様な応答生成を行う音声対話システムの構築を目的とする。

相槌など聞き手応答タイミングの推定に関しては、音響特徴量からの推定手法 [1] や、節境界や無音区間、母音引き延ばしといった特徵量を使用する手法 [2] など様々な手法が提案されている。また、聞き手応答タイミングの推定と類似した問題設定として、話者交代のタイミング推定が挙げられる。話者交代のタイミング推定においても、音響特徴量や言語特徴量を用いた推測を行う手法が多数提案されている $[3,4,5]$ 。近年では対話の文脈を取り入れたモ
デルも提案されており、Ekstedt らは GPT-2[6] ベー スの話者交代予測モデルである、TurnGPT を提案している [7]。TurnGPT は先行発話の書き起こしテキストを入力とし、直後の話者交代確率を推定する。

本研究では TurnGPT を拡張し、生成モデルによって、応答タイミング推定から応答生成まで行う手法を提案する。応答タイミングは、話し手の発話文をランダムに途中で切ったサンプルを訓練データに追加するデータ拡張を行って推定する。また、話し手の話速、前回の聞き手応答からの経過時間、節境界判定モデルの結果といった特徴量から推定する潜在的なパラメーターに沿った応答を生成することで、書き起こしテキスト単体では不足する情報を補う。 パラメーターに沿った応答スタイルの学習時には、 パラメーターから動的に生成される Prompt-Token を用いた Prompt-Tune を行う。これにより少量のデー タでも効率的な学習ができる。

応答タイミングと生成された応答のパラメーター 反映度との 2 つ観点において自動評価と人手評価を行った結果、提案手法はベースラインである節境界によって応答タイミングを推定するモデルよりも、より高い性能で応答タイミングを推定できた。 また、Fine-Tune、Prompt-Tune を施したモデルよりも、与えられたパラメーターに沿った応答を生成できることを確認した。さらに、パラメーター推定性能についても自動評価と人手評価を行った結果、応答生成時にパラメーター推定結果を用いることで、 より自然な応答ができることを確認した。

## 2 関連研究

## 2.1 Prompt-Tune

BERT[8] や GPT-3[9] のような事前学習済み言語モデルが多くの自然言語処理タスクで使われるようになっている。GPT-3 などの大規模なモデルで

図 1 提案手法の概念図

は、タスクの説明等を記述した Prompt と呼ばれる文字列を追加で与えることで再学習なしにタスクを解く、Prompt Design が利用されている。しかし、 Prompt Design は Fine-Tune と比較すると性能が劣る傾向にある。そこで、Soft-Prompt と呼ばれる学習可能なベクトルを入力テキストの埋め込み表現に連結し、Prompt 部分のみを最適化する Prompt-Tune が提案されている [10]。Soft-Prompt のみを学習することで大幅に学習パラメーターを削減できるため、低コストで学習ができるといったメリットがあり、 Fine-Tune と比較して過剩適合を防げることも報告されている。

Soft-Prompt は、1つのタスクに特化した静的な埋め込み表現であるが、Prompt-Token 部分に画像を入力するマルチモーダルな Prompt-Tune[11](本稿では Multimodal Prompt-Tune と呼ぶ) や、属性情報等から動的に生成される Prompt-Token によって、生成テキストを特定の方向へ制御する Control-Prefixes[12] なども提案されている。

## 3 提案手法

提案手法の概要を図 1 に示す。提案モデルは GPT をべースとしたモデルであり、話し手の発話とそれに対する聞き手応答の組である応答ぺアを学習する。傾聴対話システムとしての実行時には、特徴量から推定する 0.0-1.0 までの連続値をとる潜在的な応答スタイル制御用パラメーターと話し手の発話文とを入力し、パラメーターに沿ったスタイルの応答生成を行う。

提案手法の詳細について、応答タイミング推定手法、応答スタイルの制御手法、応答スタイル制御用パラメーターの推定手法の順に記す。

応答タイミング推定コーパスに表出する発話の途中で応答を挟むことは不適切であることが多い表 1 応答タイミングの推定結果 (自動評価)

表 2 応答タイミングの推定結果 (人手評価)

と考えられる。そこで何割かの話し手の発話をランダムに途中で切り、応答ぺアのうち聞き手応答部分を、聞き手応答不可を表す追加の特殊トークン (<none>) に置き換えるデータ拡張によって聞き手応答タイミングを推定する。

応答スタイルの制御応答スタイル制御用パラメーターにより動的に生成される Prompt-Token を用いて、パラメーターに沿った応答を生成する。提案手法では、Control-Prefixes の静的な部分を除いた動的な Prompt-Token のみを利用する。すなわち、 Prompt-Token-Encoderによって生成された埋め込み表現を Prompt-Tokenとして使用する。学習時には 3 層の MLP である Prompt-Token-Encoder の学習パラメーターのみ更新する。

応答スタイル制御用パラメーターの推定応答スタイル制御用パラメーターの推定のために、話し手の話速 (平均モーラ長)、前回の聞き手応答からの経過時間、話し手の発話の最終形態素が節境界 (絶対境界・強境界・弱境界のいずれか)であるか、の 3 つを特徵量として用いる。節境界は丸山らが定義した節境界ラベル [13] に基づき、品詞・単語の表層形からルールベースで判定する。これら特徴量から聞き手応答が可能かどうか学習したモデルの予測値を応答スタイル制御用パラメーターとする。学習には LightGBM[14] を使用する。
表 3 応答スタイル制御用パラメーター反映度 (自動評価)

表 4 応答スタイル制御用パラメーター反映度 (主観評価)

表 5

## 4 実験

## 4.1 応答タイミング推定と応答生成

データセット TurnGPT を拡張した提案モデルの Fine-Tune には、音声会話コーパスは日本語日常会話コーパス (CEJC)[15] と名大会話コーパス [16] を、 テキスト会話コーパスは JEmpatheticDialogues[17]、 JPersonaChat[17]、独自に収集した日本語ツイート (5,000,000 ペア $)$ を使用した。音声会話コーパスは書き起こしテキストのみを用いた。すべてのコーパスについて、前章で説明したデータ拡張を $10 \%$ のデー タに対して適用した。CEJC 以外のコーパスは全て訓練に使用し、CEJC については訓練 8: 検証 1: 評価 1 に分割したうえで評価用データに含まれる話し手の発話 1,000 件を自動評価用データとした。

学習モデル事前学習済み GPT モデルには rinna 社が公開している japanese-gpt-1b ${ }^{1)}$ を使用し、 Tokenizer はモデル付属のものを使用した。japanesegpt-1b は上記データセットで Fine-Tune した。設定詳細は付録に記載する。なお、次節の各種追加的学習を施すことで応答タイミング推定と応答生成も追加的に学習されるため、評価には追加的学習の後のモデルを用いる。

## 4.2 応答スタイルの制御

応答スタイル制御については、前節で Fine-Tune した GPT モデルに対して、Fine-Tune、Prompt-Tune、 Dynamic-Prompt-Tune の 3 種類の追加的学習を施し
たモデルをそれぞれ実験し比較した。

データセット JEmpatheticDialogues からランダムに抽出した 1,200 件の話し手の発話文に対して、 $0.0,0.5,1.0$ の三段階の応答スタイル制御用パラメー ターごとに異なるスタイルの応答を独自に付与したデータセットを作成した。0.0では応答なし、0.5では相槌のみ、 1.0 では共感的な応答を付与した。学習データと検証データは、三段階のパラメーターごとに 200 ペアずつ、それぞれ計 600 発話応答ペアからなる。前章で説明したデータ拡張を全体の $10 \%$ のデータに対して適用した。

Fine-Tune モデル三段階のパラメーターに応じた追加の特殊トークンを入力末尾に付加し、前節の Fine-Tune に追加してさらに Fine-Tuneを行った。エポック数は 3 とした。

Prompt-Tune モデル上記の Fine-Tune モデルに対しさらに Prompt-Tuneを行った。Prompt-Token サイズは 100 とし、エポック数は 50 とした。

Dynamic-Prompt-Tune モデル上記二つのモデルとは異なり、パラメーターの数值を直接 PromptToken-Encoder に入力する。Prompt-Token サイズは 20 とし、エポック数は 50 とした。

## 4.3 応答スタイル制御用パラメータの推定

日本語話し言葉コーパス (CSJ)[18] の独話形式の音声の書き起こしテキストのうち、3 名の異なる話者による約 10 分程度の音声ファイル、計 30 分を学習に使用した。このデータセットに対して、人手で聞き手応答可能か判定した結果を正解ラベルとして付与し、不均衡なデータのためアンダーサンプリングを行ったうえで、訓練 8 : 検証 1 : 評価 1 に分割して用いた。LightGBM の学習パラメータ設定は付録に記載する。

## 5 実験の評価と結果

## 5.1 応答タイミングの推定

自動評価評価用データセットの半分のサンプルの話し手の発話をランダムに途中で切ることで、応答すべきタイミングではない話し手の発話を疑似的に作り、発話が切られているかをモデルによって当てるタスクで評価する。品詞・単語の表層形からルールベースで節境界を判定するべースラインモデルと、Dynamic-Prompt-Tune モデルの比較を行った。節境界判定モデルの形態素解析器には Juman++[19,20] を用いた。Dynamic-Prompt-Tune モデルはパラメーター 0.5 で固定した結果を示す (表 1)。評価には CEJC の自動評価用データを使用し、評価指標には Precision, Recall, F1-Score を用いた。実験の結果、Dynamic-Prompt-Tune モデルは節境界判定モデルよりも約 20\%高い F1-Score を示した。

人手評価応答スタイル制御用パラメーター推定の学習に用いた CSJ の独話音声と同じデータセッ卜に対し、アノテーター 3 名が応答タイミングを付与し、アノテーターそれぞれとシステムの推定結果との一致を Precision, Recall, F1-Score で計測して、 その平均値を結果として示した（表 2)。アノテー ター間一致度は Fleiss' Kappa[21] で 0.465 であった。自動評価と同様に、Dynamic-Prompt-Tune モデルはより高い性能で推定できており、品詞や単語の表層形の情報だけでは判定困難な発話についても判定できていると考えられ、データ拡張による応答タイミング推定手法の有効性が確認できた。

## 5.2 応答スタイル制御パラメーター反映度

自動評価応答スタイル制御用パラメーターの増加に伴い、応答なし、相槌のみ、共感的な応答の 3 段階で応答スタイルが推移するように学習しているため、パラメーターの変化に応じた応答の多様性を Distinct-1,2[22] で評価した（表 3)。評価には CEJC の自動評価用データを用いた。パラメーター が 0.0 の場合に Dynamic-Prompt-Tune モデルは応答が生成されないサンプルが多数あるため、パラメー ターが 0.5 の場合と比較して値が高くなっているが、 Fine-Tune モデルや Prompt-Tume モデルと比較して、 パラメーター間の Distinct の値の変動が大きく、より適切に応答スタイルの使い分けができていると考えられる。人手評価応答スタイル制御用パラメーター反映度の主観評価には、自動評価に用いた CEJC の評価データからランダムに取得した 100 サンプルを使用した。 $0.0,0.5,1.0$ の三段階のパラメーターごとに生成された応答を、流暢さ、関連性、パラメーター反映度の 3 項目について、それぞれ 5 段階評価によって評価した（表 4)。Dynamic-Prompt-Tune モデルは特にパラメーターが 1.0 の場合に 2 つのベースラインモデルよりもパラメーター反映度の項目の評価が高いことからも、よりパラメーターに沿った応答生成できていると考えられる。

## 5.3 応答スタイル制御パラメーターの推定

自動評価表 5 に Precision, Recall, F1-Score による自動評価結果を示す。 random はランダムに二値分類を出力するベースラインである。パラメーター推定モデルはランダムな予測より高い性能を示した。

人手評価応答スタイル制御用パラメーター推定の自動評価に用いた CSJ 独話音声データセットのうち、1ファイル (約 10 分) を用いた。パラメーターを 0.5 に固定した場合と、パラメーター推定モデルの結果を用いた場合とでどちらが自然な応答か比較させた。応答生成は形態素ごとに行った。結果、 3 名の評価者全員が提案手法であるパラメーター推定結果を用いたほうが自然であると回答した。

## 6 おわりに

音声対話における円滑なコミュニケーションのためには、対話システムが聞き手となる場合に傾聴応答を継続的に行う必要があると考えられる。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案した。

提案手法では、特徴量から推定した応答スタイル制御用パラメーターと発話文とを応答生成モデルに入力することによって、応答タイミングを推定し、 パラメーターから動的に生成される Prompt-Token によって、応答の多様性やスタイルを制御した。これらにより、応答タイミング推定ではテキストチャッ卜、音声対話問わず多様な形式の対話データを学習に使用できる一方、応答スタイルの制御は少量のデータから効率的に学習できる。

自動評価と人手評価の結果から、提案手法はベー スラインモデルと比較し、より自然なタイミングで応答が可能となり、与えられたパラメーターに沿った応答を生成できることを確認した。

## 謝辞

本研究は JSPS 科研費 JP21K18115, JST AIP 加速課

題 JPMJCR22U4, セコム科学技術財団特定領域研究助成の支援をうけたものです。実験に協力くださった研究室メンバーの皆様に感謝します。

## 参考文献

[1] Divesh Lala, Pierrick Milhorat, Koji Inoue, Masanari Ishida, Katsuya Takanashi, and Tatsuya Kawahara. Attentive listening system with backchanneling, response generation and flexible turn-taking. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 127-136, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[2] 神谷優貴, 大野誠寛, 松原茂樹. 音声対話コーパスに基づくあいづち生成タイミングの検出とその評価. 言語処理学会第 17 回年次大会発表論文集, 言語処理学会, pp. 103-106, 2011.

[3] Kohei Hara, Koji Inoue, Katsuya Takanashi, and Tatsuya Kawahara. Prediction of Turn-taking Using Multitask Learning with Prediction of Backchannels and Fillers. In Proceedings of Interspeech 2018, pp. 991-995, 2018.

[4] Shuo-yiin Chang, Bo Li, Tara N Sainath, Chao Zhang, Trevor Strohman, Qiao Liang, and Yanzhang He. Turn-taking prediction for natural conversational speech. arXiv preprint arXiv:2208.13321, 2022

[5] 藤江真也, 横山勝矢, 小林哲則. 音声対話システムのためのユーザの発話権維持状態の逐次推定. 人工知能学会全国大会論文集第 32 回 (2018), pp. 2N103-2N103, 2018.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Erik Ekstedt and Gabriel Skantze. TurnGPT: a transformer-based language model for predicting turn-taking in spoken dialog. In Findings of the Association for Computational Linguistics: EMNLP 2020, November 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, November 2021.

[11] Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Pro- cessing Systems, Vol. 34, pp. 200-212, 2021

[12] Jordan Clive, Kris Cao, and Marek Rei. Control prefixes for text generation. arXiv preprint arXiv:2110.08329, 2021.

[13] 丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝. 日本語節境界検出プログラム CBAP の開発と評価. 自然言語処理, Vol. 11, No. 3, pp. 39-68, 2004

[14] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, , 2017.

[15] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the corpus of everyday Japanese conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, June 2022. European Language Resources Association.

[16] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[17] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[18] Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara. Spontaneous speech corpus of Japanese. In Proceedings of the Second International Conference on Language Resources and Evaluation (LREC'00), Athens, Greece, May 2000. European Language Resources Association (ELRA).

[19] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[20] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Joseph L Fleiss. Measuring nominal scale agreement among many raters. Psychological bulletin, Vol. 76, No. 5, p. 378, 1971.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 付録

## A. 1 実験条件

Prompt-Token サイズは予備実験の結果から決定した。予備実験では、5, 10, 20, 50, 100 の Prompt-Token サイズを比較し、応答スタイル制御用パラメーターに沿った応答が生成されたと人手で判定された最小の Prompt-Token サイズを各モデルで使用した。また、Prompt-Token-Encoder の MLP のニューロン数は入力層は 1、中間層が 10,000 、出力層は 40,960 とした。学習時のバッチサイズは 8 とし、学習率は Fine-Tune では 5e-05、Prompt-Tune と Dynamic-Prompt-Tune では 0.3 とした。optimizer として AdamW を使用し、エポック数は学習時の loss が収束する値に設定した。LightGBM は評価指標に LogLoss を使用し、learning_rate を 0.01 , num_leavesを 7, max_depth を8, min_data_in_leaf 20 とした。Juman++は Ver.2.0.0-rc3 を使用した。

## A. 2 応答生成例

表 6 と表 7 に Fine-Tune モデル、Prompt-Tune モデル、Dynamic-Prompt-Tune モデルの応答生成例を応答スタイル制御パラメーターごとに示す。

表 6 応答生成例 1

表 7 応答生成例 2


# 語りの傾聴において不同意される発話とその検出

伊藤滉一朗 1 村田匡輝 ${ }^{2}$ 大野誠寛 ${ }^{3}$ 松原茂樹 1,4
1 名古屋大学大学院情報学研究科 2 豊田工業高等専門学校
3 東京電機大学未来科学部 4 名古屋大学情報連携推進本部
ito.koichiro.v1@s.mail.nagoya-u.ac.jp murata@toyota-ct.ac.jp
ohno@mail.dendai.ac.jp matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

コミュニケーションロボットやスマートスピー カーなどの会話エージェントが，人に代わって聴き手を担うことが期待されている。これらが聴き手として認められるには，傾聴を示す目的で語りに応答する発話（傾聴応答）の表出が有効である。傾聴では，語り手の発話に同意や肯定をすることが基本的な応答方略となる. しかし, 語り手の自虐的な発話などには，語りに同意しないことを示す応答（不同意応答）が好ましい. 本論文では，不同意応答の生成に向けて，その表出が適する発話の検出について述べる. 不同意応答が適する発話が含まれる高齢者の語りデータを用いて，検出実験を実施し，その実現可能性を考察した。

## 1 はじめに

語ることは人間の基本的な欲求である. 語る行為は，聴き手がいて初めて成立する，日本では，独居高齢者の増加など社会の個人化が進み $[1]$, 聴き手不在の生活シーンが増加している。人が語れる機会を増やすことは現代社会の重要な課題である。これに対し，コミュニケーションロボットなどの会話エージェントやスマートスピーカーなどの情報機器が語りを聴く役割を担うことが考えられる。これらが聴き手として認められるには，語りを傾聴していることを語り手に伝達する機能を備える必要がある.このための明示的な手段は語りに応答することであり，ジェスチャや発話の表出が有力である．以降では，傾聴を示す目的で語りに応答する発話を傾聴応答と呼ぶ.

語りの傾聴では，語り手の発話に同意または肯定することが聴き手の基本的な応答方略となる. 傾聴応答の代表は相槌であり, その生成法が提案されている $[2,3,4,5,6,7,8,9,10,11,12]$. しかし, 語り手表 1 語りと傾聴応答の例

の自虐的な発話などには，同意や肯定を目的とした応答の表出が適さないことがある. その場合には,語りに同意しないことを示す応答の表出が求められる. 以降では，こうした応答を不同意応答と呼ぶ.

本論文では，不同意応答の自動生成の実現に向けて，その表出が適する発話の検出について述べる.不同意応答が適する発話を含む高齢者の語りデータを用いた実験を行い，BERT [13] を用いた検出手法の性能を評価するとともに，その課題を考察した。

## 2 語りの傾聴と不同意

## 2.1 傾聴応答

傾聴応答は，語りを傾聴していることを語り手に伝える応答である。傾聴応答の種類には，相槌，感心，評価などがあり [14]，語り手の語る意欲を促進する効果がある．表 1 に，語りと傾聴応答の例を示す.（）内は傾聴応答の種類を示す.

## 2.2 関連研究

傾聴応答の代表は相桘であり，その生成方法に関する研究が存在している $[2,3,4,5,6,7,8,9,10,11$ ， 12]. これらの研究では, 語りから抽出されるピッチやパワーなどの音響情報や，単語や品詞などの言語情報から，相槌の生成に適したタイミングを検出する手法を提案している。これまでに，ルールベー スによる手法 [3, 7]，n-gram モデルによる手法 [4],有限状態トランデューサによる手法 [5]，決定木に

よる手法 [2, 6]，CRFによる手法 [8]，SVMによる手法 $[9,10]$ などが提案されている。近年では，LSTM やBERT などのニューラルネットワークを用いた手法 [11,12] も提案されている.

相棺以外の傾聴応答の生成に関する研究も存在する $[15,16,17,18,19,20,21,22,23]$. 相槌だけでなく,繰り返しや問い返しなども生成可能なシステムの開発に取り組まれている $[15,16,17,18]$. これらのシステムは，事前に定義したルールやアルゴリズムに従い，生成する応答の種類を選択した後，応答を生成する. 他にも, 系列変換モデルによる, 傾聴応答の応答文の生成に関する研究も行われている [19]. また，相槌以外の特定の種類の傾聴応答に着目した研究も存在する. 繰り返し応答の生成に関しては,繰り返すべき語句の検出 $[20,21]$ や, 繰り返しの応答文の生成 $[22,23]$ が研究されている. 従来の傾聴応答の生成に関する研究では，語りの発話に同意や肯定を示す応答が，主な生成の対象とされてきた.

## 2.3 傾聴における不同意応答

これまでに，Ito らは，高齢者の語りに対する傾聴応答を収集している [24]. 合計で約 15 万個の傾聴応答を収集しており，それらには人手で応答の種類が付与されている. 応答の種類は, 相槌, 感心, 繰り返し, 評価, 同意など, 全 16 種類存在し, 全体の $67.96 \%$ が相槌であり, 相槌以外の種類は合計して $32.04 \%$ 占めていた. 図 1 に，相槌以外の応答の種類の分布を示す. 相槌以外の応答の種類は，感心，繰り返し, 評価, 同意の順に多く出現していた. 以下に，それらの応答と対応する語りの例を示す.

$\cdot$ 感心

【語り】地方に行った時そこにある美術館にはなるべく行くようにしています

【応答】そうなんですね
- 繰り返し

【語り】わたくしのこんにちまでの仕事はえーライターです

【応答】ライター
- 評価

【語り】書道も好きで総理大臣賞も頂いたりして

【応答】凄いですね

$\cdot$同意

【語り】五千歩歩くということはなかなか難しいことで

図 1 傾聴応答の種類の分布

## 【応答】そうですね

語りを傾聴する聴き手の応答方略としては，上述した例のように，語りに同意や肯定を示す応答の表出が基本である. しかし, 場合によっては, 不同意応答の表出を必要とすることもある．例えば，次に示すような自虐的・謙遜的な発話には，同意や肯定を示す応答ではなく，「いえいえ」などの不同意応答の方が適切である。

・<自虐・謙遜>私は昔から気が利かないものでして

また，次に示すような謝罪の発話も，不同意応答の方が適切な語りの発話として挙げられる。

・く謝罪>昔のことなので思い出せなくてごめんなさい

語りには，上述したような不同意応答が適する発話の出現は，多くはないものと考えられる. 図 1 の分布においても, 不同意応答の出現は少数である. しかし，不同意応答が適切な場面で，誤って肯定や同意の応答をしてしまうと，語り手に多大な不信感を与えてしまう．そこで，本論文では，不同意応答の自動生成の実現に向け, 不同意応答が適する語りの発話の検出可能性とその課題について述べる.

## 3 検出手法

本研究の目的は, 不同意応答が適する語りの発話の検出の実現可能性を考察することである. 本研究では，BERT [13]を用いた単純な手法を採用する.幅広いタスクで有効性が示されている BERTを用いた手法に対して，その検出性能を評価するとともに，その課題を考察する。

本手法では, 語り内の各発話を不同意応答が適

するか否かの 2 クラスに分類する．分類は，事前学習済みの BERTを fine-tuning したモデルによって行う. 具体的には, 分類対象の発話の先頭に [CLS] トークンを，末尾に [SEP] トークンをそれぞれ追加した文字列をモデルに入力する．BERT の最終層の [CLS] トークンの出力を 2 クラス分類用の出力層で変換して，両クラスに属する確率値を得たのち，確率值が高い方のクラスに分類する。

## 4 検出実験

## 4.1 実験概要

不同意応答が適する発話の検出可能性とその課題を考察するために，実験を実施した。述語を中心とした言語的なまとまりである節を語りの発話単位とし，節を不同意応答が適するか否かに分類する手法を実装し，その性能を評価した。

## 4.2 実験データ

本実験の語りデータには，高齢者のナラティブコーパス JELiCo [25]を用いた.この語りデータには, 30 名の高齢者による 1 人約 20 分の語りの音声が収録されている. 全高齢者共通の 10 個の質問に対し，その回答を独話として語るという収録形式が採用されている. 節境界解析ツール CBAP [26] によって，語りを 11,201 個の節に分割し，不同意応答が適するとみなせるものを人手で抽出した. この抽出作業は, 著者のうちの 1 人が行った. 抽出作業の結果，全体の $2.02 \%$ にたる 226 個の節が，不同意応答が適する節として抽出された. 語りに占める不同意応答が適する節の割合は少なく, 不均衡なデー タとなっている。

## 4.3 手法の実装

事前学習済みの BERT を fine-tuning することで，語り内の節を不同意応答が適するか否かに分類するモデルを実装した. モデルの学習における損失関数は, Cross Entropy Loss とした. 実験データ内の節を 6:2:2に分割し，それぞれを，学習，開発，テストデータとして，テストデータでの性能を評価した。

事前学習済みの BERTには, huggingface の cl-tohoku/bert-base-japanese-v2を用いた。実装には, huggingface/transformers $の$ AutoModelForSequenceClassification, TrainingArguments, Trainerを用いた. バッチサイズを 32 , エポック数を 10 , 計算精度に関
するパラメータ fp16を True とした. その他の設定は上記ライブラリのデフォルトのままとした.

上述の BERT による手法の他に，入力された節をランダムに分類する以下の 2 つの手法を実装した.

・random (even): 50\%の確率でランダムに分類する手法

・ random (balanced): 学習データにおける不同意応答が適する節の割合に従って，ランダムに分類する手法

本実験では，random (balanced) は，1.89\%の確率で不同意応答が適すると分類する。

## 4.4 評価方法

本実験では，適合率，再現率， $\mathrm{F}$ 値を評価指標とする. 不同意応答が適する語りの発話に不同意応答できるだけでなく，それが適さない語りの発話には不同意応答をしないことも重要であると考えられる. そこで，本実験では，不同意応答が適する節と適さない節のそれぞれに対して，適合率，再現率， $\mathrm{F}$ 值を求める. また，そのマクロ平均も評価に用いる。以降では，不同意応答が適する節を本実験における正例，適さない節を負例とする．正例に対する適合率と再現率は，それぞれ次の式で計算する。

$
\begin{aligned}
& \text { 適合率 }=\frac{\text { 正例に正しく分類できた節の数 }}{\text { 正例に分類した節の数 }} \\
& \text { 再現率 }=\frac{\text { 正例に正しく分類できた節の数 }}{\text { 正例の節の数 }}
\end{aligned}
$

負例に対しても，同様にして計算する。

## 4.5 実験結果

表 2 に，テストデータに対する各手法の評価値を，図 2 に分類結果に関する混同行列を示す。総合的な評価指標であるマクロ適合率，マクロ再現率，マクロ $\mathrm{F}$ 值のすべてにおいて，BERTを用いた手法は， random の 2 つの手法を上回っていた.このことから，幅広いタスクで有効性が示されている BERT に基づく手法は，不同意応答が適する節の検出においても，ある程度有効であるといえる。また，BERTを用いた手法と random の各手法との間にマクネマー検定を適用したところ，いずれにおいても有意差が確認できた。

各手法の正例および負例に対する検出性能について述べる. 表 2 の通り，BERTを用いた手法が，正例と負例の両方の評価指標で比較的高い値を記録し
表 2 実験結果

図 2 混同行列

ており，5つの評価指標で random の 2 つの手法を上回っていた. 正例の再現率についてのみ, random (even) が最も高い値となったものの, 図 2 の通り, random (even) は約半数もの節を正例であると分類しており，その大部分は誤りであった。

以上の結果から，BERTを用いた手法は，不同意応答が適する節の特徴をある程度捉えられているものといえる。しかし，その性能は十分であるとはいえない. この原因には，本データが正例が少ない不均衡データであったことが挙げられる. 正例が少数であるため, 正例である不同意応答が適する節の特徵を十分に学習できなかったものと考えられる。

## 5 まとめ

本論文では，不同意応答の自動生成に向けた，不同意応答が適する発話の検出について述べた. 高齢者の語りデータを用いて，検出実験を実施し，その実現可能性を考察した. 実験では，事前学習済みの BERTを用いた手法が，ランダムな手法よりも高い性能を示し，ある程度の性能で検出できることを確認したが，その性能は十分ではなかった. 不同意応答が適する発話は, 語りにおける出現が多くない.今後は，こうしたデータの不均衡に起因する問題に対応するために，モデルの学習時におけるサンプリングや class-weight の適用などを検討したい.

## 謝辞

高齢者のナラティブデータは, 奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室から提供いただいた. 本研究は, 一部, 科学研究費補助金挑戦的研究（萌芽）（No. 18K19811）, 名古屋大学及び JST 科学技術イノベーション創出に向けた大学フェローシップ創設事業 JPMJFS2120 による 「名古屋大学融合フロンティアフェローシップ」研究費により実施したものである.

## 参考文献

[1] Ministry of Health, Labor and Welfare. Summary report of comprehensive survey of living conditions 2019. https://www.mhlw.go.jp/english/database/ db-hss/dl/report_gaik yo_2019.pdf, Jul. 2020.

[2] Hiroaki Noguchi and Yasuharu Den. Prosody-based detection of the context of backchannel responses. In Proc. 5th International Conference on Spoken Language Processing, pp. 487-490, Sydney, Australia, Dec. 1998.

[3] Nigel Ward and Wataru Tsukahara. Prosodic features which cue back-channel responses in english and Japanese. J. pragmatics, Vol. 32, No. 8, pp. 1177-1207, Jul. 2000. DOI:10.1016/S0378-2166(99)00109-5.

[4] Nicola Cathcart, Jean Carletta, and Ewan Klein. A shallow model for backchannel continuers in spoken dialogue. In Proc. 10th Conference on European Chapter of the Association for Computational Linguistics, pp. 51-58, Budapest, Hungary, Apr. 2003. DOI:10.3115/1067807.1067816.

[5] Shinya Fujie, Kenta Fukushima, and Tetsunori Kobayashi.

A conversation robot with back-channel feedback function based on linguistic and nonlinguistic information. In Proc. 2nd International Conference on Autonomous Robots and Agents, pp. 379-384, Palmerston North, New Zealand, Dec. 2004.

[6] Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, and Seiji Nakagawa. Response timing detection using prosodic and linguistic information for human-friendly spoken dialog systems. 人工知能学会論文誌, Vol. 20, No. 3, pp. 220-228, Mar. 2005. DOI:10.1527/tjsai.20.220.

[7] Ronald Poppe, Khiet P Truong, Dennis Reidsma, and Dirk Heylen. backchannel strategies for artificial listeners. In Proc. 10th International Conference on Intelligent Virtual Agents, pp. 146-158, Philadelphia, USA, Sep. 2010. DOI:10.1007/978-3-642-15892-6_16.

[8] Louis-Philippe Morency, Iwan de Kok, and Jonathan Gratch. A probabilistic multimodal approach for predicting listener backchannels. J. Autonomous Agents and Multi-Agent Systems, Vol. 20, No. 1, pp. 70-84, Jan. 2010. DOI:10.1007/s10458-009-9092-y.

[9] Takashi Yamaguchi, Koji Inoue, Koichiro Yoshino, Katsuya Takanashi, Nigel G. Ward, and Tatsuya Kawahara. Analysis and prediction of morphological patterns of backchannels for attentive listening agents. In Proc. 7th International Workshop on Spoken Dialogue Systems, pp. 1-12, Saariselkä, Finland, 12016.

[10] Tomohiro Ohno, Yuki Kamiya, and Shigeki Matsubara. Detection of back-channel feedback timings using spoken dialogue corpus. IEICE Trans. Fundamentals (Japanese Edition), Vol. J100-A, No. 1, pp. 53-65, 1 2017.

[11] Robin Ruede, Markus Müller, Sebastian Stüker, and Alex Waibel. Enhancing backchannel prediction using word embeddings. In Proc. 18th Annual Conference of the International Speech Communication Association, pp. 879-883, Stockholm, Sweden, Aug. 2017. DOI:10.21437/Interspeech.2017-1606.

[12] Jin Yea Jang, San Kim, Minyoung Jung, Saim Shin, and Gahgene Gweon. BPM_MT: Enhanced backchannel prediction model using multi-task learning. In Proc. 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3447-3452, Punta Cana, Dominican Republic (Online), Nov. 2021. DOI:10.18653/v1/2021.emnlp-main. 277.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-2019), pp. 4171-4186, Minneapolis, USA, 2019.

[14] 日本語記述文法研究会. 現代日本語文法 7. くろしお出版, 2009.

[15] Yuka Kobayashi, Daisuke Yamamoto, Toshiyuki Koga, Sachie Yokoyama, and Miwako Doi. Design targeting voice interface robot capable of active listening. In Proc. 5th ACM/IEEE International Conference on HumanRobot Interaction, pp. 161-162, Osaka, Japan, Mar. 2010.
[16] Toyomi Meguro, Yasuhiro Minami, Ryuichiro Higashinaka, and Kohji Dohsaka. Evaluation of listeningoriented dialogue control rules based on the analysis of HMMs. In Proc. 12th Annual Conference of the International Speech Communication Association, pp. 809-812, Florence, Italy, Aug. 2011.

[17] Kazuya Shitaoka, Ryoko Tokuhisa, Takayoshi Yoshimura, Hiroyuki Hoshino, and Narimasa Watanabe. Active listening system for a conversation robot. Journal of Natural Language Processing (Japanese Edition), Vol. 24, No. 1, pp. 3-47, 2017. DOI: $10.5715 /$ jnlp.24.3.

[18] Koji Inoue, Divesh Lala, Kenta Yamamoto, Shizuka Nakamura, Katsuya Takanashi, and Tatsuya Kawahara. An attentive listening system with android ERICA: comparison of autonomous and WOZ interactions. In Proc. 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 118-127, 1st virtual meeting, Jul. 2020.

[19] 村田匡輝, 大野誠宽, 松原茂樹. 系列変換モデルに基づく傾聴的な応答表現の生成. 言語処理学会第 24 回年次大会発表論文集, pp. 821-824, 岡山コンベンションセンター, Mar. 2018.

[20] 伊藤滉一朗, 村田匡輝, 大野誠寛, 松原茂樹. 傾聴を示す応答で繰り返される語りの語句の検出. 言語処理学会第 25 回年次大会発表論文集, pp. 1316-1319,名古屋大学東山キャンパス, Mar. 2019.

[21] 川本稔己, 長谷川駿, 上垣外英剛, 船越孝太郎, 奥村学. 傾聴の応答で繰り返される語句の検出性能の向上. 言語処理学会第 27 回年次大会発表論文集, pp. 1580-1584, 北九州国際会議場, Mar. 2021.

[22] 田原俊一, 松本一則, 服部元. オウム返し応答を生成する対話システム. FIT2021（第 20 回情報科学技術フォーラム）,第 2 巻, pp. 465-466, オンライン, 2021.

[23] Toshiki Kawamoto, Hidetaka Kamigaito, Kotaro Funakoshi, and Manabu Okumura. Generating repetitions with appropriate repeated words. In Proc. 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 852-859, Seattle, United States, Jul. 2022. DOI:10.18653/v1/2022.naacl-main. 62.

[24] Koichiro Ito, Masaki Murata, Tomohiro Ohno, and Shigeki Matsubara. Construction of responsive utterance corpus for attentive listening response production. In Proc. 13th Language Resources and Evaluation Conference, pp. 7244-7252, Marseille, France, June 2022.

[25] Eiji Aramaki. Japanese elder' $s$ language index corpus v2. https://figshare.com/articles/dataset/ Japanese_Elder_s_Language_Index_Corpus_v2/ 2082706/1, Nov. 2016.

[26] Hideki Kashioka and Takehiko Maruyama. Segmentation of semantic units in Japanese monologues. In Proceedigs of the International Conference on Speech and Language Technology \& Oriental-COCOSDA 2004 (ICSLT-O-COCOSDA 2004), pp. 87-92, Delhi, India, Nov. 2004.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 文章形式の出力による クロスドメインスロットフィリングの改善

大矢一穂 1 鶴岡 慶雅 2
1 東京大学工学部 電子情報工学科 2 東京大学大学院情報理工学系研究科
\{oya, tsuruoka\}@logos.t.u-tokyo.ac.jp

## 概要

タスク指向対話システムのサブタスクの 1 つであるスロットフィリングにおいて，学習データと異なるドメインで推論を行うクロスドメインスロットフィリングが研究されている. 先行研究では, BERT や BART といった事前学習済みモデルを利用した手法が提案されている。このうち，BART を用いた先行研究では，抜き出したエンティティをそのまま出力するように学習を行っていた. 本研究では，出力が自然な文章になるようなテンプレートを用いることで先行研究の性能の改善を目指した. 実験の結果，提案手法が，事前学習を用いた先行研究の性能を上回る結果となった.

## 1 はじめに

近年，人間のように会話を行うことのできる対話 AI が普及しつつある。こういった対話システムの研究は，タスク指向対話システムと非タスク指向対話システムの 2 つに大別される。このうち、タスク指向対話システムは、なんらかの目的を持ったユー ザーと会話をすることで、その目的を達成することを補助する対話システムであるが，そのサブタスクとしてスロットフィリングがある．スロットフィリングとは、ユーザーの発話から必要な情報を抜き出すタスクである。スロットフィリングの例を図 1 に示す．スロットフィリングでは，抜き出さなくてはいけない情報（スロット）の種類があらかじめ定義されており，図 1 の city，country，cuisineなどがそれに相当する。そして，モデルはそれぞれのスロットに対応する語句（エンティティ）である "Falmouth” や“fast food restaurant”を発話から抜き出す。従来はドメインに特化した学習データを用いてモデルの学習を行っていた。しかし実際にタスク指向対話システムを構築しようとしたとき、ドメインによっては
Book a highly rated fast food restaurant in Falmouth.

図1スロットフィリングの例

ラベル付き学習データが用意できないことも珍しくなく，そのような状況でもスロットフィリングを行うことのできるモデルを学習する必要がある.

上述の課題を踏まえて，学習したいドメインとは異なるドメインの学習データを用いて学習を行うクロスドメインスロットフィリングが近年研究されている。クロスドメインスロットフィリングにおいては，ドメインによってスロットが異なるため，推論時には，学習データには存在しなかったスロットについて扱う必要がある. 先行研究 $[1,2,3]$ では,事前学習済みモデルをファインチューニングする手法が提案されており，以前の研究と比べて高い性能が報告されている。 その 1 つである AISFG [3] という手法では，BART を使い，他の先行研究とは異なり seq2seq のアプローチをとっている. AISFG では，発話文やスロット説明を組み込んだ文章を入力として，エンティティの文字列のみを出力する方法をとっている．しかしこのデコード方法は，文を出力するように学習している BART の事前学習と乘離しており，事前学習で BART のデコーダ部分が獲得した言語的な知識を，タスクに活かすことができていない可能性があると考えた。

そこで本研究では，AISFG と同様に BART をべー スとしながら，シンプルなテンプレートを用いて， エンティティだけでなくスロット説明やエンティ
in domain book restaurant, find the restaurant type, like buffet in I'd like to reserve a buffet for my family, in sentence: please book highly rated restaurant with food truck Tuscan for me and Adela in Hallam Indiana.

図 2 AISFG のフレームワーク

ティ例もデコード系列に含める手法を提案する.

## 2 関連研究

Bapna ら [4] や Shah ら [5] は，スロットの説明文やエンティティの具体例を使って，スロットの意味的な情報をモデルに与える手法を提案した.

また，Liu ら [6] が提案した手法である Coach では，エンティティを見つける第一段階と，エンティティごとにスロットタイプで分類をする第二段階の 2 つの段階に処理を分けることでタスクの簡略化を図った.

近年の研究では，事前学習済みモデルをファインチューニングする手法が提案されている．Du ら [1] が提案した QASF や, Yu ら [2] が提案した RCSF では，スロットフィリングを質問応答タスクとして定式化し, 事前学習済みモデルである BERT [7] をファインチューニングすることで，以前の手法よりも高い性能を達成した。

Yan ら [3] が提案した AISFG は, seq2seq の事前学習済みモデルである BART [8] をべースとした手法である. 図 2 に AISFG のフレームワークを示す.この例は発話文である “please book highly rated restaurant with food truck Tuscan for me and Adela in Hallam Indiana."から, restaurant_type のスロットに対応するエンティティを抜き出す様子を表している。 入力文には，ドメインを表している “book restaurant”，スロット説明である “restaurant type”,発話文の例である “I'd like to reserve a buffet for my family.”とその発話における restaurant_type のエンティティである “buffet”を組み込んでいる。デコー ダーは，抜き出した restaurant_type のエンティティである "restaurant”と “food truck”をカンマ区切りで出力するように学習を行う。これは，複数のエンティティを発話中から抜き出した場合の例だが，一方
で，エンティティが 1 つである場合はそのエンティティがそのまま出力となり，スロットに対応するエンティティが存在しない場合についてはピリオドのみを出力する。

## 3 提案手法

## 3.1 定式化

スロットフィリングは，ドメイン $d \in D$ において，発話文 $x$ が与えられたとき，あらかじめ定義されているスロットタイプ $s \in S_{d}$ のそれぞれに対して，あてはまるスパンの集合 $y=\left.\{y_{1}, y_{2}, \ldots, y_{i}\right.\}$ をを予測するタスクである. 本研究では, 入出力文のテンプレートである $t_{i n}$ と $t_{\text {out }}$ を作成し, seq 2 seq タスクとして，スロットフィリングに取り組んだ。学習時は，発話文 $x$ とスロットタイプ $s$ から作成した入力文 $t_{i n}(x, s)$ と, $s$ 及び抜き出したエンティティの集合 $y$ から作成した出力文 $t_{\text {out }}(y, s)$ を用いて，入力文 $t_{i n}(x, s)$ に対して $t_{\text {out }}(y, s)$ を出力するように学習を行う. 推論の際には, 入力文 $t_{i n}(x, s)$ に対する出力 $r$ が, $r=t_{\text {out }}(y, s)$ の様式を満たしていると仮定した上で，出力文から $y$ を取り出し，それをスロットタイプ $s$ に対するエンティティの予測とする。 もし $r$ が $t_{\text {out }}(y, s)$ の様式を満たしておらず $y$ を取り出せなかった場合には，エンティティが存在しないと予測したものとして処理する.

## 3.2 エンティティ例の利用

先行研究 $[5,2,3]$ では，スロットの情報をモデルに与える手段としてそのスロットに対応するエンティティの具体例を利用することで，性能が向上することが示されている。提案手法と先行研究の公正な比較のためにエンティティ例の利用に関する設定はそろえる必要がある．そこでエンティティ例の利用に関して以下の 3 つの設定で比較を行う.

w/o example エンティティ例を使用しない設定.

$\exp \times 22$ つのエンティティ例を使用する設定で，

RCSF [2] で採用されている手法である.

exp + context 1 つのエンティティ例と，そのエンティティが含まれていた発話文の組み合わせを利用する設定で，AISFG [3] で使われている.

図 3 w/o example のテンプレート

## 3.3 テンプレート

3つの設定のそれぞれに対して，テンプレートを作成した. 図 3 は, w/o example のテンプレートであり，(sentence) には発話文を，(slot)にはスロット説明を，(entity) には抜き出したエンティティを当てはめて，入出力文を作成する．ただし，スロットに対応するエンティティが発話中にない場合は (entity) に “unknown”と入れることにし，エンティティが複数の場合はカンマ区切りでエンティティを連結したものをいれるものとする．大力文のテンプレートは発話文と出力文のテンプレートをつなげて構成されており，このように maskトークンを用いて出力文の形式を入力として与えることで，テンプレート通りの出力文をモデルに出力させている. 図 4 は, $\exp \times 2$ のテンプレートであり、(exp1)及び $(\exp 2)$ に関しては抜き出したいスロットタイプのエンティティ例を入れる. 図 5 は exp + context のテンプレー トであり，(exp)と (context)には，目的とするスロットタイプのエンティティ例とそのエンティティを抜き出したもととなった発話文を当てはめる.

図 $4 \exp \times 2$ のテンプレート

提案手法では，エンティティ例やスロット説明といった情報を入力文として与えるだけでなく，抜き出したエンティティと一緒に出力文にも含まれるように学習を行っており，それによりモデルの持つデコーダ由来の知識をタスクに活用できることが期待
される.

input

sentence: (sentence)
answer: like (exp1) and (exp2), the (slot) is <mask>.
output
like (exp1) and (exp2), the (slot) is (entity).

図 $5 \exp +$ context のテンプレート

## 4 実験

## 4.1 データセット

データセットは, 先行研究 $[5,6,1,2,3]$ と同様に SNIPS [9]を用いた. SNIPS は，クラウドソーシングによって収集された発話理解のデータセットであり，7つのドメインにそれぞれ約 2000 の発話が収録されており，スロットは全部で 39 種類ある. 実験では，7つのドメインのうち6つをソースドメインとして学習に用い, 残りの 1 つのドメインをター ゲットドメインとした。また，ターゲットドメインの発話のうち，500をバリデーションデータとし， その他の発話をテストデータとした。

## 4.2 ベースライン

ベースラインとして，以下の先行研究を，提案手法との比較に用いた。

RCSF Yu ら [2] が提案した RCSF は，スロット説明から作った質問文を使って，抽出型質問応答夕スクのようにクロスドメインスロットフィリングを行っている。事前学習済みモデルである BERT-large を質問応答用にファインチューニングしたものを、 さらにファインチューニングして使用している. w/o example と $\exp \times 2$ の設定で提案手法と比較する.

AISFG AISFGは，2節で述べたように seq 2 seqの手法であり, 本研究のもととなった手法である. BART-base をファインチューニングして利用している. w/o example と $\exp +$ context の設定で比較する.

## 4.3 実験設定

公平な比較のためにベースライン手法とモデルのアーキテクチャをそろえて実験を行った。つまり， AISFG との比較には BART-base を，RCSF との比較には BART-large をファインチューニングして使用

した. エンティティ例や発話例についても，ベース

ラインモデルと同様のものを使用した.

実験は，無作為に選ばれた 3 つのランダムシードを用いて行い，その平均のスコアをそのモデルのスコアとした.

評価指標としては $\mathrm{F} 1$ を用いる。それぞれのドメインをターゲットドメインとしたときの F1 スコアを算出し，その平均を最終的な評価に用いた。

## 4.4 実験結果

表 1 提案手法（BART-base）と AISFG の比較（単位\%）

表 2 提案手法（BART-large）と RCSF の比較（単位\%）

表 1 及び表 2 に，ベースラインと提案手法を比較した結果を示す.

まず AISFG との比較では, w/o example と exp + context の 2 つの設定において，どちらも，7つのうち6つのドメインにおいて提案手法が上回る結果となった. 平均 F1 スコアは, w/o example では $5.66 \%$, $\exp +$ context では $3.22 \%$ の差で提案手法が上回っており，提案手法が AISFG よりも高い性能を達成している.

次に, $\mathrm{RCSF}$ との比較について, 平均 $\mathrm{F} 1$ スコアでは w/o example の設定で $3.48 \%$, exp $\times 2$ の設定で $1.02 \%$ 差で提案手法が上回る結果となっている. しかし，ドメインごとの結果を見てみると，どちらの設定においても，7つのうち4つのドメインでは提案手法が上回っているが, 残り 3 つで RCSF が上回っており，ターゲットドメインや設定によって優劣が異なる結果となった。

## 4.5 出力文の効果

提案手法の出力形式の効果を検証するために, $\exp \times 2$ の設定において, 図 6 の 3 つの出力テンプレートで比較を行った。

input

sentence: (sentence)

answer: like (exp1) and (exp2), the (slot) is <mask>.

図 6 出力形式の比較

表 3 出力文の形式による性能の比較（単位\%）

結果を表 3 に示す. AISFG の出力形式である simple と比べて, 提案手法の出力形式である slot + $\exp$ は $5.36 \%$ 高いスコアになっており, 提案手法の出力文の形式が，性能の向上に大きく寄与していることが示された. また, simple と slot の間には $4.80 \%$ の差があり，スロット説明を出力文に組み达んだことが，性能の向上において特に重要であることが分かった. slotでは, “is”という単語を介してスロット説明によるエンティティの条件付けを行っており， これによってデコーダのもつ言語的な知識を引き出したことが性能向上につながったのではないかと考えている.

## 5 おわりに

本研究では，クロスドメインスロットフィリングにおいて, seq2seqでエンティティを文章に組み込んで出力する手法を提案した. 実験の結果，提案手法はベースライン手法よりも高い性能を達成した. また，抜き出したエンティティのみでなく，タスクの手がかりとなる情報を出力に組み込み，文章形式で出力させたことが，性能の向上に寄与していることが分かった. 本研究の結果は, 事前学習済みモデルをファインチューニングする際に，入出力文のフォーマットがモデルの性能に大きな影響を持ちうることを示している.

## 参考文献

[1] Xinya Du, Luheng He, Qi Li, Dian Yu, Panupong Pasupat, and Yuan Zhang. QA-driven zero-shot slot filling with weak supervision pretraining. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 654-664, Online, August 2021. Association for Computational Linguistics.

[2] Mengshi Yu, Jian Liu, Yufeng Chen, Jinan Xu, and Yujie Zhang. Cross-domain slot filling as machine reading comprehension. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3992-3998. International Joint Conferences on Artificial Intelligence Organization, 82021. Main Track.

[3] Yang Yan, Junda Ye, Zhongbao Zhang, and Liwen Wang. AISFG: Abundant information slot filling generator. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41804187, Seattle, United States, July 2022. Association for Computational Linguistics.

[4] Ankur Bapna, Gökhan Tür, Dilek Z. Hakkani-Tür, and Larry Heck. Towards zero-shot frame semantic parsing for domain scaling. In INTERSPEECH, 2017.

[5] Darsh Shah, Raghav Gupta, Amir Fayazi, and Dilek Hakkani-Tur. Robust zero-shot cross-domain slot filling with example values. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5484-5490, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Zihan Liu, Genta Indra Winata, Peng Xu, and Pascale Fung. Coach: A coarse-to-fine approach for cross-domain slot filling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 19-25, Online, July 2020. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[9] Alice Coucke, Alaa Saade, Adrien Ball, Théodore Bluche, Alexandre Caulier, David Leroy, Clément Doumouro, Thibault Gisselbrecht, Francesco Caltagirone, Thibaut
Lavril, et al. Snips voice platform: an embedded spoken language understanding system for private-by-design voice interfaces. arXiv preprint arXiv:1805.10190, 2018.

## A ハイパーパラメータ

学習に使用したハイパーパラメータを表 4 に示す.

## B 評価指標

F1 スコアは以下のように計算される.

$
\begin{aligned}
& T P=\text { 正しく抜き出せたエンティティの数 } \\
& F N=\text { 抜き出さずに見逃してしまった数 } \\
& F P=\text { 誤った箇所を抜き出してしまった数 } \\
& F 1=\frac{2 T P}{2 T P+F N+F P}
\end{aligned}
$

ここで正しく抜き出すとは、スロットとエンティティともに正しいことを指しており、エンティティが正しく抜き出せていてもスロットタイプが誤っていたり、また抜き出したエンティティが長すぎたり短すぎたりする場合は不正解（FP）として数える。

## C SNIPS の補足

スロット説明は先行研究 [3] と同じものを用いたが，基本的にはスロット名のアンダーバーをスペー スで置き換えたものになっている．表 5 にそれ以外のスロット説明を示す.

 \\

また，表 6 に snips の構成も示しておく.表 6 SNIPS の構成


# JMultiWOZ: 日本語タスク指向型対話データセットの構築

大橋厚元 ${ }^{1 *}$ 平井龍 $1 *$ 飯塚慎也 ${ }^{2}$ 東中竜一郎 1
1 名古屋大学大学院情報学研究科 2 名古屋大学情報学部
\{ohashi.atsumoto.c0, hirai.ryu.k6, iizuka.shinya.a8\}@s.mail.nagoya-u.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

深層学習を活用したタスク指向型対話システムの研究において，対話データセットは重要である。近年英語圈では，多数のマルチドメインタスク指向型対話データセットが提案されており，タスク指向型対話システムの発展が著しい。一方で，日本語によるマルチドメインタスク指向型対話データセットはいまだ存在せず，英語圈と比較してタスク指向型対話の研究は限られている. 本研究では, 日本語によるタスク指向型対話システムの研究開発の促進を目指し, 日本語初のマルチドメインタスク指向型対話データセット JMultiWOZを構築する.

## 1 はじめに

近年，タスク指向型対話システムの研究において，ニューラルモデルをべースとした手法が活発に導入されており，タスク指向型対話システムの発展が著しい $[1,2,3,4]$. これらニューラルモデルの実装には，タスク指向型対話データセットが必須であり，英語における多数のシングルドメインの対話データセット $[5,6,7,8,9]$ が利用されてきた. 最近では，より複雑なマルチドメインの対話に対応するため，MultiWOZ [10] が提案された. MultiWOZ は，7つのドメイン（観光名所，ホテル，レストラン，タクシー，電車，警察，病院）にまたがる対話が収録されている大規模データセットである. さらに MultiWOZを先駆けとして，SGD [11], STAR [12], $\mathrm{ABCD}[13]$ といった大規模対話データセットが提案されており，これらをべンチマークとしたタスク指向型対話モデルの研究が活発化している. また中国語においても, CrossWOZ [14], RiSAWOZ [15], BiTOD [16] など，大規模マルチドメイン対話データセットが多く提案されており，中国語を含む多言語のタスク指向型対話システムの研究が促進されてい
* Equal contribution表 1 JMultiWOZ の統計

る. 一方，日本語においては，マルチドメインタスク指向型対話データセットは未だ存在しない.

本研究では, 日本語初のマルチドメインタスク指向型対話データセット JMultiWOZ (Japanese Multi-Domain Wizard-of-Oz) を提案する. JMultiWOZ は旅行タスクに関する 6 つのドメイン（観光名所，宿泊施設，飲食店，買い物施設，タクシー，天気） にまたがる対話を合計 4,254 対話収録している. 表 1 に，JMultiWOZ における train/dev/test セットの内訳を示す。

本稿では，JMultiWOZ の構築手順とデータの統計量を概説する．また，データベースの検索条件推定タスクを設定し，これを用いた評価によって， JMultiWOZ のベンチマークとしての将来性を示す.今後, 対話行為 [17] 及び対話状態 [18] のアノテー ションを付与し，タスク指向型対話における多数のタスク（意図推定，対話状態追跡，行動決定，そして対話生成）のためのベンチマークを提供する予定である.

## 2 データ構築

JMultiWOZ は，日本国内の 9 都市（札幌，仙台，東京，横浜，名古屋，京都，大阪，福岡，那覇）のいずれかへの旅行者が，観光情報を収集しながら旅行を計画する対話を収録したコーパスである．各対話には，6つのドメイン（観光名所, 宿泊施設, 飲食店,買い物施設, タクシー, 天気）に関するタスクが 1 つ以上含まれている. Wizard-of-OZ 法 [19] を用い，各対話は，人間の対話者 2 人が旅行者（ユーザ）役と
情報提供者（オペレータ）役に分かれて実施した.本コーパスは，（1）オントロジーの定義，（2）オぺレータ役が旅行情報を取得するために使用するバックエンドデータベースの構築，(3）対話ゴールの設計と作成，(4) 対話収集の 4 ステップで構築した.

## 2.1 オントロジーの定義

タスク指向型対話におけるオントロジーとは， バックエンドデータベースの構造を表現するものである．具体的には，バックエンドデータベースに含まれるエンティティ1)が持つスロット（エンティティの名称や住所などの属性情報）を定義する. 本研究では，既存研究のオントロジー $[10,14]$ を参考にして，ドメインごとにオントロジーを定義した.付録の表 5 に全ドメインのオントロジーを示す.

## 2.2 バックエンドデータベースの構築

オントロジーに基づいて，対話中にオペレータ役が旅行情報を取得するために使用するバックエンドデータベースをドメインごとに構築した. 実在するエンティティを用いて対話のリアリティを高める目的から, 観光名所, 宿泊施設, 飲食店, 買い物施設, 夕クシーのデータベース構築では，政府や各都市の市町村が公開している観光名所や宿泊施設のリスト （付録の表 6 を参照）を使用した. このリストの内， web サイトを公開している施設のみをデータベースに含めるべきエンティティとして抽出し, エンティティに含めるべきスロットの情報を，各 web サイトから目視で取得した. なお，タクシードメインでは，エンティティの単位をタクシー会社とした. 最終的に構築されたデータベースにおける各ドメインのエンティティ数としては, 観光名所が 447 件,宿泊施設が 884 件，飲食店が 952 件，買い物施設が 445 件，タクシーが 167 件となった. 天気ドメインのデータベース構築においては，エンティティの単位を日付とし，各都市につき 365 日分の天気情報を疑似的に作成した.

## 2.3 対話ゴールの設計と生成

対話ゴールは，オペレータ役との対話を通して達成されるべきユーザ役の目標であり，各対話につき 1 つ設定される. 各ゴールは， 1 つ以上の informable スロット（希望の予算や目的地など，ユーザが探すべきエンティティの検索条件）と，1つ以上の

表 2 対話ゴールの例. 具体的な条件 (“名古屋”や“高め” など）が設定されているスロットと，“?”が設定されているスロットは，それぞれ informable スロットと requestable スロット（2.3 節を参照）である.

requestable スロット（電話番号や住所など，ユーザが取得するべきエンティティの属性情報）で構成される. 各対話ゴールは， 2.1 節で定義されたオントロジーから，ドメインとスロットをランダムにサンプルして作成した. 対話の長さや複雑さにバリエー ションを持たせるため，1つのゴールには 1 ３つのドメインが含まれ，各ドメインにつき合計 2〜7つのスロットが含まれるように設計した。なお都市の informable スロットについては，現実性を考慮し，対話ゴール内のドメイン間で共有される。また，現実で一般的に予約を行うようなドメイン（例えば，所望の飲食店や宿泊施設を見つけた場合，日付や人数の条件を用いて予約することが多い）においては，予約のための条件を informable スロットとして， ランダムに追加した. 後段の対話収集に先立ち, 合計 5,000 種類の対話ゴールを作成した. 作成された対話ゴールの具体例を表 2 に示す.

## 2.4 対話収集

バックエンドデータベースとランダムに生成された対話ゴールを用いて対話を収集した．Zhu ら [14] の対話収集用プラットフォーム2)をべースとしてユーザ役とオペレータ役の対話作業用 web UIを実装し，対話収集に使用した. クラウドソーシングサービスとしてランサーズ3)を使用し，ユーザ役とオペレータ役の対話作業者をそれぞれ募集した. 作業者自身のプロフィールに関するアンケート（年代や性別等）と対話作業によって得られるデータの公開に関する同意書に回答した作業者のみが対話作業

2) https://github.com/thu-coai/CrosswOZ

3) https://www.lancers.jp/

1. あなたは名古屋への旅行を計画しています。

2. 当日訪れる観光名所を探してください. 駐車場を無料で利用できるところにしてください. Wi-Fi が無料が利用できるところにしてください.

3. 条件に合う観光地が見つかったら，エリア，最寄り駅，定休日を聞いてください。

4. 当日泊まる宿泊施設を探してください. 予算は高めが希望です.Wi-Fi が無料で利用できるところにしてください.

5. 条件に合う宿泊施設が見つかったら，近辺の駅からの所要時間，タイプを聞いてください。

図 1 表 2 の対話ゴールを表す説明文. 青文字は informable スロットを，緑文字は requestable スロットをそれぞれ示している.

に参加した ${ }^{4)}$. 作業者は，対話作業のマニュアルを読み，対話作業のデモンストレーション動画（web UI の操作方法や対話の進め方などを動画で解説したもの）を視聴し，作業の流れを学習してから対話作業を実施した. 多様なユーザ発話を確保するため, ユーザ役が参加できる対話作業回数を最大 100 対話とし, 同じオペレータ役との対話回数を最大 20 対話とした. 一方オペレータ役は一貫した振る舞いをすることが好ましいため，対話作業数に制限を設けなかった. 最終的に, ユーザ役 46 名とオペレー タ役 17 名が対話作業に参加した. 以降で，ユーザ役とオペレータ役それぞれのタスクを説明する.

ユーザ役のタスクユーザ役のタスクは，対話ゴールに設定されている informable スロットを適切にオペレータ役に伝え, requestable スロットの情報をオペレータ役から取得することである. ユーザ役は，表 2 のような形式の対話ゴールの代わりに，各スロットを説明したテンプレート文を読むことで，対話ゴールを把握する．表 2 の対話ゴールを説明するテンプレート文を図 1 に示す.

オペレータ役のタスクオペレータ役のタスクは，対話相手であるユーザ役から伝えられた情報に合ったエンティティを旅行情報データベースから検索し，見つかったエンティティに関する情報をユーザ役に伝えることである. オペレータ役が使用する対話作業用 web UI を付録の図 3 に示す. この UI を用いてバックエンドデータベースの検索や検索結果からの情報の読み取り等の操作を行う. オペレータ役が各ターンに入力したエンティティの検索条件はアノテーションとして記録される. 既存コー パスでは，アノテーションにおける表記ゆれ等の問題 $[20,21]$ が報告されているため, 本研究では, ア

4）事前に，倫理的観点における承認を所属組織から得た.表 3 学習セットにおける, マルチドメインタスク指向型対話データセットの比較. 下 2 行は 1 対話あたりの平均ドメイン数と平均ターン数をそれぞれ示している.

ノテーションを正規化することを目的とし，プルダウンメニューから入力候補を選択するようにし，作業者が手動で検索条件を入力することを避けた. さらに，オペレータ役の作業の質を高めるため，事前に 3〜5 対話の練習作業を行い，問題のある作業に対しては，著者らからのフィードバックを受けた. フィードバックを繰り返し, 問題が無くなった作業者のみが本番の対話作業に参加した.

上記手順により，4,508 対話が収集された. ここで，データセットを構築する上でノイズとなる対話を，以下 2 つ手順によって修正または除外した：

1. 各対話終了時，対話中に発生した問題を報告するためのアンケートを作業者に回答させた. アンケートで問題が報告されていた対話は著者らが目視で確認し，誤字など軽微なミスについては手作業で修正した. 作業者が対話ゴールを取り違えて対話を進めている場合など，重大な問題がある対話はデータセットから除外した.

2. 各対話の対話ゴールと対話最終時点でのデータベースの検索条件を比較し，いずれかのスロットの値が一致していない対話は除外した.

この修正によって，最終的に合計 4,254 対話からなるデータセットが構築された. ここで, dev/test セットとして 300 対話ずつ，4,254 対話からランダムに抽出し, 残る 3,654 対話を train セットとした（各セットの統計は表 1 を参照).

## 2.5 統計量と既存データセットとの比較

表 3 は, JMultiWOZ と, 英語と中国語における主要なマルチドメインタスク指向型対話データセット MultiWOZ と CrossWOZ の統計量を示している. ドメイン数，スロット数，平均ドメイン数，平均ター ン数が同程度であることから, JMultiWOZ の対話の

図 2 対話長の分布. 1 ドメインのみ含まれる対話 (single-domain) と 2 ドメイン以上含まれる対話 （multi-domain）に分けて集計されている.

複雑さは, 既存のデータセットと比較して遜色ないと言える. 図 2 は，全 4,254 対話を 1 ドメインのみ含まれる対話（single-domain）と複数ドメインが含まれる対話（multi-domain）に分けた際の，対話ター ン数の分布を示している.いずれの対話でも長さと複雑さが多様であることが分かる.

## 3 ベンチマークとしての JMultiWOZ

JMultiWOZ が現時点でタスク指向型対話ベンチマークとしてどの程度有用であるかを調査するため，JMultiWOZを用いてタスク指向型対話モデルを学習し評価する. 本研究では，対話タスクとして， データベースの検索条件推定タスクを設定し評価する。検索条件推定は，各ターンにオペレータ役が入力したデータベース検索条件（2.4 節を参照）を対話履歴から推定するタスクである。一般的なベンチマークである対話状態追跡（Dialogue State Tracking; DST）[22,23] と類似したタスクであるが，ユーザが陽に示した要求のみを扱う点において異なる。

検索条件推定の評価尺度には，DST の主要な評価尺度である Joint Goal Accuracy (JGA) を使用する。 JGA では，各ターンのデータベース検索条件に含まれるスロットの値を全て正確に推定できたかが評価される. 実験では，検索条件推定のためのモデルとして T5DST [24]を採用し（詳細は付録の A. 1 節を参照)，全ての学習データを用いた評価（full-shot）と，初見ドメインへの適応能力の評価 (zero-shot cross domain）を行った.

## 3.1 Full-shot

Full-shot 評価実験では，全ての train セットで学習された検索条件推定モデルを，全ての test セットを用いて評価した。評価結果としては，JGAが 90.3\%と高かった. 参考値として，DST タスクにお表 4 JMultiWOZ における zero-shot cross domain 評価の結果. スコアは全て Joint Goal Accuracy（JGA）を示す.

ける，英語と中国語の主要なマルチドメインタスク指向型対話データセットである MultiWOZ ${ }^{51}$ [10] と CrossWOZ [14] の JGA も評価したところ，それぞれ $56.9 \%$ と $53.6 \%$ であった. DST タスクでは，索条件推定タスクとは異なり，暗示的な対話状態の更新 （MultiWOZ ではユーザがオペレータの推薦条件に肯定した場合，その条件を用いて対話状態が更新される）等の難しさがあり，それがこの精度の差となって表れたと考えられる。今後，JMultiWOZについても対話状態のアノテーションを実施し，DST タスクの精度を確認したい.

## 3.2 Zero-shot Cross Domain

ゼロショットドメイン間（zero-shot cross domain）転移学習 [25, 26] における検索条件推定タスクの精度を評価した。この実験では，train セットの内，目標となる 1 ドメインを除いた 5 ドメインのみが含まれるデータでモデルを学習し, 評価時は test セットに含まれる目標ドメインのみを使用した。

評価結果を表 4 に示す。宿泊施設，飲食店，タクシーでの JGA は, full-shot 評価と比較し大幅に低下しており，また，観光名所，買い物など，他のドメインと共通のスロットを多く持つドメインでも JGA の低下がみられた。そのため，検索条件推定タスクは，full-shot においては比較的容易なタスクである一方， zero-shot cross domain においては十分難しく，取り組むべき課題であると考えられる。

## 4 おわりに

本研究では，日本語におけるマルチドメインタスク指向型対話データセット JMultiWOZを構築し，その構築手順と統計量を報告した。また，データベー スの検索条件推定タスクによる評価を行い，タスク指向型対話ベンチマークとしての将来性を示した.本データセットは，各ターンに対する対話行為と対話状態のアノテーションなど，データを整備したうえで，バックエンドデータベースと共に公開する予定である.

5）本研究では，アノテーションエラーが修正された MultiWOZ2.2 [21]を用いた。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです. また，対話収集用プラットフォームを公開していただいた Zhu ら [14] に感謝申し上げます.

## 参考文献

[1] Yichi Zhang, Zhijian Ou, and Zhou Yu. Task-Oriented Dialog Systems That Consider Multiple Appropriate Responses under the Same Context. In Proc. AAAI, pp. 9604-9611, 2020.

[2] Ehsan Hosseini-Asl, Bryan McCann, Chien-Sheng Wu, Semih Yavuz, and Richard Socher. A simple language model for taskoriented dialogue. In Proc. NeurIPS, pp. 20179-20191, 2020.

[3] Wanwei He, Yinpei Dai, Yinhe Zheng, Yuchuan Wu, Zheng Cao, Dermot Liu, Peng Jiang, Min Yang, Fei Huang, Luo Si, Jian Sun, and Yongbin Li. Galaxy: A generative pre-trained model for taskoriented dialog with semi-supervised learning and explicit policy injection. In Proc. AAAI, No. 10, pp. 10749-10757, 2022.

[4] Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, and Yi Zhang. Multi-Task Pre-Training for Plug-andPlay Task-Oriented Dialogue System. In Proc. ACL, pp. 46614676, 2022.

[5] Matthew Henderson, Blaise Thomson, and Jason D. Williams. The Second Dialog State Tracking Challenge. In Proc. SIGDIAL, pp. 263-272, 2014.

[6] Layla El Asri, Hannes Schulz, Shikhar Sharma, Jeremie Zumer, Justin Harris, Emery Fine, Rahul Mehrotra, and Kaheer Suleman. Frames: a corpus for adding memory to goal-oriented dialogue systems. In Proc. SIGDIAL, pp. 207-219, 2017.

[7] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve Young. A Network-based End-to-End Trainable Task-oriented Dialogue System. In Proc. EACL, pp. 438-449, 2017.

[8] Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D. Manning. Key-value retrieval networks for task-oriented dialogue. In Proc. SIGDIAL, pp. 37-49, 2017.

[9] Pararth Shah, Dilek Hakkani-Tür, Gokhan Tür, Abhinav Rastogi, Ankur Bapna, Neha Nayak, and Larry Heck. Building a Conversational Agent Overnight with Dialogue Self-Play. arXiv preprint arXiv:1801.04871, 2018.

[10] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proc. EMNLP, pp. 50165026, 2018.

[11] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset. In Proc. AAAI, Vol. 34, pp. 8689-8696, 2020.

[12] Johannes EM Mosig, Shikib Mehri, and Thomas Kober. Star: A schema-guided dialog dataset for transfer learning. arXiv preprint arXiv:2010.11853, 2020.

[13] Derek Chen, Howard Chen, Yi Yang, Alexander Lin, and Zhou Yu. Action-based conversations dataset: A corpus for building more in-depth task-oriented dialogue systems. In Proc. NAACL, pp. 3002-3017, 2021.

[14] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, and Minlie Huang. CrossWOZ: A large-scale Chinese cross-domain taskoriented dialogue dataset. TACL, pp. 281-295, 2020.

[15] Jun Quan, Shian Zhang, Qian Cao, Zizhong Li, and Deyi Xiong. RiSAWOZ: A large-scale multi-domain Wizard-of-Oz dataset with rich semantic annotations for task-oriented dialogue modeling. In
Proc. EMNLP, pp. 930-940, 2020.

[16] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Peng Xu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Bitod: A bilingual multi-domain dataset for task-oriented dialogue modeling. arXiv preprint arXiv:2106.02787, 2021.

[17] David R. Traum. Speech Acts for Dialogue Agents. Foundations of Rational Agency, pp. 169-201, 1999.

[18] Jason Williams, Antoine Raux, Deepak Ramachandran, and Alan Black. The dialog state tracking challenge. In Proc. SIGDIAL, pp. 404-413, 2013.

[19] J. F. Kelley. An iterative design methodology for user-friendly natural language office information applications. ACM Trans. Inf. Syst., pp. 26-41, 1984.

[20] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proc. LREC, pp. 422-428, 2020.

[21] Xiaoxue Zang, Abhinav Rastogi, Srinivas Sunkara, Raghav Gupta, Jianguo Zhang, and Jindong Chen. MultiWOZ 2.2 : A dialogue dataset with additional annotation corrections and state tracking baselines. In Proc. NLP4ConvAI, pp. 109-117, 2020.

[22] Jason D Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue \& Discourse, pp. 4-33, 2016.

[23] Léo Jacqmin, Lina M. Rojas Barahona, and Benoit Favre. "do you follow me?": A survey of recent approaches in dialogue state tracking. In Proc. SIGDIAL, pp. 336-350, 2022.

[24] Zhaojiang Lin, Bing Liu, Seungwhan Moon, Paul Crook, Zhenpeng Zhou, Zhiguang Wang, Zhou Yu, Andrea Madotto, Eunjoon Cho, and Rajen Subba. Leveraging Slot Descriptions for ZeroShot Cross-Domain Dialogue StateTracking. In Proc. NAACL, pp. 5640-5648, 2021.

[25] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable MultiDomain State Generator for Task-Oriented Dialogue Systems. In Proc. ACL, pp. 808-819, 2019.

[26] Zhaojiang Lin, Bing Liu, Andrea Madotto, Seungwhan Moon, Zhenpeng Zhou, Paul Crook, Zhiguang Wang, Zhou Yu, Eunjoon Cho, Rajen Subba, and Pascale Fung. Zero-shot dialogue state tracking via cross-task transfer. In Proc. EMNLP, pp. 7890-7900, 2021.

[27] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, and Pascale Fung. MinTL: Minimalist transfer learning for task-oriented dialogue systems. In Proc. EMNLP, pp. 3391-3405, 2020.

[28] Chia-Hsuan Lee, Hao Cheng, and Mari Ostendorf. Dialogue State Tracking with a Language Model using Schema-Driven Prompting. In Proc. EMNLP, pp. 4937-4949, 2021.

[29] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-toText Transformer. JMLR, pp. 1-67, 2020.

[30] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. In Proc. NAACL, pp. 483-498, 2021.

## A 付録

表 5 各ドメインのオントロジーとして定義されているスロットの一覧. 上付き数字はそれぞれのスロットが属するドメインを示している。*: 全ドメイン，1: 観光名所，2: 宿泊施設，3: 飲食店，4: 買い物施設，5: タクシー，6: 天気.都市 ${ }^{*}$, 名称 ${ }^{1}$, ジャンル ${ }^{134}$, エリア ${ }^{12346}$, 最寄り駅 ${ }^{1234}$, wifi の有無 ${ }^{123}$, 駐車場の有無 ${ }^{1234}$, 営業時間 ${ }^{134}$, 電話番号 ${ }^{12345}$, 住所 ${ }^{1234}$, 近辺の駅からの所要時間 ${ }^{1234}$, 定休日 ${ }^{134}$, 大人入場料 ${ }^{1}$, 子供入場料 ${ }^{1}$, 料金情報 123 , 施設名 ${ }^{2}$, タイプ 2 , 値段帯 23 , レストランの有無 ${ }^{2}$, チエックイン開始時刻 ${ }^{2}$, チェックアウト終了時刻 ${ }^{2}$, 予約番号 235 人数 ${ }^{23}$, 日付 2356 , 宿泊日数 ${ }^{2}$, 店名 ${ }^{3}$, 時刻 3 , 店舗名 ${ }^{4}$, タクシー会社名 ${ }^{5}$, キャッシュレス対応 $5^{2}$, ジャンボタクシー対応 ${ }^{5}$, 出発時刻 $5^{5}$, 出発地 ${ }^{5}$, 目的地 ${ }^{5}$, 天気 ${ }^{6}$, 最低気温 ${ }^{6}$, 最高気温 ${ }^{6}$

表 6 バックエンドデータベース構築時に参照した，各ドメインにおけるエンティティリストのソースサイト

 \\

旅行案内プラットフォーム

operator_1584IEfk(オペレータ)ーククアウト

図 3 オペレータ役の対話作業用 web UI.（A）: バックエンドデータベースの検索欄.（B）：エンティティの属性情報が表示される欄。（C）: チャット欄.

## A. 1 モデル実装の詳細

検索条件推定のモデルとしては，近年多くの研究がなされている事前学習済み言語モデルを用いた DST モデル [27,28] の内，T5DST [24]を採用した．T5DST は，言語モデル T5 [29]を用いて，対話履歴と，あるスロットの説明文から，そのスロットの值を推定するモデルである. Full-shot 評価実験では，多言語版 T5 の mT5 [30]（300M バージョン6） を使用した. Zero-shot cross domain 評価実験では，日本語版 T5（t5-base-japanese ${ }^{7)}$ ) を使用した. JGA の計測には，Lin ら [24] の評価スクリプトを用いた. 学習時には，バッチサイズを 32 とし, 最大 3 エポック学習した. 学習率は, 初期値 $5 e-5$ から学習ステップごとに線形減衰させた. テスト時には，dev セットでの損失が最も低いチェックポイントを使用し, 生成時のビームサイズは 1 とした.

6) https://huggingface.co/google/mt5-small

7) https://huggingface.co/sonoisa/t5-base-japanese


# 思考を喚起するロボットと人間の対話の印象に関する研究

周 豪特 ${ }^{1}$ 橋本 敬 ${ }^{1}$ 李 冠宏 ${ }^{2}$
${ }^{1}$ 北陸先端科学技術大学院大学 知識科学系 ${ }^{2}$ 京都外国語大学 国際貢献学部
\{kumaindex, hash\}@jaist.ac.jp gu_li@kufs. ac.jp

## 概要

人工知能やロボットなどが人間の質問や要求に答えるだけではなく，人間の思考を刺激できるような対話ができれば，より人々の興味を引き人間との共創的な関係に貢献できるだろう。本研究は, 新しい概念を生み出す概念融合という思考を元にしたロボツトと人間の対話をデザインし，対話を通じたロボットへの印象や思考の刺激について探求した。対話後のアンケート回答を主成分分析した結果, 思考力を持つロボットとの対話を通じて得る思考への動機づけを表す成分が抽出された。そして，概念の融合を促す対話，および，概念の共通点を見出すことを促す対話は，この成分で高い值を示すことを見出した。すなわち，これらの対話は人間の思考を喚起する効果があることを示した。

## 1 はじめに

大規模言語モデルの発展により, ChatGPT 等の対話エージェントは人間とかなり自然な対話ができるようになってきた[1]. 特に, ユーザからの問いに適切に答えられるようになっているものの, エージェントからユーザへの働きかけの機能はまだ十分に発達しておらず，人間同士の有意義な対話とは差があるのが現状である. 人々がチームや組織で共同して働くときのように, 人工知能やロボットといったエ ージェントが，人間にも刺激を与える会話ができれば，人とエージェントの共創的な関係を作ることが期待できる.

われわれは，人間とロボットの共創に繋がるように，ロボットが人間の思考を促したり刺激したりするような対話のデザインを行う。本研究では，「共創」を「参加する両方が相互作用活動で生まれる物事に対する貢献がある」とする。人間同士は対話などの相互作用で概念や意図を共有し, 思考を通じて物事を作ることで共創に至る。一方，ロボットは人間のような思考はできないが，人間の思考を喚起す
ることができれば，ユーザの興味を引き，ユーザとロボットの対話が続くだろう。

本研究では概念融合という思考[2] に着目する.概念融合は人間が持っている知識や言葉から新しい概念を生成するメカニズムの一つである．概念融合は思考の操作であり，人間は既存の概念を融合し新しい概念を簡単に生成・解釈することができる [3]. たとえば，「酸っぱい」と「信号機」を結合して「酸つぱい信号機」という概念を生成しその意味を解釈することができるだろう。

これまでの研究では，概念融合を喚起する対話で人間のロボットについての印象の改善に役立つことが示された[4]. ロボットと人間の共創的な関係のために，対話が人間の思考にどのような影響を与えられるか，思考を喚起するうえでなにが要点かを明らかにする必要がある。本稿では, 人間のロボットとの対話についての印象の分析を進め，対話の違いは人間とロボットになにをもたらすかを検討する。

## 2 仮説と実験デザイン

本研究では, ロボットが対話相手の人間に対して概念についての説明や質問をすることを通じて，対話の相手の注意を引き，概念に関する思考を喚起させることができるような対話を設計する．特に，われわれは, 概念融合理論に従い，概念融合という思考のプロセスに従う流れをロボットと人間の対話で実現しようとしている。ロボットは人間のように概念融合ができないが，人間の概念融合思考を喚起する役目を果たす。われわれは以下の仮説を持つ。概念を融合する思考を喚起する対話は，人間が持つ口ボットの印象を改善し対話する体験の改善に効果があり，人間の思考の動機づけへの刺激が大きい。

## 2. 1 対話

上記の仮説を検証するための実験デザインとして，概念対話、共通対話、融合対話という 3 種類の対話を実験条件として設定する．実験で検証する仮説は
以下の通りである.

仮説 1 , 融合対話は, 概念間の繋がりがない思考を喚起する対話（概念対話）より，人間がロボットの印象がよい，人間の思考の動機づけへの刺激が大きい.

仮説 2, 融合対話は, 同じ認知コスト, 概念間の繋がりがある思考を喚起する他の対話（共通対話） より, 人間がロボットの印象がよい，人間の思考への刺激への影響が大きい。

各対話は以下のようなものである.

概念対話概念に関する情報という思考を喚起する対話である. 概念対話では, ロボットが 3 つの概念について説明することで, 参加者の入力スペースを作る思考を喚起する.

共通対話概念の共通点を見出す思考を喚起する対話である. 概念融合という思考における総称スペ一スを作る過程は, 概念の共通点を見出す思考である. 共通対話では, ロボットが 3 つの概念について説明し, 参加者に複数の概念間の共通点を尋衩ることで, 参加者が概念間の共通点を探させる思考を喚起する。

融合対話概念を融合する思考を喚起する対話である. 融合対話は, 概念融合という思考における融合スペースの生成と解釈という思考を喚起することを目指す. 融合対話では, ロボットが 2 つの概念と融合した概念を含む 3 つの概念について説明し, 参加者に融合した概念の意味を尋ねることで, 参加者の概念融合思考を喚起する。

## 2. 2 評価

人間とロボットとの対話により人間の思考の刺激とロボットについての印象が変わるという仮説に応じたアンケートを行った. 質問は先行研究を参照して作成した（質問は付録 $\mathrm{A}$ 参照）。ロボットについての印象を問う質問は, 人間が感じたロボットの創造性[5], 社会性[6], 擬人化[7], 知性[7], 心[8]という項目から構成される. 思考への刺激については心理尺度集[9, pp.124-150]参照して作成した. 各項目は複数の質問から構成される. 今回分析した質問への回答はすべて 5 段階の Likert 尺度であった.

## 3 実験と結果

## 3. 1 実験参加者と実験の流れ

実験参加者は 52 名大学院生である (年齢: $M=26.3$, $\mathrm{SD}=2.4$ ）を半分ずつ融合対話群（年齢： $\mathrm{M}=26.3$,

$\mathrm{SD}=3.5$ ）と共通対話群（年齢： $\mathrm{M}=26.3, \mathrm{SD}=1.6$ ）に分け, 前者は概念対話と融合対話に, 後者は概念対話と共通対話に参加した。

対話実験で使うロボットは 2 台の Nao V6 であつた. 各対話ではロボットが 3 つの概念の説明と説明の確認を行った（説明する概念については[4]を参照）。対話の最後に，それぞれの思考を喚起するために以下に例のような自由回答の質問を行った（自由回答質問については[4]参照）。

各参加者は 2 台のロボットと異なる実験条件の対話を行い，各条件の前後にアンケートに答えた（対話順は群の半分ずっでカウンターバランス）. 各対話は 1 回の練習対話と 3 回の正式対話からなる.

## 3.2 結果

## 3. 2.1 主成分分析

実験後のアンケートの回答に対して主成分分析を実施し, 表 1 の結果が得られた (平行分析で成分数 $=3$ を決定, varimax 回転). 絶対値が 0.5 を超えた寄与率を太字で表している.

人間がロボットと対話して得た印象を表す軸（合成変数）の解釈について，各成分で高い寄与率を持つ質問をもとに考察する. 第 1 主成分は，「Q204このロボットとの対話を通じて，なにか発想できそうだ」や「Q207このロボットとの対話を通じて, 自分は複数の事柄を繋げた」など，ロボットとの対話を通じて発想や思考が生じたかを問うている。 それとともに,「Q101このロボットは, 複雑な問題を解決するのが好きだ」「Q102このロボットは，他の人がしないような質問をする」など，対話相手のロボットが持つ思考レベルの性質についても問うている.

第 1 主成分で高い寄与率を持つ質問群から全体的に判断すると, この軸は思考力を持つロボットとの対話を通じて得る思考への動機づけを表すと言える。 すなわち, 仮説 $1 \cdot 2$ における思考への動機づけはこの第 1 主成分に表現されている.

第 2 主成分は, 「Q502このロボットは, 意識を体験することができる」「Q302このロボットはあなたの言うことを受け入れることができる」など，ロボットの擬人化・社会力について問うており，対話するロボットの人間らしさと言える. すなわち, 仮説 $1 \cdot 2$ におけるロボットの印象として, 人間らしさがこの主成分に反映している.
第 3 主成分は，「Q214このロボットとまた対話してみたい」「Q303このロボットはしつこかった」などロボット自体についての感想が反映されている.

実験参加者の主成分得点を第 1 ・第 2 主成分空間における散布図を図 1 に示した. 融合対話（青丸）,共通対話（赤丸）は第 1 主成分が正の領域に分布しているのに対し, 概念対話（緑丸と灰丸）は負の領域にある.ここから, 融合対話と共通対話は, 本研究が目指したように対話を通じた思考への刺激が実現されていると考えられる. 平均値では, 融合対話 （青 $x$ ）は共通対話（赤 $x$ ）よりも高い位置にあるが，3.2.3 節に示すようにこの差は有意ではなかった。

第 2 主成分については, どの対話も平均（X印）

は軸付近にあるが，融合対話と共通対話は, 概念対話にくらべると正負両側に広く分布している.これらの対話を通じて，ロボットの人間らしさの印象は参加者によって異なっている. 人間らしい・らしくないかについて，概念対話よりも強い印象を与える対話であったようだ。

## 表 1 成分寄与率

## 3. 2. 2 群内での主成分得点の比較

対話間で各成分の平均値の差を $\mathrm{t}$ 検定 (対応あり，両側検定）により検定した（すべて $\mathrm{df}=25 ）$.

仮説 $1 「$ 融合対話は，概念間の繋がりがない思考を喚起する対話（概念対話）より，人間がロボットの印象がよい，人間の思考の動機づけへの刺激が大きい」を検証するため, 融合対話と概念対話を比較した.第 1 主成分では, 融合対話 $(M=0.740, S D=0.722)$ は概念対話 $(\mathrm{M}=-0.583, \mathrm{SD}=0.965)$ より有意に高かった $(\mathrm{t}=5.944, \mathrm{p}<.001)$. 第 2 主成分でも, 融合対話 $(\mathrm{M}=0.300, \mathrm{SD}=0.959)$ は概念対話（ $\mathrm{M}=-0.128$, $\mathrm{SD}=0.931 ）$ より有意に高く $(\mathrm{t}=2.164, \mathrm{p}=0.040)$, 第 3 主成分では融合対話（ $\mathrm{M}=0.024, \mathrm{SD}=0.957 ）$ と概念対話（M.=-0.041, SD.=1.098）の間に有意差はなかつた $(\mathrm{t}=0.326, \mathrm{p}=0.747)$.

## 3. 2.3 群間での主成分得点の比較

仮説 $2 「$ 融合対話は, 同じ認知コスト，概念間の繋がりがある思考を喚起する他の対話（共通対話） より，人間がロボットの印象がよい，人間の思考への刺激への影響が大きい」を検証するため，融合対
話群における融合対話と共通対話群における共通対話を対応のない $\mathrm{t}$ 検定で比較した. その結果, 第 1 主成分で融合対話（ $M=0.740, S D=0.722 ）$ と共通対話 $(\mathrm{M}=0.454, \mathrm{SD}=0.628)$ り有意差はなかった $(\mathrm{t}=1.540$, $\mathrm{p}=0.136$ ）. 第 2 主成分でも, 融合対話（ $\mathrm{M}=0.300$, $\mathrm{SD}=0.959$ ） と共通対話（ $\mathrm{M}=0.060, \mathrm{SD}=1.213 ）$ の間に有意差はなかった $(\mathrm{t}=.817, \mathrm{p}=0.421)$, 第 3 主成分でも, 融合対話（ $\mathrm{M}=0.024, \mathrm{SD}=0.957 ）$ は共通対話

$(\mathrm{M}=0.172, \mathrm{SD}=0.866)$ の差は有意ではなかった（ $\mathrm{t}=-$ $0.552, \mathrm{p}=0.586$ ) .

## 4 議論

主成分分析により，「思考力を持つロボットとの対話を通じて得る思考への動機づけ」という成分を抽出した。これは人間とロボットと対話する際に,人間の思考への動機づけを引き出す重要性を示した.

第 1 主成分に有意差があることから, 仮説 1 の思考の動機づけについては示されたと言える. 融合対話と共通対話は人間の思考の操作がある対話で, 人間の複雑な思考を促した。一方，概念対話は概念に関する情報を喚起する対話で，捜查エンジンのような対話と考えられる. 融合対話と共通対話の優位性が証明されたことで, ロボットは人間の複雑な操作がある思考を喚起する有用性と示すことが可能だろ一方, 印象については, 群内の主成分の比較結果により，融合対話と共通対話は概念対話よりユーザがロボットや対話について印象が良い。これはこれまでの研究を証左すると言える。また, 融合対話と共通対話の比較で，優位性が証明されなかったが. しかし，同じ高い認知コストの思考である以上，思考パターンによって，ユーザがロボットと対話について印象は決して同様ではない。共創的な思考や関連される思考を喚起することがユーザはロボットと対話について印象の変化を明瞭化する必要であり，残る課題になるだろう.

## 5 結論

本研究は，思考を促す対話を導入することで，ロボットは人間の概念融合を喚起する対話ができた。 そして, 質問紙調査でロボットに対する印象をとり,主成分を抽出した.その結果, 思考力を持つロボットとの対話を通じて得る思考への動機づけという主成分は抽出された。そして，思考をさせる対話が概念に関する情報を考えた対話より主成分が高く，ロボットから人間の思考を喚起する意義を示した。ロボットや人工知能は人間のニーズを満たす道具ではなく，人間の思考を喚起し，ヒントを与える意義があると言えるだろう。 う.

第1主成分

図 1 対話の主成分得点分布

## 謝辞

本研究は, JSPS 科研費 JP17H06383, JP2OH04256, および JST 次世代研究者挑戦的研究プログラム JPMJSP2102 の支援を受けたものです.

## 参考文献

1. ChatGPT: OptimizingLanguage Models for Dialogue.

(引用日 : 2023 年 1 月 13 日 .) https://openai.com/blog/chatgpt/

2. Fauconnier G.: Mappings in Thought and Language., Cambridge: Cambridge University Press, 1997 (坂原茂,三藤博, 田窪行則 (訳) : 思考と言語におけるマッピングーメンタル・スペース理論の意味構築モデル,岩波書店, 2000)

3. Blending in Language and Communication. Turner M.: In E., Dabrowska, \& D., Divjak (Eds.). Handbook of Cognitive Linguistics, Berlin: De Gruyter Mouton, 211232,2015

4. 概念融合を喚起するロボットと人間の対話に関する研究. 周豪特, 橋本敬, 李冠宏. HAI シンポジウム 2022, 2022

5. A Broad-Bandwidth Public Domain Personality Inventory Measuring the Lower-Level Facets of Several Five-Factor Models. Goldberg L. R.: In I. Mervielde, I. Deary, F. De Fruyt, \& F. Ostendorf (Eds.), Personality Psychology in Europe, Tilburg, The Netherlands: Tilburg University Press, 1999 年, 第 7 巻. 7-28

6. Congruence between Self-Evaluation and OtherEvaluation Based on Social Skills. Naito Y.: Rissho Univ. Annu Rep Psychol, 2013 年,第 4 号, 39-43

7. Measurement Instruments for the Anthropomorphism, Animacy, Likeability, Perceived Intelligence, and Perceived Safety of Robots. Bartneck C., Kulić D., Croft E. et al.: International Journal of Social Robotics, 2009 年,第 1 巻, 71-81

8. Dimensions of Mind Perception. Gray H. M., Gray K., and Wegner D.M.: Science, 2007 年, 第 315 巻, 第 5812 号, 619

9. 堀洋道, 櫻井茂男, 松井豊: 心理測定尺度集 4 子どもの発達を支える “対人関係・適応”, サイエンス社, 2007

## A 付録

質問番号と質問文

 \\

与えた

Q214

Q215

Q301

Q302

Q303

Q304

Q305

Q306

Q308

Q309

Q310

Q401

Q402

Q403

Q404

Q405

Q406

Q407

Q408

Q501

Q502

Q503

Q504

Q505
․とまた対話してみたい

この対話タスクは難しかった

․の理解度は高い

․あなたの言うことを受け入れることが

できる

․しつこかった

…簡単に対話できた

…協力的だった

‥人々とのあいだでトラブルが起きて

も、それをうまく処理できる

‥、対話のどこに問題があるかすぐにわかることができると思いますか

、矛盾した話を聞いてもうまく処理できる

‥まわりの人たちが自分とは違った考えを持っていてもうまくやっていけると思いますか。

‥は、偽物のような 12345 ７自然な

‥は、機械的 $\leftarrow 12345 \rightarrow$ 人間的

․は、意識を持たない $12345 \rightarrow$意識を持っている

․は、人工的 $\leftarrow 12345 \rightarrow$ 生物的

はは、ぎこちない話し方 $\leftarrow 12345 \rightarrow$

洗練された話し方

‥は、無知な $12345 \rightarrow$ 物知りな

‥は、知的でない $12345 \rightarrow$ 知的な

ㅋは、愚かな 12345 5賢明な

․は、自分で個性をもっていると感じている

․は、意識を体験することができる

․は、自分の記憶をもっていると感じている

․は、コミュニケーションを体験することができる

․は、思考を体験することができる


# 常識推論に基づく気の利いた家庭内ロボットの行動選択

山﨑康之介 ${ }^{1,2}$ 田中翔平 1,2 河野誠也 ${ }^{2}$ 湯口彰重 2,1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{yamasaki.konosuke.yi5, tanaka.shohei.tj7\}@is.naist.jp
\{seiya.kawano, akishige.yuguchi,koichiro.yoshino\}@riken.jp

## 概要

日常的にユーザを支援するような家庭内対話口ボットでは、ユーザが明示的に行動を指示しない場合であっても、気の利いた行動を実行することが望ましい。例えば、ユーザが食事を食べ終えて「ごちそうさまでした」と発話した場合、潜在的には 「テーブルに置かれたケチャップを片付ける」のような行動が期待される。こうした気の利いた行動を行うには、何らかの常識が必要であると考えられる。そこで本研究では、常識的な知識生成モデルを用いることで、発話からユーザが持つ潜在的な要求を推定し、気の利いた行動選択を行う。これにより行動選択と同時に推論過程を明確にし、提示することで気の利いた行動をユーザに受け入れやすいものにする。実験の結果、一部の発話では常識推論を用いることの有効性が示唆された。

## 1 はじめに

対話システム研究の発展によって、今後日常的にユーザの支援を行う対話ロボットの実現が期待される。ユーザの支援を行う対話ロボットは、ユーザの要求に応じて適切な行動を取る必要がある。しかしながら、人と共に生活し、日常的にユーザの支援を行う場合には、ユーザによる明示的な指示が無い場合であっても、発話や状況から気の利いた行動を推定し、実施することが期待される。

こうした対話ロボットの実現に向けて田中ら [1] は、非明示的な指示となり得るユーザ発話と周囲の状況をクラウドソーシングによって収集し、状況の再現動画を収録しデータセットを構築している。このデータでは、対話ロボットが一般的なリビングやキッチンにおいてユーザの家事を手伝うという状況を想定し、各エントリに対して 40 種類の行動候補から 1 種類の気の利いた行動が付与されている。田中らの深層学習に基づく行動選択実験の結果では、発話や周辺状況の画像を単に入力する場合の精度は低いが、周辺状況画像にある物体などをアノテー ションした情報を含めると精度が大きく改善することが示された。つまり、気の利いた行動の推定には、ユーザが手にしている物体の検出といった周辺状況の細かな認識が重要である可能性が高い。

一方で、人間が気を利かせるような場合には、発話と周辺状況の詳細を把握するだけでなく、ユーザの直前の行動や何らかの背景知識を考慮した上で常識推論に基づき行動を決定することが考えられる。 そこで、本研究では要求が非明示的なユーザ発話から常識推論によって背景知識を補完して気の利いた行動選択を行うシステムを構築する。

気の利いた行動はユーザにとっては飛躍した行動にも見えるため、行動に至った推論過程を同時に提示することが重要である。常識推論を利用することで行動決定の根拠を明らかにしつつ気の利いた行動の選択も実現できる。本研究では常識推論モデルを導入し、発話に関連する将来のユーザの行動などのイベントを推論する。常識推論には COMET [2] を再帰的に用い、この推論結果と行動候補の類似度を計算し、行動を決定する。例えば、ユーザの発話として「お腹がすいた」という発話があった場合、「“お腹がすいた”と言う-(その後)->食べ物を食べる-(その前)-> 食べ物を取る」という常識推論が展開できた場合を考える。この時、常識推論の結果である「食べ物を取る」と行動候補である「バナナを取る」は類似しており、何らかの類似度計算によって 「バナナを取る」という行動が「お腹がすいた」という発話に対応する気の利いた行動になるという推論ができる。

気の利いたロボットの行動選択データセット [1] を用いて実験を行った結果、ベースライン手法の性能を上回ることはできなかったが、一部の発話においては、常識推論によって背景知識を用いながら明確なプロセスで推論を行う有効性が確認された。

また、現在のデータセットの改善の余地が示唆された。

## 2 常識推論に基づく行動選択タスク

本研究では、田中ら [1] が収集した家庭内におけるロボットの気の利いた行動選択データセットを用いる。データセットには、400 の発話とその周囲状況が収録されており、発話それぞれに対し、40 の行動カテゴリ（付録表 3）から 1 つの正解行動が付与されている。例えば、ユーザが食事を終えて「ごちそうさま」と発話したという状況には「ケチャップを片付ける」という行動が正解として与えられている。これは、「ごちそうさま」という発話自体には要求や行動が明示的に表現されていないが、潜在的には、ご飯を食べ終えてテーブルの上のケチャップが不要になったのでロボットが気を利かせて片付けて欲しい、という要求が暗に存在すると解釈するものである。この例に対して常識推論を当てはめると、「“ごちそうさま”と言う」後に「食事に使ったものを片付ける」という常識推論ができれば、システムは行動を正しく選択できるということになる。本研究では発話からの推論可能性を模索するため、 ユーザの発話のみを入力とした行動選択を行う。

## 3 推論システム

本研究では、発話から常識推論を行うために常識的知識に基づく推論を生成するモデルである COMET [2] を用いる。ここでは、COMET の利用方法と、推論システムの詳細について述べる。

## 3.1 COMET を用いた常識推論と前処理

COMET は、常識的な知識を表現した知識グラフ （Knowledge Graph; KG）である ATOMIC2020 [2]を用いて学習された、常識的知識の生成モデルである。 ATOMIC2020 は、CONCEPTNET ${ }^{1)}$ [3] のような既存の $\mathrm{KG}$ に比べて多様な知識を含んでおり、特に、 イベントに関する知識が含まれている。例えば、「PersonX eats dinner」というイベントと、その後に起きるイベントを予測するための関係 isBefore を大力すると、「PersonX goes to bed」などの対応する関係を持つであろうイベントを出力する。つまり、発話に関するイベントと関係を入力することで、ユー ザが発話後に取りそうな行動などを出力することができる。さらに、本研究では COMET の出力を新た

1) https://conceptnet.io/

図 1 関係として [isAfter, isBefore] の 2 種類を使用した場合の推論システムの概要図。COMET は 1 種類の関係につき 5 つの生成を行い、最大の推論の深さは 2 である。 Depth1 では、発話イベントを入力とした 1 回目の生成、 Depth2では、Depth1 の出力を用いて 2 回目の生成を行う。 Phase2 では、発話イベントを含む全ての生成結果と行動候補の類似度に基づいて行動選択を行う。

な入力とすることで COMET を再帰的に用いる。この再帰の数を推論の深さと呼ぶ。

COMET を気の利いた行動選択データセットに適用するため、次の 4 つの前処理を行なう。

・翻訳：COMET の入出力は英語である必要があるため、気の利いた行動選択データセット中の発話と行動を英語に翻訳する。

$\cdot$「PersonX says，“発話”」に変換：COMET の入力はイベントの形式であることが望ましいため、ATOMIC2020で人物を表す「PersonX」を主語に用いたイベント形式に変換する。

-「PersonX 行動」に変換：データセット中の翻訳後の行動は、例えば「put away ketchup」のように主語がないため、「Person X puts away ketchup」 のように「PersonX」を主語に用いたイベント形式へ変換する。なお、「持ってくる (bring)」はユーザ側の行動として「get」に置換する。

・関係にxWant を用いた場合の出力に「PersonX wants」を前置き：関係にxWantを用いた場合、「to go to bed」など to 以降が出力されることが多いため、「PersonX wants」を前置きし、イベント形式へ変換する。

 & 33.50 & 59.00 & 0.3291 & 26.25 & 59.75 & 0.2517 & 12.25 & 53.00 & 0.1209 \\

## 3.2 推論システムの詳細

常識推論に基づく気の利いた行動選択は、以下の 2 段階の処理（Phase1,2）によって実現した。また、図 1 に、推論システムの動作過程の具体例を示す。

Phase1 発話イベントを始まりとして、COMET を再帰的に用い、背景知識として次にとりうる行動などのイベントを複数生成する。この際、最大の推論の深さや用いる関係はあらかじめ決定しておく。深さが $t$ のとき、COMET の出力 Output $t_{t}^{i_{t}}$ は次のように表すことができる。

$
\text { Output }_{t}^{i_{t}}=\text { COMET }\left(\text { Output }_{t-1}^{i_{t-1}}, \text { Relation }_{j}\right)
$

ここで、用いる関係の種類が $J$ 個、各深さで出力される推論の数が $I_{t}$ 個、最大の深さが $T$ であり、 $1 \leq i_{t} \leq I_{t}, 1 \leq j \leq J, 1 \leq t \leq T$ となる。なお、 Output $_{0}$ は発話イベントである。図 1 の例では、 $t=1$ の時、Output $1_{1}$ は 10 個生成される。

Phase2 Phase1で得られた全ての出力と気の利いた行動候補との類似度を計算し、最も高い類似度を持つ行動を予測とする。出力と 40 個の各行動候補との類似度は SentenceTransformers ${ }^{2}$ を用いて計算する。SentenceTransformers は Sentence-BERT [4] を基として、文同士の意味類似度を計算することができる。ここで、最も類似度の高い推論結果と行動候補のペアを求め、これを発話に対して選択された行動とする。行動イベントを Action $k_{k}$ $(1 \leq k \leq 40)$ 、意味類似度の計算を Similarity とすると、選択される行動 Action と対応する推論過程は次のように求められる。

$
\left.\hat{i_{t}}, \hat{t}, \hat{k}=\underset{i_{t}, t, k}{\arg \max } \operatorname{Similarity}^{\text {Output }}{ }_{t}^{i_{t}}, \text { Action }_{k}\right)
$

これにより、Output $\hat{t}_{\hat{t}}^{\hat{t}_{t}}$ から遡ることで、発話イベントからの一連の推論過程を明示することができる。

## 4 実験

実験では提案システムを用い、データセットに含まれる 400 の発話それぞれに対して、40 の気の利いた行動候補から常識推論に基づく行動選択を行った。実験はいくつかの条件に分けて行い、 3 つの評価指標で比較した。

## 4.1 実験設定

推論システムで利用する COMET は BART [5] ベースの demo モデル3)を利用する。用いる関係は [isBefore]、[isAfter, isBefore]、[xWant, Causes, HasSubEvent, HinderedBy, isAfter, isBefore, xEffect, xReason ]の 3 つの組み合わせを採用した。最大深さは 1 から 3 に設定し、評価指標には Accuracy、予測の上位 5 クラスまでに正解が含まれるかを反映した Top5-Accuracy、各カテゴリの F1 Score の平均 （macro-F1）を用いた。SentenceTransformers は高速な計算が可能な all-MiniLM-L6-v2 モデル4) 利用した。また、ベースライン手法として、COMET を用いずに発話イベントのまま、行動候補と類似度を計算して選択する手法を用いた。

## 4.2 結果

実験結果を表 1 に示す。どの指標においても最も良い性能であったのは、ベースライン手法であった。提案手法に注目すると、Accuracy、macro-F1 は [isBefore] のみを用い、最大深さを 1 にしたものが最も良く、Top5-Accuracy は [isAfter, isBefore] で最大深さ 2 が最大であった。Accuracy、macro-F1 は、用いる関係によっても違いが確認されたが、最大深さが大きくなるにつれての悪化が顕著であった。 Top5-Accuracy の良さはいずれの関係でも、最大深さ $2>1>3$ という順であり、Accuracy、macro-F1 の傾向とは異なった。いずれにしても最大深さを 3 に

表 2 分析結果。C-Sim は正解の場合、W-Sim は不正解の場合の最大類似度の平均。W-Coverage はベースラインでの不正解の発話のうち、提案システムで正解した発話の割合。

HinderedBy, isAfter, isBefore, $x$ Effect, $x$ Reason

ベースライン (発話イベント) 0.69990 .5607

図 2 行動選択の実際の例。上の例は提案システムのみ正解したケースである。下の例は「Personx gets bananas.」が正解行動であるため不正解であったが妥当な推論であったケースである。

設定することは望ましくないが、最大深さ 2 では Accuracy 向上の見込みが示された。

## 5 分析

実験の結果、ベースライン手法は 3 つの評価指標のもとで最良の結果であった。ここではべースライン手法と提案システムの差異について評価指標以外の観点から分析を行う。

提案システムでは最大類似度のぺアに含まれる気の利いた行動が選択される。各発話に対する最大類似度について、予測が正解であった場合と不正解であった場合の平均を表 2 に示す。提案システムは正解、不正解どちらの場合でもべースラインよりも類似度が高く、提案システムは意味的な類似度の上では実際の気の利いた行動とより近いイベントを推論できている。また、ベースラインを含むどの設定においても正解の場合の方が類似度が高い。つまり、気の利いた行動との類似度が高いイベントが存在する時に正解となる傾向である。提案システムでは不正解の場合にも比較的類似度が高いため、現在のデータセットでは不正解であるが、実際には妥当な行動が選択されている可能性がある。一方で COMET が発話と破綻した関係にあるイベントを生成している可能性もあり、今後の解析が必要であ
る。次に、ベースラインで不正解であった発話のうち、提案システムで正解であった割合についても表 2 に示す。最も高い場合は $12.40 \%$ であり、ベースラインでは不正解となる発話についても提案手法では正解できるケースが一定数存在することを確認できた。

図 2 は実際の推論の例である。提案システムのみ正解できている例において、ベースライン手法では 「phone」という単語に注目した類似度から行動を選択していると考えられるが、提案手法では常識推論を用いることで次の行動を推論し、気の利いた行動を選択できている。不正解の例では、「Personx gets bananas.」が正解であるため、予測した行動は不正解となっているが、尤もらしい常識推論によって気の利いた行動を選択できているように見受けられる。

類似度の傾向や実際の例からべースライン手法と提案システムを分析、再評価することにより、常識推論を用いて行動選択を行う提案システムの有効性や、利用したデータセットに複数の気の利いた行動候補を付与するなどの改善の余地が示唆された。

## 6 終わりに

本稿では、指示が明示的でない発話に対してシステムが適切な行動選択を行うことが期待される場面において、常識推論によってその曖昧性を補完し行動選択を行う枠組みを構築した。実験の結果、精度の課題は残るものの、一部の例では常識推論によって気の利いた行動に結びつく推論を実現できていることが確認できた。今後は、COMET のような単純な常識推論だけでなく、仮説推論に基づく手法 [6] や典型的な一連の行動を推論する手法 [7] にも着目し、発話の曖昧性の解消を試みる。また、データセットに付与された正解行動以外にも妥当な行動がある可能性や、あるいはデータセットに付与された気の利いた行動の難易度なども考慮しつつ、データセットについての議論も行う。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 03654$ の助成を受けた。

## 参考文献

[1] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎. 気の利いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集. 情報処理学会研究報告 Vol. 2022-NL-253, No. 5, pp. 1-7, 2022.

[2] Jena D Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 63846392, 2021.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the AAAI conference on artificial intelligence, 2017.

[4] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Chandra Bhagavatula, Ronan Le Bras, Chaitanya Malaviya, Keisuke Sakaguchi, Ari Holtzman, Hannah Rashkin, Doug Downey, Wen tau Yih, and Yejin Choi. Abductive commonsense reasoning. In International Conference on Learning Representations, 2020.

[7] Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, and Yejin Choi. proScript: Partially ordered scripts generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2138-2149, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## 付録

表 3 行動カテゴリ一覧

## ■持ってくる

バナナを持ってくる, 充電ケーブルを持ってくる， コップを持ってくる,ケチャップを持ってくる, 宅配便を持ってくる,ペットボトルを持ってくる, リモコンを持ってくる, スマホを持ってくる, お菓子を持ってくる,ティッシュ箱を持ってくる, 缶切りを持ってくる,クッキングシートを持ってくる,グラスを持ってくる, おろし器を持ってくる, キッチンペーパーを持ってくる，レモンを持ってくる，オリーブオイルを持ってくる, じゃがいもを持ってくる, サランラップを持ってくる, 水筒を持ってく

る

## 片付ける

充電ケーブルを片付ける,コップを片付ける,ケチャップを片付ける, ミニカーを片付ける, ペットボトルを片付ける, リモコンを片付ける, スマホを片付ける, お菓子を片付ける, ティッシュ箱を片付ける, 缶切りを棚にしまう, クッキングシートを棚にしまう, グラスを棚にしまう, おろし器を棚にしまう, キッチンペーパーを棚にしまう, サランラップを棚にしまう,水筒を棚にしまう

## その他

ゴミをゴミ箱に入れる,ペットボトルを冷蔵庫にしまう，タッパーをレンジに入れる, タッパーを冷蔵庫にしまう


# メタ学習を用いた少量データからの 中国古代思想家のパーソナライズド対話システムの構築

杜 彬 荻野 正樹
関西大学大学院 総合情報学研究科
\{k661612, ogino\}@kansai-u. ac. jp

## 概要

近年，対話的なアプリケーションにおいて， パー ソナライズドチャットボットの普及が進んでいる. パーソナライズドチャットボットを学習させる場合,質問への回答方法を学習させるためには，大量のチヤットデータが必要となる. しかし, このデータの入手は困難な場合が多い. 特に, 特定人物に対して,歴史上に残ったデータが不足している。 また, パー ソナライズド対話データへの獲得は，手作業によるアノテーションが必要な場合が多くて，時間とコストをかかる. 本研究では, これらの問題点を探り,歴史上に残る僅かな少量の対話データから BERT を基礎として事前学習 UNILM モデルを実装し，ディー プランニングのメタ学習技術により, ロボットが他の対話タスクを解く際に過去に学習した知識を利用することで, 中国古代思想家チャットボットのシステムを構築する手法を提案する. 実験結果によって， チャットボットの中国古代思想家にパソナライド度,語彙の正確性, 応答の多様性, において提案手法の有効性が示された。

## 1 はじめに

近年，ソーシャルメディアやインスタントメッセ一ジのアプリケーションにおいて，チャットボットの普及が進んでいる (図 1).チャットボットは人々がより簡単にコミュニケーションをとるのを助け，情報やサービスを提供する。言語学習モデルによってチャットボットを構成する場合, 学習する人間の会話データの量と質がチャットボットの会話能力の決め手となる.

特に，パーソナライズドチャットボットを設計する場合, その傾向が顕著である. パーソナライズドチャットボットは, そのキャラクターの会話履歴や嗜好に基づいて学習し, 言葉遣いを改善する必要がある.しかし, 十分なデータがないと, ボットに十

図 1 パーソナライズドチヤットボット対話システム分な学習機会が与えられず，結果として個人の言葉や考え方をうまくモデル化することができない.

この問題に対処するため, 本研究では, メタラー ニングの手法を用いて， パーソナライズドチャットボットの学習を行う.メタ学習とは, 機械が新しい課題をより速く学習できるようにすることを目的とした機械学習の手法である[1]. 過去のタスクの大量のデータから新しいタスクの解法を学習するメタ学習アルゴリズムを用いることで，十分なデータがないにもかかわらず，よりパーソナライズドされたシミュレーションの学習結果を得ることができると期待される。

中国古代の思想家の思想は, 中国文化の発展に重要な役割を果たしてきた。古代中国語が複雑な文字体系であることも相まって，言語研究には多くの課題がある。そのひとつが, データの不足である。 中国の古文書は保存状態が様々で，多くの古代思想家の著作があまり残されていない，また，古代中国の思想家の著作には, 当時は特定の意味を持っていたものの，現代ではあまり当てはまらない用語や概念が多く含まれている. 古代思想家にパーソナライズドチャットボットと会話することで, ユーザーが古代言葉の意味をより正確に理解することが期待される.

本研究では, 残された少ない会話データをもとに, メタラーニングの手法により中国古代思想家として

パーソナライズドされたチャットボットを実現することを目指す。このようなチャットボットは古代中国語と思想家の研究問題の解決案の一つの手法として活用が期待できる.

## 2 関連研究

メタ学習 (Meta Learning) [2]は, 新しい課題をより速く学習することを目的とした機械学習の手法である. メタ学習アルゴリズムは, 通常, 過去の多数のタスクから得たデータを用いて，新しいタスクの解法を学習する. この手法により, 学習効率を向上させ，新しい環境でも機械がより良いパフォーマンスを発揮できるようになる。一般的なメタ学習アルゴリズムには, モデル共有, 学習ストラテジー, マルチタスク学習などがある.

(1)モデル共有は, 複数の課題を解決するために共通のモデルを用いるメタ学習アプローチである. モデル共有は, 通常, モデルのパラメータを調整することで新しいタスクに適応させるパラメトリックモデルを使用する.

(2)学習ストラテジーも，学習アルゴリズムを用いて複数の課題を解決するメタ学習手法として一般的なものである. MAML (Model-Agnostic Meta-Learning) [3], Reptile[4]など, 学習ストラテジーの具体的な実装方法は存在する。

(3)マルチタスク学習も, 複数の課題を同時に解決するメタ学習手法の一つである. マルチタスク学習法は, 一般的にニューラルネットワークを用い, 複数のタスク間で情報を共有することで学習効率を向上させる.

最近, MAML を自然言語処理の文章生成に適用し，低リソース環境において, 少ない学習例で新しい夕スクでの文章を生成する手法が提案されている[5]. MAML は, モデルが新しいタスクに素早く適応できるように，勾配降下アルゴリズムを用いてモデルのパラメータを調整する. 通常, 少量のサンプルデー 夕を使用してモデルを学習するため, 大量のデータがない場合でも良い結果を得ることが可能である.

MAML $の$ 利点は, 新しいタスクに素早く適応できることと，必要なデータが少ないことである.

本研究では, MAML を使って少量学習データからの対話システムを構築した。

## 3 提案手法

現代中国語の対話データをソース会話データとし
て，初期の会話タスクのモデルを作成. 少量の中国古代対話データを用いて，対話システムの作成の方法をモデルに学習させために，パーソナライズドチヤットボットの応答スタイルに素早く適応できる対話モデルの初期パラメータを学習することを MAML の目標タスクとして設定する。

言語モデルは BERT[6]を基礎として発展した UNILM (Unified Language Model Pre-training) [7]というモデル事前学習方法を用いている. UNILM は，は多層 Transformer ネットワーク, 事前学習によって自然言語処理タスクのパフォーマンスを向上させるように設計された。言語モデルの事前学習では，大量のテキストデータを使って言語モデルを事前学習し， そのモデルを他の自然言語処理タスクに使用する。

図 2 UNILM $の$ Seq2seqLM 概要図

UNILM モデルは, マルチタスク学習の概念に基づき，複数の自然言語処理タスクに同時に対応するものである. UNILM の事前学習は言語モデリングの単方向 LM, 双方向 LM, Seq2seqLM（図 2）に共有 Transformer ネットワークが最適化された. 予測される単語の文脈情報を異なるものにするために，異な

る Attention マスクを使用した。このアプローチにより，UNILM は言語の文脈情報をよりよく捉え，複数のタスクを解く際によりよいパフォーマンスを発揮することができる. UNIML モデルを基本的な対話システムとして, パラメータ学習に MAML を用いる.

MAML では現代中国語の対話データをソースデー タとして, 初期の個別タスクの基本モデルを作成. モデル初期化パラメータをゆとし, $\mathrm{n}$ 番目のテスト文字で学習した後のモデルパラメータを $\hat{\theta}^{n}$ と定義し,全損失関数を以下のように定義する.

$
L(\varnothing)=\sum_{n=1}^{N} l^{n}\left(\hat{\theta}^{n}\right)
$

初期化パラメータの更新は：

$
\varnothing \leftarrow \varnothing-\eta \nabla_{\varnothing} L(\varnothing)
$

図 3 システムパラメータの更新初期化時のソース会話データを用いて, タスクごとに対話モデル全体の微調整を行い，目標モジュー ルのパラメータに L-1 正則化を追加します.ここでの L-1 正則化の目的は，パラメータを疎にし，タスク固有の文の生成に有益なパラメータのみをアクテイブにすることである. 初期化されたパラメータが更新された後, メタ学習時のパラメータは, 学習タスクの各ステップを通じてより強い汎化能力を持つようになる。 MAML を利用してパラメータの更新は図 3 に示す。

## 4 実験

## 4.1 データ

メタ学習のソースデータとして, 既存のオープンソースの中国語対話データセットを使用した. KdConv[8], 知識領域の会話が含まれる. CrossWOZ[9], 会話の種類や, ユーザーの会話状態の注記も含まれる. DoubanCorpus[10], 複数ラウンドの日常会話を含まれる.

目標のデータセットは低リソースの古代中国の年代順に分類された古代中国思想家の中短編文章集,例えば論語, 老子, 戦国策, 孫子兵法などを使用する, その中でおよそ半分は対話データ, 半分は独白データとみられる. 古代中国語データを Classical と表記する.

データの会話文数は表 1 に示す. 現代中国語と古代中国語の両方に, Jiayan というパッケージを使って漢字の文をトークン化した. メタ学習のトレーニングセットとテストセットの比率は $9: 1$ である.

## 4.2 実験設定

モデルは UNILM をベースに実装し，対話ロボットの表現を使用するように改良した。一般化することを確認するために，さまざまなメタ学習のパラメ ータで学習を行なった. 本研究で学習率 $2 \mathrm{e}-5$, バッチサイズ 32, ドロップアウトが 0.1 , 重み減衰が 0.0001 , 最大 seq 長さ 128 に固定し, 事前に学習した中国語モデルを用いて学習を行った。事前学習モデルは epoch（学習回数）を 10 になった，結果を記録する。ソースタスクの選択の効果を調査するために, 様々な会話データセットを用いてメタ学習する.各エピソードでは, デフォルトでは, Adamの単一勾配ステップを用いて，メタ勾配を計算するための計算を行っている.

## 4.3 評価手法

本実験で生成応答に対し, 自動評価および人手評価を行う。モデルについて，すべての訓練タスクのデータを用いて統一的な対話生成モデルを事前学習し, その後, テストタスクで直接テストする。 ベー スとなる生成モデル Seq2seq を試した. 各テストタスクで事前学習を微調整 Finetune して, モデル Seq2seq-F と表記する.コンプリートモデルに対して MAML アルゴリズムを適用し, MAML と表記する.

自動評価指標としては，応答の流暢度を測定する PPL，参照応答との類似度を測定する BLEU[11], 応答の多様性を測定する dist-1[12].

人手評価では古文を読むことができる大学卒業生 3 名を招きた. 各モデルで作成された応答が混ぜ合わられて採点された. 各応答を正確さ, 流暢さとパ ーソナライズド度 3 つの尺度で独立して採点する。評価範囲は $0 \sim 2$ で, 回答の適切さを測り, 2 を合格とする，0 は無関係な内容である

正確さ：ロボットが質問に答える際に使用する言葉に，よく使う古代中国語を参照語彙と比較し， 口ボットが使った語彙のうち，いくつが正しいかを評
価する.

流暢さ : ボットがいかにうまく会話に入り込むかを測定するために，流暢さを評価する。

パーソナ度 : ロボットが質問に答える際に, どの程度パーソナライズされているかを測定するために，ボットが応答する際に使用した中国古代思想家の言葉っぽいかと評価する。

## 5 実験結果

## 5.1 自動評価

モデルの性能は表 2 に自動評価による結果を示す.表 2 自動評価の結果

自動評価の結果によって Finetune の Seq2seq-F は Seq2seq 法より優れている. MAML 法は BLEU スコアでは Finetune 法に及ばないが，Dist-1 スコアは比較的高い值を示した. このことから, MAML は応答の多様性を向上させるのに役立つことが表現された. BLEU の類似度指標は, 生成された応答と参照応答の類似度を比較することを指す。これは， Finetune 法に生成された応答が参照応答との類似度が高ければ，より朵長性が高いと考えられる。

## 5.2 人手評価

モデルの性能は表 3 に人手評価による結果を示す.表 3 人手評価の結果

異なる学習方法を用いたチャットロボットを比較した結果, MAML 技術を用いたロボットの方が, 質問に答える際の語彙の正確さが高いことがわかた. これは, メタ学習技術により, ロボットが他のタスクを解く際に過去に学習した知識を利用することで， タスクを解く際に適切な語彙をよりよく選択できるようになるためと考えられる。また， パーソナライズ度を比べて，MAML の性能が高いことがわかる。
この結果から，現在の対話に関連したパーソナライズ情報が，応答生成に有用な情報を与えていると考えられる。

## 5.3 考察

対話システムで現代中国語の対話内容に対して，生成された回答は古代中国語で, 応答の多様性が高くて, 対話内容との関連で文字通り理解できる程度であった. しかし, 期待されたレベルに達していない会話要素も多く見受けられた。たとえば，「毎年七月三十九日」といって時間を答えるという常識の誤りがあった. また, 経営, 会計, 博士など古今で意味が変化した漢字の知識も正確さに欠ける. 最後に, 古代中国語は少ない単語で意味を伝える傾向があるため, 生成される対話コンテンツは長さが短くなりがちで, 判断文形式の頻度が高い。例えば，それはできない，これはいい，それは聞いていない， などである（表 4）。

表 4 古代思想家対話システムの対話案例の一つ

結果を改善するため, いくつかの課題があることを認識した。まず，より性能がいいパーソナライズドチャットボットを学習させるためには，高品質なデータを使用する必要がある。 さらに, 適切な夕スクを制定して，学習処理の有効性を上がる必要がある.また，モデルの汎化能力にも注目する必要がある. メタ学習技術を用いてパーソナライズドチャットボットを訓練する場合，モデルが新しいタスクでより良いパフォーマンスを達成できるようにする必要がある。

## 6 おわりに

本稿では，メタ学習を使用して，少量の対話デー タでパーソナライズド中国古代思想家チャットボットの対話システムを提案した. 今後は, 続けて研究を通じて，機械学習に不可欠なデータ問題に向けた新しいアイデアや方法を提供したいと考えている.

## 参考文献

[1] Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, and Xiaodong He.2018.Natural language to structured query generation via metalearning.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 732-738.Association for Computational Linguistics.

[2] Tom Schaul and Juergen Schmidhuber.2010. Metalearning.Scholarpedia, 5(6):4650.

[3] Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017.Model-agnostic meta-learning for fast adaptation of deep networks.In ICML, pages 11261135

[4] Alex Nichol, Joshua Achiam, John Schulman.2018. On First-Order Meta-Learning Algorithms.arXiv preprint arXiv: 1803.02999

[5] Fei Mi, Minlie Huang, Jiyong Zhang, and Boi Faltings. 2019.Meta-learning for low-resource natural language generation in task-oriented dialogue systems . In IJCAI, pages 3151-3157

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding . arXiv preprint arXiv:1810.04805

[7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu,Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon.2019.Unified language model pre-training for natural language understanding and generation.InH.Wallach,H.Larochelle,A.Beygelzim er, F.d'Alché-Buc, E.Fox, and R.Garnett, editors,
Proc.of NeurIPS, Vol.32, pp.13063-13075.Curran Associates, Inc

[8] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, Xiaoyan Zhu.2020. KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation.arXiv preprint arXiv: 2004.04100

[9] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, Minlie Huang.2020.CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset.arXiv preprint arXiv: 2002.11893

[10] Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li.2016.Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots.arXiv preprint arXiv: 1612.01627

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. July 2002.Bleu: a method for automatic evaluation of machine translation.In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311318, Philadelphia, Pennsylvania, USA, Association for Computational Linguistics

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao,and Bill Dolan. June 2016.A diversitypromoting objective function for neural conversation models.In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.110-119, San Diego, California, Association for Computational Linguistics


# タスク指向対話における強化学習を用いた対話方策学習への 敵対的学習の役割の解明

下山翔 1,2 森村哲郎 3 阿部拳之 ${ }^{3}$
${ }^{1}$ AI Shift, Inc. 2 東北大学大学院 理学研究科数学専攻 ${ }^{3}$ CyberAgent, Inc. AI Lab.
shimoyama_sho@ai-shift.jp \{morimura_tetsuro, abe_kenshi\}@cyberagent.co.jp

## 概要

強化学習を用いた対話方策の学習において，報酬関数の設計は重要である。効果的な報酬関数の人手による設計が困難であるため，データから報酬関数を推定する手法の 1 つとして敵対的逆強化学習が注目されている。この方法により推定された報酬関数を用いて学習された対話方策は良好な性能を示すことが報告されている。この理由を明らかにするため，本研究では，既存手法の 1 つである Guided Dialog Policy Learning に対する分析を行う. 報酬関数の目的関数に対する考察および実験結果から，敵対的学習はループ対話の発生を抑制する効果を持つことを示す.

## 1 はじめに

対話方策はタスク指向対話システムの重要な構成要素の一つである $[1,2]$. 近年，強化学習を用いた対話方策の学習に関する研究が注目されている $[3,4,5,6,7]$. 強化学習による対話方策の学習は,対話をマルコフ決定過程とみなし，対話方策と環境 （例えば，ユーザシミュレータ $[8,9]$ ）との相互作用を通じて，得られる対話に対する報酬を最大化することで行われる.

報酬関数は対話方策の学習において重要である一方，適切な報酬関数の人手による設計は困難である. 単純な報酬関数として，対話ターンを短くするために各対話ターンで一定の小さな負の報酬，対話終了時に目的を達成した場合は大きな正の報酬を与える報酬関数があげられる。しかしながら，各ター ンで選択された行動の良さは対話が終了するまで分からない（つまり，報酬が疎である）ため対話方策の学習が適切に進まない場合が存在する。

上述の問題に対処するため，データから報酬関数を推定する方法の 1 つである敵対的逆強化学習 $[10,11]$ を用いた方法が提案されている. 研究 [12] は，エキスパート対話を用い，対話単位の報酬関数と対話方策を敵対的学習を用い交互に学習する方法を提案している. 研究 [13] は敵対的逆強化学習を用いて報酬関数を推定し，報酬関数を状態行動単位とすることで報酬が疎な問題に対処する手法 Guided Dialog Policy Learning (GDPL) を提案している。これらの報酬関数を用いて学習された対話方策は人手で設計した報酬関数を用いて学習された対話方策より良好な性能を示すことが報告されている. しかし, 対話方策の学習において, 敵対的学習を用いた報酬関数の推定が有用であることの理由は十分に解明されていない。

本研究では，GDPLを対象とし，強化学習を用いた対話方策の学習において，敵対的学習を用いた報酬関数推定が対話方策の学習に与える影響の分析を行う．報酬関数の目的関数に対し考察を行い，実験によりその妥当性の評価を行う。

## 2 関連研究

強化学習における人手での報酬関数の設計が困難であるため，データから報酬関数を推定する方法である逆強化学習 [14] がよく用いられる. 特に,近年, 逆強化学習に敵対的学習を用いた手法である敵対的逆強化学習 $[10,11]$ が注目されている. 研究 [12] は対話方策の学習と報酬関数の学習を敵対的学習を用いて交互に行う手法を提案している. 報酬関数を識別器とし, エキスパート対話には高い値を，対話方策が生成した対話には低い値を割り当てるように学習する。対話方策は報酬関数から得られる報酬が高くなるよう学習される. 研究 [13] は対話方策と状態行動単位の報酬関数を交互に学習する手法である Guided Dialog Policy Learning (GDPL) を提案している. GDPL は各ターン毎に状態行動に対して報酬を与えることで報酬が疎となる問題に対処し

ており，対話内における話題の転換を柔軟に捉えることができることが報告されている。研究 [15] は報酬関数の推定と対話方策の学習を交互ではなく逐次的に行う手法を提案している. 敵対的学習を用い,状態行動単位の報酬関数である識別器とノイズを入力とし状態行動対を出力する生成器を学習する. 次に，上記で学習した報酬関数を固定し，対話方策を学習する. 報酬関数の学習と対話方策の学習を分けることで，方策オフ型/オン型どちらにも適用でき， モード崩壊 [16] に対処している. 先行研究と本研究の違いは敵対的学習が対話方策の学習に及ぼす影響を詳細に分析している点である。

## 3 前提

本論文では，対話を離散時間有限状態マルコフ連鎖 $\mathcal{M}=\left(\mathcal{S}, \mathcal{A}, P, \pi_{\theta}, v, r, \gamma, T\right)$ として扱う. ここで, $\mathcal{S}$ は dialog state $[17,18]$ 全体からなる集合（状態集合), $\mathcal{A}$ は dialog act [19] 全体からなる集合（行動集合), $P: \mathcal{S} \times \mathcal{A} \rightarrow \Delta(\mathcal{S})$ は状態遷移確率 $(\Delta(\mathcal{S})$ は $\mathcal{S}$上の確率単体 $), \pi_{\theta}: \mathcal{S} \rightarrow \Delta(\mathcal{A})$ は対話方策 $(\Delta(\mathcal{A})$ は $\mathcal{A}$ 上の確率単体， $\theta$ はパラメータ)， $v \in \Delta(\mathcal{S})$ は初期分布, $r$ は報酬関数， $\gamma \in[0,1]$ は減衰定数， $T \in \mathbb{N}$ は最大ターン数を表す. $s_{t} \in \mathcal{S}, a_{t} \in \mathcal{A}$ でそれぞれターン $t \in\{1, \ldots, T\}$ における状態，行動, $\tau=\left.\{s_{0}, a_{0}, s_{1}, a_{1}, \ldots, s_{|\tau|}, a_{|\tau|}\right.\}(|\tau| \leq T)$ で対話を表す.

## 3.1 Guided Dialog Policy Learning

Guided Dialog Policy Learning (GDPL) [13] は，敵対的学習を用い，報酬関数と対話方策を交互に学習する手法である. 対話方策が生成した対話に対して低い報酬，学習データ（例えば人間同士の対話）内の対話に対して高い報酬を割り当てるように敵対的学習を用いて報酬関数を学習する. 対話方策は報酬関数から得られる報酬が高くなるように学習することで，人間に近い対話の実現を目指す. GDPLでは，状態 $s$ 行動 $a$ の報酬を $f_{\omega}(s, a)=\log p_{\omega}(s, a)$ (ここで, $p_{\omega}(s, a)$ は確率モデル， $\omega$ はそのパラメータ $)$ と表し，以下の目的関数 (1), (2) を用いて対話方策 $\pi_{\theta}(a \mid s)$ と報酬関数 $f_{\omega}$ を交互に更新する：

$
\begin{aligned}
& \max _{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}}\left[\sum_{t=t_{0}}^{|\tau|} \gamma^{t-t_{0}} \hat{r}\left(s_{t}, a_{t}\right)\right] \\
& \min _{\omega}\left.\{\mathrm{KL}\left[p_{\mathcal{D}} \mid p_{\omega}\right]-\mathrm{KL}\left[p_{\pi_{\theta}} \mid p_{\omega}\right]\right.\},
\end{aligned}
$

ここで, $\hat{r}=f_{\omega}-\log \pi_{\theta}, p_{\mathcal{D}}(s, a)$ は経験分布， $p_{\pi_{\theta}}$ は $\pi_{\theta}$ に従った際に状態行動 $(s, a)$ が発生する同時確率分布, $\operatorname{KL}\left[q_{1} \mid q_{2}\right]=\sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} q_{1}(s, a) \log \frac{q_{1}(s, a)}{q_{2}(s, a)}$ である. GDPLでは， $p_{\omega}$ を推定する代わりに確率であるという制約なしで $f_{\omega}$ を直接推定し，対話方策の学習を安定させるために potential-based reward shaping [20] を用いて $\left(s_{t}, a_{t}, s_{t+1}\right)$ に依存する形に $f_{\omega}$ を変換している。

## 4 GDPL に対する考察

本章では，GDPLにおいて，敵対的学習が対話方策の学習に与える影響の考察を行う. 4.1 節でルー プ対話の定義， 4.2 節で敵対的学習の役割の考察を行い，敵対的学習はループ対話を抑制する効果を有することを示す.

## 4.1 ループ対話の定義

表 1 ループ対話の例. usr はユーザシミュレータ，sys は対話方策を表す.

Definition 1 (ループ対話). 対話 $\tau$ において， $\left(s_{t}, a_{t}\right)=$ $\left(s_{t+n}, a_{t+n}\right)$ を満たす $n$ とターン $t$ が存在するとき, $\tau$ をループ対話と呼び，ループ内の状態 $s^{i}:=s_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ状態, 行動 $a^{i}:=a_{t+i}$ for $\forall i \in\{0, \ldots, n-1\}$ をループ行動と呼ぶ.

ループ対話の例を表 1 に示す. この対話では上から2つ目のユーザ発話 $(t=1)$ 以降，ユーザシミュレータと対話方策がともに同じ内容の発話を繰り返している. 簡単に述べると，ループ対話とは，特定の状態行動 $(s, a)$ が複数回出現する対話である.

## 4.2 敵対的学習の役割の考察

マルコフ連鎖 $\mathcal{M}$ において，ある $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ が存在し，次の仮定を満たすとする: 任意の $i \in\{0, \ldots, n-1\}$ に対し $\hat{r}\left(s^{i}, a^{i}\right)$ が $\hat{r}$ の最大値と十分近い.このとき, GDPLにおいて, 敵対的学習はループ対話の発生を抑制すると推測される.
報酬関数を固定し，式 (1) に基づき対話方策を更新する場合を考える。式 (1) は累積報酬であるから，対話方策は生成する対話の累積報酬が高くなるよう学習される。ある 2 つ対話に対し，それらの対話に含まれる状態行動に対する報酬の差が十分小さい場合，累積報酬が高くなる対話はター ン数が多い対話である。ここで，そのような対話の 1 つとして, $\left.\{\left(s^{i}, a^{i}\right)\right.\}_{i=0}^{n-1}$ をループ状態行動に持ち，あるターン $t$ 以降これらの状態を順に遷移し続けるループ対話が考えられる（つまり， $\tau=\left.\{s_{0}\right.$, $\left.\left.a_{0}, \ldots, s_{t-1}, a_{t-1}, s^{0}, a^{0}, \ldots, s^{n-1}, a^{n-1}, s^{0}, a^{0}, \ldots\right.\}\right)$. したがって，式 (1)を最大化して得られる対話方策の 1 つとして，上述のループ対話の発生を促す対話方策が考えられる。 $\left(s^{i}, a^{i}\right)$ が 1 対話内に複数回出現することから，このような対話方策に従った際の $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる.

上述したループ対話の発生を促す対話方策 $\pi_{\theta}$ を固定し，式 (2) に基づき報酬関数を推定する場合を考える。式(2) は以下のように書ける：

$
\max _{\omega} \sum_{s \in \mathcal{S}} \sum_{a \in \mathcal{A}} f_{\omega}(s, a)\left.\{p_{\mathcal{D}}(s, a)-p_{\pi_{\theta}}(s, a)\right.\} .
$

上式において,$p_{\mathcal{D}}(s, a)<p_{\pi_{\theta}}(s, a)$ なら,$f_{\omega}(s, a) \rightarrow$一⿻ である. ここで， $(s, a)$ をループ状態行動 $\left(s^{i}, a^{i}\right)$ とすると， $\pi_{\theta}$ はループ対話の発生を促すという仮定から $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ は十分大きいと考えられる. よっ $\tau, p_{\mathcal{D}}\left(s^{i}, a^{i}\right)<p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ を満たし, $f_{\omega}\left(s^{i}, a^{i}\right) \rightarrow-\infty$ となると考えられる。したがって，このように更新された報酬関数を用いて対話方策を更新する場合， $\left(s^{i}, a^{i}\right)$ を含む対話は累積報酬が十分小さくなることから, 対話方策は $\left(s^{i}, a^{i}\right)$ の発生確率 $p_{\pi_{\theta}}\left(s^{i}, a^{i}\right)$ が低くなるように学習されると考えられる。つまり， GDPL において敵対的学習はループ対話を抑制すると考えられる。

## 5 考察に対する実験的確認

本章では，4 章における考察に関する実験的確認を行う，確認する内容は以下である：

・GDPL から敵対的学習を取り除いて学習した対話方策はループ対話の発生を促す。

・GDPL において敵対的学習はループ対話を抑制する。

・敵対的学習を用いずにループ対話を抑制するよう報酬を設計した手法と GDPL の性能差.

## 5.1 データセットとシミュレータ

本研究では，データセットとして Multiwoz [21]を用いる. Multiwoz はマルチドメインタスク指向対話コーパスで， 7 ドメイン，10,483 対話からなる.

強化学習の環境として，対話ゴールを受け取り確率的なルールに基づいて対話を行うアジェンダベー スユーザシミュレータ [8]を用いた. 対話ゴールは，各ドメインに対する，シミュレータが希望するエンティティが満たすべき制約（例えば，適度な価格帯のレストラン）と対話方策から聞く必要がある要求情報（例えば，レストランの住所）から成る.

## 5.2 比較手法

本論文では，以下 2 つの方法でそれぞれ学習した対話方策を GDPL と比較する：
- GDPL w/o AL: 式 (2) から第 2 項を取り除き学習した $f_{\omega}$ を固定し， $\hat{r}$ を式 (3) で定め，式 (1)を目的関数として学習した対話方策.
- GDPL restrict loop: GDPL w/o AL と同様の $f_{\omega}$ を固定し， $\hat{r}$ を式 (4) で定め，式 (1)を目的関数として学習した対話方策.

$
\begin{aligned}
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)=\frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \\
& \hat{r}\left(s_{t}, a_{t}, s_{t+1}\right)
\end{aligned}
$

$
= \begin{cases}r_{\text {loop }}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \left(\left(s_{t}, a_{t}\right)\right. \text { is loop } \\ \frac{f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)}{10000}-\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) & \text { (otherwise) }\end{cases}
$

$r_{\text {loop }}=\min _{\left(s_{t}, a_{t}, s_{t+1}\right) \in \mathcal{D}_{\text {train }} \cup \mathcal{D}_{\text {valid }}}\left.\{-\frac{\left|f_{\omega}\left(s_{t}, a_{t}, s_{t+1}\right)\right|}{2}\right.\}$ ここで， $\mathcal{D}_{\text {train }}, \mathcal{D}_{\text {valid }}$ はそれぞれ学習，検証データである. GDPL w/o AL において，学習を安定させるために，報酬関数を 10000 で割っているが割らない場合においても同様の結果を確認した.

GDPL の実装には著者らのコード1)を用いた. $T=40$ とし， モデルのパラメータおよび dialog state, dialog act は文献 [13] と同様とした.

## 5.3 評価指標と評価・学習方法

評価指標として success を用いた. success は recall と match rate がともに 1 なら 1 ，そうでないなら 0 として定める. recall はシミュレータのゴールで指定

1) https://github.com/truthless11/GDPL

された要求情報と実際に対話方策が伝えた情報を用いて計算する. match rate は予約されたエンティティがシミュレータのゴールで指定された制約と完全に一致していたドメインの割合である.

全データの内，8483 対話を学習， 1000 対話を検証に用いた. シードをランダムに 5 つ変更し，各手法をそれぞれ 50 エポック学習した. ここで， 1 エポックは 1024 対話（つまり，環境との相互作用 1024 セッション）とした. 各手法間でシードは同じものを用いた。

各エポック終了時に，ユーザシミュレータとの相互作用により評価用対話を 1000 生成し，それらの対話に対する評価指標の平均を報告する。評価対話の生成に用いるシードは全てのエポック，手法で共通とした。

## 5.4 結果と分析

図1 各報酬の与え方に対するループ対話数の推移. GDPL w/o AL は GDPL における報酬関数の目的関数から敵対的学習項を取り除いたもの，GDPL restrict loop は GDPL w/o AL においてループ状態行動に対し負の報酬を与えたものを表す.

図 2 各報酬の与え方に対する success rate の推移. 黒の横線は GDPL に対する平均値の最大値を表す.評価用対話 1000 対話に対するループ対話数の平均とェ標準偏差を図 1 に示す. GDPL w/o AL において，ループ対話数が増加している。一方，GDPL においてループ対話数は減少している. よって, GDPL において，敵対的学習はループ対話の発生を抑制すると考えられる。

評価用対話 1000 対話に対する各評価指標の平均と $\pm$ 標準偏差を図 2 に示す. GDPL および GDPL restrict loop は GDPL w/o AL より良好な性能を示している.この結果から，タスク指向対話において， ループを抑制することが対話方策の性能向上に寄与すると推測される. 加えて, GDPL restric loop は GDPL より良好な性能を示している. 10 エポック目以降 GDPL の性能が悪化しているが，これは no-offer で終了する対話が増加していることが要因であった. no-offer は dialog-act の値の 1 つであり，ユーザシミュレータは no-offerを含んだ dialog-actを受け取った時点で対話を終了する. no-offerにより対話が終了すると, それ以降で聞くはずであった情報が聞けず，また，それ以降で予約するはずであったエンティティが予約できないため評価指標が低下する. no-offerを含む対話を学習データから取り除き GDPLを学習したところ, 学習途中で性能が悪化しなかったことから, この現象は敵対的学習のモード崩壊 [16] であると考えられる。なお，モード崩壊とは, 生成モデルの学習に失敗し出力のバリエーションが限られる現象である. GDPL restrict loop は学習に敵対的学習を用いていないため，GDPLにおけるモード崩壊の問題を回避できていると考えられる。

## 6 結論と将来の展望

本研究では, Guided Dialog Policy Learning (GDPL) において，敵対的学習を用いた報酬関数の推定が対話方策の学習に与える影響の分析を行った. 報酬関数の目的関数を状態行動について書き下すことで，敵対的学習はループ対話の発生を抑制する効果を有すると推測された. また，アジェンダベースユーザシミュレータを用いて，上述の考察の実験的確認を行った. 実験において, 敵対的学習を用いずにループ対話の発生を抑制するよう報酬を与えた方法は GDPL より良好な性能を示した. 今後の課題として次を挙げる：アジェンダベース以外のシミュレータ（例えば, Variational Hierarchical User Simulator [9]）を用いた実験的分析および敵対的学習を用いた他手法への本分析の適用可能性の調査.

## 謝辞

本論文の作成にあたりご助力頂きました, 株式会社 AI Shift の友松祐太氏，杉山雅和氏，東佑樹氏，二宮大空氏，戸田隆道氏，株式会社サイバーエージェントの邊土名朝飛氏にこの場を借りて厚く御礼申し上げます.

## 参考文献

[1] Wai-Chung Kwan, Hongru Wang, Huimin Wang, and Kam-Fai Wong. A survey on recent advances and challenges in reinforcement learning methods for task-oriented dialogue policy learning, 2022.

[2] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. ConvLab-2: An opensource toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 142-149, 2020.

[3] Mehdi Fatemi, Layla El Asri, Hannes Schulz, Jing He, and Kaheer Suleman. Policy networks with two-stage training for dialogue systems. In In 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 101-110, 2016.

[4] Baolin Peng, Xiujun Li, Lihong Li, Jianfeng Gao, Asli Celikyilmaz, Sungjin Lee, and Kam-Fai Wong. Composite task-completion dialogue policy learning via hierarchical deep reinforcement learning. In Conference on Empirical Methods in Natural Language Processing, 2017.

[5] Baolin Peng, Xiujun Li, Jianfeng Gao, Jingjing Liu, KamFai Wong, and Shang-Yu Su. Deep dyna-q: Integrating planning for task-completion dialogue policy learning, 2018 .

[6] Huimin Wang, Baolin Peng, and Kam-Fai Wong. Learning efficient dialogue policy from demonstrations through shaping. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 63556365, 2020.

[7] Huimin Wang and Kam-Fai Wong. A collaborative multiagent reinforcement learning framework for dialog action decomposition. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7882-7889, 2021.

[8] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149152, 2007.

[9] Izzeddin Gür, Dilek Hakkani-Tür, Gokhan Tür, and Pararth Shah. User modeling for task oriented dialogues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 900-906, 2018.

[10] Jonathan Ho and Stefano Ermon. Generative adversarial imitation learning. In Advances in Neural Information Processing Systems, 2016.

[11] Justin Fu, Katie Luo, and Sergey Levine. Learning robust rewards with adverserial inverse reinforcement learning. In International Conference on Learning Representations, 2018.

[12] Bing Liu and Ian Lane. Adversarial learning of taskoriented neural dialog models. In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pp. 350-359, 2018.

[13] Ryuichi Takanobu, Hanlin Zhu, and Minlie Huang. Guided dialog policy learning: Reward estimation for multidomain task-oriented dialog. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 100-110, 2019.

[14] Brian D. Ziebart, Andrew Maas, J. Andrew Bagnell, and Anind K. Dey. Maximum entropy inverse reinforcement learning. p. 1433-1438, 2008.

[15] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialogue policy learning without adversarial learning in the loop. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 23082317, 2020.

[16] Akash Srivastava, Lazar Valkov, Chris Russell, Michael U. Gutmann, and Charles Sutton. Veegan: Reducing mode collapse in gans using implicit variational learning. In Advances in Neural Information Processing Systems, 2017.

[17] J. Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue Discourse, pp. 4-33, 2016.

[18] Sungdong Kim, Sohee Yang, Gyuwan Kim, and SangWoo Lee. Efficient dialogue state tracking by selectively overwriting memory. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 567-582, 2020.

[19] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, pp. 339-374, 2000.

[20] Andrew Y. Ng, Daishi Harada, and Stuart J. Russell. Policy invariance under reward transformations: Theory and application to reward shaping. In Proceedings of the Sixteenth International Conference on Machine Learning, p. 278-287, 1999.

[21] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, 2018.