# ペルソナ対話システムにおけるペルソナ選択と応答生成

吉田快 1,2 吉野幸一郎 ${ }^{2,1}$ 品川政太朗 1 須藤克仁 ${ }^{1}$ 中村哲 1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{yoshida.kai.yf1, koichiro, sei.shinagawa, sudoh, s-nakamura\}@is.naist.jp

## 概要

ペルソナ対話システムでは対話が進むのに従い,対話の文脈上生成された新しいぺルソナに相当する情報が現れる場合がある。この新しいぺルソナを考慮しない場合，対話文脈と矛盾した応答を生成することがあり得る。そこで本研究では，こうした新しいペルソナに相当する情報をペルソナプールに保持し，その中から対話の文脈に合わせて必要なぺルソナを選択し利用する枠組みを提案する。このため,人手によるペルソナ選択データセットの構築を行い，より良いペルソナ選択手法について分析を行つた. 構築したデータセットを用いたペルソナ文選択の評価では, 名詞ベース選択の手法が既存の文べー ス選択の手法より精度が高いことを確認した。

## 1 はじめに

近年大規模言語モデルやその周辺技術の発展により，対話システムは与えられた文脈に対して自然な応答生成が可能となった. この結果, 次のステージの対話システム研究，例えばシステム自身の発話との整合やシステムに与えられた役割の保持などを目的とするもの，が増えている．例えばペルソナ対話 [1] は，システムにあらかじめ与えられたペルソナに従った発話を行わせることにより，応答の不整合問題を解決しょうとする研究のアプローチである $[2,3,4]$. ペルソナの表現方法は大きく分けて 2 種類あり，「私は犬を飼っています」のように文形式で明示的に与える場合 $[1,3,4]$ や，特定のユーザの対話データを基に学習されるユーザ表現ベクトル $[2,5]$ のような, 文によらない暗黙的な表現を用いる場合がある. ペルソナ対話システムの多くの先行研究では, Transformer [6] による事前学習済み言語モデルをペルソナ対話のデータセットで微調整する方法が採用されてきた. ペルソナ対話用のデータセットには PersonaChat [1] と呼ばれるデータセットがよく用いられており, PersonaChat の日本語版デー
タセットである JPersonaChat [7] も公開されている.

既存の多くのペルソナ対話システムは, 大規模言語モデルをはじめとする大量の学習データで事前訓練された学習済み言語モデルを活用する。このような場合，対話システムが生成する内容に，与えたペルソナに含まれない事実が含まれる幻覚 (Hallucination [8]）という現象が発生することがある. 例えば，「私は北陸に住んでいます」というぺルソナのみを事前に与えられたシステムが「私は現在休職中です」のような発話を生成した場合，この新しい「休職中」という情報もその後の応答生成で考慮しなければ応答の一貫性が保たれない。

ペルソナ対話システムに関する先行研究では, こうした不整合に対応するため，応答生成モデルが生成した内容に応じてシステムのペルソナを逐次的に更新する手法が提案されている $[9,10]$. これらの手法では，システムが生成した応答文からペルソナとみなすことができる部分を抽出し，外部义モリに記憶する。この際問題となるのは，入力となるペルソナが逐次的に増える点である. 対話が進むにしたがい，利用しうる新しいペルソナは単調に増加する。 そのため，訓練時に想定されていない数のペルソナを扱うことは考慮されておらず，応答生成に悪影響を及ぼしうる。

この問題に対し，入力されたユーザ発話毎に適切なペルソナのみを選択し，選択したペルソナを入力して応答生成を行うことで，システムの応答精度を高めることが期待できる. 対話の文脈に応じて新しいペルソナから必要なペルソナを選択して利用する場合，応答に使うべきペルソナの選択は再現率を下げないようにしつつ，適合率を上げることが必要である. こうした目的では，類似する可能性が高いぺルソナ候補をできるだけ網羅できるような基準を用いることが重要である.この観点から本研究では， ペルソナ対話システムにおけるペルソナ選択の有効性を確認すると共に，どのような基準で選択することがどのような場面で有効か明らかにする。

図 1 ペルソナ更新可能な対話システムの例

## 2 ペルソナ更新とペルソナ選択

本節ではまずペルソナ更新システム $[5,9]$ について説明する。 さらに，更新によってプールに蓄積されたペルソナを選択する機構について説明する。また，この選択における選択基準について説明する。

## 2.1 ペルソナ更新とペルソナ選択機構を持 つペルソナ対話システム

ペルソナ更新機構を持つペルソナ対話システムの全体像を図 1 に示す.まず，ペルソナ対話システムは，与えられたペルソナと対話履歴を入力として応答を生成する。この対話の流れの中で,「私は現在休職中でしてね」のように，新しいペルソナに相当する情報が応答生成モデルから生成される場合がある. このとき, ペルソナ生成器がペルソナ更新として，対応するペルソナ文をペルソナプールに保存する（追加されたペルソナ: 私は現在休職中でしてね). ペルソナプールへの追加は先行研究 [3] に従い，以下のルールを満たすものを抽出・記憶する。
1. 4 から 20 の単語 (句読点を含む) で構成される

2. ”私”か”わたし”という単語を含む

3. 名詞, 代名詞, 形容詞のうち少なくともどれか 1 つを含む

それ以降の応答生成を行う際に，このペルソナプールから現在の対話文脈に合わせて利用するべきペルソナを選択する. このペルソナ選択によって選択されたペルソナのみが応答生成モデルに与えられ，次の応答生成に用いられる。

## 2.2 ペルソナ選択手法

ペルソナ選択においては，文の表層における類似として Transformer ベースの構造を持つ ERNIE [11] を用いる手法が提案されている（文ベース選択 [9]）. しかしこの方法では，文構造や表現など表層における類似が重視され，内容に関する考慮が軽視されがちという問題があった．そこで本研究では，特に内容語に注目し，発話中に生じた名詞を抽出して用いる手法を提案する. 文脈となるユーザ発話とペルソナプール中のペルソナ文からそれぞれ抽出された名詞を全て word2vec によってべクトル化し，総当たりでコサイン類似度の計算を行う．このうち各ペルソナ文が持つ最大値をそのペルソナ文が持つユーザ発話に対する類似度として扱う（名詞べース選択）.

文ベース選択では, 入力発話文とメモリに存在する全てのペルソナ文について特徴抽出を行い，入力発話文とペルソナ文間のコサイン類似度を計算し，閾値以上の類似度となったペルソナ文をすべて選択する. 文からの特徵抽出は bert-large-japanesev2 の最終層の埋め込みの average pooling によって行った.名詞ベース選択では，まず，入力発話文と各ペルソナ文を形態素解析器である MeCab [12] と辞書の ipadic によって名詞のみを抽出し, word2vec により単語べクトルとした. 続いて，入力発話文とペルソナ文に含まれる全ての名詞の組の間で単語ベクトルのコサイン類似度を計算し, 最も高い類似度となる組が持つ類似度を当該文対の類似度とした. 名詞べース選択でも文ベース選択と同様に閾值を設定し，閾値を超えたペルソナ文をすべて選択する。

## 3 実験

本研究では，ペルソナ選択器として文ベース選択と名詞べース選択の 2 種類の選択器について検証を行う。まず，文べース選択と名詞ベース選択のペルソナ選択器について, それぞれの選択がどの程度適切に行われているかを人手で構築されたテストデー タによって評価する。また，それぞれのぺルソナ選択手法に基づいてぺルソナ更新・選択を行うペルソナ対話システムを構築し，それらを用いて対話実験を用いた場合の人手評価を行う．以降ではそれぞれの実験設定について説明する。

## 3.1 ペルソナ選択の評価

JPersonaChat の一部を抽出し，その対話の文脈において利用可能なぺルソナ候補文の中からどの文が対話応答に利用されたかのアノテーションを付与したテストデータを構築した ${ }^{1)}$. 具体的には，以下のような手順によってアノテーションを行った.

1. JPersonaChat から同じ名詞を共有していない発話 $u$ ，ペルソナ文 $p_{n}$ を事前に選別
2. $u$ と $p_{n}$ を評価者に提示

3. 評価者は各 $u$ と $p_{n}$ を比較し, 各 $p_{n}$ に「反映されていない」と「やや反映されている」，「反映されている」3 通りのラベルを付ける

事前に 1000 件選別したペルソナに対し， 1 件あたり 3名がラベル付けを行った.「反映されていない」を 0 「「や反映されている」を 1 ，「反映されている」 を 2 としてラベル付けを行い，3名のラベルの総和が 3 を超えるもののみを「応答生成に用いられたぺルソナ文」として付与した.

## 3.2 ペルソナ対話システムでの評価

## 3.2.1 自動評価指標

応答生成モデルの正確さを測るために，テストデータ中の正解応答に対する応答生成モデルの尤度の代わりに用いられているテストセットパープレキシティ (PPL)を用いる．PPL は低いほど，応答生成モデルがテストデータに近い応答生成を行っていることを示す.

## 3.2.2 人手評価

ペルソナ選択による応答への影響を確認するため, 複数ターンの文脈が存在する状態での応答生成

を行い生成結果を評価する。ここでは, JPersonaChat に含まれる会話文を用いて，疑似的に複数ターンが与えられた場合の応答生成を行った. 具体的には, JPersonaChat であらかじめ定義されている 5 つのぺルソナ，対話履歴として 12 ターン（6応答ペア）の履歴を提示し，それらを入力として生成されたシステム応答をあわせて評価者に提示した.この際， 1 手法あたり 4 件，計 16 件を 1 セットとして，各 1,000 件のデータに対して 250 名の評価者をクラウドソーシングで以下の 3 件を付与した.

自然性自然な応答をしているか

会話履歴の反映度生成した応答に与えた対話履歴の内容が反映されているか

ペルソナ文の反映度生成した応答に対話履歴の内容が反映されているか

対話実験は次の 4 通りのモデルで実験を行った。

1. ベースライン Japenese Transformer [7]

2. 更新のみ Japenese Transformer + ペルソナ更新

3. 文ベース選択 Japenese Transformer + ペルソナ更新 + 文ベース選択

4. 名詞ベース選択 Japenese Transformer + ペルソナ更新 + 名詞ベース選択

## 4 実験結果

## 4.1 ペルソナ選択の精度

最初に，文ベース選択，名詞ベース選択それぞれの手法で選択を行った場合の ROC 曲線および Precision-Recall 曲線を図 2 および図 3 に示す.これらの図から，全体の傾向として名詞べース選択が文ベース選択よりも Recall/FPR に対して高い Precision/TPR を達成していることが確認でき，より良いペルソナ選択ができていることがみて取れる.また，このテストデータによって $\mathrm{F} 1$ 値が最大となるような値を選択することで最適な閾値を設定し, 文ベース選択が 0.72 , 名詞ベース選択が 0.39 となった.

最適な間値を設定した際の，文ベース選択と名詞ベース選択の選択精度を表 1 に示す. 結果から，提

表 1 選択の評価

 & 0.184 & $\mathbf{0 . 9 7 1}$ & 0.158 & 0.272 \\

案する名詞ベース選択は 7 割近い Accuracy を達成した. また，文べース選択は Recall は高いものの， Accuracy や，F1 が低い結果となった. この結果から, 全体の傾向として名詞ベース選択は文ベース選択よりも良い選択を実現可能であることが示せた.

図 2 名詞ベース選択 (青) と文ベース選択 (橙) の Precision-Recall 曲線

図 3 名詞ベース選択 (青) と文ベース選択 (橙) の ROC 曲線

## 4.2 生成された応答の評価

## 4.2.1 自動評価

4.1 節で得られた閾値を用いて実際にユーザ発話によって使用するペルソナ文を選択し，評価した結果を説明する。まず，自動評価におけるテストセットパープレキシティ（PPL）を表 2 に示す.

表 2 応答生成における PPL. $p_{\text {avg }}$ は応答生成使用されたペルソナの数の平均を表す。

文ベースと名詞ベース選択によってベースラインよりも PPL の低下が確認できた．また，更新のみの手法では応答に使用するペルソナ数が増加しているが，更新と選択を導入した手法では更新のみの手法よりも応答に使用するぺルソナ数を削減できた. 特
に名詞ベース選択は，入力するペルソナ数を大幅に削減しつつ，最も低い PPLを達成できた。

## 4.2.2 人手評価

人手評価の結果を表 3 に示す.

 &  \\

ベースラインと比較して，更新を取り入れた手法はすべて自然性と対話履歴の反映度が向上していることが確認できた．また，更新あり手法に選択を加えた場合は自然性と対話履歴の反映度が低下する反面，ペルソナの反映度が向上する結果となった. しかし, 手法間の有意差を示すためにマンホイットニ一の U 検定により，名詞ベース選択とその他の手法での評価指標ごとの有意差の確認を有意水準 $5 \%$ で行った。その結果，各手法間の有意差は確認できなかった。

## 5 まとめ

本研究では, ペルソナ対話システムが自身の過去の応答内容に対して一貫性を持った応答を行うことを目的として，ペルソナの更新と選択を取り入れた対話システムを提案しその評価を行った。応答文と利用されたペルソナの対応について人手で紐づけたテストデータを構築し評価した結果，提案する名詞ベース選択手法はより良いペルソナ選択を実現できていることがわかった. さらに，ペルソナ選択を導入した応答生成ではペルソナ選択によりペルソナ数を削減した上で PPLを改善できることが確認された。

対話実験では、ペルソナ選択を行う場合と行わない場合（更新のみ）で人手評価値に大きな差がつかなかった. 今回，実験に用いた対話履歴はそれほど長くなく, 結果として既存の対話モデルでもうまく応答生成が行える設定になっていた可能性が考えられる. こうした問題について議論するためには，さらに長い対話履歴や特定の個人との長期間にわたる対話において，提案したようなペルソナ選択に基づく手法がうまく動作するかを議論する必要がある.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A personabased neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Pierre-Emmanuel Mazaré, Samuel Humeau, Martin Raison, and Antoine Bordes. Training millions of personalized dialogue agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2775-2779, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[4] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[5] Qian, et al. Learning implicit user profile for personalized retrieval-based chatbot. In Proceedings of the 30th ACM International Conference on Information \& Knowledge Management, pp. 1467-1477, 2021.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[7] Hiroaki Sugiyama, Masahiro Mizukami, et al. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[8] Ziwei Ji, et al. Survey of hallucination in natural language generation. ACM Comput. Surv., Vol. 55, No. 12, mar 2023.

[9] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Zhengyi Ma, et al. One chatbot per person: Creating personalized chatbots based on implicit user profiles. In Pro- ceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '21, p. 555-564, New York, NY, USA, 2021. Association for Computing Machinery.

[11] Sun, et al. Ernie 2.0: A continual pre-training framework for language understanding. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8968-8975, Apr. 2020.

[12] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

## A ペルソナ選択の評価者への教示内容

この作業では，発話文 1 文とプロフィール文 9 文を比較して，発話文に使われていると考えられるプロフィール文を選択していただきます。

## 【選択の条件】

- 発話文の根拠となっていそうなプロフィール文を選択してください

- 発話文にプロフィール文が含まれない場合は選択しないでください

- 発話文にプロフィールが複数含まれる場合は複数選択してください

- 発話文とプロフィール文に部分一致がある場合はそれを選択してください

- 発話文から容易に連想できる場合はそのプロフィール文を選択してください

## B 発話評価者への教授内容

1. 自然な応答ができているか
- 会話履歴の最後の発話に対して自然な応答ができている場合は「5」を選択してください

・明らかに不自然な応答の場合は「1」を選択してください
- それ以外の場合は，応答の自然さに応じて「2〜

4」を選択してください

2. 会話履歴を反映した応答ができているか

・ここでは，会話履歴にたいして自然な応答ができてるかは関係なく, 応答文に会話履歴の内容が反映されているかで選択を行ってください
- 応答文の中に会話履歴の中に登場するキーワー ド，もしくはそれに関連する情報が含まれている場合は「5」を選択してください
- 応答文に会話履歴の内容が含まれない場合は「3」 を選択してください

・過去の応答と矛盾した応答をしている際は「1」を選択してください

3. プロフィール文を反映した応答ができているか

・ここでは，応答文にプロフィール文が反映されて

いるかで選択を行ってください
- 応答文の根拠となっていそうなプロフィール文が 1 つでも応答文に反映されていれば「5」を選択してください

・応答文にプロフィール文が含まれない場合は「3」 を選択してください
・プロフィールと矛盾した発話をしている際は「1」 を選択してください

## C 評価の分布

各評価値の分布を図 4 と図 5 ，図 6 に示す.

図 4 自然性の分布

図 5 対話履歴の反映度反映度の分布

図 6 ペルソナの反映度の分布


# 知識グラフの対話システムへの記憶化 : 学習アプローチの探究

薛強 ${ }^{1}$ 滝口 哲也 ${ }^{1}$ 有木 康雄 ${ }^{1}$
1 神戸大学システム情報学研究科
xueqiang@stu.kobe-u.ac.jp takigu, ariki@kobe-u.ac.jp

## 概要

近年，対話システムの進化に伴い，生成される回答の質の向上が重要な課題となっている. 本研究では，知識グラフを対話システムに記憶させることにより，回答の質を向上させると同時に，回答中の幻想問題を軽減する方法を探究する．具体的には，知識グラフを記憶するための 3 種類の学習タスクを提案し，その有効性を検証する。実験結果から，一般的な知識検索対話システムと比較して回答の生成品質は向上しなかったものの，新たな可能性を探る一歩となった. 本研究は, 対話システムの質的向上と知識グラフの活用における新たな方向性を示唆している.

## 1 はじめに

オープンドメイン対話システムは，人工知能と自然言語処理の分野で重要な進展を遂げてきたが，依然として重大な課題に直面している。具体的には， これらのシステムにはしばしば一貫性のない回答や，事実上の誤りを含む回答を生成するという問題がある。この問題の原因は，文脈の深い理解不足や，特定の知識に基づく正確な回答の生成が困難であることに由来する.

このような背景のもと，知識ベース対話システムが提案され，注目を集めている。これらのシステムは，特定の知識ベースに基づいて情報を提供することで，回答の質と正確性を向上させることができる. たとえば, Young ら [1] や Huang ら [2] の研究では，知識ベースを活用することで，対話システムの回答精度が向上することが示されている。このアプローチは，情報量を増加させると共に，対話の一貫性を保つための重要な手段ともなっている..

一方で，知識検索対話システムは，Dinan ら [3] や Ghazvininejad ら [4] などの研究で示されるように，広範な情報源からのデータ検索に基づいて回答を生

図 1 二種類の知識ベース対話システム

成する。これにより，様々なトピックに対応する能力が向上するが，検索エラーや非効率性，関連性の低下などの問題も伴う.

これらの課題に対処するため，言語モデルのパラメータに直接知識を組み込む知識記憶対話システムの研究が進められている. Sun ら [5] の研究は, この新しいアプローチが知識検索プロセスを必要とせずに，高品質な対話を生成できることを示している.このようなシステムは，対話の自然さと応答性を大幅に向上させることが期待できる。

特に，知識グラフに基づく知識ベース対話システムは，構造化された知識形式を活用することで，より洗練された情報提供を可能にする．知識グラフを対話システムに記憶させることは，回答の正確性と関連性を大幅に向上させることができ，ユーザー体験の質を高めることが期待される。本研究では，この分野での新たな進展として，対話システムが知識グラフを効果的に記憶するための 3 つの異なる学習方法を提案し，その実用性と効果を検証する。

本稿では，まず知識検索対話システムと知識記憶対話システムについて述べる. 次に提案する対話システムについて述べる. 最後に提案する対話システムの実験と評価について報告する。

図 2 対話応答生成のための予測タスクと，提案された三つの学習タスクにおけるデータ処理の流れ.

## 2 関連研究

本章では，二種類の知識ベース対話システムについて述べる.

## 2.1 知識検索対話システム

オープンドメインの知識ベース対話 (KGD) において，人々は知識統合により意義ある対話を行って

手法が数多く研究され $[8,6,9]$, 知識選択 $[10,11]$ や応答生成 $[12,13]$ に焦点が当てられている. しかし, これらの手法は検索エラーや非効率性 [14]，多粒度知識の統合問題 [15] などの課題に直面している.

## 2.2 知識記憶対話システム

言語モデル (LM) は，大量の知識をパラメータに記憶し，会話において有益な応答を生成する能力を有している [16]. LM が知識ベースとして機能することは Petroni らによって示され [17], これは質問応答タスクなどにおいても有効であることが明らかになっている [18]. その一方で，LM ベースの手法は誤情報，いわゆる「幻覚」の問題を引き起こす可能性があり，これは対話システムの信頼性に影響を及ぼす. MixCL[5] は，主にテキストベースの知識デー タにおける幻覚を低減する効果があるが，構造化された知識グラフデータに対しては十分な効果を発揮できない. 本研究では, 知識グラフデータを用いた知識記憶対話システムの性能向上を目指し，幻覚問題を軽減するための異なる学習手法を提案する.

## 3 提案学習アプローチ

本章では，知識グラフを知識記憶対話システムに覚えさせるために，提案する対話システムが用いる四つの学習アプローチについて述べる.

## 3.1 Task 1 ：対話応答の予測

対話履歴を $C$, 目標とする応答を $\left(x_{1}, \ldots, x_{L}\right)$ とした場合，モデルの学習は，以下の負の対数尤度を最小化することにより行われる.

$
L_{\mathrm{LM}}=-\sum_{i=1}^{L} \log P\left(x_{i} \mid C, x_{1}, \ldots, x_{i-1}\right)
$

学習された生成言語モデルを利用し, 対話システムは適切な応答を生成する能力を獲得する。

## 3.2 タスク 2: ランダム知識グラフの予測

このタスクでは、知識グラフ $G$ から抽出されたサブグラフ $G_{\text {sub }}$ を注目し、このサブグラフを知識トリプルのテキスト形式の集合として表現する。各知識トリプル $g_{i}$ は $\left(w_{i 1}, w_{i 2}, w_{i 3}\right)$ として表され、ここで $w_{i 1} 、 w_{i 2} 、 w_{i 3}$ はそれぞれトリプルの要素 (エンティティや関係）を表す単語である。サブグラフの長さを $L$ とし、モデルの入力はサブグラフ $G_{\mathrm{sub}}$ の先頭からランダムに選択された位置 $r-1$ までの知識トリプルの集合 $\left(g_{1}, \ldots, g_{r-1}\right)$ となる。目標はこの入力に
基づいて、続く知識トリプルの集合 $\left(g_{r}, \ldots, g_{L}\right)$ を予測する。ここで、 $r$ は 1 と $L$ の間でランダムに選ばれるインデックスである。モデルの学習は, 以下の負の対数尤度を最小化することにより行われる。

$
L_{\mathrm{RKG}}=-\sum_{i=r}^{L} \log P\left(g_{i} \mid g_{1}, g_{2}, \ldots, g_{i-1}\right)
$

## 3.3 タスク 3 : 関連知識グラフの予測

本タスクでは，対話データと関連する知識グラフを組み合わせることにより，与えられた対話コンテキストに基づいて最も関連性の高いサブグラフを予測することを目的としている. 対話履歴を $C$, 関連する知識グラフのサブグラフ $G_{\text {sub }}$ を知識トリプルのテキスト形式の集合 $\left(g_{1}, \ldots, g_{r-1}\right)$ として表現する. タスクの入力として対話履歴 $C$ が与えられ, 目標として知識グラフから関連するサブグラフ $G_{\text {sub }}$ を予測する. モデルの学習は, 以下の負の対数尤度を最小化することにより行われる。

$
L_{\mathrm{CKG}}=-\sum_{i=1}^{L} \log P\left(g_{i} \mid C, g_{1}, g_{2}, \ldots, g_{i-1}\right)
$

## 3.4 タスク 4：誤った知識グラフの識別

このタスクでは，Sunによる研究 [5]を参照し，対話システムにおける「幻覚」の問題を緩和するために，対照学習手法を採用している. タスク 3 で生成された関連知識グラフ $G_{\text {sub }}$ から, エンティティや関係をランダムに別のエンティティや関係に置換し， その結果得られる誤った知識を負の例として使用する. モデルは, 誤った知識 (負の例) の対数尤度を最小化し, 同時に正しい知識 (正の例) の対数尤度を最大化するように学習される。

このプロセスを数式化すると，次のようになる。

$
L_{\mathrm{CL}}=-\sum_{i=1}^{L}\left[\log P\left(g_{i} \mid C, G_{\mathrm{pos}}\right)-\log P\left(g_{i} \mid C, G_{\mathrm{neg}}\right)\right]
$

ここで， $C$ は対話コンテキスト， $G_{\mathrm{pos}}$ は正しい知識の集合, $G_{\mathrm{neg}}$ は誤った知識の集合を表している. このようにして，モデルは誤った情報を識別し，正しい情報を強化することを学習する。

全体の損失関数は，各タスクに対する損失の加重和である.

$
L_{\mathrm{Total}}=\alpha L_{\mathrm{LM}}+\beta L_{\mathrm{CKG}}+\gamma L_{\mathrm{RKG}}+\delta L_{\mathrm{CL}}
$

ここで, $\alpha, \beta, \gamma, \delta$ は各損失関数の重要度を調整する超パラメータである.

## 4 実験と評価

本章では，以下 2 つの角度から提案手法の性能を考察するための実験について述べる：

・異なる対話システムの性能比較: 4.2 節

・提案する異なるタスクの性能比較: 4.3 節

## 4.1 実験設定

実験データセットは OpenDialKG [19]を用いる. OpenDialKG は, 本と映画についての推薦対話が含まれている雑談対話データセットである．話者は常に構造化知識中のエンティティを含む発話を行い，関連知識に基づいた推薦対話が行われている. 実験で用いたハイパーパラメータの設定を表 1 に示す.

実験評価では，正解性と多様性の二つの角度から応答文の質を評価する。 応答正解性の評価指標としては，応答と正解文の F1 スコア（F1），応答文と正解文の類似度を表す BLEU-n (B2,B4) [20], Meteor [21]を用いる. 応答多様性の評価指標として, 応答文に含まれる n-gram の種類数を表す DIST-n（D2， D3）[22]を用いる。応答に含まれる知識の正解性の評価指標としては, 応答知識と正解知識の F1 スコア (KF1) と, 応答エンティティと正解エンティティに対する F1 スコア（EF1）を用いる.

## 4.2 対話システムの比較実験

本実験では以下三つの対話システムを比較対象とする：

・知識なし対話システム：知識データを使用せず，対話の自然さと流暢さを重視したシステム。

・知識検索対話システム：目標知識データに基づいて学習と推論を行い，知識を取り入れたシステム.

・知識記憶対話システム: 本研究で提案するアプローチであり，知識グラフのデータを直接言語モデルのパラメータに組み込むことで，推論時の知識検索を必要としない.

表 2 各モデルによって生成された応答文の評価結果.

各対話システムの応答文生成評価結果を表 2 に示す. 提案システムは，特に応答多様性の指標（D2， D3）で優れた性能を発揮しており，これはシステムが生成する応答の幅広さと創造性を反映している. 知識正解性 (KF1, EF1）においては, 現段階では知識検索対話システムに劣るものの，構造化された知識べースとの連携強化など，今後の改良が期待できる.

表 3 の対話例 1 において，知識がない状態では，知識検索対話システムは「Sorry I don' $t$ have that information.」と回答し，利用可能な情報がない場合の限界を示している。一方，提案システムは検索に依存しないが，不正確な情報を生成することがあり，「2012」という幻覚に陥っている。この問題は，提案システムが知識を内部化しているものの, 正確性を保証するメカニズムがまだ不十分であることを示しており，今後の改善が必要であることを示唆している. 生成例 2 では、知識検索対話システムは提供された知識を利用して適切な応答を生成し、提案システムは学習で得た知識を活用して、検索を必要とせずに関連する回答を生成している。

## 4.3 アブレーション実験

本実験では，3章で述べた異なるタスクの性能を比較した. 表 2 下半部分に，異なるタスクの構成で学習されたシステムによって生成された応答文の評価結果を示す. $L_{R K G}$ を除外した場合、応答正解性と知識正解性の両方で性能が低下しており、この損失がシステムの全体的な性能向上に寄与していることが示されている。また、 $L_{C K G}$ を除外すると、応答多様性が低下し、知識正解性にも悪影響を与えていることが観察される。一方で、 $L_{C L}$ を除外した場合は、応答正解性にはあまり影響がないものの、応答多様性と知識正解性には若干の低下が見られる。

## 5 おわりに

本研究では，知識検索に依存せずに動作するオー プンドメイン対話システムの知識記憶アプローチを探求した. 提案システムは応答の多様性と流暢さを向上させるものの, 実験結果は幻覚の問題を浮き彫りにした。これは知識統合の過程での課題であり,今後の改善の必要性を示している.

## 謝辞

本研究の一部は，JSPS 科研費 JP21H00906 の支援を受けたものである。

## 㚜责文献

[1] Tom Young, Erik Cambria, Iti Chaturvedi, Minlie Huang, Hao Zhou, and Subham Biswas. Augmenting end-to-end dialog systems with commonsense knowledge. Proceedings of AAAI, 2018.

[2] Minlie Huang, Xiaoyan Zhu, and Jianfeng Gao. Challenges in building intelligent open-domain dialog systems. ACM Transactions on Information Systems (TOIS), Vol. 38, No. 3, p. 1-32, 2020.

[3] Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander H. Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Vlad Serban, Ryan Lowe, et al. The second conversational intelligence challenge (convai2). In Proceedings of NeurIPS Conversational Al Workshop, 2019.

[4] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen tau Yih, and Michel Galley. A knowledge-grounded neural conversation model, 2018.

[5] Weiwei Sun, Zhengliang Shi, Shen Gao, Pengjie Ren, M. de Rijke, and Zhaochun Ren. Contrastive learning reduces hallucination in conversations. In AAAI Conference on Artificial Intelligence, pp. 13618-13626, 2023.

[6] Tom Young, E. Cambria, Iti Chaturvedi, Hao Zhou, Subham Biswas, and Minlie Huang. Augmenting end-to-end dialog systems with commonsense knowledge. In AAAI, 2018.

[7] Minlie Huang, Xiaoyan Zhu, and Jianfeng Gao. Challenges in building intelligent open-domain dialog systems. ACM TOIS, Vol. 38, pp. 1 - 32, 2020.

[8] Shuman Liu, Hongshen Chen, Zhaochun Ren, Yang Feng, Qun Liu, and Dawei Yin. Knowledge diffusion for neural dialogue generation. In ACL, pp. 74-81, 2018.

[9] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In ICLR, 2019.

[10] Chuan Meng, Pengjie Ren, Zhumin Chen, Weiwei Sun, Zhaochun Ren, Zhaopeng Tu, and M. de Rijke. Dukenet: A dual knowledge interaction network for knowledgegrounded conversation. In SIGIR, pp. 1151-1160, 2020.

[11] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of EMNLP, pp. 3784-3803, 2021

[12] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pre-trained language models. In EMNLP, pp. 3377-3390, 2020

[13] Chujie Zheng and Minlie Huang. Exploring prompt-based few-shot learning for grounded dialog generation, 2021.

[14] Yan Xu, Etsuko Ishii, Zihan Liu, Genta Indra Winata, Dan $\mathrm{Su}$, Andrea Madotto, and Pascale Fung. Retrieval-free knowledge-grounded dialogue response generation with adapters. In ACL — Workshop on DialDoc, pp. 93-107, 2022.

[15] Zhiyong Wu, Wei Bi, Xiang Li, Lingpeng Kong, and Benjamin C.M. Kao. Lexical knowledge internalization for neural dialog generation. In ACL, pp. 7945-7958, 2022.

[16] Yufan Zhao, Wei Wu, and Can Xu. Are pre-trained language models knowledgeable to ground open domain dialogues?, 2020

[17] Fabio Petroni, Tim Rocktäschel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H. Miller, and Sebastian Riedel. Language models as knowledge bases? In EMNLP, pp. 2463-2473, 2019.

[18] Adam Roberts, Colin Raffel, and Noam M. Shazeer. How much knowledge can you pack into the parameters of a language model? In EMNLP, pp. 5418-5426, 2020.

[19] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, 2019.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 311-318, 2002.

[21] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, editors, Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. arXiv preprint arXiv:1510.03055, 2015.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# キャッチコピー共同作成対話コーパスにおける 発話と編集および参照の分析

周旭琳 市川拓茉 東中竜一郎
名古屋大学大学院情報学研究科
\{zhou.xulin.j3@s.mail,ichikawa.takuma.w0@s.mail,higashinaka@i\}.nagoya-u.ac.jp

## 概要

本研究では，共同作業を行う対話システムの構築に向けて，人間が共同作業を行っているデータの分析を行う．使用するデータは，人間同士が対話しながらキャッチコピーを共同で作成するタスクに取り組んだ対話データである．分析では，発話及びキャッチコピー編集の発生有無と，キャッチコピー 編集欄の位置を指し示す記号による絶対参照表現の発話内での使用有無に着目した. その結果，活発に発話やキャッチコピーの編集を行う対話は作業者の自己評価が他より高くなる傾向があることや，絶対参照が多く使用されるほど評価が高い傾向があることが分かった.

## 1 はじめに

対話システムが普及し，社会に広まるにつれて，人間と共同作業する対話システムの構築が盛んになってきた $[1,2,3]$. しかし, その多くは問題解決のための対話 $[4,5]$ やユーザからの命令にシステムが従うシステム $[6,7,8]$ が中心であり，ユーザと創造的な共同作業を行うシステムに関する研究はいまだ少ない.

我々はこれまで，共同作業が可能な対話システムの構築を目指し，そのための基礎データとして共同作業を行う際の人間のコーパスを収集してきた. 具体的には，対話をしながら共同でキャッチコピーの作成を行うコーパスを収集した $[9,10]$. このコーパスを分析することで，人間同士の共同作業についての知見が得られ，共同作業を行う対話システムの構築に役立つと考えられる。

本稿では，発話とキャッチコピー編集の発生有無に着目した分析および，発話内でのキャッチコピー 編集欄を示す記号による参照表現の使用有無に着目した分析を行う。

図 1 キャッチコピー共同作成タスクの概略図

## 2 キャッチコピー共同作成対話コー パス

我々は，創造的な共同作業としてキャッチコピー 共同作成タスクを設定し，人間同士の共同作業のコーパス（キャッチコピー共同作成対話コーパス） を収集した $[9,10]$. キャッチコピー共同作成タスクでは，提示される両作業者共通の商品説明を参考に，テキストチャットを用いた対話を行いながら，作業相手とテキストボックスを共同編集しキャッチコピーを作成する。表 1 は収集された対話から抜粋した対話例である。この対話例では焼酎についてキャッチコピーを作成している。

本コーパスには，のべ 105 人のクラウドワーカによって実施された， 782 対話が含まれている。一対話の制限時間は 30 分である.

作業者にはキャッチコピーの対象となる商品の商品説明を提示した. 作業者のインタフェースには， 8 つのテキストボックスからなるキャッチコピー編集欄を設け，両作業者が共有・編集しあうことを可能にした。作業者が特定のテキストボックスを示しやすいよう，テキストボックスの左には，それぞれ $\mathrm{A} \sim \mathrm{H}$ のアルファベットのラベルを付けた. テキストボックス内に文字を入力すると，その変更が作業相手の見ている画面にも即座に反映され，また，編
表 1 対話例. $U_{1}, U_{2}$ はそれぞれ作業者を指す. 灰色の行はキャッチコピー編集欄の編集を示す.

 \\

## 集が記録された。

作業後には作業自体や作成したキャッチコピーについての自己評価をアンケートにより調査した. 表 2 はアンケートの質問項目である.

## 3 発話と編集の流れの分析

キャッチコピー共同作成タスクの作業時間中は, キャッチコピーの編集と発話という 2 種の操作を行うことができる. 我々は 2 種の操作が作業時間中にどのように発生することで作業が進んでいるかを明らかにするために，ある時間区分中での 2 種の操作両方の発生有無を考慮した作業の流れのクラスタリングを行った。 さらに，成果物であるキャッチコピーに対する評価値や作業者自身の作業に対する評価を発話と編集の流れのクラスタごとに調べ，どのような関連が見られるかを調査した。

まず，発話と編集の流れの分析のために，30 分のデータを 1 分ごとに区切り，それぞれの 1 分間にどのようなログが存在するかに着目した. ここで， 1 分間に存在するログの種別ごと（発話 (chat) またはキャッチコピーの編集 (edit)）について，それぞれ何人のログが存在するか（0 人， 1 人， 2 人）の組み合わせをその 1 分間の状態として定義した. つまり， 1 分間の状態の種類は， 3 の 2 乗で 9 種類となる. 例えば，ある 1 分間に二人ともがキャッチコピーを編集し，一人はさらにチャットも送信していた場合， その 1 分間の状態は chat が一人で edit が二人のため ch1 ed2 と表現される. 1 作業は 30 分のため，各対話は，このような状態が 30 個並んだ形の状態べクトルで表現される.この状態べクトルを $k$-modes [11] でクラスタリングし，発話と編集の流れの分類を行った. クラスタ数はエルボー法 [12]により6ク

図 2 発話と編集の流れのクラスタリング結果. X 軸は開始からの経過時間（分）を示し，Y 軸の値はそれぞれの 1 分間の状態を表す. 円形のマーカは，当該経過時間の区切りにおいて Y 軸の状態である作業の割合を，色の濃さによって示している．色が濃いほど，同一クラスタ中でそのマーカに当てはまる作業数の割合が多いことを意味する.

ラスタと決定した。

図 2 は，クラスタリングの結果および，それぞれのクラスタに分類された作業の状態ベクトルを示している。赤線は各クラスタの centroid を表す.

各クラスタがどのような流れで発話と編集を行っていると考えられるかを説明する。

Cluster 1: 開始直後 2 分ほど会話したのち，15 分程度は散発的にチャットを挟みながら，主にキャッチコピーの編集を行っている。その後は最後まで 1 分間ログがない状態が起こる程度の遅いぺースでチャットや編集を行っている.

Cluster 2: 30 分間を通して両者が速いペースで
表 2 アンケートの質問項目

Q1. (自分主張) 今回の共同作業では，あなたの考えや意見を主張することができましたか

Q2.（相手主張）今回の共同作業では，作業相手の方は意見や考えを主張していましたか

Q3.（合意）今回の共同作業では，話し合いによって合意に至ることができましたか

Q4. (異論) 今回の共同作業では，あなたと作業相手の意見が分かれることはありましたか

Q5. （アイデア）今回の共同作業では，あなただけでは思いつかなかったようなアイデアが出ましたか

Q6. (満足) 今回の共同作業に対して満足できましたか

Q7. （親しみ）作業相手に親しみを感じますか

Q8. (興味) 今回の共同作業で二人で作成したキャッチコピーは，目にした人の興味を引くと思いますか

Q9. （想像）今回の共同作業で二人で作成したキャッチコピーは，見る人の想像を膨らませることができると思いますか

チャットを行っており，並行してキャッチコピーの編集を行っている。

Cluster 3: 開始から 10 分程度の間はチャットを行っている. その次の 10 分程度は散発的にチャットを挟みながら主にキャッチコピーの編集を行っている. 最後の 10 分程度は主にチャットを行いながらしばしばキャッチコピー の編集を行っている.

Cluster 4: クラスタ 2 と同様に 30 分間を通して両者が速いペースでチャットを行いながら，並行してキャッチコピーの編集を行っている. キャッチコピーの編集はクラスタ 2 よりさらに頻繁に行われている。

Cluster 5: 開始から 5 分程度の間はチャットを行う. その後 15 分程度はクラスタ 4 よりも遅いペースでチャットとキャッチコピーの編集を並行して行っている. そして, 最後の 10 分程度は主にチャットを行いながらキャッチコピーの編集を行っている.

Cluster 6: 開始直後 4 分ほどチャットを行ったのち，10 分程度は散発的にチャットを挟みながら，主にキャッチコピーの編集を行っている。 その後は最後まで主にチャットを行いながら，散発的に編集を行っている.

作業者にとって満足度が高い発話と編集の流れはどのようなものなのかを明らかにするため，クラスタごとの作業後アンケートの各項目の平均スコアを計算した. さらに，Steel-Dwass の多重比較 [13] を用いて，クラスタ間の差が有意かを調べた。

表 3 にクラスタごとの結果を示す. 作業者の自己評価の値は，クラスタ 2 とクラスタ 4 において高かった. この 2 つのクラスタはどちらもチャットを行いながら並行してキャッチコピーの編集を行う流れで作業を進めている. こまめに意見やアイデアの主張，合意の確認などを行っており，意見が異なることに気づく回数も増え, Q1-Q5 の自己評価が大きい値になったと考えられる．また，他のクラスタと比べて作業相手とチャットをしている時間が長くなるため，満足度が高く，作業相手へ親しみを抱きやすくなり Q6や Q7 が高い值になったと考えられる. キャッチコピーの評価に関しては，Q9 はどのクラスタ間にも有意な差は見られなかったが，Q8ではクラスタ 2 とクラスタ 5 ，クラスタ 4 とクラスタ 5 の間に有意な差が見られた。

以上の分析より，発話と編集の流れはいくつかのクラスタに分かれることが分かった. また，クラスタごとの自己評価は作業中にチャットとキャッチコピーの編集を並行して頻繁に行っている場合に高くなることが分かった.

## 4 絶対参照の発生パターンの分析

キャッチコピー共同作成タスクの一つの特徴は,作成中のキャッチコピーを参照しながら発話を行っている点である．参照には，例えば作成途中のキャッチコピーを示してそれについて議論する参照や，チャット内の単語から着想を得てその表現を含むキャッチコピーを作成する，といったものがある. ここでは，参照の中でも自動抽出が容易な， キャッチコピー欄を表すアルファベットである Aから H を発話中に含んでいる参照に着目し，これを絶対参照と定義する。この絶対参照と対話中の出現時間を考慮した分析を行う。

各対話の絶対参照の発生パターンは，3 節での分析と似た手法で作成する. 1 対話の 30 分の対話時間を 10 分ごとに区切り，それぞれ 10 分間に絶対参照を含む発話が 1 回でも起こっている場合は 1 ，起こっていない場合は 0 とする 3 ビット（8 種類）で表した. 例えば「011」は最初の 10 分間は絶対参照を含む発話が無く，中盤 10 分間と終盤 10 分間は両方とも絶対参照を含む発話が存在することを示す. 782 対話を 8 種のパターンに分類した。

表 4 は絶対参照の発生パターンに該当する作業の統計量および作業者の自己評価の平均スコアである. 多くの対話が絶対参照を含み，どちらかという
表 3 各クラスタの平均スコア. クラスタ番号の横の数值はれぞれのクラスタに分類された作業の割合 $(\%)$ を示す. 太字は各質問における最大値. 各質問において，上位 2 つのスコアについて下線を引いている。付き文字はこのクラスタ番号のクラスタよりも有意に值が高いことを示す（数字が一つのとき $p<0.05,2$ のとき $p<0.01$ ）.

表 4 各絶対参照パターンの統計量および平均スコア. パターンの説明は 4 節を参照. 太字は各項目における最大值.

と序盤よりも終盤に存在する傾向があると分かる。統計量からは，作業全体を通して絶対参照を行っている作業は平均発話数が増える傾向があることや,序盤は絶対参照を行わず終盤に絶対参照を行う作業は 1 発話の平均の長さが長いこと, 中盤に絶対参照を行う作業はキャッチコピー編集欄への書き込みや削除の文字数が多く，編集が盛んに行われていることが分かる．作業者の自己評価からは，序盤に絶対参照を行う作業は多くの項目で評価が高い傾向にあることが分かる. Q6 と Q7 は序盤に絶対参照があるとスコアが高くなる傾向があるのに対し，Q4 は終盤に近い時点に絶対参照があるほどスコアが高くなる傾向がみられた。

絶対参照の発生パターンの分析により，おおむね絶対参照が全体の広い範囲で行われているほど自己評価が高い傾向があり，適宜キャッチコピーの状態にグラウンディングをしながら対話することが重要であることが示唆された. また，絶対参照が存在した場合でも序盤か終盤かに応じて評価の傾向が異なることが分かった.

## 5 おわりに

本研究では，キャッチコピー共同作成タスクにおける対話データの分析を行った. 発話と編集の流れの分析では，パターンがどの程度あるか，チャットと編集，参照がどのようなパターンの時にどのように満足度が変化するかなどを分析した。その結果， チャットとキャッチコピーの編集を並行して頻繁に行っている作業の場合に，作業者の自己評価が高くなりやすいという知見を得た. 絶対参照発生パター ンの分析からは，絶対参照が広く使用されるほど自己評価が高い傾向があるという知見を得た。

今後は, 本研究で得られた知見を生かし, 人間と対話しながら共同でキャッチコピーを作成することのできる対話システムを構築したい. たとえば，GPT-4 [14]などの大規模言語モデルを使用し， チャットや編集を並列して行い，作成中のキャッチコピーへの参照を利用することのできるモデルの開発を行いたいと考えている。

## 謝辞

本研究は科研費「モジュール連動に基づく対話システム基盤技術の構築」(課題番号 19H05692)の支援を受けた。

## 参考文献

[1] 市川拓茉, 東中竜一郎. マルチエージェント強化学習に基づく共同作業を自律的に行う対話システムの最適化. 言語処理学会第 29 回年次大会発表論文集, pp. 1383-1387, 2023 .

[2] 江連夏美, 稲葉通将. 個人の特性に基づくブレインストーミング対話の分析. 人工知能学会第 99 回言語・音声理解と対話処理研究会, pp. 134-138, 2023.

[3] Piotr Mirowski, Kory W. Mathewson, Jaylen Pittman, and Richard Evans. Co-writing screenplays and theatre scripts with language models: Evaluation by industry professionals. In Proceedings of the $2023 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 355:1-:34, 2023.

[4] Koh Mitsuda, Ryuichiro Higashinaka, Yuhei Oga, and Sen Yoshida. Dialogue collection for recording the process of building common ground in a collaborative task. In Proceedings of the 13th Conference on Language Resources and Evaluation, pp. 5749-5758, 2022.

[5] Daniel Fried, Justin Chiu, and Dan Klein. Referencecentric models for grounded collaborative dialogue. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 21302147, 2021.

[6] Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. Collaborative dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5405-5415, 2019.

[7] Charles Rich, Candace L. Sidner, and Neal Lesh. Collagen: Applying collaborative discourse theory to humancomputer interaction. Al Magazine, Vol. 22, No. 4, p. 15, 2001.

[8] Daijin Yang, Yanpeng Zhou, Zhiyuan Zhang, Toby JiaJun $\mathrm{Li}$, and Ray LC. AI as an active writer: Interaction strategies with generated text in human-AI collaborative fiction writing. In Joint Proceedings of the IUI 2022 Workshops, Vol. 10, pp. 56-65, 2022.

[9] 周旭琳, 市川拓茉, 東中竜一郎. キャッチコピー共同作成タスクにおける対話の収集と分析. 人工知能学会第 36 回全国大会論文集, pp. 2A6GS603-2A6GS603, 2022 .

[10] 周旭琳, 市川拓茉, 東中竜一郎. 人間と共同でキャッチコピーを作成する対話システムの試作. HAI シンポジウム, 2023.

[11] Zhexue Huang. Extensions to the k-means algorithm for clustering large data sets with categorical values. Data mining and knowledge discovery, Vol. 2, No. 3, pp. 283-304, 1998.

[12] Robert L. Thorndike. Who belongs in the family? Psychometrika, Vol. 18, pp. 267-276, 1953.
[13] Meyer Dwass. Some k-sample rank-order tests. Contributions to probability and statistics, pp. 198-202, 1960.

[14] OpenAI. GPT-4 technical report. arXiv preprint arXiv:2303.08774, 2023.


# コンタクトセンターにおける 人と言語モデルの協働による対話データの作成

伊藤拓海 ${ }^{1,2}$ 阿部香央莉 1 日高雅俊 1,3 野田健一 ${ }^{4}$ 岩浅佑一 4

${ }^{1}$ Machine Learning Solutions 株式会社 ${ }^{2}$ Langsmith 株式会社

${ }^{3}$ Edge Intelligence Systems 株式会社 4 トランスコスモス株式会社

ito@langsmith.co.jp abe@machine-learning.co.jp hidaka@edgeintelligence.jp

\{noda.kenichi, iwasa.yuichi\}@trans-cosmos.co.jp
## 概要

コンタクトセンターにおける自然言語処理は顧客サービスの自動化と効率化において重要な役割を担っているが、個人情報や著作権等の観点から研究用として扱うことのできるデータは少ない。そこで本研究では研究用データの構築のため、仮想の家電メーカを設定し回答に必要なナレッジと対話データの作成に取り組んだ。特に、効率的なデータ作成と実用後の継続的なデータ収集を見据え、人と大規模言語モデルの協働によってデータを作成するアプローチを検討し、461 件のナレッジと 2,308 件の対話データを作成した。

## 1 はじめに

近年、大規模言語モデル（LLM）の登場により、 チャットボットの性能が飛躍的に向上している。そのチャットボットの主要な応用先として、コンタクトセンターでの利用が期待されている $[1,2,3]$ 。 チャットボットを導入することにより、24 時間対応やオペレーションコスト軽減が期待できる [4]。

しかし、チャットボットの実応用が進んでいる一方で、その研究開発のためのデータが限られているという現状がある。この要因は大きく二つあり、一つはコンタクトセンターのデータが個人情報等を含むため公開しにくいという点である [3]。またもう一つの点として、オペレータはカスタマーからの問い合わせを受け必要に応じてナレッジ等の資料を参照し回答を作成するが、既存の知識参照タスクのためのデータセットの多くが Wikipedia 等を参照しており [5]、実際のコンタクトセンターでのドメインとは大きくかけ離れているという点が挙げられる。

そのため我々は、実応用を志向したコンタクトセ

図 1 データ作成手法の概略図

ンターのチャットボット開発のためのデータセットの構築を目指す。今回は、家電におけるテクニカルサポート業務を想定して、対話データセットを作成する。仮想の家電メーカーを作成し、新たなナレッジを作成した。作成したナレッジに基づき、実際のコンタクトセンターのオペレータと LLM の協働によって対話データを作成を目指す。LLMを用いることで、十分な訓練データがない場合でも、プロンプトの調整によって、一定レベルの性能を持つ対話モデルの構築が期待できる。そのため、本研究では、オペレータがカスタマーのふりをして問い合わせをし、LLM の回答をオペレータが確認・修正を行うことで対話データを収集した。図 1 に本データ作成手法の概略図を示す。本研究にて、我々は 461 件のナレッジと 2,308 件の対話データを作成した。将来的には、LLM をコンタクトセンターにて実運用を行いながら継続的なデータ作成を行うことを目指している。
表 1 洗濯機・衣類乾燥機に関するナレッジの例タイトル給水ホース・排水ホースは自分で交換可能ですか?

文章給水ホースはお客様ご自身での交換が可能です。排水ホースは外に出る蛇腹部分が外付となる外部排水ホース部分については交換可能です。製品を購入された販売店で在庫・価格などご確認の上でご注文をお願い致します。内部側の排水ホースについては補修部品となりお客様ご自身での交換は出来かねる部分てす。弊社ご相談窓口へ点検・修理をご依頼ください。外部排水ホースがなく内部側の排水ホースと一体化しているタイプも同様となります。

排水ホースの仕様は製品によって異なるため、お使いの製品の取扱説明書・据付説明書をご確認ください。

## 2 関連研究

人と LLM の協働によってデータを作成する取り組みは、近年盛んに行われるようになっている $[6,7,3]$ 。本研究と同様に、 $\mathrm{Lu}$ ら [3] は、人と LLM の協働によってコンタクトセンター向けの対話デー タ作成手法を提案している。日本語のデータセットとしては、宿を探しているカスタマーとオペレータの擬似的な対話を収録した、宿泊施設探索対話コー パスがある $[8,9]$ 。宿泊施設探索対話コーパスは人と人の対話によって対話データが作成されている。 これらの研究と比較すると、我々のデータセットには回答に必要な参照ナレッジが付いている点が異なる。

## 3 データ作成手法

ここでは、データ作成の手順について説明する。我々は、個人情報や著作権の問題を回避するため、仮想の家電メーカを設定し、ナレッジと対話データを作成した。データの作成においては、個人情報、著作権等に関する問題を避けるため、次のような指示を行った。(1) 実在の企業名・商品名、またはそれを連想されるキーワードを入力しないこと (2) 個人情報を入力しないこと (3) 既存の FAQ サイトのコピー\&ペーストをしないこと。

## 3.1 ナレッジの構築

表 1 と 2 に作成したナレッジの例を示す。今回は、エアコン、冷蔵庫、洗濯機・衣類乾燥機、掃除機、炊飯器の 5 つの家電に焦点を当てた。これらは比較的身近な家電であり、仮想家電の設計が比較的容易と考えた。ナレッジは、主に製品の詳細と Frequently Asked Questions (FAQ) によって構成さ表 2 仮想のエアコン家電エアリーに関するナレッジの例タイトルエアリーのリモコンを紛失・故障したら運転できる?

文章エエアリーの室内機前面パネルを開けた右下部分にある運転・停止ボタンによって、手動で運転と停止を選択できます。運転・停止ボタシを一回押守と冷房運転、三回素早く押すと暖房運転が開始されます。稼働中は、一回押すことで運転を停止します。 なお、温度変更や除湿運転は行えず自動運転となります。

表 3 プロンプトの例。\{context $\}$ はナレッジの検索結果が入り、\{chat_history \}には、それまでの対話履歴、 \{question\}には直前のカスタマーの発話が入る。

\#\#\# 指示：以下の検索結果と対話履歴を元にコールセンターのオ \#\# 検索結果 : \{context $\}$

\#\#\# 対話履歴：\{chat_history $\}$

ユーザー: \{question $\}$

\#\#\# 応答 :

れている。また、表 2 の仮想エアコン“エアリー”のように、仮想製品もいくつか作成した（エアリーの製品詳細は付録 B を参照)。一般的な LLM が学習していない仮想製品を含むことにより、システム検証時にモデル内の知識と外部知識の切り分けが容易になることを期待している。なお、ナレッジはテキストだけで構成されており、画像などの情報はない。

著者らを含む、著者らの所属する複数組織の従業員によって作成された。なお、コンタクトセンター での業務経験がある従業員も含まれる。ナレッジは、Notion ${ }^{1)}$ にって管理され、複数人が共同で作成した。またナレッジは、対話データ作成に並行して、加筆・修正がされた。最終的に、461 件のナレッジを作成した。2)そのうち 425 件は対話データが紐づいている。

## 3.2 対話データ作成

本研究では、データ作成の効率化および今後の継続的なデータ収集のため、人間の作業者と LLM の協働による対話データ作成を試みる。図 1 にデータ作成の概略図を示す。インターフェースは付録 A に示す。

作業者はカスタマー役を行い、LLM はオペレー タ役を担う。オペレータ役の LLM には、ナレッジの検索結果をプロンプトに含める形での、検索拡張生成 (RAG) [10]を用いた。

本取り組みは探索的なものであり、対話データの

1) https://www.notion.so/

2) Notion の 1 ページを 1 件とカウントした。
作成と並行して、LLM 側のプロンプトや検索機構などのシステム改善を随時行った。実際に用いたプロンプトの例を表 3 に示す。LLM としては、LINE

ル4)を使用した。また、対話データが一定程度作成できた後に、LLM-jp 提供の 13B モデルに対して、 LoRA チューニング [11]を行い、その LoRA チュー ニング後のモデルを使用した。検索については、べクトル検索と BM25 [12] を使用し、Reciprocal Rank Fusion [13] でアンサンブルを行った。ベクトル検索時の埋め込みには、日本語 LUKE [14] $]^{5)}$ を使用した。 また、LoRA チューニング後は、HyDE [15] も併用した。なお、第一位の検索結果のみを使用して回答を生成した。

## 3.3 対話データ作成の作業者と作業手順

コンタクトセンターでの業務経験がある従業員 10 人（作業者と呼ぶ）に対話データを作成してもらった。作業者にはナレッジを一つ選択してもらい、そのナレッジに関連した課題を抱えるカスタマーの立場で質問を行ってもらった。表 3 に示すプロンプトを用いてオペレータ側の応答を LLM で生成した。LLM の出力は不十分な場合が多いため、必要に応じて作業者に適切な応答となるよう修正してもらった。カスタマーの課題が解決するまで、質問および応答の修正を数ターン行ってもらった。LLM の出力の修正時には、LLM の生成品質を定量化するため、応答の 5 段階評価を求めた。また、RAG の過程で適切なナレッジが取得されなかった場合を考慮し、取得されたナレッジの 5 段階評価（質問内容によっては、「ナレッジは不要」を選択）および、本来参照されるべきナレッジ（Notion のページ URL） の入力を求めた。詳細は、付録 A に示す。

## 4 対話データの分析

我々は 2,308 対話のデータを作成した。表 4 亿作成した対話データの例を示す。対話のターン数は平均 10.71 ターン（最大 27 、最小 3) で、応答は 11,267 件である。また、 1 応答の長さは、平均 275.77 (最大 1,259、最小 2）文字であった。

表 4 対話データの例。OPR はオペレータ、CTM はカスタマーを示す。オペレータは LLM の出力を作業者によって修正したものである。この対話の正解ナレッジは表 1 である。

OPR お問い合わせありがとうございます。何かお手伝いできることはありますでしょうか。

CTM 洗濯機のホースなんですが、もし破れたり劣化したりしたら自分で付け替えられますか？

OPR 給水ホースはお客様ご自身での交換が可能です。排水ホースは外に出る蛇腹部分が外付となる外部排水ホース部分については交換可能です。

CTM 外部ではない排水ホースってあるんですか？

OPR 内部側の排水ホースと、外部排水ホースのある夕イプと、外部排水ホースがなく内部側の排水ホー スと二体化しているタイプがございます。内部のホースや、一体化しているタイプは補修部品となりお客様ご自身での交換は出来かねる部分です。弊社ご相談窓口へ点検・修理をご依頼ください。

CTM ちなみに自分のやつがどっちかっていうのは判断できるんですか？

OPR 排水ホースの仕様は製品によって異なるため、お使いの製品の取扱説明書・据付説明書にてご確認ください。

CTM もし外部ホースがあるタイプで、外部側と給水ホースだけ交換したい場合どうすればいいですか?

OPR お客様ご自身で交換可能な給水ホースと外部排水ホースについては、製品を購入された販売店で在庫・価格などご確認の上で部品としてご注文をお願い致します。

CTM 分かりました。参考になりました。

OPR お役に立てたのであれば幸いです。何か他にお困りのことはございますか？

CTM いえ、聞きたいことは聞けたので今のところ他は特にないので、また何かわからないことがある時は改めてご相談します。

OPR かしこまりました。何かございましたら、お気軽にお問い合わせください。本日はお忙しいところ、お問い合わせいただきありがとうございました。

LLM の生成結果と作業者による修正後の編集距離を調べたところ、平均 280.93 （最大 1,161 、最小 0）で、収集した全応答のうち $17.55 \%$ の応答（1,977 件）が LLM の出力をそのまま受け入れたものであった。また、ナレッジの多くは、表 1 亿示したように FAQ となっている。カスタマーからの質問と FAQ がどの程度表層的に異なるかを調べるため、質問と本来参照されるべきナレッジとして作業者が指定したナレッジのタイトルとの編集距離を調べた6)。編集距離の平均は 47.99 (最大 261、最小 0） で、ナレッジのタイトルと完全に同じ質問をしている応答は $0.013 \%$ （100 件）であった。

## 4.1 LoRA チューニングによる影響分析

LLM の LoRA チューニングによる影響を調べる。以降、「再学習前」「再学習後」と述べる際は LLM-jp

6）ここでは、評価において「ナレッジは不要」と選択された応答以外の応答 7,792 件を対象として分析を行った。
表 5 LLM 再学習前・後の各応答に対する「応答の総合評価」の割合の変化。丸括弧内は件数を示す。

提供の 13B モデルを再学習する前と後の結果について記述する。LLM の生成品質について、作業者に評価してもらった 5 段階評価のうち「応答の総合評価」の結果についての LLM 再学習前・後の変化を表 5 に示す。表より、LLMを再学習した後は再学習前と比べて「とても良い」と評価された応答が大きく増加傾向にあり、また反対に「悪い」「とても悪い」 と評価された応答は大きく減少傾向にあった。これは、LLM の再学習によって生成品質が向上し、普段実務を行なっている作業者から見ても品質の良い応答が生成できるようになったことを示している。

また、再学習により、作業者にとって望ましい応答を生成できるようになっていれば、作業者の応答修正の負荷も減っていると考えられる。そこで、 LLM の再学習前・後での LLM の生成結果と作業者による修正後の編集距離の差異を比較した。結果、 LLM の出力をそのまま受け入れたもの（編集距離が 0のもの）が再学習前は $4.80 \%(293 / 6,097)$ だったのに対し、再学習後は $35.80 \%(1,341 / 3,746)$ にも上った。これは、再学習によって生成品質が向上したLLMを用いることで、データ作成の効率が上昇させることができることを示唆する結果となった。

## 5 議論：データ作成手順の課題

データ作成の手順にはいくつかの課題があった。 まず、ナレッジの構築に長時間を要した。特に、実際の家電製品が存在しない中でのナレッジの作成であったため、表 2 のような独自家電の設計は容易ではなかった。第 3.1 節で述べたように、画像等は作成しなかったが、先に擬似的な製品画像でイメージを共有した後にナレッジを作成するなどのアプロー チをとることで、より高品質なナレッジの作成に繋がった可能性がある。なお、今回は、著者を含む作業者間で Notion 上でインタラクティブに議論をしながら作成した。対話データ作成時にナレッジの不備や誤りを発見した際は修正するようにして、ナレッジの推敲を行なった。

一方で、仮想家電メーカのナレッジと対話データ
の作成を同時進行的に行うことにしたため、ナレッジに紐づいていない対話データができてしまった。表 1 を参考に例を挙げると、対話データ作成途中に、「給水ホースは自分で交換可能ですか？」と「排水ホースは自分で交換可能ですか？」といった $2 \supset$ の FAQ が表 1 のように 1 つにまとめられるといった場合があった。そうした場合、2つの FAQがある時点で作成された対話データは、最新のナレッジとリンクしなくなっている。今回は、ナレッジに紐づいていない対話データはフィルタリングにより除いている。FAQを定期的に更新することは、実際のコンタクトセンターでも行われることであり、実環境でデータを収集する場合にも起きうる課題である。

## 6 今後の展望

自然言語処理の応用先としてコンタクトセンター は有望であるものの、個人情報等の課題もあり、 データがあまり充実していなかった。我々が作成したデータセットは、対話データだけでなくナレッジも付随していることが特徴である。コンタクトセンターのチャットボットのみならず、FAQ の編集支援など、様々な業務支援システムの研究開発に応用可能だと考えている。

本研究は探索的な取り組みであり、データやその作成方法に関して十分に評価できていない点も多い。データ作成のためのインストラクションなど多くの改善点があると考えている。今後は、本データを基準に、より高品質なデータを効率的に作成可能な方法論の開発を目指す。具体的には、人対人でのデータ作成方法と人対 LLM を比較することを計画している。

今回作成したデータはあくまで擬似的なものであり、実世界の複雑さを完全に反映していない可能性がある。そのため、実データとの比較や作成したデータで学習した LLM を実運用を行い、データ作成手法の改善を行う予定である。

## 7 おわりに

本論文では、コンタクトセンターにおける対話データを人と LLM の協働によって作成するアプローチについて検討した。仮想の家電メーカを設定し、擬似的なナレッジと対話データを作成した。 データセットは、自然言語処理の応用研究に貢献できると考えており、学術研究の用途に限定して公開する予定である。

## 謝辞

本研究を進めるにあたり、データ作成とナレッジ整理に尽力くださったトランスコスモスの従業員の方々に感謝申し上げます。

## 参考文献

[1] 坂田亘, 田中リベカ, 黒橋禎夫. 公式ウェブサイトをベースにした qaチャットボットの自動構築. 言語処理学会第 26 回年次大会発表論文集, pp. 327-330, 2020.

[2] 邊土名朝飛, 友松祐太, 佐々木翔大, 阿部香央莉, 乾健太郎. 多様なタスク指向対話データの収集を目的としたクラウドソーシングにおけるインストラクションの設計. 人工知能学会全国大会論文集, Vol. JSAI2023, pp. 4Xin102-4Xin102, 2023.

[3] Bo-Ru Lu, Nikita Haduong, Chia-Hsuan Lee, Zeqiu Wu, Hao Cheng, Paul Koester, Jean Utke, Tao Yu, Noah A. Smith, and Mari Ostendorf. DIALGEN: Collaborative Human-LM Generated Dialogues for Improved Understanding of Human-Human Conversations, 2023.

[4] チャットボットはコールセンター運営に必要！事例や活用方法を解説, Aug 2021. Accessed: 2024-01-11.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[6] Alisa Liu, Swabha Swayamdipta, Noah A. Smith, and Yejin Choi. WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6826-6847, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[7] Helena Bonaldi, Sara Dellantonio, Serra Sinem Tekiroğlu, and Marco Guerini. Human-Machine Collaboration Approaches to Build a Dialogue Dataset for Hate Speech Countering. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 8031-8049, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Yuta Hayashibe. Self-contained utterance description corpus for Japanese dialog. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1249-1255, Marseille, France, June 2022. European Language Resources Association.

[9] 祐太林部. 要約付き宿検索対話コーパス. 言語処理学会第 27 回年次大会論文集, pp. 340-344, 2021.

[10] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich
Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020 .

[11] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-Rank Adaptation of Large Language Models. In International Conference on Learning Representations, 2022.

[12] Andrew Trotman, Antti Puurula, and Blake Burgess. Improvements to BM25 and Language Models Examined. In Proceedings of the 19th Australasian Document Computing Symposium, ADCS '14, p. 58-65, New York, NY, USA, 2014. Association for Computing Machinery.

[13] Gordon V. Cormack, Charles L A Clarke, and Stefan Buettcher. Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods. In Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '09, p. 758-759, New York, NY, USA, 2009. Association for Computing Machinery.

[14] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[15] Luyu Gao, Xueguang Ma, Jimmy Lin, and Jamie Callan. Precise Zero-Shot Dense Retrieval without Relevance Labels. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1762-1777, Toronto, Canada, July 2023. Association for Computational Linguistics.

## A データ作成手法の詳細

作業者がデータを作成する際に使用したユーザー インターフェイスを図 2 と 3 に示す。7) まず、作業者がカスタマーのふりをして質問をする（図2）。質問が送信されると、LLMを用いてオペレータ側の回答が生成される。次に、作業者はオペレータ側の回答を確認し、以下の要素について 5 段階評価を入力する (図 3)。

・対話としての流暢性

・応答の適切性

・応答の丁寧さ

・応答の事実性（選択肢「評価できない」を含む）
- 応答の総合評価

この際、応答が適切でない・流暢でない場合には、回答を直接書き換える。なお、「総合評価」と他 4 種類の軸の評価結果のスピアマン相関が 0.8 以上と高かった。そのため、本文中での分析では、総合評価の結果のみを使用した（第 4.1 節）。

LLM が参照したナレッジも提示され、ナレッジ自体が適切であるかの評価及び、参照先が誤っている場合には修正を行う。ナレッジの内容が不適切である場合は、Notion 上で編集作業を行う。以上の操作を終えるとオペレータ側の回答が確定し、カスタマ一側の発話の入力画面に戻る。カスタマ一側の課題が解決するまで対話を続行した後、対話終了ボタンをクリックすることにより一連の対話を保存する。

データ作成作業は複数の作業者が同時に進めたため、一部のナレッジに関する対話が複数生成される一方で、全く対話の紐付かないナレッジが多数残る状況が見られた。この問題を軽減するため、使用されていないナレッジを自動的に抽出し、そのナレッジに関連した対話を行うよう促す表示を追加した。 また作業者ごとにデータ作成作業に費やせる時間に差異があったため、より多くの作業者が対話作成に携わり多様性をもたせられるよう、作業者ごとのナレッジ作成と対話に費やす時間のバランスを管理者側で調整した。

ユーザーインターフェースは Web ブラウザで利用可能な Web アプリケーションとして実装し、作業者のパソコンにはソフトウェアを導入する必要

お問い合わせありがとうございます。何かお手伝いできることはありますでしょうか。

エアコンは100Vと200Vで何が違うんですか？

送信

## 対話終了

図 2 カスタマー側の発話の入力画面

## チャットの評価

100Vと200Vのエアコンは消費電カが異なります。200Vの方が多くの電力を消費するため、ー般にパワーや分能力が高くなります。そのため、短時 100Vのエアコンの温度調整能力は200Vのエアコンに比べると劣るため、比較的小さな部屋での使用が適しています。

上記の応答について評洒をしてください。

対話としての流舓性を評洒してください。

とても悪い ○覀い○どちらとも言えない ○良い○とても良い

応答の道切性を評祝してください。

とても覀い $\bigcirc$ 覀い ○どちらとも言えない $\bigcirc$ 良い ○とても良い

応答の丁面さを教えてください。

とても覀い $\bigcirc$ 覀い ○どちらとも言えない ○良い○とても良い

応答の事央性を教えてください。

とても覀い $\bigcirc$ 悪い○どちらとも言えない ○良い○とても良い $\bigcirc$ 判断できない

応答の総合評価を教えてぐ゙さい。

とても悪い ○覀い○どちらとも言えない ○良い○とても良い

応答が道切でない・流暢でない場合、下部のフォームを用いて適切な形に修正してください。

100Vと200Vのエアコンは消費電カが異なります。200Vの方が多くの電力を消費するため、一般にパ

図 3 オペレータ側の発話の評価・修正画面

がないよう配慮した。Web サーバ側には NVIDIA L4 GPU を搭載し、LLM の量子化技術を適用することにより推論速度の高速化に取り組んだ。オペレータのレスポンスを極力短時間で返すことで、データ作成作業の効率化が期待できる。

## B ナレッジの例

表 6 仮想のエアコン家電エアリーの詳細ナレッジの一部

\#\# 仕様

【製品コンセプト】よくあるスタンダードモデル

【型番】UFE-F2322 冷暖房時おもに 10 疊(冷

房 8 12 畳: 暖房 8 10 疊) UFE-OT2328 冷

暖房時おもに 14 轠 (冷房 11 17 轠: 暖房

11 14 畳) UFE-OT2350 冷暖房時おもに 18

【価格】オープン価格

仮想製品“エアリー”の製品詳細の一部をを表 6 に示す。


# 地図を刺激に用いた位置情報参照表現の収集

大村舞
国立国語研究所
}

川端 良子
国立国語研究所
}

竹内 誉羽

ホンダリサーチインスティチュート
## 概要

本研究では、位置情報を参照する表現のデータベースを構築した。20 の地図を刺激とし、 1 地図あたり 40 人に地図上に示した目標点の位置情報の記述を依頼し、800 の位置情報参照表現を収集した。位置情報参照表現は、地図上のランドマークに基づく相対参照表現のみであるかを判定したうえで、相対参照表現のみの場合には、一人称視点（目標点からの見えるものの記述) ・空間内視点（地図中の他の地点から目標点を参照) ・空間内移動（地図中の他の地点から目標点に移動) ・鳥瞰視点（地図を上から俯瞰）の４つに分類した。さらに各表現のわかりやすさをアンケート調査により収集した。

## 1 はじめに

地図上の位置情報を言語で伝えるために、直接 GIS 情報に紐づけ可能な固有位置情報・ランドマー クから東西南北で指示する絶対参照情報・向きを仮定したうえで前後左右で指示する相対参照情報などが用いられる。一方で、実際に空間内実体が東西南北がわからない状況で位置情報を特定する場合する状況もある。その場合、話者の伝える固有位置情報と相対参照情報のみを用いた位置情報参照表現が手がかりとなるだろう。

本研究は地図を刺激に用いた位置情報参照表現の収集を行った。20の地図を刺激とし、クラウドソー シングを用いて、地図情報目標物を固有位置情報と相対参照情報のみで表現した位置情報参照表現を 1 地図あたり 40 件収集することを目指した。収集した言語表現が固有位置情報と相対参照情報のみであるかを判定したのち、一人称視点（目標点からの見えるものの記述) ・空間内視点 (地図中の他の地点から目標点を参照) ・空間内移動（地図中の他の地点
から目標点に移動) ・鳥瞰視点（地図を上から俯瞰） の 4 つの視点分類ラベルを付与した。さらに各表現のわかりやすさをアンケート調査により収集した。

## 2 データの構築手法

## 2.1 位置情報参照表現の収集

図 1 刺激に用いた地図の例 (30 度回転)

位置情報参照表現の収集は Yahoo! クラウドソー シングにより実施した。図 1 のように地図を示したうえで、ォもしくはので示した目標点の位置情報の記述を依頼した。作業に際しては、相対参照表現の収集を目標とし、元の地図を回転した地図のいずれかを刺激とし、以下の 3 点を指示した。

・作業者が地図の中のどこかにいるような観点で 「前後左右」を使う

・地図の図面における「上下左右」を使わない

・「東西南北」を使わない

表現の収集は、スクリーニング調査と本調査の 2 段階により行った。スクリーニング調査においては、図 1 のように 30 度、 120 度、 210 度、300 度のいずれかの角度回転させた地図を用い、各地図 400
人・合計 1600 人分のデータを収集した。調査画面の例を付録 A の図 2 に示す。スクリーニング調査において 1 回答あたり 10 円相当の PayPay ポイントを謝礼として支払った。スクリーニング調査は 2023/11/01 17:01 に開始し、2023/11/02 13:10 に終了した。このうち、固有位置情報表現と相対位置表現のみにより適切に回答した 569 人を本調査対象者とした。本調査においては、20 種類の地図に対して、 4 種類の回転を加えた 80 パターンの刺激を作成し、各パターン 10 人・合計 800 表現を収集した。本調査において 1 回答あたり 50 円相当の PayPay ポイントを謝礼として支払った。本調査は 2023/11/07 14:06 に開始し、2023/11/16 20:40に終了した。

## 2.2 収集した位置情報参照表現の分類

本調査で収集した 800 表現について、以下の表現分類のいずれかを付与した：
- A: 固有位置情報表現・相対位置情報表現のみである（東西南北などを用いていない）
- B: 固有位置情報表現・相対位置情報表現・絶対位置情報表現である（東西南北を用いている）

・(C: 位置情報参照表現として適さない)

結果、 800 表現中 797 表現が A であり、 3 表現が B であった。スクリーニング調査が効果的に機能し、効率的に目的の表現を収集できたといえる。

さらに、「A: 固有位置情報表現・相対位置情報表現のみである」表現については、以下の視点分類を付与した（例は図 11)を刺激としたもの）：

$\cdot$ P: 自分が目標点に立っている（一人称視点）

例）「丸印は野村證券の建物を正面に見て、右に文化ビルがあり、背面には伊勢丹、左には伊勢丹メンズ館がある。そのような位置となります。」
- $\mathrm{Q}$ : 自分が地図中の目標点以外の位置に立っているが移動はしない（空間内視点）

例）「文化ビルから見て伊勢丹メンズ館の方面へ見た向かい側の建物」
- $\mathrm{R}$ : 自分が地図中の目標点以外の位置から目標点に移動する（空間内移動）

例）「新宿 3 丁目駅を出るとマルイがあるので三菱 UFJ 銀行がある方向へ進みます。\#\#交差点を左折して伊勢丹を抜けると目的の場所に着き

1）これらの例の地図はスクリーニング調査時にラベルの基準策定に利用したもので、公開する本調査のデータには含まれていない。
ます。」

・ $\mathrm{S}$ : 目標点の周りにあるものを鳥瞰して示している（鳥観視点）

例）「伊勢丹と野村證券の中間にある建物で、大通りに面した新宿 3 丁目駅側。伊勢丹メンズ館の隣、ローソン側。」

なお、視点分類は複数のラベルが付与可能なマルチラベルとした。複数の表現がふくまれるものや、 1 つの表現で複数の視点によるとらえ方が可能なものについては、可能なラベルをすべて付与した：
- $\mathrm{Q}+\mathrm{S}$ ：(空間内視点）+（鳥瞰視点）

例）「新宿三丁目駅の近くにある伊勢丹、ロー ソン、マルイメン、野村證券に囲まれた交差点の一画に星印の場所がある。ローソン前に立ち正面に野村證券を見た場合、右側にマルイメン、左側に星印の場所がある。マルイメンとの位置関係は交差点を挟んだ対角線上である。」
- $\mathrm{R}+\mathrm{S}$ ：(空間内移動）+（鳥瞰視点）

例）「新宿三丁目駅を伊勢丹側に向かっていくと、野村証券の手前に目的地があります。そこは伊勢丹メンズ館と文化ビルが左右に並ぶ建物です。」

なお、実際に作業を進めてみると、複数の視点のいずれか判断がつかない事例もあった。その場合は |で複数のラベルを並列した（以下の事例は図 1 を刺激としたものではなく、実際のデータにあったもの)。

$\cdot$ $\mathrm{P} \mid \mathrm{Q}$ : 自分がその位置のに立っているか、その位置・が見える場所に立っているのか

例）大通りを挟んでオーク表参道の向かいである。

・ $\mathrm{Q} \mid \mathrm{S}:$ その位置—が見える場所に立っているのか、俯瞰で見ているのか

例）成増駅から西友のほうに出て、公園との丁字路の公園でも西友でもない角

例）ニトリ手前、まいばすけっと側道路の角の位置。豊島岡女子学園の道路 2 つ挟んだ先。

## 2.3 表現のわかりやすさ評定

本調査で収集した 800 表現について、表現のわかりやすさ評定のアンケート調査を Yahoo! クラウドソーシングを用いて実施した。スクリーニング調査を通過した 569 人を対象に募集し、308 人が評定調査に参加した。付録 A の図 3 に調査画面を示す。 1
地図に対して7つの表現をランダムに配置し、評定は 0: わかりにくい〜5: わかりやすいの 6 段階評価とした。 1 回答あたり 2 円相当の PayPay ポイントを謝礼として支払った。 1 表現あたり 35 人の評定值を取得した。わかりやすさの評定調査は 2023/12/14 17:02 に開始し、2023/12/15 11:10 に終了した。

本研究の実施に際して、表現の収集および表現の印象評定に関する研究倫理審査を国立国語研究所にて実施し、承認を受けている。

## 3 データの統計

本節では得られたデータの統計について示す。

表 1 観点別のわかりやすさ（個別）

まず、 $\mathrm{P}:$ 一人称視点、 $\mathrm{Q}$ : 空間内視点、 $\mathrm{R}$ : 空間内移動、 $\mathrm{S}$ : 鳥瞰視点の観点の有無（観点ありが TRUE、観点なしが FALSE）で個別に集計を行い、それぞれのわかりやすさの平均値を求めた。表 1 亿集計結果を示す。目標物からの一人称視点（P）の表現は用いていないものが多く（688/800)、一人称視点を用いない表現（わかりやすさ平均 2.68）のほうが用いた表現（わかりやすさ平均 2.59）よりもわかりやすい。目標物を空間内から見る空間内視点 $(\mathrm{Q})$ の表現も用いていないものが多く (664/800)、空間内視点の表現の利用の有無についてわかりやすさの差異はなかった。空間内移動（R）の表現が最も多く、約半数（398/800）の位置情報表現に含まれており、 わかりやすさも空間内移動表現（わかりやすさ平均 2.77）のほうがわかりやすい。最後に鳥瞰視点 ( $\mathrm{S}$ ) の表現は、約 4 分の 1 （206/800）の位置表現に見られるが、鳥瞰視点を用いない表現（わかりやすさ平均 2.72）のほうが用いた表現（わかりやすさ平均 2.50）よりもわかりやすい。表 2 観点別のわかりやすさ（組み合わせ）

観点の組み合わせに基づく集計結果を表 2 に示す。組み合わせを見ても空間内移動 (R) の頻度が高く、わかりやすい傾向がみられた。一人称視点 $(\mathrm{P})$ については、空間内移動 $(R)$ や鳥瞰視点 $(S)$ と組み合わせた場合にはわかりやすい傾向があるが、そうでない場合は平均よりも低いわかりやすさであった。

表 3 にわかりやすい位置情報参照表現上位 10 例を示す。空間内視点 $(\mathrm{Q}) \cdot$ 空間内移動 $(\mathrm{R}) \cdot$ 鳥瞰視点（S）などの表現が含まれるが、いずれも複数の固有位置情報からの多様な相対位置表現が含まれている。

## 4 関連研究

『日本語地図課題対話コーパス』[1]は、地図課題を被験者に課して音声対話を収録したコーパスである。情報提供者が地図上に始点・経路・終点・目標物の情報を保持し、情報追随者が地図上に始点と目標物のみの情報を保持するという設定で、情報伝達の対話を収録した。なお目標物は双方の地図に表示されているものと、片方の地図にのみ表示されているものが設定されている。『場所参照表現タグ付きコーパス』[2]は、Twitter（現X）のような SNS に投稿された場所参照表現に位置情報を付与したコーパスである。地名・施設名といった固有位置情報表現を対象とする。

徳永ら [3] は日本語の空間名詞の分類を行った。部分型 (位相) ・距離型・方向型の 3 つに分類し、主として一人称視点・空間内視点に資する体系化を行った。小林ら [4] は 2 つの物体の空間的関係を表す空間表現語の選択について、対象物間の距離や大
表 3 わかりやすい位置情報参照表現例

 & 3.74 \\

きさなどの幾何的な要因がどのような影響を与えるかについて調査を行った。

Striegnitz ら [5] は、ノースウエスタン大学のキャンパスの道案内のジェスチャーのビデオを収録し、

Route Perspective (空間内移動)と Surver Perspective (鳥瞰視点)を識別した。収録された 368 のジェスチャーの内、Route Perspective が 54\% (199/368) で、 Survey Perspective が 16\% (60/368) と、空間内移動が鳥瞰視点よりも多く用いられることが示された。この割合は我々の調査に近い值である。長谷川ら [6] は擬人化エージェントによる道案内システムを構築し、空間内移動の説明と鳥瞰視点の説明のどちらがわかりやすいかの検証を行った。彼らの設定では鳥瞰視点のほうがわかりやすいという我々の調査と異なる結果が報告されている。

## 5 おわりに

本研究では、固有位置情報と相対位置情報を用いたよりわかりやすい位置情報参照表現を収集することを目的とし、クラウドソーシングを用いて地図上の位置情報を説明する表現を収集した。位置情報表現に、一人称視点 - 空間内視点 - 空間内移動 - 鳥瞰視点などの観点の分類を人手により付与した。さら
に、わかりやすさの評定について、クラウドソーシングを用いて収集した。

調査の結果から、位置情報の説明について「空間内移動」の観点に基づく表現が最も多く生成され、最もわかりやすいことがわかった。

今回整備したデータについては、地図情報・観点分類・わかりやすさとともに公開する。

## 謝辞

本研究はホンダリサーチインスティチュート-国立国語研究所共同研究プロジェクト「行き先目標物の参照表現に関する日本語話し言葉の分析」・国立国語研究所基幹型共同研究プロジェクト「アノテー ションデータを用いた実証的計算心理言語学」・科研費 JP22K13108, JP19K13195によるものです。

## 参考文献

[1] 堀内靖雄, 中野有紀子, 小磯花絵, 石崎雅人, 鈴木浩之, 岡田美智男, 仲真紀子, 土屋俊, 市川喜. 日本語地図課題対話コーパスの設計と特徴. 人工知能学会誌, Vol. 14, No. 2, pp. 261-272, March 1999.

[2] 松田耕史, 佐々木彬, 岡崎直観, 乾健太郎. 場所参照表現タグ付きコーパスの構築と評価. Technical report, January 2015.

[3] 徳永健伸, 小山智史, 齋藤豪. 日本語空間名詞の分類. Technical Report 108 (2004-NL-164), 東京工業大学大学院情報理工学研究科, January 2004.

[4] 小林竜己, 寺井あすか, 徳永健伸. 空間語選択における幾何的要因の影響. 認知科学, Vol. 15, No. 1, pp. 144-160, March 2008.

[5] Kristina Striegnitz, Paul Tepper, Andrew Lovett, and Justine Cassell. Knowledge representation for generating locating gestures in route directions. In Proceedings of the Workshop in Spatial Language and Dialogue, pp. 147-165, January 2005.

[6] 長谷川大, 佐久田博司. 擬人化エージェントによる AR 道案内システム. 知能と情報, Vol. 29, No. 6, pp. 670-677, December 2017.

## A 付録：調査画面例

地図上にネ印で示された場所を、ネ印のまわりのランドマークとの相対位置として説明してください。

$\cdot$ 30文字以上200文字以下の表現でおねがいします。

・「みなさんが地図の中のどこかにいるような観点で前後左右」を使つて説明をお願いします。

$\cdot$地図の図面における「上下左右」は使わないでください。

$\cdot$「東西南北」は使わないでください。

図 2 調査画面例：位置情報参照表現の収集

図 3 調査画面例 : わかりやすさのアンケート調査


# 実際の人々の感想を利用した雑談発話生成

成田 風香 ${ }^{1}$ 佐藤 志貴 ${ }^{1}$ 徳久 良子 ${ }^{1}$ 乾 健太郎 $2,1,3$
${ }^{1}$ 東北大学 ${ }^{2}$ MBZUAI ${ }^{3}$ 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp

## 概要

雑談では，感想を述べる発話が対話の盛り上がりに寄与することが知られている，我々は，文脈に対して適切な感想を生成できる発話生成システムの実現を目指し，対話の話題に対する実際の人々の感想を外部情報として入力に用いることを試みる．本稿では，我々がこれまでに構築した「感想付きニュー ス雑談コーパス」を拡張した上で，システムの追加学習を行うことで，人々の感想を利用して発話を生成するシステムを構築した. 生成発話の評価の結果，文脈に対して自然であり，かつ感想を含む発話を多く生成できることが分かった。加えて，これらのシステムにより生成された発話は，雑談を盛り上げるような発話であることが明らかとなった.

## 1 はじめに

近年，ニューラルネットワークをべースとした発話生成システムの性能が向上している $[1,2,3]$. しかし，ユーザと話すこと自体が目的である「非タスク指向型対話 (雑談)」に関する研究では，システムの応答が受動的であることが指摘されており [4],場合によっては対話の盛り上がりへの寄与に欠けた応答となることが考えられる。一方で，人同士の雑談では感想を述べる発話が対話の盛り上がりに寄与すること [5], 人はシステムと話すとき，相手に人と同様の振る舞いを期待する傾向があること [6] から， システムから感想を含む発話を生成することで，雑談をさらに盛り上げることができると考えられる。 しかし, 発話生成システムが適切でない感想発話を生成することにより倫理面や安全性の観点で問題が起きる危険性について指摘されている $[7,8]$.

そこで我々は，倫理面や安全性の問題に配慮しながら自然な感想を発話するシステムを実現するため，実際の人々の感想を利用することを試みる。我々はこれまでに，図 1 に示すような発話生成システムの構築を目指し，対話の話題とそれに対する実

図 1 我々が構築を目指す発話生成システムの全体像. 話題に対する人々の感想を外部情報として用いることで，感想を含む発話を生成する。

際の人々の感想，対話を組み合わせた「感想付きニュース雑談コーパス」を構築した [9]. 本稿では，構築したコーパスを大規模化した上で，学習済の発話生成システムの追加学習を行った. そのシステムに人々の感想や文脈を入力して生成した発話を，感想発話の積極性や雑談の盛り上がりの観点で評価した. 評価の結果，文脈のみから次の発話を生成する従来法に比べて文脈に対して自然な発話を生成でき，かつ感想を含む発話を多く生成できることが分かった。加えて，これらのシステムにより生成された発話は，雑談を盛り上げるような発話となっていることが明らかとなった。

## 2 コーパスの構築

我々はこれまでに，ある話題に対する人々の感想を用い，その話題について対話を行う図 1 のような発話生成システムの実現を目指し，感想付きニュー ス雑談コーパスを構築した．本コーパスは，人々の感想としてツイート1)を，ツイートの集まっている話題としてニュース記事を用いることとし，「話題 (ニュース記事)」「感想（話題に対するツイート）」「対話」の三つ組みで構成されている 2$)$ 。収録されて

いる対話は Wizard of Oz 法で行われたものである.一人はシステム役としてニュース記事の話題を投げかけ，その内容とそれに対する実際の人々の感想を提供しながら発話し，もう一人はユーザ役として自由に発話した. システム役の発話には，話題に対するツイート群の中からどのツイートが使用されたかを示す情報が付与されている.

以前の我々の研究 [9] でコーパスに収録された対話数は 425 対話であったが，より自然な発話生成の学習を行うため対話数を増やし， 47 件のニュース記事に対して, 11,256 発話から成る 1,005 対話とした. 1 対話あたりの発話数は 11.2 発話, 1 対話あたり使用されたツイート数は 2.8 個である.

## 3 実験設定

我々が構築したコーパスを用いることで，人々の実際の感想を用いて発話するよう学習されたシステムが，倫理的な問題を含まない自然な感想を積極的に生成できるかを検証した. さらにそれらの発話が雑談を盛り上げることに対し効果的かを検証した.

## 3.1 コーパスの分割

評価実験にあたり，構築したコーパスを学習デー タ 837 対話，開発データ 72 対話，評価データ 96 対話に分割した. それぞれのデータセット間の独立性を保てるよう，各データセットに含まれるニュース記事には重なりがないようにした.

## 3.2 発話生成システムの学習と推論

本評価実験では，評価データ中の対話に含まれるシステム役の特定の発話を参照応答，参照応答に先行する発話の系列を対話文脈，またコーパス構築において同対話がなされたときにシステム役に提示されていたニュース記事全文およびツイート群を外部情報候補と呼ぶ。発話生成システムに参照応答直前の対話文脈 3 発話や外部情報候補の 1 つを入力し,対話文脈直後の発話として生成された発話の質を評価した. 生成発話の評価には, 以下の 4 個の発話生成システムを用いた。下記の (1) はベースラインシステムで，(2)〜 (4) は感想付きニュース雑談コーパスを用いて追加学習したシステムである.

(1) baseline-model. 対話文脈のみの入力で自然な発話生成を行うべースラインシステムとして, Sugiyama らが公開している japanese-dialogtransformers [10]を用いた. 本システムには評価デー
タの対話文脈のうち直近 3 発話のみを入力として与え，続く発話を生成させた。

(2) oracle-w/NT. 人手で選ばれた文脈に適切な外部情報を入力して生成される発話を評価するため，本発話生成システムを用いた。外部情報候補の中から，コーパス構築時にシステム役が参照応答に用いた外部情報を対話文脈と連結して入力し, 文脈に続く発話を生成するよう学習して本システムを構築した. 具体的には，参照応答がいずれかのツイートを使用して発話されていた場合，そのツイー トと対話文脈を連結させたものを入力とした. いずれのツイートも使用されていない場合，参照応答がニュース記事の一文を参考にしていると推測される場合はその文3)を対話文脈と連結して入力とし，それ以外の場合は対話文脈のみを入力とした。このようにして決定した入力に対し，参照応答を出力として baseline-model を追加学習することで本システムを構築した. 生成時は, 学習時と同様に, 参照応答に応じて外部情報を決定し発話を生成した。

(3) oracle-w/N. 本システムでは，入力にツイー 卜を使用せず，発話を生成した. 本システムの生成発話を oracle-w/NT の生成発話と比較することでツイートを入力することの有効性を確認した.ツイートを使用した発話を参照応答とするデータを学習データから除いた点以外は oracle-w/NT と同様に本システムを構築した. 生成時もツイートを使用せず，参照応答に応じて，外部情報として用いるニュース記事の一文を決定した。

(4) select-w/NT． (2)，(3) のシステムでは，参照応答を利用して入力する外部情報を決定し発話を生成したが，実際の対話の場面では参照応答は存在しない，そこで本システムでは，システム自身が外部情報候補から文脈に適切なものを選択して発話を生成し, oracle-w/NTによる生成発話と比較して, 参照応答がある場合と参照応答がない実用時を想定した場合の差を検証した. 本システムは BlenderBot 3 [11] に倣い，特殊トークンを付与することで，外部情報の選択と発話の生成をどちらも生成問題として同一の系列変換器に学習させた. 外部情報の選択の学習時には，（2）で述べた手法で選択される外部情報と対話文脈を入力した場合の出力を ‘ 1 ’，選択されない外部情報と対話文脈を入力した場合の出

3）具体的には，対話の話題となっているニュース記事本文を ja-sentence-segmenter  で分割し，参照応答と類似度の高い 1 文を発話に用いた外部情報として決定した。
力を ' 0 ’として baseline-model の追加学習を行った.発話生成の学習時は, oracle-w/NT で述べた手法で選択される外部情報と対話文脈を連結して入力し，参照応答を出力とする学習を行った. 評価データの発話生成は, 1. 入力する外部情報の選択, 2. 選択された外部情報を利用した発話生成の 2 段階からなる．外部情報選択時には，外部情報候補を文脈と合わせて 1 つずつ入力し, ' 1 ' が出力された外部情報の中から 1 つを外部情報として選択した ${ }^{4)}$ ，評価データの発話生成時は，選択された外部情報を対話文脈と連結して入力し, 生成した。

## 3.3 人手による発話の評価

評価データ中のシステム役の発話 100 個を無作為抽出して参照応答とし，それらの対話文脈と，文脈に続く4つのシステムからの生成発話をアノテータに提示し評価させた ${ }^{5}$ ). 評価の観点と集計方法を以下に示す.

(1) 発話の自然性. 感想の発話のために外部情報を用いることで自然性が損なわれないか確認するため，文脈に続く発話としての自然性を 1 (不自然)，2（捉え方によっては問題ない），3（自然）の 3 段階で絶対評価をさせ，平均値を算出した。

(2) 倫理性. 感想を含む発話には倫理的な問題を含みやすいと考えられる。 それぞれの発話に問題があるかどうかを評価させ，少なくとも 1 人が問題ありとした発話を倫理的な問題のある発話とした。

(3) 盛り上がり. 外部情報を入力に加えるシステムが雑談の盛り上がりに効果的かどうかを調べるため，4つのシステムの生成発話をランク付けにより評価させた ${ }^{6}$ ．そのランクを一対比較に変換し， それぞれのシステムの勝率を計算した7).

さらに，生成された発話が感想を含んでいるかを著者らにより評価した。

4）優先順位をツイート，ニュース記事とし，複数の候補に対して‘1’が出力された場合はその生成尤度が最も高いものを選択した．外部情報候補のいずれに対しても“1”が出力されなかった場合は，外部情報を入力に加えないこととした.

5）アノテータは研究室の学生 3 人であり，4つのシステムの特徵は公表せず，無作為な順序で生成発話を提示した.

6）後の雑談が盛り上がりそうな順にランク付けするよう指示し，2つ以上の発話の順位を同率にすることを許容した。

7） 具体的には，あるシステムＡと B の発話を比較するとき， まず各ワーカーのランキングから，システムＡＣＢ９発話の優劣関係を取り出し，上位のシステムを +1 点，下位のシステムを -1 点とした. この点数を 3 人のアノテータで合計し， 0 点を上回る場合は勝ち，0 点の場合は引き分けとした.以上を全組み合わせ，全 100 個の文脈に対する発話に行うことで，それぞれのシステムの勝率を算出した。

図 2 感想発話数と倫理的に問題がある発話の数および各システムの自然性の評価値の平均。

## 4 実験結果

## 4.1 感想を生成する能力に関する評価結果

本研究では，雑談を盛り上げるために積極的に感想を発話する雑談発話生成システムの構築を目標としているが，その感想は自然かつ倫理的な問題がないことが望まれる．各システムの生成発話のうち感想が含まれていた数，生成発話の自然性に対する 3 段階評価の平均值，倫理的に問題があるとされた発話の数を図 2 に示す.

感想発話の生成に対する積極性. 発話生成時,外部情報としてツイートを使用した select-w/NT と oracle-w/NT は，ツイートを使用していない oraclew/N や baseline-model と比較して感想を含む発話が生成された数が多かった. 特に, oracle-w/NT と, oracle-w/N， baseline-model における頻度を比較したところ，統計的に有意な差が得られた ${ }^{8}$. 以上から，他者の感想を入力することで感想を含む発話が積極的に生成でき，特にその感想の選択において参照応答を利用した場合にはより積極的に感想を含む発話を生成できた。

自然性. 発話の自然性に関する 3 段階評価の平均値は， baseline-model は 1.99, oracle-w/NT は 2.30， oracle-w/N は 2.28, select-w/NT は 2.07 であった. 参照応答をもとに入力する外部情報を定めた oracle-w/NT, oracle-w/N の生成発話は, baseline-model の生成発話と比べて自然であった．また，入力する外部情報をシステム自身が選択した select-w/NT の生成発話の自然性に関する評価値はベースラインと
(1)=8.3, p=0.0040$, baseline-model との比較におい $\tau, \chi^{2}(1)=4.8, p=0.029$ となった.
}
比べて同程度であった. 以上から，他者の感想を外部情報として発話生成に用いてもシステム発話の自然性は損なわれず，特に，参照応答をもとに，入力する外部情報を定めて発話生成を行った場合には自然性が向上した。

倫理性. 倫理的に問題があるとされた発話の数は, 100 発話中, baseline-model は 2 発話, oracle-w/NT は 2 発話, oracle-w/N は 0 発話, select-w/NT は 1 発話であった. 感想の積極的な発話により，倫理的な問題を含む発話の生成頻度が高くなると考えられるが，感想の生成にツイートを用いる select-w/NT や oracle-w/NT では, 倫理的に問題がある発話の数はベースラインと同程度に低かった. 問題があるとされた発話の例とその詳細を付録 $\mathrm{A}$ に示す。

以上の 3 点から，参照応答をもとに外部情報を入力して発話生成を行う場合，自然性と倫理性を損なわずに，積極的に感想を含む発話を生成できた。 このことから，適切な外部情報を使用するシステムは対話を盛り上げることができると考えられる。 select-w/NT はベースラインと同程度の自然性であったが，自然性や感想発話の生成に対する積極性は oracle-w/NT を下回ったことから, 適切な外部情報の選択手法には改善の余地があると考えられる。

## 4.2 雑談の盛り上がりへの寄与

盛り上がりの評価に関する結果を表 1 に示す。 ニュース記事とツイートを入力して発話を生成した oracle-w/NT，select-w/NT は，ツイートを利用しない oracle-w/N， baseline-model 両方との比較で勝率が 0.5 を超えた. 特に，参照応答をもとに外部情報を選択して入力し, 生成した oracle-w/NT は, 勝率の平均値が最も高くなった. このことから, 他者の感想を外部情報として適切に選択し, 積極的に感想を生成可能な発話生成システムを実現することで，雑談を盛り上げる発話が生成できると考えられる。

## 4.3 発話生成例

表 2 に，各システムの発話生成例を示す. selectw/NT, oracle-w/NTでは，入力されたツイートを利用した具体性の高い感想の生成が見られた. この対話において，3人のアノテータによる盛り上がりに関する評価結果は, 高い順に select-w/NT, oracle-w/NT, oracle-w/N, baseline-model となった. 以上の例からも，実際の人々の感想を外部情報として選択し，発話生成に利用することが，雑談の盛り上がりに寄与表 1 発話生成システムの盛り上がり評価の勝率

 &  &  &  & 平均値 \\

oracle-w/NT & $\mathbf{0 . 7 6}$ & - & $\mathbf{0 . 5 9}$ & $\mathbf{0 . 5 7}$ & $\mathbf{0 . 6 4}$ \\
oracle-w/N & 0.70 & 0.41 & - & 0.46 & 0.52 \\
select-w/NT & 0.71 & 0.43 & 0.54 & - & 0.56 \\

表 2 感想を含む生成発話の例.

## 文脈

S：はじめまして宜しくお願いします

$\mathrm{U}:$ こちらこそよろしくお願いします

$\mathrm{S}$ : ハイブリッドの記事読みましたでしょうか?

U: はい。読みました。どう感じましたか?

$\mathrm{S}$ : 日本のハイブリッド車の売上げに影響するのかな

と思います販売できないとなると販売戦略もなに

も無いですよね

U: そうですよね。もう少し考えて欲しいですよね。

oracle- [TWEET] あと 13 年。他あと 13 年。他の州はど w/NTの州はどうするのかうするのかな。 な。

oracle- [NEWS] 他の州がカリカリフォルニア州の規 w/Nフフォルニア州の規制に制にならうことも「多ならうことも許されてくの州で新たな規制おり、carb の担当者は案を採用する動きがあ 「多くの州で新たな規る」と話しているみた制案を採用する動きがいです

ある」と話している。

baseline- なし販売戦略もなにも無い model ですよね。

する発話の生成につながると考えられる。

## 5 おわりに

我々の構築した「感想付きニュース雑談コーパス」を用いて人々の感想を使って感想を含む発話を生成するシステムを構築し, 生成された発話を評価した. その結果，構築したシステムは文脈に対して自然な発話が生成でき，かつ感想を含む発話を多く生成できること，それらの発話は，雑談を盛り上げるような発話となっていることが明らかとなった.

今後の展望として，コーパス構築時は人手で行った，対話に使用する感想の絞り込みの自動化や， ニュース以外の話題の使用により，より広いドメインに対応した発話生成システムの構築を目指す.

## 謝辞

本研究のコーパス構築には京都大学・児玉貴志氏らが開発された Chat Collection Framework を改変したものを用いました. 本システムの開発者の皆様に深謝いたします。また，Yahoo!クラウドソーシングにクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申しげます. 本研究は CREST， JSPS 科研費 JP21J22383 の助成を受けたものです.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[2] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, 2022.

[3] Amelia Glaese, Nat McAleese, Maja Trębacz, John Aslanides, Vlad Firoiu, Timo Ewalds, Maribeth Rauh, Laura Weidinger, Martin Chadwick, Phoebe Thacker, Lucy Campbell-Gillingham, Jonathan Uesato, Po-Sen Huang, Ramona Comanescu, Fan Yang, Abigail See, Sumanth Dathathri, Rory Greig, Charlie Chen, Doug Fritz, Jaume Sanchez Elias, Richard Green, Soňa Mokrá, Nicholas Fernando, Boxi Wu, Rachel Foley, Susannah Young, Iason Gabriel, William Isaac, John Mellor, Demis Hassabis, Koray Kavukcuoglu, Lisa Anne Hendricks, and Geoffrey Irving. Improving alignment of dialogue agents via targeted human judgements, 2022.

[4] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), Volume 1 (Long and Short Papers), pp. 39883998, 2019.

[5] 徳久良子, 寺嶌立太. 雑談における発話のやりとりと盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

[6] Clifford Nass and Youngme Moon. Machines and mindlessness: Social responses to computers. Journal of Social Issues, Vol. 56, pp. 81-103, 2000.

[7] Dian Yu and Kenji Sagae. Automatically exposing problems with neural dialog models.

CoRR, Vol. abs/2109.06950, , 2021.

[8] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. CoRR, Vol. abs/2010.07079, , 2020.

[9] 成田風香, 佐藤志貴, 徳久良子, 乾健太郎. 感想付きニュース雑談対話コーパスの構築. 言語処理学会第 29 回年次大会, pp. 131-135, 2023.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[11] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage, 2022.

## A 倫理的な問題のある発話の具体例

ニュース記事やツイートを入力して発話を生成する oracle-w/NT，select-w/NT による生成発話 100 発話の中で，それぞれ 2 発話， 1 発話が倫理的に問題があると評価された。表 3 に実際の生成発話を示す. これらの具体例について，oracle-w/NT による生成発話は，ツイートを利用した発話ではあるが，ツイートがもとになった部分に対して倫理的に問題があると判断されたと推測される. select-w/NT による発話の大部分はツイートに基づくものだったが，最後の部分にツイートの記述と異なる内容が生成され，その部分に対して問題を感じられたと推測される。外部情報を用いて発話を生成する場合，外部情報候補の適切な選択や，外部情報に基づかない情報の出力の抑制が重要であると考えられる。

表 3 倫理的に問題があるとされた発話の例.

select- [TWEET] 開発費の 96 億は、それくらいかかるか開発費の 96 億は、それくらいかかるかなとは思 w/NT なとは思う。ドローンでもそうだが、関連法規う。ドローンでもそうだが、関連法規の整備が遅の整備が遅れ、事業の立ち上げが難しい中で、れ、事業の立ち上げが遅れる中で、とりあえず万博とりあえず万博というイベントを口実に既成事というイベントを口実に既成事実を作って、不倫実を作って、ビジネスの道筋を作りたいってこ関係に発展させるってことだな。 とではないか。


# Dialogue Response Generation Using Personal Facts and Personality Traits

Weiwen $\mathrm{Su}^{1} \quad$ Naoki Yoshinaga $^{2} \quad$ Yuma Tsuta $^{1} \quad$ Masashi Toyoda $^{2}$
${ }^{1}$ The University of Tokyo $\quad{ }^{2}$ Institute of Industrial Science, The University of Tokyo
\{su-w, ynaga, tsuta, toyoda\}@tkl.iis.u-tokyo.ac.jp
}

\begin{abstract}
Persona-based chatbots assuming a specific persona for chatbots can generate consistent responses given the persona. Existing persona-based dialogue datasets such as PersonaChat and Multi-Session Chat (MSC), however, contain mainly personal facts (e.g., "I like cats.") but lack personality traits ("I am extraverted."). We thus automatically annotate the MSC dataset with personality traits to train persona-based chatbots using personal facts and personality traits. Experimental results on the personality-augmented MSC datasets confirmed that our chatbot improves personality consistency scores, when using a personality-aware reranking.
\end{abstract
## 1 Introduction

Open-domain dialogue systems such as Siri and ChatGPT have become more common in our daily lives. As a daily conversation partner, we expect chatbots to converse like humans with a consistent persona. However, since the conversation data used to train chatbots usually compile conversations from various persons, the resulting chatbots are likely to generate inconsistent responses.

To address those inconsistent responses by data-driven chatbots, researchers consider the identity of speakers to generate responses $[1,2,3,4,5,6,7,8]$. To model and control the chatbot persona explicitly, Zhang et al. [3] built PersonaChat, which provides speaker profiles as text descriptions (e.g., "I have a dog."), and most of the following studies on persona-based chatbots utilized this dataset or its extension, Multi-Session Chat (MSC) [9]. Although the existing datasets for persona-based chatbots contain various profiles to describe a speaker persona, those profiles are mainly personal facts such as personal tastes, relatives, social status, and experiences, and barely include

Figure 1 An example of a generation with or without personality traits.

personality traits such as agreeableness and extraversion. Meanwhile, Saha et al. [10] predict Big-Five personality traits for speakers in several dialogue datasets to control the style of generated responses. However, their datasets do not contain personal facts.

In this study, aiming to investigate the impact of personality traits in persona-based chatbots, we automatically annotate personality traits to existing persona-based datasets, MSC, using Big-Five personality predictor trained on Pandora dataset [11]; we then train and evaluate a personabased chatbot using the profiles on personal facts and the estimated personality traits of the speaker. An issue here is how to represent predicted personality traits (category with intensity). We adopt the same short text descriptions as the original profiles on personal facts to maintain interpretability and flexibility. To enhance personality consistency, we incorporate a response reranking model [7] to compute the consistency between the personality profiles and the generated utterance to choose the response with the highest personality consistency.

We use the personality-augmented MSC dataset to evaluate the impact of using both profiles on the original personal facts and predicted personality traits in a persona-based chatbot. The automatic and human evaluation confirmed the effectiveness of personality-based profiles, when we use the proposed reranking model.

## 2 Related Work

Persona-based Response Generation The problem of inconsistent responses of data-driven chatbots was first pointed out by $\mathrm{Li}$ et al. [1]. To address this problem, they trained the model with user embeddings from the speakers' dialogue histories to generate more consistent responses. Meanwhile, Zhang et al. [3] proposed PersonaChat, the most commonly used dataset for personabased chatbots; it compiles conversations between a pair of speakers that role-play given persona, a series of text descriptions (profiles). To address the scarcity of persona in PersonaChat, Majumder et al. [12] expand the original profiles using commonsense knowledge. In the context of long-term conversation, the persona may change over time. $\mathrm{Xu}$ et al. [9] thus extends PersonaChat with future conversation sessions, referred to the resulting dataset as MSC. However, the profiles in the PersonaChat and MSC contain mainly personal facts such as personal tastes, relatives, and social status, but lack personality traits.

## Personality Controlled Dialogue Generation In dialogue modeling, personality traits such as Big-Five personality are considered to affect speaking styles. In the early stage, Mairesse and Walker [13] leverage a statistical generation model, focusing on extraversion personality. Recently, Wang et al. [14] proposed a seq2seq model for Big-Five personality-conditioned response generation. Saha et al. [10] leverage Big-Five personality and discourse intents as stylistic control codes to generate stylistic responses. Although personal facts and personality traits are two important factors that characterize a speaker, no study attempts to model both persona information into account in response generation, due to the absence of datasets. ${ }^{1)}$

We thus add personality traits as text descriptions to the MSC dataset to train and evaluate persona-based chatbots using both personal facts and personality traits.

## 3 Approach

In this section, we describe our method to generate a dialogue response based on not only personal facts but also personality traits in chat conversation. The task is defined as, given the dialogue context $C$, and agent

1) Very recently, RealPersonaChat [15] datasets have been constructed, including massive Japanese conversations with both personal facts and personality traits provided by the speakers. However, the datasets have not been released at the moment.

Figure 2 A schema of the three personality verbalization methods. A case of extraversion intensity beyond $u+0.5 \sigma$ is shown.

personality traits $P_{\text {personality }}$ and personal facts $P_{\text {fact }}$, the model optimizes the generation of response $R$ to maximize $P\left(R \mid C, P_{\text {personality }}, P_{\text {fact }}\right)$ according to the dataset.

## 3.1 Annotating Personality Traits

To augment the existing persona-based dialogue dataset with personality traits, we train a personality detector using Pandora [11] dataset, which consists of Big-Five personality traits and their intensities for 1500+ Reddit users. We develop a RoBERTa [16]-based regression model to predict the target user's intensities of all personality traits at once from the target user's utterances. Following previous work [10], this detector predicts a target user's personality from accumulated target user's utterances, rather than aggregating the predictions from each utterance. Therefore, this model processes several utterances at once like batch processing.

In this study, we explore an effective way to verbalize the detected intensity of personality traits. Specifically, based on the distribution of the personality traits, three verbalization approaches to create personality profiles as shown in Figure 2 are explored in our work:

3-class verbalization Split each Big-Five personality trait into three classes (positive, neutral, and negative) with 0.5 standard deviation $\sigma$ from the mean $u$ of this dataset. Then verbalize the personality traits in the same format as the personal fact profiles in the dataset using the adjectives of each Big-Five personality and its opposite expression (e.g. "Extraverted" and "Introverted"). We do not add personality profiles for the neutral class.

7-class verbalization Rather than the three classes, using $0.5,1$, and $2 \sigma$ from $u$ as the threshold, we further divide each personality trait into seven classes by adding adverbs ("a bit", "quite" and non-adverb) of the degree to create more refined personality profiles.

Specifically, three adverbs with original and opposite adjectives result in six classes in addition to the neutral class.

Concrete verbalization Instead of the original and opposite adjectives of Big-Five personality, we take more concrete descriptions of the people owning such personality traits from psychology websites ${ }^{2}$ as the personality profiles. Specifically, we sampled the concrete descriptions according to the predicted intensity $(33 \%, 66 \%$, and $100 \%$ descriptions among all the descriptions used and combined).

## 3.2 Response generation based on personal facts and personality traits

Though the personal facts and the personality traits are both in the format of text descriptions, the elements they influence in the conversation are different. Rather than the basic facts and demographic features, the personality traits influence mainly the action pattern, speaking style, and more complicated aspects. Thus, we first concatenate individual descriptions in the personal facts and personality traits respectively, then concatenate the two sequences of descriptions with a special token. We feed the whole descriptions concatenated before the context to the decoder.

Personality-aware Reranking Naively incorporating personality traits may not facilitate the model to fully utilize the given personality traits. Thus, inspired by [7] using reranking to improve consistency between personal facts and generated responses leveraging a model trained on DNLI dataset [17], we propose to reuse the augmented training data of MSC dataset to train a personality consistency prediction model for response reranking. In this task, the response reranking model using RoBERTa [16] regression model calculates the consistency between personality traits and the generated responses. For the training data, we make positive sample pairs of personality traits with utterances in the original dialogue and negative sample pairs of personality profiles with utterances from other dialogues, and use the cosine similarity between the Big-5 personality intensity of those personality traits and intensity of personality traits of the utterance. We use the triplet of the first part of personality traits, the second part of utterances, and the cosine similarity as training data. In the inference stage, given personality profiles and one candidate utterance, the

model could predict the consistency score between them.

## 4 Experiments

In this section, we train chatbots on the augmented MSC dataset to confirm the effectiveness of using both personality traits and personal facts with our reranking method.

## 4.1 Settings

Datasets We use the MSC dataset [9], augmented by predicted personality traits for evaluation. Since individual dialogue sessions, a series of consecutive utterances, in the MSC datasets can be generated by different pairs of speakers even if they maintain the same personal facts, we ignore multi-session settings in the dataset and handle individual sessions as independent dialogues to guarantee the consistency of speakers' personalities.

Models We adopt DialoGPT ${ }^{3)}$ [18] as a backbone of persona-based chatbots, which finetunes a GPT-2 [19] on Reddit comment chain data. The models to be compared in the experiment are as follows:

Baseline We finetuned the DialoGPT model on the original MSC datasets with and without the personal facts as baselines. We hereafter referred to them as Baseline and +person. facts, respectively.

Proposed We fine-tuned three DialoGPT models on the personality-augmented MSC dataset by combining three personality verbalization methods (3-class, 7 class, and concrete verbalization). We referred them to as 3-class, 7-class, concrete respectively.

We performed the reranking of 5 response candidates for the three proposed models.

Metrics We use perplexity (ppl.) and BLEU-1/2 [20] as basic metrics. We also evaluate the Distinct-1/2 (DIST1/2) [21] to show whether the generated responses exhibit a certain degree of diversity.

In addition to these generic metrics, following the previous studies, we evaluate the personal fact consistency by consistency score (C. score) [22] which is a textual entailment score computed using a RoBERTa [16] model trained on the DNLI dataset [17]. As for personality consistency, inspired by the utterance-level Pearson correlation used by [10], we compute the Pearson correlation of dialogue-level personality detected from gold and gener-

Table 1 Automatic results. BLEU-1/2 and Distinct 1/2 are scaled by multiplying 100 . Pearson correlation is with a $p$-value $\leq 0.05$.

Table 2 Human evaluation for response quality.

ated responses as personality correlation (Pers. Corr.)

In human evaluation, as for response quality, we choose Fluency, Coherence, and Informativeness following the setting of [7], and ask human subjects to annotate 5-point Likert scales for the three dimensions, where 1 point means bad quality, 3 points mean moderate and 5 points mean a perfect performance. As for personal fact consistency, a point within $-1,0,1$ is assigned to each response, which means contradicted, neutral, or related to given personal facts.

## 4.2 Main Results

Table 1 list the automatic evaluation results of the generated responses. We can observe that the personality traits did not change perplexity, Distinct-1/2, and personal fact consistency (C. score) (Proposed vs. +person. facts). As for BLEU scores, we can see a consistent increase of BLEU-1 with personality traits. As for Personality Correlation, we could observe that the proposed models gain great increase and the 7-class verbalization of personality traits achieves the best personality consistency. In short, the proposed models improve the consistency with assigned personality profiles while maintaining other performance with +person. facts.

Table 2 shows the human evaluation for response quality. Considering the automatic results, we chose the bestperforming models with the 7-class verbalization of personality traits for evaluation. The results show that the 7class setting slightly outperformed +person. facts in terms of Fluency and Consistency, and the model trained with
Table 3 Ablation studies. BLEU-1/2 and DIST-1/2 are scaled by multiplying 100 . Pearson correlation is with a $p$-value $<0.05$.

Setting ppl. BLEU-1/2 DIST-1/2 C. score Pers. Corr.

only personal facts (+person. facts) achieved better results in Coherence and Informativeness. The use of personality traits does not show significantly negative influence on the response quality.

## 4.3 Ablation Studies

To examine the influence of the reranking of response candidates on personality consistency, we also conducted an ablation study as shown in Table 3 . The results of the ablation test without reranking (w/o Personalityaware Reranking) allow us to observe the huge impact of response-candidate reranking on personality consistency. Compared with previous results of Personal Facts (in Table 1), the model trained with personality traits could not improve the Personality Correlation. This is probably because the model may have a strong emphasis on personal facts due to the process of creating the MSC dataset, and naively incorporating personality traits did not contribute to the personality consistency. At the moment, personalityaware reranking is vital to improve personality consistency.

## 5 Conclusions

In this study, we explore the use of personality traits in addition to personal facts in persona-based chat response generation. We augment the existing MSC dataset [9] with personality traits using a personality detector trained on the Pandora dataset. To fully leverage the predicted personality traits, we explore personality verbalization and propose a personality-aware reranking method to pick response candidates with better personality consistency. Experimental results on the personality-augmented MSC dataset show an improvement in personality consistency.

As for future work, we plan to design a more effective model structure to fully utilize personal facts and personality traits at the same time.

## Acknowledgement

This work was partially supported by the special fund of Institute of Industrial Science, The University of Tokyo, by JSPS KAKENHI Grant Number JP21H03494, JP21H03445, and by JST, CREST Grant Number JPMJCR19A, Japan.

## References

[1] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 994-1003. Association for Computational Linguistics, August 2016.

[2] Shoetsu Sato, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Modeling situations in neural chat bots. In Allyson Ettinger, Spandana Gella, Matthieu Labeau, Cecilia Ovesdotter Alm, Marine Carpuat, and Mark Dredze, editors, Proceedings of ACL 2017, Student Research Workshop, pp. 120-127, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213. Association for Computational Linguistics, July 2018.

[4] Qiao Qian, Minlie Huang, Haizhou Zhao, Jingfang Xu, and Xiaoyan Zhu. Assigning personality/profile to a chatting machine for coherent conversation generation. In Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, IJCAI-18, pp. 4279-4285. International Joint Conferences on Artificial Intelligence Organization, 72018.

[5] Zhengyi Ma, Zhicheng Dou, Yutao Zhu, Hanxun Zhong, and JiRong Wen. One chatbot per person: Creating personalized chatbots based on implicit user profiles. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '21, p. 555-564. Association for Computing Machinery, 2021.

[6] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training persona-based dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177. Association for Computational Linguistics, August 2021.

[7] Junkai Zhou, Liang Pang, Huawei Shen, and Xueqi Cheng. SimOAP: Improve coherence and consistency in persona-based dialogue generation via over-sampling and post-evaluation. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9945-9959. Association for Computational Linguistics, July 2023.

[8] Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou, and Dongmei Zhang. You impress me: Dialogue generation via mutual persona perception. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1417-1427. Association for Computational Linguistics, July 2020.

[9] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197.
Association for Computational Linguistics, May 2022

[10] Sougata Saha, Souvik Das, and Rohini Srihari. Stylistic response generation by controlling personality traits and intent. In Proceedings of the 4th Workshop on NLP for Conversational AI, pp. 197-211. Association for Computational Linguistics, May 2022.

[11] Matej Gjurković, Mladen Karan, Iva Vukojević, Mihaela Bošnjak, and Jan Snajder. PANDORA talks: Personality and demographics on Reddit. In Proceedings of the Ninth International Workshop on Natural Language Processing for Social Media, pp. 138-152. Association for Computational Linguistics, June 2021.

[12] Bodhisattwa Prasad Majumder, Harsh Jhamtani, Taylor BergKirkpatrick, and Julian McAuley. Like hiking? you probably enjoy nature: Persona-grounded dialog with commonsense expansions. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9194-9206. Association for Computational Linguistics, November 2020.

[13] François Mairesse and Marilyn Walker. PERSONAGE: Personality generation for dialogue. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 496-503. Association for Computational Linguistics, June 2007.

[14] Wanqi Wu and Tetsuya Sakai. Response generation based on the big five personality traits. 2020.

[15] Ao Guo Shota Mochizuki Tatsuya Kawahara Ryuichiro Higashinaka Sanae Yamashita, Koji Inoue. Realpersonachat: A realistic persona chat corpus with interlocutors' own personalities. In Proceedings of the 37th Pacific Asia Conference on Language, Information and Computation, 2023.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[17] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3731-3741. Association for Computational Linguistics, July 2019.

[18] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. Dialogpt: Large-scale generative pre-training for conversational response generation. In ACL, system demonstration, 2020.

[19] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, July 2002.

[21] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110119. Association for Computational Linguistics, June 2016.

[22] Andrea Madotto, Zhaojiang Lin, Chien-Sheng Wu, and Pascale Fung. Personalizing dialogue agents via meta-learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5459. Association for Computational Linguistics, July 2019

## A Appendix

## A. 1 Human Evaluation Point Assignment Instruction

We show the concrete point assignment instruction of human evaluation about response quality (Fluency, Coherence, Informativeness) as follows:

Flue. 1 point: Extremely difficult to understand, with frequent language issues.
- 2 points: Communication is often unclear, with noticeable language challenges.
- 3 points: Communication is generally clear, with occasional disruptions in fluency.
- 4 points: Communication is very clear, with minimal interruptions or language issues.
- 5 points: Extremely fluent communication, very natural and easy to understand.

Coh. 1 point: The text lacks any coherence, making it extremely difficult to follow.
- 2 points: Coherence is often lacking, and the text lacks logical flow.
- 3 points: Text is generally coherent, but there are some logical breaks or disruptions.
- 4 points: The text is very coherent, with strong logical connections between sentences and ideas.
- 5 points: Text is extremely coherent, with seamless logical flow and strong connections.

Info. 1 point: Provides very limited information, offering little to no assistance.
- 2 points: Provides limited information, with some helpful aspects.
- 3 points: Provides sufficient information, but may lack depth or detailed explanations.
- 4 points: Provides ample information, with moderate depth, and is helpful to the user.
- 5 points: Provides highly detailed and comprehensive information, greatly assisting the user.


# ディスカッションの役割分類に基づいた ファシリテーション対話システム

藤後英哲 1 菊池英明 1 藤倉将平 2 清水健吾 3
1 早稲田大学人間科学研究科 2 株式会社サイシキ ${ }^{3}$ MNTSQ 株式会社
eitetsu@akane.waseda.jp fujikura@sai-shiki.com
kengo.shimizu@mntsq.com kikuchi@waseda.jp

## 概要

会議では，さまざまな問題が生じることが知られている。その問題を解消するアプローチとしてファシリテータの介入があるが，全ての会議にファシリテータを介入させることは困難である．そのため，本研究では会議における問題を解消するため，ファシリテーション対話システムの開発を行なった。開発した対話システムを評価した結果，ファシリテー タとしての適切な発話タイミング・発話生成を行える可能性が示唆された。

## 1 はじめに

多くの組織において，意思決定のために会議が行われている. しかし, 会議では発話の不均衡など,様々な問題が生じることが知られている [1]. 会議における問題を解消するアプローチの一つとして， ファシリテータの介入がある $[1,2]$. ファシリテー タの介入は効果的ではあるが, 育成や雇用のコストの側面から全ての会議に介入することが難しい. そこで，ファシリテーションを行う対話システムを指向した研究が行われている $[3,4]$. ファシリテー ション対話システム研究の多くは，音声情報や画像情報に着目しており，ファシリテータの発話内容に着目した研究は十分ではない.

本研究の目的は，テキストベースの会議において，ファシリテーションを行う対話システムを開発することである。また，開発した対話システムを用いることで，会議における問題が解消されるかについても併せて検証する。

## 2 関連研究

## 2.1 ファシリテータ

[1] はファシリテータが解消することのできる会議の問題として,「議論の混乱」「議論の対立」「発言の支配」「決定不能」「議論への不参加」の 5 つを挙げている.

また, [5] はグループディスカッションにおける参加者を，グループが行うタスクに関連する行動を行う「タスク遂行役割」, 集団が一体として機能するために必要な行動を行う「グループ調整役割」, 参加者自身の目標を達成するための行動をする「個人的役割」に分類している。一般的に，ファシリテー タにはディスカッションの目的や目標を達成するとともに，グループがグループとして機能するように調整することが期待されている。 そのため, 本研究では，ファシリテータの重要な機能としてタスク遂行役割・グループ調整役割に着目し, その中でも 「オリエンター」「調和者」「ゲートキーパー」を合わせた役割をファシリテータの定義とする。

## 2.2 テキストベースの複数人対話システム

テキストベースの複数人対話を対象とした対話システムに関する研究 [6] では，LLM の複数人対話能力について評価している。 [6] では, 複数人対話データセットを構築し，言語モデルをチューニングすることで，複数人対話における言語モデルの発話生成と発話タイミングについて検証した。検証の結果，既存のプロンプトベースの言語モデルと比較して，発話生成と発話タイミングの個々のタスクにおいて優れた結果を示した。しかし，発話タイミングの精度は $50 \%$ 程度であり，複数人対話システムを実現できているとはいえない.

図 1 システム概要図.

## 2.3 LLM を用いたデータ作成

2022 年に ChatGPT ${ }^{1}$ が発表されて以降, GPT-42) などの LLM を使用したデータ作成を行う研究が増加している $[7,8]$. 複数人対話においても LLM を用いてデータセットを作成した研究がある [9]. [9] によると, 作成されたデータセットは, 全ての評価項目において，人手で収集したデータセットより優れているという結果になった. しかし, 同研究では複数人の会話データセットを作成するに留まっており，その後の発話生成などのモデル構築には至っていない. そのため本研究では，LLM を使用して複数人会話のデータセットを作成し, 発話生成などのモデル構築することで，ファシリテーション対話システムを実現する。

## 3 提案手法

図 1 は，本研究のシステム概要図である。まず， タイミング予測モデルではシステムが発話をするべきかを 2 值分類する．タイミング予測モデルの結果，発話をするべきと判断された場合は発話を生成し，そうでない場合はシステムは沈黙とする。 タイミング予測モデルで沈黙と判断された後，沈黙が一定時間続いた場合，会議終了判定モデルでは会議が終わったかを 2 值分類する. 会議が終わったと判断された場合は会議を終了し，そうでなかった場合は発話生成モデルで発話を生成する.

## 3.1 データセットの作成

学習用のデータセットを構築するため，大規模言語モデル（本研究では GPT-4）を用いて会議の発言録テキスト（以降「会議データ」とする。）を生成した.

1) https://openai.com/blog/chatgpt

2) https://openai.com/research/gpt-4
まず，GPT-4 に与えるプロンプトが適切かを評価するため， 20 件の会議データを作成した。 20 件の会議データは，プロンプトテンプレートに，事前に用意した会議のトピックと， 4 人目の話者をファシリテータと固定し，それ以外の話者に役割をランダムに与えることで作成した. 作成した 20 件の会議データに対し，ファシリテーション経験者 4 名に評価を行ってもらった. その際，評価項目は本研究におけるファシリテータの要素である「オリエンター」「調和者」「ゲートキーパー」とし，それぞれ 7 段階評価とした. その結果, 各項目ともに平均して 4 以上であったため, 本研究でのプロンプトの設定が妥当であると判断した.

表 1 ファシリテーション経験者による評価結果.

次に，プロンプトテンプレートに，事前に用意した会議のトピックと参加者の役割を与えることで 485 件のデータセットを作成した. 以降のモデル学習では，この 485 件のデータセットを使用した。

## 3.2 タイミング予測モデル

本研究では，タイミング予測モデルとして BERT を使用した。日本語の事前学習済みモデルとして，東北大 BERT $^{3}{ }^{3}$ ，京大 DeBERTaV2 2)，早大 BigBird ${ }^{5}$ ) を比較した. データセットは，全体の $70 \%$ の会議を訓練データ，15\%の会議を検証データ，15\%の会議をテストデータとし, fine-tuning を行った. モデルの学習では, バッチサイズを 16 , 学習率を $2.0 \times 10^{-5}$,重み減衰率を 0.01 として AdamW[10] を使用し, 5 エポック学習を行った。

各モデルのテストデータに対する評価結果を表 2 に示す. 正解率と F1 スコアの精度が最も高かった京大 DeBERTaV2 with topic を採用した。

表 2 タイミング予測モデルの結果. "with topic" は BERTへの入力に会議トピックを含めた学習結果である.

$※$ chance rate $=0.64$

## 3.3 発話生成モデル

本研究では，発話生成モデルとして指示調整言語モデルを使用した. 日本語の事前学習済みモデルとして, ELYZA $^{6)}$, stablelm-beta ${ }^{7)}$, StableBeluga ${ }^{8)}$, weblab $^{9)}$ ， youri ${ }^{10)}$ を比較した. データセットは，全体の $80 \%$ 訓練データ，10\%を検証データ，10\%をテストデータとし, LoRA-tuning[11]を行った. モデルの学習では，学習率を $3 \times 10^{-4}$, バッチサイズを 16, LoRAの $\gamma$ 8, LoRAの $\alpha$ を 16, Drop率を 0.05 として AdamW を使用し， 3 エポック学習を行った. また，チューニングする層は Llama ベースのモデルでは"q_proj", "k_proj", "v_proj”とし, gpt_neox ベースのモデルは"query_key_value"とした.

各モデルのテストデータに対する評価結果を表 3 に示す. 推論速度以外の全ての自動評価指標の精度が最も高かった stablelm-betaを採用した。 stablelm-beta が生成した実際の対話例を表 4 に示す.

## 3.4 会議終了判定モデル

本研究では，会議終了判定モデルとして BERT を使用した。比較する事前学習済みモデル，学習デー タの分割，学習の設定は全てタイミング予測モデル （3.2 項）と同様にした.

各モデルのテストデータに対する評価結果を表 5 に示す. 正解率と F1 スコアの精度が最も高かった東北大 BERT を採用した。

表 5 会議終了判定モデルの結果. "with topic”は BERTへの入力に会議トピックを含めた学習結果である.

$※$ chance rate $=0.93$

## 4 評価実験

## 4.1 実験目的

以下の 2 点を目的に評価実験を行った.

1. 提案システムがファシリテータとして適切に振る舞えているかを検証する。

2. 提案システムによって，会議における問題が生じた際，その問題が解消することができるかを検証する。

## 4.2 実験設定

提案システムの有効性を検証するため，被験者 3 名ずつのグループを 8 つ用意し，提案システム介入会議（被験者 3 名と提案システムによる会議），システム非介入会議（被験者 3 名による会議）, ベー スラインシステム介入会議（被験者 3 名とベースラインシステムによる会議）の3つパターンで被験者内実験を行った. すべての会議は Slack を使用し， テキストベースで行われた。

被験者には各パターンでの会議後, 対話システムの性能（対話システムの自然性・一貫性・応答速度・ファシリテータとしての発話タイミング・ファシリテータとしての発話内容）と会議における問題の解消 (議論の混乱・議論の対立・発言の支配・決定不能・議論への不参加の 5 つの問題が生じた場合に，その問題が適切に解消されたか）を評価してもらった.

また，事後アンケートとして，普段の会議経験を 5 段階で回答してもらった.

## 4.3 実験結果

対話システムの性能対話システムの性能におけ
表 3 発話生成モデルの結果.

表 4 stablelm-beta の対話例. D が生成された発話である.

A 実社会での，金融周りでの詐欺の被害や機会損失など。

C それもそうです

の現実的な問題点を指摘していますね. Bさん，何か意見はありますか？

A B さん，早くしてください.

B なるほど，確かにそのような点が挙げられるのですね.リスクを恐れて投資に回さないといった保守的な人が日本に多いからのように感じます。

D Aさん，Bさんに対するプレッシャーは控え

か?

図 2 システム性能における評価結果. 左から順に自然性, 一貫性, 応答速度, ファシリテータとしての発話タイミング，ファシリテータとしての発話内容を表す.

る評価結果を図 2 に示す. 正規性が確認された評価項目については対応のある $\mathrm{t}$ 検定を行い，そうでない評価項目については Wilcoxon の符号順位検定を行った. 検定の結果，発話タイミングでは有意傾向が確認され $(t(23)=-1.46, p=.079)$, 発話内容では有意差が確認された $(W=60.50, p=.028)$. したがって，提案システムは，ベースラインシステムと比較して，適切なタイミングで発話をしている可能性が示唆され，適切な発話を生成していることが確認された。

会議における問題の解消会議における問題の解消に関する評価結果を図 3 に示す. 正規性が確認された評価項目については分散分析，そうでな

図 3 会議における問題の解消に関する評価結果. 左から順に議論の混乱，議論の対立，発言の支配，決定不能，議論への不参加を表す.

い評価項目については Kruskal-Wallis 検定を行った.検定の結果，議論の混乱・議論の対立・発言の支配・決定不能・議論への不参加の全ての問題において，問題を解消していることが確認されなかった $(H(2)=1.36, p=.506 ; F(2,63)=1.33, p=.273$; $H(2)=0.54, p=.763 ; F(2,64)=1.93, p=.153$; $H(2)=0.19, p=.909)$.

続いて，提案システムのファシリテータとしての発話内容の評価値が 7 段階中 5 以上だった被験者について分析した. その結果，議論の対立では有意差が確認された $(F(2,29)=7.22, p=.003)$.

最後に，事後アンケートをもとに，会議経験の浅い被験者について分析した. その結果，議論の対立では有意差が確認された $(F(2,23)=4.58, p=.021)$.

## 5 おわりに

本研究では，LLMを用いて会議のデータセットを作成し，ファシリテーション対話システムを開発した. 開発したシステムでは，適切な発話タイミングと発話生成が行える可能性が示唆された。また，全ての被験者の評価では，全ての問題において，提案システムは，ベースラインシステムと人間だけの会議と比較し, 問題を解消することが確認されなかった.しかし，発話が適切に生成されたと回答した被験者と，会議の経験が浅い被験者による評価では，議論の対立の解消に効果があることが示された.

## 参考文献

[1] Frances Westley and James A Waters. Group facilitation skills for managers. Management Education and Development, Vol. 19, No. 2, pp. 134-143, 1988.

[2] Liam Bannon, Mike Robinson, and Kjeld Schmidt. Proceedings of the Second European Conference on Computer-Supported Cooperative Work: ECSCW’ 91. Springer Science \& Business Media, 2012.

[3] Tsukasa Shiota, Takashi Yamamura, and Kazutaka Shimada. Analysis of facilitators' behaviors in multi-party conversations for constructing a digital facilitator system. In Collaboration Technologies and Social Computing: 10th International Conference, CollabTech 2018, Costa de Caparica, Portugal, September 5-7, 2018, Proceedings 10, pp. 145-158. Springer, 2018.

[4] Yoichi Matsuyama, Iwao Akiba, Shinya Fujie, and Tetsunori Kobayashi. Four-participant group conversation: A facilitation robot controlling engagement density as the fourth participant. Computer Speech \& Language, Vol. 33, No. 1, pp. 1-24, 2015.

[5] Kenneth D Benne and Paul Sheats. Functional roles of group members. Journal of social issues, Vol. 4, No. 2, pp. 41-49, 1948.

[6] Jimmy Wei, Kurt Shuster, Arthur Szlam, Jason Weston, Jack Urbanek, and Mojtaba Komeili. Multi-party chat: Conversational agents in group settings with humans and models. arXiv preprint arXiv:2304.13835, 2023.

[7] Himanshu Gupta, Kevin Scaria, Ujjwala Anantheswaran, Shreyas Verma, Mihir Parmar, Saurabh Arjun Sawant, Chitta Baral, and Swaroop Mishra. Targen: Targeted data generation with large language models. arXiv preprint arXiv:2310.17876, 2023.

[8] Zhuoyan Li, Hangxiao Zhu, Zhuoran Lu, and Ming Yin. Synthetic data generation with large language models for text classification: Potential and limitations. arXiv preprint arXiv:2310.07849, 2023.

[9] Maximillian Chen, Alexandros Papangelis, Chenyang Tao, Seokhwan Kim, Andy Rosenbaum, Yang Liu, Zhou Yu, and Dilek Hakkani-Tur. Places: Prompting language models for social conversation synthesis. arXiv preprint arXiv:2302.03269, 2023 .

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2019.

[11] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685, 2021.