# ただ一つのプロンプトによるタスク指向型対話システムの実現

鈴木順大 石垣龍馬 宿里晃太郎 藤本拓真 河窪大介 酒造正樹 前田英作
東京電機大学
\{20aj078@ms, 20aj012@ms, 20aj076@ms, 20aj112@ms, 22amj10@ms,
shuzo@mail, maeda.e@mail \}.dendai.ac.jp

## 概要

タスク指向型対話システムは，システム運用者，利用者の双方に共有された明確な対話目的が存在するため，対話シナリオを具体的に設計した上で，システムを構築することが一般的である. したがって，シナリオの各フェーズ毎に大規模言語モデル（LLM）を発話生成に利用する場合であっても， フェーズ間の対話遷移にはルールベースの制御を用いることによってシステム構築をすることが多い. しかしながら，そうしたシステムは，対話フローそのものがルールによって拘束され，ルールで想定されたフローから逸脱するような発話に柔軟に対応することができない，そこで，本研究では，LLMを利用したタスク指向型対話システムをただ一つのプロンプトによって構築することを提案する. 旅行代理店対話を事例とし，提案手法を用いて構築した対話システムが，対話破綻を起こすことなくタスク指向型対話が実現可能であることを明らかにした.

## 1 はじめに

昨今，GPT-4 [1]を始めとした大規模言語モデル （LLM）は，文章生成と論理推論において高い能力を示している．LLMによって柔軟で自然な対話が可能になりつつあるが，その一方で，明示的な対話制御が難しいという問題がある．そのため，システ么運用者，利用者の双方に共有された，明確な対話目的が存在するタスク指向型対話では，対話シナリオを具体的に設計した上で，システムを構築することが一般的であり，ルールベースと LLM による生成ベースを併用した対話システムを構築することが多い $[2,3]$. すなわち，システム発話には LLM の生成を用いているが，対話遷移にはルールベースの制御を用いているのである. しかしながら，このとき，ルールで定義されたフェーズを逸脱するような発話がユーザーからなされた場合に，対話全体の流
れに復帰することが難しいという問題が発生する。 そこで，我々は，LLMを用いることで，人間同士の対話において人間が行っているように，より俯瞰的な視点での対話制御を実現することはできないかと考えた. 本稿では，システム側の発話生成と対話フロー制御をただ一つのプロンプト（Dialogue Flow Prompt（DFP）と呼ぶこととする）によって制御された LLM で実現する方法を提案する。

実装上の具体例として，アンドロイドロボットを用いた対話ロボットコンペティション 2023 （DRC2023）[4] で設定されたタスクで検証した.これは，旅行代理店に訪れたお客さんと対話しながら，京都市内の 2 つの観光地を巡る旅行プランを設計し，提案するというものである。自己紹介やヒアリングなど雑談的要素も取り入れつつ，お客様が納得するような旅行プランを提案するという目的を達成することが求められる. この旅行代理店タスクを題材として，プロンプトを実装し，その結果，対話破綻を起こすことなく所望の対話を実現できた。

## 2 関連研究

DRC2023において, 吉川らはフェーズ間の対話遷移を LLM で制御する対話システム [5] を構築した。 この対話システムでは，フェーズ毎にプロンプトが用意されていた。これは，入力文の長さを短くし，指示を単純化することができるため，LLM の出力を安定させる効果が期待される。一方で，LLM がフェーズの遷移を判断し，その判断を受けて，プロンプトを入れ替える制御が必要になるため，システムが複雑になる。また，フェーズをどう遷移するかという順番は固定されてしまい，柔軟さに欠ける。本稿で提案するプロンプトはただ一つであることにより，これの解決を図った。

DRC2023 の他にも，対話システムライブコンペティション (ライブコンペ) [6] という，聴衆の前で対話システムを動作させ，評価を行うコンペティ

ションが存在し，ライブコンペ 2023 [7] でも LLM を用いた対話システムが提案された。

例えば，中野ら [8]では，プロンプトによって，予め定義したスロットを埋めていきながら対話を進めていくスロットフィリング $[9,10]$ を用いて，対話システムを構築している。本稿では，スロットフィリングといったプロンプト外の操作によって対話を進めていくのではなく，プロンプトだけで対話フロー を制御している。

## 3 Dialogue Flow Prompt (DFP)

本研究では, LLM として ChatGPT (2023 年 12 月時点）を用いた対話フロープロンプト（DFP： Dialogue Flow Prompt）を提案する. DFP は，以降に述べるプロンプトの設計手法を元に構築したプロンプトである．設計手法は，以下のように，大きく分けて，命令書，条件，タスク，【具体的なフェー ズ名】に関する条件，返答の条件，あなたのプロフィール，の６つで構成される。なお，用いている ChatGPT は，サービス側で対話履歴を管理しているため，この設計手法では，対話履歴に言及していないことに憂慮したい。

\#命令書

使用する言語設定

プロフィール設定

状況設定

魔法の言葉

\#条件

タスク指向型対話におけるタスクの指示

対話内容の条件

対話の進め方を指示

\#タスク

フェーズ設定

＃【フェーズ名】に関する条件

【フェーズ名】を実施する際に含めてはいけない情報

【フェーズ名】を実施している中での例外処理

【フェーズ名】を達成することが出来なかった際の処理

\#返答の条件

好ましい話し方の指示

好ましい話し方の具体例の提示

具体的な禁止ワードの設定と理由

＃あなたのプロフィール

具体的なプロフィール設定

## 3.1DFP 設計手法の詳細

「\# 命令書」は，使用する言語設定，プロフィール設定，状況設定，魔法の言葉，の4つで構成される. LLM は，時折，日本語ではなく英語や韓国語といった外国語を生成することがあるため，「使用する言語設定」では，LLM が生成すべき言語を指定する.「プロフィール設定」では，対話システムが演じてほしいキャラクタを，「状況設定」では，対話システムが対話を行う場面を指定する。「魔法の言葉」では，Cheng Li ら [11]が述べているように，「自分を信じて，限界を超えてください」といったLLM のパフォーマンスを向上させるような言葉を記述する.

「\#条件」は，タスク指向型対話におけるタスクの指示，対話内容の条件，対話の進め方を指示，の 3 つで構成される。「タスク指向型対話におけるタスクの指示」では，対話を通して最終的に達成したいタスクの内容を指定する。「対話内容の条件」では， システムがどのような立場で考え方で対話を行えばよいかを指定する。「対話の進め方を指示」では，「\#タスク」に記述しているフェーズをどのように遷移するかを指定する。

「\#タスク」は，フェーズ設定で構成される.「フェーズ設定」では，タスクを達成するために対話を，フェーズという形で切り分け，フェーズの説明とフェーズを遷移する方法を指定する。さらに， フェーズ内である程度設計者の意図を反映させるための発話例や，ルールベースのような安定性を実現するために固定したい言葉を指定してもよい。

「\#【フェーズ名】に関する条件」は，【フェーズ名】を実施する際に含めてはいけない情報，【フェー ズ名】を実施している中での例外処理，【フェーズ名】を達成することが出来なかった際の処理，の 3 つで構成される。【フェーズ名】には，「\#タスク」 で指定したフェーズの説明に含まれる任意のキー ワードを埋め込む。「【フェーズ名】を実施する際に含めてはいけない情報」では，特定のデータベースから情報を取得して利用しなければならない，という DRC のレギュレーションなどがあれば，それを指定する。「【フェーズ名】を実施している中での例外処理」では，DRCにあるようなレギュレーションを破るような出力が行われた際にどう対応するかなど，想定していなかった例外的な処理を指定する.「【フェーズ名】を達成することが出来なかった際の処理」では，フェーズで設定した対話を達成するこ

(「ただし，お客様の要望次第では順番を入れ替えたり，タスクを飛ばしても構いません」という一文なし) Sys: こんにちは! 旅行代理店の翔子です。お挌様のお話を聞くのが大好きで、今日もお客様のために最高の提案ができるように頑張ります。まずは揢様のことをもっと知りたいと思っています。お客様の趣味や最近興味を持っていることは何ですか？楽しくお話ししましょう！ User: 清水寺と金閣寺を回るプランを立ててくれませんか

Sys: ありがとうございます、お客様！清水寺と金閣寺への旅行プランを立てることは、とてもワクワクしますね。それでは本題に入りましょう。お客様が京都でどのような体験をし、どんな思い出を作りたいのか、それが鍵になります。例えば、京都の伝統的な町並みを散策する、お茶や京料理を楽しむなど、一般的な観光でできる体験があります。お客様の趣味や好みに合わせて、特別な体験を取り入れることもできますよ。京都市内でどのような体験をしたいですか？

(「ただし，お客様の要望次第では順番を入れ替えたり，タスクを飛ばしても構いません」という一文あり) Sys: こんにちは、旅行代理店の翔子です。お揢様とお話しできるのを楽しみにしています。さて、お客様、最近の趣味や興味があることは何ですか？何か特に夢中になっていることがあれば教えてくださいね。

User: 清水寺と金閣寺を回るプランを立ててくれませんか

Sys: もちろんです、お客様。清水寺と金閣寺を巡るプラン、素敵な選択ですね。清水寺はその古風な雾囲気と、舞台からの絶景で有名ですし、金閣寺は金箔で覆われた美しい建築が印象的です。京都の両方の名所を訪れるのは、素晴らしい体験になることでしょう。これからそのプランについて詳しくお話ししましょう。

図 1: プロンプト一文の有無による柔軟な対応の違い

（数字によるフェーズ表現）

Sys: こんにちは、旅行代理店の翔子です。お客様とお話しできるのを楽しみにしています。さて、お客様、最近の趣味や興味があることは何ですか？何か特に夢中になっていることがあれば教えてくださいね。

User: 清水寺と金閣寺を回るプランを立ててくれませんか

Sys: もちろんです、お客様。清水寺と金閣寺を巡るプラン、素敵な選択ですね。清水寺はその古風な雰囲気と、舞台からの絶景で有名ですし、金閣寺は金箔で覆われた美しい建築が印象的です。京都の両方の名所を訪れるのは、素晴らしい体験になることでしょう。これからそのプランについて詳しくお話ししましょう。

図 2: フェーズ表現の違いによって生じる出力結果の違い

とが出来なかった際の処理を指定する.

「井返答の条件」は，好ましい話し方の指示，好ましい話し方の具体例の提示，具体的な禁止ワードの設定と理由，の3つで構成される。「好ましい話し方の指示」では，タスクに応じて望ましい話し方を指定する.「好ましい話し方の具体例の提示」では， ある程度設計者の意図を反映させるための発話例を指定する。「具体的な禁止ワードの設定と理由」では，タスクによって避けたい不適当な言葉を指定する。

「\# あなたのプロフィール」は，具体的なプロフィール設定で構成される.「具体的なプロフィー ル設定」では, 「\#命令書」に書いたプロフィール設定をより詳細に指定する。

## 3.2 DFP が持つ特徴

3.1 節で述べた設計手法をもとに，DFPを構築した (付録に記載).このプロンプトは様々な特徴を持つが，本稿では，3つの特徴を紹介する。

1 つ目は「\#条件」に「基本的に以下の『タスク』
の流れに沿って1つずつ実行してください．ただし，お客様の要望次第では順番を入れ替えたり，夕スクを飛ばしても構いません.」と記述したことである．客によっては，設計者が想定した対話フロー と異なる対話フローを望む．例えば，客は既に行きたい観光地が決まっており，観光地を決めるフェー ズを必要としないときである．そこで，プロンプトが 1 つ目の特徴を持つことで，LLM 自身が対話フローを制御することができるため，客の要望に応じて柔軟に対話フローを切り替える効果を期待した。

2つ目は「月タスク」にフェーズを記述する際，対話フローを制御するために上から順に書くだけでなく，フェーズ毎に番号を振ったことである. 1 つ目の特徴でも述べた通り，客の要望に応じて柔軟にフローを切り替えることは重要である。そこで，プロンプトが 2 つ目の特徴を持つことによって LLM がどのフェーズに遷移すればよいのかを明確し，柔軟に対話フローを切り替える効果を期待した。

3 つ目は，1つ目の特徴に挙げた一文だけでなく，「\#条件」に「タスクは勝手に進めずに客の話を待っ

（効力を発揮していない一文と似た意味を持つ一文を複数追加したとき）

Sys: こんにちは、旅行代理店の翔子です。お客様とお話しできるのを楽しみにしています。さて、お客様、最近の趣味や興味があることは何ですか？何か特に夢中になっていることがあれば教えてくださいね。

図 3: 似た意味を持つ一文を複数入れることによる出力結果の違い

てください」，「井返答の条件」に「複数のタスクをまたいだ事を一つの発話で聞かないでください。一つ一つタスクを進めていってください.」，「一度に複数の事は聞かないでください。お客様が返答に困ります」というように，似た意味の一文を複数入れたことである.プロンプトを記述する際，1つだけでは指示に従わない出力が生まれる可能性がある. そこで，プロンプトに似た意味の文を複数記述することによって，効力を強めて指示に従うような出力になることを期待した。

## 4 実験と結果

3.2 節で述べた特徴に関する比較実験とその結果を示す。下記で示していく図にあるSys はシステム発話を指し, User は客発話を指す。

1 つ目の比較実験に関する結果を図 1 に示す.「ただし，お客様の要望次第では順番を入れ替えたり， タスクを飛ばしても構いません」という一文の有無によって，客の「清水寺と金閣寺を回るプランを立ててくれませんか」という要望に対する対応に差が生まれた. 特徴がない場合は, 客発話を無視してフェーズを進行していることが分かった. 特徴がある場合は，客発話を考慮して「\#条件」に指定されているフェーズをいくつか飛ばして進行していることが分かった. この結果から，1つ目の特徵があることで，「柔軟に対話フローを切り替える」という期待通りの効果が見られた。

2 つ目の比較実験に関する結果を図 2 に示す.「\# タスク」におけるフェーズ表現の違いによって，出力に差が生まれた. 1 つ目の結果と同じように, フェーズ表現を中黒（・）によって表現した場合と数字によって表現した場合で，お客様の「清水寺と金閣寺を回るプランを立ててくれませんか」という要望に対する対応に差が生まれた。この結果から， フェーズ表現を数字にすることで，柔軟に対話フローを切り替えることに繋がった。

3 つ目の比較実験に関する結果を図 3 に示す.「\#条件」に「基本的に以下の『タスク』の流れに沿って1つずつ実行してください. ただし，お客様の要望次第では順番を入れ替えたり，タスクを飛ばしても構いません.」という一文のみ入れた場合と，似た意味の一文を複数入れた場合で, 出力結果に差が生まれた。一文のみ入れた場合は, 出力が非常に長く，複数ターンかけて行うべき対話には沿っていなかった. 服うす入れた場合は，出力がまとまっており，自然であった. 効力が発揮できていない一文がある場合には，似た意味の一文を複数入れることで，効力を強めることができた。

以上のことから，提案したDFP が有効であることが確認された。

## 5 おわりに

本稿では，LLMを利用したタスク指向型対話システムをただ一つのプロンプトによって構築することを提案した。具体的に，DRC2023 タスクを用いて DFP を構築し，その効果を検証した. その結果，対話破綻を起こすことなくタスク指向型対話が実現可能であることを明らかにした。なお，DRC2023では本プロンプトを用いたシステム [12]を実際に用いて検証した. 様々な LLM が開発，公開されている中で，今後，提案プロンプトの汎用性を確認していくつもりである.

## 謝辞

本研究は JSPS 科研費 JP19H05693 の助成を受けたものです。

## 参考文献

[1] OpenAI. GPT-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

[2] Ryo Yanagimoto, Yunosuke Kubo, Miki Oshio, Mikio Nakano, Kenta Yamamoto, and Kazunori Komatani. Useradaptive tourist information dialogue system with yes/no classifier and sentiment estimator. In Proceedings of the Dialogue Robot Competition 2023, 2023.

[3] Hyejin Hong, Hibiki Kawano, Takuto Maekawa, Naoki Yoshimaru, Takamasa Iio, and Kenji Hatano. A summarized history-based dialogue system for amnesia-free prompt updates. In Proceedings of the Dialogue Robot Competition 2023, 2023.

[4] Ryuichiro Higashinaka, Takashi Minato, Hiromitsu Nishizaki, and Takayuki Nagai. In Proceedings of the Dialogue Robot Competition 2023, 2023.

[5] Katsumasa Yoshikawa, Takato Yamazaki, Masaya Ohagi, Tomoya Mizumoto, and Keiya Sato. Developing interactive tourism planning: A dialogue robot system powered by a large language model. In Proceedings of the Dialogue Robot Competition 2023, 2023.

[6] 東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈. 対話システムライブコンペティション. 第 84 回人工知能学会言語・音声理解と対話処理研究会, pp. 106-111, 2018.

[7] 東中竜一郎, 高橋哲朗, 稲葉通将, 斉志揚, 佐々木裕多, 船越孝太郎, 守屋彰二, 佐藤志貴, 港隆史, 境くりま, 船山智, 小室允人, 西川寛之, 牧野遼作, 菊池浩史,宇佐美まゆみ. 対話システムライブコンペティション 6. 第 99 回人工知能学会言語・音声理解と対話処理研究会, pp. 84-89, 2023.

[8] 中野雄斗, 野末慎之介, 穀田一真, 有山知希, 佐藤魁,曾根周作, 亀井遼平, 謝素春, 成田風香, 守屋彰二, 赤間怜奈, 松林優一郎, 坂口慶祐. Hagi bot: LLM を用いた対話状態追跡と人間らしい振る舞いで自然な議論を行うマルチモーダル対話システム. 第 99 回人工知能学会言語・音声理解と対話処理研究会, pp. 102-107, 2023 .

[9] Matthew Henderson, Blaise Thomson, and Jason D. Williams. The second dialog state tracking challenge. In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 263-272, 2014.

[10] Chia-Hsuan Lee, Hao Cheng, and Mari Ostendorf. Dialogue state tracking with a language model using schemadriven prompting. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4937-4949, 2021.

[11] Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, and Xing Xie. Large language models understand and can be enhanced by emotional stimuli. arXiv preprint
arXiv:2307.11760, 2023.

[12] 宿里晃太郎, 石垣龍馬, 鈴木順大, 永沼翔翼, 藤本拓真, 河窪大介, 酒造正樹, 前田英作. 大規模言語モデルを利用した音声対話システムのメタ制御. 言語処理学会第 30 回年次大会 (NLP2024), 2024. (発表予定).

## A 付録

対話フロープロンプト（DFP：Dialogue Flow Prompt）全文

\# 命令書

貴方は旅行代理店店員のプロフェッショナル店員です。

日本語でしゃべってください.

以下の条件に必ず従い，最高の出力をしてください，

\# 条件

今回の対話の最終的な目標は，\{CITY_NAME $\}$ 内での 2 つの観光地をめぐる旅行プランを決めることです.

お客さんと楽しくお話をしながら，\{CITY_NAME $\}$ 内での旅行プランを考えます。

残念ながら翔子は $\{$ CITY_NAME $\}$ 旅行に行くことができません，そのためお格様のために旅行プランを考えてください，

基本的に以下の「タスク」の流れ沿って1つずつ実行してください，ただし，お客様の要望次第では順番を入れ替えたり，タスクを飛ばしても構いません． タスクは勝手に進めずに，客の発話を待ってください

お客様が質問にはっきり答えるまで先に進まないでください，お客様が答えられないようだったら，共感したうえで先に進んでください，

ただし，「操作一覧」に記載された項目を実行する必要がある際には，発話せず，「操作一覧」番号のみを出力してください．

\# タスク

1. まずは，お客様のことを知りたいと言い，お客様の趣味や最近やっているを聞いてください。

お客様に興味を持っているため，旅行プランの事は一旦おいて趣味を聞きたいと思っています. 興味津々に話を聞いてください. 2 回だけ，その話題について深堀をして会話を盛り上げてください。2.お客さんの趣味を聞いてうれしかった事を伝えた後に，「それでは本題に入りましょう」と言ってください。

3.「お客様が京都でどのような体験をし，どんな思い出を作りたいのか，それが鍵になります」と言った後，\{CITY_NAME \}旅行でどのような体験をしたいのか聞いてください。一般的な京都観光でできる体験の具体例を 2 個挙げ，お客様の趣味を京都観光で生かせる体験を 1 つ挙げてください，簡潔に伝えてください.

4. これまでの話をもとに，これからオススメプランを紹介することを伝えてください.

5.これまでの話をもとに，旅行プランを 1 つ紹介してください. 旅行プランには 1 箇所目の観光地と 2 箇所目の観光地が含まれます. プラン名には，カタカ

ナと漢字を組み合わせて魅力的で分かりやすい名前を付けてください. お客さんの求めるものを反映できる聞き取りやすくて奇抜なプラン名をつけてくださ

い. 頭に残るような印象的なプラン名がいいです. 少しダサいぐらいがちょうどいいです. ex) 1 つ目は「筋肉もりもり金色の都とロマンチックプラン」で

す.これは oo を体験できるプランです. プラン名を示した後に，そのプランで訪れる 2 つの観光地を紹介してください. 観光地候補一覧に存在しない観光地をオススメするときは，追加でもう一箇所観光地を決めて，存在しないものはおまけで行くようにしたください.

6. 紹介したプランでお客様の希望を満たせているか必ず確認してください. 「変更などもできますが、このプランで訪れる観光地はこちらの 2 つでいかがでしょうか？」と言ってください。プランを変更するときには，全体のプラン確認をせずに， oo の観光地を xx に変更します. のように簡潔に説明してください. プラン全体の説明はしないでください.

7.「それでは，お客様，旅行において，食事処選びも醍醐味ですよね」と言った後に，\{CITY_NAME $\}$ 内で食べてみたい料理や好きな食べ物を聞いてください. 自分の意見を織り交ぜながら，お客様の希望を聞いてください。

8. これまでの話を参考にして，ランチ場所や店，もしくは商店街を提案してください．ただし，食事処は紹介するだけにしてください。勝手に予約を取ったり, 決めつけたりしないでください。

9. 提案した食事処がお客様の希望を満たせているか確認してください.

10. 決まった旅行プランの確認をしてください. 簡潔にプラン名と，訪れる観光地の名前を確認する．プランの回り方を午前中，お昼，午後に分けて端的に伝えてください．観光地候補一覧に存在しない観光地をオススメするときは，追加でもう一箇所観光地を決めて，存在しないものはおまけで行くようにしてください.「とても素晴らしいプランだと思います.」という感じの締めの言葉を言ってください.

\# 観光地の条件

\{CITY_NAME $\}$ 内での観光地のみをオススメしてください

それ以外の観光地を含めてはいけません.

お客様の趣味や求める体験を反映したプランにしてください.

$「 1$ 箇所目の観光地」:\{CITY_NAME $\}$ 内での観光地，必ず「観光地一覧」から選ぶ

$「 2$ 箇所目の観光地」: 1 箇所目から近くの，\{CITY_NAME $\}$ 内での観光地，必ず「観光地一覧」から選ぶ

観光地候補一覧に存在しない観光地をオススメするときは，追加でもう一箇所観光地を決めて，存在しないものはおまけで行くようにしたください.

\# 趣味を聞く条件

趣味が無ければ，お客様が最近興味のある事を聞くようにして，順で一つ一つ段階を追って聞いてください，

ただ趣味を聞くのではなく, 2 回ほど深堀をしてお客様が楽しく話せるようにしてください.

もし何も答えてくれない場合は，その事に共感して，次のタスクに移ってください.

\# 返答の条件

複数のタスクをまたいだ事を一つの発話で聞かないでください。一つ一つタスクを進めていってください.

一度に複数の事は聞かないでください。お客様が返答に困ります。

体言止めは使わないようにしてください.

話し言葉で話してください。人間らしいしゃべり方で話してください.

丁寧なしゃべり方で話してください。失礼な言葉を使わないでください.

お客様が質問に答えてから提案をしてください。

提案をする場合には「いかがでしょうか？」などの丁寧な言葉を使って相手に尋ねてください.

出力する文字列に改行や箇条書きは使わないでください. カッコも使わないでください.

タスクにある数字は出力しないでください.

話し相手のことは必ず「お客様」と呼んでください. 勝手に名前をつけてはいけません.

基本的にお客様と 1 対 1 で話します.「私たち」や「皆さん」といった複数系の言葉を使わないでください.

\# あなたのプロフィール

あなたは旅行代理店の店員です。名前は翔子です。

お客さんと話すのが大好きで，少しお茶目な女性です。頼れるお姉さんです.

今回，お客様に最高の提案ができるように沢山お客様の事を聞こうと頑張っています.

お客様に興味津々です。

\{CITY_NAME\} の歴史に詳しいですが，割とフィーリングでものを決めるタイプで，分かりやすい言葉を好みます.


# 日本語日常対話コーパスへの基礎解析アノテーション

赤間怜奈 1,2 浅原 正幸 3 若狭絢 1 大村舞 3 鈴木潤 1,2
1 東北大学 2 理化学研究所 3 国立国語研究所
\{akama, aya.wakasa.c3, jun.suzuki\}@tohoku.ac.jp,
\{masayu-a, mai-om\}@ninjal.ac.jp

## 概要

規範的な日常対話を収録した言語資源「日本語日常対話コーパス」に対し，基礎解析情報のアノテーションをおこなっている。具体的には，形態素解析および構文解析を施し，形態論情報として UniDic に基づく短単位・長単位形態論情報を，構文情報として文節境界と文節係り受け情報を付与した.さらに，これらの情報を用いて，多言語間で共通化された依存構造アノテーション仕様 Universal Dependencies 準拠の言語資源を構築した. 本稿では，基礎解析アノテーションの手順ならびに進捗状況を報告するとともに，アノテーション済みデータの活用事例として，依存構造解析器を構築し既存解析器との比較によりその特性と有用性を紹介する。

## 1 はじめに

自然言語処理の研究・開発は，近年は分野として言語横断的な取り組みを推奨する動きはあるものの [1]，依然として英語を対象とした議論が主導的である. 日本語を対象とした自然言語処理，たとえば，英語をはじめ他言語のうえで確立された最先端の技術や知見の日本語への適応可能性を検証すること，あるいは，日本語話者の文化や思想が反映された日本語特有の表現を満足に処理する方法論を確立することなどを議論していくためには，日本語言語資源の整備が必要不可欠である.

日本語日常対話コーパス (JDailyDialogue; JDD) は，規範的な日本語表現で構成される高品質なマルチターン日常対話コーパスである [2]. 日本語の対話コーパスは音声対話の書き起こしを収録したものが多いなか，日本語日常対話コーパスは，Business Scene Dialogue [3], JPersonaChat, JEmpatheticDialogues [4] と同様，人が創作したテキスト対話を収録したものである。これらのコーパスは，人間同士の自然対話で観察されるリアルな言語現象（フィラーや相槌の多用，発話途中の話者交代など）を含まないが，近年の対話研究のデファクトスタンダードである英語対話データ DailyDialog [5], Persona-Chat [6], EmpatheticDialogues [7] の日本語版と見做すことができ，日英言語横断的研究の土台を成している.

日本語日常対話コーパスをより標準的で利便性の高い言語資源として整備することを目的として， コーパス内の対話に対して形態論情報や統語情報などの基礎解析情報のアノテーションを進めている. さらに，これらの情報に基づき，日本語日常対話コーパスを多言語間で共通化された依存構造アノテーション仕様である Universal Dependencies (UD) [8] に準拠した言語資源として再構築している. 基礎解析情報が付与されている日本語対話コー パスには日本語話し言葉コーパス $[9,10]$ や日本語日常会話コーパス [11] があるが，これらはいずれも自然音声発話の書き起こしデータであり，日本語日常対話コーパスのような高品質テキスト対話に解析情報が付与されている言語資源は希少である. 日本語の UD 言語資源には UD Japanese-GSD など $[12,13,14]$ があるが，著作権の都合で表層形と合わせて利用可能な言語資源は限定的である. 本稿で紹介する UD Japanese-JDD は，データの包括性に加えて規模と品質の観点からも，日本語の UD 言語資源としての高い有用性が期待できる。

本稿では，日本語日常対話コーパスに対して実施している基礎解析アノテーションの内容および手順を説明し，基礎解析結果の概要を報告する。また，基礎解析結果に基づいて構築した UD Japanese-JDD の活用の一例として依存構造解析器を作成し, 既存解析器との比較によりその特性を明らかにする.

## 2 アノテーション内容と作業手順

日本語日常対話コーパスに形態論情報，文節係り受け情報を付与し, 単語依存構造に変換した (図 1).各工程の詳細と作業手順を以下で説明する。

図 1 UD Japanese-JDD の例. 短単位アノテーション. 発話は「日常生活」トピック内の対話より抜粋.

## 2.1 形態論情報の付与

形態論情報として, UniDic 品詞体系に基づく国語研短単位・国語研長単位形態論情報 [15] を付与した. まず, 国語研短単位は短単位自動解析用辞書 UniDic と形態素解析器 MeCab を, 国語研長単位は中長単位解析器 ( Comainu ${ }^{1)}$ を用いて自動解析をおこなった。専門の作業者が，形態論情報アノテーションシステム大納言 [16] を用いて自動解析結果を修正し，適切なラベルが付与されていることを確認した. 国語研長単位に基づいて，文節境界を付与した。

## 2.2 文節係り受け情報の付与

文節係り受け情報は，BCCWJ-DepPara [17] の基準に準じる. 先に係り受け解析器 $\left(a b o C h a^{2}\right.$ を用いた自動解析をおこない，その後，専門の作業者がコー パス管理システム ChaKi.NET [18] を用いて解析結果を修正した。一般に，文節係り受け解析は 1 文をひとつの単位としておこなわれる. しかし, 日本語日常対話コーパスに含まれる対話は， 1 発話がひとつの単位となっており， 1 発話には 2 つ以上の文が含まれている場合も多い. このようなデータを適切に解析するために，文節境界に加えて，句点などを手がかりに改めて文境界を付与した。

## 2.3 誤記の修正・表現の正規化

前述の作業を実施する過程で，元の対話データに含まれる誤記等が発見された．たとえば，UniDic 内の適切な形態素を割り当てられない箇所は, 誤字や一般的でない表現を含む可能性が高い. 発見された誤記等は, 日本語日常対話コーパスの開発時と同様，既定の正書法 [19] に従って作業者が修正あるいは正規化した. また，適切な文節係り受けを付与できない箇所は, 文法規則から逸脱した表現である可能性が高い. 発見された非文法的な表現は，可能な

1) http://comainu.org/

2) https://taku910.github.io/cabocha/限り文意を保存しつつ作業者が柔軟に修正した。

## 2.4 単語依存構造への変換

形態論情報および文節係り受け情報に基づいて， Universal Dependencies（UD）に準拠した単語依存構造を構築した. UDは，他言語間で共通化されたアノテーション規則のもとでツリーバンクを作成する国際プロジェクトであり，これに則して記述された資源は言語横断的な解析も容易となる. 形態論情報・文節係り受け情報に UD の変換規則 [13] を適用し, 国語研短単位（Short Unit Word; SUW）および長単位（Long Unit Word; LUW）に基づく依存構造に変換した。また，同規則により品詞体系をUniDic から UD 規定の Universal Part-of-Speech（UPOS）に変換し，さらに，UPOS に基づいて UD 規定の係り受けラベル DEPRELを割り当てた。

## 3 UD Japanese-JDD の特性

上述の手順で日本語日常対話コーパスをUDに変換した言語資源をUD Japanese-JDD と呼ぶ. 2024 年 1 月時点で UD Japanese-JDD に収録されている対話，すなわちアノテーション作業が完了している対話は 1,545 で，これは日本語日常対話コー パス全体（5,261 対話）の約 $29.4 \%$ に相当する. UD Japanese-JDD の特性を, 以下に示す既存の日本語 UD 言語資源との比較を通して述べる。
- UD Japanese-CEJC [14]: 日本語日常会話コーパス [11] のコアデータに基づく. 自然音声対話の転記で，完全でない文を多く含む．句読点が含まれない. 表層形は契約者のみ利用可.
- UD Japanese-GSD [12]: Wikipedia テキストに基づく．文単位のみ，文書レベルの単位は定義されない. 表層形はオープンライセンスで公開.
- UD Japanese-BCCWJ [13]: 現代日本語書き言葉均衡コーパス [20] に基づく.書籍・雑誌・新聞・白書・ブログなど多様な媒体の書き言葉を収録.表層形は契約者のみ利用可.

## 3.1 基礎統計

表 1 に各日本語 UD 言語資源の統計情報を示す。 すべての言語資源で単位が共通している文節数と単語数に着目すると，JDD は，現時点で既に GSD と同程度の規模である.コーパス内のすべての対話にアノテーションが完了すると，現在の約 3 倍強の規模になることが予想される. JDD の 1 文（発話）あたりの平均単語長は, 話し言葉 (CEJC) と書き言葉 （GSD，BCCWJ）の中間の大きさであった.

## 3.2 ラベル分布

品詞ラベル表 2 に各 UD 言語資源における短単位 SUW に付与された品詞ラベル UPOS の分布を示す. 対話データである JDD と CEJC は，GSD や BCCWJ と比べて複合名詞 NOUN が少ない. 同じ対話であっても，JDD は CEJC と比べて，副詞 ADV，接続詞 CCONJ, 感動詞 INTJ の値が小さい。これはJDDがフィラーや言い淀みをあまり含まないことに起因する. JDD では規範的な表現が用いられているため,対話であっても格助詞の省略が少なく，格助詞・係助詞 ADP が比較的大きい値である。また，JDD は，表 3 係り受けラベル DEPREL の分布.

助動詞 AUX の値がとくに大きい。書き言葉である GSD や BCCWJ と比較しても大きな值である。このことから，JDDでは丁寧語の「です」「ます」や複合動詞が多用される傾向にあることが見て取れる.

係り受けラベル表 3 に各 UD 言語資源における短単位 SUW に付与された係り受けラベル DEPREL の分布を示す. JDD は，品詞ラベルと同様，助動詞 aux の割合がとくに大きい. 形容詞節 $a c l$, 副詞節 $a d v c l$ の分布は，書き言葉である GSD や BCCWJ よりも話し言葉である CEJC に近い。つまり，JDDには節が少ない文（単文）が比較的多く含まれていることが示唆される。一方で，名詞主語 $n$ subj と目的語 $o b j$ の割合は，CEJC よりも明らかに多く，GSD やBCCWJに近い。このことから，JDD は主語や目
的語を省略しない表現が多く含むことがわかる。

## 4 活用事例 : 依存構造解析器

UD 言語資源の活用事例のひとつとして，依存構造解析器の構築が挙げられる。本章では, UD Japanese-JDD を用いて依存構造解析器を構築し，他の解析器との比較を通してその特性を分析する.

## 4.1 実験設定

解析器の作成既存研究 [14] に倣い, 自然言語処理ライブラリ $\mathrm{spaCy}^{3}$ )を用いて解析器を作成した. 解析モデルとして spacy-transformers を採用した。これは, Transformers ベースの事前学習モデル ${ }^{4)}$ と解析コンポーネント5)との間で損失勾配を共有しながら同時学習をおこなうモデルである. UD Japanese-JDD を訓練データ6) としてモデルを学習し, 解析器を作成した. 比較のために, UD Japanese-GSD および UD Japanese-CEJC を訓練デー タ7)とした解析器も作成した.

評価方法作成した依存構造解析器を用いて対象のテキストデータを解析し，その精度を $\mathrm{F}$ 值として算出した. 評価観点は次の 6 つとした: 単語分割精度 (Tokens), UD 品詞ラベルの予測精度 (UPOS), UniDic 形態論情報の予測精度 (XPOS), 語彙素の予測精度 (Lemmas), 依存関係の予測精度（Unlabeled Attachment Score; UAS），依存関係に加えて UD 係り受けラベルの予測精度（Labeled Attachment Score; LAS）、いずれも短単位に基づく解析. 解析対象には，JDD，CEJC，GSDのテストデータを用いた。

## 4.2 結果と考察

表 4 に，UD 言語資源を活用して作成した依存構造解析器の各設定における解析精度 (一部抜粋) を示す. ${ }^{8}$ )ここでは，UDを構成するラベル（品詞 UPOS，係り受け DEPREL）に関連する 3 つの評価観点（UPOS，UAS，LAS）から依存構造解析タスクにおける UD Japanese-JDD の特性を議論する。

訓練データとして JDDを用いて作成した解析器は，いずれのテストデータでも他の解析器を下回るあるいは同程度の解析精度であった. 特に, CEJC

表 4 UD 言語資源に基づく依存構造解析器の解析精度.

を解析したときの LAS は 62.82 と低い值であった. これは，JDD は規範的な対話であることに対し，自然発話である CEJC は不規則な係り受け関係を多く含むことが要因のひとつと考えられる。

JDD を解析対象とした場合，CEJC や GSDを対象とした場合よりも解析器の精度が高くなる傾向にあった．JDDは，その性質上，形態や統語構造の面でも規範的なものが多く例外的な現象をあまり含まないため, 多くの解析器にとって解析し易いデータであると考えられる。JDD の解析において最も高い精度を示したのは，CEJC と GSDの 2 種類を組み合わせて訓練データとして用いた解析器であった.このことから，JDDは，形態や統語構造の面で話し言葉と書き言葉の両方を併せ持つ，あるいはそれらの中間的な性質を有していることが示唆された.

## 5 おわりに

規範的な日常対話を収録した言語資源「日本語日常対話コーパス」に対して基礎解析情報のアノテー ションをおこなっている. 本稿では, アノテーションの内容と作業手順を説明し, 単語依存構造への変換までのすべての基礎解析が完了した対話データで構築した日本語 UD 言語資源「UD Japanese-JDD」 を紹介した。既存資源との比較分析により，UD Japanese-JDD は，表層形が利用可能な日本語 UD 言語資源としては現時点で既に最大級の規模であること, 形態および統語構造的な特徴として書き言葉と話し言葉双方の性質を併せ持っていること，例外的な言語現象が少ない規範的なデータで解析が容易であることを確認した. 完成した UD Japanese-JDD は主に研究用途として公開することを予定している.

## 謝辞

本研究は JSPS 科研費 JP22K17943，JST ムーンショット型研究開発事業 JPMJMS2011-35 (fundamental research), 国立国語研究所共同研究プロジェクトの支援を受けたものです。

## 参考文献

[1] Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. The state and fate of linguistic diversity and inclusion in the NLP world. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[2] 赤間怜奈, 磯部順子, 鈴木潤, 乾健太郎. 日本語日常対話コーパスの構築. 言語処理学会第 29 回年次大会発表論文集, pp. 108-113, 32023.

[3] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[4] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. In 2022 IEEE Spoken Language Technology Workshop (SLT), pp. 685-691, 2023.

[5] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, Shuzi Niu, and Hong Kong. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995, 2017.

[6] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 2204-2213, 2018.

[7] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y. Lan Boureau. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 53705381, 2019.

[8] Marie-Catherine de Marneffe, Christopher D. Manning, Joakim Nivre, and Daniel Zeman. Universal Dependencies. Computational Linguistics, Vol. 47, No. 2, pp. 255-308, 2021.

[9] Kikuo Maekawa. Design, compilation, and some preliminary analyses of the corpus of spontaneous japanese. Spontaneous speech: Data and analysis, Vol. 3, pp. 87-108, 2004.

[10] Kiyotaka Uchimoto, Ryoji Hamabe, Takehiko Maruyama, Katsuya Takanashi, Tatsuya Kawahara, and Hitoshi Isahara. Dependency-structure annotation to corpus of spontaneous Japanese. In Proceedings of the Fifth Interna- tional Conference on Language Resources and Evaluation (LREC), pp. 635-638, 2006.

[11] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the Corpus of Everyday Japanese Conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, 2022.

[12] Masayuki Asahara, Hiroshi Kanayama, Takaaki Tanaka, Yusuke Miyao, Sumire Uematsu, Shinsuke Mori, Yuji Matsumoto, Mai Omura, and Yugo Murawaki. Universal Dependencies version 2 for Japanese. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), pp. 1824-1831, 2018.

[13] Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies, pp. 117-125, 2018.

[14] Mai Omura, Hiroshi Matsuda, Masayuki Asahara, and Aya Wakasa. UD_Japanese-CEJC: Dependency relation annotation on corpus of everyday Japanese conversation. In Proceedings of the 24th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 324-335, 2023.

[15] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.

[16] 小木曽智信, 中村壮範. 『現代日本語書き言葉均衡コーパス』形態論情報アノテーション支援システムの設計・実装・運用. 自然言語処理, Vol. 21, No. 2, pp. 301-332, 2014.

[17] Masayuki Asahara and Yuji Matsumoto. BCCWJDepPara: A syntactic annotation treebank on the 'Balanced Corpus of Contemporary Written Japanese'. In Proceedings of the 12th Workshop on Asian Language Resources, pp. 49-58, 2016.

[18] Masayuki Asahara, Yuji Matsumoto, and Toshio Morita. Demonstration of ChaKi.NET - beyond the corpus search system. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 49-53, 2016.

[19] 一般社団法人共同通信社. 記者ハンドブック第 14 版新聞用字用語集. 2022.

[20] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguti, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

## A UD 言語資源に基づく依存構造解析器の性能評価

表 5 に，UD 言語資源を活用して作成した依存構造解析器の各設定における解析精度を示す. 評価観点は,単語分割精度 (Tokens), UD 品詞ラベルの予測精度 (UPOS), UniDic 形態論情報の予測精度 (XPOS), 語彙素の予測精度 (Lemmas)，依存関係の予測精度（UAS），依存関係に加えて UD 係り受けラベルの予測精度 （LAS）の全 6つで，いずれも $\mathrm{F}$ 值で精度を算出した. $\mathrm{spaCy}$ 用いると，解析対象が同一のデータの場合は訓練データによらず Tokens，XPOS，Lemmas がほぼ同じ結果になった. 今後， spaCy 内部で何が起きているかについて検討する。表中の太字は各観点における最良の値を示す.

表 5 UD 言語資源に基づく依存構造解析器の解析精度 (完全版).

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模言語モデルを用いた対話システムの語彙レベル制御

TSENG YI KAI ${ }^{1}$ 徳永健伸 ${ }^{1}$ 横野光 ${ }^{2}$
1 東京工業大学 2 明星大学
tseng.y.ab@m.titech.ac.jp take@c.titech.ac.jp hikaru.yokono@meisei-u.ac.jp

## 概要

人間同士の対話では alignment が発生することが昔からよく知られており，我々の先行研究では Lexical Level Alignment (LLA) という発話で使われる単語の語彙レベルでの alignment を提案した. 本論文では，対話システムで LLAを実現するために， ChatGPT を発話生成のモデルとして採用し，生成される発話の語彙レベルを制御するための指定の語彙レベルに応じた発話生成用単語リストを作成する外部モジュールを提案する.

## 1 はじめに

人間同士の対話では様々な linguistic level で alignment が発生することが昔からよく知られている [Pickering and Garrod, 2006]. 我々の先行研究 [Tseng et al., 2023] では, Lexical Level Alignment (LLA) という発話で使われる単語の語彙レベルでの alignment を提案した. 子供や非母語話者と話す時に相手が理解しやすいようにより簡単な単語を使うことがあるが，これはLLA の一つの例である。

本研究ではLLAを考慮した対話システムの実現を目指している。発話生成にはプロンプトベースの大規模言語モデルである ChatGPT 1)を採用するが，予備実験 (付録 A) において，ChatGPT の生成する発話の語彙レベルをプロンプトのみで制御することは不十分であることが明らかになった.

本論文ではこの問題の解決に向けて，これまでの対話履歴を考慮した，指定した語彙レベルに応じた発話生成用単語リストを作成して発話生成を行う ChatGPT に提示する外部モジュールを提案し，指定した語彙レベルより難しい単語をできる限り使わずに発話を生成することを目指す。

## 2 関連研究

Ehara [2023] は英語学習のための文章を ChatGPT

1) https://openai.com/blog/chatgpt
を用いて生成するシステムを開発している。システムは特に単語の習得に注目し，ユーザが選択したトピックとユーザの学習状況に応じて習得する単語を選択し，生成される文章に選択された単語が含まれるように ChatGPT に指示する。

Landwehr et al. [2023] は ChatGPT に外部のモジュー ルを導入し，バーチャル $\mathrm{AI}$ キャラクターのための記憶機能を実現している．提案システムは発話履歴から記憶のデータベースを構築し，発話を生成する度にデータベースから関連する記憶を抽出して ChatGPTへのプロンプトに挿入している.

本論文の提案システムは Landwehr et al. [2023] の構成を参考にして外部モジュールを導入して外部データベースとして分類語彙表 [National Institute for Japanese Language and Linguistics, 2004]を参照して発話生成用単語リストを作成する。そして，Ehara [2023] の手法を参考にして発話生成用単語を使うように発話生成の ChatGPT に指示する。

## 3 提案手法

発話生成用単語リストの作成において，最も単純な手法として指定した語彙レベルの単語を分類語彙表から選択することが考えられるが，発話生成用単語リストが極端に大きくなり，対話のトピックに関連しない単語を多く含めてしまうため，適切な返答を生成できない可能性がある.

そこで，対話の一貫性を保つために，提案手法では対話のトピックに関連する単語で，かつ，指定の語彙レベルを満たす単語のみを選択する。

具体的には，まず，ChatGPTを用いて，対話のトピックを代表するキーワードを発話履歴から抽出する (3.1 節). 次に，分類語彙表の分類情報を参照して，対話のトピックを代表するキーワードと同じ分類の単語を抽出し，その中で指定した語彙レベルより簡単な単語を選択して発話生成用単語リストを作成する ( 3.2 節). 最後に, 作成した発話生成用単語リストと発話履歴を含めたプロンプトを ChatGPT に
提示し，それらの単語をできる限り使うように応答の発話を生成させる (3.3 節).

本論文では，我々の先行研究でも用いた分類語彙表の「聞く」の単語親密度 [Asahara, 2019]を語彙レベルとして用いる. 従って，単語親密度が高いと簡単な語であるとみなす.

## 3.1 トピックキーワードの抽出

トピックキーワードは ChatGPT を用いて発話履歴から抽出する。

ChatGPT に提示するプロンプトは二つのメッセー ジから構成される (図 1).ここで，二つ目のメッ

(System)

A と B の対話において、対話のトピックを代表する単語を抽出してください。一行に一単語を出力してください。

## (User)

$\mathrm{A}:\{$ 話者 $\mathrm{A}$ の発話 1$\}$

B: $\{$ 話者 B の発話 1$\}$

A: $\{$ 話者 A の発話 2$\}$

B: $\{$ 話者 B の発話 10$\}$

図 1 トピックキーワード抽出のプロンプト

セージには直近の 20 発話を入れ，最初の発話者を “A"，二番目の発話者を“B”とする。

モデルの温度パラメータは再現性のために 0 に設定する.

## 3.2 発話生成用単語リストの作成

発話生成用単語リストを作成するために，分類語彙表からトピックキーワードと同じ分類の単語を抽出し，候補単語集合を作成する. 分類語彙表では各単語に品詞を表す一桁の整数部分と，上位語関係が反映された意味を表す四析の小数部分から構成される分類コード2) が付与されている.トピックに関連する単語は品詞を問わず該当するため，本論文では分類語彙表の分類コードは意味を表す小数部分のみ考慮する。

次に, ChatGPT が生成する応答の語彙レベルを制御するために，指定の語彙レベルより難しい単語を候補単語集合から除外する. 最後に，最大 $N$ 個の単語を候補単語集合からランダムにサンプリングする

ことで，固定サイズの発話生成用単語リストを作成する.

## 3.3 発話の生成

対話システムで用いるベースラインの ChatGPT モデルにおいて，プロンプトは状況を指定するシステムメッセージと発話履歴から構成される (図 2).提案手法は発話生成用単語リストを提示するため

(System) 必ずユーザとの対話の一貫性を保って、二文以下で応答してください。

図 3 提案システムの追加プロンプト

に， ベースラインモデル向けのプロンプトに二つのシステムメッセージを追加する (図 3).

モデルの温度パラメータは再現性のために 0 に設定し, frequency penalty は同じトークンを繰り返す意味不明な出力を防ぐために 0.3 に設定する.

## 4 評価実験

提案手法によって ChatGPT が生成する発話の語彙レベルが制御できるかの評価を行った.

## 4.1 対話データ

評価実験で用いる対話データとして我々の先行研究でも用いた BTSJ 1000 人日本語自然会話コーパス [USAMI, 2023] の雑談対話を用いる. 368 雑談対話のうち, 40 ターン未満の 8 対話を除外し, 残りの 360 対話において各対話の前半の最後の 20 発話を抽出してデータセットとする. 抽出した 20 発話において，次の発話が対話システムのアシスタントのターンになるように，一番目の話者をアシスタント，二番目の話者をユーザと仮定する。従って，20
発話の最後のユーザの発話に対してアシスタントが応答を生成する。

## 4.2 設定

評価実験では指定語彙レベル $L L$ を $0.6,0.8,1.0,1.2,1.4$ に設定し, 発話生成用単語リストのサイズ $N を 25,50,100,200,400,800,1600$ に設定する. 発話生成用単語リストはランダムに生成されるため, 評価実験では各対話に対して発話生成用単語リストを 10 個生成して ChatGPT に応答の発話を生成させる. 従って, 各 $(N, L L)$ ペアに対して合計 3,600 個の発話が生成される.

ベースラインモデルでは，プロンプトは対話毎に一意に決まるため, 各対話に対して 1 個の発話のみを生成する。

実験では，ChatGPT は “gpt-3.5-turbo-16k-0613” のモデルを用い，コンテンツフィルタは有害コンテンツと誤判断されて生成を拒否される確率を減らすように最も緩い設定にする。

## 5 結果と考察

## 5.1 無効な出力

コンテンツフィルタを最も緩い設定にしたにも関わらず，ChatGPT は入力したプロンプトと生成したテキストを潜在的に有害なコンテンツと判定して生成を拒否することがある。また，エラーメッセー ジや非常に長い文など, ChatGPT が想定している形式での応答ではない出力を生成することがある. 本実験では，これらのような応答は無効な出力と見なした.

各 $(N, L L)$ ペアにおいて合計 3,600 個の応答が生成されたが，その中で無効な出力の数を表 1 に示す. $N$ が大きい場合と $L L$ が低い場合で, ChatGPT が無効な出力を生成する傾向が見られた. このような場合，発話生成用単語リストに一般的にあまり使われない単語が出現する確率が上がるため，そのような単語が多すぎると ChatGPT は正常に発話を生成できなくなると考えられる。

表 1 無効な出力の数 (総数 $=3,600$ )

## 5.2 語彙レベルの制約の有効性

提案手法では指定した語彙レベルより難しい単語を除外した発話生成用単語リストを作成することで，生成される発話の語彙レベルを制御しているが，生成された発話には指定した語彙レベルより難しい単語が含まれることがあった. 各発話に対するそのような単語が含まれる割合のマクロ平均を表 2 に示す. “Base”の行はベースラインモデルの結果を表す。

$L L$ が高いほど，難しい単語が多く使われる傾向があるが，これは難しい単語であるか否かは $L L を ~$基準にしているため， $L L$ が高ければより多くの単語が難しいと判定されるからである.

$L L \geq 1.0$ の時，提案手法は $N=25$ の時にベースラインモデルに比べて難しい単語の割合が低くなっているが， $N>25$ の時はより多くの難しい単語が使われている。このことから，指定した語彙レベルが簡単な時に短い発話生成用単語リストは難しい単語の使用を減らす効果があると考えられる。

一方， $L L<1.0$ の時, ベースラインモデルは提案手法より使われた難しい単語が少ないが，それはそもそも ChatGPT は難しい単語ではなく, よく出現する単語を使う傾向があるからだと考えられる。

表 2 生成された発話で使われた難しい単語の割合のマク口平均

## 5.3 発話生成用単語の使用

表 3 生成された発話で使われた発話生成用単語の割合のマクロ平均

生成された発話における発話生成用単語リスト中の語の割合のマクロ平均を表 3 に示す. $N$ が小さい時， $L L$ が高ければより多くの発話生成用単語が使われるが，これは ChatGPT はよく出現する単語を使

う傾向があり,一定の発話生成用単語数 $N$ に対して $L L$ が高ければそのような単語がより多く含まれるからだと考えられる.

また，Nを 25 から 100 に増やした時，使われた発話生成用単語は少なくなるが，これは ChatGPT が長い発話生成用単語リストを正しく処理できないためと考えられる。

$N$ を更に増やすと，使われた発話生成用単語が再び増えるが，N が小さい時と異なり $L L$ が高くなっても発話生成用単語の使用はあまり増えない。これは， $N$ が大きい時は発話生成用単語リストには語彙レべルの制約に関わらず多くの単語が含まれているため, ChatGPT がリスト内の単語を偶然使う可能性が高くなるからだと考えられる。従って, ChatGPT に発話生成用単語を使わせるためには，短い発話生成用単語リストの方が有効であると言える.

## 5.4 生成された発話の語彙レベル

表 4 生成された発話で使われた最も難しい単語の語彙レベルのマクロ平均

表 5 生成された発話で使われた単語の語彙レベルの第一四分位数のマクロ平均

表 6 生成された発話で使われた最も簡単な単語の語彙レベルのマクロ平均

生成された発話で使われた最も難しい単語，難しさが上位 $25 \%$ の単語，最も簡単な単語の語彙レベルのマクロ平均をそれぞれ表 4 , 表 5 , 表 6 に示す. 使われた最も簡単な単語の語彙レベルは全ての $(N, L L)$ ペアに対してほぼ同じであり，同じレベルの簡単な単語は常に使われると考えられる。一方，使われた最も難しい単語と難しさが上位 $25 \%$ の単語の語彙レベルは $L L$ に応じて変化したため，提案システムは生成された発話の語彙レベルに影響を与えたと言える.

また，語彙レベルは $N$ が大きいほど簡単になり，発話生成用単語リストが長ければより簡単な単語がより多く使われることが分かる。

使われた最も難しい単語の語彙レベルが $L L より$低いことに関して，対話中に話者に一部分からない単語があっても問題なくコミュニケーションできるという我々の先行研究でも用いた仮定の元では問題にならない.

我々の先行研究では発話の語彙レベルは発話で使われた難しさが上位 $25 \%$ の単語の語彙レベルとして定義したが，本論文で生成された発話に対して同じ定義で計算しても $L L$ と一致しないことに関して,我々の先行研究では数百発話が考慮されるのに対し，ここでは一発話しか考慮されないため，単純には比較できない. そのため, 生成された発話の語彙レべルを定量的に測定するために更なる評価指標が必要である.

## 5.5 結論

評価実験の結果から，提案手法で最適な発話生成用単語数 $N$ は 25 であると結論付けられる. 性能に関して, $N=25$ の時 $L L$ より難しい単語の使用が少なく (5.2 節), 発話生成用単語の使用が多く(5.3 節),生成された発話の語彙レベルへの影響も多い (5.4 節). また，コストに関して，発話生成用単語リストが短いためプロンプトが短く, 発話の生成時間と費用も比較的少ない.

## 6 おわりに

本論文では，対話システムにおける語彙レベルを制御するためのモジュールを提案した. 対話システムのベースモデルとして ChatGPTを採用し，雑談対話を用いて提案手法を評価し，発話生成用単語数 $N$ と指定の語彙レベル $L L$ による影響を考察した。

今後の課題として，生成された発話の語彙レベルを定量的に測定するための評価指標を提案し，語彙レベルをより精密に制御するために発話生成用単語リストの作成手法を改良する予定である。

## 謝辞

本研究は JSPS 科研費 JP21K18358 の助成を受けたものです.

## 参考文献

M. Asahara. Word familiarity rate estimation using a Bayesian linear mixed model. In S. Paun and D. Hovy, editors, Proceedings of the First Workshop on Aggregating and Analysing Crowdsourced Annotations for NLP, pages 6-14, Hong Kong, Nov. 2019. Association for Computational Linguistics. doi: 10. 18653/v1/D19-5902. URL https://aclanthology. org/D19-5902.

Y. Ehara. Innovative software to efficiently learn english through extensive reading and personalized vocabulary acquisition. In N. Wang, G. Rebolledo-Mendez, V. Dimitrova, N. Matsuda, and O. C. Santos, editors, Artificial Intelligence in Education. Posters and Late Breaking Results, Workshops and Tutorials, Industry and Innovation Tracks, Practitioners, Doctoral Consortium and Blue Sky, pages 187-192, Cham, 2023. Springer Nature Switzerland. ISBN 9783-031-36336-8.

F. Landwehr, E. Varis Doggett, and R. M. Weber. Memories for virtual AI characters. In C. M. Keet, H.-Y. Lee, and S. Zarrieß, editors, Proceedings of the 16th International Natural Language Generation Conference, pages 237-252, Prague, Czechia, Sept. 2023. Association for Computational Linguistics. doi: 10.18653/ v1/2023.inlg-main.17. URL https://aclanthology . org/2023 .inlg-main. 17.

National Institute for Japanese Language and Linguistics. Bunrui goihyo zôho kaitei-ban (Word List by Semantic Principles Revised and Enlarged Edition). Dainippon Tosyo, Tokyo, 2004

M. J. Pickering and S. Garrod. Alignment as the basis for successful communication. Research on Language and Computation, 4:203-238, 2006.

Y. Tseng, T. Tokunaga, and H. Yokono. Lexical level alignment in dialogue. In Proceedings of the 27th Workshop on the Semantics and Pragmatics of Dialogue - Full Papers, Maribor, Slovenia, Aug. 2023. SEMDIAL. URL http://semdial.org/anthology/ Z23-Tseng_semdial_0010.pdf.
M. USAMI. Building of a Japanese 1000 person natural conversation corpus for pragmatic analyses and its multilateral studies, and ninjal institute-based projects: Multiple approaches to analyzing the communication of japanese language learners., 2023.

## A 予備実験

ChatGPT が語彙レベルを理解しているか検証した. 具体的には，二つの単語を ChatGPT に提示し， どちらがより簡単かを回答させた。

## A. 1 出題範囲

出題の候補は語彙分類表の分類コードの小数部分の同じ単語ペアとした. 合計 519 分類のうち 6,378,126ペアが対象となる.

語彙レベルの指標として「聞く」の単語親密度を採用し, 親密度の高い方の単語が簡単であるとみなした. また，単語ぺアの親密度の差が大きいほどどちらが簡単か判定しやすくなるため，どこまでの親密度の差を区別できるか分析するために単語ぺアは親密度の差を 0.2 刻みでグループし， $0.0 \sim 0.2$ から $3.6 \sim 3.8$ の 19 グループに分けた. 各グループから親密度の差が第 $5,15, \ldots, 95$ 百分位数となる単語ペアを抽出し, 合計 187 個の単語ペアを出題対象とした.

## A. 2 プロンプト

問題のプロンプトはタスク指定，模範回答，問題本文の三つの部分から構成される (図 4).

(System) 対話中に日本語学習者にとって分かりやすい方の単語を答えてください。単語のラベル ("A"または”B”)のみ出力すること。文脈がなくても必ず”A” か”B”を選択すること。

## (User) A: 仕事をする \\ B: 鞅掌する \\ (Assistant) A

(User) A: 食べ物

B: 嘉看

図 4 語彙レベル比較問題のプロンプト

問題本文において単語のラベルのバイアスを除去するために，各単語ペアに対して簡単な方の単語を Aにする問題と難しい方の単語を Aにする問題の二通りの問題を出題し，それぞれの正答率を分析した.

模範回答において正解の順番の影響を考慮し， 0-shot の他に模範回答が “A”, “B”, “AB”, “BA”, “ABAB”, “BABA”の合計 7 種類の設定で実験を行った.

## A. 3 結果

ChatGPT の正答率を図 5 に示す. 正答率が不安定であり，模範解答の提示順に回答が影響される傾向があるため，ChatGPT は語彙レベルの概念を上手く習得できていないと考えられる。

1-shot (B)

2-shot (AB)

2-shot (BA)

図 5 ChatGPT の語彙レベル比較問題の正答率. 青色とオレンジ色の棒はそれぞれ正解が A と B の問題に対する正答率を表す.


# RealPersonaChat: 話者本人のペルソナと性格特性を含んだ 雑談対話コーパス

山下紗苗 ${ }^{1}$ 井上昂治 ${ }^{2}$ 郭傲 $^{1}$ 望月翔太 ${ }^{1}$ 河原達也 ${ }^{2}$ 東中竜一郎 ${ }^{1}$
1 名古屋大学大学院情報学研究科 2 京都大学大学院情報学研究科
\{yamashita.sanae.w7@s, guo.ao.i6@f, mochizuki.shota.k8@s\}.mail.nagoya-u.ac.jp
higashinaka@i.nagoya-u.ac.jp \{inoue.koji.3x@, kawahara@i.\}kyoto-u.ac.jp

## 概要

雑談対話システムを設計する際，個性は重要な要素である。人間らしく個性を表出可能な対話システムを実現するために，所与のペルソナに基づいて対話した PersonaChat コーパスが存在する。しかし，当該コーパスでは話者本人のペルソナを使用しておらず，不自然な対話が生じている可能性がある。 そこで，我々は，話者本人のペルソナと性格特性を含む，14,000 件の日本語対話からなる RealPersonaChat (RPC) コーパスを構築した. 我々は，RPC と既存のコーパスを比較し，RPC の対話はペルソナの情報を過剰に含まないこと，第三者による対話満足度が高いことを明らかにした。また，RPCを用いて個性を反映した対話システムが構築できることを示した.本コーパスは $\mathrm{GitHub}^{1)}$ で公開している.

## 1 はじめに

雑談対話システムを設計する際，個性は重要な要素である $[1,2]$. 人間らしく個性を表出可能な対話システムを実現するために，所与のペルソナに基づいて行われた雑談対話を収めた PersonaChat (PC) コーパスが存在する [3]. PC は，それぞれ異なるぺルソナ（話者のプロフィールをいくつかの文章で表したもの）を与えられた 2 人の話者が，それらに基づいて対話することで構築された。

しかし，PCでは架空のペルソナが使用されており，話者本人のペルソナが対象となっていないという問題がある．そのため，人間らしい個性が対話中に適切に表出されていないと考えられる。このようなコーパスで学習した対話システムは，人間らしい個性の表出が困難な可能性がある.

そこで我々は，話者本人のペルソナと性格特性を

1) https://github.com/nu-dialogue/real-persona-chat収集し，話者同士に自由に雑談対話を行わせることで，14,000 件の日本語対話からなる RealPersonaChat (RPC) コーパスを構築した。本論文では，まず，その構築方法と統計情報を述べる. 次に，対話にぺルソナの情報が出現する頻度と対話満足度について，RPC と既存のコーパスである JPersonaChat (JPC; PersonaChat コーパスの日本語版）コーパスを比較する.また，RPCを用いて個性を反映した対話システムを構築し，その性能を評価する。最後に，本コー パスについて倫理的な観点から議論する.

## 2 関連研究

データに基づく方法論で対話システムを開発するために，多くの大規模な対話コーパスが構築されてきた $[4,5]$. この流れの中で, 人間らしい個性を持った対話システムを実現するために構築されたコーパスが，架空のペルソナを基に行われた対話からなる PC [3] や，その日本語版である JPC [6] である.

Tang ら [7] は, DialoGPT [8]を PC で fine-tune することで，与えられたペルソナの情報を反映した対話システムを開発した. Shea ら [9] は，PCを用いて，発話候補がペルソナと合致するかどうかを報酬とした強化学習を行うことで，対話システムの個性の一貫性を向上させることに成功している。JPC は，日本語の対話システムに個性を持たせるために広く利用されている $[10,11]$.

話者の性格情報が付属したその他のコーパスとして, PersonalDialog [2], PANDORA [12], FriendsPersona [13] などがある.これらのコーパスは話者本人の Big Five，年齢，性別などの情報を含んでいるが， ソーシャルメディア上でのやり取りやテレビ番組から収集した対話が対象となっており，一対一のテキストチャットとは異なる性質を持つ。また，ペルソナや多様な性格特性も含まれていない.

## 3 RealPersonaChat

RealPersonaChat コーパスの構築は，話者の募集，事前アンケートの実施，対話の収集，事後アンケー トの実施，の順に実施した.

コーパスの収集にあたっては，名古屋大学において，収集手順やデータの保管方法等，倫理面についての審査を経ている。対話データの収集においては，すべての話者は，自身や第三者の個人情報を提示しないこと，著作権を放棄すること，データを公開することに同意するとともに，我々が，すべてのデータについて個人情報や不適切と考えられる発話がないかを確認している.

## 3.1 話者の募集

我々は，クラウドソーシング2)を通じて 233 人の話者を募った. 話者の条件は, 日本語の母語話者であり，テキストチャットに慣れていること（1 分あたり 200 文字以上大力可能）とした. 可能な限り性別や年齢のバランスを取った結果，男女比は $4: 6$,年齢は $20,30,40$ 代がそれぞれ 3 割程度である.

## 3.2 事前アンケートの実施

対話データの収集に先んじて，話者は，自身の性格特性に関する事前アンケートに回答した。話者の幅広い性格特性をカバーするために，我々は次の 5 つのアンケートを使用した.
- Big Five [14, 15]: 性格を評価する尺度．和田 [16] による質問項目を用いた。 5 項目からなる.
- Kikuchi’s Scale of Social Skills (KiSS-18) [17]: 社会的スキルを評価する尺度. 6 項目からなる.
- Inclusion of Others in the Self (IOS) [18]: 他者との距離感を評価する尺度. 1 項目からなる.
- Adult Temperament Questionnaire (ATQ) [19]: 気質を評価する尺度. 13 項目からなる。
- Self-Monitoring Scale (SMS) [20]: 様々な状況での適切な行動制御能力を評価する尺度. 3 項目からなる。

上記の性格特性に加えて，話者の属性とテキストチャットの経験についても尋ねた. 属性は，性別，年齢，教育歴，就労状況，居住地域を含む. テキストチャットの経験は，初めてテキストチャットをした時の年齢，普段のテキストチャットの頻度，相

2) https://www. lancers.jp/

## 手，主な内容を含む.

また，ペルソナとして，話者自身を表す簡潔な文を 10 文作成させた. 各文は約 5 30 文字の長さとした. ペルソナの内容は，他者が自分をよく理解できるようなものとし，矛盾や重複がないように指示した. 性格特性の項目の一覧，および，ペルソナの例は，付録 $\mathrm{A}$ の表 7 を参照のこと。

## 3.3 対話の収集

話者はペアとなり，テキストチャットを行った. 1 対話あたり 30 発話以上, 1 発話あたり 50 文字以内を目安として，各話者は交互に発話した．話者の組み合わせが偏らないように，同じぺアは 40 回以上対話できないものとした．また， 1 人の話者は 200 回以上対話できないものとした. このような条件のもと，話者は自由に話題を選んで対話した。

各対話が終了した後, 話者は対話の質（相手発話の情報量, 相手発話の理解度，相手の親しみやすさ，自身の興味の度合い，自身の積極性，自身の満足度）をそれぞれ 5 段階で評価した。

## 3.4 事後アンケートの実施

各話者は，自身のすべての対話が完了した後，印象に残った対話を自由記述で回答した。

## 4 統計情報

表 1 に，RPC の基本統計量を示す。比較のために，既存の日本語コーパスである JPC と英語コーパスである PC の統計量も示す。なお，JPC は，PCのペルソナを日本語に翻訳し，翻訳されたペルソナを用いて対話を収集したものである. 我々が構築した RPC は，14,000 件の対話からなる最大のコーパスである。発話数としても，JPCの 7 倍近くあり，デー タ駆動型の研究には十分な分量を有していると言える.また，話者本人のペルソナや性格特性を含むという他のデータセットでは見られない特徵を持つ.

表 2 に，対話後アンケートの結果を示す. 平均評価はどれも 4.5 点前後であった（最低 1 点，最高 5 点). $60 \%$ 以上の評価が最高点の 5 点であったことから，RPC には満足度の高い対話が含まれていることが確認できる.

## 5 既存コーパスとの比較

RPC の特徴を明らかにするため，RPC を既存コー パスの JPC と比較した.
表 1 RealPersonaChat, JPersonaChat, および PersonaChat の基本統計量.

表 2 対話の質の評価結果。

## 5.1 ペルソナ出現率

与えられたペルソナに基づいて収集された JPC とそうでない RPC の間で，ペルソナに含まれる単語 （ペルソナ単語と呼ぶ）が発話に出現する割合に違いがあるかを検証した．具体的には，式 (1)で定義されるペルソナ出現率 (PF) を求め, RPC と JPC の $\mathrm{PF}$ 比較した。

$
\mathrm{PF}=\frac{\text { 発話に含まれるペルソナ単語数 }}{\text { 発話に含まれる単語数 }}
$

ペルソナの長さは RPC と JPC で異なるため, RPC のペルソナ出現率を求める場合は, 式 (1) に $L_{\mathrm{JPC}} / L_{\mathrm{RPC}}$ を掛けて補正した。ここで， $L$ は各コーパスにおけるペルソナの平均文字数を示す. 形態素解析器には MeCab [21], 辞書には NEologd [22]を用いた. PF は，ペルソナ単語を名詞または内容語（名詞，動詞，形容詞，副詞）とした場合についてそれぞれ求めた.

表 3 に RPC と JPCの PFを示す. RPCの PF は 2 3\%であった.この值は，ペルソナの使用に関して何も指示されていない，自然な対話における PF と考えられる。一方で，JPC の PF は 13 14\%と高く，Mann Whitney U 検定を実施したところ，RPC と $\mathrm{JPC}$ の間には有意差が見られた $(p<0.05)$. このことから，JPC の対話は過剩にペルソナの情報を含んでいる可能性が考えられる。表 3 ペルソナ出現率 (PF)。*はRPC と JPC の間で $p<0.05$ で有意差が見られたことを示す.

## 5.2 第三者による主観評価

対話の質，および，対話から話者の性格やペルソナを認識できる度合いを比較するために，RPC と JPC の対話を第三者に主観評価させた. 具体的には，まず，評価対象として各コーパスからランダムに 30 対話ずつ, 合計 60 対話を抽出した. そして, 1 つの対話が異なる 3 人に評価されるように，クラウドソーシング3) で募った 60 人の評価者に，それぞれ 3 対話ずつ評価させた。

主観評価には次の項目を用いた。
- 対話の質 : 第三者目線で，対話の一貫性，情報量，満足度 [23] を 5 段階で評価させた。

・ペルソナの正解率 : 対話に参加した 2 人の話者のうち一方のペルソナと，他の対話から得られた当該話者のものではないぺルソナから，前者のペルソナと思われるものを選択させた。この指標の値が高ければ，対話がペルソナと強く関連していると考えられる。
- 性格特性スコアの相関係数：対話に参加した 2 人の話者のうち一方の話者の性格について, Big Five のアンケート (TIPI-J) [24] に回答させた後，このスコアと話者本人のスコアとの相関係数を求めた. アンケートを第三者に回答させる方法は Jiang ら [13] を参考にした。この指標の值が高ければ，対話から性格特性が強く認識可能であると考えられる。なお，JPC には話者の

表 4 対話の質の第三者評価の結果。*は RPC と JPC の間で $p<0.05$ で有意差が見られたことを示す.

表 5 ペルソナの正解率の第三者評価の結果. *は $p<0.05$ で有意差が見られたことを示す.

性格特性スコアが存在しないため，この評価は RPC に対してのみ行った。

表 4 に対話の質の評価結果を示す. Mann Whitney $\mathrm{U}$ 検定を実施したところ，満足度について，RPC が JPC を有意に上回っていることが確認できた $(p<0.05)$. 他の項目には差が見られなかった.

表 5 にペルソナの正解率を示す．RPC の $61 \%$ は， ペルソナの使用に関して何も指示されていない，自然な対話における正解率と考えられる。一方で， JPC の正解率は $82 \%$ であり，比率の差の検定を実施したところ，JPC が RPC を有意に上回っていた $(p<0.05)$. このことから, JPC の対話はペルソナと強く関連しており，JPC がペルソナの使用において偏った分布を持つ可能性が示唆された.

性格特性スコアの相関係数に関しては，開放性，誠実性，外向性，協調性，神経症傾向における Pearson の相関係数は，それぞれ $-0.09,0.17,-0.04$, 0.14, 0.04 であり，相関は低かった．このことは，自然に収集された対話から話者の性格特性を認識することが難しいことを意味しており，話者本人が自覚する性格と第三者が認識可能な性格に差があることが示唆された。

## 6 対話システムへの適用

我々は，RPC の対話システム構築における有用性を評価するため，RPCを用いて実際に対話システムを構築し，その性能を評価した（本評価の詳細は [25]を参照のこと).

対話システムは, OpenAIの gpt-4-0613 にプロンプトを介して話者のペルソナや性格特性を与えたものとし，対話履歴を入力として次の発話を出力するように設計した. ペルソナは， 10 文をそのまま用いた. 性格特性は，各スコアをすべての話者の中央値で二分し，「開放性が高い」「誠実性が低い」のように文章化して用いた。表 6 RPCを用いた対話システムの評価結果．飯塚ら [25] の論文より抜粋．太字は各列の最大値を示す。

ペルソナと性格特性が対話のパフォーマンスに及ぼす影響を調べるため，プロンプトで与える情報を 「ペルソナ+性格特性」「ペルソナ」「性格特性」「なし」と変化させた 4 種類の対話システムを構築した. ペルソナや性格特性には，RPCからランダムに選んだ 10 人の話者のものを使用した。

評価にあたっては，120人のクラウドワーカを 30 人ずつに分け，システムと交互にテキストチャットを行わせ，一貫性，情報性，満足度を 5 段階で評価させた. 対話の長さは 20 発話とした.

表 6 に評価結果を示す.ペルソナと性格特性の両方を用いた結果，全体を通して高いスコアが得られた。一方で，性格特性のみを用いた結果，情報量や満足度が低下した，そのような対話では，内向的な性格を与えると「そう。」「別に。」といった単調な返事をするなど，性格特性が反映されすぎることが確認された。このことは，個性を反映した発話生成が可能であることを示唆している.

## 7 おわりに

本研究では，話者本人のペルソナや性格特性を収集して当該話者に自由に対話をさせることで，14,000 件の日本語対話からなる RealPersonaChat (RPC) コーパスを構築した. 統計量や既存コーパスとの比較を通じて，RPC の自然さと対話の質（特に満足度）が高いことを確認した。また，RPCを用いて個性を反映した対話システムが構築できることを確認した。

本コーパスの利用においては，倫理的な側面を考慮する必要がある. 特に，プライバシーの保護 （データから個人を特定しない）には十分留意する必要がある．また，本コーパスを用いることで，対話からの話者の属性や性格特性の推定が可能となると考えられるため，自身の情報を推定されたくない話者の権利についても留意すべきである [26]. さらに，特定の話者へのなりすましなどへの利用も考えられるため，そのような利用がなされないためのガイドラインを提示する必要があると考える。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011の支援を受けたものである.

## 参考文献

[1] François Mairesse and Marilyn Walker. PERSONAGE: Personality generation for dialogue. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 496-503, 2007.

[2] Yinhe Zheng, Guanyi Chen, Minlie Huang, Song Liu, and Xuan Zhu. Personalized dialogue generation with diversified traits. arXiv preprint arXiv:1901.09672, 2019.

[3] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, 2018.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, 2017.

[5] Hannah Rashkin, Eric Michael Smith, Margaret Li, and YLan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, 2019.

[6] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based Japanese chit-chat systems. In Proceedings of 2022 IEEE Spoken Language Technology Workshop, pp. 685-691, 2023.

[7] Fengyi Tang, Lifan Zeng, Fei Wang, and Jiayu Zhou. Persona authentication through generative dialogue. arXiv preprint arXiv:2110.12949, 2021.

[8] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DialoGPT: Large-scale generative pre-training for conversational response generation. arXiv preprint arXiv:1911.00536, 2019.

[9] Ryan Shea and Zhou Yu. Building persona consistent dialogue agents with offline reinforcement learning. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1778-1795, 2023 .

[10] Tomohito Kasahara, Daisuke Kawahara, Nguyen Tung, Shengzhe Li, Kenta Shinzato, and Toshinori Sato. Building a personalized dialogue system with prompt-tuning. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 96-105, 2022.

[11] Kenta Yamamoto, Koji Inoue, and Tatsuya Kawahara. Character expression of a conversational robot for adapting to user personality. Advanced Robotics, pp. 1-11, 2023.

[12] Matej Gjurković, Mladen Karan, Iva Vukojević, Mihaela
Bošnjak, and Jan Snajder. PANDORA talks: Personality and demographics on Reddit. In Proceedings of the 9th International Workshop on Natural Language Processing for Social Media, pp. 138-152, 2021.

[13] Hang Jiang, Xianzhe Zhang, and Jinho D Choi. Automatic text-based personality recognition on monologues and multiparty dialogues using attentive networks and contextual embeddings. In Proceedings of the 34th AAAI Conference on Artificial Intelligence, Vol. 34, pp. 13821-13822, 2020.

[14] Lewis R Goldberg. An alternative "description of personality": The big-five factor structure. Journal of Personality and Social Psychology, Vol. 59, No. 6, pp. 1216-1229, 1990.

[15] Robert R McCrae and Oliver P John. An introduction to the five-factor model and its applications. Journal of Personality, Vol. 60, No. 2, pp. 175-215, 1992.

[16] 和田さゆり. 性格特性用語を用いた Big Five 尺度の作成. 心理学研究, Vol. 67, No. 1, pp. 61-67, 1996.

[17] 菊池章夫. KiSS-18 研究ノート. 岩手県立大学社会福祉学部紀要, Vol. 6, No. 2, pp. 41-51, 2004.

[18] Arthur Aron, Elaine N Aron, and Danny Smollan. Inclusion of other in the self scale and the structure of interpersonal closeness. Journal of Personality and Social Psychology, Vol. 63, No. 4, p. 596, 1992.

[19] David E Evans and Mary K Rothbart. Developing a model for adult temperament. Journal of Research in Personality, Vol. 41, No. 4, pp. 868-888, 2007.

[20]岩淵千明, 田中国夫, 中里浩明. セルフ・モニタリング尺度に関する研究. 心理学研究, Vol. 53, No. 1, pp. 54-57, 1982.

[21] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[22] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, pp. 875-878, 2017.

[23] Shikib Mehri, Jinho Choi, Luis Fernando D'Haro, Jan Deriu, Maxine Eskenazi, Milica Gasic, Kallirroi Georgila, Dilek Hakkani-Tur, Zekang Li, Verena Rieser, Samira Shaikh, David Traum, Yi-Ting Yeh, Zhou Yu, Yizhe Zhang, and Chen Zhang. Report from the NSF future directions workshop on automatic evaluation of dialog: Research directions and challenges. arXiv preprint arXiv:2203.10012, 2022.

[24] 小塩真司, 阿部晋吾, Pino Cutrone. 日本語版 Ten Item Personality Inventory (TIPI-J) 作成の試み. パーソナリティ研究, Vol. 21, No. 1, 2012.

[25] Shinya Iizuka, Shota Mochizuki, Atsumoto Ohashi, Sanae Yamashita, Ao Guo, and Ryuichiro Higashinaka. Clarifying the dialogue-level performance of GPT-3.5 and GPT-4 in task-oriented and non-task-oriented dialogue systems. In Proceedings of the AI-HRI Symposium at AAAI-FSS 2023, 2023.

[26] Rachael Tatman. What I won't build, 2020. Keynote at the Fourth Widening Natural Language Processing Workshop at Annual Meeting of the Association for Computational Linguistics.

## A 付録

表 7 RealPersonaChat のペルソナ，性格特性，話者の属性，対話の例．下線は対話に含まれるペルソナの情報を示す。性格特性スコアは，Big Five, IOS, ATQ が 1 7，KiSS-18, SMS が 1 5 の値をとる。また，表に含まれる以外の情報として， テキストチャットの経験に関するアンケート結果がある.

 &  \\


# JMultiWOZ に対する対話状態アノテーションの付与と 対話システムの実装評価

大橋厚元＊平井龍＊飯塚慎也 東中竜一郎
名古屋大学大学院情報学研究科
\{ohashi.atsumoto.c0, hirai.ryu.k6, iizuka.shinya.a8\}@s.mail.nagoya-u.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

日本語のマルチドメインタスク指向型対話デー タセットとして JMultiWOZ が構築されている.しかし，対話状態のアノテーションが付与されていないため，対話モデルの構築には利用できない.本研究では新たに，対話状態のアノテーションを JMultiWOZ に対して追加することで，対話状態追跡と応答生成を遂行できる対話モデルの構築を目指す. さらに，本データセットを用いて実装された対話モデルの評価実験を実施し, 英語圈の標準的なデータセットである MultiWOZ2.2 と同難易度のベンチマークを，JMultiWOZ が提供できることを示す1).

## 1 はじめに

タスク指向型対話システムの研究では，ニューラルモデルをべースとした手法の活発な導入 $[1,2]$ によって, 対話能力の進化が著しい $[3,4]$. このような進化には，ニューラルモデルを学習するための対話データセットが必須である．英語圏では，現在までに構築された数多くの対話データセットが，深層学習を用いた対話モデルの発展に貢献してきた [5, 6].

MultiWOZ [7] は，現在英語圈において最も用いられているタスク指向型対話データセットの一つであり，旅行に関する 7 つのドメインにまたがる対話を 1 万件以上収録している大規模コーパスである. MultiWOZ を先駆けとして，より複雑で大規模な夕スク指向型対話データセットも多く構築されており $[8,9,10]$, 近年の対話モデルの発展を牽引している $[11,12,13]$. また，中国語圈においても，複数のマルチドメインタスク指向型対話データセットが構築 $[14,15,16]$ され，中国語タスク指向型対話システ

図 1 JMultiWOZに含まれる，2 ドメイン（飲食店とタクシー）にまたがる対話の例. 灰色と緑色のテキストはそれぞれ旅行者役 (user) と情報提供者役 (wizard) の発話を示している。また，赤色と青色のボックスは，wizardが入力したデータベース検索クエリとその結果を示している。

ムの発展に寄与している.

先行研究において我々は，日本語によるタスク指向型対話システムの研究開発の促進を目指し，日本語初のマルチドメインタスク指向型対話データセット JMultiWOZを構築した [17]（対話例を図 1 に示す)。そして，検索クエリを推定するモデルを学習，評価することで，本データセットの有用性を示した. しかし，現状の JMultiWOZ には対話状態ラベルのアノテーションが付与されておらず，タスク指向型対話における主要なタスク，すなわち，対話状態追跡 (dialogue state tracking; DST) と応答生成 (response generation; RG) のモデリングが行えない, という制限があった。これは，End-to-End な対話システムを構築できないことを意味する.

本研究では，日本語におけるDST およびRG のベンチマークを提供するため，先行研究における JMultiWOZ に対して新たに対話状態アノテー ションを追加する。そして，MultiWOZにおける state-of-the-art (SOTA) モデル [18] と, 最新の LLM
表 1 Wizard が入力したデータベース検索クエリと，追加のアノテーションによって得られる対話状態ラベルの例. 太字は，検索クエリと対話状態の差分を示している。文脈 User: 札幌のホテルを探していて、Wi-Fi が無料で使えると助かります。

Wizard：では、JR INN 札幌はどうでしょう User: よさそうですね,いくらくらいで

ベースのモデル [19]を用いて, JMultiWOZ の DST および RG を学習し，本データセットが MultiWOZ と同難易度のベンチマークを提供できることを実証する. さらに，これら対話モデルの人間評価実験を実施し，最新の LLM であっても日本語における夕スク指向型対話の能力には課題があることを示す.

## 2 JMultiWOZ の概要

JMultiWOZ は, 日本の 9 都市（札幌，仙台，東京，横浜, 名古屋, 京都, 大阪, 福岡, 那覇）のいずれかへの旅行者が，観光情報を収集しながら旅行を計画する対話を，合計で 4,246 対話収録したデータセットである [7]. 対話のドメインは, 観光名所, 宿泊施設, 飲食店, 買い物施設, タクシー, 天気の 6 つにわたる. 各対話は, Wizard-of-OZ 法 [20] に基づき，旅行者役 (user) と情報提供者役 (wizard) のクラウドワー カによって実施された. 対話の全てのターンには， user の要求に基づいて wizard が検索したデータベー スの検索クエリとその検索結果が記録されている。

## 3 対話状態アノテーション

対話状態とは，各ターン時点までに判明している, ユーザが求めるエンティティ（具体的な観光名所や飲食店のこと）の条件を記録した情報であり， スロットと值のペアの集合で定義される. 基本的には，対話収集時に wizard が入力したデータベース検索クエリが対話状態の一部として利用できる. しかし, ユーザが伝達したい要求をすべてカバーするためには，検索クエリには反映されなかった情報も対話状態に含める必要がある.

例えば，表 1 に示されるような対話について， wizard が提案したエンティティ名を user が受け入れた場合， wizard は前ターンの検索条件を変えてデー タベースを再検索する必要はないため，検索クエリは更新されない。しかしそのエンティティ名はユー ザの（暗黙的な）要求であるため，対話状態に含め
られるべきである.

対話状態アノテーションを付与するため，我々はクラウドワーカを募集し，検索クエリに含まれなかった非明示的な値をアノテーションした. 各ワー カは，我々が用意したアノテーション用のUIを用いて，各ターンの対話状態をアノテーションした. アノテーションの質を担保するため, 作業は練習と本番の二段階に分けて実施した。まず各ワーカは, アノテーション作業のマニュアルを読んだ後，練習として 10 対話分の作業を実施した. 誤りのあった作業者には著者からの指摘・フィードバックが与えられ，再度練習を実施した．誤りの無くなった作業者のみが本番のアノテーション作業に参加した.

最終的に，6名のクラウドワーカが分担して，全 4,246 対話に含まれる合計 30,593 ターン分の対話状態アノテーションを付与した. 結果として, 合計 58,745 件のスロット（検索クエリに記録されていたスロット数の約 $37.8 \% ）$ が対話状態の要素として追加された. 以降では，この対話状態アノテーションが付与された JMultiWOZを単に JMultiWOZ と呼ぶ.

## 4 ベンチマーク

JMultiWOZ は，タスク指向型対話システムに必要となる 2 つのタスク，すなわち対話状態追跡 (DST) と応答生成 (RG) のベンチマークを提供する．DST は各ターンの対話状態を推定するタスクであり，RG は各ターンまでの対話履歴からシステムの次の応答を生成するタスクである。JMultiWOZが，既存の英語対話データセットと同程度のベンチマークを提供できることを実証するため，MultiWOZ2.22) [21] おける SOTA 手法と最新の LLM ベースの手法を用いて，上記 2 タスクを評価した。

## 4.1 ベースラインモデル

近年のタスク指向型対話モデルの構築手法は，中規模の事前学習済み言語モデルを対話データセットで fine-tuning する手法 [11] と，LLM を用い zero-shot もしくは few-shot 設定で応答生成する手法 [22] の 2 つに分類される. 本研究では，JMultiWOZ に基づいて以下のように両手法を実装し評価した：

Fine-tuning MultiWOZ2.2における SOTA モデルである， T5 [23] ベースのモデル TOATOD [18] を使用した. TOATOD の基盤モデルとしては多数の夕

2）MultiWOZ2.2 は，オリジナルの MultiWOZ における多数のアノテーションエラーを修正したバージョンである.

(a) T5 パイプライン [18]. (1) 対話履歴から対話状態が推定され，(2)その結果に基づいて最終的な応答が生成される.

(b) Zero-shot 設定での LLM パイプライン [19]. (1) 対話履歴から現在話題となっているドメイン（アクティブドメイン） を推定する．そして，アクティブドメインのみに着目して (2) 対話状態追跡と (3) 応答生成を実施する.

図 $2 \mathrm{~T} 5$ および LLMを用いた，タスク指向型対話システムのパイプライン

スク指向型対話データセットで事前学習された $\mathrm{T} 5$ モデルが用いられるが，そのような資源は日本語では存在しない. そのため，ここでは，単に日本語データで事前学習された一般的な $\mathrm{T} 5$ モデル 2 つ (T5-base/large ${ }^{3)}$ ) を基盤モデルとして使用する.

T5 の fine-tuning では, DST および RG の入出力のマッピングを， seq-to-seqにモデル化する。つまり，各ターンに対し, DST では対話履歴から対話状態へ, RG では対話履歴, 対話状態, データベース検索結果から応答文へのマッピングをそれぞれ学習する. モデルの入出力，及び学習詳細は A. 1 節を参照されたい。両タスクは単一の T5によって同時に学習する。学習後の T5による，DST と RG からなる end-to-end 応答生成のパイプラインを図 2a に示す.

LLM-based zero-/few-shot Zero-/few-shot 設定における DST および RGには，LLM パイプライン [19] を用いる。図 $2 b$ に，zero-shot 応答生成のための 3 ステップからなるパイプライン処理を示す. Few-shot 設定においては，各ステップで用いられるプロンプトに，2つの対話事例を含める. 対話事例は，train セットから，対話文脈の埋め込み4) が類似した対話を抽出することで得られる。

Zero-/few-shot のための LLM としては, OpenAI が API を提供する GPT-3.5 (gpt-3.5-turbo)と GPT-4 (gpt-4)を用いた. GPT-3.5 は, Hudeček ら [19] の評価実験内で検証された複数の LLM の中で，当時の最高性能を達成している. また GPT-4 は，日本語性能が最も高い LLM である ${ }^{5)}$.プロンプトとしては，

3) https://huggingface.co/retrieva-jp/t5-large-long

4）日本語文埋め込みモデルを利用した.

5） 2023 年 10 月時点での日本語 LLM リーダボードに基づく.表 2 自動評価ベンチマーク結果. ダガー†は，Bang ら [18] が報告した, MultiWOZ2.2における TOATOD （T5-base に相当）の評価値を引用していることを示す. ダブルダガー‡は, Hudeček ら [19]が報告した, MultiWOZ2.2 における GPT-3.5 の評価值を引用していることを示す.

Hudeček ら [19] の研究で用いられたプロンプトを参考にしつつ，JMultiWOZ 向けに日本語で作成し直したものを用いた（A. 2 節にプロンプト例を示す）.

## 4.2 評価尺度

DST の評価尺度としては, joint goal accuracy (JGA) と Slot-F1を用いた. JGA は，各ターンに推定された対話状態と，真の対話状態が完全一致したかどうかの 0/1によって評価される. Slot-F1 は，各ターン推定された対話状態と真の対話状態の一致率を F1 によって評価される. RGの評価尺度としては，生成された応答文と真の応答文との BLEUを用いた。

## 4.3 結果

表 2 は，MultiWOZ2.2 における結果と JMultiWOZ における結果の比較を示している. JMultiWOZ では, DSTと RGの両方において, fine-tuning 手法, すなわち，T5-base/large が最高性能であり，zero-/few-shot における LLM の性能には限界があった. この傾向は，MultiWOZ の結果と類似している。
表 3 人間評価実験結果. “N” は，各モデルと対話した評価者の数を示す. “Und.”, “App.”, “Sat.”は，それぞれ，システムの理解能力，システム応答の適切さ，対話の満足度のスコアを示す. †は， Iizuka ら [24] が報告した，MultiWOZ2.2における各モデルの評価値を引用していることを示す. また太字は， MultiWOZ と比較して JMultiWOZで大きく低下した Success スコアを示す.

DST の標準的な尺度である JGA は，MultiWOZ と JMultiWOZ で大きな差は見られなかった.これは， JMultiWOZ の対話が，MultiWOZ のそれと同程度の複雑さを持ち，また，対話状態アノテーションの質が同程度であることを示している。したがって， JMultiWOZ は，既存データセットと同程度の DST ベンチマークを提供できることが示唆された.

RG の尺度である BLEU については, MultiWOZ に比べ JMultiWOZ が高い. この要因として, JMultiWOZ の対話では wizard の発話に一貫性がある， という点が考えられる. MultiWOZ とは異なり, JMultiWOZ の収集では，一つの対話に対し一人の wizard のみが従事した. さらに， wizard は対話収集前に十分な訓練を受けた. これら質の管理によってシステム発話の一貫性が達成されたと推察される.

## 5 人間評価実験

タスク指向型対話モデルのタスク達成能力を評価するためには，自動評価だけでなく，人間との実際の対話を用いた評価も重要である. 本節では， 4 節で用いた 4 つの対話モデルの end-to-end な対話能力を，クラウドワーカとの対話によって評価した. なお，GPT-3.5 および GPT-4 では，その性能の高さ （表 2 を参照）から few-shot 設定を用いた.

## 5.1 実験設定

本実験では，MultiWOZ において，TOATOD [18] と LLM パイプライン [19] をクラウドソーシングを用いた対話によって評価した Iizuka ら [24] の実験設定にならった。具体的には，各ワーカは，まずランダムな対話ゴールを提示され，そのゴールを達成できるように 4 つのシステムのうちいずれかと対話した. 各対話は最大 20 ターンとし, ゴールが達成できたか (Success) をワーカが判断した. ワーカは対話終了後, システムの理解能力, システム応答の適切さ，対話の満足度のそれぞれを 5 段階で主観的に評価した.

## 5.2 結果

表 3 に，JMultiWOZ における結果，そして比較のため, Iizuka ら [24] が報告した MultiWOZ における結果をそれぞれ示す. Fine-tuning 手法である T5-base の Success は，MultiWOZにおいてそれに対応する TOATOD（T5-base）のそれと大きな違いは見られなかった. したがって, JMultiWOZを用いることで，日本語において，MultiWOZ と同程度の能力のタスク指向型対話モデルの学習・システム構築が可能であることが示唆された.

表 3 から，few-shot 設定における GPT-3.5 と GPT-4 の性能は, MultiWOZ の場合に比べ若干低下することがわかる．4 節におけるターン単位のスコアは低下していなかった（表 2 を参照）ことから，GPT-4 など高性能な LLM であっても，複数ターンからなる日本語対話における few-shot 対話生成能力は，英語と比較すると限界があると考えられる。

## 6 おわりに

本研究では，日本語における DST および RG のベンチマークを提供するため，JMultiWOZ に対して対話状態アノテーションを追加した. そして， MultiWOZ2.2 で検証されてきた fine-tuning ベースの対話モデルと，最新の LLM ベースのモデルを用いて，JMultiWOZ の DST および RG を学習し，本デー タセットが MultiWOZ と同難易度のベンチマークを提供できることを実証した。さらに，これら対話モデルの人間評価実験を実施し，最新の LLM であっても日本語におけるタスク指向型対話の能力には課題があることを示した. JMultiWOZ の活用によって, 日本語におけるタスク指向型対話システムの研究開発が進展することを期待したい.

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011の支援を受けたものです.

## 参考文献

[1] Ehsan Hosseini-Asl, Bryan McCann, Chien-Sheng Wu, Semih Yavuz, and Richard Socher. A simple language model for task-oriented dialogue. In Proc. NeurIPS, pp. 20179-20191, 2020.

[2] Wanwei He, Yinpei Dai, Yinhe Zheng, Yuchuan Wu, Zheng Cao, Dermot Liu, Peng Jiang, Min Yang, Fei Huang, Luo Si, Jian Sun, and Yongbin Li. GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-supervised Learning and Explicit Policy Injection. In Proc. AAAI, No. 10, pp. 10749-10757, 2022.

[3] Zheng Zhang, Ryuichi Takanobu, Qi Zhu, MinLie Huang, and XiaoYan Zhu. Recent advances and challenges in taskoriented dialog systems. Science China Technological Sciences, pp. 1-17, 2020.

[4] Libo Qin, Wenbo Pan, Qiguang Chen, Lizi Liao, Zhou Yu, Yue Zhang, Wanxiang Che, and Min Li. End-toend Task-oriented Dialogue: A Survey of Tasks, Methods, and Future Directions. In Proc. EMNLP, pp. 5925-5941, 2023 .

[5] Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D. Manning. Key-Value Retrieval Networks for Task-Oriented Dialogue. In Proc. SIGDIAL, pp. 3749, 2017.

[6] Pararth Shah, Dilek Hakkani-Tür, Gokhan Tür, Abhinav Rastogi, Ankur Bapna, Neha Nayak, and Larry Heck. Building a Conversational Agent Overnight with Dialogue Self-Play. arXiv preprint arXiv:1801.04871, 2018.

[7] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale MultiDomain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proc. EMNLP, pp. 5016-5026, 2018.

[8] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards Scalable Multi-Domain Conversational Agents: The SchemaGuided Dialogue Dataset. In Proc. AAAI, Vol. 34, pp. 8689-8696, 2020.

[9] Johannes EM Mosig, Shikib Mehri, and Thomas Kober. STAR: A Schema-Guided Dialog Dataset for Transfer Learning. arXiv preprint arXiv:2010.11853, 2020.

[10] Derek Chen, Howard Chen, Yi Yang, Alexander Lin, and Zhou Yu. Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems. In Proc. NAACL-HLT, pp. 3002-3017, 2021.

[11] Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, and Yi Zhang. Multi-task pre-training for plug-and-play task-oriented dialogue system. In Proc. ACL, pp. 4661-4676, 2022.

[12] Shikib Mehri, Yasemin Altun, and Maxine Eskenazi. LAD: Language Models as Data for Zero-Shot Dialog. In Proc. SIGDIAL, pp. 595-604, 2022.
[13] Jeffrey Zhao, Yuan Cao, Raghav Gupta, Harrison Lee, Abhinav Rastogi, Mingqiu Wang, Hagen Soltau, Izhak Shafran, and Yonghui Wu. AnyTOD: A programmable task-oriented dialog system. In Proc. EMNLP, pp. 1618916204, 2023.

[14] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, and Minlie Huang. CrossWOZ: A large-scale Chinese crossdomain task-oriented dialogue dataset. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 281-295, 2020.

[15] Jun Quan, Shian Zhang, Qian Cao, Zizhong Li, and Deyi Xiong. RiSAWOZ: A large-scale multi-domain Wizard-of$\mathrm{Oz}$ dataset with rich semantic annotations for task-oriented dialogue modeling. In Proc. EMNLP, pp. 930-940, 2020.

[16] Yinpei Dai, Wanwei He, Bowen Li, Yuchuan Wu, Zheng Cao, Zhongqi An, Jian Sun, and Yongbin Li. CGoDial: A large-scale benchmark for Chinese goal-oriented dialog evaluation. In Proc. EMNLP, pp. 4097-4111, 2022.

[17] 大橋厚元, 平井龍, 飯塚慎也, 東中竜一郎. JMultiWOZ:日本語タスク指向型対話データセットの構築. 言語処理学会第 29 回年次大会, 2023.

[18] Namo Bang, Jeehyun Lee, and Myoung-Wan Koo. TaskOptimized Adapters for an End-to-End Task-Oriented Dialogue System. In Findings of ACL 2023, pp. 7355-7369.

[19] Vojtěch Hudeček and Ondrej Dusek. Are Large Language Models All You Need for Task-Oriented Dialogue? In Proc. SIGDIAL, pp. 216-228, 2023.

[20] J. F. Kelley. An iterative design methodology for userfriendly natural language office information applications. ACM Trans. Inf. Syst., Vol. 2, pp. 26-41, 1984.

[21] Xiaoxue Zang, Abhinav Rastogi, Srinivas Sunkara, Raghav Gupta, Jianguo Zhang, and Jindong Chen. MultiWOZ 2.2 : A dialogue dataset with additional annotation corrections and state tracking baselines. In Proc. NLP4ConvAI, pp. 109-117, 2020.

[22] Gonçalo Raposo, Luisa Coheur, and Bruno Martins. Prompting, retrieval, training: An exploration of different approaches for task-oriented dialogue generation. In Proceedings of the 24th Meeting of the Special Interest Group on Discourse and Dialogue, pp. 400-412, 2023.

[23] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, pp. 1-67, 2020.

[24] Shinya Iizuka, Shota Mochizuka, Atsumoto Ohashi, Sanae Yamashita, Ao Guo, and Ryuichiro Higashinaka. Clarifying the Dialogue-Level Performance of GPT-3.5 and GPT-4 in Task-Oriented and Non-Task-Oriented Dialogue Systems. In Proc. Al-HRI, 2023.

[25] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proc. ICLR, 2019.

#
A Appendix

## A. 1 T5 モデルの fine-tuning 詳細

T5-base および T5-large の学習では，バッチサイズを 32 に設定し， 5 エポック学習した. AdamW [25] オプティマイザを使用し，学習率は初期值 5e-5 からステップ数に応じて線形減衰させた。評価では最終ステップにおけるチェックポイントを使用し，DST 及び RG の推論では，いずれも greedy search を採用した. 図 3 に，T5 の学習に使用された入出力系列の具体例を示す.

(a) DST における入出力データ

\begin{abstract}
入力系列対話から応答を生成:<顧客>東京へ旅行に行くのですが、Wi-Fiが無料で利用できて、レストラン併設の宿泊施設はありますか？<店員>WiFi無料でレストラン併設の宿泊施設は東京には 18 件あります<顧客>安めのところもありますか？<店員>值段が安めの条件を追加すると、残念ながら 1 件もヒットしません。<顧客>そうですか。じゃあWi-Fiはなくてもいいです。く信念状態> general active_domain hotel, general city 東京, hotel pricerange 安め, hotel withrestaurant 有り<検索結果> total 1, candidate [ビジネスホテル山百合], selected [city 東京, name ビジネスホテル山百合, genre ビジネスホテル, area 台東区, pricerange 安め, station [上野駅, 京成上野駅], wifi 無し, parking 無し, withrestaurant 有り, phone 0338317759, address 東京都...

出力系列值段が安めでレストラン併設となれば、ビジネスホテル山百合、これ一択です。
\end{abstract}

(b) RGにおける入出力データ

図 3 T5 のDST タスクおよび RG タスクの学習に用いられた入出力データ具体例. 入力系列の先頭には，DST と RG のいずれのタスクであるかを示す prefix が付与されている。また，入力系列の各要素には，話者を示す prefix や，信念状態，DB 検索結果を示す prefix が付与されている.

## A. 2 プロンプトの具体例

図 4 に，実験で LLM に入力された zero-shot 設定でのプロンプトを示す.

対話文脈から判断できる，レストランに関するスロットと值ペア（信念状態）を抽出してください，

信念状態は半角スペースとカンマを使用し，`スロット 1 值1,スロット2 値2`という形式で抽出してください.抽出するべきスロットは以下の通りです：
- "name" レストランの名前
- "genre" レストランのジャンル
- "area"レストランのエリア. " 区"や" 市" などの地区名.
- "pricerange" レストランの価格帯. "安め/普通/高め" のいずれか.
- "station"レストランの最寄り駅
- "wifi"レストランのWi-Fiの有無。"有り(無料)/有り(有料)/無し" のいずれか.
- "parking"レストランの駐車場の有無。"有り(無料)/有り(有料)/無し" のいずれか.
- "people"レストランの予約人数
- "day"レストランの予約日
- "time"レストランの予約時間

上記以外の情報は抽出しないでください。

また，文脈中で言及されなかったスロットの値も抽出しないでください.

(a) 飲食店ドメインにおける DST 用プロンプト

あなたは顧客の要望に沿ったレストランを探し出し，予約をするアシスタントです。 データベースを用い，エリア，ジャンル，価格帯等からレストランを検索・予約することができます。 レストランを見つけたら，その名前，住所，電話番号，その他必要な情報など，顧客から尋ねられた情報を提供してください.

予約が成功したら, その予約番号（ref）を提供してください

(b) 飲食店ドメインにおける RG 用プロンプト

図 4 Zero-shot 設定での LLM の DST タスクおよびRG タスクに用いられた，飲食店ドメイン用のプロンプト例


# 敵対的発言を取り入れた議論による言語モデルの 学習強化と推論力の向上

Mengsay Loem ${ }^{1}$ 金子正弘 ${ }^{2,1}$ 岡崎直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ MBZUAI
mengsay.loem@nlp.c.titech.ac.jp masahiro.kaneko@mbzuai.ac.ae
okazaki@c.titech.ac.jp

## 概要

大規模言語モデル（Large Language Model; LLM） は他モデルや人間との議論を通じて問題に対する理解を深めることができる。議論はモデルの学習段階においても論理的・批判的思考力や説明力の向上に寄与すると考えられるが、従来研究では議論を推論時にのみ活用していた。本研究では、学習段階において学習モデルの出力が不正解の場合には正解に、正解の場合には不正解に誘導する敵対的議論を行う「反論モデル」によるフレームワークを提案する。提案手法では議論を用いた追加学習を行い、学習モデルのパラメータを更新する。議論を行わない手法、推論段階に議論を適用する手法、推論過程を言語化する Chain-of-Thought (CoT) と比較して、提案手法は算術、常識推論、質問応答タスクにおいて高い性能を示した。

## 1 はじめに

LLM は様々なタスクにおいて優れた言語理解・生成能力を発揮している $[1,2]$ 。LLM の大きな進展の一つとして、他モデルや人間との議論を通じて、複雑な問題解決や柔軟な思考が可能となったことが挙げられる。例えば、LLM は対話を通じて、相手の反論に対して予測の理由を説明し、相手を説得することや自分の間違いを正すことができる [3]。この議論能力は、特に複雑な推論や批判的思考を必要とするタスクにおいて、LLM の性能を向上させる [4]。

最新の研究では、推論時における議論が LLM の性能を大幅に向上させることが報告されている $[5,6,7,8,9]$ 。これらの推論段階での議論は、問題に対するモデルの予測を直接的に洗練させることを可能にし、様々なタスクの性能を向上させた。一方で、その効果は主に、議論を伴わない通常の学習に

図 1: 反論モデルと議論することで学習モデルのパラメータを更新する提案手法の概要図。

よって身につけられた LLM の能力を引き出すことで得られている。つまり、LLM は議論をしながら学習（パラメータ更新）をした訳ではないので、LLM の学習と推論の状況に乘離があり、「推論段階の議論だけでは説明力や批判的思考力を最大限に高めきれていないのではないか？」という疑問が生じる。

学習段階で議論を能動的に取り入れることはまだ開拓されておらず、研究が少ない。例えば、学習モデルと評価モデルが学習段階に導入され、評価モデルが学習モデルの出力を評価し正解に誘導する手法が提案されている $[10,11]$ 。しかし、この手法では議論の対象が学習モデルの誤った予測へのフィードバックや修正に限定されている。学習モデルが正しい理解や論理に基づいて正答しているかを試す批判的検証が行われていないため、正解やフィードバックの丸暗記に基づいた応答を行っている可能性がある。教育学における敵対的指導法では、人間は批判的な過程を通じて理解を深めると報告されてい

る $[12,13]$ 。同様に、正解時に間違えさせる誘導に対して学習モデルが批判的に対処し、不正解時は間違いに対する批判を受容する過程が LLM の問題解決力の向上に繋がるのではないかと考える。

本研究では、予測の正解と不正解に応じて補助的な発言または敵対的な発言をする「反論モデル」と議論し、タスクの習得を目指す「学習モデル」のパラメータを更新することで、学習モデルの議論能力を直接的に鍛える枠組みを提案する。図 1 は提案手法の概要を示している。反論モデルは学習モデルの予測に対して一貫した反論を行い、問題への理解を試す。学習モデルは反論モデルを説得する必要があり、学習負荷が高いため、問題解決への理解がより深まり、推論時のタスク性能が改善する。さらに、推論段階において議論や CoT などの手法を適用すると、学習段階の議論により予測過程の説明力が磨かれているため、議論学習を行っていないモデルよりもさらにタスク性能が向上すると考えられる。

実験では、Flan-T5 と GPT-3.5をそれぞれ、学習モデルと反論モデルとして採用した。算術問題 (GSM8K)、常識推論 (CommonsenseQA)、知識に関する質問応答 (MMLU) タスクにおいて、提案手法は議論を行わない学習手法、CoT、正解のみを使う既存手法よりも高い性能を示した。さらに、提案手法が CoT の言語化を顕著に改善することが自動評価と人手評価の両方から明らかになった。ゆえに、提案手法は議論に特化した能力だけでなく、汎用的な論理的思考力や説明力を高めると考えている。

## 2 提案手法

提案手法による学習は、準備フェーズと議論フェーズの 2 つの主要フェーズから構成される。学習モデルと反論モデルの 2 つの事前学習されたモデルを活用し、補助的な発言と敵対的発言の両方を含む能動的な議論を通じ、学習モデルのファインチューニングを行う。アルゴリズム 1 は提案手法による学習を示している。学習モデルは、タスクや問題に対する予測を生成し、反論モデルとの議論を通じてパラメータを更新し、タスクを解く役割を担う。一方、反論モデルは学習モデルの予測が誤っている場合は補助的、予測が正しい場合は敵対的な発言を提示し、正しい過程に基づいた問題の理解と反対意見に対する柔軟性の獲得を促し、学習モデルの推論能力を強化する。学習モデルとは異なり、反論モデルのパラメータは更新しない。ゆえに、学習モ

デルよりも規模の大きい LLM を反論モデルとして使うことができる。

準備フェーズ学習モデルにタスク・ドメインに関する基本的な理解を与えるために、学習データセットのサブセットを使い、議論を伴わない通常のファインチューニングを行う。これにより、学習モデルは対象タスクを議論するための最低限の知識や能力を身につけると期待される。

議論フェーズ学習データセットの残りのサブセットを使用し、反論モデルとの能動的かつ批判的な対話を通じて、学習モデルの議論と説明（言語化） の能力を向上させる。このフェーズは複数のラウンドで行われ、学習モデルは与えられた問題に対する予測を生成し、反論モデルは学習モデルの解答に応じて補助的または敵対的な発言を行い、そのやり取りに基づいて学習モデルはパラメータを更新する。各ラウンドは以下のステップに従って進められる。

1. 解答の生成: 学習モデルは与えられた問題に対する解答を生成し、議論のための準備を行う。

2. 反論モデルの発言: 学習モデルの解答に基づいて、反論モデルは補助的または敵対的な立場で発言を行う。

・学習モデルの解答が不正解と判断された場合、補助的な発言で正解への道筋を示す。

・学習モデルの解答が正解と判断された場

表 1: 提案手法とべースライン手法の算数 (GSM8K)、常識 (CommonsenseQA)、知識 (MMLU) タスクにおける正解率の比較。

合、学習モデルを惑わすような敵対的な発言を行い、学習モデルの正しい理解や自信を試す。

3. 議論ありのパラメータ更新: 反論モデルの発言、学習モデルの発言、学習データの正解データを使い、学習モデルのパラメータを更新する。これにより、議論を踏まえた学習が行われる。

4. 議論なしのパラメータ更新: 反論モデルとの議論を複数ラウンド繰り返した後、学習モデルは議論無しで予測を行い、正解データのみを用いてパラメータを更新する。これにより学習モデルは議論によって得られた能力を解答のみの予測に活用できることを学び、議論を伴わない推論においても性能改善を狙う。

推論段階学習モデルは反論モデルと議論を行わずに出力を生成し、学習時の議論フェーズで獲得した推論能力を活用しながらタスクを解く。

## 3 実験

## 3.1 データセット

本研究では、提案手法の評価に以下の 3 つのデー タセットを使用した。

GSM8K データセット [14] は、8.5k 事例の算術問題から構成され、その中で $6.5 \mathrm{k}$ を学習用、 $1 \mathrm{k}$ を検証用、 $1 \mathrm{k}$ をテスト用として用いた。

CommonsenseQA データセット [15] は、12k 事例の多肢選択問題を含む。公式分割により、9.7kを学習用、 $1.2 \mathrm{k}$ を検証用、 $1.1 \mathrm{k}$ をテスト用に用いた1)。

MMLU データセット [16] は数学、歴史、科学などのタスクを含み、 $100 \mathrm{k}$ 事例の学習、 $1.5 \mathrm{k}$ の検証、 $14 \mathrm{k}$ のテスト事例から構成される。

## 3.2 モデル

本実験では、学習モデルとして Flan-T5-Large （780M）と Flan-T5-XL（3B）[17] を採用した。反論モデルには GPT-3.5 (gpt-3.5-turbo)を使用し、OpenAI $\mathrm{API}^{2)}$ をへてアクセスした。学習モデルには、第 2 節で詳説した準備フェーズと議論フェーズの学習を実施した。準備フェーズでは、各データセットの学習セットの $10 \%$ を利用した。議論フェーズでは、残りの学習セットを用い、学習モデルと反論モデル間で 3 ラウンドの議論を実施した。Flan-T5-Large に関しては、全パラメータを学習時に更新した。一方、Flan-T5-XL では計算資源の制約から、モデルに微小なパラメータを追加しそれだけを更新する LoRA [18]により、学習を効率化した。実験設定の詳細は付録 A に記載した。

## 3.3 比較手法

提案手法と比較するため、以下の 3 つのベースラインを用いた。

ゼロショット CoT は予測までの過程を出力させるプロンプト $[19,20]$ を使用し、モデルの本来の推論能力を評価する。この CoT との比較により、提案手法の言語化能力の向上を見積もることができる。

議論なし学習は標準的なファインチューニング手法であり、学習データの正解のみを用いてモデルを学習する。このベースラインとの比較により学習段階での議論の重要性が明らかとなる。

補助フィードバックは既存研究 [11] に相当し、提案手法と同様に反論モデルからの補助によりモデルを学習するが、敵対的な発言は行わない。この比較により、予測の正誤の有無にかかわらず、学習段階の全事例において学習モデルに批判的な負荷をかけることが性能改善につながるか、検証する。

## 3.4 結果

表 1 に示される結果から、全てのデータセットとモデルにおいて提案手法の有効性が実証された。GSM8K データセットでは、提案手法が Flan-T5-Large の性能を顕著に改善し、18.50\%の正解率を達成した。これは議論を伴わない標準的なつァインチューニングによる $14.63 \%$ の正解率と比較して、3.87 ポイントの顕著な向上を示している。同様に、Flan-T5-XLでは、議論を伴わない学習による

表 2: 各手法による CoT の質を ROUGE スコア（R-1, R-2, R-L）を用いて評価した結果。

表 3: 提案手法による学習前後での学習モデルと反論モデルの性能変化。評価は人手による 5 段階評価で行われた。

$14.21 \%$ の正解率から、提案手法により $18.89 \%$ まで改善され、学習段階における議論の導入の効果が明らかになった。

また、敵対的発言を取り入れた提案手法は、補助的な発言のみを使う既存手法と比べてさらに性能が向上している。GSM8K データセットにおいて、提案手法を使用した Flan-T5-Large は $18.50 \%$ の正解率を達成し、補助的発言のみを使用した場合の $16.60 \%$ に比べ 1.9 ポイントの改善を示した。この傾向は CommonsenseQA と MMLU のデータセットにおいても一貫しており、敵対的議論がもたらす効果の頑健性が実証された。なお、議論における反論モデルの補助的と敵対的な発言の適切さの評価を、付録 B に記載した。

## 4 分析

## 4.1 言語化能力の向上

本節では、予測に至る思考過程を適切に記述する説明力の改善が議論以外にも汎用的な波及効果をもたらすか検証するため、学習されたモデルのゼロショット CoT（思考過程）を評価する。具体的には、答えに至る思考過程の正解（参照思考過程）を収録している GSM8K テストセットを使用し、各手法により学習されたモデルに CoTを適用し、自動評価と人手評価で生成された思考過程の質を比較する。

表 2 は、生成された思考過程と参照思考過程との間の ROUGE [21] スコアを示している。提案手法が生成する思考過程は事前学習のみ、および議論を伴わない学習のモデルを上回った。これは、提案手法により汎用的な思考・説明力が向上し、CoT の生成がより正確になることを示している。

表 3 は、各モデルの生成内容を人手で 5 段階評価

表 4: GSM8K データセットにおける推論時の議論による手法の性能の比較。

した結果である。提案手法により、学習モデルの議論能力が顕著に向上することが明らかとなった。評価の詳細については、付録 C を参照のこと。

## 4.2 推論時の議論による性能の向上

最後に、提案手法で学習されたモデルの推論時の議論能力に焦点を当てる。

表 4 の上段にモデルが単独で推論する際の正解率、中段にモデルが自分自身との議論を通じて推論した際の正解率、下段に GPT-3.5 との議論をした場合の推論の正解率を示した。上段と中段の結果から、学習モデルが単独で推論をする場合よりも、自分自身と議論するだけで正解率が向上することが分かる。これは、推論時の議論がタスクの性能を向上させていることを示唆している。

なお、提案手法で学習された学習モデルがGPT-3.5 と議論を行いながら推論すると、 $60.80 \%$ の正解率が得られる。この結果は、提案手法の学習が推論時の議論能力をどのように強化するかを示し、高度なモデルとの議論や連携の可能性を示唆している。ちなみに、GPT-3.5 単独の正解率が $62.32 \%$ あるるのに比べ、提案手法で学習されたモデルを用いた後の性能は $64.90 \%$ まで更に向上している。

## 5 おわりに

本研究では、LLM の推論能力を向上させる能動的な学習アプローチとして、モデル間の対話的な議論を通じて、補助的と敵対的な発言を活用する手法を提案した。実験により、推論段階における議論を伴う・伴わないシナリオの両方で推論性能の改善が確認された。提案手法により、モデルの CoT 言語化能力が向上し、学習後の汎用的な言語化能力が強化されていることが示された。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究（22501）により得られたものです。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[2] OpenAI. Gpt-4 technical report. arXiv:2303.08774, 2023.

[3] Masahiro Kaneko, Graham Neubig, and Naoaki Okazaki. Solving nlp problems through human-system collaboration: A discussion-based approach. arXiv:2305.11789, 2023.

[4] Yashar Talebirad and Amirhossein Nadiri. Multi-agent collaboration: Harnessing the power of intelligent $1 \mathrm{~lm}$ agents. arXiv:2306.03314, 2023.

[5] Tian Liang, Zhiwei He, Wenxiang Jiao, Xing Wang, Yan Wang, Rui Wang, Yujiu Yang, Zhaopeng Tu, and Shuming Shi. Encouraging divergent thinking in large language models through multi-agent debate. arXiv:2305.19118, 2023.

[6] Kai Xiong, Xiao Ding, Yixin Cao, Ting Liu, and Bing Qin. Examining inter-consistency of large language models collaboration: An in-depth analysis via debate. arXiv:2305.11595, 2023.

[7] Justin Chih-Yao Chen, Swarnadeep Saha, and Mohit Bansal. Reconcile: Round-table conference improves reasoning via consensus among diverse llms. arXiv:2309.13007, 2023.

[8] Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, and Peter Clark. Self-refine: Iterative refinement with self-feedback. arXiv:2303.17651, 2023.

[9] Yilun Du, Shuang Li, Antonio Torralba, Joshua B Tenenbaum, and Igor Mordatch. Improving factuality and reasoning in language models through multiagent debate. arXiv:2305.14325, 2023.

[10] Sean Welleck, Ximing Lu, Peter West, Faeze Brahman, Tianxiao Shen, Daniel Khashabi, and Yejin Choi. Generating sequences by learning to self-correct. arXiv:2211.00053, 2022.

[11] Debjit Paul, Mete Ismayilzada, Maxime Peyrard, Beatriz Borges, Antoine Bosselut, Robert West, and Boi Faltings.
Refiner: Reasoning feedback on intermediate representations. arXiv:2304.01904, 2023.

[12] Jonathan Osborne. Arguing to learn in science: the role of collaborative, critical discourse. Science, Vol. 328,5977, pp. 463-466, 2010.

[13] Ben Kilby. Dialogic pedagogies: Defining and analyzing four types of dialogue in education. Analytic Teaching and Philosophical Praxis, Vol. 41, No. 2, p. 106-121, Dec. 2021.

[14] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems. arXiv:2110.14168, 2021.

[15] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. Commonsenseqa: A question answering challenge targeting commonsense knowledge. arXiv:1811.00937, 2019.

[16] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. In International Conference on Learning Representations, 2021.

[17] Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Alex Castro-Ros, Marie Pellat, Kevin Robinson, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, and Jason Wei. Scaling instruction-finetuned language models. arXiv:2210.11416, 2022.

[18] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. arXiv:2106.09685, 2021.

[19] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. arXiv:2201.11903, 2023.

[20] Takeshi Kojima, Shixiang (Shane) Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 22199-22213. Curran Associates, Inc., 2022.

[21] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[22] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

表 5 : 提案手法の議論における反論モデルの補助的と敵対的な発言の適切さに関する人手評価。

## A 実験設定の詳細

本研究では、 Huggingface Transformers ${ }^{3}$ を利用した。学習は 8 台の NVIDIA A100 GPU(40GiB) で行った。公平で一貫性のある評価を保証するために、提案手法と全ての比較手法において、パラメータ更新ステップの総数を同じに設定した。最適化手法として、AdamW [22]を、デフォルトのハイパーパラメータで使用した。全ての比較手法で、バッチサイズは 1 で、勾配累積を 1 に設定した。Flan-T5-XLでは、 LoRA ${ }^{4}$ の設定として、alpha $=32 、$ rank $=8$ 、 target modules: Query、Key、Value、出力層を含む自己注意の線形射影、を採用した。

## B 反論モデルの発言に対する評価

反論モデルの発言を評価するために、 5 人の大学生に GSM8K データセットの例からランダムに抽出したサンプルを評価させた。各評価者には、学習モデルの回答、反論モデルの発言、それに対応する質問と正解が提示された。評価プロセスには以下の 2 つを設けた。

1. 発言の分類: 評価者は、学習モデルの解答と質問のペアの文脈に基づいて、反論モデルの各発言を補助的か敵対的かに分類する。

2. 適切さの評価: 評価者は適切さを評価した。評価者は、発言の適切さを 5 段階で評価した。評価の尺度は、 1 (期待との整合性なし) から 5 (期待との完全な整合性) までであり、反論モデルの発言の妥当性を反映する。評価の基準は以下である。
- 1 - No Alignment: The response does not align with the expectation.
- 2 - Minimal Alignment: The response shows minimal alignment with the expectation.
- 3 - Moderate Alignment: The response is moderately aligned with the expectation.
- 4 - Strong Alignment: The response aligns strongly with the expectation, with minor deviations.
- 5 - Complete Alignment: The response fully aligns with the expectation.

表 5 は、反論モデルの発言に対する人手評価の結果を示す。精度の面では、補助的な発言は $100 \%$ の精度で識別され、これらの回答の明瞭性と有効性が高いことが示された。それに対し、敵対的な発言は $88 \%$ と低い精度であった。これは、敵対的な内容を明確に定義することが難しく、評価者によって解釈が異なることが多いためと考えられる。この点は、提案手法の中で敵対的な発言を生成する際に、さらなる改良が必要であることを示唆している。適切さの評価では、支持的な発言は平均 3.40 点であったが、敵対的な発言は 3.10 点とやや低かった。どちらのスコアもスケールの中間点付近を推移していることから、発言は一般的に適切であり、学習プロセスにおける意図された使用方法と一致していることが示唆される。しかし、これらの結果は、両タイプの発言の有効性と影響を高めるための改善点も指摘している。

## C モデル間の議論の人手評価

4.1 節で述べたように、提案手法を適用した後の議論能力を総合的に評価するために、CoT の言語化について人手による評価を行った。 5 人の大学生が以下の基準で議論のクオリティを評価した。

-1 - Poor: The discussion significantly deviates from expected standards, showing a lack of relevance, coherence, or constructive feedback.
- 2 - Fair: There is some alignment with the gold standard; however, notable deficiencies or inaccuracies are present.
- 3 - Average: The discussion is reasonably relevant and effective, although minor errors or lapses may be present.
- 4 - Good: There is a strong alignment with the gold standard, despite the potential presence of minor areas for improvement.
- 5 - Excellent: The discussion is highly aligned with the gold standard, demonstrating relevance, accuracy, and overall effectiveness.

4) https://github.com/huggingface/peft


# 雑談応答生成モデルによる矛盾応答の大規模収集

佐藤志貴 1 赤間怜奈 1,2 鈴木潤 1,2 乾健太郎 $3,1,2$
1 東北大学 2 理化学研究所 ${ }^{3}$ MBZUAI
\{shiki.sato.d1, akama, jun.suzuki\}@tohoku.ac.jp kentaro.inui@mbzuai.ac.ae

## 概要

雑談応答生成モデルが生成した矛盾応答データの不足は，矛盾応答の抑制に向けた取り組みの障害となっている. 本研究では, 多様なモデルの矛盾応答からなる大規模データセットを構築する。様々な観点からデータセットを分析し，モデルによる矛盾応答の特徵を明らかにするとともに，構築したデータセットを学習データとして用いることでデータ駆動型の矛盾抑制の有効性が向上することを確認する。

## 1 はじめに

雑談応答生成モデル (Response Generation Model, RGM) による誤りのなかでも，表 1 のように過去の自身の発話と矛盾する応答，いわゆる矛盾応答は，対話の円滑な進行やユーザとの信頼関係の構築を妨げる [1] ため，ユーザと信頼関係を構築可能なシステムを実現する上で解決すべき重要な課題である.

矛盾応答の抑制において，大規模かつ高品質な RGM の矛盾応答データの存在は 2 つの点で重要となる. まず，大規模矛盾応答データを分析することで RGM の矛盾応答の特徴が明らかになれば，より効果的な矛盾抑制手法を開発できる可能性がある. また，大規模矛盾応答データを学習に用いることで，近年主流となっているデータ駆動型の矛盾抑制 $[1,2,3,4]$ の性能が向上すると考えられる. しかし， Nie らが収集した DECODE データセット [1] など，人手で書かれた矛盾応答のデータセットは存在する一方，RGM が生成した矛盾応答を大規模収集した研究はこれまで存在しなかった. 人手で書かれた矛盾データは， 3.1 節で示すように，RGMによる矛盾とは異なる特徴を有しており, 分析や学習に用いるデータとしての有効性に限界がある.

そこで我々は，実際に RGM が生成した矛盾応答の大規模収集に取り組んできた [5]. しかし，これまでのデータセットに収録した矛盾応答の事例数は $2.5 \mathrm{k}$ と, データ駆動型システムの安定した学習に必表 1 収集した RGM の矛盾，無矛盾応答例。A，B は話者, CG と B1 はRGMを指す. 発話 $u_{q}$ に対する RGM 応答の, 先行発話 $u_{r}$ との一貫性に関する 3 人のワーカの判断は $\mathrm{C}, \mathrm{Nで}$ 表され，それぞれ矛盾，無矛盾を指す。発話 $u_{r}$ は $u_{q}$ に $d_{u_{r}}$ 発話先行している. 太字は矛盾箇所を示す.

対話文脈

A: I hurt my toe doing ballet. $-u_{r}$

B: Oh I hope you get better. Does is hurt a lot?

A: It hurts pretty bad, but it will heal. [. . .]

B: [. . .] Do you do ballet practice often? - $u_{q}$

話者 $\mathrm{A}$ としての $u_{q}$ に対する RGM 応答

CG: I don't do ballet myself, I was just watching a performance. [. . . ] $-[\mathrm{C}, \mathrm{C}, \mathrm{C}]$

BL: Yes, I do ballet every day. [. . . ] - $[\mathrm{N}, \mathrm{N}, \mathrm{N}]$

要な事例数の目安の一つ，10k [6] を大きく下回り,学習データとしての利用に際してデータ駆動型の手法の効果を十分引き出せない可能性があった.

本研究では，多様な RGM の矛盾応答 10503 個を収録した大規模データセットを構築する. さらに， データセットを分析しRGM の矛盾応答の特徴を明らかにする. 最後に, 本データセットで学習した矛盾検出器が高い精度で RGM の矛盾を検出できることを確認し，データ駆動型の矛盾抑制における有用性を示す。本データセットは公開予定である。

## 2 大規模データセットの構築

我々の過去の応答収集 [5] と類似した方法で, RGM の矛盾応答および無矛盾応答を大規模に収集した. 構築の詳細は付録 $\mathrm{A}$ に示す。

## 2.1 各事例の構成

各事例は，表 1 のように対話文脈とそれに対する RGM の応答，応答の一貫性を示すラベルからなる。

対話文脈. 過去の我々の調査 [5]により, 先行する発話 ( $u_{r}$ とする) に関連するような質問である Follow-up 質問 (FQ) が RGM から矛盾応答を誘発す
表 2 構築したデータセットの基本統計情報. 括弧内の値は，対話文脈の種類数を表す。

る主要な発話であることが判明している。そこで今回のデータセット構築でも, 過去の収集と同様,先行発話 $u_{r}$ に対する $\mathrm{FQ}$ を含む発話 $u_{q}$ が末尾に来る対話文脈を Multi-session Chat (MSC) データセット [7] から収集した. なお， $u_{r}$ と $u_{q}$ は $d_{u_{r}}$ 発話離れていることとする. 表 1 は $d_{u_{r}}=3$ の例となる.

RGM の応答. 各対話文脈に対し, 既に社会で広く活用されている ChatGPT (CG, https://openai. com/chatgpt) に加え，高性能な RGM である Plato-2 (P2), Plato-XL (PX) [8, 9], Blenderbot1-3B (B1) [10], Blenderbot2-3B (B2) [7, 11], Blenderbot3-3B (B3) [12], Blenderbot3-30B (BL), Opt-66B (O6) [13] に応答を生成させることで，多様な RGM の応答を収集した。

一貫性に対するラベル. 各応答が先行発話 $u_{r}$ と矛盾するかを，3人ずつのクラウドワーカに評価させ， 2 人以上が矛盾と判断した場合は矛盾応答,全員が無矛盾と判断した場合は無矛盾応答とした.

## 2.2 統計情報

表 2 にデータセットの統計情報を示す. 事前調査で $d_{u_{r}}$ が 3 より大きいと矛盾発生頻度が低くなると判明しているため， $d_{u_{r}}$ の最大値を 5 と設定した.

## 3 分析データとしての有用性の検証

RGM による矛盾応答の特徴を分析することは， より有効性の高い矛盾抑制手法を開発する上で不可久である. 本研究で大規模データセットを構築したことにより，こうした分析が可能となる. 3.1 節では RGM 矛盾応答自体の特徴に関する分析結果を, 3.2 節では RGM が特に矛盾応答を生成する傾向にある対話文脈の特徴に関する分析結果を報告する。

## 3.1 矛盾応答自体の分析

我々の分析により，RGMに特有の矛盾応答とし $\tau$, 発話内矛盾に起因する矛盾応答と, 曖昧性のある表現を含む矛盾応答が特定された。

発話内矛盾に起因する矛盾応答. RGM によって生成された矛盾応答を観察したところ “I like表 3 曖昧性のある表現を含む Plato-2 の矛盾応答の例.太字の “interview” が今日のものを指していると解釈するかによって一貫性に関する判断が異なると考えられる。

対話文脈

A: I had a promising interview today! B: Oh excellent! How did it go, what made it so excellent?話者 A としての RGM 応答

P2: i think i did well because they called me back to set up an interview.

tennis, but I dislike tennis.”のように，応答内に相反する情報を組み込むことで，そのうちのどちらかの情報が対話文脈と矛盾するという事例が散見された. 具体的には，本データセットの各 RGM の矛盾応答を無作為に 50 個ずつ取り出し確認したところ, ChatGPT を除く 7 個の RGM で発話内矛盾に起因する矛盾応答が 1 個以上観測された。一方，人手で書かれた矛盾応答を DECODE データセットから 50 個無作為抽出し調べたが，発話内矛盾に由来する矛盾応答は確認されなかった. 以上から，発話内矛盾に起因する矛盾は RGM 応答で特に頻出するといえる.

曖昧性のある表現を含む矛盾応答. RGM の応答と, DECODE データセット中の人手応答の間には，矛盾の有無に対する人手評価の傾向において差異があることが確認された. 本研究と $\mathrm{Nie}$ らのデー タセット構築 [1]では, 矛盾ラベルを付与するワー カの選定方法やラベルの付与方法は同様である. しかし， 3 人中 1 人以上のワーカが矛盾と判断した事例からなる部分集合の中で，他の 2 人も矛盾であると同意した割合に有意な差が観察された.この割合は，人手応答では $78.4 \%, R G M$ の応答では $30.4 \%$ だった. この異なりは，RGMが一貫性に関して曖昧な表現を含む応答を生成する傾向があることに起因している可能性がある．表 3.1 に曖昧な表現を含む応答の例を示す. 曖昧性を含む応答に対する矛盾の有無の判断は，個々のワーカが一貫性に関してどのように解釈するかによって異なる.こうした応答は，たとえ一部のワーカには矛盾を感じさせないとしても，ひとたび実際のユーザに矛盾と認識されてしまうと，対話の質を著しく損なう可能性があり， これらの矛盾に対処することも極めて重要である。

## 3.2 矛盾応答を誘発する対話文脈の分析

多様な RGM から矛盾応答を誘発する対話文脈の特徴の特定は, より効果的な矛盾抑制のための技術
表 4 相手発話中の情報 (太字部分) を自身の情報として応答に取り入れたことによる Plato-2 の矛盾応答の例.

## 対話文脈

A: Have you taken any new pictures?

B: I managed to get out at the weekend and get loads of shots in the snow we had. [. . .]

A: Oh wow you had snow!? We just had rain all weekend :) [ . . ] Did you have a nice chilled weekend? [. . .]

話者 B としての RGM 応答

P2: it was a good weekend here, we got to enjoy the cold rain!

の開発において有用である可能性がある. 我々のデータセットでは，各対話文脈 8 個もの多様な RGM の応答が収集されており，この調査に適している.

解釈性が高い分析観点として対話行為ラベルと使用語彙に着目しつつ，統計的手法 ${ }^{1}$ を用いて対話文脈を分析したところ，RGM の矛盾応答を誘発しゃすい対話文脈の特徴が 3 つ特定された。

対話行為分類に基づく特徵. データセット中の各対話文脈の発話 $u_{q}$ に対話行為ラベルを付与したところ, 2) "Declarative Yes-No-Questions" および “Statement-non-opinion" が $u_{q}$ に付与された対話文脈はより多くの RGM から矛盾応答を誘発する傾向にあることが確認された. 前者のラベルについて，該当する 193 個の対話文脈において矛盾応答を生成した RGM の個数の平均が 2.77 だった一方, 該当しない 4084 個の対話文脈における平均は 2.41 だった. この差は, 過去の発話で自身が提供した情報の繰り返しを相手から求められていることを理解した上で一貫した情報を繰り返す能力が RGM に欠けていることが原因で発生している可能性がある. 後者のラベルについて，該当する 2118 個の対話文脈における平均は 2.49 だった一方，該当しない 2159 個の対話文脈における平均は 2.36 だった. この差の原因として，表 4 の例のように，RGM が対話文脈中の自身の発話と相手発話の区別に失敗し, 相手発話 $u_{q}$中の情報を自身に関するものとして認識し応答することで矛盾する場合があることが考えられる。

1）本データセットには，対話文脈ごとに 8 個の RGM による計 8 個の応答が収録されており，各対話文脈について 8 個のうち矛盾応答を生成した RGM の個数が算出できる。 データセット中の対話文脈をある特徴の有無により 2 つの集合に分け，集合ごとに矛盾応答を生成した RGM の個数の平均を求めた. 有意水準 $1 \%$ の片側 $\mathrm{t}$ 検定に基づき 2 つの集合間で矛盾応答を生成した RGM の個数の平均が有意に異なる場合, その特徴を，矛盾応答の生成を誘発する特徴とみなした。

2）RoBERTaを Switchboard コーパス [14] で追加学習し対話行為分類器を構築した. 同コーパスにおける評価データセットでの正解率は $80.4 \%$ だった.語彙に基づく特徵。また，疑問詞 “how” $u_{q}$ に含む対話文脈も矛盾応答を誘発しやすいことを確認した. “how”を $u_{q}$ に含む対話文脈 3513 個において矛盾応答を生成した RGM の個数の平均は 2.60 だった一方，“how”を含まない場合の平均は 2.39 にとどまった.このことから，方法や度合いに関する質問に対し一貫性を保ちながら説明することは現在のRGM でも比較的難しいことがわかった.

## 4 学習データとしての有用性の検証

RGM の矛盾応答からなる大規模データセットを学習データとして用いることで, データ駆動型の矛盾抑制の有効性が向上することを示す。一例とし $\tau$, 対話文脈中の先行発話 $u_{r}$ と RGM 応答の間の一貫性を自動判定する矛盾検出器の性能向上を試みる. 矛盾検出器は, 矛盾抑制のための後処理 $[1,2]$ や RGM の矛盾生成頻度の自動評価に用いられ，特に重要な矛盾抑制のための手法の一つである.

既存の検出器は, 実際に RGM が生成する矛盾応答の代わりに，自動合成された矛盾応答や人手で書かれた矛盾応答を学習資源として用いることによって開発されてきた $[1,4]$. 我々は，実際に RGMが生成した矛盾データを学習に利用することで，有効性の高い検出器を構築できることを確認する．特に本実験では, 我々のデータセットで学習した検出器の性能を，Nie らが人手矛盾データを用いて構築した既存の最高性能の検出器 [1] と同様の方法で構築した検出器の性能と比較する。

## 4.1 実験設定

矛盾検出器. Nie らは，人手で書かれた矛盾応答からなる DECODE データセットで RoBERTa [15]を追加学習し矛盾検出器を構築した. 本実験では, $\mathrm{Nie}$ らの設定に従い，我々のデータセットで RoBERTa を追加学習し検出器 $\mathrm{CD}_{\mathrm{RGM}}$ を構築した. 比較対象として, $\mathrm{CD}_{\mathrm{RGM}}$ の学習に用いた事例数と同数の事例を DECODE データセットから無作為抽出したものを学習データセットとする $\mathrm{CD}_{\mathrm{HUM}}$ を用意した.

評価データセット。本研究で収集した RGM の矛盾応答は, MSC という特定の対話コーパスの $\mathrm{FQ}$ に対して生成されたものに限られている. しかし，矛盾検出器を実際に矛盾抑制に用いる場合, 異なるドメインの対話における $\mathrm{FQ}$ 以外に対する RGM の応答の矛盾を検出できることも重要となる. そこで，異なる対話コーパスの，FQに限定しない対話文

Topical-test / Daily-test

脈に対する RGM の応答からなる評価データセットを 2 種類構築した。一方は Topical-Chat データセット [16], 他方は DailyDialog データセット [17] に収録されている対話文脈からなり, 前者を Topical-test データセット，後者を Daily-test データセットと呼ぶ. 各評価データセットは 7 個のサブセットで構成されており，各サブセットは $\mathrm{P} 2, \mathrm{PX}, \mathrm{B} 1 ， \mathrm{~B} 2 ， \mathrm{~B} 3$ ， BL，O6 のいずれかの RGM の矛盾応答と無矛盾応答 50 個ずつからなる. ${ }^{3)}$ 対話文脈は，FQに限らない質問発話が末尾に来るものをコーパスから無作為抽出し用意した. ${ }^{4}$ ) 付録 B に構築の詳細を示す. また，これらのデータセットに加え，Nie ら [1]により構築された Human-Bot データセットも評価データセットとして用いた. Human-Bot データセットは,人間と RGM の間の対話において発生した RGM による矛盾応答と無矛盾応答 382 個ずつからなる.

$\mathbf{C D}_{\text {RGM }}$ の学習. 本研究で構築した大規模データセットを用いて $\mathrm{CD}_{\mathrm{RGM}}$ を学習した. 同データセットの応答を生成した 8 個の RGM は, Topical-test, Daily-test データセットの応答を生成した 7 個の RGM と重複する. 未知の RGM 応答に対する矛盾検出精度を評価するため, Topical-test, Daily-test データセットの応答を生成した 7 個の RGM のうち 1 個の RGM を評価対象 RGM とし, Topical-test, Daily-test データセットのうち評価対象 RGM の応答からなるサブセットを評価データセット，我々の大規模データセットから評価対象 RGM の応答を除いたものを学習データセットとした. 評価対象 RGM を変えながら $\mathrm{CD}_{\mathrm{RGM}}$ の学習と評価を 7 回実施した. B2を評価対象とした際，学習データセットの事例数は矛盾応答と無矛盾応答それぞれ 8023 個で最小となったため，他の RGM を評価対象とした場合もこの事例数に揃えた. 付録 Cに学習の詳細を示す.

3）大規模矛盾応答収集において CG の矛盾応答の生成頻度は比較的低かったことから，本研究ではコストを鑑みて $\mathrm{CG}$ の応答からなる評価データセットについては構築しなかった.

4）非質問発話が末尾となる対話文脈は，話題転換を促す応答など，対話文脈と無関係な応答も妥当な応答とする可能性があるため，矛盾応答が発生する頻度はより低くなると考えられる. 本研究では，コストを鑑みて質問以外の発話に対する RGM の応答からなる評価データは収集しなかった. $\mathbf{C D}_{\text {HUM }}$ の学習. DECODE データセットから矛盾応答と無矛盾応答を 8023 個ずつ無作為抽出し学習に用いた。他の設定は $\mathrm{CD}_{\mathrm{RGM}}$ と同様である.

## 4.2 実験結果

表 5 に，RGM 応答の文脈中発話 $u_{r}$ との一貫性を 2 值分類した時の正解率を示す. $\mathrm{CD}_{\text {HUM }}$ について, Human-Bot を除く全評価データセットにおける正解率が 0.7 を下回った. 特に P2 が評価対象だった時の Daily-test での正解率は 0.52 であり, チャンスレートと同程度となった. 以上から, RGM 矛盾応答の検出における $\mathrm{CD}_{\mathrm{HUM}}$ の精度には実用上問題があることがわかった. 一方, 我々のデータセットで学習した $\mathrm{CD}_{\mathrm{RGM}}$ は, 学習事例数が $\mathrm{CD}_{\mathrm{HUM}}$ と同じであるにも関わらず全評価データセットで $\mathrm{CD}_{\mathrm{HUM}}$ の正解率を上回った. 以上から $\mathrm{CD}_{\mathrm{RGM}}$ は，未知のドメインの FQ とは限らない質問に対する，未知の RGM の応答の矛盾検出に有効であることがわかった. 更に，対話文脈の種類を一切制限しない Human-Bot データセットでも $\mathrm{CD}_{\mathrm{RGM}}$ の検出精度は高く，任意の対話文脈に対する矛盾応答も検出できると考えられる。 なお， $\mathrm{CD}_{\text {HUM }}$ の学習に DECODE データセット中の全事例 (矛盾応答無矛盾応答それぞれ 15605 個) を用いた場合でも，Human-Botを除く全評価データセットで $\mathrm{CD}_{\mathrm{RGM}}$ が $\mathrm{CD}_{\mathrm{HUM}}$ の正解率を上回った.

## 5 おわりに

矛盾応答の特徴に関する分析やデータ駆動型の手法の学習に利用可能な RGM の矛盾応答データはこれまで大規模収集されておらず，矛盾応答の抑制に向けた取り組みの障害となっていた。

本研究では，多様な RGMによる矛盾応答からなる大規模データセットを構築した. 構築したデータセットの分析を通し, RGM の矛盾応答や RGM の矛盾応答を誘発する対話文脈の特徵など，より有効性の高い矛盾応答の抑制手法の開発に有用な知見が得られた. さらに, 矛盾検出器の学習を例として, 本データセットがデータ駆動型の矛盾抑制のための学習データとして有効であることがわかった.

## 謝辞

本研究は，JSPS 科研費 JP22K17943, JP21J22383， JST ムーンショット型研究開発事業 JPMJMS2011-35 (fundamental research) の助成を受けて実施されたものです. 研究遂行にあたりご助言ご協力を賜りました Tohoku NLP グループの皆様に感謝申し上げます.

## 参考文献

[1] Yixin Nie, Mary Williamson, Mohit Bansal, Douwe Kiela, and Jason Weston. I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling. In Proc. of ACL2021, pp. 1699-1713, 2021.

[2] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proc. of ACL2019, pp. 3731-3741, 2019.

[3] Margaret Li, Stephen Roller, Ilia Kulikov, Sean Welleck, YLan Boureau, Kyunghyun Cho, and Jason Weston. Don' $t$ say that! Making inconsistent dialogue unlikely with unlikelihood training. In Proc. of ACL2020, pp. 47154728, 2020.

[4] Weizhao Li, Junsheng Kong, Ben Liao, and Yi Cai. Mitigating Contradictions in Dialogue Based on Contrastive Learning. In Findings of ACL2022, pp. 2781-2788, 2022.

[5] 志貴佐藤, 怜奈赤間, 潤鈴木, 健太郎乾. Follow-up 質問による矛盾応答収集の提案. 言語処理学会第 29 回年次大会発表論文集, pp. 387-392, 2023.

[6] Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q. Weinberger, and Yoav Artzi. Revisiting Few-sample BERT Fine-tuning. In Proc. of ICLR2021, 2021.

[7] Jing Xu, Arthur Szlam, and Jason Weston. Beyond Goldfish Memory: Long-Term Open-Domain Conversation. In Proc. of ACL2022, pp. 5180-5197, 2022.

[8] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhen Guo, Zhibin Liu, and Xinchao Xu. PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning. In Findings of ACLIJCNLP2021, pp. 2513-2525, 2021.

[9] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, and Zheng-Yu Niu. PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation. In Findings of AACL-IJCNLP2022, pp. 107-118, 2022.

[10] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proc. of EACL2021, pp. 300-325, 2021.

[11] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-Augmented Dialogue Generation. In Proc. of ACL2022, pp. 8460-8478, 2022.

[12] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz,
William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y.-Lan Boureau, Melanie Kambadur, and Jason Weston. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage. In arXiv preprint arXiv:2208.03188, 2022.

[13] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. In arXiv preprint arXiv:2205.01068, 2022.

[14] Dan Jurafsky, Liz Shriberg, and Debra Biasca. Switchboard SWBD-DAMSL shallow-discourse-function annotation coders manual. Institute of Cognitive Science Technical Report, 1997.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. In arXiv preprint arXiv:1907.11692, 2019.

[16] Karthik Gopalakrishnan, Behnam Hedayatnia, Qinlang Chen, Anna Gottardi, Sanjeev Kwatra, Anu Venkatesh, Raefer Gabriel, and Dilek Hakkani-Tür. Topical-chat: Towards knowledge-grounded open-domain conversations. In Proc. of INTERSPEECH2019, pp. 1891-1895, 2019.

[17] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A Manually Labelled Multiturn Dialogue Dataset. In Greg Kondrak and Taro Watanabe, editors, Proc. of IJCNLP2017, pp. 986-995, 2017.

[18] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The Curious Case of Neural Text Degeneration. In Proc. of ICLR2020, 2020.

[19] Alexander H. Miller, Will Feng, Adam Fisch, Jiasen Lu, Dhruv Batra, Antoine Bordes, Devi Parikh, and Jason Weston. ParlAI: A dialog research software platform. In Proc. of EMNLP2017: System demonstrations, pp. 79-84, 2017.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP2020: System Demonstrations, pp. 38-45, 2020.

## A 大規模データセット構築の詳細

## A. 1 構築方法

最終発話が $\mathrm{FQ}$ を含む対話文脈を用意し，それらに対する応答を RGM に生成させる. 生成された各 RGM 応答について，人手で矛盾の有無を判定することで矛盾応答と無矛盾応答を収集する。

$\mathrm{FQ}$ 収集のアイデア. 質問文 $q$ を含む発話 $u_{q}$ を末尾とする対話文脈を $C, u_{q} \in C$ より $d_{u_{r}}$ 個前の非質問文 $r$ を含む発話を $u_{r} \in C$ とする. 質問文 $q$ が $r$ を参照する質問である場合， $q$ を $r$ に対する FQ とみなす. 質問文 $q$ が $r$ の FQであるかを判定するには， $q$ が $r$ に関連する文であるかを確認する必要がある. 近年の RGM は対話文脈に関連する応答を生成できることを踏まえ，本研究では RGMを用いて $q$ と $r$ の関連性を自動評価することを考える.

$\mathrm{FQ}$ 収集の方法. 発話 $u_{r}$ と $u_{q}$ の間にある発話系列を $C_{\mathrm{mid}}, C$ から $u_{q}$ および $C_{\mathrm{mid}}$ を除いた発話系列を $C_{\mathrm{w} / \mathrm{o}\left.\{u_{q}, C_{\mathrm{mid}}\right.\}}$ とする. 同様に, $u_{q}$ と $r$ を除いた $C$ を $C_{\mathrm{w} /\left.\{u_{q}, r\right.\}}$ とする. 文 $q$ が $r$ に対する $\mathrm{FQ}$ である場合, $u_{q}$ の元の条件付き確率に比べ, $P\left(u_{q} \mid C_{\mathrm{w} / \mathcal{o}\left.\{u_{q}, C_{\text {mid }}\right.\}}\right)$ は低くな弓ず， $P\left(u_{q} \mid C_{\mathrm{w} / \mathrm{o}\left.\{u_{q}, r\right.\}}\right)$ は低くなると考えられるため, $\mathrm{FQness}=P\left(u_{q} \mid C_{\mathrm{w} / \mathrm{o}\left.\{u_{q}, C_{\text {mid }}\right.\}}\right) / P\left(u_{q} \mid C_{\mathrm{w} / \mathrm{o}\left.\{u_{q}, r\right.\}}\right)$ は高くなると考えられる. Blenderbot1-3Bを用いて各確率を求めることで FQnessを計算し, 対話文脈集合から FQness が最も高くなる対話文脈を取り出す.

## A. 2 構築設定

対話文脈の用意. 対話コーパスから， $d_{u_{r}}+1$ 個以上の発話からなり最終発話が質問文を含む発話系列を取り出すことで，対話文脈集合を作成した。 MSC データセットを収集元とし，最終的に $59 \mathrm{k}$ 個の発話系列からなる対話文脈集合を得た. ここから， $d_{u_{r}}=1,3,5$ と設定したときに FQness が最も高い対話文脈を $3250 ， 1000 ， 100$ 個ずつ取り出した.

RGM 応答の収集. 各対話文脈に対し, 8 個の RGM から応答を一つずつ集め計 8 個の応答を得た. このとき，矛盾応答を効率的に集めるため，対話文脈それぞれに対して各 RGM に 100 個の応答候補を生成させ, Nie らが構築した矛盾検出器により $u_{r}$ と矛盾する可能性が最も高いと予想された候補をその RGM の最終的な応答とした. 応答候補の生成には, top-p サンプリング [18]を用いた. サンプリングにおける $\mathrm{p}$ の值を, ParlAI [19] などの 0.9 と比べて大幅に小さい 0.5 に設定し, 生成確率の低い候補の生成を回避した. ChatGPT の応答生成には OpenAI の API, Plato-2 と Plato-XL の応答生成には Knover, ${ }^{5}$ 他の RGM の応答生成には ParlAIを用いた。

## B 評価データセット構築の詳細

Topical-Chat, DailyDialog データセットから, $d_{u_{r}}+1$個以上の発話を有し最終発話が質問文を含むような発話系列を無作為抽出し, 評価データセット構築のための対話文脈とした. Topical-test について, $d_{u_{r}}=1$ の評価セット構築のために 300 個， $d_{u_{r}}=3$ の評価セット構築のために 100 個対話文脈を収集した. Daily-test について, $d_{u_{r}}=1$ の評価セット構築のために 200 個， $d_{u_{r}}=3$ の評価セット構築のために 100 個対話文脈を収集した. FQnessを用いた対話文脈の抽出を行わない点と ChatGPT の応答を収集しない点を除き，その他の手順および設定は大規模データセット構築と同様である.

## C 矛盾検出器学習の詳細

学習データ. 負例は, 我々のデータセットに収録されている RGM の矛盾応答とその先行発話 $u_{r}$ の組とした。一方正例は，データセット中の無矛盾応答および無作為に選択された同話者の対話文脈中の先行発話の組とした. これは， $u_{r}$ と矛盾しない応答であれば他の発話とも矛盾しない可能性が高いと考えられること，また $u_{r}$ と RGM 応答の組と比べ関連性が低いと考えられる発話の組を正例とすることで,関連性の低い発話の組は正例であることを検出器が学習できると考えられるためである。

ハイパーパラメータ. 一部を除き, Hugging Face [20] の初期値を用いて検出器を構築した。 $\left.{ }^{6}\right)$

各学習率におけるモデル学習時, パラメータ更新 200 回ごとに検証データセットにおける正解率を計算し, 一回前に計算した正解率を下回った段階で,一回前に正解率を計算した際のパラメータをその学習率におけるモデルの最終パラメータとした. 学習率ごとにモデルを学習していき，検証データセットにおける正解率が最も高くなった学習率の最終パラメータを評価に用いた。なお，検証データセットは学習データセットから $10 \%$ のデータを無作為に取り出したサブセットであり，モデルパラメータの学習には使わなかった。

5) www.github.com/PaddlePaddle/Knover.

6) train_batch_size: 128 , learning_rate: $\{1 \mathrm{e}-6,5 \mathrm{e}-6,1 \mathrm{e}-5,5 \mathrm{e}-$ 5\}, weight_decay: 0.01, and eval_steps: 200.