# ロボット対話によるインタラクティブ観光プランニング

佐藤京也 ${ }^{1,2}$ 大萩雅也 ${ }^{1}$ 山崎天 $^{1}$ 水本智也 ${ }^{1}$ 吉川克正 ${ }^{1}$
${ }^{1}$ SB Intuitions 株式会社
2 東京都立大学
}

\{keiya.sato, masaya.ohagi, takato.yamazaki, tomoya.mizumoto\}@sbintuitions.co.jp katsumasa.yoshikawa@sbintuitions.co.jp
## 概要

本稿では，対話ロボットコンペティション 2023 で最優秀賞を獲得したマルチモーダル対話ロボットについて詳述し, 課題や知見も共有する. 本コンペティションは，実際に店舗にヒューマノイドロボットを置いて観光プランニングを行うものであり，テキスト対話ではなくマルチモーダル対話が要求される. 我々は大規模言語モデルを活用するだけでなく，画像，音声，動作，地図などを総合的に用いることで観光プランニングタスクを適切に達成することを狙ったシステムを構築した。

## 1 はじめに

GPT をはじめとした大規模言語モデル（LLM）の発展は著しく [1], 近年の LLM 利活用は，研究開発のみならず様々な事業・サービスへと広がりを見せている. LLM が高度な言語能力を持つことは広く知られており，従来困難とされていた自然言語処理タスクにおいて人間並みの精度を達成している [2].対話タスクも例外ではないが，雑談対話では既に一定の性能が確認されているのに対し，タスク指向対話での検証が十分とは言えず，様々な評価が試みられている $[3,4]$. 対話ロボットコンペティション 2023 (DRC2023) も評価型ワークショップとして開催されており，旅行代理店における観光案内を模したタスクで，ヒューマノイドロボットを利用した高度なマルチモーダル対話が要求される [5].

我々は DRC2023 の観光案内タスクを対象として，人間のユーザの要望に応えながらインタラクティブに観光プランニングを行うシステムを提案する．本システムは LLM による生成を基本に柔軟な対話を行いながら，オープニング，ヒアリング，コース案内とスポット決定，旅行プランの提案と質問応答,
クロージングと 5 つのフェイズを順に遷移することで，ユーザにあった旅行プランを提案するシステムである。各フェイズでは外部 API から取得した画像や地図情報，経路情報などを活用し，効果的にユー ザに観光情報を提案できるように工夫する.

DRC2023を通して本システムの対話能力と計画立案能力を検証し，高度なタスク指向対話における LLM 対話研究の現在地とその課題を明らかにする.本研究の提案システムは DRC2023 の予選 4 位, 本戦で 1 位を獲得しており，発展途上ながら一定の成果があったことも合わせて報告する。

## 2 DRC2023 のタスク説明

DRC2023 は前回大会 (DRC2022 [6]) と同様にカウンターセールスによる観光案内タスクによって，対話システムを評価する．対話を行うブースでは，机を挟んで，ヒューマノイドロボットと対面する形でユーザが椅子に座り，音声対話を行う．対話終了後にアンケートによる評価を行う。机上には指向性マイクとディスプレイが，ロボットの背後にはユーザを写すカメラが設置されている。ディスプレイには観光地名, 観光地画像, 地図の表示が可能である.

なお，DRC2022 との違いは音声対話時間が 10 分間に伸びたこと，京都市内全体を対象として 1 日で 2 力所の観光地を巡る旅行プランまでを立てるタスクになったことで1)，これらの要件を満たすためにより複雑な対話が要求されている.

## 3 提案システム

我々が DRC2022 に参加したシステムでは，LLM を応答生成に活用するものの，ルールでシナリオを制御する対話システムを実装していた $[7,8]$. しか

図 1 提案システムのフェイズ遷移のフロー

図 2 提案システムの概要図.(左上画像は DRC2023 公式サイトから引用. )

しながら，DRC2023ではより高度な対話が要求されることからルールベースでの制御は困難であると判断した. そこで本システムでは，LLMへの依存度を高め, 応答生成を柔軟にするため，シナリオにおける各フェイズの粒度を拡大させた。さらには，観光地の増大やタスクの複雑さに対応するため, モデルコースデータセットや経路探索 API などを使用し，知識べースを拡大することで，検索拡張生成 (RAG) [9] の活用を意識した設計となっている.

提案システムは事前に設定したシナリオ (図 1)に基づいて，対話を進行する．シナリオは 5 つのフェイズで構成され，各フェイズそれぞれで対話内容が変わるように設計される。オープニングからスター トし，ユーザに対して簡単にヒアリングする。 ヒアリング結果を元にモデルコースを提示し，ユーザと対話を行うことでモデルコースの決定し，その中から訪れる観光地 2 つを決定する。 その後，旅行プランの提案や質疑応答を行い，最後に決まった観光地の確認と挨拶をして対話終了となる。

図 2 亿提案システムの概要図を示す. 提案システムは，マルチモーダル対話を実現するためにさまざまなモジュールから構成されている。ここではシステムの核となる機能とフェイズの一部を紹介する。

## 3.1 LLM による応答生成

提案システムでは，ユーザの発話に対して柔軟な応答を返すために，フェイズのはじめなど一部の発話を除き，LLMによって応答を生成する．応答の生成はプロンプトによって制御し，各フェイズではそれぞれ異なるプロンプトを使用する。

LLM には OpenAI 社より提供されている, gpt-432k-0613 の API を使用する [10]. 応答速度を向上のため，チャンクごとにレスポンスが得られる Streaming APIを使用し, 句読点が表れる度に生成された内容を音声合成 (TTS) に送信する。

## 3.2 フェイズ遷移

シナリオベースで進める際にはフェイズ間の遷移の制御が重要である. 発話ターン数等でシナリオを遷移させると，ユーザが質問していてもそれを無視して，次のフェイズに進んでしまう可能性がある。

提案システムでは，フェイズを遷移させる方法として，フェイズ終了しても良いと LLM が判断した場合に，終了を表すトークンを出力させる．具体的には，各フェイズにおける目的が達成された時に“[END]”という終端記号を出力するように指示 ᄂ, “[END]” が出力された時に次のフェイズに遷移する。これにより，例えばヒアリングフェイズにおいてユーザに聞くべきことを全て聞き終わった時に，自動で次のフェイズに遷移することができる。

しかしながら，LLMで終了を判定する手法では， すでにフェイズの目的が達成されているにも関わらず，“[END]”を出力しない場合がある。この問題に対処するため，フェイズごとに最大ターン数を設定

図3スポット決定フェイズのプロンプト

し，そのターン数を超えた場合は強制的に次のフェイズに遷移するという制限を入れた。

## 3.3 カスタムコース生成とコース選択

本システムが想定するユーザは旅行代理店を訪問するお客様である. これらのユーザは独自に旅行プランを立てる人物像とは異なり，システム側からの提案を多く求める傾向にあると仮定した. そこで我々は，オープニングの雑談の情報と，最低限のヒアリング情報を元にユーザに合ったモデルコースを提案し，ユーザ側の意思決定の負荷を下げる戦略を採用した。

複数のサイトや書籍から全 24 件のモデルコースを収集した。それらのコースを元に旅行代理店のユーザを想定したペルソナと，それにカスタマイズしたコース（以下，カスタムコースとする）のぺアを LLM で生成し，重複を排除して最終的に 13 のコースを保存した。

対話では，オープニングの雑談の情報とヒアリング情報を元に，13 のカスタムコースから LLM ベー スのコース選択器が上位 2 つのコースを選択する。

## 3.4 コース案内とスポット決定フェイズ

ヒアリングによってカスタムコースが選択された後は，このコースの案内とスポットを決定する。本コンペティションのタスクとして，2つの観光地を決定することは重要な要件であり，本フェーズは 5 つのフェーズでも重要な役割を持つ。

本フェイズでは提案システムの中核となるプロンプトを利用する．1つのプロンプトにより，コースを紹介する対話を通して，間接的にユーザの好みをヒアリングし，2つの観光地を決定するところまでを扱っている。図 3 にプロンプトの概要を示す.プロンプトには前フェイズまでで決定された 2 つのカスタムコースの情報を外挿し，一度にまとめて情報を説明するのではなく，インタラクティブな対話の中で順番に観光地を紹介するよう指示を与える．また，常に観光地の画像を表示させながらユーザの反応を受け取り，コースの好みとその中で気に入ったスポットの決定までをリードして対話を行う。

## 3.5 外部情報を利用した応答生成

質問に対する応答や観光地間の経路を説明する際には，LLM で生成するだけでは，ハルシネーションを起こす可能性がある [11,12]. そこで外部 API を利用して関連情報を使い，適切な応答を生成する。

二つの観光地を回る旅行プランを立てるには，最新の交通情報等も加味した正確な経路案内が必要となる。我々は NAVITIME API'2) を用いて取得した経路情報をプロンプトに追加した。ユーザの要望次第でランチ情報などの質問にも回答するために，プロンプトには観光地の基本情報もるるぶ API から取得して外挿する．また，オープニングでは気象庁の提供している天気 $\mathrm{API}^{3}$ から得た情報を外挿しており，天気に関する雑談も可能である.

## 3.6 観光地画像の表示

音声テキストだけでは観光地の雾囲気が伝わらないため，観光地の画像を適切に表示することは，観光地を選択する上で重要な役割を果たすと考える.提案システムでは，観光地画像を表示するタイミングは 2 種類用意した.

一つ目は観光地名が LLM の発話内に登場した際にその画像を表示するというものである．同一発話内に複数スポットが登場した際は全てのスポットの画像を表示する．ただシステムの都合上 4 つより多く画像を表示できないため，5つ目の画像以降は 4 つ目の画像を入れ替えることで対処した。

二つ目のタイミングとしては，モデルコースの名前が出た時にそのモデルコースに紐づけられた画像一覧を表示するというものである。この画像一覧はモデルコースを象徴するような画像が集まっており，ユーザに対して訴求効果が高いと考えられるため，一つ目の条件より優先して表示を行った。

## 3.7 音声入出力の工夫

テキスト入力の場合と異なり音声入力では，句読点が付与されていなかったり, 音声認識ミスによってユーザの発話と異なるものが入力されることがある. 句点の有無が対話の応答生成に影響を与えるという報告もある [13]. そこで本研究では，言語モデルの生成確率を用いた句点の付与を行った [14].

音声出力では，音声合成した際に読みを間違えて発音してしまう問題がある. 京都の観光地名は特殊な読みをする場合もあり，他の一般的な単語でも読みに曖昧性があるものもある。この読みの問題に対しては，2つの方法で対処した。一つ目は，ルー ルベースの手法である. 観光地名や今回のタスクにおいて読み方が限られるようなもの4) は，読み方の辞書をあらかじめ用意することで対処した. 二つ目は，句点付与と同様に言語モデルの生成確率を応用して読みを推定した. 複数読み方があって文脈に応じて読み方が変わるものをこの方法で対処する。

## 4 実験と結果

本節では DRC2023 の予選・本戦を通した評価結果について述べる.

## 4.1 DRC2023 評価

評価は大きく分けて対話の自然さや満足度などを評価する対応評価と，旅行プランを立てるタスクを達成できたかを評価するプラン評価がある. 予選会では 27 人の話者と対話し, 予選順位 4 位で本戦に進出した. この 27 という有効対話数は全チーム中最大である. その理由として，全ての対話を生成で行うため，対話が容易には破綻せず対話を継続できるケースが相対的に多かったためと考えられる。

本戦では予選を勝ち抜いた 4 チームがそれぞれ 1 回ずつ対話を行う 1 次審査と, 1 次審査を勝ち抜いた上位 2 チームで競う決勝が行われた. 本システムは総合力で 1 次審査, 決勝ともに 1 位の評価を受けて最優秀賞を獲得した. 他チームとの相対比較では，本システムが最も LLM による生成を有効に活用し，頑健なシステムを構築していたことが高評価を受けた要因と言える。評価結果の詳細は Appendix A に参考として記載する.

4）例えば，一日は「ついたち」と「いちにち」の 2 種類の発音で読めるが，本タスクでは「ついたち」と発音することはほぼない.

## 4.2 考察

次に本システムの戦略がどのように機能したのかを予選会中の具体的な対話例を通して考察する 5 ). まずアイスブレイクを利用して間接的にヒアリングを行う戦略では，過去の旅行経験の話をする中で，韓国旅行で食事を楽しんだことをユーザが話していたケースから，グルメを楽しめるコース提案に繋げた対話例などが存在した。

次にモデルコースを利用した段階的な絞り込みの戦略についても機能している事例が多く見られた.特に DRC2023 の設定上，ユーザは京都旅行に本当に行きたいわけではなく，「景色が綺麗ならどこでもいいですけど。」のような発話もあり，目的地の強い希望がないケースも多い. そのようなケースでも，モデルコースを 2 つ紹介し，選んでもらうことで効果的に対象範囲を狭め，さらにコース内の観光地を案内していくことで対話をリードして，スムー ズな提案に繋げられている事が確認できた。

一方で対話中に起こるエラーとしては, 音声認識誤りに起因するものが特に多く見られた。例えば 「源光庵」のように「現行案」や「現行犯」など同音異義語や類似音が複数あるケースでは誤りが頻発し，これをきっかけに観光地を取り違えたり，存在しないモデルコースを案内してしまうケースも見られた。また, 本システムで利用した特殊記号出力によるフェイズ遷移がうまく機能しないケースがあった. 特にコース案内・スポット決定のフェイズに留まり続け，観光地を決定できないパターンが複数回確認された. その他, 発話生成の待ち時間が長くなった結果，相手の話者と音声が被ってしまうなど，音声特有の問題も確認でき，ターンテイキング等の他分野と融合した，より高度なマルチモーダルの課題に取り組む必要性も示唆された。

## 5 おわりに

本稿では DRC2023 に参加した音声対話システムについて，観光プランニングを行う上での様々な工夫について詳述し，コンペティションの評価を通して得られた知見を報告した. 今後は確認されている問題点を改善するとともに，観光以外のタスクや他分野への応用を検討する。また LLM の利用についても，Instruction Tuning [15] や大規模化による LLM の性能と制御性を向上させる手法を模索したい。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[2] OpenAI, Josh Achiam, Steven Adler, et al. GPT-4 Technical Report, 2023.

[3] Yi-Ting Yeh, Maxine Eskenazi, and Shikib Mehri. A Comprehensive Assessment of Dialog Evaluation Metrics. In Proceedings of The First Workshop on Evaluations and Assessments of Neural Conversation Systems, pp. 15-33, 2021.

[4] Ryuichiro Higashinaka, Kotaro Funakoshi, Michimasa Inaba, et al. Dialogue System Live Competition: Identifying Problems with Dialogue Systems Through Live Event, pp. 185-199. Springer Singapore, Singapore, 2021.

[5] Takashi Minato, Kurima Sakai Ryuichiro Higashinaka, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Overview of dialogue robot competition 2023. In Proceedings of the Dialogue Robot Competition 2023, 2023.

[6] Takashi Minato, Ryuichiro Higashinaka, Kurima Sakai, et al. Overview of Dialogue Robot Competition 2022. In Proceedings of the Dialogue Robot Competition 2022, 2022

[7] Takato Yamazaki, Katsumasa Yoshikawa, Toshiki Kawamoto, et al. Tourist Guidance Robot Based on HyperCLOVA. In Proceedings of the Dialogue Robot Competition 2022, 2022.

[8] Takato Yamazaki, Katsumasa Yoshikawa, Toshiki Kawamoto, et al. Building a hospitable and reliable dialogue system for android robots: a scenario-based approach with large language models. Advanced Robotics, Vol. 37, No. 21, pp. 1364-1381, 2023.

[9] Patrick Lewis, Ethan Perez, Aleksandra Piktus, et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Proceedings of the 34th International Conference on Neural Information Processing Systems, 2020.

[10] OpenAI. Chatgpt, 2023. https://chat.openai.com/.

[11] Ziwei Ji, Nayeon Lee, Rita Frieske, et al. Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 2022.

[12] Vikas Raunak, Arul Menezes, and Marcin JunczysDowmunt. The Curious Case of Hallucinations in Neural Machine Translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1172-1183, 2021.

[13] Tomoya Mizumoto, Takato Yamazaki, Katsumasa Yoshikawa, et al. Dialogue Systems Can Generate Appropriate Responses without the Use of Question Marks?Investigation of the Effects of Question Marks on Dialogue Systems-, 2023.

[14] 山崎天, 川本稔己, 大萩雅也ほか. Hyperclova を用いた音声雑談対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会, p. 22, 2022.
[15] Long Ouyang, Jeffrey Wu, Xu Jiang, et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744, 2022.

## A DRC2023 評価結果の参考値

表 1 予選評価結果（上位 4 チーム）

本戦は 5 人の審査員 $(\mathrm{A} \sim \mathrm{E})$ で総合的に評価される。

表 2 本戦 1 次審査結果 (A〜E は審査員毎の総合点)

表 3 本戦決勝結果

(A〜E は審査員毎の総合点)

## B 対話事例（参考）

ショウコ ... そして2つ目のコースは、「グルメと観光を楽しむコース」です。こちらは京都らしいお寺や神社だけでなく、美味しい食事やショッピングも楽しめる清水寺エリアや祇園・河原町エリアを巡るコースとなっています。

図4 アイスブレイクによる間接ヒアリング

まずは1つ目のモデルコース「「家族で楽しむ京都コース」でのコースなら、大人も子

なるはど、そうでたか。では、2つ目のモデルコースをご紹ちらのコ゚スズは、金閣幸や清水寺などの有名な寺院から、伏

お客様すごくいいと思います。

劫劫できるか、詳しくはこれから一緒にプランを考えていきましょを元にお格様に合った観光地を2万考えていきたいと思います。よろしいでしょうか?

図 5 モデルコースを活用した提案例


# 複数生成 AI 間のコミュニケーションにおける 対話の多寡と思考変化の関係分析

益村優輝 1 坂野遼平 2
1 工学院大学 情報学部 2 工学院大学大学院 工学研究科情報学専攻
j020253@ns.kogakuin.ac.jp banno@cc.kogakuin.ac.jp

## 概要

近年の対話型 $\mathrm{AI}$ の普及に伴い $\mathrm{AI}$ 同士がコミュニケーションを行うソーシャルネットワーク (AI-SN) が発生する可能性がある。それらは人間より高速な意見交換を行うと考えられ，意見の偏りがすぐに肥大化してしまう危険性がある。本研究ではその傾向と制御の分析のため, 出力意見をべクトル化することによるコサイン類似度と意見交換数の相関係数，各 AI が出力したスコア，人手によるスコアを用い $\tau$ ，複数 AI 間の意見交換による対話の多寡と思考変化の関係分析を行った. その結果, 議題によって異なるがそれぞれの出力意見に変化を確認することができた。また，議題に対して肯定的な話者を多く含ませることによって意見の偏りの少ない議論が行われるよう AI-SNを制御できる可能性があるという仮説が立てられた。

## 1 はじめに

現代社会において人工知能 (AI) の進化は目覚ましく，特に生成 AI の普及により ChatGPT のような対話型 $\mathrm{AI}$ の重要性が増している。これらの AI は自然言語を用いて情報を交換し，議論を行うことでその精度を向上させる可能性がある. Du らの研究 [1]，Chen らの研究 [2] によれば，対話型 $\mathrm{AI}$ 同士が議論を行うことでより正確な回答を導き出すことが示されている.この背景から，図1のように対話型 $\mathrm{AI}$ 同士が形成するソーシャルネットワーク (AI-SN と呼称する)の発生が考えられる. AI-SN は人間のソーシャルネットワークと比較して情報交換が非常に高速であると考えられるが，この高速な情報交換は意見の偏りが短時間に増大し，AI-SN の制御を困難にする危険性を孕んでいる。

本研究では，AI-SNにおける思考の偏りをどのよ

図 1: ソーシャルネットワークの人から $\mathrm{AI} への$ 代替

うに制御できるかに焦点を当て，意見交換数の変化の観点から AI-SN が AI の思考に与える変化について分析した.

## 2 関連研究

$\mathrm{AI}$ 同士のコミュニケーションに関する取り組みとして，マルチエージェント・ディベートの研究が挙げられる [1][2]. マルチエージェント・ディベー 卜とは，複数の自然言語処理モデルが個別に意見を生成し，互いが批判や意見の提示を行うことによって自身の回答を更新していくよう議論を行う形式であり，複数ラウンドを経て最終的に一つの回答を得ることで，総合的に精度の高い回答を可能にするものである. これらの研究では，本稿で行っているような同モデルの自然言語処理モデルによる議論に着目した分析は行われていない。

また尾崎らの研究 [3] では, 特定の議題に対しての対話型 $\mathrm{AI}$ の反論文のデータセットを収集を行った. 議題は，2022/10 時点での kialo 内の賛否両論をもつ議題を選定していた. 本分析では，これらの議題から対話型 $\mathrm{AI}$ 同士が議論する議題として適していると感じた議題を，10人によるアンケート調査の上位 3 つで選定した.

## 3 分析方法

AI-SN における議論に注目したとき，議論に参加する話者の立場として「肯定的」「否定的」「どちらにも属していない (=自由) 」の3つがある。このよ
表 1: AI の考えに関する議論パターン

うな議題への考えの話者を含む AI-SN 内での議論を，表 1 の議論パターンで対話型 $\mathrm{AI}$ を用いて行わせた. この中で議題や意見交換数を変化させることによって議論パターン毎の特徴を調査した。

対話型 AIには，精度が高いとされる ChatGPT[4] (model:gpt-3.5-turbo) の API を用いた. 指定した議題への考えを英文で議論するよう，X (旧 Twitter) の字数制限を参考に半角 280 字以内で意見を出力するように以下のようにプロンプトを設定した。

(パターン 1 の場合)

Instruction:

You are (AI1 $|\mathrm{AI} 2| \mathrm{AI} 3)$

"\{topic $\} "$ (AI1|AI2|AI3) should develop arguments for the question.

Constraints:

The output should be a 280 -character response in the format "Position":xx, "Reason":yy. For "position," please rate your current opinion on a scale of 1-5, with 1 being positive and 5 being negative. The more positive, the lower the number; the more negative, the higher the number. AI1 and AI2 take a positive position on the debate; AI3 takes a liberal position. Do not repeat the same opinion twice.

そして議論内容を各 API が把握する必要があるため, Python ライブラリである langchain にある Memory 機能を用いて議論内容を保存し, 各 API からの読み込みを可能にした。

また，議論における議題には尾崎らの研究 [3] を参考に kialo より以下の 3 つの議題を採用した.

1. Are humans fundamentally different from other animals?

2. Is modern technology is a disadvantage to society?

3. Is water wet?

図 2 のように各議題で 10 ラウンド議論した.

## 3.1 評価方法

見を 768 次元にベクトル化 (model:msmarco-distilbert-

図 2: AI 間の意見交換の流れ

cos-v5) してコサイン類似度の算出を行った. $\mathrm{n}$ 次元べクトル $\mathrm{x}, \mathrm{y}$ のコサイン類似度は次式で表される. -1 から 1 までの值をとり，類似性が高いほど 1 に近い值となる。

$
\cos (\vec{x}, \vec{y})=\frac{\sum_{k=1}^{n} x_{k} y_{k}}{\sqrt{\sum_{k=1}^{n} x_{k}^{2}} \sqrt{\sum_{k=1}^{n} y_{k}^{2}}}
$

なお，各出力意見の呼称についてはそれぞれ $\mathrm{AI}_{n}$ (ラウンド数を $n$ と表記) し, $\mathrm{AI}_{1}$ と $\mathrm{AI}_{n(=2,3, \ldots)}$ でコサイン類似度を算出しこれらを用いて分析を行う。

文章のベクトル化に用いるモデルの選定については, sentence-transformer で使用される表 2 に示すモデルの中で，肯定的意見と否定的意見のコサイン類似度が低いものを選定する方針とし，どの議題においても下位 3 位以内であった msmarco-distilbert-cos-v5 を採用した。

## 3.2 分析の観点

意見交換数や他の $\mathrm{AI}$ の議題への考えが $\mathrm{AI} 3$ にもたらす思考変化を明らかにするために，各議論パターン・議題で算出された数值を用いて以下の項目についての段階的な分析を行った.

まず AI3 の出力意見に変化が生じたのかを各議論パターンでコサイン類似度・各 AI が出力したスコア・人手によるスコアから確認した。人手によるスコアは主観を反映したものとなるため，多数の作業者によりスコア付けをして平均化することが望ましいが，それには大きなコストがかかる。AI 自身にスコアを出力させることで，そうした主観の影響やコストの問題を解消できる可能性がある。そこで本分析では各 AI にスコアを出力させ，その值を用いた. ただし，AIによるスコア付けが適切に為されるか明らかではないため，人手によるスコア付けも合わせて実施し，その妥当性を検証した。検証結果については 4.1 節にて述べる。

各 AI が出力するスコアおよび人手によるスコアは 5 段階であり，最も肯定的であれば 1 ，最も否定
表 2: 意見のベクトル化に適したモデルの選定

表 3: AI3 の出力間のコサイン類似度

表 4: コサイン類似度と意見交換数の相関係数

図 3: コサイン類似度と意見交換数の相関係数

的であれば 5 である. 次に出力意見に変化が生じた場合，各 AI が出力したスコアと人手によるスコアを用いて議論による意見変化の方向性を調査した.

## 4 分析結果

## 4.1 Al3 の出力意見の変化の有無

$\mathrm{AI} 3$ の出力意見の変化を確認するために， $\mathrm{AI}_{1}$ と $\mathrm{AI}_{2,3}, \ldots$ のコサイン類似度を算出した. 一例として，パターン 1 における結果を表 3 に示す.

次にコサイン類似度と意見交換数の相関係数を算出した結果を表 4 および図 3 に示す. コサイン類似度が下がるほど意見変化が生じた可能性が考えられ，コサイン類似度と意見交換数に負の相関がある場合は意見交換をするにつれてより大きな意見変化
が生じていると考えられる。つまり議論パターンに注目すると，パターン 3 で行われた議論が最も AI3 の出力意見の変化する議論パターンである可能性が考えられる。また，議題別にみると議題 1 ではパターン 2 , 議題 2 ではパターン 3 , 議題 3 ではパター ン 1 の意見で最も負の相関が現れている.

次に各 AI が出力したスコアと人手によるスコアの一例を表 5 に示す。表 5 における黄色のセルは人手によるスコアを各 AI が出力したスコアと比較したときに異なっていたセルを表している. 全結果での，人手によるスコアを基準とした各 AI が出力したスコアの正答率は

$
218 / 270 \risingdotseq 0.8074
$

であった. 各 AI が出力したスコアの間違いの例としては各 AI が出力したスコアが「3」であるにも関わらず，肯定的な意見を述べていたり否定的な意見を述べていたりしている場合が散見された。しかし，総計でみると約 8 割の精度で意見の肯定・否定度合いを評価できていた。

## 4.2 AI3 の出力意見の変化の方向

他の $\mathrm{AI}$ の議題への考えは， $\mathrm{AI} 3$ の出力意見にどのような影響を与えたのかを調べた. AI が出力したスコアと人手によるスコアの， $\mathrm{AI} 3$ の 10 ラウンドの出力意見のスコア平均値を表 6,7 に示す.

## 5 考察

出力意見については，分析結果表 4,5 より $\mathrm{AI} 3$ の出力意見にある程度の変化を観測することができた
表 5: それぞれのスコア (パターン 1 ,議題 1)

表 6: AI3 が出力したスコアの平均值

が，これらの $\mathrm{AI} 3$ の意見変化は議題毎に異なった. まず図 3 に注目すると，パターン 1 つまり議題に肯定的な意見を述べる議論パターンでは, 議題 3 以外ではコサイン類似度と意見交換数の相関係数が高く，パターン 2,3 では負の相関がみられ意見の発散が発生したと推測できる. 表 6,7 のグレーのセルはコサイン類似度と意見交換数において負の相関がみられなかったセルを示している。そして，表 6,7 の議論による意見の変化が見られた場合にのみ焦点を当てた結果，議題 1 では肯定的な意見に，議題 2 では否定的な意見に，議題 3 ではやや否定的な意見に変化したことが分かった.

なお，議題 2"Is modern technology is a disadvantage to society?”については，AIによるスコア付けと人手によるスコア付けの双方においてデメリットであるという意見の場合に否定的なスコアを付けている。質問文に対しては肯定的であると捉えることもできるため，複数名の作業者がスコア付けを行うような場合には㯜齬が生じないよう注意が必要であると言える。言語による差異にも留意が必要であり，例えば否定疑問文に対する回答は日本語の「はいんいえ」と英語の「Yes/No」では意味合いが異なる場合がある. 本研究のような分析において，議題やスコア付けのルールを設定する際には，こうした点に注意を払う必要がある.表 7: AI3 の人手によるスコアの平均値

AI-SN の制御の観点では今回の分析結果を踏まえると，言語の違いなどによって誤解の生じない議題に対して肯定的な話者を多く含めることによって意見の偏りが少ない議論を実現できる可能性がある.

## 6 おわりに

本研究では，出力意見をべクトル化することによるコサイン類似度と意見交換数の相関係数，各 AI が出力したスコア，人手によるスコアを用いて，複数 AI 間の意見交換による対話の多寡と思考変化の関係分析を行った。その結果，議題によって異なるがそれぞれの出力意見に変化を確認することができた.また，議題に対して肯定的な話者を多く含ませることによって意見の偏りの少ない議論が行われるよう AI-SNを制御できる可能性があるという仮説が立てられた。

今後の課題として，異なる自然言語処理モデル同士で議論を行わせることが挙げられる。本分析では一つのモデルを複数 API で議論させたものであり,意見出力の一致が一部に見られたが，実際の AI-SN の想定に近づけて異なる自然言語処理モデルを用いた別の対話型 $\mathrm{AI}$ を複数含んだ議論が理想的である. スコアリングの観点では，議題を増やすことや人手によるスコアリングを複数人で行うことも挙げられる。

## 参考文献

[1] Yilun Du, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum, and Igor Mordatch. Improving factuality and reasoning in language models through multiagent debate. arXiv preprint arXiv:2305.14325, May 2023.

[2] Justin Chih-Yao Chen, Swarnadeep Saha, and Mohit Bansal. Reconcile: Round-table conference improves reasoning via consensus among diverse llms. arXiv preprint arXiv:2309.13007, Sep 2023.

[3] 尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史.大規模言語モデルが生成した反論文の品質評価. In The 37th Annual Conference of the Japanese Society for Artificial Intelligence, p. 2, 2023.

[4] OpenAI. Gpt-4 technical report. arXiv:2303.08774, p. 100, Mar 2023.
arXiv preprint

## A 実験結果

表 8: 各議題の人手によるスコア (パターン 1 )

表 9: 各議題の人手によるスコア (パターン 2)

表 10: 各議題の人手によるスコア (パターン3)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# SIUCER: Self Data Augmentation for Out-of-Scope Detection in Dialogues

Chunpeng Ma and Takuya Makino
Megagon Labs, Tokyo, Recruit Co., LTD.
\{ma. chunpeng, makino\}@megagon.ai
}

\begin{abstract}
Detecting out-of-scope (OOS) utterances is crucial in task-oriented dialogue systems, but obtaining enough annotated OOS dialogues to train a binary classifier directly is difficult in practice. Existing data augmentation methods generate OOS dialogues automatically, but their performance usually depends on an external corpus. Herein we propose SILVER, a self data augmentation method that does not use external data. It improves the accuracy of OOS detection (false positive rate: $90.5 \% }arrow 47.4 \%$ ). Furthermore, SILVER successfully generates high-quality in-domain (IND) OOS dialogues in terms of naturalness (percentage: $8 \% }arrow 68 \%$ ) and OOS correctness (percentage: $74 \% }arrow 88 \%$ ), as evaluated by human workers.
\end{abstract
## 1 Introduction

Task-oriented dialogue systems [2, 3] require human operators to deal with intentions that are beyond their capacities, raising the issue of out-of-scope (OOS) detection.

Due to the lack of OOS annotations in open-world settings, previous research usually detects OOS samples indirectly resorting to in-scope (INS) samples. Recently, data augmentation methods $[4,5]$ have made it possible to detect OOS directly using a binary classifier. One such method is GOLD [6]. It uses simple rules to replace utterances in known OOS dialogues with sentences selected from a large pool. However, the dependence on external corpora prevented the realization of GOLD' $s$ full potential.

We propose a method called Self Iterative OOS Labeling via Ensembling Trees (SILVER), overcoming issues of GOLD. It build pools from training data, detects OOS

This is a shortened version of the paper [1] published in the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics.

Figure 1 Comparison of GOLD and SILVER. To automatically generate an OOS dialogue, SILVER replaces the first utterance with an IND utterance, while GOLD replaces the third utterance with an OOD utterance, making the dialogue become OOD and incomprehensible.

using an ensemble of decision trees [7], and generates OOS dialogues iteratively. Figure 1 compares dialogues generated by GOLD and SILVER.

## 2 GOLD: Generating Out-of-scope Labels with Data Augmentation

GOLD [6] is the data augmentation method most closely related to this work. Given a small set of annotated OOS dialogues (1\% of the size of INS), GOLD replaces utterances with sentences selected from an external pool to generate new OOS dialogues. Selected sentences should be in the neighborhood of the original utterances. Then GOLD filters the generated OOS, and combines predictions of different methods via majority voting. Filtered OOS dialogues are concatenated with the original annotated OOS dialogues and are used to train a binary classifier.

GOLD has a practical appeal. Labor-intensive data col-
lection and annotation of OOS are unnecessary, and the data augmentation method is orthogonal to the classification improvements. Both advantages extend its applicability to real scenarios. However, dependence on external corpora limits its performance.

## 3 SILVER: Methodology

Figure 2 outlines the framework of SILVER. First, we sample a small set of dialogues from the training data. These dialogues are known OOS. Then candidates are generated by randomly choosing one utterance from seed OOS dialogues and swapping it with an utterance extracted from INS (ref. §3.1). After generating numerous candidates, an ensemble classifier is used for election (ref. §3.2). Selected dialogues are concatenated to seed OOS samples, increasing the number of available OOS dialogues. Iterating this process several times provides sufficient data to train a binary classifier for OOS detection (ref. §3.3).

## 3.1 Self candidate generation

Candidates are generated by swapping utterances in seed OOS dialogues with those in the pool. To achieve this, two questions must be answered.

How should the utterance pool be built? All utterances of INS dialogues in the training data are used to build the utterance pool because we aim to generate candidates without using external corpora. Furthermore, for a task-oriented dialogue system, we assume that utterances from the user and system are in different clusters. Hence, two pools are built: (1) one for system utterances and (2) one for user utterances.

How should an appropriate utterance be selected? Two criteria are considered to determine appropriate utterances: (1) high similarity to the original utterance and (2) high divergence between each other. Figure 3 illustrates their trade-off.

(1) High similarity: By selecting utterances similar to the original one, the naturalness of the original OOS dialogue is kept. This means that the blue points in Figure 3 , which were selected by GOLD, will not be selected by SILVER.

(2) High divergence: Dialogues generated by simply modifying some words in the original utterances do not improve the classification performance. We hope the generated dialogues differ from each other. This means that selecting the black points in Figure 3 should be avoided.

Therefore, only appropriate utterances in the sense of high similarity and high divergence (i.e., green points in Figure 3) should be selected. In practice, utterances are selected from the set $\mathcal{N}(16)-\mathcal{N}(4)$, where $\mathcal{N}(k)$ is the set of $k$-nearest utterances from the original utterance.

## 3.2 Tree ensemble

SILVER classifies OOS candidates via the gradient tree boosting algorithm [8]. Feature sets consist of three parts.

(1) Probability-based feature. An intent classifier is trained as the supporting model. Then, given a dialogue $d$, the supporting model outputs the probability distribution over all intent labels: $\left[p_{1}(d), \ldots, p_{l}(d)\right]$, where $l$ is the number of possible intent labels, and $\forall i \in[1, l], 0 \leq p_{i}(d) \leq 1$. Based on this probability distribution, the probability-based feature is calculated as:

$
X_{\text {prob }}(d)=\left[\sigma^{-1}\left(p_{1}(d)\right), \ldots, \sigma^{-1}\left(p_{l}(d)\right)\right]
$

where $\sigma(\cdot)$ is the standard logistic function.

(2) Distance-based feature. Given a dialogue $d$, the distance-based feature is calculated as below:

$
\begin{aligned}
X_{\text {dist }}(d) & =\left[\operatorname{Dist}\left(h_{\mathrm{BERT}}(d), \overline{h_{\mathrm{BERT}}\left(\mathscr{D}_{1}\right)}\right)\right. \\
& \left.\ldots, \operatorname{Dist}\left(h_{\mathrm{BERT}}(d), \overline{h_{\mathrm{BERT}}\left(\mathscr{D}_{l}\right)}\right)\right]
\end{aligned}
$

where $\operatorname{Dist}(\cdot, \cdot)$ is the cosine distance between two vectors, and $h_{\mathrm{BERT}}(d)$ is the representation of the last hidden layer given input $d$. $\mathscr{D}_{i}$ is the collection of all dialogues with intent label $i$, and $\overline{h_{\mathrm{BERT}}\left(\mathscr{D}_{i}\right)}$ is their average.

(3) Ensemble-based feature. This is the average of the output probability distributions of three different runs by randomly dropping out different nodes of the baseline intent classifier, which is given as:

$
\begin{aligned}
& X_{\text {drop }}(d)= \\
& {\left[\frac{1}{3} \sum_{k=1}^{3} \sigma^{-1}\left(p_{1}^{k}(d)\right), \ldots, \frac{1}{3} \sum_{k=1}^{3} \sigma^{-1}\left(p_{l}^{k}(d)\right)\right],}
\end{aligned}
$

where $p_{i}^{k}(d)$ is the probability of intent label $i$ at the $k$-th run given dialogue $d$, after dropping out some nodes of the neural network. The dropout percentage is $10 \%$.

The final feature set is the concatenation of $X_{\text {prob }}, X_{\text {dist }}$ and $X_{\text {drop }}$. It is trained on sampled training data. Thus, no extra annotation is needed.

## 3.3 Iterative data augmentation

SILVER generates sufficient data in an iterative manner. After each iteration, newly generated dialogues are aggre-

Figure 2 Framework of SILVER.

Table 1 Results of OOS detection. Column "Pool" means whether external (Ext.) data (PersonaChat [9]) or internal (Int.) data (i.e., training data) is used to generate utterance pool. Column "Elect" gives different election methods: random selection (Rnd.), majority voting (MV), or tree ensemble (TE). Column "Iter." indicates whether dialogues are generated iteratively $(\boldsymbol{\checkmark})$ or not $(\boldsymbol{X})$. Therefore, Int. $+\mathrm{TE}+\checkmark$ means all components of SILVER are applied. Best and runner-up of different configurations are denoted by bold and underlined texts, respectively. Last line is copied from [6].

low similarity, high divergence high similarity, high divergence high similarity, low divergence

- There's no table at all? How about any time after $4 \mathrm{pm}$ O there's no table at all? how about any time after $3 \mathrm{pm}$. O Since I have so much free time, how about reserving a table for 2 at Lucca tomorrow, any time after $2 \mathrm{pm}$. that's a good show , . i haven't watched since a main character died .

Figure 3 Trade-off between similarity and divergence when selecting appropriate utterances from an utterance pool.

gated and considered known OOS dialogues. Then these are used to generate more dialogues in the next iteration. This iterative process generates high-quality dialogues with high efficiency.

High quality. The candidate list is kept small, and contains only appropriate (i.e., high similarity \& divergence) dialogues, which are rarely INS dialogues. When combined with a powerful ensemble classifier, the generated dialogues have a satisfactory quality.

High efficiency. Because INS dialogues rarely exist in the candidate list, many generated dialogues remain after election. Consequently, the number of available OOS

dialogues increases rapidly, reaching the target number in only a few iterations.

## 4 Experiments

## 4.1 Datasets and configurations

We conducted experiments on STAR [10], FLOW [11] and ROSTD [12] data.

The supporting model was a classifier finetuned on the task of intent classification, consisting of a pretrained BERT model ${ }^{1)}$, with two feed-forward layers above. The model inputs were the first 256 words of the dialogues. The model was optimized using the Adam algorithm [13].

We forced the size of seed OOS dialogues to be $1 \%$ of INS, and the target number of generated OOS dialogues was 24 times the seed size.

Experiment results were evaluated using the following metrics: (1) AUROC, area under receiver operating characteristic curve, (2) AUPR, area under precision-recall curve, and (3) FPR @ $\theta$, false positive rate with threshold $\theta$.

Table 2 Human evaluation results of 50 dialogues generated by GOLD and SILVER. Numbers are the percentages of real OOS/natural dialogues.

 &  \\

SILVER & 5,289 & 32,320 \\

Table 3 Numbers of unique utterances.

## 4.2 Results on OOS detection

Table 1 shows the key experiment results of SILVER for OOS detection. To verify the effectiveness of the three key components of SILVER corresponding to $\S 3.1$ to $\S 3.3$, we modified or removed some of these components. We can see that except for special cases (e.g., length-1 dialogues in ROSTD), combining all three components of SILVER achieves the best performance for OOS detection.

## 4.3 Evaluation of data quality

Next, we analyzed the quality of the generated data. It should be emphasized that the quality of generated dialogues is evaluated intrinsically not extrinsically. Specifically, we focus on evaluating (1) the quality of the generated dialogue itself and (2) the generated data as a whole. Herein the gain of the classification performance contributed by generated data is not considered. Although intrinsic high-quality does not necessarily contribute to extrinsic tasks directly, it is indispensable in practice.

To evaluate the quality of generated dialogue itself, we evaluate whether the generated dialogues are (1) OOS and (2) natural. The second row of Table 2 shows the human evaluation results of dialogues generated by SILVER. Compared with the first row, SILVER outperformed GOLD on both evaluation metrics.

To evaluate the quality of generated data as a whole, we compared the generated data of GOLD and SILVER with the original data, resulted in the following observations.

SILVER-generated data has a larger diversity. It is possible that one utterance was selected twice during generation. This reduces the diversity of the generated data. Table 3 shows the numbers of unique utterances

Figure 4 Visualization of the original and generated OOS dialogues.

in the generated data and the utterance pools. Although SILVER utilized a much smaller pool (built on training data), the generated data contains more unique utterances, indicating a larger diversity.

SILVER generated IND OOS data. An advantage of SILVER is its ability to generate INS OOS dialogues. We calculated the representations of the original OOS dialogues and the dialogues generated by GOLD or SILVER using vanilla RoBERTa [14]. Figure 4 shows the 2-dim tSNE visualization [15] of these representations along with the average Mahalanobis distances between clusters. The OOS dialogues generated by GOLD differed from the original ones, indicating that these dialogues are OOD. In contrast, the overlap between the original OOS and SILVERgenerated dialogues is large, implying that SILVER generates IND data.

## 5 Conclusion

We proposed SILVER to generate OOS dialogues without using external data. The components in SILVER are designed to overcome issues and realize the full potential of state-of-the-art augmentation methods. Using only training data, SILVER successfully generated high-quality IND OOS dialogues, which not only contributed to the improved performance of extrinsic tasks such as OOS detection, but are also natural enough intrinsically, indicating the potential for future applications.

## References

[1] Chunpeng Ma and Takuya Makino. Silver: Self data augmentation for out-of-scope detection in dialogues. In Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics, pp. 26-38, Nusa Dua, Bali, November 2023. Association for Computational Linguistics.

[2] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Ssu Chiu, Maolin Li, Yen-Ting Lin, and Yun-Nung Chen. SalesBot: Transitioning from chit-chat to task-oriented dialogues. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6143-6158, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Nathan Ng, Kyunghyun Cho, and Marzyeh Ghassemi. SSMBA: Self-supervised manifold based data augmentation for improving out-of-domain robustness. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 12681283, Online, November 2020. Association for Computational Linguistics.

[5] Evgeniia Razumovskaia, Ivan Vulić, and Anna Korhonen. Data augmentation and learned layer aggregation for improved multilingual language understanding in dialogue. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2017-2033, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Derek Chen and Zhou Yu. GOLD: Improving out-of-scope detection in dialogues using data augmentation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 429-442, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean. Boosting algorithms as gradient descent. Advances in neural information processing systems, Vol. 12, , 1999.

[8] Tianqi Chen and Carlos Guestrin. Xgboost: A scalable tree boosting system. In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pp. 785-794, 2016.

[9] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.
[10] Johannes EM Mosig, Shikib Mehri, and Thomas Kober. Star: A schema-guided dialog dataset for transfer learning. arXiv preprint arXiv:2010.11853, 2020.

[11] Jacob Andreas, John Bufe, David Burkett, Charles Chen, Josh Clausman, Jean Crawford, Kate Crim, Jordan DeLoach, Leah Dorner, Jason Eisner, Hao Fang, Alan Guo, David Hall, Kristin Hayes, Kellie Hill, Diana Ho, Wendy Iwaszuk, Smriti Jha, Dan Klein, Jayant Krishnamurthy, Theo Lanman, Percy Liang, Christopher H. Lin, Ilya Lintsbakh, Andy McGovern, Aleksandr Nisnevich, Adam Pauls, Dmitrij Petters, Brent Read, Dan Roth, Subhro Roy, Jesse Rusak, Beth Short, Div Slomin, Ben Snyder, Stephon Striplin, Yu Su, Zachary Tellman, Sam Thomson, Andrei Vorobev, Izabela Witoszko, Jason Wolfe, Abby Wray, Yuchen Zhang, and Alexander Zotov. Task-Oriented Dialogue as Dataflow Synthesis. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 556-571, 092020.

[12] Varun Gangal, Abhinav Arora, Arash Einolghozati, and Sonal Gupta. Likelihood ratios and generative classifiers for unsupervised out-of-domain detection in task oriented dialog. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7764-7771, Apr. 2020.

[13] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[15] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using $\mathrm{t}$-sne. Journal of machine learning research, Vol. 9, No. 11, 2008.

## A Details of Datasets

Throughout this paper, we conducted experiments on three datasets: STAR [10], FLOW [11] and ROSTD [12]. Statistics of each dataset is shown in Table 4. All these datasets consist of task-oriented dialogues. Each dialogue consists of one or several utterances between human and chatbot/human. All utterances are in English.

Table 4 Numbers of INS/OOS dialogues in each dataset.

All these datasets follow the MIT license. Copyrights belong to their creators. Our use of these datasets was consistent with their intended use, i.e., for the research on dialogues of natural languages. All datasets are sufficiently anonymized to make identification of individuals impossible. We randomly sampled 100 dialogues, and asked human workers to check these dialogues. We found that these dialogues do not contain any information that names or uniquely identifies individual people, and do not contain offensive content.

## B Details of Experiments

We have reported key configurations in Section 4.1. In this section, we report more details of experiments to reproduce reported results.

All experiments were conducted on Google Cloud Platform. ${ }^{2)}$ The instance used for experiments contains one GPU (Nvidia T4).

For data augmentation, we implement the tree ensemble module using XGBoost library. ${ }^{3}$ ) Grid search is used for searching the best hyperparameters for tree ensemble. For STAR dataset, if we use all three types of features, it takes about 70 minutes for tree ensemble.

After data augmentation, we train a binary classifier to detect OOS dialogues. The classifier consists of a bert-base-uncased model (109 million parameters), and two feed-forward layers (231 thousand parameters). We resort to libraries (e.g., pytorchlightning, $\left.{ }^{4}\right)$ transformers, ${ }^{5)}$ etc.) to simplify implementation. For

2) https://console.cloud.google.com/

3) https://xgboost.ai

4) https://www.pytorchlightning.ai

5) https://github.com/huggingface/transformers
STAR dataset, it takes about 10 minutes for each epoch. We stop training after 13 epochs, and select the model with the largest AUROC on the development data as the final model.

For evaluation, we resort to scikit-learn library. ${ }^{6)}$ Specifically, we use roc_auc_score and average_precision_score functions to calculate AUROC and AUPR, respectively. Calculation of FPR @ $\theta$ is implemented by ourselves, by simply combining roc_curve function with binary search.

## C Details of Human Annotation

To evaluate the quality of automatically generated dialogues, we randomly sampled 50 dialogues and ask human workers to check them manually. Human evaluation results have been reported in Table 2. In this section, we report more details of human annotation.

For OOS correctness, we gave annotators the following instruction.

Is this dialogue really out-of-scope? For example, the chatbot can only deal with hotel reservation, but the customer asks today's weather. Another example is that the customer becomes angry because the chatbot cannot understand his/her intention.

For naturalness, we gave annotators the following instruction.

Does the replaced utterance make the whole dialogue strange? Specifically, if the dialogue remains to be natural after replacing by the new utterance, then label this dialogue as "natural," otherwise, label this dialogue as "unnatural."

All annotators are full-time employees affiliated in the same team as the authors. They all have high levels of English proficiency, and are able to annotate dialogues correctly. Annotation was done in an in-house environment, and all dialogues are used only for the purpose of research. After annotation, no ethics issues were reported.


# 文脈を考慮した半教師あり学習による対話行為推定

石島孝俊白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{takatoshi.ishijima,kshirai\}@jaist.ac.jp

## 概要

本研究では発話の先行文脈を考慮して対話行為を推定する半教師あり学習の手法を提案する。一般に発話の対話行為は文脈に依存するが，教師あり学習によって文脈を考慮したモデルを構築する手法は提案されていたものの, 教師なし・半教師あり学習において文脈を考慮することの有効性は十分に検証されていなかった。提案手法では，先行する発話の文脈情報を反映した発話の埋め込みを作成し，クラスタリングや k-NN 法に基づいて少数のラベル付き発話からラベルなし発話に対話行為を伝播させる。評価実験の結果，文脈を考慮することで対話行為推定の正解率が向上することを確認した。

## 1 はじめに

対話行為推定とは，対話における発話の対話行為を分類するタスクであり，その実現は対話システムにおける重要な要素技術の一つである。対話行為を推定する際には，発話そのものではなく，その文脈，すなわちその発話に先行する発話の情報が重要な手がかりとなる. 多くの対話行為推定の先行研究では，このような文脈情報を考慮したモデルが提案されている。しかし, 対話行為のラベルが付与されていないコーパスを用いる教師なし学習や，少量のラベル付きデータと大量のラベルなしデータの両方を用いる半教師あり学習では，文脈の情報はそれほど考慮されていなかった。

本研究では, 少量の対話行為ラベル付きデー夕しか存在しないことを仮定し, 発話の文脈を考慮して対話行為を推定する手法を提案する。ラベル付き発話とラベルなし発話が与えられたとき，ラベルなし発話の対話行為をそれと類似したラベル付き発話の対話行為から推定し, この処理を漸進的に繰り返す。また，発話間の類似度を計算する際，先行文脈を考慮するいくつかの方法を探究する．JAISTタグ付き自由対話コーパス [1] を用いた評価実験を行い，提案手法の有効性を検証する。

## 2 関連研究

対話行為推定の研究は教師あり機械学習に基づく手法が主流である。福岡と白井は，対話行為のクラス毎に最適な特徴のセットを自動的に獲得し，各対話行為の二値分類器を組み合わせて発話の対話行為を推定した [2]. Liu らは，CNN(Convolutional Neural Network)を用いて発話をべクトル表現に変換し，その上に別の CNN 層や RNN(Recurrent Neural Network) 層を重ねることで発話の文脈情報を組み込むモデルを提案した [3]. 実験では文脈を考慮することによって対話行為推定の正解率が有意に改善することを示した. Bothe らも文脈を取り入れた対話行為推定の手法を提案している [4]. LSTM(Long Short-Term Memory)を用いて発話の埋め込み表現を獲得し, 先行する発話の埋め込み表現と分類対象の発話の埋め込み表現を RNN に入力することで，文脈を考慮した対話行為推定モデルを実現した。

発話以外の情報を手がかりに対話行為を推定する研究も行われている. Maraev らは対話行為を推定するための手がかりとして「笑い」に注目し，「笑い」を対話行為推定モデルに組み込むことの効果を実験的に検証した [5]. He らは，話者交替の情報を 「話者ターン埋め込み」として表現し, 発話の埋め込みとマージすることで，対話行為推定の性能が向上することを示した [6].

大規模なラベル付きコーパスを必要としない対話行為推定の研究も行われている. Yang らは, 半教師あり学習による対話行為推定手法として，少量の対話行為夕グが付与された発話と付与されていない発話を同時にクラスタリングすることで未知の発話の対話行為を推定する手法を提案した [7]. ただし，彼らの手法では発話の先行文脈は考慮されていない.

## 3 提案手法

## 3.1 問題設定

対話行為のラベルが付与された発話の集合を $L$,付与されていない発話の集合を $U$ とする。最初は $L$ はごく少量の発話から構成されるとし, これをシー ド発話と呼ぶ. $L$ と $U$ を力とし, $U$ における全ての発話の対話行為を推定する。

## 3.2 発話埋め込み

提案手法では発話をべクトルで表現する。以下, これを発話埋め込みと呼ぶ. 本研究では, 事前学習した Bidirectional Encoder Representations from Transformers(BERT)[8, 9] を用いる. 発話を BERT に入力し, [CLS]トークンに対する埋め込みを発話埋め込みとする。

事前学習済み BERT を対話ドメインに適応させるため，対話コーパスを用いた再事前学習を行う。具体的には，表 1 に示す 3 つ対話コーパスを使用し， Masked Language Modeling タスクによって BERT を再事前学習する.

発話埋め込みを作成する際，その発話の先行発話の情報を文脈として組み込む，分類対象の発話を $u_{0}$, それより前の $C$ 件の発話を $u_{-1}, \cdots, u_{-C}$ とおく. また, BERTによって得られる発話 $u_{i}$ の埋め込みを $\mathbf{e}_{i}$ と記す. 以下の 5 通りの方法で発話埋め込みを作成する。

ave 対象発話と先行文脈の発話の埋め込みの平均ベクトル.

$
\mathbf{e}_{a v e}=\frac{1}{C+1} \sum_{i=0}^{C} \mathbf{e}_{-i}
$

$\mathrm{mp}$ 対象発話と先行文脈の発話の埋め込みの Max Poolingによって得られたべクトル.

$
\mathbf{e}_{m p}=\text { max_pooling }\left(\mathbf{e}_{0}, \cdots, \mathbf{e}_{-C}\right)
$

mp-sep 対象発話のべクトルと, 先行文脈の発話埋め込みの Max Pooling によって得られたべクトルを連結したべクトル.

$
\mathbf{e}_{\text {mp-sep }}=\mathbf{e}_{0} \oplus \text { max_pooling }\left(\mathbf{e}_{-1}, \cdots, \mathbf{e}_{-C}\right)
$

w-ave 対象発話と先行文脈の発話の埋め込みの重み付き平均ベクトル. 重みは対象発話との距離によって決める.1つ前の発話に対する重みを 0.9 とし, それより前の発話については 0.1 ずつ重みを小さくしていく。

$
\mathbf{e}_{w-a v e}=\frac{1}{C+1}\left(\sum_{i=0}^{C}(1-0.1 \times i) \mathbf{e}_{-i}\right)
$

w-ave-sep 対象発話のベクトルと, 先行文脈の発話埋め込みの重み付き平均べクトルを連結したベクトル．1つ前の発話に対する重みは 1 とし, それより前の発話は 0.1 ずつ重みを小さくする.

$
\mathbf{e}_{w \text {-ave-sep }}=\mathbf{e}_{0} \oplus\left(\frac{1}{C} \sum_{i=1}^{C}(1-0.1 \times(i-1)) \mathbf{e}_{-i}\right)
$

## 3.3 対話行為の推定

本項では発話の対話行為を推定する4つの手法について述べる.

## 3.3.1 クラスタリングに基づく手法

まず，発話集合 $L \cup U$ に対してクラスタリングを行う. 次に, ラベルなし発話 $u \in U$ に対し, その対話行為ラベルを以下の手続きで付与する.
1. $u$ が属するクラスタの中に $L$ に属する発話が存在する場合, それらの発話の対話行為クラスの多数決によって付与する対話行為を決める. 最多の対話行為クラスが複数あるときは，その中からランダムに選択する。

2. それ以外の場合, $u$ が属するクラス夕の重心と最も近いラベル付き発話を探索し, その対話行為を $u$ に付与する。

クラスタリングアルゴリズムとして $k$-means を使用する。 $k$-means ではクラス夕数をあらかじめ設定する必要がある．本手法では同じクラス夕に属するラベル付き発話から対話行為を伝播するため, クラスタは同じ対話行為の発話で構成されることが要求される。すなわち，ここでのクラスタリングでは Purity(クラスタ内で最多の対話行為クラスが占める割合) が高いことが求められる。一方，ある対話行為の発話は必ずしも1つのクラスタとしてまとまる必要はない. そのため, サイズは小さいが Purity の高いクラスタを構築するために，クラス夕数は比較的大きい值に設定する。具体的には，クラスタ数 $k$ を平均クラスタサイズが 5 になるように設定する $\left(k \simeq \frac{|L \cup U|}{5}\right)$. 以下，この手法を DAC-CL と記す.

## 3.3.2 クラスタリングとブートストラップに基づく

## 手法

前述の手法 DAC-CL にブートストラップの手法を適用し，ラベル付き発話を漸進的に増大させる。 3.3.1 で述べた手続きにおいて, 対話行為の決定に用いた最も近いラベル付き発話との距離を求める. その距離が閾値 $T_{c}$ 以下のとき， $u$ の対話行為を決定し, それを $U$ から $R$ に移す. 以上の操作を何回か繰り返す。最初のサイクルでは $U$ のうち $2 \%$ の発話を $R$ に移すように $T_{c}$ を決定し，以降のサイクルではその $T_{c}$ をそのまま用いる.

距離が近いラベル付き発話によって推定した対話行為は，その信頼度が高いと考えられる. 図 1 に示すように，信頼度が高いものから順に対話行為を決定することで対話行為推定の性能を向上させることを狙う，以下，この手法を DAC-CL-B と記す。

図 1 クラスタリングとブートストラップに基づく半教師あり対話行為推定

## 3.3.3 k-NN に基づく手法

ラベルなし発話 $u \in U$ に対し, ラベル付き発話集合 $L$ の中から最近傍の $k$ 個の発話を選択し, それに付与された対話行為ラベルの多数決によって対話行為を付与する. 最多の対話行為ラベルが複数あるときはその中からランダムに選択する。以下，この手法を DAC-kNN と記す。

## 3.3.4 k-NN とブートストラップに基づく手法

k-NN に基づく手法でもブートストラップ的にラベル付き発話を漸進的に増大させることを試みる. 最近傍の $k$ 個のラベル付き発話のうち最多の対話行為を持つ発話との距離の平均值が間値 $T_{k}$ 以下のとき， $u$ の対話行為を決定し，それを $U$ から $R$ に移す。この操作を繰り返す。閾値 $T_{k}$ は, 手法 DAC-CL-B と同様に, 最初のサイクルで $U$ のうち $2 \%$ の発話を $R$ に移すように決定する．以下，この手法を DAC-kNN-B と記す。

## 4 評価実験

## 4.1 実験設定

JAIST タグ付き自由対話コーパス $[1,12]$ を用いて提案手法の評価実験を行う，同コーパスは人間同士の雑談を書き起した発話に対して対話行為などの夕グが付与されている。対話行為夕グのうち「自己開示」がおよそ 8 割を占めるが，その定義は広く，『自分の好みや弱点をさらけ出す発話』といった狭義の自己開示ではない発話に対しても付与されている.本研究ではその定義を見直し，「自己開示」の対話行為夕グが付与された発話を再分類した。結果として表 2 に示す 21 個の対話行為クラスを設定した。 それぞれの定義と発話例を付録 A に示す。

表 2 対話行為クラスの定義と発話数

JAIST 夕グ付き自由対話コーパスにおける 1 つの対話を選び，その発話で「自己開示」の夕グが付与されていた 884 個の発話に対して，著者 2 名が表 2 のいずれかの対話行為夕グを割り当てた。両者の夕グ付けの一致率は $0.624, \kappa$ 係数は 0.560 であった。一致しない発話の対話行為夕グは著者 2 名の合議により決定した。表 2 中の数値は夕グ付けされた発話数である。

シード発話 $L$ として，それぞれの対話行為クラス毎に3つの発話をランダムに選択した。3つ以下の発話しかない対話行為クラスについてはその全てをシード発話とした。それ以外の発話をラベルなし発話集合 $U$ とし，提案手法によってその対話行為を推定した。評価指標は $U$ に対する対話行為推定の正解率とした。また, シード発話の選択を 4 回繰り返し, その正解率の平均を求めた。文脈を考慮しない手法をベースラインとし，提案手法と比較した。

## 4.2 結果と考察

クラスタリングに基づく手法 DAC-CL の評価結果を表 3 に示す。行は文脈を考慮した発話埋め込みの作成方法 (3.2 項), 列は先行文脈の長さを表す.提案手法はほとんどのケースでベースライン (文脈を考慮しない発話埋め込みを用いる手法) の正解率 $(0.093)$ を上回った。一番良い組み合わせは，重
み付き平均で発話埋め込みを作成し(w-ave), 文脈長が $C=1$ のときで，そのときの正解率は 0.133 であった。ただし, 先行文脈の長さの優劣については，はっきりした傾向は読み取れなかった。

表 3 手法 DAC-CL 9 正解率

クラスタリングとブートストラップに基づく手法 DAC-CL-B の評価結果を表 4 に示す. 発話埋め込みは表 3 で一番良い結果が得られた w-ave を用いている. 反復学習の途中では全ての発話について対話行為が決定されていないが, その時点で得られたラべル付き発話 $L$ を基に手法 DAC-CL で全ての発話の対話行為を推定し, その正解率を示している. 「0 回目」は最初のシード発話のみを用いたときの結果である. $C=2$ と $C=3$ のときでは反復操作によって正解率が向上した。しかし, その効果はそれほど大きくなく, また他の文脈長では正解率は低下した。

表 4 手法 DAC-CL-B(w-ave) の正解率

k-NN に基づく手法 DAC-kNN の評価結果を表 3 に示す. $k$ は k-NN 法におけるパラメ夕， $C$ は先行文脈の長さを表す. 5 種類の発話埋め込みを用いて実験を行ったが, 紙面の都合上, 一番結果の良かった w-ave-sep の結果のみを示す. 太字は各行において最も正解率が高いことを示す. 文脈を考慮することにより，おおむね対話行為推定の正解率が改善されている. $C=3$ のときに一番正解率が高くなることが多く, またこのときは全ての $k$ について文脈なし $(C=0)$ の正解率を上回る. 最高の正解率は 0.233 であり, 表 3 に示したクラスタリングに基づく手法の最高の正解率よりも高かった。

k-NN とブートストラップに基づく手法 DAC-kNNB の評価結果を図 2 に示す. 横軸は反復回数, 縦軸は正解率である. 反復学習の各ステップで, その時点でのラベル付き発話 $L$ を基に手法 DAC-kNNで全ての発話の対話行為を推定したときの正解率を示し表 5 手法 DAC-kNN(w-ave-sep) $の$ 正解率

ている，先行文脈の長さは，表 5 で一番高い正解率が得られた $C=3$ と設定している. $k=2$ の場合を除き, 反復学習を進めるにつれて正解率が向上する傾向は見られなかった。また, シード発話によっては正解率が 0.30 程度になることもあるが， 4 回の試行の平均では $k=2$ の場合を除いて手法 DAC-kNN(「0 回目」の結果)を上回ることはなかった。

図 2 手法 DAC-kNN-B(w-ave-sep, $C=3$ ) の評価

考察をまとめると，発話埋め込みに文脈の情報を組み込むことで正解率が向上することが確認された. k-NN 法に基づく手法の方がクラスタリングに基づく手法よりも正解率が高かった。どちらの手法でもブートストラップ法によってラベル付き発話の量を漸進的に増加させることの効果は見られなかつた. また, 正解率自体も最高で 0.233 と低かった.分類対象とする対話行為のクラスが 21 と多いこと, ラベル付き発話の量が少ない半教師あり学習の設定での実験であることなどが要因として考えられる。

## 5 おわりに

本論文では，文脈を考慮した対話行為推定の半教師あり学習手法を提案した。評価実験により発話埋め込みに文脈を反映させることの有効性を確認した.しかしながら, 対話行為の正解率は最高でも 0.233 であり, 改善の余地が大きい. 主な今後の課題として，大規模言語モデルなどの外部知識を利用して, 対話行為推定の正解率を改善することが挙げられる。

## 参考文献

[1] Kiyoaki Shirai and Tomotaka Fukuoka. JAIST annotated corpus of free conversation. In Proceedings of the Eleventh Edition of the Language Resources and Evaluation Conference, pp. 741-748, 2018.

[2] 福岡知隆, 白井清昭. 対話行為に固有の特徵を考慮した自由対話システムにおける対話行為推定. 自然言語処理, Vol. 24, No. 4, pp. 523-546, 2017.

[3] Yang Liu, Kun Han, Zhao Tan, and Yun Lei. Using context information for dialog act classification in DNN framework. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2170-2178, 2017.

[4] Chandrakant Bothe, Cornelius Weber, Sven Magg, and Stefan Wermter. A context-based approach for dialogue act recognition using simple recurrent neural networks. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 1952-1957, 2018.

[5] Vladislav Maraev, Bill Noble, Chiara Mazzocconi, and Christine Howes. Dialogue act classification is a laughing matter. In Proceedings of the 25th Workshop on the Semantics and Pragmatics of Dialogue, 2021.

[6] Zihao He, Leili Tavabi, Kristina Lerman, and Mohammad Soleymani. Speaker turn modeling for dialogue act classification. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2150-2157, 2021.

[7] Xiaohao Yang, Jia Liu, Zhenfeng Chen, and Weilan $\mathrm{Wu}$. Semisupervised learning of dialogue acts using sentence similarity based on word embeddings. In Proceedings of International Conference on Audio, Language and Image Processing, pp. 882886, 2014.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[9] BERT base Japanese (IPA dictionary, whole word masking enabled) - Hugging Face, (20241 閲覧). https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking/.

[10]宇佐美まゆみ (監修). BTSJ 1000 人日本語自然会話コーパス. 科研基盤研究 (A)「語用論的分析のための日本語 1000 人自然会話コーパスの構築とその多角的研究」(研究代表者: 宇佐美まゆみ), 2023.

[11] 中俣尚己, 太田陽子, 加藤恵梨, 澤田浩子, 清水由貴子, 森篤嗣. 日本語話題別会話コーパス: J-TOCC. 計量国語学, Vol. 33, No. 1, pp. 11-21, 2021.

[12] 言語資源協会. JAIST 夕グ付き自由対話コー パス, (2024 年 1 月閲覧). https://www.gsk.or. jp/catalog/gsk2017-b.

## A 対話行為クラスの定義

実験に用いた対話行為クラスの定義と発話例を表 6 に示す。発話例における () 内は前の発話である.

表 6 対話行為クラスの定義と発話例

 &  \\


# 語り直しを目的とした大規模言語モデルを用いた Story Intention Graph の作成とその評価

吉川祐輔 1 井上壮志 1 東中竜一郎 2
1 インターメディアプランニング株式会社 2 名古屋大学大学院情報学研究科
\{y_yoshikawa,t_inoue\}@ipi.co.jp higashinaka@i.nagoya-u.ac.jp

## 概要

人間同士の対話において，お互いの価値観や経験は物語によって表出されることが多い. 対話システムにおいても，ユーザが話す物語を適切に理解することで，ユーザの価値観や経験を深く理解し，親密さを持ったやり取りを実現できるようになるとともに，より高度なやり取りも実現できるようになると考えられる。本論文では，大規模言語モデルを用い，物語文を Story Intention Graph (SIG) に変換する手法について述べる. SIG は, 物語中の登場人物, および，その行動・意図・動機に焦点を当て，それらの関係性をグラフとして表したものである．今回，大規模言語モデルとして GPT-4 を用い，所定の物語文からのSIGの自動作成に取り組んだ。また，作成された SIG の妥当性を評価するとともに，SIGを用いた物語の語り直しを行い，その結果を確認した。

## 1 はじめに

人間同士の対話において，お互いの価値観や経験は物語によって表出されることが多い [1]. 対話システムにおいても，ユーザが話す物語を適切に理解することで，ユーザの価値観や経験を深く理解し，親密さを持ったやり取りを実現できるようになるとともに，より高度なやり取りも実現できるようになると考えられる。人間同士の対話においても， narrative は多く見られる [2].

これまで物語の理解には様々な手法が提案されてきた。例えば，イベントを検出し，それらの連鎖として物語を理解する方法が提案されている [3]. Lehnert は，プロットユニットと呼ばれる表現を提案した [4]. プロットユニットでは, 話者の感情やイベントの因果関係が表される. Goyal らはプロットユニットの自動抽出を行うシステム AESOP を開発した [5]. 本研究が着目する Story Intention Graph
(SIG) は Elson によって提案された物語の表現である [6]. SIGでは，物語において重要とされる，登場人物，行動，意図・動機に焦点を当て，これらをグラフ構造として表す. 本研究では，物語の要素を網羅的に扱うことができると考えられるSIGに着目し，物語文からSIGを自動作成することを試みる。 この生成には大規模言語モデルを利用する。

物語の構造が得られれば，様々な応用が可能である. 一つは物語の要約であるが，その他の用途として，語り直しが挙げられる [7]. 語り直しとは，同じ物語に対し，内容は失われないように物語の方向性や印象を変化させた物語を出力させることを指す.たとえば，自身の経験などを踏まえたうえで，再構成して語ることなども含まれる。語り直しは，相手の物語の深い理解を表出することに有用であり，聞き役となるエージェントやカウンセリングを行うエージェント $[8]$ など，相手の発話を理解する対話システムにとって重要である。 そこで，本研究では，SIGの自動生成に加えて，SIG から語り直しの生成についても取り組む.

## 2 Story Intention Graph

本研究が用いる物語の構造である Story Intention Graph (SIG) について述べる. SIG は，ノード，フレーム，エッジからなる有向グラフである. ノードは命題を保持し，ノードのタイプとして以下が存在する。

TE ノード物語文の文章 (Text) の断片に対応するノードである.

Pノード TEノードに対応する，命題を表すノード. Elson では，ノードの内容は Predicateargument structure によって表現されるが，本研究では，大規模言語モデルの処理が容易と考えられることから，TEノードの文章そのままで表現する.

リノード P ノードを解釈して得られる要素. 物語中において文章として現れない，意図や状況を表現する。

Bノード，Gノード，Aノード登場人物の信念 (Belief)，目的 (Goal)，感情 (Affect)を表現する.

のIノードがネストして含まれうる。そのため，フレームともみなすことができ，以降，この二種類のノードを $\mathrm{B}$ フレーム， G フレームと呼ぶ.

SIG は三層構造になっており，TEノードが属するタイムライン層, $\mathrm{P}$ ノードが属する命題層, $\mathrm{I}$ ノド， B, G フレーム, および, $\mathrm{A}$ ノードが属する解釈層である.

これらのノードは，エッジで接続される. エッジ

先の $\mathrm{P}$ ノードに物語の時系列的に続くことを示す「f (followed by) エッジ」，P ノードとIノードの間の等価性が解釈されることを示す「ia (interpreted as)エッジ」，ある要素が別の要素の実現に必要な前提条件であることを示す「 $\mathrm{pf}$ (precondition for) エッジ」，ポジティブな影響を与えることを示す $「 \mathrm{p}$ (provides for) エッジ」，ネガティブな影響を与える「d (damages) エッジ」などがある. さらなる詳細については文献 [6] を参照されたい.

SIG は，物語をノード（フレーム）およびエッジでグラフ化することで,物語の登場人物の意図・感情・行動・動機および時系列についての構造を把握することを可能とする.

## 3 SIG の自動生成

本研究では，大規模言語モデルを用いて，物語文から SIG を自動生成する. 具体的には，物語文が与えられたときの，SIGの自動生成のステップは以下の通りである。

語文を句点など区切り文字を基準に TE ノードに分割したのち，各文の断片について，文章それぞれを命題化して P ノードを生成する。その

する.

2. エージェントの特定: 物語文そのものを解析し，その物語のエージェント（行動，信念，目的，感情などの主体，つまり物語の登場人物な私の趣味の一つとして、絵手紙で日記を書くというものがあります。

例えばここにある写真に写っている建物は、札幌にある時計台です。以前に家族と北海道へ行った時に、感動したので購入しました。

冬の夜になると電飾がいろんな色に光ってとても綺麗なんですよ。

毎日の日記に絵手紙を使うと安くない金額がかかりますけど、日記を書く時に一番苦労するのは書き続けることだと思います。いろんな場所の絵手紙を使うことで、楽しみながら書けるのは利点ですね。

絵手紙で日記を書いていることを周りの友人に伝えると、旅行先で購入した絵手紙を友人から頂けるんです。

自分の知らない土地の風景や場所に、日記として書くというのは新鮮ですし、ペンも進むからお勧めですよ。

後は季節によって使い分けるのも良いですね。例えば冬なら北海道や東北、夏なら沖縄や九州。秋には紅葉が綺麗なところや、果物が美味しいところ。春には桜が綺麗に咲くところ、といったように使い分けるのも面白いですね。

図 1: 入力となる物語文の例

ど）となりえる名詞を抽出する。これは後の B フレーム， G フレーム， A ノードおよびエッジの解析に利用する.

を解釈し， 1 対 1 対応する I ノードと，両者を結ぶ ia エッジを生成する.

4. B フレーム, Gフレーム, 付随エッジの生成 :解釈により生成した要素が登場人物の信念 - 思考（Bフレーム）,または目的・意図（G フレー ム）に該当する場合，それらの要素をグループ化してフレームを生成，また，必要に応じて付随するエッジを生成する。フレーム生成の手順は一定回数繰り返し，これによりネストしたフレームの生成を行う。

5. エッジの追加生成：ここまで生成した各要素を分析し，必要があればそのうち 2 者の関係性を示すエッジを必要に応じて追加生成する.

6. $\mathrm{A}$ ノード， $\mathrm{p}$ および $\mathrm{d}$ エッジの生成：ここまで生成した要素を分析し, 登場人物の感情を示す

図 2: 図 1 の物語文を入力として自動作成された Story Intention Graph

Aノードが必要であれば生成し，その原因となったノードまたはフレームと A ノードを接続する $\mathrm{p}$ エッジまたは $\mathrm{d}$ エッジを生成する.

各手順の実施については，対応するプロンプトを用いて大規模言語モデルの出力を得ることで行う. 各プロンプトでは，ノード，エッジ，フレームの定義を与え，入力の文章に対して，所定の出力を行うためのインストラクションを用いる. 大規模言語モデルとしては，複雑な処理を行うことから， instruction-tune された，GPT-4 などを用いることを想定している.

## 3.1 SIG の自動生成結果

GPT-4 を用いて，所定の物語について SIGを自動生成した。なお，GPT-4 は英語のプロンプトを用いる方が妥当な結果が得られたため，プロンプトには英語を用いた。

具体的には，クラウドソーシングを用いて，高齢者の語りを模した物語文を 67 個収集した. 高齢者の語りを対象とした理由は, 後述する共想法への適用を念頭に置いたためである。そして，これらについて前節の手順に従い，SIGを自動生成させた. そして，SIGを著者らで目視で評価し，問題がないかどうかを検証した. ここで，検証には，SIG の定義や規則に反していないかどうかという観点について実施した. その結果，67 個中，45 個 (67\%) について，妥当な SIG が生成されていたことを確認した。

図 1 は大力とした物語文の例である. この入力に対して得られた SIG が図 2 である. 要素が多いため，ノードの内容が読み取りづらいかもしれないが，適切なノードが生成されているとともに，妥当なエッジでそれらが紐づけられている。例えば，知
らない土地の風景について日記を書くことについて新鮮さを感じるという解釈が得られていたり, 日記を書くことが楽しさに寄与しているといった内容が含まれていたりする。

## 4 SIG に基づく語り直し

前節で得られた SIG のデータを用い，P ノードで保持される原文の内容に, 解釈層で得られる, 主体の意図・感情・行動・動機の要素の情報を加え，口語体で出力するプロンプトを与えて「語り直し」の実行を試行した。

具体的には，元の物語文と語り直し文を比較することにより，SIGが物語の内容を保持し構造を把握しているか，その構造を踏まえ，プロンプトに沿って適切に語り直せているかを評価した。妥当とされたSIG からサンプルされた 5 個の SIG について語り直しの評価を著者らが目視で行ったところ，三つの語り直しに対して妥当な情報追加を確認した.二つについては，元の物語文と同様の内容のみが生成されており, 適切な追加情報が含まれていなかった。

図 3 は, 図 2 に対して得られた語り直しの結果である. 元の物語文と見比べると, 語り直しの結果には，意図・感情・行動・動機などが含まれていることが分かる。例えば，季節の変わり目が楽しみであることは本文中には含まれていないが，その解釈を含んだ上での語り直しとなっている。ここでは，I ノードなどの解釈層の要素を含めることで語り直しを行ったが，SIG の構造は様々な形の語り直しを実現できると考えている。例えば，タイムラインを自由に移動しながら説明したり，それぞれの登場人物の主観から物語を再構成したり，質問応答について，感情を伴いながら回答することが可能になると
私の趣味の一つに、絵手紙を使って日記を書くというものがあるんです。

実は、この写真に写っているのは札幌の時計台。

家族と北海道へ行った時に感動して、思わず購入しちゃったんですよ。

冬の夜になると、この時計台の電飾がいろんな色に光って、本当に綺麗なんです。

絵手紙で日記を書くと、毎日のことだから結構お金がかかるんですけど、それ以上に日記を書き続けることの方が大変かなって思っています。

でも、いろんな場所の絵手紙を使うことで、書くのが楽しくなるんですよね。

友人にこの趣味を話したら、旅行先で買った絵手紙をくれることもあって、それがまた嬉しいんです。

知らない土地の風景を日記にするのは新鮮で、ペンが進むんですよ。

季節によって使い分けるのもポイントですね。

冬は北海道や東北の絵手紙、夏は沖縄や九州。

秋には紅葉が綺麗な場所や、果物が美味しいところの

絵手紙を選んで、春には桜が綺麗に咲く場所の絵手紙を使うんです。

季節の変わり目が楽しみの一つになっています。

絵手紙で日記を書くことは、私にとってはとても喜びを感じる趣味なんです。

感動したことや新鮮な体験を記録することで、日々の生活に彩りを加えてくれるんですよ。

経済的な負担はありますが、友人からの支援や季節の変化を楽しむことで、その負担もずいぶん和らぎます。 みなさんも、もし興味があれば、ぜひ試してみてくださいね。

図 3: 語り直しの結果の例

考えられる．SIGを活用した語り直し方法の模索は今後の課題としたい.

## 5 おわりに

本論文では，大規模言語モデルを用い，物語文を Story Intention Graph (SIG) に変換する手法について述べた. GPT-4を用い，67 個の物語文について， SIGの自動作成を行った. これらについて，SIGの定義に合わせて妥当性を評価するとともに，SIGを用いた物語の語り直しを行った. その結果，SIG 生成手法の精度は $67 \%$ であった. また，語り直しについては適切な出力が得られつつも, 適切な情報追加がなされないなどの問題が確認できた.

今後の課題として，SIG 生成の精度改善が挙げられる. 作成された SIG を精査すると, I ノードが適切な解釈を含んでいないケースが散見された. プロンプトの改善やショットの追加等を通して，より適切と考えられる SIGを作成できるようにしたい。また，語り直しについても様々な観点からの語り直し
が考えられる．対話システムにおける利用を鑑みた時に，どのような語り直しがより効果的かを検討したい，加えて，実際のアプリケーション構築を通して，本取り組みの効果も検証していきたい.

我々が一つの適用例として想定しているものが 「共想法」 [9] である．共想法は, 極度に低下すると認知症の症状を示すとされる記憶体験・注意分割・計画力の三つの認知機能を自然に活用する会話となるよう支援する手法である. 複数人の参加者が決められたテーマに沿った写真等の画像データを持ち寄り,一人が話し手として画像データに関連する物語を話し, 聞き手である残りの参加者が物語に関連する質問を行う. その後, 話し手と聞き手が役割を入れ替えて進行する. 話し手の対話システムによる代替はすでに研究が進んでいる [10]. 「話し手の物語を理解する」や「語り直し」を行う技術ができれば，共想法の輪の中に対話システムが参加でき，役に立つのではないかと考えている.

## 参考文献

[1] Roger C Schank. Tell me a story: A new look at real and artificial memory. Charles Scribner's Sons, 1990.

[2] Yuya Chiba and Ryuichiro Higashinaka. Analyzing variations of everyday japanese conversations based on semantic labels of functional expressions. ACM Trans. Asian Low-Resour. Lang. Inf. Process., Vol. 22, No. 2, 2023.

[3] Jessica Ouyang and Kathleen McKeown. Modeling reportable events as turning points in narrative. In Proc. EMNLP, pp. 2149-2158, 2015.

[4] Wendy G Lehnert. Plot units and narrative summarization. Cognitive science, Vol. 5, No. 4, pp. 293-331, 1981.

[5] Amit Goyal, Ellen Riloff, and Hal Daumé III. Automatically producing plot unit representations for narrative text. In Proc. EMNLP, pp. 77-86, 2010.

[6] David K. Elson. Modeling Narrative Discourse. PhD thesis, Columbia University, 2012.

[7] Stephanie M. Lukin, Lena I. Reed, and Marilyn A. Walker. Generating sentence planning variations for story telling. arXiv preprint arXiv:1708.08580, 2017.

[8] David DeVault, Ron Artstein, Grace Benn, Teresa Dey, Ed Fast, Alesia Gainer, Kallirroi Georgila, Jon Gratch, Arno Hartholt, Margaux Lhommet, et al. Simsensei kiosk: A virtual human interviewer for healthcare decision support. In Proc. AAMAS, pp. 1061-1068, 2014.

[9] 大武美保子. 認知症予防回復支援サービスの開発と忘却の科学一共想法により社会的交流の場を生成する会話支援サービス一. 人工知能学会論文誌, pp. 568-575, 2009.

[10] Seiki Tokunaga, Kazuhiro Tamura, and Mihoko OtakeMatsuura. A dialogue-based system with photo and storytelling for older adults: Toward daily cognitive training. Frontiers in Robotics and AI, Vol. 8, p. 644964, 2021.


# 対話状態追跡における言語モデルの スキーマに基づく Hallucination の抑制

佐藤明智 1 南泰浩 ${ }^{1}$
1 電気通信大学大学院
akitomo-sato@uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

近年では，ChatGPTをはじめとした大規模言語モデルを活用した対話システムが注目されている.これらのシステムは，日常会話や要約などの幅広い用途で利用されており，多種多様なユーザーのニー ズに応えることができる．また，ユーザーの意図に応じて情報を取得したりデバイスを操作したりするタスク指向の対話システムに対するニーズも高まりつつある. しかし，大規模言語モデルには Hallucination の問題が存在しており, 不正確なテキストの生成によって，誤ったアクションを引き起こすリスクがある.

これを解決するため，本研究ではタスク指向対話システムにおける Hallucination を抑制する新たな手法を提案する. 具体的には, Schema Guided Dialogue データセットを用いて，スキーマに基づいて生成する語彙を制約するスキーマ名制約付きデコーディング (SNCD: Schema Name Constrained Decoding) を提案する.この手法を用いることでスキーマ名を正確に生成し, エラーを防止することが期待できる. 本稿では提案手法の有効性を検証し，Hallucination を抑制するための可能性について分析する.

## 1 関連研究

## 対話状態追跡

## (DST:Dialogue State Tracking)

タスク指向対話システムとは，例えば，旅行予約や商品購入などのように，ユーザーが特定の目的やタスクを達成するために，自然言語でコンピュー ターと対話するシステムのことである．タスク指向対話システムは，ユーザーの要求を理解したり，必要な情報を問い合わせたり，得られた情報を処理をしたりして，最終的に目的を達成するためのサポー トを行う。このようなシステムを実現するために，対話状態追跡 (DST:Dialogue State Tracking) というタスクが研究されている.

Jeffrey ら [1] は，複数のドメインに関する Schema Guided Dialogue (SGD)[2] 大規模対話データセットを用いるDST タスクの研究をしている．SGD デー タセットには図 1 の例に示すように，スキーマ情報，対話データ，対話状態情報が存在する. Jeffrey らは，スロットの説明，インテントの説明，対話履歴を入力とし，対話状態 (スロット名，スロット値, インテント名) を出力として事前学習済み言語モデル T5[3]をファインチューニングしている.

図 1 レストランに関するスキーマ，対話，対話状態の例

Jeffrey らの研究では，以下のことが示されている.

・インテントの説明，スロットの説明に番号を割り当て，インテント名，スロット名ではなく対応する番号を予測することで学習データに存在しないドメインでの精度が向上

・対話状態を一括で予測可能

## 制約付きデコーディング

佐良らは知識応答生成モデルにおいて，誤った知識を生成しないようにエンティティ名制約付きデコーディング (ENCD: Entity Name Constrained Decoding) を提案した [4]. これは，知識グラフを外部知識として用いる応答生成モデルが，検索してきた知識をより正確に利用するよう促す手法である. これにより，間違ったエンティティ名の出力を防いでいる.

Jeffrey らの研究の予測精度には依然改善の余地がある.これは，予測対象を番号にしたことで，単語の意味的特徴を捉えられていないという点である. そこで，本研究では予測対象を番号ではなく, スロット名，スロット值，インテント名とし，さらに佐良らによる制約付きデコーディングを応用し，誤った名称を生成しないように，スキーマ名制約付きデコーディング (SNCD: Schema Name Constrained Decoding)を提案する.

## 2 提案手法

章 1 で述べた制御手法で，タスク指向対話における言語モデルによる Hallucination を抑制する. 本手法では学習時と推論時で処理が異なる.

## 2.1 学習時

図 2 に学習の方法を示す. 入力は SGDデータセットのスロット名，スロットの説明，スロット候補値，インテント名，インテントの説明，対話履歴を連結した文字列とし, 出力はスロット名，スロット値，インテント名を連結した文字列とする。 スロット名，スロット值，インテント名の間には [SLOT], [SEP], [INTENT] タグを挿入する.

## 2.2 推論時

図 3 に推論時のデコーディング制御機構を示す.推論時は学習時の構成にデコーディング制御モジュールを追加する. モデルが語彙を生成する場合，単語を生成する確率分布を制約し，該当するスキーマに含まれる語彙のみを生成する。図 4 に推論時のデコーディング制御の具体例を示す。始めは語彙確率を制約せずに生成する. 出力の先頭の [SLOT] タグが生成された後は，スロット名を生成するため, 参照するスキーマ内の全スロット名に含まれる語彙のみを生成する. スロット名生成後に「:」トークンが出現した後は具体的なスロット值を生成する。ここで，直前に生成したスロット名でスキーマを参照し，“is_categorical”が true の場合は “possible_values”に含まれる語彙のみを生成する. “is_categorical”が false の場合は，単語を生成する確率分布を制約せずに生成する. [SEP] タグが生成された後は上記と同様にスロット名，スロット値を生成する. [INTENT] タグが生成された後は，インテント名を生成するため，スキーマ内の全インテント名に含まれる語彙のみを生成する. く $\mathrm{s}>$ トークンが生成された場合は生成を終了する。

## 3 データ作成

本稿では 1 つの対話中に複数のドメインが存在するSGD データセット (all-domain)を用いて，図 2 の形式で入出力データを作成した. 各データ数を表 1 に示す.

表 1 データ数

number of data

## 4 実験内容

本稿では Jeffrey らの実験と同じ t5-v1_1base(248M parameters $)^{1 \text { ) }}$, t5-v1_1-large(770M parameters $)^{2)}$ を使用した. 章 3 で述べたデータでファインチューニングし, dev データでの loss が最小となるステップ数のモデルを選択した. その後, Greedy Search を用いて推論を行い，評価した．以下に評価対象手法を示す。

-D3ST : Jeffrey らの手法
- SNCD : 提案手法
- $\mathrm{SNCD}$ (w/o constrained)：SNCD の予測時に制約を設けない手法

・SNCD-add-tag2vocab：提案手法十タグをトークンとして語彙に追加する手法
- SNCD-add-tag2vocab(w/o constrained) : SNCD-add$\operatorname{tag} 2 \mathrm{vocab}$ の予測時に制約を設けない手法

ここで，実験を行う前に提案手法ではタグ生成が上手くいかないことが分かった. そのため,

2) https://huggingface.co/google/t5-v1_1-large

図 2 学習入出力フォーマットの例 : 赤のテキストはスロット記述，青のテキストはインテント記述，黄色のテキストは会話内容

図 3 推論時のデコーディング制御機構

SNCD-add-tag2vocab では，タグの出力ミスを防ぐことを期待し，タグを語彙に追加して学習，評価した。 また，評価項目を以下に示す。

$\cdot$JGA(Joint Goal Accuracy)：対話状態を完全一致で予測できた割合

・Slot Accuracy：正しくスロット名とスロット値を予測できた割合
- Intent Accuracy：正しくインテント名を予測できた割合
- Output Accuracy：正しい形式で出力できた割合 (タグの配置，タグ名が崩れずに出力できたか)

## 5 結果と考察

評価結果を表 2 に示す. 結果より，Jeffrey らの手法であるD3ST が全ての評価項目で高い評価となった.また，提案手法 (SNCD, SNCD-add-tag2vocab) では，単語を生成する確率分布を制約したほうが
Output Accuracy 以外の項目では高い評価となった.これより，Schema Constraint Module の有効性が分かった. SNCD-add-tag2vocab ではタグの出力ミスを防ぐためにタグを語彙に追加したが，Output Accuracy は他の手法と比べて低い評価となった.これは新たに語彙を追加したため，生成モデルが扱うべき語彙の数が増え，生成モデルが選択肢の中から正しい単語を選び出す難しさが増したためだと考えられる. 全体として，提案手法では先行研究を上回る結果は得られなかった. 先行研究では数字を予測しているのに対し，提案手法では単語を予測しおり，無数の組み合わせが存在する。この予測トークン数の差が原因だと考えられる。また，本稿で使用した Greedy Search が結果に影響を与えていると考える。実際に，誤ったトークン予測の約 $92 \%$ では，正解トークンが上位 4 つ以内に含まれていることが示されている [5]. そのため，今後は Beam Search の導入と評価を行う.

Schema

図 4 推論時のデコーディング制御例

表 2 評価結果

## 6 おわりに

本稿ではタスク指向対話における言語モデルの Hallucination 抑制手法である SNCD を提案し，評価を行った. その結果，先行研究を上回る結果は得られなかったが，提案手法の有効性が確認できた。本手法を用いれば ChatGPT のような汎用的な言語モデルでも，追加の学習を必要とせず，より正確なテキストを生成することが可能となる。これにより，誤ったアクションを引き起こす可能性が低くなると期待される。

## 謝辞

本研究は，電気通信大学人工知能先端研究センター (AIX) の計算機を利用して実施したものです.

## 参考文献

[1] Jeffrey Zhao, Raghav Gupta, Yuan Cao, Dian Yu, Mingqiu Wang, Harrison Lee, Abhinav Rastogi, Izhak Shafran, and
Yonghui Wu. Description-driven task-oriented dialog modeling, 2022.

[2] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards scalable multi-domain conversational agents: The schema-guided dialogue dataset, 2020.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2020.

[4] 佐良和孝滝口哲也有木康雄. 知識グラフに基づく応答文生成におけるエンティティ名制約付きデコー ディング, 2022.

[5] Seungpil Won, Heeyoung Kwak, Joongbo Shin, Janghoon Han, and Kyomin Jung. BREAK: Breaking the dialogue state tracking barrier with beam search and re-ranking. pp. 2832-2846, Toronto, Canada, July 2023. Association for Computational Linguistics.


# 強化学習を用いた傾聴対話モデルの構築

松本奈々 ${ }^{1}$ 安藤一秋 ${ }^{1}$
1 香川大学 創造工学部
\{s20t332, ando.kazuaki\}@kagawa-u.ac.jp

## 概要

高齢者の増加とともに認知症患者も増加している．認知症患者の感情に寄り添い，意思を汲み取るためのコミュニケーション技法として「バリデーション」 がある. しかし, 介護業界は慢性的な人手不足であり，介護士がすべての患者に対して十分なコミュニケーション時間を確保することが難しい. 本稿では, バリデーションのうち「オープンクエスチョン」に着目し, 強化学習を用いて傾聴の多い応答を生成する対話モデルの構築法について検討する．評価実験では, ファインチューニングの epoch 数と強化学習の step 数の関係に着目し, 応答文の多様性や傾聴性などに関して評価・考察する.

## 1 はじめに

近年，日本の総人口に占める高齢者人口の割合は 29.1\%と過去最高を更新し続けている[1]. これに伴い, 認知症患者の数も今後増加することが予想されている[2]. 認知症患者は, 意思をうまく伝えられないため, 不安やストレスを抱えやすいと考えられている.そこで，認知症患者の感情に寄り添うためのコミュニケーション法として「バリデーション」が注目されている.この方法は, 6 の基本態度 (「傾聴する」や「共感する」など）と， 14 の基本テクニック（「はい/いいえ」で答える質問ではなく，「いつ」，「どこで」といった自由な回答が期待できる質問を心がけることなど）を用いて認知症患者と丁寧にコミュニケーションすることで, 患者が抱える悩みを軽減することを目的としている $3,4,5]$. しかし, 介護士がすべての患者に対して十分なコミュニケーション時間を確保することは，近年の介護士の人材不足 $[6]$ な゙の観点から困難である.

そこで, 本研究では, 介護環境の改善を目指して, バリデーションを活用した対話システムの構築を目的とする. 本稿では, バリデーションの基本テクニ
ックにおける「オープンクエスチョン」に着目し，強化学習を用いて傾聴の多い応答を生成する対話モデルの構築法を検討する．特に，ファインチューニングの epoch 数と, 強化学習の step 数が傾聴性のある応答生成に与える影響についても確認する.

## 2 関連研究

## 2.1 傾聴対話システム

石田ら[7]は，傾聴対話システムを構築するために，傾聴対話の聞き手応答として必要と考えられる語彙的応答, 評価応答, 繰り返し応答, 自己開示, 掘り下げ質問の 5 種類の各応答の生成方法と，各応答の言語的, 文脈的妥当性から傾聴妥当性を考慮した応答選択手法を提案した. 評価の結果, 適切な語彙的応答の $\mathrm{F}$ 値は 0.85 が得られたが, 評価応答と掘り下げ質問の $\mathrm{F}$ 値は，それぞれ 0.53 と 0.41 となり, 改善の余地があるといえる。本研究では, 先行研究において提示された 5 つの応答のうち, 掘り下げ質問,評価応答, 語彙的応答の 3 つに注目する.

## 2.2 強化学習

清水ら[8]は, 特定のキャラクタらしさを持つ対話システムを構築するためには，対話形式のデータ収集にコストがかかるといら課題に対し, 強化学習を用いて特定のキャラクタらしさを持つ対話応答を生成する手法を提案した. 本研究でも, 傾聴の多い対話コーパスの作成にコストがかかるという同様な課題があるため, 先行研究を参考に強化学習を用いて傾聴対話生成モデルの構築法を検討する。

## 3 傾聴対話モデルの構築

掘り下げ質問, 評価応答，語彙的応答を考慮した傾聴対話モデルの構築手順を以下に示す.

1. 大規模言語モデルを対話コーパスでファインチューニングすることで, 対話生成モデルを構築する.

2. 傾聴性のある応答か否かをラベリングしたデ一タセットを用いて, BERT で 2 值分類タスクとして学習することで報酬モデルを構築する。

3. 報酬モデルの出力を報酬として, Proximal Policy Optimization (PPO) で強化学習し, 傾聴対話モデルを構築する.

## 3.1 対話生成モデルの構築

対話生成モデルは，東北大学が公開している日本語日常対話コーパス [9]を用いて, rinna 社が公開している GPT2-medium iをファインチューニングすることで構築する. 特に本稿では, 20 epoch まで学習し, 途中保存した $5,10,15$ epoch の 3 つのモデルを用いて性能を評価することで，ファインチューニングの epoch 数が強化学習に与える影響についても確認する. 以下，それぞれ 3 そのモデルを FT5, FT10， FT15 モデルと呼ぶ.

## 3.2 報酬モデルの構築

## 3. 2.1 データセットの構築

報酬モデルを作成するために利用するデータセットの作成法について述べる。 まず，発話テンプレー トとして，日本語日常対話コーパスから人手で 320 発話を抽出し, 対話生成モデルで各発話につき 50 応答を生成した。そして，応答が重複した生成を除いてデータを構築した.データの内訳は，それぞれ FT5 モデルは 15,287 件, FT10 モデルは 13,645 件, FT15 モデルは 12,194 件である。

先行研究[7]を参考に，掘り下げ質問，評価応答,語彙的応答について, 表 1 に示す表現に対して報酬を与える。

掘り下げ質問は文末での一致，評価応答と語彙的応答は文頭からの一致で機械的判定する. ファインチューニングの epoch 数の異なる 3 モデルの生成結果に対して，表 1 のいずれかの表現が一致すれば 1 （報酬あり），一致しなければ 0 （報酬なし）でラべル付けする. ラベル付けした結果, 正例が FT5 モデルは 5,858 件, FT10 モデルは 5,364 件, FT15 モデルは 4,847 件となった。

最終的に，正例・負例の件数をそれぞれ FT5 モデルは 5,800 件, FT10 モデルは 5,300 件, FT15 モデルは 4,800 件からなるデータセットを構築した。

表 1 : 報酬を与える表現の例

 \\

& 「そうなのですね」など \\

## 3. 2.2 報酬モデル

報酬モデルは，構築したデータセットを用いて， BERTiiで 2 值分類タスクとして学習することで構築する. 報酬モデルを構築した結果，それぞれの FT モデルにおける分類判定のF 値は, FT5 モデルで 1.00, FT10 モデルで 0.99 , FT15 モデルで 0.99 となった.

## $3.3 \mathrm{PPO$ による傾聴対話モデルの構築}

傾聴対話モデルを構築するための強化学習には, $\mathrm{Tr}^{\mathrm{iii}}$ の PPO を用いる. PPO のパラメータとしては, バッチサイズは 16 , エポック数は 4 , 学習 step 数は 200, 学習率は 1e-05, seed 42 として学習する. 本稿では, FT5, FT10, FT15 モデルについて, step 数が 80 と 200 で学習した傾聴対話モデル (RL80step, RL200step）を評価用に用いる.

## 4 評価実験

機械的評価と人手評価により，傾聴対話モデルの性能を評価する．特に，ファインチューニングの epoch 数と, 強化学習の step 数が傾聴性のある応答生成に与える影響についても確認する。

## 4. 1 機械的評価

機械的評価には, 3.2.1 項で述べた発話テンプレー 卜（320 発話）を用いて，3.3 節で構築した傾聴対話モデルで 1 発話につき 1 応答を生成して評価する.

表 2 に評価用データの例を示す. 生成される応答は毎回変化するため, 3 回試行して, 応答の多様性と傾聴性を評価する．なお，実験結果は 3 回の平均値を用いる。

## 4.1. 1 Distinct-Nに基づく評価

Distinct-N[10]は, n-gram ベースでテキストの多様性を測る指標である。 そこで，本実験でも，強化学

習後の応答の多様性を測るために評価指標として用いる. 形態素解析器 (Mecab+NEologd) で生成された各応答を単語分割し, $\mathrm{N}=1,2$ について Distinct-N の値を算出して評価する。

評洒結果を表 3 に示す.なお, 表中の FT5+RL80step は, 5 epoch のファインチューニング後, step 数 80 で強化学習したモデルを示す. 強化学習前後を比較すると，FT5，FT10，FT15 モデルすべてにおいて， Distinct-1, 2 の値が共に小さくなっていることから，強化学習により多様性が減っていることがわかる. また, 強化学習前は, Distinct-1 は FT10 モデル, Distinct-2 は FT5 モデルが高かったが, 強化学習後は, Distinct-1, 2 ともに FT10が高くなっていることがわかる.

表 2 : 機械的評価用データの例

 &  \\

表 3 : Distinct-N の結果

## 4.1.2 傾聴個数の変化に基づく評価

強化学習後に傾聴性のある応答が増えているかどうかを測るために，強化学習前後の各モデルについて傾聴性のある応答の生成個数（傾聴個数）の変化を調べる。掘り下げ質問は文末での一致, 評価応答と語彙的応答は文頭での一致でカウントする. ただし, 評価応答\&掘り下げ質問や, 語彙的応答\&掘り下
げ質問のような混合した応答が生成された場合は,掘り下げ質問を優先してカウントする.

評価結果を表 4 に示す. 3 つのファインチューニングモデルすべてにおいて, 強化学習したモデルの傾聴個数の方が増えていることがわかる．特に，フアインチューニングの epoch 数が小さいモデルの傾聴個数の方が増えている. 次に, 強化学習の step 数に着目すると, step 数が大きいほど傾聴個数が増える結果が得られた。

表 $4:$ 強化学習前後における傾聴個数の変化

 &  &  & 合計 \\

## 4.1.3 機械的評価全体の考察

ファインチューニングの epoch 数が小さいモデルでは, 強化学習後の傾聴個数が増加したことから,強化学習の影響を受けやすい可能性が高く, 短文かつ似たような応答生成が繰り返され，多様性が減る結果になったと考えられる。

## 4.2 人手評価

5 人の評価者に対して, 以下で述べる 2 つ評価実験を依頼して, 傾聴対話モデルの性能を評価する。 なお，評価結果は 5 人の平均値を用いる.

## 4.2. 1 傾聴性満足度と日本語正確性の評価

事前に設定した発話に対して生成された応答の傾聴性満足度 (応答文が傾聴してくれる, 傾聴してくれる内容に満足できる), 日本語正確性を評価する.

表 5 に評価データの例を示す.

まず，JPersonaChat[11]から人手で 10 発話を選定し, 各発話に対して生成された 3 つの応答に対して,傾聴性満足度と日本語正確性について 5 段階 (1:全くそう思わない〜 5 :とてもそう思う) で, 5 人の評価
者に評価してもらう。ただし, 傾聴性満足度について, 傾聴が生成されないものは評価値を 0 とする.

評価結果を表 6 に示す. すべてのファインチュー ニングモデルにおいて, 強化学習後のモデルの方が傾聴性満足度と日本語正確性に対する評価値が高くなっていることがわかる. また, 強化学習後のモデルは, step 数が大きいほど傾聴性満足度が高くなる結果となった. 具体的な生成結果と判定結果を確認すると, 評価応答\&掘り下げ質問, 語彙的応答\&掘り下げ質問は, 傾聴性満足度が 4 以上で評価されており, 混合した応答は, より評価値が高くなる傾向が確認できた.

表 5 : 発話に対して生成された応答の例

} &  \\

表 6 : 傾聴性満足度と日本語正確性の評価結果

## 4.2.2 傾聴性, 継続性, 満足度の評価

評価者に自由に対話してもらい，発話に対する 1 応答レベルの評価と対話全体を通じた評価を実施する. 1 応答レベルの評価では, 傾聴性（前項の傾聴性満足度と同様）と継続性（対話を継続しやすかった）を，また，対話全体を通じた評価では, 満足度 （この対話システムと話していて良かった）について 5 段階で評価してもらう．ただし，傾聴性については, 傾聴がなくてもよい場合, 評価値を 0 とする. ここで, 対話開始の発話は 5 つの話題 (趣味, 旅行,
スポーツ・健康，食事，週末していること）から，事前に設定した発話を選択してもらう。また，対話の際は自己開示が多い発話を心がけてもらうように評価者に指示を与えた。

評価結果を表 7 に示す。傾聴性と継続性, さらに FT5 モデル以外の対話全体評価は, 強化学習後のモデルの方がより高い值を得ていることを確認した。

しかし, 継続性に関しては, 強化学習前後での差が小さいことを確認した.

表 7 : 傾聴性, 継続性, 満足度の評価結果

 \\

## 4.2. 3 人手評価全体の考察

強化学習することで, 傾聴性満足度は向上したが,対話継続性などについては評価値に大きな差がでなかった. 分析の結果, 掘り下げ質問が連続した場合や，語彙的応答のみの場合に評価が低いことから，対話を継続したいと思われなかったと考えられる。今後，この結果を活かした対話制御を検討する。

## 5 おわりに

本稿では, 強化学習を用いて傾聴の多い応答を生成する対話モデルの構築法を検討し，各モデルの性能について評価した. 評価の結果, 強化学習後には傾聴的な応答が増加することを確認できた。また， ファインチューニングの epoch 数が小さいモデルでは，強化学習の影響を受けやすい可能性が高く, 強化学習の step数が大きいほど人手評価の傾聴性満足度が高くなった. 今回, 傾聴が多い対話応答生成モデルを構築できたが, 発話内容によっては傾聴的な応答が必要ない場合もあり, 対話制御における課題も確認できた。

今後の課題として，報酬モデル作成時のテンプレ一トの改善, バリデーションをより意識した報酬表現の検討, 報酬モデル構築時のテンプレート数の改善，対話制御などについて検討する。

## 参考文献

1. 統計からみた我が国の高齢者一「敬老の日」にちなんで一。(引用日：2023 年 11 月 28 日.)

https://www.stat.go.jp/data/topics/topi1380.html.

2. 平成 29 年版高齢社会白書. (引用日：2023 年 11

月 28 日.)

https://www8.cao.go.jp/kourei/whitepaper/w-

2017/html/gaiyou/s1_2_3.html

3. 都村尚子, 三田村知子, 橋野建史, 認知症高齢者ケアにおけるバリデーション技法に関する実践的研究，関西福祉大学紀要第 14 号, 2010 .

4. 木村裕美, 古賀佳代子, 久木原博子, 西尾美登里,行動・心理症状を表出するアルツハイマー認知症高齢者に対する身体的・情緒的介入によるストレスへの影響, 日本農村医学会雑誌, 71 巻, 1 号, 12 21 項, 2022 .

5. 認知症ケアのコミュニケーション方法「バリデー ション」とは|認知症のコラム. （引用日 : 2023 年

11 月 28 日.)

https://www.sagasix.jp/column/dementia/validation/

6. 第 8 期介護保険事業計画に基づく介護職員の必要数について。（引用日：2023 年 11 月 28 日.)

https://www.mhlw.go.jp/content/12004000/000804129.p df

7. 石田真也, 井上昂治, 中村静, 高橋克也, 河原達也,共感表出と発話促進のための聞き手応答を生成する傾聴対話システム, 人工知能学会研究会資料, SIGSLUD-B509-02, 2018.

8. 清水健吾, 上垣貴嗣, 菊池英明, 強化学習を用いたキャラクタらしさを持つ雑談応答の生成, 言語処理学会第 28 回年次大会発表論文集, pp.1770-1774, 2022.

9. 赤間怜奈, 磯部順子, 鈴木潤, 乾健太郎, 日本語日常対話コーパスの構築, 言語処理学会第 29 回年次大会発表論文集, pp.108-113, 2023.

10. Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. arXiv preprint arXiv:1510.03055, 2015.

11. Hiroaki Sugiyama and Masahiro Mizukami and Tsunehiro Arimoto and Hiromi Narimatsu and Yuya Chiba and Hideharu Nakajima and Toyomi Meguro, Empirical Analysis of Training Strategies of Transformer- based Japanese Chit-chat Systems, arXiv2109.05217, 2021.


# 対話破綻修復コーパスの収集と分析 ーユーザの個人特性とシステムとの関係性を考慮した修復文生成に向けてー

坪倉和哉 1 岡田真依 2 入部百合絵 2 北岡教英 3
1 愛知県立大学大学院 情報科学研究科 2 愛知県立大学 情報科学部
3 豊橋技術科学大学 情報 ・知能工学系
\{id231001, is201022\}@cis.aichi-pu.ac.jp
iribe@ist.aichi-pu.ac.jp kitaoka@tut.jp

## 概要

現状の対話システムとの対話では，未だ対話破綻が生じているため，破綻発生時には適切に対話を修復する必要がある. しかし, これまで提案されている修復方法はどのユーザに対しても同様の発話を行う. ユーザ適応の観点から，ユーザの個人特性やシステムとの関係性によって適切な修復方法が異なるかを明らかにするため，個人特性や関係性を含む対話破綻修復コーパスを作成した。破綻後のユーザ発話を分析した結果, 自己主張スキルが高い人は破綻したシステムに同意しない，初対面や上司に対しては破綻後に依頼をしない，などの傾向が確認された.このことから，これらの傾向に合わせた破綻修復方法を検討する必要があることが示された。

## 1 はじめに

近年, 大規模言語モデルの登場により対話システムの応答精度が高まっている $[1,2]$. しかし, システムが事実に基づかない発話やペルソナと矛盾した発話を生成してしまう問題は未だ起こり得るため,関連研究が進められている $[3,4]$. このような対話破綻を生じる発話は，ユーザの対話意欲を損ねる恐れがあるため, 対話破綻が発生した後には適切に対話の流れを修復する必要がある.

しかし，対話破綻後にシステムが対話の流れを修復する研究は少ない [5]. 対話破綻を修復する戦略としては，ユーザに謝罪する，ユーザに文を言い換えるように求める，などがある. 現状のシステムは自己の破綻を認識したとしても, 全てのユーザに対して同様の修復戦略を選択してしまうが，ユーザの個人特性やシステムとの関係性によって適切な修復文が異なる可能性がある。適切な修復文を生成するには，対話破綻後のユーザ発話の傾向を分析し，分析結果に基づきユーザの個人特性やシステムとの関係性を考慮した修復戦略を選択する必要がある。

そこで本研究では，その第一歩として，ユーザの個人特性やシステムとの関係性が対話破綻後のユー ザの発話の対話行為に影響を及ぼすかを調査する。 そのために，まず個人特性と関係性のラベルが付与された対話破綻修復コーパスを作成した（2 章)。次に，収集したコーパスを用いて破綻後のユーザ発話の傾向を分析し (3 章), 破綻後のユーザ発話とシステムの修復発話の関連を確認した（4 章).

## 2 対話破綻修復コーパスの収集

本章では, 本研究で収集した対話破綻修復コーパスについて述べる。 ユーザの個人特性やシステムとの関係性が対話破綻後のユーザの発話の対話行為に影響を及ぼすかを調査するために，個人特性と関係性のラベルが付与された対話破綻修復コーパスを作成した。

## 2.1 対話破綻例の作成

本研究では, 破綻修復コーパスを作成するため,破綻が発生した対話例をクラウドワーカーに提示し，その後に続く発話を回答してもらった。そのため，まず対話破綻の例の作成を行った。

先行研究において対話破綻を生じさせる発話は 17 種類に分類されているため [6], この分類を参考に対話破綻例を作成した。なお，大規模言語モデルの進展により，17 種類の破綻のうちいくつかの破綻は発生頻度が極端に低いと考えられるため, 本研究の対象からそれらを除き，計 10 種類とした1) ${ }^{1)}$ また関係性は，コンボイモデル [7] を参考に 7 パターン

1）誤情報, 質問無視, 期待無視, 発話意図不明確, 話題遷移エラー, 情報不足, 自己矛盾, 相手の発話との矛盾, 繰り返し，常識欠如の 10 種類.

## 質問6 (初対面)

ユーザA（あなた）：この前風邪を引いたんです。

ユーザB：それはよかったですね。

図 1 クラウドワーカーに提示した破綻発話の例. ユーザ B（システム役）の最終発話は破綻を引き起こす発話である.

用意した（表 1 ）.

## 2.2 破綻修復発話の収集手順

前節で作成した破綻例 140 個に対して，それぞれクラウドワーカーから回答を得た。クラウドワー カーに提示した破綻例を図 1 に示す. 図 1 のように，クラウドワーカーには，ユーザ A とユーザ B 間の関係性とユーザ B の最終発話が破綻を引き起こしている対話履歴を提示する. クラウドワーカーは,破綻したユーザ B に対する発話と，その発話に対するユーザ B の破綻修復発話を作成する．なお，破綻例は [6] を参考に著者が作成した。

本研究では，作成した 140 個の破綻例を 28 個ずつの 5 つの組に分割し, 各組 20 名のクラウドワー カーから回答を得た。そのため，合計 100 名のクラウドワーカーから 2800 件の対話破綻修復事例を収集した。

## 2.3 個人特性アンケート

クラウドワーカーの個人特性を調査するため，性格特性とコミュニケーションスキルに関するアンケートも実施した。

## 2.3.1 性格特性

クラウドワーカーの性格特性を測るため, BigFive[8] の 5 つの特性を 10 項目で測定する日本語版 Ten Item Personality Inventory（TIPI-J）[9] の質問文を利用した. BigFive は, パーソナリティの全体的構造を外向性 (Extroversion), 協調性 (Agreeableness), 勤勉性 (Conscientiousness), 神経症傾向 (Neuroticism),開放性 (Openness) の 5 つの次元で捉えるモデルである.このアンケートにより, BigFive の各特性に対して 2 から 14 点の得点が得られる.
2.3.2 コミュニケーションスキル

クラウドワーカーのコミュニケーションスキルを測るため，ENDCORE（簡易版）[10] を採用した。 ENDCORE は，コミュニケーションスキルの因子を階層構造として統合したモデルであり, 自己統制,表現力, 解読力, 自己主張, 他者受容, 関係調整の 6 つの種類に分類されている2).このアンケートでは, ENDCORE の各カテゴリーに対して 7 件法で回答を得る。

## 3 対話破綻後のユーザ対話行為の 分析

## 3.1 対話行為の付与

本研究では，システムの対話破綻発話の後のユー ザ発話とシステムの修復発話について分析を行う。分析方法として, 本研究では対話行為レベルに着目し，ユーザの個人特性やシステムとの関係性によってどのように対話行為が異なるかを分析する.

そのために，まず日本語対話行為タガー $[11]^{3)}$ を使用し，クラウドワーカーが回答した破綻後のユー ザ発話とシステムの修復発話に対話行為タグを付与する. 日本語対話行為タガー [11] では，ISO 24617-2 で定義された 44 種類の対話行為タグを付与することができる．対話行為タグを付与した結果の内，頻出度合が上位 10 個のタグを表 2 に示す。

## 3.2 性格特性と対話行為の関連

クラウドワーカーの性格特性と破綻後のユーザ発話に関係があるかを確認するため，クラウドワー カーの性格特性の得点（各性格特性 2 から 14 点）と 28 個の破綻後のユーザ発話の対話行為の割合の相関係数を求めた。なお，対話行為は表 2 に示す頻出度合が上位 10 個のタグのみ使用した。また， 100 名のクラウドワーカーのうち，1 名は性格特性のアンケートに不備があったため，99 名のデータを使用した.Pearson の積率相関係数を求めた結果，有意に相関のあった性格特性と対話行為の組を表 3 に示す.

2） ENDCORE（簡易版）の項目文を下記に記す。自己統制 : 自分の感情や行動をうまくコントロールする表現力 : 自分の考えや気持ちをうまく表現する解読力 : 相手の伝えたい考えや気持ちを正しく読み取る自己主張 : 自分の意見や立場を相手に受け入れてもらえるように主張する

他者受容 : 相手を尊重して相手の意見や立場を理解する関係調整 : 周囲の人間関係にはたらきかけ良好な状態に調整する

3) https://github.com/1never/commu_ai_tagger

表 2 破綻後のユーザ発話の対話行為の割合（頻出上位 10 個のみ表示. 割合は頻度を全発話数（2,800）で割った結果）

表 3 性格特性と破綻後のユーザ発話の対話行為タグ割合との相関（Pearson の積率相関係数を求めた結果, 有意に相関があった性格特性と対話行為の組のみ表示). $r$ は相関係数, sig. は有意水準のマークを表している.

表 3 より, 外向性や開放性が高い人は, システムの破綻した質問や要求に対してきちんと回答をする傾向にあることがわかる．積極的な性格である外向性の高い人や思慮深い開放性が高い人は, システムが破綻しても，それを受け入れて返答する可能性がある. また, 勤勉性が高い人はシステムの破綻した質問や要求に対して否定的に回答し, 破綻した提案には受諾しない傾向にあることがわかる．勤勉性が高い人は責任感があり精力的に取り組むタイプであるため, システムが破綻した際に適当に受け入れることはせず，否定的に回答をする可能性がある.

## 3.3 コミュニケーションスキルと対話行為 の関連

クラウドワーカーのコミュニケーションスキルと破綻後のユーザ発話に関係があるかを確認するため, クラウドワーカーの ENDCORE の得点 (各項目 1 から 7）と 28 個の破綻後のユーザ発話の対話行為表 4 コミュニケーションスキルと破綻後のユーザ発話の対話行為タグ割合との相関 (Pearson の積率相関係数を求めた結果, 有意に相関があった ENDCORE と対話行為の組のみ表示)。 $r$ は相関係数, sig. は有意水準のマークを表している.

の割合の相関係数を求めた。なお，対話行為は表 2 に示す頻出度合が上位 10 個のタグのみ使用した。 Pearson の積率相関係数を求めた結果, 有意に相関のあったコミュニケーションスキルと対話行為の組を表 4 に示す.

表 4 より, 関係調整スキルがある人は, システムの破綻した質問や要求に対してきちんと回答する傾向にあることがわかる．関係調整スキルがある人は, 周囲と良好な関係に調整する能力があるため, システムが破綻発話をしても否定したり指摘したりすることはせず，システムの破綻した発言内容に合わせて対話継続を試みる可能性がある。また，自己主張の項目が高い人は自分の意見を受け入れてもらえるように主張する傾向にあるため，システムが破綻し想定外の発話をした場合にはシステムには同意しない傾向にある.

## 3.4 関係性と対話行為の関連

本研究で用意した 7 つの関係性とシステム破綻後のユーザ発話に関係があるかを確認するため, 関係性毎に対話行為の割合を求めた（表 5). 表 5 より, 関係性毎に各対話行為の割合が異なっていることが確認できる. 例えば, 否定的な回答である Disconfirm は親友より初対面の方が少なく, 部下よりも上司の方が少ないことがわかる. また, 依頼を意味する Request は初対面や上司の場合に少ない一方で, 親友は 7 つの関係性の中で最も多いことが分かる. このように, ユーザとシステム間の社会的な距離が破綻後の対話行為に影響を及ぼすことが示されたため, これらの傾向が適切な破綻修復の選択 ・戦略に役立つ可能性がある.

## 4 破綻後のユーザ発話とシステムの 修復発話の分析

前章では破綻後のユーザ発話のみを分析したが，本研究で収集したコーパスにはシステムの修復発話も含まれるため, 破綻後のユーザ発話とシステムの修復発話の組合せに関しても分析を行った。なお， システムの修復発話に関しても 3.1 節と同様の方法で対話行為を付与した. 破綻後のユーザ発話とシステムの修復発話の出現割合を求めた結果を表 6 に示す.

全体的な傾向として Answer-Answer と SetQuestions-Answer の組が約 18\%を占めていることがわかる。上位 3 位以下は $2 \%$ 以下となっているため, 割合が多い組合せは上位 2 つのみであると言える. このことから, 対話破綻後のユーザの反応, およびその後のシステムに望む修復発話は多様であることが明らかになった。前章の議論からも， ユーザの個人特性, 関係性に応じてこのような多様性が生じている可能性が考えられる．今後はデータを拡充するとともに, 破綻後のユーザ発話とシステ表 6 破綻後のユーザ発話 $\times$ システムの修復発話の出現

ムの修復発話の組合せと個人特性や関係性との関係をより明確にしていく必要がある.

## 5 おわりに

現状の対話システムでは未だ対話破綻が発生するため, 破綻時には適切な修復を行う必要がある。しかし, 対話修復に関する先行研究では誰に対しても同様の修復処理が行われてきた. ユーザの個人特性やシステムとの関係性によって適切な修復方法が異なる可能性があるため, 本研究では, まず個人特性や関係性ラベルを含む対話破綻修復コーパスを構築した. 次に，コーパスの分析の第一段階として，対話破綻後のユーザ発話の対話行為に焦点を当て分析を行った。個人特性と対話行為, 関係性と対話行為との関係をそれぞれ分析した結果，一部の項目間で傾向が確認されたため, 個人特性や関係性が破綻後のユーザ発話に影響を及ぼす可能性が高い。

今後の課題としては, データを拡充するとともに, システムの破綻修復文の対話行為についても詳細に分析を行い，個人特性や関係性を考慮した修復文生成手法を提案していく。

## 謝辞

本研究は JSPS 科研費 JP22K19793, JP23H00493 の助成を受けたものです.

本研究は愛知県が公益財団法人科学技術交流財団に委託し実施している「知の拠点あいち重点研究プロジェクト第 IV 期（第 4 次産業革命をもたらすデジタル・トランスメーション（DX）の加速）」の研究成果です.

## 参考文献

[1] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage, 2022.

[2] Takato Yamazaki, Katsumasa Yoshikawa, Toshiki Kawamoto, Tomoya Mizumoto, Masaya Ohagi, and Toshinori Sato. Building a hospitable and reliable dialogue system for android robots: a scenario-based approach with large language models. Advanced Robotics, Vol. 37, No. 21, pp. 1364-1381, 2023.

[3] Souvik Das, Sougata Saha, and Rohini Srihari. Diving deep into modes of fact hallucinations in dialogue systems. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 684-699, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[4] Zhenfeng Han, Sai Zhang, and Xiaowang Zhang. Persona consistent dialogue generation via contrastive learning. In Companion Proceedings of the ACM Web Conference 2023, WWW '23 Companion, p. 196-199, New York, NY, USA, 2023. Association for Computing Machinery.

[5] Dennis Benner, Edona Elshan, Sofia Schöbel, and Andreas Janson. What do you mean? a review on recovery strategies to overcome conversational breakdowns of conversational agents. In International Conference on Information Systems (ICIS), pp. 1-17, 2021.

[6] 東中竜一郎, 荒木雅弘, 塚原裕史, 水上雅博. 雑談対話システムにおける対話破綻を生じさせる発話の類型化. 自然言語処理, Vol. 29, No. 2, pp. 443-466, 2022.

[7] Robert Louis Kahn and Toni C Antonucci. Convoys over the life course: attachment, roles, and social support. 1980.

[8] Lewis R Goldberg. An alternative" description of personality": the big-five factor structure. Journal of personality and social psychology, Vol. 59, No. 6, p. 1216, 1990.

[9] 小塩真司, 阿部晋吾, Pino Cutrone. 日本語版 ten item personality inventory（tipi-j）作成の試み. パーソナリティ研究, Vol. 21, No. 1, pp. 40-52, 2012.

[10] 藤本学, 大坊郁夫. コミュニケーション・スキルに関する諸因子の階層構造への統合の試み. パーソナリティ研究, Vol. 15, No. 3, pp. 347-361, 2007.
[11] Michimasa Inaba, Yuya Chiba, Ryuichiro Higashinaka, Kazunori Komatani, Yusuke Miyao, and Takayuki Nagai. Collection and analysis of travel agency task dialogues with age-diverse speakers. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5759-5767, 2022.


# 語りに傾聴を示す応答タイミングの検出のための テキストデータの利用

渡邊優 1 伊藤滉一朗 2 松原茂樹 2,3
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
3 名古屋大学情報基盤センター
watanabe.yu.x3@s.mail.nagoya-u.ac.jp ito.koichiro.v1@s.mail.nagoya-u.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

会話エージェントが人間に代わって語りの聴き手を担うことが期待されている。これらが聴き手として認められるには，傾聴を示す目的で語りに応答する発話である傾聴応答を適切なタイミングで生成することが効果的である. 本論文では，傾聴応答タイミングの検出のためのテキストデータの利用について述べる。事前学習済み言語モデルを傾聴応答タイミング検出タスクで fine-tuning する前に，テキストへの句読点挿入タスクを中間タスクとして導入する. 応答タイミングの検出実験の結果，中間タスクの導入により，特に，傾聴応答のデータ量が十分ではない場合に，モデルが傾聴応答タイミングの特徴を効率的に学習できることを確認した。

## 1 はじめに

日本では，独居高齢者の増加など，社会の個人化が進行し [1]，人が語れる機会が失われつつある。語ることは人間の基本的な欲求であり，語る機会の消失は社会問題といえる.この問題の解決策の 1 つは，コミュニケーションロボットやスマートスピー カーなどの会話エージェントが，人間に代わって語りの聴き手を担い，話し手に語る機会を提供することである。これらが語りの聴き手として認められるには，「相手の語りに耳を傾けて聴く」という傾聴の態度を示すことが重要である．そのための明示的な手段は，相手の語りに応答することである．以降では，傾聴を示す目的で語りに応答する発話を傾聴応答と呼ぶ.

傾聴応答は，語りを聴いていることを伝えるとともに，相手への理解を示す働きを持つ．適切なタイミングで生成できれば，話し手の語る意欲を高めら

図 1 語りと傾聴応答の例

れるものの，不適切なタイミングでの生成は語りを遮ることになり，逆効果になりうる [2]. したがって，語りの聴き手を担う会話エージェントの実現のためには，傾聴応答タイミングを適切に検出できる必要がある．語りと傾聴応答のデータに基づく検出手法の開発が現実的であるが，そのデータの蓄積は必ずしも十分ではなく，その収集も容易ではない.

そこで本論文では，傾聴応答タイミングの検出のためのテキストデータの利用の効果を考察する。これまでに，傾聴応答タイミング検出におけるテキストデータ利用の効果が報告されているものの [3],傾聴応答のデータ量がテキストデータ利用の効果に及ぼす影響は明らかにされていない。そこで本研究では，テキストへの句読点挿入タスクを中間タスク $[4,5]$ として導入し，傾聴応答のデータ量と中間タスク導入の効果との関係を考察する。傾聴応答タイミングの検出実験を実施し，中間タスクの導入によって，特に，傾聴応答のデータ量が十分ではない場合に, 傾聴応答タイミングの特徴を効率的に学習できることを確認した。

## 2 傾聴応答

傾聴応答は，語りを聴いていることを伝えるとともに，相手への理解を示す働きを持つ. 図 1 に語りと傾聴応答の例を示す。傾聴応答を適切なタイミングで生成できれば，語り手の語る意欲を高められる

図 2 テキストデータの利用の概略

ものの，不適切なタイミングでの生成は語りを遮ることになり，逆効果になりうる [2].

これまで，傾聴応答の代表例である相槌のタイミング検出手法として，ルールベースによる手法 [6]，n-gram モデルによる手法 [7]，決定木による手法 [8]，CRF による手法 [9]，SVM による手法 [10]， LSTM による手法 [11]などが提案されている. 近年では，事前学習済みモデルによる手法 [12] も提案されている.

## 3 テキストの句読点

句読点は，テキストの区切りを明示する記号であり，文の可読性の向上や読み手による文の理解に影響を与える [13]. 句読点を適切な位置に挿入できれば，読み手によるテキストの理解が容易になるものの，不適切な位置への挿入は，テキストを読み進めることの妨げとなり，逆効果になりうる。

これまでに，テキストへの句読点挿入手法として，n-gram 言語モデルによる手法 [14]， CRF による手法 [15]，最大エントロピー法による手法 [13], RNNによる手法 [16] などが提案されている. 近年では，事前学習済みモデルによる手法 [17] も提案されている.

## 4 応答タイミング検出のための句読点の利用

事前学習済みモデルの fine-tuning に関して，ター ゲットタスクで fine-tuning する前に中間タスクで fine-tuning することで，ターゲットタスクに有用な特徴を効果的に学習させる手法が存在する $[4,5]$.本研究では, 応答タイミング検出の中間タスクとして，テキストへの句読点挿入タスクを導入する。

図 2 と図 3 上に，本論文におけるテキストデータの利用の概略と，テキストへの句読点挿入の例をそれぞれ示す. 図 3 において“”は文節境界を示す.句読点挿入タスクでは，テキストにおける各文節境界を, 読点の挿入位置, 句点の挿入位置, 句読点なしの位置の 3 クラスへ分類する. 分類のための入力

## テキストへの句読点挿入

本論文では/テキストデータについて/述べる

応答タイミングの検出

私は/ですね/昨日/カレーを/作りました

応答なし相棺応答なし席答なし相枹以外

図 3 各タスクの例

には，分類対象の文節境界以前の文字列を用いる。 ターゲットタスクでは，語りの文節境界を傾聴応答タイミングの候補とし，各文節境界が傾聴応答夕イミングであるか否かを判定する．傾聴応答には，相槌を始めとして，感心，繰り返しなど，いくつか種類が存在している [18]. 本研究では, 傾聴応答の代表例である相槌と，相槌以外の傾聴応答に分けて，そのタイミング検出を行う。すなわち，各文節境界を，相槌のタイミング，相槌以外のタイミング，応答なしのタイミング（傾聴応答ではないタイミング）の3クラスへ分類する. 分類のための入力には，分類対象の文節境界以前の語りの文字列を用いる. 図 3 下に，応答タイミングの検出の例を示す. 本研究では, 相槌と読点の使用頻度に着目し,相槌のタイミングと読点の挿入位置，相槌以外のタイミングと句点の挿入位置，応答なしのタイミングと句読点なしの位置が，それぞれ対応しているものとみなす。

## 5 応答タイミングの検出実験

## 5.1 実験概要

これまでに，傾聴応答タイミング検出におけるテキストデータ利用の効果が報告されているものの [3]，傾聴応答のデータ量に関するテキストデータ利用の効果は明らかにされていない。そこで本実験では，ターゲットタスクである傾聴応答タイミング検出のための学習データ量ごとに，中間タスク導入の効果を評価する，ターゲットタスクの学習データ量の設定は下記の通りである.

・実験設定 (a): 学習データ量を 200 から 2,000 まで，200 ずつ増加させる.
- 実験設定 (b) : 学習データ量を 2,000 から 16,000 まで，2,000ずつ増加させる.

ターゲットタスクのみで fine-tuning されたモデルを baseline, 両方のタスクで fine-tuning されたモデルを
表 1 京都大学テキストコーパスと傾聴応答コーパスにおける各クラスの出現分布

図 4 実験設定 (a) と (b) におけるマクロ $\mathrm{F} 1$

intermediate-task model と表記する。学習と評価は乱数のシードを変えて 3 回行い，そのマクロ F1 の平均値を最終的な評価値とした。

## 5.2 実験データ

中間タスク用のテキストデータとして，京都大学テキストコーパス [19]を用いる。このテキストコー パスを，学習，開発，テスト用に分割した. 表 1 にデータの規模を示す.

ターゲットタスク用のデータとして，傾聴応答コーパス [20]を用いる。傾聴応答コーパスは，高齢者のナラティブコーパス $\mathrm{JELiCo}[21]$ に，複数の聴き手の傾聴応答が独立に付与されたデータである. 本実験では，聴き手 1 名分の傾聴応答を用いた.

傾聴応答コーパスに含まれる語りを，CaboCha[22] によって文節に分割した. さらに各応答を，その発声開始時刻と最も近い位置にある文節境界に対応付けた。相槌のみが対応付いた文節境界を相槌タイミング，1つ以上の相槌ではない応答が対応付いた文節境界を相槌以外のタイミング，1つも応答が対応付かなかった文節境界を応答なしのタイミングとする. 傾聴応答コーパスを学習，開発，テスト用に分割した. 表 1 にデータの規模を示す.

## 5.3 実装

本実験では，事前学習済みの $\mathrm{BERT}^{1)}$ に，3クラス用の分類層を追加することで，句読点挿入及び傾聴応答タイミング検出を行う。ターゲットタスクでの

学習では，中間タスクで学習されたパラメータを初期値として，分類層を含む全パラメータの更新を続ける．BERTへの入力は，先頭の [CLS]トークンに，分類対象の文節境界の直前 3 つの文節の文字列を連接したものとした. 損失関数には Cross Entropy Loss を，最適化手法には AdamW を用いた。中間タスクの評価データでのマクロ F1 が最良となったエポックのモデルを，ターゲットタスクでさらに学習する，ターゲットタスクに対する性能評価には，開発データでのマクロ F1 が最良となったエポックのモデルを用いた。ハイパーパラメータと実装に用いたライブラリの詳細は，付録 A を参照されたい.

## 5.4 実験結果

ターゲットタスクの結果について報告する2).図 4 に，実験設定 (a)と (b) の結果をそれぞれ示す.いずれの設定においても，学習データ量によらず，intermediate-task model が baseline を上回った ${ }^{3)}$. このことから，テキストデータを用いた句読点挿入タスクでの fine-tuning によって，傾聴応答タイミングの検出性能が向上することを確認した。また，学習データが少量である設定 (a)において， intermediate-task model が baseline を大きく上回る傾向にあった. したがって，傾聴応答タイミング検出タスクのデータが少量である場合には特に，テキストデータを用いた句読点挿入タスクでの fine-tuning が有効であるといえる。

2） 中間タスクの結果は付録 B を参照されたい。

3）有意差検定の結果は付録 $\mathrm{C}$ を参照されたい，

実験設定(a)における相棺以外のF値

実験設定(b) における相檤以外のF 値

実験設定(a)における応答なしのF值

図 5 実験設定 (a)と (b) における各クラスの F 値

## 5.5 考察

ターゲットタスクの 3 クラスについて，中間タスク導入の効果を個別に考察する。まず，相槌における中間タスク導入の効果について述べる。図 5 の上段に，実験設定 (a)と (b) の結果をそれぞれ示す.学習データ量が 12,000 程度までは, intermediate-task model が baselineを上回り，それ以降では， baseline を下回ることもあった. このことから，ターゲットタスクの学習データ量が十分である場合には, 中間タスク導入の効果は限定的であるものの，学習デー タ量が十分とはいえない場合には，中間タスク学習が効果的であるといえる。

次に，相槌以外における中間タスク導入の効果について述べる. 図 5 の中段に，実験設定 (a)と (b) の結果をそれぞれ示す. 学習データ量が 1,000 程度までは，intermediate-task model が baselineを大きく上回った. 学習データ量が 1,000 を超えると差は小さくなるものの，性能向上を確認できた. このことから，相槌と相槌以外では，中間タスクの導入が有効
な状況や，その効果の大きさが異なるといえる.最後に，応答なしにおける中間タスク導入の効果について述べる. 図 5 の下段に，実験設定 (a) と (b) の結果をそれぞれ示す. 相槌と相槌以外の結果とは異なり，学習データ量によらず，intermediate-task model と baseline に大きな差はなかった. このことから，中間タスクの導入は，応答なしの性能を維持したまま，相槌と相槌以外の性能向上を達成しているといえる。

## 6 まとめ

本論文では，傾聴応答タイミングの検出のためのテキストデータの利用について述べた. テキストへの句読点挿入タスクを中間タスクとして導入し，その効果を考察した．実験の結果，中間タスクの導入によって，特に，傾聴応答のデータ量が十分ではない場合に，傾聴応答タイミングの特徴を効率的に学習できることを確認した. 今後は, 傾聴応答の種類と読点の用法の種類の関係性を考察し，より効率的な学習方法を検討したい。

## 謝辞

高齢者のナラティブコーパスは，奈良先端科学技

術大学院大学ソーシャル・コンピューティング研究室から提供いただいた. 本研究は，一部，名古屋大学のスーパーコンピュータ「不老」の一般利用制度により実施した。

## 参考文献

[1] Ministry of Health, Labor and Welfare. Summary report of comprehensive survey of living conditions 2019, 2020. https://www.mhlw.go.jp/english/database/ db-hss/dl/report_gaikyo_2019.pdf.

[2] 大谷佳子. 対人援助の現場で使える聴く・伝える・共感する技術便利帖. 翔泳社, 2017.

[3] 長連成, 越智景子, 井上昂治, 河原達也. 大規模テキストデータを用いた事前学習による音声対話の相槌予測. 情報処理学会第 84 回全国大会講演論文集, pp. 305-306, 2022.

[4] Jason Phang, Thibault Févry, and Samuel R. Bowman. Sentence encoders on stilts: Supplementary training on intermediate labeled-data tasks. arXiv preprint arXive:1811.01088, 2019.

[5] Ting-Yun Chang and Chi-Jen Lu. Rethinking why intermediate-task fine-tuning works. In Proceedings of the Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 706-713, 2021.

[6] Nigel Ward and Wataru Tsukahara. Prosodic features which cue back-channel responses in english and japanese. Journal of Pragmatics, Vol. 32, No. 8, pp. 1177-1207, 2000 .

[7] Nicola Cathcart, Jean Carletta, and Ewan Klein. A shallow model of backchannel continuers in spoken dialogue. In Proceedings of the 10th Conference on European Chapter of the Association for Computational Linguistics, Vol. 1, pp. 51-58, 2003.

[8] Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, and Seiji Nakagawa. Response timing detection using prosodic and linguistic information for human-friendly spoken dialog systems. Transactions of the Japanese Society for Artificial Intelligence, Vol. 20, No. 3, pp. 220-228, 2005.

[9] Louis-Philippe Morency, Iwan de Kok, and Jonathan Gratch. A probabilistic multimodal approach for predicting listener backchannels. Journal of Autonomous Agents and Multi-Agent Systems, Vol. 20, No. 1, pp. 70-84, 2010.

[10] 大野誠寛, 神谷優貴, 松原茂樹. 対話コーパスを用いた相づち生成タイミングの検出. 電子情報通信学会論文誌, Vol. J100-A, No. 1, pp. 53-65, 2017.

[11] Robin Ruede, Markus Müller, Sebastian Stüker, and Alex Waibel. Enhancing backchannel prediction using word embeddings. In Proceedings of the 18th Annual Conference of the International Speech Communication Association, pp. 879-883, 2017.

[12] Jin Yea Jang, San Kim, Minyoung Jung, Saim Shin, and
Gahgene Gweon. BPM_MT: Enhanced backchannel prediction model using multi-task learning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3447-3452, 2021.

[13] 村田匡輝, 大野誠寛, 松原茂樹. 読点の用法的分類に基づく日本語テキストへの自動読点挿入. 電子情報通信学会論文誌, Vol. J95-D, No. 9, pp. 1783-1793, 2012.

[14] Agustin Gravano, Martin Jansche, and Michiel Bacchiani. Restoring punctuation and capitalization in transcribed speech. In Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4741-4744, 2009.

[15] Wei Lu and Hwee Tou Ng. Better punctuation prediction with dynamic conditional random fields. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 177-186, 2010.

[16] Ottokar Tilk and Tanel Alumäe. Bidirectional recurrent neural network with attention mechanism for punctuation restoration. In Proceedings of the 17th Annual Conference of the International Speech Communication Association, pp. 3047-3051, 2016.

[17] Micha 1 Pogoda and Tomasz Walkowiak. Comprehensive punctuation restoration for English and Polish. In Proceedings of the Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4610-4619, 2021.

[18] 日本語記述文法研究会. 現代日本語文法 7. くろしお出版, 2009.

[19] Sadao Kurohashi and Makoto Nagao. Building a japanese parsed corpus while improving the parsing system. In Proceedings of the 1st International Conference on Language Resources and Evaluation, pp. 719-724, 1998.

[20] Koichiro Ito, Masaki Murata, Tomohiro Ohno, and Shigeki Matsubara. Construction of responsive utterance corpus for attentive listening response production. In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 7244-7252, 2022.

[21] Kenji Aramaki. Japanese elder's language index corpus v2, 2017. https://figshare.com/articles/dataset/ Japanese_Elder_s_Language_Index_Corpus_v2/ 2082706/1.

[22] Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning, pp. 63-69, 2002.

## A モデルのハイパーパラメータと実装に用いたライブラリ

モデルの実装には, pytorch ${ }^{4)}$ と huggingfaceの Trainer $^{5)}$ を用いた. 中間タスクでは 4 枚の GPUを用いて分散学習を行い，ターゲットタスクでは 1 枚の GPU で学習を行った. 表 2 に, 学習の詳細設定を示す. これらのハイパーパラメータの値は，各タスクにおける開発データを用いて定めた.

## B 中間タスクの結果

中間タスクである句読点挿入タスクの結果について報告する。表 3 に，テストデータに対する句読点の挿入性能として，各クラスの適合率，再現率， $\mathrm{F}$ 値を示す.いずれのクラスにおいても，高い挿入性能を示していることを確認した．また，マクロ 1 は 0.800 であった．したがって，モデルは中間タスクを通して，テキストにおける句読点の挿入位置の特徴を適切に学習できたものと考えられる.

## C 有意差検定

5.4 節の実験結果における有意差について報告する。ボンフェローニ補正を適用して，McNemar 検定を多クラスに拡張した McNemar-Bowker 検定 $(\alpha=0.05)$ を行った. 全ての学習データ量において 3 回有意差が認められた.

4) https://pytorch.org/

5) https://huggingface.co/docs/transformers/main_classes/trainer


# 地図を刺激に用いた経路情報参照表現の収集

川端 良子
国立国語研究所
}

大村舞
国立国語研究所
}

小西光

Tecca 合同会社浅原 正幸

国立国語研究所

竹内 誉羽

ホンダリサーチインスティチュート
## 概要

我々は、経路情報を参照する表現のデータベースを構築した。20の地図を刺激とし、 1 地図あたり 2 経路、 1 経路あたり 40 人に地図上の二地点の経路情報の記述を依頼し、1600 の経路情報参照表現を収集した。経路情報参照表現は、地図上のランドマークに基づく相対参照表現のみであるかを判定したうえで、相対参照表現のみの場合には、始点・通過地点・終点の情報の有無をラベル付けした。さらに各表現のわかりやすさをアンケート調査により収集した。

## 1 はじめに

地図上の経路情報を適切に言語で伝えることは難しい。経路情報は始点の情報・通過地点の情報・終点の情報からなり、周囲のランドマークを用いて、位置情報と移動方向・移動距離を適切に伝える必要がある。

本研究は地図を刺激に用いた経路情報参照表現の収集を行った。20 の地図に対してそれぞれ 2 パター ンの始点・終点情報を設定し、40 の図面を刺激として作成した。これらの刺激を用いて、クラウドソー シングにより、経路情報を固有位置情報と相対参照情報のみで表現した位置情報参照表現を 1 図面あたり 40 件収集することを目指した。収集した言語表現が固有位置情報と相対参照情報のみであるかを判定したのち、始点情報が含まれるか、通過地点情報が含まれるか、終点情報が含まれるかの情報を付与した。さらに各表現のわかりやすさをアンケート調查により収集した。

## 2 関連研究

古くは Direction giving (経路説明) の会話分析が Psathas ら [1] によって行われ、状況規程・情報と指示・終結の 3 つの段階があるとされ、さらに最初の指示において a) starting point (始点)、b) destination (終点)、c) mode of travel (移動手段)、d) time of travel (移動時間)、e) membership categorization by each of the parties of each other (会話参与者の役割) が重要であることし指摘している [2,3]。Lakoff [4] も同様に SOURCE-PATH-GOAL Schema において、a) SOURCE (始点)、b) DESTINATION (終点)、c) PATH (経路)、d) DIRECTION (方向) の 4 つの構造的要素をあげている。村上 [5] は Blakar[6] が用いた地図を用いて、日本語道順対話を収集し、経路上のどの方向参照地点が言及されているかについて検討を行った。堀内ら [7] は、HCRC Map Task Corpus [8] と同様の設定で、情報提供者と情報追随者とで部分的に情報を共有した設定で、音声対話コーパスを構築した。塚本ら [9] は仮想空間内の経路説明表現やジェスチャーの収集を行った。

## 3 データの構築手法

## 3.1 経路情報参照表現の収集

経路情報参照表現の収集は Yahoo! クラウドソー シングにより実施した。図1 のように地図を示したうえで、ロを始点とし、ォもしくはを終点とした任意の経路情報の記述を依頼した。作業に際しては、相対参照表現の収集を目標とし、元の地図を回転した地図のいずれかを刺激とし、以下の 3 点を指示した。
- 作業者が最初に地図の中の四にいるような観点で「前後左右」を使う

・地図の図面における「上下左右」を使わない

・「東西南北」を使わない

表現の収集は、スクリーニング調査と本調査の 2 段階により行った。スクリーニング調査におい

図 1 刺激に用いた地図の例 (30 度回転)

ては、図 1 のように 30 度、 120 度、 210 度、 300 度のいずれかの角度回転させた地図を用い、各地図 400 人・合計 1600 人分のデータを収集した。調査画面の例を付録の図 2 に示す。スクリーニング調査において 1 回答あたり 10 円相当の PayPay ポイン卜を謝礼として支払った。スクリーニング調査は 2023/11/02 08:01 に開始し、2023/11/03 03:40 に終了した。このうち、2.3 節に示す「わかりやすさ」を 0-5 の 6 段階で評定するアンケート調査により行い、平均評定値が 3.0 以上の 206 人を本調査の対象者とした。スクリーニング調査結果のわかりやすさの調查は 2023/11/17 08:06 に開始し、2023/11/17 09:55 に終了した。

本調査においては、20 種類の地図に対して、それぞれ 2 パターンの始点・終点を設定した、40 図面の刺激を構成した。 40 図面に対して 4 種類の回転を加えた 160 パターンの刺激を作成し、各パターン 10 人・合計 1600 表現を収集した。本調査において 1 回答あたり 50 円相当の PayPay ポイントを謝礼として支払った。本調査は 2023/11/17 14:02 に開始し、 2023/11/19 23:55 に終了した。

## 3.2 収集した表現の分類

本調査で収集した 1600 表現はすべて「固有位置情報表現・相対位置情報表現のみ」で東西南北などの絶対位置情報表現を用いていなかった。但し 5 表現が、地図上で誤ったマークを始点・終点として認識しており、不適切な経路情報参照表現であった。 さらに 29 表現が、始点と終点を反対に認識しており、不適切な経路情報参照表現であった（ラベル W を付与した)。

次に、以下の分類を付与した（例は図 1 を刺激と
したもの)：

・X: 始点についての詳細な説明がある

・ $\mathrm{Y}$ : 途中の経路上の地点の説明がある

・Z: 終点についての詳細な説明がある

始点 (X) の判定においては「○○を背に」「正面の ○を見て（立ち）」「○○と $\triangle \triangle$ の間に立って」「○ ○を出て」「○○」からなど始点の定まりがある場合に始点あり (X) と判定した。また始点周辺の情報が不十分だが「現在地から」「口から」のように始点が明示されている場合は、始点あり (X) と判定した。経路 (Y) の判定においては「左折」「右折」「曲がる」「進む」「回り込む」などの移動を意味する動詞の有無で判定した。

終点 (Z) の判定においては「ゴール」「目的地」「着く」などの明示的な終点を示す語が確認できた場合に、終点あり $(\mathrm{Z})$ と判定した。また明示的な語がなくとも、終点周辺の具体的な描写がある場合は終点あり $(\mathrm{Z})$ と判断した。ただし、「しばらく進むと左側に見える」「広場の先」「通り過ぎたところ」など終点の具体性がない場合には終点なしと判定した。

これらの分類はマルチラベルとして設定した。以下に図 1 を刺激としたスクリーニング調査の例 ${ }^{11}$ をしめす：
- XYZ の例 :

「エリコネイルに背を向けて、右手側に進み、交差点を右折する。そこからまっすぐ進み、三菱 UFJ のところで左折し、直進するとローソンがあるので、そこで左手側を見れば目的地です。」

・YZ の例：(始点がない)

「新宿三丁目駅のある通りに出て右に曲がり、次の交差点を左に曲がって進み、左側の二つ目のビルが目的地です。」

・XZ の例：(経路が不明瞭)

「新宿三丁目駅を正面に見て、左ビックカメラと右マルイの交差点がロ地点。駅向こうにある伊勢丹右角先の敷地右角がれ印で道路を挟んで正面に野村証券があります。」

・Y の例：(始点がない・終点が不明膫）

「新宿三丁目駅を渡り、伊勢丹を通過して、伊勢丹メンズ館を右折する。」

「大通りにでて新宿三丁目駅と伊勢丹角の交差

1）これらの例はスクリーニング調査時にラベルの基準策定に利用したもので、公開する本調査のデータには含まれていない。
点方面にに向かう。交差点を左折後、次の大通りまで直進。」(原文ママ)

「新宿三丁目駅を渡り、伊勢丹メンズ館まで進み、新宿ピカデリーの逆に進むとたどり着く」

## 3.3 表現のわかりやすさ評定

スクリーニング調査で収集した 1600 表現と本調査で収集した 1600 表現について、表現のわかりやすさ評定のアンケート調査を Yahoo! クラウドソー シングを用いて実施した。スクリーニング調査において、固有位置情報表現・相対位置情報表現のみの参照表現を記述した 887 人を対象に募集し、スクリーニング調査データの評定に 216 人が、本調査データの評定に 605 人参加した。付録の図 3 に調查画面を示す。1 図面に対して7つの表現をランダムに配置し、評定は 0: わかりにくい〜5: わかりやすいの 6 段階評価とした。 1 回答あたり 2 円相当の PayPay ポイントを謝礼として支払った。本調査データのわかりやすさの評定調査は、 1 表現あたり 35 人分の評定情報を収集した。本調査は 2023/12/14 17:01 に開始し、2023/12/16 13:10 に終了した。

本研究の実施に際して、表現の収集および表現の印象評定に関する研究倫理審査を国立国語研究所にて実施し、承認を受けている。

## 4 データの統計

本節では得られたデータの統計について示す。

表 1 観点別のわかりやすさ（個別）

表 1 に各観点の有無 (観点ありが TRUE、観点なしが FALSE) で個別に集計を行い、それぞれのわかりやすさの平均を求めた。まず、始点と終点を取り違えたもの (W) 29 件については、正しいものよりもわかりやすさが低い傾向がみられた。次に、始点 (X) の説明は省略されやすく、 $37.5 \%$ (599/1600) の表現において始点の説明がなかった。始点の説明がなかったもの (わかりやすさ平均 2.72) は、始点の説明があったもの(わかりやすさ平均 2.81) よりも若干わかりやすさが低い傾向がみられた。経路 (Y) の説明がなかったもの (わかりやすさ平均 2.00 ) は $1.5 \%$ (24/1600) で、経路の説明があったもの(わかりやすさ平均 2.79) よりもわかりやすさが低い。終点 $(\mathrm{Z})$ の説明がなかったもの (わかりやすさ平均 2.43) は $3.2 \%$ (51/1600) で、終点の説明があったもの(わかりやすさ平均 2.79) よりもわかりやすさが低い。ゆえに、始点・経路・終点の 3 観点はいずれも重要であることがわかる。

表 2 観点別のわかりやすさ（組み合わせ）

観点の組み合わせに基づく集計結果を表 2 に示す。組み合わせで見ると、経路 $(\mathrm{Y})$ と終点 $(\mathrm{Z})$ がともにあるものが多く $93.9 \%((558+944) / 1600)$ であった。これらのなかで始点 (X) の有無でわかりやすさが異なり、始点があるもの (わかりやすさ平均 2.85) のほうが、始点がないもの (わかりやすさ平均 2.76) よりもわかりやすい。

表 3 にわかりやすい経路情報参照表現上位 10 例を示す。いずれも経路情報 $(\mathrm{Y})$ と終点情報 $(\mathrm{Z})$ を含む経路情報参照表現が含まれている。

## 5 おわりに

本研究では、固有位置情報と相対位置情報を用いたよりわかりやすい経路情報参照表現を収集することを目的とし、クラウドソーシングを用いて地図上
表 3 わかりやすい経路情報参照表現例

 & 3.80 & 0 & 1 & 1 \\

の経路情報を説明する表現を収集した。表現について、始点・経路・終点の情報が含まれるかについて人手で情報付与した。データから始点の情報が参照表現から抜け落ちる傾向が確認された。さらに、わかりやすさの評定について、クラウドソーシングを用いて収集した。その結果、途中の経路・終点の情報が重要であることが確認された。

先行研究の地図課題コーパスは、地図課題をもとに新情報・旧情報の伝達の相互行為を分析するために対話を収集しており、地図上の経路情報をよりわかりやすく説明するという観点が欠けていた。特に地図情報からよりわかりやすい経路情報参照表現を生成するにあたっては、多様な表現をそのわかりやすさとともに収集し、何がわかりやすさをもたらすのかを検討する必要がある。本研究は経路情報参照表現の生成を目指してデータを構築したという点で既存の研究との違いがある。

今回整備したデータについては、地図情報・分類・わかりやすさとともに公開する。

## 謝辞

本研究はホンダリサーチインスティチュート-国

立国語研究所共同研究プロジェクト「行き先目標物の参照表現に関する日本語話し言葉の分析」・国立国語研究所基幹型共同研究プロジェクト「アノテー ションデータを用いた実証的計算心理言語学」・科研費 JP22K13108, JP19K13195によるものです。

## 参考文献

[1] George Psathas and Martin Kozloff. The structure of directions. Semiotica, Vol. 17, No. 2, pp. 111-130, 1976.

[2] George Psathas. Some sequential structures in directiongiving. Human Studies, Vol. 9, No. 2-3, pp. 231-246, 1986.

[3] George Psathas. Direction-giving in interaction. Réseaux. Communication-Technologie-Société, Vol. 8, No. 1, pp. 183-198, 1990 .

[4] George Lakoff. Women, fire, and dangerous things: What categories reveal about the mind. University of Chicago press, 1987.

[5] 村上恵. 「道順説明」の構成要素と表現類型. 三重大学日本語学文学, Vol. 7, pp. 15-30, 1996.

[6] Rolv Mikkel Blakar. An experimental method for inquiring into communication. European Journal of Social Psychology, Vol. 3, No. 4, pp. 415-425, 1973.

[7] 堀内靖雄, 中野有紀子, 小磯花絵, 石崎雅人, 鈴木浩之, 岡田美智男, 仲真紀子, 土屋俊, 市川喜. 日本語地図課題対話コーパスの設計と特徴. 人工知能学会誌, Vol. 14, No. 2, pp. 261-272, March 1999.

[8] Henry S. Thompson, Anne Anderson, Ellen Gurman Bard, Gwyneth Doherty-Sneddon, Alison Newlands, and Cathy Sotillo. The HCRC map task corpus: Natural dialogue for speech recognition. In Human Language Technology: Proceedings of a Workshop Held at Plainsboro, New Jersey, pp. 21-24, 1993.

[9] 塚本剛生, 中野有紀子. メタバースにおける言語・空間情報に基づくアバタへの道案内ジェスチャの自動付与. 日本バーチャルリアリティ学会論文誌, Vol. 17, No. 2, pp. 79-89, June 2012.

## A 付録

地図上に【印から、印へ移動する経路を、まわりのランドマークを用いて説明してください。

$\cdot$30文字以上200文字以下の表現でおねがいします。

・「みなさんが最初に地図の中の、印にいるような観点で前後左右」を使って説明をお願いします。

・地図の図面における「上下左右」は使わないでください。

・東西南北は使わないでください

図 2 調査画面例：経路情報参照表現の収集

左手に円形の池を見て立ち右手の道を直進、最初の左折路を曲がると広い道路を挟んで本田 $R \& D$ に突き当たる。左折し中央 1 と本田 $R \& D$ に挟まれた所に目的地がある

本田R\&Dの裏側の通りへ出て、理化学研究所へ入ると、すぐの突き当りを右へすすみ、ロータリーがみえたら、そのローラリーの入りロ手前です。
○ 0 わかりにくい
$O_{1}$
$\mathrm{O}_{2}$
$\mathrm{O}_{3}$
O4
－５わかりやすい

ます理化学研究所の方へ進んでいき、大通りに出たところで左折します。本田R \&Dの向かいの辺りに入口があるので右折して入ります。入口入ってすぐのつきあたりを右折してまつすぐ進み、すぐ見えてくる広場のような所の左手前が目的地です。

中央 1 の建物を右手に見ながら進むと左右に延びる道にぶつかるので、左折する。まっすぐ進むと右手に理化学研究所の入口があるので右折して入る。少し進むと左右に道が分かれているので、右折して直進。少し開けた場所に出て、その左側に目的地がある。

まず理化学研究所に面した通りにでます。右手に理化学研究所を見ながら進んで、右手にある入りロに入ります。突き当たりを右折して進んで、水場のある広場に入ってすぐの所の左手が目的地です。

います

ます理化学研究所の方へ進んでいき、大通りに出たところで左折します。本田R \&Dの向かいの辺りに入口があるので右折して入ります。入口入ってすぐのつきあたりを右折してまつすぐ進み、すぐ見えてくる広場のような所の左手前が目的地です。

図 3 調査画面例：わかりやすさのアンケート調査