# 対話の䶡齬と介入による解消：LLM を用いた検討

清水周一郎 Yin Jou Huang 村脇有吾 Chenhui Chu
京都大学大学院情報学研究科
\{sshimizu, huang, murawaki, chu\}@nlp. ist.i.kyoto-u.ac.jp

## 概要

対話における齯齰は重要な現象であるが，どのような現象であるかは明確でない. 本研究では，対話の齯䶣について，Clark の言語使用に関する理論をもとにして整理し，また齟踣の解消には第三者による介入が役立つことを指摘する．LLM は高い対話能力と広範囲な知識を持ち，コントロールされた対話の実験を容易にする. 本研究では LLM エージェ

せ，介入を行うことによる対話の変化を分析する.

## 1 はじめに

対話における齯輵は重要な現象である。2024 年 1 月 2 日に発生した航空機の衝突事故 $[1,2]$ においても，管制官と海上保安庁機の搭乗員との間の対話の䶡敬が原因の 1 つであると見ることができる。一方で，龃齬がどのような現象であるかを定義するのは

語処理の研究は存在しない. 䶡䶣は自然な対話では稀な現象であるため，データを大規模に収集して実験することは容易でない.

大規模言語モデル $(L L M)^{11}$ は，高い対話能力を示し，広範囲な知識を持つ $[5,6]$. LLM を対話研究に利用する利点の一つとして，人間の場合では不可能な，条件の同じ対話を複数回行わせることが可能になることが挙げられる。そこで，本研究では，LLM を利用して齯敬を含む対話を生成し，それをもとに齯齬に関する分析を行う。

齟䶣は，Clark の提唱した共通基盤（話者と対話相手の間で共有された知識や信念）の解釈の不一致

であると捉えられる。これを LLM でモデル化するには，LLM の持つ知識を制限し，異なる知識を持つ LLM エージェントを用意する必要があるが，容易には実現できない，そこで，LLMにその場限りでの知識を持たせ，話者と対話相手に相当する LLM エージェントの間で情報量の差を持たせるための設定として，言葉当てゲームをべースとした設定を提案する。

齯䶣の解消においては，話者と対話相手双方の共通基盤をよく理解する第三者の介入が役立つ．LLM は広範囲な知識を持つため，この介入者の役割を果たすのに適している. ゲームの設定においても，話者と対話相手の持つ知識の差を認識させた LLM エージェントにこの役割を行わせることができる。以上を踏まえ, 本研究では言葉当てゲームの設定において，莜䶣の発生・解消と介入による影響を定量的に評価することを試みる。

## 2 関連研究

対話システムとしての LLM の登場以前には，対話システムの改善に関する研究が多く行われてきた. 対話破綻の研究 [7] では，対話システムの不十分な性能に起因する対話破綻の分類がなされた. また，対話システムの応答の際に共通基盤を考慮することによって応答性能を向上させる研究がなされた [8]. 本研究は人間と対話システムの対話ではなく，人間同士の対話で起こりうる齯䶣を対象とする点が異なる.

LLM エージェント同士の対話に関する研究が行われるようになってきている. Park ら [9] はゲーム上の環境で 25 の異なる人格を持つエージェントを用意し，各エージェントに記憶，計画，反応，思考の機能を持たせて行動させる実験を行い，LLM エー ジェントによる社会的行動の発現を示した. 本研究では Park らのエージェント設計を参考にしつつ，齟踣を含む対話に焦点を当てている.

## 3 齯齬の発生と解消

## 3.1 䶡䶣の定義

齟䶣について, Clark の共同作業に関する理論 （[10] pp. 148-153，234-235）をもとにして整理する. ${ }^{2}$ Clark は，対話は話者と対話相手とが織り成す共同作業の一種であるとし，共同作業は共同行

動から成るとした。共同行動にはi) 行動と注目, ii)提示と同定，iii) 合図と認識，iv) 提案と考慮の 4 つの段階がある. 例えば，A が椅子を指差しながら B に「ここに座って」と言った場合，これは以下のようになる。

i. A は B の知覚の範囲内で椅子を指差して発声し，B はそれに注意を向ける。

ii. A は指差しと発声によって信号を作り出し，B はその信号を認識する。

iii. A は B が椅子に座るよう頼み，B はその頼みを認識する。

iv. A は B がＡのために椅子に座ることを提案し， B はその提案を受け入れるかどうか考える。

対話は共同作業の一種であり,この $n$ 段階目までが達成されるが $n+1$ 段階目が達成されない $(n=0,1,2,3)$ ことによって，異なる種類のミスコミュニケーションが起こりうる．例を挙げると， $n=0 \quad$ 相手がイヤホンをしていて話者の声が聞こえない.

$n=1$ 話者がアメリカ人に日本語で話しかけ，相手に理解されない.

相手が「Xさんを知りません」と答える。

$n=3$ 話者が「ここに座って」と言うが，相手が意図的に座らない。

我々は，日本語の「龃龉」に相当するのは，この $n=2$ の場合であるとみなし, 本研究はこうした齟䶣を対象とする. ${ }^{3}$

## 3.2 䶡䶣の発生

葙驎の発生する原因について，Clark の共通基盤の分類を参考にして整理する（[10] pp. 92-121）. 共通基盤は，まず，共同体共通基盤と個人的共通基盤に分類できる。共同体共通基盤は，いわゆる文化的な共同体のもつ，その共同体の中でのみ共有されている情報の総体である. Clark は共同体を国籍，職業，趣味など 13 種類に分類している（[10] p. 103）. ここで，共同体とは，他の共同体が持たない専門的な情報を持つ集団であるとしている．個人的共通基盤は，ある個人と別の個人の関わりに基づく情報である.

これを踏まえて，齯䶣の発生する原因について考える。まず，個人的共通基盤については，話者と対話相手のそれぞれが同じように蓄積させるため，齟䶣の原因となるとは考えにくい。一方で，共同体共通基盤については，話者と対話相手が持っている情報が異なるため，䶡齠の原因となりうる。例えば， transformer という単語を聞いたときに，NLP の研究者であればモデルを，電気技師であれば変圧器を，映画の好きな人であれば映画を思い浮かべるだろう. このように，対話者間の持っている情報量に差があることは，䶡䶣が生じるための条件の一つであると考えられる。

蓠嚙は，このような原因から，話者の発話の意図を，対話相手が誤解することに始まる．誤解した対話相手は，その後の発話で，話者が想定していなかった内容の発話をする。本稿では，これを䶡䶣が発生した時点であると考え，以後，稙踣が解消されるまでの間，対話に齯䶣が生じていると考える。

## 3.3 齯䶣の解消

次に，齯䶣の解消について検討する. Clark は，共同作業の参加者は，共同行動が成功したという証拠を得る（closure）ことによって，その共同行動を共通基盤の一部として確立する（grounding）と述べている（[10], pp. 221-252）．例えば，話者の「Xを知っていますか？」という発話に対し対話相手が「はい」 と答えた場合，話者は相手が Xを知っているという証拠を得たことになる。

者の発話の意図を，相手が誤解4)することに始まるので，話者が，相手が理解したという証拠を得たとき，齯䶣が解消されたと見ることができる.

指すものとする.
}

## 3.4 第三者による介入

最後に，第三者による介入について考える。共同行動に関係する人の分類として，話者，対話相手，副参加者，傍観者，盗聴者がある（[10], p. 14）. 第三者はこのうちの副参加者に相当し, 話者が発話時点で直接の対話相手としては認識していないが，話を聞いている人として認識しており，対話に参加している者である.

経験的に，短䶣の解消においては，対話全体を理解する第三者の介入が鍵となることが多い. 例えば, 研究室での研究のミーティングにおいて, 発表者と質問者の間で龃䶣が起きたとき，両者の意図をよく理解する先生が対話に介入することで話が進むことがよくある．共通基盤の文脈で捉えれば，第三者が話者と対話相手の共通基盤を双方の対話者よりもよく理解している場合に，第三者による介入が有効であると考えられる。

第三者が対話に介入する意義は，対話の効率の向上であると言える．対話においては，話者が対話相手に伝えたい内容（メッセージ）を持っており，対話相手が話者のメッセージを理解することによって対話が成立する。この際，メッセージがなかなか聞き手に伝わらないと，話し手はメッセージを表現を言い換えて繰り返すことになる。これを対話の効率が悪い状態であるとし，一方でメッセージがスムー ズに対話相手に伝わる状態を対話の効率が良い状態であるとする．第三者が話者と対話相手双方の意図を理解し，適切に対話に介入することができれば，対話の効率を向上させることができる.

## 4 LLM を用いた検討

## 4.1 状況設定

粹踣の発生を適切にモデル化するには，3.2 節で述べたように，LLM がある一定の範囲の情報のみを持つ必要がある. しかし，LLM は膨大な量のテキストデータで訓練されており，ある範囲の知識のみを持つように設定することはできない. 5$)$ そこで，人工的に䶡䶣が必ず起きるような対話の設定を考

5）著者らが行った事前実験では，プロンプトの調整によって LLM の持つ知識の範囲を調整することは困難であった. 例えば，NLP の知識を持たない電気技師を模倣させようとしても，NLP の知識を持っているかのような振る舞いをした. LLM の持つ特定の知識を忘却させる研究等は現在行われているところであり，そうしたモデルの活用は今後の課題としたい.
え，その上で介入による䶡䶣の解消を試みる.

具体的には，言葉当てゲームに手を加えたものを LLM エージェントに行わせる. エージェントとして，通常のエージェント $\mathrm{A}, \mathrm{B}, \mathrm{C}$ ，介入機構 $\mathrm{D}$ ，才ラクル O を設定する．A，B は質問者である。何らかの単語をあらかじめ与えておき，その単語に関するヒントを Cに与える。ここで，A と B に異なる単語を与えることで，A と B の持つ情報量に差をつけ，A や B 自身には共通の単語を想定していると認識させることで，龃齬の発生を人工的にモデル化する. C は回答者であり，A や B のヒントをもとに，単語を推測する。D は対話に介入する第三者であり, 必要に応じて対話に介入し, 蔃踣を指摘する. ここで， 3.4 節で述べたように，D は A や B よりもよく共通基盤を理解している必要があるため，A と B が異なる単語を想定している可能性があることをあらかじめ認識させる．Oは，LLMエージェントによる対話を自然なものに近づけるために導入した機構である。エージェント同士が対話をする中で，あるエージェントが発話を他の特定のエージェントに向けたものとして発する場合がある.こうした状況を考慮するため，O は対話全体を俯瞰し，どのエー ジェントが発話するべきかを対話の各時点で判断する。

## 4.2 エージェント設計

エージェント $\mathrm{A} ， \mathrm{~B} ， \mathrm{C}$ は以下の機能をもつ.
- memory: エージェントの初期状態および全エー ジェントによる話者と発話を時系列順に並べたもの.
- speak(): 現在の発話履歴に続けて，適切な発話を返す。

介入機構 D は，通常のエージェントの機能に加えて，以下の機能をもつ。
- should_speak()：現在の発話履歴を受け，対話に介入するかどうかを判断する。

オラクル O は，通常のエージェント同様の memory，および以下の機能をもつ.
- decide_speaker()：現在の発話履歴を受け，A, B，Cのうち誰が次に発話すべきか判断する.

具体的なプロンプトは付録 B に示す. 各エージェントの発話順を示すアルゴリズムは以下の通りである.

## 4.3 評価

LLM エージェントによる対話に対し，1) 齯䶣が発生した時点，2) 介入が行われた時点，3) 齯齬が解消された時点の 3 点について著者らが評価を行う. まず，各発話に 1 から番号をつける．齟踣が発生した時点は，3.2節で述べたように，齯䶣が表面化した発話の番号，すなわちある発話がそれまでの発話の内容に沿っていない場合，その発話の番号とする。介入が行われた時点は, 介入機構が介入が必要であると判断し発話したときの発話の番号である. 齯䶣が解消された時点は, 3.3 節の議論をもとに, 全ての参加者が䶡䶣があったことを理解した時点とする.すなわち，A，B，Cのそれぞれについて，䶞䶣があったことを認識した旨の発話をした発話番号を記録し，その最大值を齟䶣が解消された時点とする.これらをもとに，効率指数を，齯踣が解消された時点と齟龉が発生した時点の差として定義する。

## 4.4 実験設定

実験は全て英語で行った. LLM としては OpenAI の gpt-4-0613を用いた. temperature は 1.0 とした.最大発話数は 20 発話とした。但し, 対話に発展性がないと判断した場合（終わりの挨拶の繰り返しになる場合や次のゲームに移る場合）はそれ以前でも対話を打ち切った. A の単語と B の単語のぺアが同一のものについて 5 回対話を行い，3 ペアについて試した. ここでは, gpt-4-0613 に生成させた類義語のペアから選び，(Aの単語, B の単語) = (beautiful, gorgeous), (wisdom, knowledge), (end, finish)表 1 介入なしの場合とありの場合の評価結果．齯踣発生時点，介入時点，効率指数は（平均） $\pm$ （標準偏差）の形で示している.†：齯䶣が発生したものについてのみ計算した. ‡: 齯䶣が解消したものについてのみ計算した. 介入なしの場合は 1 件のみのため省略した.

とした. 介入機構ありの場合となしの場合の計 30 対話を行わせ，評価を行った。

## 4.5 結果

結果を表 1 に示す.まず，齯䶣が必ず発生すると想定されるシナリオで実験したものの，実際に齯䶣が表面化しなかったものが各 2 件あった。これは LLM がプロンプトの指示に従わない hallucination の問題が原因である。次に，齯䶣が発生した時点については，介入なしの場合とありの場合で大きな差は見られなかった. 齯齠が発生するまで介入機構は介入しないため，予想された結果であると言える. 介入時点について見ると，齯齰発生時点の 1 発話後に介入が行われている。このことから，介入機構の介入を判断する部分が適切に機能していることが分かる．齯䶣解消件数を見ると，介入なしの場合に比べ，介入ありの場合の方が齟䶣を解消できている件数が多く，介入機構によって䶡齠が解消できていることが分かる．但し，介入なしの場合でも，プロンプトの調整により䶡齗を解消できるようになる可能性もあるため，今後の課題である．効率についても，介入なしの場合には件数が少なく定量的に評価できなかったため，今後の課題とする。

## 5 おわりに

本研究では，対話の齯䶣について Clark の理論をもとに整理した上で，齯䶣の解消には第三者による介入が役立つことを指摘した. LLM エージェントに齟䶣を含む対話とそれに対する介入を行わせ，齟䶣の発生・解消と介入による影響の定量的評価を試みた，今後は，聞き間違いに起因する齟䶣や，異文化コミュニケーションにおける䶞䶣などについても研究したい.

## 謝辞

本研究に関して有益な議論をいただいた黒橋禎夫教授，河原達也教授，Rafik Hadfi 准教授，Devish Lala 研究員に感謝します. 本研究は JSPS 科研費 JP23KJ1356 の助成を受けたものです.

## 参考文献

[1] NHK NEWS WEB. 羽田空港事故交信記録やり取り詳細 “18 分の避難” 機内で何が. https://www3.nhk.or.jp/news/html/20240103/ k10014308031000.html, 2023.

[2] NHK NEWS WEB. 羽田空港事故管制官海保機に離陸順番 1 番と伝え許可と認識か. https://www3.nhk.or.jp/news/html/20240105/ k10014310951000.html, 2023.

[3] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned Language Models are ZeroShot Learners. In International Conference on Learning Representations, 2022.

[4] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. arXiv:2203.02155, 2022.

[5] OpenAI. GPT-4 Technical Report. arXiv:2303.08774v4, 2023.

[6] Google Gemini Team. Gemini: A Family of Highly Capable Multimodal Models. arXiv:2312.11805, 2023.

[7] 東中竜一郎, 荒木雅弘, 塚原裕史, 水上雅博. 雑談対話システムにおける対話破綻を生じさせる発話の類型化. 自然言語処理, Vol. 29, No. 2, pp. 443-466, 2022.

[8] Pei Zhou, Hyundong Cho, Pegah Jandaghi, Dong-Ho Lee, Bill Yuchen Lin, Jay Pujara, and Xiang Ren. Reflect, Not Reflex: Inference-Based Common Ground Improves Dialogue Response Quality. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

[9] Joon Sung Park, Joseph O'Brien, Carrie Jun Cai, Meredith Ringel Morris, Percy Liang, and Michael S. Bernstein. Generative Agents: Interactive Simulacra of Human Behavior. In Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, 2023.

[10] Herbert H. Clark. Using language. Cambridge university press, 1996.

## A Clark の用語とその訳の対応表

表 2 訳の対応

## B プロンプト

## B. 1 各エージェントの初期状態

## agents:

agent 1 :

name: "Alice"

initial_memory: "You are Alice. You are going to play a game with Bob and Claire. You and Bob have the same word in mind. Claire needs to guess the word. The word is ' $\$\{$ word1\}'. Once claire makes a guess, you can give one hint at a time. You cannot use the word ' $\$\{$ word 1$\}$ ' or ' $\$\{$ word 2$\}$ ' in the hint. You start the conversation by explaining the game and giving a hint."

agent2:

name: "Bob"

initial_memory: "You are Bob. You are going to play a game with Alice and Claire. You and Alice have the same word in mind. Claire needs to guess the word. The word is ' $\$\{$ word2\}'. Once Claire makes a guess, you can give one hint at a time. You cannot use the word ' $\$\{$ word 1$\}$ ' or ' $\$\{$ word2 $\}$ ' in the hint."

agent 3:

name: "Claire"

initial_memory: "You are Claire. You are playing a word guessing game with Alice and Bob. Alice and Bob have the same word in their minds and you need to guess it. You can only guess one word at a time." meta_agent:

name: "David"

initial_memory: "You are David. You are listening to a conversation between Alice, Bob, and Claire. They are playing a word guessing game. Alice and Bob have a word in their mind and Claire needs to guess it. Actually, the words Alice and Bob have in mind could be different. You usually just listen to the conversation, and only when, rememeber, only when a miscommunication happens, you intervene in the conversation and give some feedback."

oracle:

initial_memory: "You are listening to a conversation between Alice, Bob, and Claire. Your task is to decide who among Alice, Bob, and Claire is most likely to speak next at a certain point in the conversation."

## B. 2 エージェントの機能

speak():

prompt = " ".join(self.memory) + " What would you say? You would say:

should_speak():

prompt $=$ " ". join(self.memory) $+"$

Should you speak now? Yes/No: "

decide_speaker ():

prompt = " ".join(self.memory) + " Who is most likely to speak now? Answer in one word from Alice, Bob, and Claire: "


# 前提知識を考慮した数学の確率問題自動解答の精度向上

谷村華梨平博順
大阪工業大学 情報科学部
\{e1c20061,hirotoshi.taira\}@oit.ac.jp

## 概要

大規模言語モデルによる文章生成の品質が大幅に向上し，さまざまな分野への応用が期待されている.しかし，数学などの教科における個別学習での使用には，各教科の問題に対する解答精度が低いなどの課題がある．本研究では，大規模言語モデルの一つである GPT-4 を用いて高校数学における確率分野の問題に対して自動解答を行い，不正解となる場合の原因の分析を行った. 分析の結果，GPT-4 に不足していると考えられる分野の前提知識を追加して解答生成を行い，解答精度が向上するケースがあることが分かった. 題材として, 従来研究で高い精度を出すことが難しいとされている確率分野の問題を取り扱うこととした. その結果，前提知識を考慮することで，解答精度の向上が見られる事例があった。

## 1 はじめに

2022 年 11 月に公開された対話型文章生成 AIである ChatGPT は，その高品質な回答により世間からも大きく注目されている。一般的な事柄に対する質問への回答精度が高く, 教育分野への活用も多く提案されている. 文章生成 $\mathrm{AI}$ が個別学習に使用されるようになれば，各人の理解不足の部分に絞った学習も行いやすくなり，効率的に学習が進められることも期待できる. しかし, 現時点での ChatGPT などの文章生成 $\mathrm{AI}$ は, 計算や数学問題を解くのが苦手であると言われており，数学の分野に関してはそのまま個別学習に文章生成 $\mathrm{AI}$ を使うのにはまだ課題がある。一方, ChatGPT 以前の数学の問題に対する自動解答の研究では, 最終的な計算結果のみで解答精度を出しているものや計算問題の解答精度についての研究が多く, 数学の個別学習に重要な問題の解法過程の正否まで細かく評価している研究や文章問題についての研究は少ない. 数学の個別学習にこれらの技術を用いるには，ChatGPT などの対話型文章生成 $\mathrm{AI}$ のような高い文章生成能力も重要な要素となる. 高い文章生成能力を保ちつつ, 数学の問題解答精度についても高める技術が求められている. そこで本研究では，ChatGPT の基盤となっている大規模言語モデル GPT-4 の数学問題を自動解答する際にどのような部分が解答精度の低下につながっているのかを分析した. 現在の大規模言語モデル (LLM) に不足した部分を補うことにより数学問題の自動解答の精度向上を目指した. 題材としては, 数学の問題の中でも問題内容を文章で表現できることが多く, また従来の数学問題自動解答の研究でも高い精度を出すことが難しいと言われている確率分野の問題を取り上げる。

## 2 関連研究

Dries ら [1] は，自然言語で表現された数学の確率問題を，Problog 言語による中間表現に変換した上で，2 段階で問題を解いている。ここで，Problog 言語とは，命題に確率が付与できるように Prolog 言語が拡張された論理型言語である。また，Simon ら [2] は，自然言語で書かれた問題をProblog 言語の表現に高精度で変換するためにニューラルネットを用いている. Zheng ら [3] は，GPT-3.5を用いて，前の解答をヒントにしながら対話を繰り返すことで，正解率を上げる手法を提案している. Aman ら [4] は， LLM に数学の問題を解く Python コードを生成させ， それを実行することで，計算誤りを減らす手法を提案している. Zhao ら [5] は，Aman らの手法と LLM による解答のどちらが良い答えかを推論することで，高精度な問題解答を行っている. GPT-4 は，数学の問題を解くための学習は特に行われていない LLM のため，計算間違いを起こしやすいといわれている.この欠点に対処するため，岡谷ら [6] は，筆算と同様の計算手順で計算を行わせるようなプロンプトにより，計算を行わせたが，精度向上に寄与しなかったことを報告している。本研究では，数学の確率問題に対して問題を解く上で，LLMに解くの
表 1 実験結果 (\%)

表 2 「チャート式」の各テーマ別の解答精度 (\%)

に必要な前提知識が欠けていることが問題解答精度の低下を招いているのではないかと仮定して，精度向上方法について分析・検討を行った.

## 3 GPT-4 による確率問題の自動解答

まず，高品質な文章生成が可能な LLM として高い評価を得ている GPT-4 を用いて，数学の確率問題を解き，その解答精度について評価を行った。

## 3.1 評価項目

GPT-4 を用いた解答に対して，以下の 2 項目で人手で評価した。

・最終的な計算結果の正しさ

・解法の過程の正しさ

なお，計算誤りのみの理由で最終的な計算結果が不正解であった場合は, 解法の過程は正しいと評価し，その他の理由で最終的な結果が不正解であったときは，解法の過程が誤っているとして評価した。 また，最終的な計算結果が正しいが，偶然正解したと考えられる場合は，解法の過程が間違っていると評価した。

## 3.2 評価用データ

本研究では，以下の 2 種類のデータセットに対して評価を行った。 $\cdot$「新課程チャート式解法と演習数学 $\mathrm{I}+\mathrm{A}\rfloor[7]$

・nlp4plp データセット [1]

それぞれの数学の確率問題のデータセットは,「チャート式」が日本語の問題セット，nlp4plp が英語の問題セットである.「チャート式」は場合の数と確率の例題 114 問, nlp4plp は確率問題 199 問から構成されている．GPT-4 で自動解答させる際，問題の言語により解答精度に違いがあるかを検証するために，それぞれのデータを他の言語（英語または日本語）に DeepLを用いた翻訳したものについても評価することとした。

## 3.3 結果

「チャート式」と nlp4plp および，それらを翻訳したものについて，GPT-4により自動解答を行った結果を表 1 に示す.

実験の結果，「チャート式」の日本語の問題では,最終的な計算結果と解法の過程のどちらもあっているものが， 59.65 \%あった.また，「チャート式」 の問題を英語に翻訳し GPT-4 に解かせたものでは, 52.53 \%と，オリジナルの日本語の問題に対する解答精度の方が高かった. また， nlp4plp でも同様に，英語のデータセットでは最終的な計算結果と解法の過程のどちらもあっているものが 83.92 \%であったのに対し, 日本語に翻訳したものでは $75.88 \%$ と,
翻訳前のオリジナルなデータに対する解答精度の方が高かった。

「チャート式」と nlp4plp の解答精度を比較すると, nlp4plp の方が, 最終的な計算結果が間違っており，解法過程が合っている問題の割合が高く, nlp4plp の方が計算誤りが多い.

「チャート式」の各テーマ別の解答精度を表 2 に示す. 実験の結果，問題テーマにより解答精度に大きな違いが見られた. 特に，円順列・じゅず順列，重複順列のテーマでは，最終的な計算結果と計算過程のどちらも不正解である問題の割合が $50 \%$ 以上と高かった.

## 3.4 考察

どちらのデータセットも，翻訳したものとしていないものを比較すると，翻訳していないオリジナルのデータセットの方が，解答精度が高かった. その理由として，翻訳された文が完全には元の文の内容を表したものになっておらず，情報の欠如が起こったためだと考えられる．GPT-4 は，日本語より英語の入力に対する解答精度が高いといわれているが， この数学の確率問題データセットに関しては英語に翻訳せず，オリジナルの日本語では GPT-4 の入力として与えた方がよいことが分かった.

解法の過程はあっているが最終的な計算結果が間違っている問題は，「チャート式」の問題では $5.56 \%$, nlp4plp の問題では $10.05 \%$ \%てった. 最終的な解答が誤った原因は，途中の計算誤りによるものがほとんどであった. 特に，桁数が多い数の割り算での誤りが目立った. nlp4plp の方が「チャート式」の問題より計算過程で桁数が大きくなる問題が多くあったため，結果として，nlp4plp の方が最終的な解答誤りが多くなったと考えられる。また，計算途中で分数を小数に変換してしまう解答も多く, 丸め誤差により最終的な解答が誤っているものも多かった．そのため，途中の計算は分数のままで計算させる方が計算誤りは防げるのではないかと考えられる。

表 2 に示した通り，「チャート式」の問題では，円順列・じゅず順列，重複順列の問題で特に解答精度が低かった. GPT-4 で事前学習されているデータは，英語のテキストが多いと考えられるが，英語で書かれた円順列やじゅず順列，重複順列の問題が少ない可能性がある．そのため，これらのテーマの問題を解かせる際に，これらのテーマに関する前提知識を与えることで，精度が向上する可能性がある。最終的な計算結果と解法の過程のどちらも不正解である問題は，「チャート式」の問題では $35.19 \% も$ あった.これらの問題は, 問題設定の認識が不正確で，考慮すべき条件の欠落や，問題に記載された数量に関する認識誤りなどによるものである. 問題設定に関する認識誤りは，各テーマの問題を解く際に必要な前提知識を追加することで精度向上が図れる可能性がある.

## 4 前提知識の考慮

前節で考察したように，GPT-4 による確率問題の自動解答では，計算誤りや問題設定に対する認識誤りなど，様々な原因により解答を誤ってしまう．従来研究にもあったように，GPT-4 による計算誤りの精度を上げる方法は，現在のところ明らかになっていない. しかし，前提知識の不足については，プロンプトで知識を追加して解答精度を上げられる可能性があるため, 解答精度向上に有効な前提知識について検討を行った。前提知識を考慮することで，正解となった問題を以下に示す.

## 4.1 考え方の考慮

問題の考え方を示すことで正解となったものを以下に示す.

$<$ 問題 $>$

白色カードが 5 枚，赤色カードが 2 枚，黒色カー ドが 1 枚ある. 同じ色のカードは区別できないものとして，この 8 枚のカードを左から 1 列に並べるとき，次のような並べ方は，それぞれ何通りあるか.赤色カードが隣り合う

$<$ GPT-4 による解答 $>$

2 枚の赤色のカードを 1 つのグループと見なし, 白色のカード 5 枚, 赤色のカードのグループ 1 つ，黒色のカード 1 枚の 7 つの要素を並べる. $7 * 6 * 5 * 4 * 3 * 2 * 1=5040$ 通り.

<前提知識を追加したときの解答>

赤色カードが隣り合う場合，赤色カードを 1 つのグループと考え，白色カード 5 枚，黒色カード 1 枚，赤色カードのグループ 1 つの 7 つの要素を並べる.並べ方は 7 要素の順列で, 同じものがある順列の公式を用いると， $7 ! /(5 ! * 1 ! * 1 !)=42$ 通り.

$<$ 追加した前提知識 $>$

同じ色のカードは区別できないという部分を理解できていなかったため, 次の前提知識を追加した.
「ただし，区別ができないため，例えば $(1,2) ，(2,1)$ は同じ場合と考える.」

区別できないものについてどのように考えればよいか前提知識を与えた結果，正解に導くことができた. 確率問題ではさいころの大小や球の色など，区別するときとしないときで解法が異なり，特に， GPT-4 は区別しない問題を区別するものとして解くことが多かった. そこで前提知識として，区別ができない場合の具体例を示すことで解決することができた. このことから，問題の考え方は，具体例を示すことで解けるようになると考える。

## 4.2 解き方の考慮

問題の解き方を考慮することで正解となったものを以下に示す.

$<$ 問題 $>$

6 人の生徒 A，B，C，D，E，F が丸いテーブルに座る.このとき，A，B が隣り合う並び方は何通りあるか.

$<$ GPT-4 による解答 $>$

A と B 1 つのグループと見るとこのグループと $\mathrm{C}, \mathrm{D}, \mathrm{E}, \mathrm{F}$ の 5 つの要素を丸いテーブルに座らせるので, $5 !=120$ 通り. グループ内の A と B の座る位置は 2 通り。A と B が隣り合う並び方は， $120 * 2=240$通り。

<前提知識を追加したときの解答 $>$

5 つの要素（グループ $\mathrm{AB}$ と $\mathrm{C}, \mathrm{D}, \mathrm{E}, \mathrm{F} ） を丸$ いテーブルに座らせる場合の数は $(5-1) !=4 !=24$. グループ $\mathrm{AB}$ 内で $\mathrm{A}$ と B が座る場合の数は 2 !. A， B が隣り合う並び方は $24 * 2=48$ 通り.

$<$ 追加した前提知識 >

GPT-4 による解答では，円ではなく 1 列であるときの解き方をしていたので，次の前提知識を追加した.「なお，異なる $\mathrm{n}$ 個の円順列の総数は $(\mathrm{n}-1)$ !」

円に並んでいるにもかかわらず，1 列に並ぶときの公式を用いて解いていた. そのため，円順列の公式を前提知識として追加することで正解に導くことができた.このことから，GPT-4 には円順列についての前提知識が少なかったため, 解き方として公式を与えることで解くことができたと考える.

## 5 その他のエ夫

前提知識の考慮以外で，プロンプトの追加により正解となった問題を以下に示す.

## 5.1 言葉の曖昧性の考慮

問題文の曖昧性の解消により，正解となったものを以下に示す.

$<$ 問題>

50 人の生徒の中でバス通学の者は 28 人, 自転車通学の者は 25 人，どちらでもない者は 10 人である. バスと自転車の両方で通学している者の人数を答えよ.

$<$ GPT-4 による解答 $>$

バス通学の者と自転車通学の者は $28+25=53$ 人.生徒の総数は 50 人なのでバスと自転車の両方で通学している者は $53-50=3$ 人.

<提案手法による解答 $>$

バスや自転車を使って通学している者は $50-10=40$人. バスと自転車の両方で通学している者は $28+25-40=13$ 人.

$<$ 追加した前提知識 >

どちらでもない者を考慮できていなかったため,「どちらでもない者」を「バスも自転車も使わずに通学している者」という具体的な言葉で説明した.

言葉の曖昧性の考慮は，特に日本語の問題で有効だと考える。理由として，日本語には英語よりも曖昧な言葉が含まれていることが多いからである。そのため，曖昧な言葉は具体的に説明することで解けるようになると考える。

## 6 おわりに

本研究では, 大規模言語モデル GPT-4 の数学問題の自動解答における解答精度の低下の原因を明らかにし, 不足した部分を補うことで数学問題の自動解答の精度向上を目指した. その結果, 各問題に必要な前提知識を付与することは，解答精度の向上につながることが分かった. しかし，追加すべき前提知識が問題によって異なることから，今後の課題とし $\tau$ ，個別学習に利用するには自動的に問題文から追加すべき前提知識を把握し, 考慮する必要があることだといえる.

## 参考文献

[1] Anton Dries, Angelika Kimming, Jesse Davis, Vaishak Belle, Luc De Raedt. Solving probability problems in natural language. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, pp. 3981-3987, 2017.

[2] Simon Suster, Pieter Fivez, Pietro Totis, Angelika Kimmig, Jesse Davis, Luc De Raedt, Walter Daelemans. Mapping
probability word problems to executable representations. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3627-3640, 2021.

[3] Chuanyang Zheng, Zhengying Liu, Enze Xie, Zhenguo Li, $\mathrm{Yu}$ Li. Progressive-hint prompting improves reasoning in large language models. arXiv preprint arXiv:2304.09797, 2023.

[4] Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig. Pal: Program-aided language models. In International Conference on Machine Learning, pp. 10764-10799, 2023.

[5] Xu Zhao, Yuxi Xie, Kenji Kawaguchi, Junxian He, Qizhe Xie. Automatic Model Selection with Large Language Models for Reasoning. arXiv preprint arXiv:2305.14333, 2023.

[6] 岡谷基弘. GPT-4 による足し算実験から示唆される Large Language Models $の$ 課題. 人工知能学会, 汎用人工知能研究会, SIG-AGI-024-02, 2023.

[7] 星野泰也. 新課程チャート式解法と演習数学 I+A.第 23 刷, 数研出版, 2015 .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 早押しクイズの名数問題における解の妥当性を考慮した解答を するための СоT プロンプトの構築

杉山宏輝 1 角康之 ${ }^{1}$
1 公立はこだて未来大学
h-sugiyama@sumilab.org
sumi@fun.ac.jp

## 概要

本研究では, 早押しクイズの名数問題における解の妥当性を考慮した解答を言語モデルに出力させる方法を提案する. 通常の早押しクイズでは解の妥当性を考慮することで，一見答えが確定していない段階での解答の正答率を高めることができ, 言語モデルにおいても同様のことが期待できる. 具体的な手法として, Chain-of-Thought(CoT) プロンプト [1]を用いて, 妥当性を考慮した思考過程とそこから得られる解答を出力する. 妥当性には, 仲間はずれ, 文字列の類似, 難易度, 順序の 4 種類あり [2], それぞれ問題と思考過程を含めた解答をプロンプトとして与える。

## 1 はじめに

通常の質問応答タスクでは問題文が全文与えられるため純粋な知識量が重要となるが, 早押しクイズは他者よりも早くボタンを押して解答権を得る必要があるため, 問題文の途中, より早い段階での解答が求められ, 知識量に加えて問題文の推測能力も必要となる. 早押しクイズを解くシステムとしては Watson[3] を始め, 研究されてきているが, 多くは解答のために十分な文量を要し, 人間のクイズプレイヤーほどの早さで解答することは難しい. 早押しクイズには構文や答えとしての自然さがあり [4], それらをもとに問題文を推測することで, 一見答えが確定していないような段階での解答が可能となっている. 例えば，「『歳時記』における季語の 5 つの分類とは，「春」「夏」「秋」「冬」と何でしょう？」という問題がある. 通常, 『『歳時記』における季語の 5 つの分類とは,」の段階では「春」「夏」「秋」「冬」「新年」の 5 択であり, 1 つに絞り込むことはできない. しかし,多くのクイズプレイヤーは「新年」と答え
ることができると考えられる.なぜなら「春」「夏」「秋」「冬」は四季として慣れ親しんだ季節であるのに対し，「新年」は多くの場合季節として認識していない. 歳時記ではそれが一季節として分類されているという意外さから，「新年」を答えとするのが最も自然だからである.こうした答えとしての妥当性を, 言語モデルが推測できるようにすることで, 早押しでの質問応答タスクでも正答することができるようになると期待できる. 本研究では, CoTを用いて, 名数問題を対象に, 問題文の前半で解答する方法を提案する。

## 2 関連研究

今回用いる Chain-of-Thought という手法は, ある問題に対する解答を, 思考過程をいくつかの段階に分けて例示することで, 最終的な精度の向上を図るものである [1]. 算術推論, 常識推論, 記号的推論において精度の向上が見られた. 日本語においても有効性が示されている.[5]

海外の早押しクイズにおける研究 [6] では, 複数のモデルを組み合わせ,ランダムな位置で切り捨てた問題文で学習させた結果, NIPS 2017 で行われた質問応答のコンペティションで優勝し, 人間のクイズ王 6名に対して勝利を収めている. しかし, 複数の文からなる形式のクイズ「Quiz bowl」の問題を用いた検証において, 全文が与えられた場合の正解率は $96 \%$ だったが, 単一の文では $56 \%$ にとどまった. これは最適な押しポイントは学習できておらず, 推定精度が問題文の情報量に依存しているためと考えられる.本研究では,名数問題において問題文の前半に得られる解候補から, 後半の情報を聞くことなく正解することを目指す.また, 日本語の早押しクイズを題材とした研究 $[7,8]$ では, パラレル問題を調査し, その構造と対比関係を明らかにしている. パラレル問題

とは「アイルランドの首都はダブリンですが, アイスランドの首都はどこでしょう？」のような早押しクイズ特有のひっかけ問題のことである. 対比関係を対義, 連続, 一対一対応, 音・表記の一致と定義づけ,それらを元に問題や解の自動生成を行った.このことから, 早押しクイズ特有の要素は解の推定に関係があり, 本提案においても有効であると考える。

## 3 名数問題と妥当性

ここでいう名数問題とは, 以下のような形式で, あるグループ W の中から答えとなる要素以外を列挙し,残ったものを聞く問題のことを指す。

問題 : $W$ とは, $w_{1}, w_{2}, \ldots, w_{n-1}$ と何でしょう? 答え:

$w_{n}$

名数問題の妥当性は, 以下の 4 つに大別される.[2]

仲間外れ解候補のうち, 他に共通している上位概念がないもの.

例題 : 世界四大珍獣に数えられる 4 種類の動物とは、ジャイアントパンダ、コビトカバ、オカピと何でしょう?答え：ボンゴ

解説：「ジャイアントパンダ」「オカピ」「コビトカバ」の3 種がまとめて世界三大珍獣と呼ばれるため, ボンゴが仲間外れとなる。

文字列の類似度解候補のうち, 文字の表記や音が 1 つだけ似ていないもの.

例題：オリオン座の中央にある 3 つ星を構成しているのは、アルニタク、アルニラムと何でしょう？答え:ミンタカ

解説：「アルニラム」「アルニタク」という似た音の単語と比べ、「ミンタカ」は明らかに音が異なっていることがわかる.

難易度解候補のうち, 知名度が低いなどして 1 つだけ単語の難易度が高いもの

例題：一般に「世界三大料理」と呼ばれる料理とは、 フランス料理、中華料理と何料理でしょう？答え： トルコ料理

解説：「フランス料理」「中華料理」に比べ「トルコ料理」はあまり一般的ではなく、単語としての難易度が高いといえる。

順序日付など何かしらの番号が付与されている単語の順番

例題 : 京都三大祭といえば、5 月の葵祭、7 月の祇園祭と 10 月にある何祭でしょう？答え：時代祭解説: 葵祭は 5 月, 祇園祭は 7 月, 時代祭は 10 月に開催されるため, 葵祭＜祇園祭＜時代祭という順序関係が存在する。

## 4 プロンプトの構築と評価

名数問題に解答するためのプロンプトの構築と評価用の問題の選定、および各プロンプトを用いて大規模言語モデルで解いた場合の評価をする. 例題として利用した問題と解答を図 1 に示す.

## 4.1 プロンプト

CoT プロンプトの shot として用いる 8 問の問題と思考過程を含む解答を作成した. 問題は 4 種類の妥当性が全て含まれるように採用し、計 8 問の例示とした.プロンプトの構成は実際にクイズを行っているときの思考過程に沿って 1) 解候補の列挙 2) 理由付け 3) 最終的な答えとした.

## 4.2 評価データ

クイズを題材にした質問応答のコンペティションである AI 王1) で配布されている問題 (22,335 問) から, 351 問の名数問題を採用した.

## 4.3 評価設定

構築したプロンプトを用いて大規模言語モデルに評価データを解かせ, 正解率を調べる. モデルは日本語のモデルである Japanese Stable $\mathrm{LM}^{2}$ )を使用し標準プロンプトと CoT プロンプトの 2 種類で精度を比較する. 標準プロンプト 8- shot, CoT プロンプト 8-shot で行い, 標準プロンプトは問題の直後に”答えは「” を置き, CoT プロンプトは”解答：”を置く. 問題文は選択肢が確定する前振り（問題文前半）までを入力とした. 正誤判定は、CoT プロンプトにおいては出力の表記ゆれが激しいため（答えは「〜」，正解は 「〜」, 最後は「〜」など）, 最終的に言っている単語を解答とみなし、人手で判断した。

## 4.4 結果と考察

結果を表 1 に示す. 標準プロンプトを用いた場合と CoT プロンプトを用いた場合で正解率の差はほとんど見られなかった.CoT プロンプトによって正解率

1) https://sites.google.com/view/project-aio/dataset?authuser=0

2) https://huggingface.co/stabilityai/japanese-stablelm-base-alpha$7 \mathrm{~b}$

図 1 CoTプロンプト

が向上しなかった原因はさまざま考えられるが, 1 つは解候補列挙段階でのハルシネーションの影響が大きいと考えらえる. 問題 2(表 2) のように、列挙した中に正答が含まれていなければ, 最終的に正解することはほとんど不可能である. また, 理由付けとして妥当な推論ができていないことがほとんどであった. 問題 3,4 のように, 列挙した解候補は正しいにもかかわらず、推論が支離滅裂になってしまい, 答えを間違ってしまう場合も多い. これは 8 -shot の例示では思考過程を十分に学習できなかったことが原因であると考えられる. 関連研究 [5] では 1つのタスクにつき 8 つ例示であったが, 本研究では 4 種類の妥当性全て含めて 8-shot であり, 各妥当性につき 1-3つの例示しかできていなかったため, 理由付けを推論するための十分な情報が無かったと考えられる. 中には問題 1 のように, カースト階級の順序を正確に把握し，一番最後のシュードラを答えとするなど, 理想的な推論結果も得られており,これらは CoT によって妥当性を考慮した推論を学習できた結果で
あると考えられる。

表 2 問題とモデルの出力例

問題 1 : 古代インドのカースト制度における主要な $\mathbf{4}$ 階級

とは, バラモン,クシャトリヤ,ヴァイシャと何でしょう?

解答：古代インドにおけるカースト制度は, バラモン, クシャトリヤ,ヴァイシャ,シュードラの 4 つで構成されている. バラモンはカーストの最上位に位置し,クシュトリヤはバラモンに次ぐ地位, ヴァイシャはクシャトリアに次ぐ地位であり, シュドラは最下位に位置している.よって,最後に問われるのはシュードラである.（正解）

問題 2 : 夏目濑石の前期三部作といえば,『三四郎』『それから』と何?

解答：夏目漱石の前期三部作は「吾輩は猫である」,「坊っちゃん」,「草枕」のつである.一番知名度が低いのは「草枕」のため, 最後に聞かれるのは「草枕」である.よって答えは「草枕」(不正解)

問題 3：「六法」と呼ばれる 6つの法律といえば、憲法、民法、民事訴訟法、刑法、刑事訴訟法と何でしょう?解答 : 六法とは、憲法、民法、刑法、商法、民事訴訟法、刑事訴訟法の 6つである。「六法全書」という書籍は存在しないため、六法といえば六法である（不正解）

問題 4 : ロシアの作曲家、チャイコフスキーの三大バレエ音楽といえば、『白鳥の湖』『くるみ割り人形』と何でしょう?

解答 : チャイコフスキーの三大バレエは、白鳥の湖、眠れる森の美女、くるみ割り人形の 3 曲である。白鳥の湖の次に聞かれるのがくるみ割人形であるため、最初に聞かれる曲は白鳥の曲である。「白鳥の歌」は白鳥の曲の別名である。(不正解)

問題 5 : 太陽系の惑星の中で衛星をもっていない 2 つ惑星とは、水星と何でしょう?

解答 : 水星と金星である。水星は太陽に近く、金星は地球に近くて、どちらも衛星をもたない。よって最後に聞かれのは金星であり、答えは「金星」(正解)

## 5 おわりに

本研究では, 早押しクイズの名数問題における解の妥当性を考慮し, 問題文の途中で解答するための CoT プロンプトの構築と検証を行った. 8 -shot の標準プロンプトと CoT プロンプトで正解率の差は見られなかったが, 理想的な推論結果が得られた出力もあり, 今後に期待できる結果となった. 妥当性の無い推論なども数多くあったが, CoT はモデルサイズが大きいほど効果が高いということが知られているため, 今回検証した $7 \mathrm{~b}$ よりも大きいサイズのモデルや,例次数を増やした検証もしていきたい. また, ハルシネーションへの対策として, Retriever を機構を組み込み, 外部知識を参照できるようにする必要がある。

## 参考文献

[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837, 2022.

[2] 杉山宏輝, 角康之. 早押しクイズの解候補の絞り込み. インタラクション 2023 論文集, pp. 1014-1018, 2023.

[3] JDavid Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building watson: An overview of the deepqa project. Al Magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[4] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[5] 堀尾海斗, 村田栄樹, 王昊, 井手竜也, 河原大輔, 山崎天, 新里顕大, 中町礼文, 李聖哲, 佐藤敏紀. 日本語における chain-of-thought プロンプトの検証. 人工知能学会全国大会論文集, 2023 .

[6] Ikuya Yamada, Ryuji Tamaki, Hiroyuki Shindo, and Yashiyasu Takefuji. Studio ousia' s quiz bowl question answering system. In The NIPS '17 Competition: Building Intelligent Systems, pp. 181-194, 2018.

[7] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技クイズ・ パラレル問題の基本構造と文型. 語処理学会第 27 回年次大会発表論文集, pp. 1420—-1424, 2021.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 早押しクイズのパラレル問題の自動生成. 語処理学会第 28 回年次大会発表論文集, pp. 832-837, 2021.


# RALLE: A Framework for Developing and Evaluating Retrieval-Augmented Large Language Models

星康人* 宮下大輔* Youyang Ng 立野賢登 森岡靖太 鳥井修 出口 淳
キオクシア株式会社
yasutol.hoshi@kioxia.com

## 概要

Large Language Model (LLM) と検索を組み合わせた retrieval-augmented large language model (R-LLM) の効率的な開発と定量的な評価を可能とするフレームワーク, RALLE (Retrieval-Augmented LLM Development and Evaluation)を提案する ${ }^{11}$. 既存の R-LLM 開発用フレームワークとは異なり，RALLE は検索や生成などの個々の推論過程を動作させながら行うプロンプト開発や，構築した R-LLM に対して任意のベンチマークデータセットを用いた定量的な評価を実現する。

## 1 はじめに

Large Language Model (LLM) は，自然言語の理解と生成において高い能力を持つことが知られている $[2,3,4]$. しかし，LLM は事実に関する質問応答において, hallucination $[5,6]$, モデルが持つ古い知識 [7], 記憶効率 [8] 等の課題を持つ. これらの課題の軽減策として，LLM と検索を組み合わせた retrieval-augmented large language model (以下， R-LLM) が有望視されている [9].

R-LLM は，モデル外部のデータベースに保存された情報を検索して推論に利用することができ $[9,10]$ ，オープンドメイン QA における精度向上をもたらすことが知られている [11]. さらに，R-LLM を用いることで，hallucination の抑制 [12]，知識原の更新の容易さ $[13,10]$, 参照した情報が明確，などの利点を追加学習なしで得られる。

しかし，R-LLM の効率的な開発や，R-LLM の応答性能の定量的な評価を実現する仕組みの整備は不十分である. R-LLM 構築に用いられる ChatGPT

Retrieval Plugin ${ }^{2)}$, Guidance ${ }^{3)}$, LangChain [14]のようなフレームワークは抽象度が高 ${ }^{4)}$ ，検索や生成などの個々の推論ステップの機能の検証やプロンプトの最適化が困難である。また，これらのフレームワークでは任意のベンチマークを用いた R-LLM の定量的な性能評価をサポートしていない.

そこで, 本論文では R-LLM の開発と評価のためのフレームワークである RALLEを提案する. RALLE を用いることで，R-LLM の効率的な開発，および客観的な評価指標を用いた性能評価が可能となる.

## 2 RALLe の使い方

図 1 に RALLEの主な特徴を示す5).RALLeを用いた R-LLM 開発の主な流れは，(1) 知識源となる文書の埋め込みと indexing, (2) R-LLM の推論チェー ンの設計，(3) 開発した R-LLM の評価，という 3 つの要素で構成される.

(1) 知識源となる文書の埋め込みと indexing では,任意の文書検索器を用いて文書をエンコードし，任意のアルゴリズムで indexing する．RALLE では密ベクトルの index として Faiss Flat index [15], HNSW [16], DiskANN [17] がデフォルトで利用可能である.

(2) R-LLM の推論チェーンの設計では, 検索器と LLM を組み合わせて，特定の用途に適した様々な推論パイプラインを設計できる．単一アクションのチェーンは，LLM を用いた closed-book QA システム，ないし検索器を用いて検索結果を返すシステムとなりうる。複数アクションで構成されるチェー ンは，シンプルな retriever-reader の他, 検索用にクエリ書き換えを伴う [18] のような複雑な R-LLM のワークフローとなりうる. 推論チェーンの設計は, Gradio [19] ベースの GUI 上で行うことができる.

図 1 RALLEの概要. R-LLM を構成するアクションは任意の数定義できる．個々のアクションは個別に実行でき，そのアクションで定義されているプロンプトをテストできる. 評価実験の設定や結果は MLflow で管理できる．チャット画面で，構築したR-LLMをテストできる.

RALLEでは，LLMや検索（クエリの加工）に用いるプロンプトテンプレートをインタラクティブに開発できる. 各アクションを独立に実行でき(図 1 右下)，各アクションの出力を確認しながらプロンプトテンプレートを改善できる. より汎用なプロンプトテンプレートの開発のために, RALLE は Python の f-strings と eval 関数をサポートしている.

(3) 開発した R-LLM の評価は，独自の QAデータセットを含む任意のベンチマークデータセットを用いて可能である ${ }^{6)}$. 開発した R-LLM の評価は GUI 上で開始できる. 実験の追跡には MLflow [20] が利用でき，R-LLM の設定ファイルやプロンプトテンプレートを追跡できる.これにより，異なる実験設定における精度を比較でき，より優れた R-LLM の開発に寄与しうる。

さらに, RALLE はチャットインターフェースの構築もサポートしており, 開発者は構築した R-LLM をチャット画面で試験できる（図 1 右上）.

## 3 実験設定

本章では，オープンソースの検索器と LLM を組み合わせて構築した R-LLM の性能を, 知識集約型タスクで評価する際の実験設定を述べる.

## 3.1 タスクとデータセット

評価には KILT (Knowledge Intensive Language Tasks) ベンチマーク [21]を用いる. KILT ベンチマークは, 計 5 つの知識集約型タスク (fact checking, entity linking, slot filling, open-domain question answering, and dialogue) にわたる計 11 のデータセットからなるべンチマークである. KILT の学習セットをプロンプ卜開発に使用し，開発セットを評価に使用する.検索対象の知識源として, KILTが提供する前処理済みの Wikipedia パッセージ集を使用する．このパッセージ集は, 2019 年 8 月 1 日の英語版 Wikipedia ダンプデータから作られており，計 590 万記事と 2220 万の 100 単語パッセージで構成される. 本稿では，各パッセージに記事のタイトルを付加する前処理を行ったパッセージを検索に使用する.

## 3.2 ベースライン

モデル外部の知識を用いない closed-book 設定のベースラインとして BART-large モデル [22], および open-book 設定のベースラインとして RAG モデル [23]の結果を用いる. これらのベースラインモデルは KILT ベンチマークで fine-tune されているのに対し, 本稿の実験で用いた LLM および我々が構築した R-LLM はそのような fine-tune がなされていない点に注意されたい.

表 1 KILT ベンチマーク開発セットにおける下流タスクの精度.太字と下線はそれぞれ最も良い値，2 番目に良い值を示す. 括弧内の值は，出力纪 gold answer が含まれる割合を意味する has_answer の値を示す. 灰色の数字は，与えられた設定で結果が変わらないため，上の行からコピーしたものである。 ${ }^{8}$ : KILT 論文 [21] で示されている值を引用．注： BART-large と RAG モデルは KILT で fine-tune 済みである.

## 3.3 文書検索器

文書検索器として, sparse 検索器と dense 検索器を使用する. Sparse 検索器として，Pyserini [24] の unigram BM25 [25] を使用する ${ }^{7)}$. Dense 検索器として, Massive Text Embedding Benchmark (MTEB) [26] のリーダーボード上で 2023 年 7 月時点で Retrieval タスクにおける精度が高いモデルを使用する（付録の表 5 を参照)。具体的には, e5-large-v2 ${ }^{8}$ (e5) [27] と multilingual-e5-large ${ }^{9)}(\mathbf{m}-\mathbf{- 5})$ を使用する.

検索結果を参照して回答する open-book 設定では, クエリとの関連度が最も高い上位 5 つの文書を取得して回答に使用する。検索性能の指標とし $\tau$ ， page-level R-precision [28] を用いる。これは，検索された上位 $R$ の記事のうち $R$ 個の gold ページが含まれる割合を意味する. FEVER と HotPotQA（マルチホップデータセット）を除き，R-Precision は Precision@1 と等価である.

## 3.4 LLM

R-LLM で使用する LLM は，プロンプトで与えられる指示を理解し，適切な応答を生成しなければならないため, instruction tuning がなされた LLM を使用する。このため本稿では，Llama-2-chat [29] の
=0.9$ （単語頻度スケー リング）と $b=0.4$ （文書長正規化）を使用.

8) https://huggingface.co/intfloat/e5-large-v2

9) https://huggingface.co/intfloat/ multilingual-e5-large
}

13B (Llama2-13B) と 70B (Llama2-70B) モデル，および WizardVicunaLM-13B ${ }^{10)}$ (W-Vicuna-13B) [30] を用いる。最適な性能と再現性を得るために，LLM の温度パラメータは 0 に設定する。

## 3.5 プロンプト

実験に用いるプロンプトテンプレートは，KILT の各データセットに対して，学習セットを用いて人手で設計する. RALLEでは，自然言語以外の形式である Python の f-strings と eval 関数を用いたプロンプトテンプレートが使用でき，より柔軟なプロンプトテンプレートの設計を可能である．実験に使用したプロンプトテンプレートの一部を付録 A に示す.

## 4 評価結果

本章では，RALLEを用いて開発したR-LLM の評価結果について述べる。

## 4.1 下流タスクの性能

KILT ベンチマークにおける下流タスク性能を表 1 にまとめる. 我々が構築した R-LLM (e5 + Llama270B) は，RAG モデルと異なり KILT で fine-tune されていないにもかかわらず，HoPo と TQA データセッ卜において RAG モデルの精度を上回った. また，我々が構築した R-LLM はこれ以外のデータセットでも許容可能な精度レベルを示していることから，
 vicuna-13b

表 2 KILT ベンチマークの開発セットにおける検索性能. Avg. は，各データセットにおける検索精度のマクロ平均．太字は最良の値を示す. ${ }^{8}$ KILT 論文 [21] で示されている值を引用.

表 31 問あたりの実行時間 (sec/Q). Memory は，検索時の最大の DRAM 使用量を示す。

本研究で用いた LLM が検索結果を読解するための能力をある程度有することが示唆される。

さらに表 1 から，検索を用いた生成（ELI5を除く)，LLM の大規模化（FEV と T-REx を除く），参照する関連文書数の増加（NQ，HoPo，TQA，WoWを除く）が，下流タスクの性能向上に寄与しうることが示唆される。しかし, これらの傾向の例外が数多く見られること，また has_answer の值に比べて精度が低い場合があること（FEV，T-REx，NQ，TQAなど）から，プロンプトや推論チェーンの改良，ないし読解に適した LLM の構築など，生成における改善の必要性が示唆される. いずれにせよ，R-LLMの定量的な評価結果は, 構築した R-LLM の改善点の特定につながると考えられる。

## 4.2 検索精度

表 2 は KILT 開発セットにおける検索精度を示す. KILT における検索精度の平均は e5 (Flat index) が最も高いことが分かる．また，e5 の検索精度は RAG モデルより高いにもかかわらず，e5を採用した R-LLM の下流性能は RAG モデルに及んでいない （表 1）.このことは，構築した R-LLM の生成の部分において改善の余地があることを示唆しており，この考察は 4.1 節の考察と一貫している.

## 4.3 実行時間の解析

表 3 に，実行時間と精度のトレードオフを示す. R-LLM の実行時間は LLM による生成が大部分を占めること，また HNSW や DiskANN などの近似最近傍探索アルゴリズムを使用することで，検索時間を短縮できる一方で検索精度は低下することが分かる.このため，近似最近傍探索による実行時間短縮の効果は限定的であると思われるが，DiskANN はメモリ使用量が比較的少ないことから，利用可能な DRAM 容量に制限がある場合には DiskANN などの技術が実用的な解決策となることも考えられる. 速度と精度のバランスはアプリケーションの要件によって異なるが，このような様々な実験設定での評価結果は R-LLM 開発に貢献すると考えられる.

## 5 おわりに

本稿では，R-LLMを開発・評価するためのフレー ムワークである RALLEを提案した．RALLEを用いてR-LLMを構築し，KILT ベンチマークで評価したところ，我々が構築した R-LLM は KILT ベンチマー クデータセットで fine-tune されていないにもかかわらず，ある程度の回答精度を示すことが判明した。 RALLE が今後の検索拡張生成の研究開発に貢献することを期待する。

## 参考文献

[1] Yasuto Hoshi, Daisuke Miyashita, Youyang Ng, Kento Tatsuno, Yasuhiro Morioka, Osamu Torii, and Jun Deguchi. RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented Large Language Models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 52-69, Singapore, December 2023. Association for Computational Linguistics.

[2] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, et al. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[3] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, et al. PaLM: Scaling Language Modeling with Pathways. Journal of Machine Learning Research, Vol. 24, No. 240, pp. 1-113, 2023.

[4] OpenAI. GPT-4 Technical Report. arXiv preprint arXiv:2303.08774, Vol. abs/2303.08774, 2023.

[5] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie, et al. A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity. arXiv preprint arXiv:2302.04023, 2023.

[6] Ali Borji. A categorical archive of ChatGPT failures. arXiv preprint arXiv:2302.03494, 2023.

[7] Adam Liska, Tomas Kocisky, Elena Gribovskaya, et al. StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in Question Answering Models. In Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 13604-13622. PMLR, 17-23 Jul 2022.

[8] Benjamin Heinzerling and Kentaro Inui. Language Models as Knowledge Bases: On Entity Representations, Storage Capacity, and Paraphrased Queries. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1772-1791, Online, April 2021. Association for Computational Linguistics.

[9] Grégoire Mialon, Roberto Dessi, Maria Lomeli, Christoforos Nalmpantis, Ramakanth Pasunuru, Roberta Raileanu, et al. Augmented Language Models: a Survey. Transactions on Machine Learning Research, 2023. Survey Certification.

[10] Youyang Ng, Daisuke Miyashita, Yasuto Hoshi, Yasuhiro Morioka, Osamu Torii, Tomoya Kodama, and Jun Deguchi. SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool. arXiv preprint arXiv:2308.03983, 2023.

[11] Weijia Shi, Sewon Min, Michihiro Yasunaga, Minjoon Seo, Rich James, Mike Lewis, Luke Zettlemoyer, and Wen-tau Yih. RePlug: Retrieval-augmented black-box language models. arXiv preprint arXiv:2301.12652, 2023.

[12] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, et al. WebGPT: Browser-assisted question-answering with human feedback. arXiv preprint arXiv:2112.09332, 2021.

[13] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval Augmented Language Model Pre-Training. In Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 3929-3938. PMLR, 13-18 Jul 2020

[14] Harrison Chase. LangChain, 2023. https://langchain. $\mathrm{com} /$.

[15] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[16] Yu A. Malkov and D. A. Yashunin. Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 42, No. 4, pp. 824-836, apr 2020.
[17] Suhas Jayaram Subramanya, Fnu Devvrit, Harsha Vardhan Simhadri, Ravishankar Krishnawamy, and Rohan Kadekodi. DiskANN: Fast Accurate Billion-point Nearest Neighbor Search on a Single Node. In Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[18] Xinbei Ma, Yeyun Gong, Pengcheng He, Hai Zhao, and Nan Duan Query Rewriting in Retrieval-Augmented Large Language Models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 5303-5315, Singapore, December 2023. Association for Computational Linguistics.

[19] Abubakar Abid, Ali Abdalla, Ali Abid, Dawood Khan, Abdulrahman Alfozan, and James Zou. Gradio: Hassle-Free Sharing and Testing of ML Models in the Wild. arXiv preprint arXiv:1906.02569, 2019.

[20] LF Projects. MLflow - a platform for the machine learning lifecycle, 2023. https://mlflow.org/.

[21] Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, et al. KILT: a Benchmark for Knowledge Intensive Language Tasks. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2523-2544, Online, June 2021. Association for Computational Linguistics.

[22] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, et al. BART: Denoising Sequence-toSequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[23] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[24] Jimmy Lin, Xueguang Ma, Sheng-Chieh Lin, Jheng-Hong Yang, Ronak Pradeep, et al. Pyserini: A Python Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations. In Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021), pp. 2356-2362, 2021.

[25] Stephen Robertson and Hugo Zaragoza. The Probabilistic Relevance Framework: BM25 and Beyond. Found. Trends Inf. Retr., Vol. 3, No. 4, pp. 333-389, apr 2009.

[26] Niklas Muennighoff, Nouamane Tazi, et al. MTEB: Massive Text Embedding Benchmark. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 2014-2037, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[27] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, et al. Text embeddings by weakly-supervised contrastive pre-training. arXiv preprint arXiv:2212.03533, 2022.

[28] Nick Craswell. R-Precision. pp. 1-1, 2016.

[29] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, et al. LLaMA 2: Open Foundation and Fine-Tuned Chat Models. arXiv preprint arXiv:2307.09288, 2023.

[30] June Lee. WizardVicunaLM, 2023. https://github.com/ melodysdreamj/wizardVicunaLM.

[31] Ori Ram, Liat Bezalel, Adi Zicher, Yonatan Belinkov, Jonathan Berant, and Amir Globerson. What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2481-2498, Toronto, Canada, July 2023. Association for Computational Linguistics.

表 4 本稿の評価実験で使用したプロンプトテンプレートの一部．左フック矢印っは，改行を意味する．より柔軟なプロンプトテンプレート開発のために，RALLE は Python の f-strings と eval 関数をサポートしている.

表 5 実験に用いた検索器. Dense 検索器の埋め込みの次元数を dim.，モデルへの入力の最大系列長を max len. で示す. “: 文献 [31] より引用.

## A 評価で使用したプロンプトテン プレート

表 4 亿，評価実験で使用したプロンプトテンプレートの一部を示す. 詳細は 3.5 節を参照. Retriever はプロンプトを検索クエリとして関連文書
を検索し，LLM はプロンプトを大力として出力を生成し，Identity はプロンプトの文字列をそのまま出力する。

## B 実験に用いた検索器

表 5 に，実験に使用した文書検索器をまとめる. MTEB [26] の Retrieval タスクにおける評価指標は nDCG@10であり， leaderboard ${ }^{11)}$ 上で公開されている値を示す.
 leaderboard


# RAG における LLM の学習と評価：FAQ タスクへの応用

長澤春希 ${ }^{1}$ 戸田隆道 ${ }^{1}$
1 株式会社 AI Shift
\{nagasawa_haruki,toda_takamichi\}@cyberagent.co.jp

## 概要

大規模言語モデル (Large Language Model: LLM) はその汎用性の高さから, 実応用を含めた様々な利活用が進んでいる. 昨今では文書などを追加入力として与えることで，外部知識を参照させながら LLMを運用する Retrieval-Augmented Generation(RAG) などの手法の有用性が改めて認識されている. 一方で， Low-Rank Adaptation (LoRA) などの軽量な fine-tuning 手法なども確立されつつある.

そこで本稿では，参照知識が限定的な FAQ タスクを例に取り，RAG と比較した際の質問応答タスクにおける LLM fine-tuning の有用性を検討する．並行して，実運用を踏まえた評価についても議論する。

## 1 はじめに

実応用を含めた様々なタスクで使用されるニュー ラル言語モデルは，そのパラメータをより大規模化させることで汎化性能が向上することが明らかになりつつある [1]. その結果数百億にものぼるパラメータを有した大規模言語モデル（LLM）の開発が盛んになっている. LLM は学習の過程でテキストデータからさまざまな知識を獲得しているが，これらは有限のパラメータに閉じたものとなっている [2] [3]. 従って，学習データに含まれていない知識には対応できないなどの問題点が存在する. そこで外部情報として関連した文書などの情報を入力として与えることで，その情報に基づいた出力を促す Retrieval-Augmented Generation (RAG) [4] [5] などの手法が提案されている. これにより, 学習外の情報を利用した推論や，正確な情報の提供による hallucination の抑制などが図られている [6].

RAG は入力されたクエリに関連する文書を検索する Retriever とそれに基づく回答生成を担う Generator によって構成される. 検索対象の文書は任意の系列長 (chunk size) で区切ることにより管理され，この区切り方が後段の文書検索や回答生成の

図 1 実験概要図. (i) 追加学習はせず，推論時に質問と関連文書を与えて回答を生成. (ii) 質問と関連文書に加え，それに対するGPT-4 の模範回答を使用して Causal Language Modeling (CLM) にて学習を実施. 推論時は質問文のみを入力し回答を生成. (iii) は (ii) で学習したモデルに対し，推論時にも関連文書を与えて回答を生成.

品質に影響すると考えられる。例えばある 1 つの事柄について説明する文書を扱う場合，その事柄について述べられていることを特定するために必要な固有名詞などの情報が全く現れない chunk などが生成される可能性がある.これは必要な情報の検索を難しくする要因の 1 つとなると推察される。このような RAG の設計上の複雑さに由来する難点は各所に存在しており，これらの問題を軽減する 1 つの方法として，chunkに対するアテンションを改善する RETRO [7] などの手法が提案されている.

関連して，LLM の効率的な学習という観点から LoRA [8] や Prompt-tuning [9] などの手法も提案されつつある．具体的には，小規模なパラメータ群を追加して学習させるなどの工夫により，学習コストを抑えながら LLM の学習を実現している。

このような技術を背景とし，関連文書を記憶させるようにモデルを学習させた場合，ある程度まとまったパラメータ内の情報へのアクセスが期待できるため，RAG における先述のような問題を緩和できる可能性も伺える. またビジネス運用などの視点から考えると，学習によって出力分布を意図的に偏らせることによって，競合情報やブランドイメージ

を毀損するようなキーワードの出力や言い回しを回避しやすくなるといったメリットも考えられる. 非常に広範なデータで行われる事前学習過程を鑑みると，上述のような fine-tuning の性質は，特定の場面において一定の有用性があると期待される.

そこで本稿では，FAQ タスクにおける LLM の運用を考えた際のモデル学習の有用性を改めて考える. 具体的には追加の学習は実施せずに関連文書を質問とともに入力として与える場合 (図 1(i)）と, 本タスクの文書データを利用して fine-tuning を施し， テスト時には関連文書は与えない場合 (図 1(ii))，および追加学習をしたモデルに対してさらに推論時に関連文書を与える場合（図 1(iii)）の3つを比較することによって検証を行う。

また本稿のような FAQ タスクでの LLM の評価は，確立された評価方法が存在しないため，本稿では評価手法の選定やその解釈についても議論する。

## 2 関連研究

RE-PLUG RE-PLUG [10] は Generator のパラメー 夕は固定し, Retriever の学習を行うことにより性能の向上を図っている. 具体的には, Retriever の文書検索に係る確率分布と Generator の出力を利用することで，質問文が与えられた時の検索精度の改善を行なっている.

RETRO RETRO [7] は Retriever のパラメータは固定して, Generator の chunk に対する attention の張り方を学習することにより，質問応答タスクなどの性能向上を狙ったものになっている.

RA-DIT RA-DIT [11] は Retriever と Generator の両方の学習を行う. Retrieverの学習では KL-Divergence を用いて Generator に適した文書を検索できるようにパラメータを更新する. Generator の学習では, 検索文書が与えられた状況下での正解の尤度を最大化するようにパラメータを更新する。

## 3 性能比較実験：FAQ タスク

## 3.1 データセット

本稿では株式会社 AI Shift によって作成された Ameba FAQ データセット1)を用いて実験を行う.これは株式会社サイバーエージェントが運営する Ameba ブログのヘルプページに掲載されている FAQ

データを収集し，これをもとにLlamaIndex にて提供されている Question Generation ${ }^{2}$ などによって拡張されたデータセットとなっている. データセットの構成としては, 質問内容を表す Title(Query) とそれに対応するように人手で作成された回答文書の Content(Answer) から成る. この Content から新たな質問を生成するなどのアプローチによって，従来の Ameba ブログには掲載されていなかったものを含めてデータセットを拡張している。また各インスタンスには難易度として easy と hard が設定されており，例えばあるインスタンスに対応する関連文書が学習データに登場する場合は easy，テスト時に初めてその文書が登場する場合は hard として分類されている．本実験ではこの回答文書を質問に対する関連文書として定義し, 学習および推論時に利用することとする．また本データセットは学習，評価，テストデータが分離された状態で提供されているため, これをそのまま利用する。ただし今回の検証範囲から，難易度が hard のインスタンスについては，追加学習を施したモデルが回答することは難しいと考えられるため，テストデータでの評価は難易度が easy のもの（687 件）に限定する。

## 3.2 モデル

本稿では扱うデータセットが日本語であるため, モデルとしても日本語を学習したものを調査対象として選定する。具体的な候補とそのモデルについての情報を Appendix 表 4 にまとめる. またモデルは全て 7B 級の同程度のパラメータサイズのものを利用する.これらのモデルについては学習および評価時に用いるプロンプトとして，HuggingFace の各モデルカードページに記載された推奨プロンプトをそれぞれ使用する。またこれらのモデルに加え， GPT-3.5-turbo および GPT-4 についても比較対象として検証する。なお，この 2 つのモデルについては学習手法等を他のモデルと揃えられないため, 学習の対象外とする。

## 3.3 学習設定

クエリの関連文書に対する学習手法については Low-Rank Adaptation (LoRA) [8] を採用する。学習はモデルの重みを 8-bit 量子化した状態で行い，Ameba FAQ の評価データの学習損失が一定ステップ以上改

2) https://gpt-index.readthedocs.io/en/latest/ examples/evaluation/\QuestionGeneration.html\#
表 1 Ragas の Answer relevancy（上段）および BERTScore の F1 值（下段）.

 &  &  &  & ELYZA &  & StableLM &  \\

& 0.673 & 0.679 & 0.614 & 0.594 & 0.664 & 0.671 & 0.669 & 0.607 & 0.637 \\

& 0.747 & 0.731 & 0.710 & 0.756 & 0.721 & 0.757 & 0.753 & 0.809 & 0.719 \\

& - & - & 0.646 & 0.661 & 0.682 & 0.670 & 0.680 & 0.658 & 0.659 \\

LoRA & - & - & 0.713 & 0.751 & 0.741 & 0.742 & 0.747 & 0.745 & 0.732 \\

善しなくなるまで継続する，形式としては，系列として質問文と関連文書情報が与えられた際の GPT-4 の出力を模範解答とした時の系列上での causal language modeling (CLM) による学習を考える3).

## 3.4 推論設定

評価時においては，全てのモデルにおいて 8-bit 量子化を行なった状態で推論を行う. また推論時のハイパーパラメータも共通のものを使用し，ビームサーチによるテキスト生成を実施する ${ }^{4}$.この時, モデルによっては 8-bit 量子化の影響で十分なビー ム候補を出力できず推論に失敗するインスタンスがいくつか確認された. テストデータ全体に対する割合を鑑み，今回は推論に失敗したインスタンスについては除外して評価を行うこととする.

## 4 実験結果

## 4.1 評価指標について

今回は評価指標として Ragas5)の Answer relevancy と BERTScore [12]を使用する．前者についてはLLM 自体を評価者として利用する LLM-as-a-judge [13] の手法となっている. また Answer relevancy について， モデルの出力内容によって評価時に弾かれるインスタンスが数件存在したが，先述の方針に則り，このようなインスタンスは除外した上でスコアを算出する.

しかしながら実際に LLM を駆動させながらの評価となるため，スコアの容易な変動や選好バイアスが一定程度存在し, 安定した結果の考察が難しいという特徵がある. 本稿ではこの事由を踏まえながら，安定したスコア算出が可能である BERTScore も

並行して算出し，性能を考察することとした．比較対象は運用種別（図 1 の各種設定）およびモデル種別とした. 運用種別に関しては，各設定がどれほど有効かを見るために，追加学習を行っていないモデルに質問のみを入力して回答を生成させる設定についても Baseline として評価を行った. 上記スコアによるモデル性能比較の議論が難しい場合については，GPT-4 を評価者とした直接比較によるランキング形式での評価も併せて実施することとした.こちらの評価は，質問と関連文書を鑑みた際に，どの回答が定性的に最も良いかを GPT-4 に自動評価させたものとなっている. ランキングの定量評価としては，情報検索システムの分野で用いられる Mean Reciprocal Rank(MRR)を採用した。これはそれぞれの候補の順位の逆数をスコアとしその平均を算出するものとなっており，取りうる值は $1 / \mathrm{n}$ （n は候補数）から 1.0 となる.

## 4.2 結果と考察

運用種別についての分析表 1 に各種スコアを掲載している. 上段が Answer relevancy の値，下段が BERTScore の F1 値となっている。まず，運用種別における分析（各列での比較）を考えると，ほぼ全てのモデルについて RAG もしくはRAG+LoRAでの運用時にいずれかのスコアが最も高くなる傾向が観察された.しかしながら，全体として一貫した傾向が認められにくいことから，この２者のどちらがより優れているかをこの結果のみにて結論づける事は難しいため，直接比較における MRR スコアの考察にて議論する（表 2).また Answer relevancy については, CyberAgent LM2-chat や ELYZA-instruct などにおいて，Baseline 設定でのスコアが最も高くなるという直感に反した結果が観察された。しかしながら Baseline にて実際に生成された回答は Ameba ブログに対する回答というよりも寧ろより一般的なものと
表 2 各モデルについての運用種別の比較についての MRR スコア. 列単位でのスコア値となっているため，行単位での比較はできないものとなっている. 取りうる値は 0.25 から 1.00 .

 &  &  & ELYZA &  & StableLM &  \\

なっている場合が多く，質問に対する回答としては不十分であると考えられるものとなっていた.このような点においても，LLMによる絶対的な評価の難しさが表層化されたと考えられる.

モデル種別についての分析続いて，モデル種別での分析（各行での比較）を考える. Answer relevancy のスコアを見ると， GPT-4 や GPT-3.5-turbo が比較的高いスコアとなっていることが分かる。またこれに続く形で RAG や RAG+LoRA の設定下における chat や instruction 形式での学習が施されたモデルが高いスコアとなっている。一方で BERTScore の F1 值を見ると, CyberAgentLM2 や ELYZA, StableLM などの CLM のみでの学習が施されたモデルでスコアが高くなる傾向となった. しかしながらこれらのモデルの実際の出力は, 与えられた関連文書の内容を繰り返し出力するなど，FAQ タスクでのユーザへの回答としては定性的に見て適切ではないと考えられる挙動が散見された。

上述のように，実運用を踏まえた上でのモデル毎の絶対的なスコア算出による性能比較には一定の難しさが伴うことが分かる. そこでこれらの出力品質を GPT-4 に比較させることによって，より直接的な比較を試みる ${ }^{6)}$.まずはどの運用形態が優れているかを議論するため，各モデルごとに Baseline， RAG， LoRA，RAG+LoRA を候補に取り比較を行った. その結果を表 2 に示す. 結果より，ほとんどのモデルにおいて RAG+LoRA でのスコアが最大となった. また, chat や instruction 形式で学習したモデルについては, RAG と RAG+LoRA の MRR スコアが比較的近くなっていることが分かる. ただし, 評価者を GPT-4 としているため, LoRA での学習によって self-enhancement bias [13] が助長された可能性は否めないため, 正当な比較である保証は難しいと推察される. よって，これらのモデルに対する fine-tuning の有用性の定量的な測定は厳密には難しく, 実際の出力を比較することによる定性的な評価が肝要だと考えられる。

表 3 直接比較評価による MRR スコア（上段）と順位分布（下段）.MRR スコアの取りうる値は 0.333 から 1.00 .

 & 0.621 \\

最後にオープンソースのモデルを候補に取り， その性能差を明らかにするための直接比較を試みる。具体的には表 $1 ， 2$ より比較的性能が高いと考えられる CyberAgentLM2-chat(RAG+LoRA), ELYZA-instruct(RAG), StableLM-instruct(RAG+LoRA) の直接比較を実施し，その結果を表 3 に示す.ここではより詳細な比較のため, 各モデルの出力が何位に順位付けされたかの回数を示す順位分布（下段） も併せて掲載している. これは GPT-4 による比較評価において，各順位に何度選択されたかを示すものとなっている. 結果より，いずれのモデルについても上位 1 位に選択された回数がほぼ同数であることが明らかとなった。

## 5 おわりに

本稿では FAQ タスクにおける RAG の運用という設定において，LLM の fine-tuning の有用性を調査した. また実運用を踏まえた LLM 性能評価についても取り組んだ。結果より chat や instruction 形式で学習されたモデルの性能が全般的に高く，これらのモデル間においては明確な性能差やチューニングの有用性を有意に認めることが難しいものとなった。一方で今回試した全ての評価指標において，FAQ タスクで最も肝要であると考えられる「ユーザーの質問を解決する回答をどれ程生成できていたか」を厳密には測定できておらず，今後はこの点についての評価を方針立てることが重要だと考察される.

## 謝辞

本論文の執筆にあたりご協力いただきました， AI shift AIチームの皆様および, 本研究の実験環境をご提供いただきました CyberAgent group Infrastructure Unit の皆様に深く御礼申し上げます.

## 参考文献

[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. CoRR, Vol. abs/2001.08361, 2020.

[2] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander H. Miller. Language models as knowledge bases? In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 24632473. Association for Computational Linguistics, 2019.

[3] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 5418-5426. Association for Computational Linguistics, 2020.

[4] Patrick S. H. Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive NLP tasks. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[5] Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, and Yoav Shoham. In-context retrieval-augmented language models. CoRR, Vol. abs/2302.00083, , 2023.

[6] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 16-20 November, 2021, pp. 3784-3803. Association for Computational Linguistics, 2021.

[7] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann,
Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, Diego de Las Casas, Aurelia Guy, Jacob Menick, Roman Ring, Tom Hennigan, Saffron Huang, Loren Maggiore, Chris Jones, Albin Cassirer, Andy Brock, Michela Paganini, Geoffrey Irving, Oriol Vinyals, Simon Osindero, Karen Simonyan, Jack W. Rae, Erich Elsen, and Laurent Sifre. Improving language models by retrieving from trillions of tokens. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvári, Gang Niu, and Sivan Sabato, editors, International Conference on Machine Learning, ICML 2022, 17-23 July 2022, Baltimore, Maryland, USA, Vol. 162 of Proceedings of Machine Learning Research, pp. 2206-2240. PMLR, 2022.

[8] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. In The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022.

[9] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021, pp. 3045-3059. Association for Computational Linguistics, 2021.

[10] Weijia Shi, Sewon Min, Michihiro Yasunaga, Minjoon Seo, Rich James, Mike Lewis, Luke Zettlemoyer, and Wen-tau Yih. REPLUG: retrieval-augmented black-box language models. CoRR, Vol. abs/2301.12652, , 2023.

[11] Xi Victoria Lin, Xilun Chen, Mingda Chen, Weijia Shi, Maria Lomeli, Rich James, Pedro Rodriguez, Jacob Kahn, Gergely Szilvasy, Mike Lewis, Luke Zettlemoyer, and Scott Yih. RA-DIT: retrieval-augmented dual instruction tuning. CoRR, Vol. abs/2310.01352, 2023.

[12] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[13] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, and Ion Stoica. Judging 1lm-as-a-judge with mt-bench and chatbot arena. CoRR, Vol. abs/2306.05685, , 2023.

## A実験にて使用したモデル一覧

表 4 実験にて使用するモデル一覧. ELYZA および ELYZA-instruct はそれぞれ HuggingFace にて ELYZA-japanese-Llama-2-7b-fast, ELYZA-japanese-Llama-2-7b-fast-instruct として提供されるモデルを指すものとする. また StableLM, StableLM-instruct についても同様に, japanese-stablelm-base-ja_vocab-beta-7b, japanese-stablelm-base-ja_vocab-instruct-7b として提供されるものを指す。

 \\

## B 各種ハイパーパラメータ設定

表 5 学習時に使用するハイパーパラメータ

表 6 推論時におけるテキスト生成に関するハイパーパラメータ

## C 比較評価で使用したプロンプト

表 2 および表 3 の評価にて, GPT-4 に与えたプロンプトを掲載する. 以下は候補数が 3 つの場合のものである.

\#\#\# タスク定義

ある質問とそれに関連する文書が与えられているとします。これらを踏まえて生成された回答を 3 つ人力するので、回答の質が高い順に並べてください。答え方としては json 形式で \{'index1': \{'rank': x, 'reason': foo \}, 'index2': \{'rank': x, 'reason': foo \}, 'index3': \{'rank': x, 'reason': foo \}\} のように、候補インデックスに対する順位とその理由を当てはめる形で答えてください。

従って rank に入る数字は $1 、 2 、 3$ のいずれかです。それ以外の数字は答えないようにしてください。

\#\#\# 判断基準

回答の質を判断する基準として以下の指針を参考にしてください。

- 関連文書の内容を踏まえ、質問にきちんと回答する内容になっているか。

一関連文書の内容を踏まえ、質問に関係のない内容が含まれていないか。

- 文章として明らかに破綻しているものが回答に含まれて

いないか。

- 同じ内容の文章が繰り返し出力されていないか。

\#\#\# 質問

\{query \}

\#\#\# 関連文書

\{content \}

\#\#\# 回答 index: 1

$\{$ 候補 1$\}$

\#\#\# 回答 index: 2

$\{$ 候補 2$\}$

\#\#\# 回答 index: 3

\{候補 3\}


# 質問応答モデルはどのショートカットを優先して学習するか？

篠田一聡 $1,2 *$ 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

読解のための質問応答モデルは，訓練セット内の擬似相関を利用した解き方であるショートカットを学習する傾向がある.この問題を緩和するために様々な手法が提案されてきたが，それらはショートカット自体の特性を十分に考慮していない. 本研究ではショートカットの学習可能性 (ショートカットをどれくらい学習し易いか) が緩和手法の設計に有用であるという仮説を立て，実験的に検証する。

## 1 はじめに

微調整された事前学習済み言語モデルは，本来の解き方ではなく訓練セット内の擬似相関を利用したショートカットを学習しやすい [1]. この傾向はショートカットが有効な “ショートカット例” への汎化に寄与する一方，ショートカットが無効な “反ショートカット例”への汎化を阻害する $[2,3]$.

読解のための質問応答モデルは複数の種類のショートカットを学習しうることが示唆されている $[4,5,6]$. この問題を緩和するために，データ拡張 $[7,8]$ や損失関数 $[6,9,10]$ 等の緩和手法が提案されてきたが，既存手法はショートカットの種類に応じた特性を十分に考慮していない.

本研究ではショートカットの学習可能性 (ショー トカットをどれくらい学習し易いか）は緩和手法の設計に有用であると仮説を立てる。仮説検証のために，まず抽出型と多肢選択型読解における代表的なショートカットの学習可能性を行動テスト (§3.1),質的分析 (\$3.2), 量的分析 (\$3.3) によって比較する. そして各ショートカットの学習の緩和に必要な反ショートカット例の割合を調べる (\$3.4). 実験結果より, 学習し易いショートカットほど学習の緩和に必要な反ショートカット例の割合が少ないことを示す. よって，緩和手法を設計する際にショートカットの学習可能性を考慮すべきだと主張する.
* 現在はNTT 人間情報研究所に所属する

図 1 質問応答モデルがどのショートカットを優先して学習するかを明らかにするための行動テスト (§3.1) の図解.

## 2 ショートカット

実験 (\$3)のために各ショートカット k に対してデータ集合 $\mathscr{D}$ をショートカット例 $\mathscr{D}_{\mathrm{k}}$ と反ショートカット例 $\overline{D_{k}}$ に分割するルールを定義する。

## 2.1 抽出型読解

文脈から回答を抽出して質問に答える抽出型読解では，以下の 3 つのショートカットを分析する.

Answer-Position [6] 文脈の最初の文から回答を抽出するショートカット，回答が最初の文に含まれない時に無効とする。 $(\mathrm{k}=$ Position)

Word Matching [5] 質問と最も語彙的に類似した文 $^{1)}$ から回答を抽出するショートカット，回答がそれ以外の文に含まれる時に無効とする。 $\quad(\mathrm{k}=$ Word $)$

Type Matching [11] 質問から回答の固有表現タイプを予測して対応するスパンを抽出するショートカット．回答と同じタイプの固有表現が文脈内で 2 つ以上含まれる場合に無効とする. ${ }^{2)}{ }^{3)}(\mathrm{k}=$ Type $)$

## 2.2 多肢選択型読解

文脈と質問をもとに複数の選択肢から回答を選択する多肢選択型読解では，NLI の研究に倣い，2つのショートカットを定義して分析した. ${ }^{4)}$

Word-label Correlation 多肢選択型読解タスクでは選択肢のみから正しい回答を予測できる例が多

ここでは質問と共通の最長の n-gram を含む文と定義する.

2）固有表現でない回答は分析の対象から除外した.

3）固有表現抽出には spaCy を用いた。

4）多肢選択型読解と自然言語推論は，文脈と質問 (前提)をも

とに選択肢 (仮説) が正しいかを予測する点で類似している。

図 2 抽出型（左）と多肢選択型読解（右）のテストセットの各サブセットにおける訓練中の精度の推移. 5 つのランダムシードでの平均 $\pm$ 標準偏差を折れ線で示す.

い $[12,13]$ ことから，仮説のみから正しい予測ができる例が多い NLI [14] と同様，ラベルとの間に擬似相関がある単語が選択肢に含まれると仮定した。 Gardner ら [15] の主張5)に従い， $z$-statistic [15] を用いて最もラベルと相関する単語を簡単のために 1 つ特定する. 詳細は付録 $\mathrm{A}$ を参照のこと. ここで，特定された単語が正解選択肢に含まれるときにショートカットが有効だと定義する。 ( $\mathrm{k}=\mathrm{Top}-1)$

Lexical Overlap NLI モデルは語彙の重複に基づくショートカットを学習し易い [2]ため, 多肢選択型読解でも同様のショートカットが学習され易いと仮定する．ここでのショートカットは，文脈・質問と語彙の重複 ${ }^{6}$ が最大となる選択肢が正解であるときに有効とする. $(\mathrm{k}=$ Overlap $)$

## 3 実験

データセット抽出型読解では SQuAD 1.1 [16] と NaturalQuestions (NQ) [17], 多肢選択型読解では RACE [18] と ReClor [13]を用いた. RACE と ReClor では選択肢のみからラベルを予測するモデルがランダムよりも良い精度を出しており [12,13]，選択肢とラベルの間に擬似相関があると考えられる。

モデルエンコーダには抽出型・多肢選択型読解で広く採用されている BERT-base [19] と RoBERTabase [20]を用いた. タスクごとに出力層をエンコー ダの上に追加する．抽出的読解ではモデルは文脈内の回答スパンの始点と終点の確率分布を出力する.多肢選択型読解では 4 つの選択肢から正しい選択肢の確率分布を予測する．訓練ステップ以外は，既存研究のハイパーパラメータに従った. ${ }^{7)}$

5）言語理解タスクにおいて入力の単一の特徴がラベルの情報を含むべきではないという主張.

6）選択肢の単語数に対する文脈・質問にも含まれる共通の unigram の数の比率と定義する.

7）本研究で使用したコードは一般に公開している. https: //github.com/KazutoshiShinoda/ShortcutLearnability

## 3.1 行動テスト

RQ1：各ショートカットが訓練セットのすべての質問で有効な時, 質問応答モデルはどのショートカットを優先して学習するか?

この質問に答えるため, 全てのショートカットが有効な訓練セットで訓練し，いずれかのショー トカットのみが有効なテストセットで評価を行う行動テスト（図 1）を行った. この訓練セットではショートカット例の頻度が平等なため, 学習可能性がモデルの予測に与える純粋な影響を比較できる。

$\mathscr{D}_{\text {Word }} \cap \mathscr{D}_{\text {Type }}$ または $\mathscr{D}_{\text {Top-1 }} \cap \mathscr{D}_{\text {Overlap }}$ でモデルを微調整した. 次にテストセットから抽出した $\mathscr{D}_{\text {Position }} \cap \overline{D_{\text {Word }}} \cap \overline{D_{\text {Type }}}$ などのサブセットで評価し, どのショートカットが優先的に学習されたかを明らかにした. ショートカットの学習過程を明らかにするため，訓練中のスコアの推移も報告する。

結果：抽出型読解結果は図 2 (左) の通り。一貫して訓練中は $\mathscr{D}_{\text {Position }} \cap \overline{\mathscr{D}_{\text {Word }}} \cap \overline{D_{\text {Type }}}$ でのスコアが $\overline{\mathscr{D}_{\text {Position }}} \cap \mathscr{D}_{\text {Word }} \cap \overline{\mathscr{D}_{\text {Type }}}$ と $\overline{\mathscr{D}_{\text {Position }}} \cap \overline{\mathscr{D}_{\text {Word }}} \cap \mathscr{D}_{\text {Type }}$ よりも高かった. つまり Position ショートカットが最も学習されやすかった. また $\overline{\mathscr{D}_{\text {Position }}} \cap \mathscr{D}_{\text {Word }} \cap \overline{\mathscr{D}_{\text {Type }}}$ や $\overline{\bar{D}_{\text {Position }}} \cap \overline{\mathscr{D}_{\text {Word }}} \cap \mathscr{D}_{\text {Type }}$ では $\overline{\mathscr{D}_{\text {Position }}} \cap \overline{\mathscr{D}_{\text {Word }}} \cap \overline{\mathscr{D}_{\text {Type }}}$ よりもスコアが高いことから，モデルは複数のショートカットを複合的に学習することがわかる.

結果: 多肢選択型読解結果は図 2 (右) の通り.訓練終了時, Overlap ショートカットよりも Top-1 ショートカットが一貫して優先的に学習された.興味深いことに, Overlap の学習は, 訓練の初期で Top-1よりも優先された. このことから, 単語とラベルの相関を認識するためには数百ステップの訓練が必要な一方，Transformer [21] に基づく言語モデルは自己注意機構を介して語彙の重複を認識しやすい帰納バイアスがある可能性がある.

図 3 抽出型読解における各ショートカットの周辺の損失関数の可視化. $\mathrm{X} \cdot \mathrm{Y}$ 方向はパラメータ空間内でランダムにサンプリングした。曲面を横と上から見た図を示す.

## 3.2 質的分析

RQ2: なぜ特定のショートカットが他のショー トカットよりも優先して学習されるのか？

画像分類において Scimeca ら [22] が行ったように，損失関数の可視化によってこの質問に答える。具体的には各ショートカットを学習させたモデルパラメータの周辺の損失を可視化する．ショートカッ卜間で損失曲面の平坦さ ${ }^{8)}$ と深さを比較し，選好性について洞察を得ることを目的とする。

設定まず各ショートカットを独占的に学習したモデルを用意する. これはそのショートカットだけが有効なサブセットで訓練することで得られると仮定する。例えば $\mathscr{D}_{\text {Position }} \cap \overline{\mathscr{D}_{\text {Word }}} \cap \overline{\mathscr{D}_{\text {Type }}}$ で訓練したモデルは Position ショートカットを学習する可能性が高い. テストセットにおいて訓練セットと同じサブセットでモデルが最も高いスコアを達成したため，この仮定は支持された. §3.1 で訓練に使用した $\mathscr{D}_{\text {Position }} \cap \mathscr{D}_{\text {Word }} \cap \mathscr{D}_{\text {Type }}$ と $\mathscr{D}_{\text {Top-1 }} \cap \mathscr{D}_{\text {Overlap }}$ で損失を計算し，[24] に従って可視化をした. 紙面の関係で BERT-base の結果のみを報告する。

結果結果を図 3 と 4 亿示す. 曲面の中央が各ショートカットを学習したモデルに対応する. $\$ 3.1$ で優先して学習されたショートカット（Position と Top-1）は，より平坦で深い曲面に位置する傾向があることがわかった. 損失曲面の平坦さと深さの順序は，§3.1 の行動テストにおけるショートカットの学習の優先順序とほぼ相関している。損失曲面の平坦さと汎化性能には相関がある [25] ことから，これらの観察は, $\mathscr{D}_{\text {Position }} \cap \mathscr{D}_{\text {Word }} \cap \mathscr{D}_{\text {Type }}$ と $\mathscr{D}_{\text {Top-1 }} \cap \mathscr{D}_{\text {Overlap }}$ で学習したモデルがそれぞれ Position と Top-1 を優先して学習した理由を説明できる。

8）平坦さの定義は，損失がほぼ一定に保たれるパラメータ空間の連結領域の大きさ $[23]$ とする.

図 4 多肢選択型読解における各ショートカットの周辺の損失関数の可視化. 可視化の方法は図 3 と同様.

## 3.3 量的分析

RQ3: 各ショートカットの学習可能性は定量的にどの程度違うか?

この質問に答えることでショートカットの選好性を定量的に説明することを目指す。そのために，あるショートカットのみが適用可能なサブセット（例えば $\left.\mathscr{D}_{\text {Position }} \cap \overline{\mathscr{D}_{\text {Word }}} \cap \overline{\bar{D}_{\text {Type }}}\right)$ についてラベルの最小記述長（MDL）[26] を推定し，ショートカットごとに比較した。この方法を MDL 原理の生みの親に因んで Rissanen Shortcut Analysis (RSA) と名付ける.直感的には RSA は訓練セットにおいて各ショートカットが利用可能なことがどの程度タスクを学習しやすくするかを定量的に比較できる。

設定既存研究 [27, 28] に従って MDL を推定するために Online Code [29]を用いた. Online Code は直感的には訓練損失の曲線の下の面積の計算に相当する。詳細は付録 B を参照のこと。

結果結果を表 1 に示す。一部の例外を除き， SQuAD 1.1 と NQでは Position ショートカットが有効な時に最も学習しやすいことがわかった. この例外は §3.1 で示すように SQuAD で RoBERTa が Word ショートカットを学習しやすいためだと考えられる. RACE と ReClor では Top-1 ショートカットによって Overlap よりも低い MDL が得られた.これらの結果は一部の場合を除き，行動テスト（図 2） や可視化（図 3 と 4）の結果と一貫している. ${ }^{9}$ )また RoBERTa は全ての条件で BERT と比較して MDL を低下させた. 図 2 で RoBERTa は BERT よりも反ショートカット例に対して頑健であったことから， MDL はショートカットの特性だけでなくモデル元来の汎化能力も反映していると考えられる.

図 $5 \mathrm{SQuAD}\left(\right.$ 左 3つ）とRACE（右2つ）のテストセットにおける $D_{\mathrm{k}}$ （青）と $\overline{D_{\mathrm{k}}}$ (橙) での精度. 横軸は訓練セットにおける $\overline{D_{\mathrm{k}}}$ の割合. 訓練セットのサイズは一定に保った. 5 つのランダムシードでの平均 $\pm$ 標準偏差を折れ線で示す.

## 3.4 反ショートカット例の割合の制御

RQ4: ショートカットの学習を避けるために反ショートカット例の割合はどの程度必要か?それはショートカットの学習可能性と関係があるか?

ショートカット学習を緩和する最も単純な方法の 1 つは，反ショートカット例を手動または自動で訓練セットに追加して，データセットのバイアスを軽減することである $[8,30]$. なぜなら訓練セットの大半で何らかのショートカットが有効な場合，そのショートカットを学習したモデルは低い訓練損失を達成できるためである. また反ショートカット例の割合とショートカットの手がかりの抽出可能性がショートカット学習の要因であると文法タスクで報告されており [30], 読解タスクにおいても同様の傾向があると考えられる. もしあるショートカットを学習を回避するために反ショートカット例がどの程度必要か分かれば，質問応答モデルに頑健な解き方を学習させるために最適な訓練セットの構築やデー タ拡張手法の設計に役立てられる.

結果結果を図 5 に示す. 訓練セットがショートカット例のみで構成されている場合（x 軸の値が 0 の時), $\overline{D_{\mathrm{k}}}$ と $\overline{D_{\mathrm{k}}}$ のスコアの差分は全てのケースで有意である. Position, Top-1, Overlap において反ショートカット例の割合が $0.7,0.8,0.9$ のときに $D_{\mathrm{k}}$ と $\overline{D_{\mathrm{k}}}$ の間の精度差が解消され, ショートカットの学習を緩和できていると捉えられる。

§3.1,3.2,3.3 の結果を考慮すると，より学習可能なショートカットほどショートカット学習の緩和により少ない割合の反ショートカット例を必要とすることが分かる. さらに Word や Type のような学習しにくいショートカットでは, 反ショートカット例の割合を制御するだけではショートカット学習を緩和するには不十分であることを示唆している. 学習しにくいショートカットに関してさらに精度差を緩和するためには, 損失関数 [31] やモデル構造の改善 $[32,33]$ をする必要があることを示唆している.

表 1 各ショートカットのみが有効なサブセットで推定した最小記述長 (kbits). 5 つのランダムシードでの平均 $\pm$ 標準偏差を報告する。

## 4 おわりに

代表的なショートカットの学習可能性を一連の実験で比較することにより, 抽出型と多肢選択型読解におけるショートカット学習の理解を深めた. つまり特定のショートカット (Position と Top-1) が学習されやすく，これらはパラメータ空間においてより平坦で深い損失曲面に位置する傾向があり，情報理論的にタスクを学習しやすくすることがわかった. そしてショートカットの学習可能性は学習の緩和に必要な反ショートカット例の比率と相関していることがわかった. このことから，学習可能性は緩和手法の設計に有用だと主張する.

本研究では読解タスクに特化したパラメータ更新を伴うモデルを扱った。一方，LLM の文脈内学習はタスクごとのパラメータ更新を伴わないため，訓練セットに特有の擬似相関を学習しない利点があると GPT-3 の論文では主張されている [34]. しかし，近年 LLM の文脈内学習においても，プロンプトで与える例群における偏りや擬似相関が LLM による推論時のショートカットの使用と精度劣化を引き起こすという報告もある $[35,36]$. 文脈内学習に限らず, LLM が擬似相関を利用する原理の理解 (e.g., [37]) とその抑制 (e.g., [38]) は今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP21H03502, 22J13751, 22K17954, NEDO SIP-2 "Big-data and AI-enabled Cyberspace Technologies”の助成を受けたものです.

## 参考文献

[1] Robert Geirhos et al. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, November 2020.

[2] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In ACL, 2019.

[3] Matt Gardner et al. Evaluating models' local decision boundaries via contrast sets. In Findings of EMNLP, 2020.

[4] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In EMNLP, 2017.

[5] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In EMNLP, 2018

[6] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In EMNLP, 2020.

[7] Kazutoshi Shinoda et al. Improving the robustness of QA models to challenge sets with variational question-answer pair generation. In ACL SRW, 2021.

[8] Kazutoshi Shinoda et al. Can question generation debias question answering models? a case study on questioncontext lexical overlap. In MRQA Workshop, 2021.

[9] Mingzhu Wu et al. Improving QA generalization by concurrent modeling of multiple biases. In Findings of EMNLP, 2020.

[10] Kazutoshi Shinoda et al. Look to the right: Mitigating relative position bias in extractive question answering. In BlackboxNLP Workshop, 2022.

[11] Dirk Weissenborn, Georg Wiese, and Laura Seiffe. Making neural QA as simple as possible but not simpler. In CoNLL, 2017.

[12] Saku Sugawara, Pontus Stenetorp, Kentaro Inui, and Akiko Aizawa. Assessing the Benchmarking Capacity of Machine Reading Comprehension Datasets. In AAAI, 2020.

[13] Weihao Yu, Zihang Jiang, Yanfei Dong, and Jiashi Feng. Reclor: A reading comprehension dataset requiring logical reasoning. In ICLR, 2020.

[14] Suchin Gururangan et al. Annotation artifacts in natural language inference data. In NAACL, 2018.

[15] Matt Gardner et al. Competency problems: On finding and removing artifacts in language data. In EMNLP, 2021.

[16] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, 2016.

[17] Tom Kwiatkowski et al. Natural questions: A benchmark for question answering research. TACL, Vol. 7, pp. 452$466,2019$.

[18] Guokun Lai et al. RACE: Large-scale ReAding comprehension dataset from examinations. In EMNLP, 2017.
[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, 2019.

[20] Yinhan Liu et al. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[21] Ashish Vaswani et al. Attention is all you need. In NIPS, 2017.

[22] Luca Scimeca, Seong Joon Oh, Sanghyuk Chun, Michael Poli, and Sangdoo Yun. Which shortcut cues will DNNs choose? a study from the parameter-space perspective. In ICLR, 2022.

[23] Sepp Hochreiter and Jürgen Schmidhuber. Flat Minima. Neural Computation, Vol. 9, No. 1, pp. 1-42, 1997.

[24] Hao Li, Zheng Xu, Gavin Taylor, Christoph Studer, and Tom Goldstein. Visualizing the loss landscape of neural nets. In NeurIPS, 2018.

[25] Pierre Foret et al. Sharpness-aware minimization for efficiently improving generalization. In International Conference on Learning Representations, 2021.

[26] Jorma Rissanen. Modeling by shortest data description. Automatica, Vol. 14, No. 5, pp. 465-471, 1978.

[27] Elena Voita and Ivan Titov. Information-theoretic probing with minimum description length. In EMNLP, 2020.

[28] Ethan Perez, Douwe Kiela, and Kyunghyun Cho. Rissanen data analysis: Examining dataset characteristics via description length. In ICML, 2021.

[29] Jorma Rissanen. Universal coding, information, prediction, and estimation. IEEE Transactions on Information theory, Vol. 30, No. 4, pp. 629-636, 1984.

[30] Charles Lovering, Rohan Jha, Tal Linzen, and Ellie Pavlick. Predicting inductive biases of pre-trained models. In ICLR, 2021.

[31] Christopher Clark et al. Don't take the easy way out: Ensemble based methods for avoiding known dataset biases. In EMNLP, 2019.

[32] Robik Shrestha, Kushal Kafle, and Christopher Kanan. Occamnets: Mitigating dataset bias by favoring simpler hypotheses. In ECCV, 2022.

[33] Kazutoshi Shinoda et al. Improving the robustness to variations of objects and instructions with a neuro-symbolic approach for interactive instruction following. In MMM, 2023.

[34] Tom Brown et al. Language models are few-shot learners. In NeurIPS, 2020.

[35] Zihao Zhao et al. Calibrate before use: Improving few-shot performance of language models. In ICML, 2021.

[36] Ruixiang Tang et al. Large language models can be lazy learners: Analyze shortcuts in in-context learning. In Findings of ACL, 2023.

[37] Mosh Levy et al. Guiding LLM to fool itself: Automatically manipulating machine reading comprehension shortcut triggers. In Findings of EMNLP, 2023.

[38] Josh Magnus Ludan et al. Explanation-based finetuning makes models more robust to spurious cues. In ACL, 2023.

## A ラベルと相関の高い単語の特定

Gardner ら [15] は，言語理解タスクにおいて単一の特徴がラベルの情報を含むべきではないという理由から，入力のある特徴が与えられた元でのラべルの確率は一様分布であるべきだと主張した. そこで，ラベルの条件付き確率が統計的に有意に一様分布から乘離していることを判断するために $z$-statistic が提案された [15]. $z$-statistic $z^{*}$ は以下のように計算される。

$
z^{*}=\frac{p(y \mid w)}{\sqrt{p_{0}\left(1-p_{0}\right) / n}}
$

ここで $p_{0}$ はラベル $y$ の一様分布, $n$ は単語 $w$ の頻度, $p(y \mid w)$ は単語 $w$ が含まれる選択肢のラベル $y$ の確率とする. RACE と ReClor データセットでは各質問に対して回答の選択肢は 4 つあるため， $p_{0}$ は $1 / 4$ である. z-statistic が高く，ラベルとの相関が十分高いと判断される単語の例は表 2 の通り。

表 2 RACE と ReClor データセットの訓練セットで計算された $z$-statistic が高い上位 7 単語.

## B 最小記述長の推定

Online Code [29] による MDL の推定では，訓練セットのサブセットがモデルに複数ステップにわたって与えられる. 各ステップにおいて，モデルはその時点までに与えられたサブセットについてスクラッチから学習され, 次のサブセットを予測するために使用される. 時間ステップ $t_{0}, t_{1}, \ldots, t_{S}{ }^{10}$ によってデータセットを $S$ 個のサブセットに分割したとき, Online Code によって MDL は以下のように推定
される.

$
L=\sum_{i=0}^{S-1} \sum_{n=t_{i}+1}^{t_{i+1}}-\log _{2} p_{\theta_{i}}\left(y_{n} \mid x_{n}\right)
$

ここで $\theta_{i}$ は $\left(x_{j}, y_{j}\right)_{j=1}^{t_{i}}$ で学習した質問応答モデルのパラメータであり, $p_{\theta_{0}}$ は一様分布である.

Online Code の詳細については [27, 28]を参照のこと. ショートカットに関係なくデータセットのサイズは, SQuAD 1.1, NaturalQuestions, RACE, ReClor でそれぞれ 1400，4000，3000，300に統一して MDL の推定に用いた。
10）時間ステップは Voita ら [27] に従ってデータセットの 0 , $0.1,0.2,0.4,0.8,1.6,3.2,6.25,12.5,25,50,100 \%$ とした.


# 大規模言語モデルを用いた Emotional Support Conversation システムの構築とその評価

藤田敦也 上乃聖 李晃伸
名古屋工業大学大学院工学研究科
a.fujita.436@stn.nitech.ac.jp \{sei.ueno,ri\}@nitech.ac.jp

## 概要

会話においてユーザの負の感情を緩和する Emotional Support 能力は，ソーシャルインタラクションやメンタルヘルス支援，顧客対応など様々な対話シナリオにおいて対話システムが今後具備すべき重要な機能である. 本論文では，大規模言語モデルを用いた対話戦略の予測と，予測に基づいた対話生成を行うことで Emotional Support を実現する手法を提案する．実験では，応答文評価と実際に人とシステムを対話させる評価を行い，対話戦略による対話管理の効果や大規模言語モデルの Emotional Support 能力を検証する.

## 1 はじめに

ほとんどの人間は生活していく上で，精神障害や精神疾患を抱えていなくとも悩みを持ったり，ストレスを受けたりすることで精神的苦痛を経験する。多くの場合，人間は家族や友人などの社会的な相互作用から Emotional Support を受けることで苦痛に対処する [1][2]. そのため, Emotional Support は日常的にユーザと対話をするような対話システムに訓練するべき重要な能力 [3][4]だといわれている。 そこで，対話システムが Emotional Support を提供できるよう訓練するために，Emotional Support Conversation (ESC) というタスクが設計された.

ESC は，直面する課題を理解し，解決することで個人の精神的苦痛を軽減することを目的としたタスク [1][2]であり，そのためには共感を示すことや，慰めること，具体的な助言を提供することなどを行う必要がある。また，そのような行動を適切なタイミング，手順で行うことで良いサポートが行えることが知られている [5]. 具体的な対話戦略やサポー 卜手順を定義して，実際に ESC を行っている対話を収集し，アノテーションを行ったデータセット
として ESConv dataset [6] がある。既存の ESC システム [7][8] は ESConv datasetを使用して Fine-tuning を行っているものが多く，その多くは Blenderbot や DialoGPT，GPT-2 などの中規模な言語モデルをべー スとしている [9].

近年，大規模言語モデル (Large Language Model: LLM) が顕著な生成能力を見せており [10]，InContext learing で適切な指示を与えることで未知のタスクにも対応できることが知られている [11].

本論文では，Emotional Support を行う対話システ么の実現を目的に，大規模言語モデルを利用した対話戦略予測部と対話生成部から構成される ESC システムと，対話生成部のみで構成される ESC システムの 2 つを構築する. 実験では，プロンプトから与えられた ESC の知識のみでの大規模言語モデルの Emotional Support 能力や，対話戦略予測部による対話管理の効果を検証するために応答文評価とシステムとの対話による評価を行う。

## 2 関連研究

近年，より魅力的な対話システムの構築のために感情や共感の要素が注目されている．感情を扱うシステムには，指定された感情ラベルに基づいて生成を行う方法 [12][13][14] や，入力発話から感情を取得して生成を行う方法 [15][16] がある.

また，共感的な応答の研究には，ユーザの感情・気持ちを認識したうえで，それに対応した応答を生成するもの [17][18][19]がある.

Emotional Support では，生成文に感情を付与することではなく，ユーザの感情に対してシステムがどのように対処するのかについて焦点を当てる必要がある. 共感的な応答に加え，ユーザの問題を明らかにする質問や，問題に対する解決策の提案，有益な情報の提供などによって，ユーザが困難な状況に対処できるようサポートを行う.

図1 Liu ら [6]によって定義された ESC における手順や対話戦略（手順は基本的には実線矢印の順序に従うが，破線矢印のように状況に応じて柔軟に対応する必要がある）

## 3 大規模言語モデルを利用した ESC システム

ESC の知識を記述したプロンプトのみでの大規模言語モデルの Emotional Support 能力や，ESC システムにおいて対話戦略による対話の進行管理の影響を調べるために，対話戦略予測部の有無に差がある 2 つの ESC システムを構築する。

ESC における手順・対話戦略 Liu ら [6] が Helping Skills Theory [5] に基づいて定義した対話戦略や手順を図 1 に示す. ESC の基本的な手順は，ユーザが悩み・問題を探求することを助ける Exploration，ユー ザ自身の理解を深めることを助ける Comforting, ユーザが悩み・問題に対処するための行動を決定することを助ける Action の順になっている. 本論文で構築する ESC システムは, 図 1 の対話戦略や手順に従う.

データセット本論文では，日本語での対話実験を行うために ESConv dataset の日本語化を行う. 日本語化には, OpenAI の GPT-3.5 (gpt-3.5-turbo-1106) を利用しており，「次の文章を日本語に翻訳しなさい」という単純な指示のみで行う. データセットは 6:2:2 で分割し, それぞれ train, validation, test とする.

## 3.1 対話戦略予測部なしシステム

大規模言語モデルに対して，ESC に関する知識をプロンプトに与え，大規模言語モデルによる対話生成を行うものである. このシステムでは図 2 に示すように，与えられたプロンプト，対話履歴, ユーザ発話から対話生成のみを行う。

対話生成部 2 つのシステムの違いは，予測された対話戦略ラベルをプロンプト内に含むかどうかであるため，対話生成部については基本的に同様である. 使用した大規模言語モデルは OpenAI の GPT-4

図 2 対話戦略予測部なし対話システム

図 3 対話生成部に使用したプロンプト（赤文字は対話戦略予測部ありシステムの場合に追記された記述）

(gpt-4-1106-preview) であり，与えたプロンプトは図 3 に示す.

## 3.2 対話戦略予測部ありシステム

図 4 に示すように，入力発話に対する応答文の対話戦略を大規模言語モデルを用いて予測し，その予測した対話戦略に基づいて対話生成を行うシステムである.

対話戦略予測部データセットの train データを使用して, OpenAI の GPT-3.5 に対して Fine-tuning を行う. Fine-tuning 用のデータセットには，プロンプトと対話履歴 4 発話, 直前のユーザ発話, 応答に使用された対話戦略ラベルの 3 つのセットが 6289 個含まれている. 使用した指示文は図 5 であり， [dialogue_context] の部分には対話履歴が含まれる.

図4 対話戦略予測部あり対話システム

図 5 Fine-tuning 用データセットに使用した指示文

## 4 評価実験

test データのうち 1,000 個の対話データを使用し，対話戦略ラベルの予測精度を求めた. 本論文で構築した対話戦略予測部の予測精度は $31.2 \%$ であり, これは入力条件が同様である Liu ら [6] の構築した ESC システムの予測精度 $28.57 \%$ を上回り, 大規模言語モデルによる性能向上が見られた.

## 4.1 応答文評価

プロンプトでの知識のみの大規模言語モデルの Emotional Support 能力や，対話戦略予測部の有無による違いを検証するために，大学生である 14 人の被験者に対して応答文評価を行う。

実験設定対話の背景情報を補足する状況説明と，直前のユーザ発話を含めた 5 発話の対話履歴, 2 つのシステムから生成された応答文 $\mathrm{A}$ ，応答文 Bを 1 つの評価セットとする．被験者は 5 つの評価セッ卜を確認して，以下に示す評価基準に基づいた質問に回答する流れを 5 回行う．状況説明は，ESConv dataset に含まれているものを使用する．5つの評価セットを用意するのは， 1 回の評価に ESC の要素である「探求」，「共感」，「提案」が含まれるようにするためである. 評価セットは test データからランダムに 100 個の対話を抽出し，そのうち応答文に ESC の要素が含まれるデータを選択する. 実験に使用した評価セットの 1 つを付録 $\mathrm{A}$ に示す。

## 評価基準

・流暢さ : システムの生成文が流暢であったか
- 探求 : ユーザの悩み・問題を聞き出し，理解しようとしているか表 1 応答文の 5 段階スコア評価結果

表 2 応答文の比較評価結果 $(\%)$

$\cdot$共感 : ユーザに対して, 共感・理解を示したり，励ましたりしていたか
- 提案 : ユーザの悩み・問題に対して，具体的な提案・助言が行えていたか

・全体 : 一般的な相談相手として優れていたか

・解決 : ユーザの悩み・問題を解決・解消できたか（システムとの対話による評価のみ使用）

評価方法「流暢さ」,「探求」,「共感」,「提案」,「全体」の評価基準を使用し，スコア評価と比較評価の 2 種類を行う．スコア評価では，5つの評価基準それぞれについて応答文を 1 ～ 5 の 5 段階で評価する質問を用意し，被験者は 1 を良くない・出来ていない」，3を「どちらでもない」，5を「良い・出来ている」として回答する．比較評価では， 2 つの応答文のどちらが良いかを 5 つの評価基準に基づいた質問 5 個に対して，被験者が「応答文 $\mathrm{A}\lrcorner ， 「 引き$分け」，「応答文 $\mathrm{B}\lrcorner$ を回答する。

結果表 1 に示すように，どちらのシステムも 5 つの評価基準において平均して 4 以上の評価が得られており，高評価である。このことから，2つの ESC システムから効果的な Emotional Support を行う応答文が生成されているといえる。

また，表 2 に示すように，比較評価では「共感」以外の評価基準において対話戦略予測部なしシステムの応答が好まれる結果となった.このことから，対話戦略による生成文の制御なしでも大規模言語モデルには効果的な Emotional Support を行う応答文が生成できるといえる。しかし，「共感」の評価基準のみ対話戦略予測部ありシステムが好まれた.これは，25 個のうち 14 個の応答文に共感を示す Comforting の手順に当たる対話戦略が使用され，共感の示し方に幅が生まれたためだと考えられる。

図 6 対話戦略予測部ありシステムとの対話による評価実験での実際の対話例（赤文字は自分の経験を開示している部分）

表 3 システムとの対話による比較評価結果 (\%)

## 4.2 システムとの対話による評価

応答文評価よりも長いコンテキストにおいて，対話戦略予測部による対話管理の効果を検証するために，大学生である 15 人の被験者に対してシステムとの対話による評価を行う。

実験設定被験者は「就職活動の悩み相談」というテーマで，2つの ESC システムとテキストベースでの対話を行う．対話は被験者の就職活動に関する悩みについての入力発話から始まる。対話の最初の発話については 2 つのシステムで揃えることとし，以降の被験者の入力発話についてはシステムの応答に応じて自由に入力して良いものとする．被験者とシステムの対話は最低 6 ターンは続けるものとし, 7 ターン目からは被験者が希望する間は対話を続けさせる.

評価方法 4.1 に挙げた「探求」,「共感」,「提案」,「全体」，「解決」の 5 つの評価基準を使用する. 被験者は 5 つの評価基準において，良いと感じる方を 「システム $\mathrm{A}\lrcorner$, 「引き分け」,「システム $\mathrm{B} 」$ の中から選択する. 2 つのシステムはランダムな順番で使用する。

結果表 3 に示すように，対話戦略予測部の有無によって共感能力に差が生まれており，これは 4.1 の結果で述べたように，Comforting の手順に当たる対話戦略によって共感の示し方に幅が生まれたためだと推察される．特に，Self-disclosureによる自己開示は対話戦略予測部があることによって生まれた共感の示し方である．実際に，被験者 15 人のうち 5 人が経験の開示や励ましによって親しみやすさや共感を感じたとコメントしている。

対話戦略予測部ありシステムとの実際の対話例を図 6 に，対話戦略予測部なしシステムとの実際の対話例を付録 B に示す. 図 6 では，自分の経験を開示することで共感を示しつつ，自分の経験を踏まえた助言の提供を行っている.

## 5 おわりに

本論文では，Emotional Supportを行う対話システ么の実現を目的に，対話生成部のみで構成されるシステムや，対話戦略予測部と対話生成部から構成されるシステムを大規模言語モデルを利用して構築した.プロンプトから与えられた ESC の知識のみでの大規模言語モデルの Emotional Support 能力や，対話戦略予測部による対話管理の効果を確認するために，応答文評価とシステムとの対話による評価を行った. 評価結果から，プロンプトによる $\mathrm{ESC}$ の知識のみでも大規模言語モデルに効果的な Emotional Support 能力が備わることが示唆され，対話戦略予測部があることにより，自己開示などの共感の示し方が生まれ，共感能力が強くなることが示された。

ることから，人間が対話戦略による対話管理を行い対話生成するシステムとの対話による評価を行うことが考えられる．また，大規模言語モデルごとの対話戦略予測精度を検証することも課題として挙げられる。

## 参考文献

[1] Brant R Burleson. Emotional support skill. HANDBOOK OF COMMUNICATION AND SOCIAL INTERACTION SKILLS, p. 551, 2003.

[2] CP Langford, J Bowsher, JP Maloney, and PP Lillis. Social support: a conceptual analysis. Journal of advanced nursing, Vol. 25, No. 1, p. 95-100, January 1997.

[3] JM Van der Zwaan, V Dignum, and CM Jonker. A bdi dialogue agent for social support: Specification and evaluation method. In Proceedings of the 3rd Workshop on Emotional and Empathic Agents@ AAMAS, Vol. 2012, pp. 1-8, 2012.

[4] Li Zhou, Jianfeng Gao, Di Li, and Heung-Yeung Shum. The design and implementation of xiaoice, an empathetic social chatbot. Computational Linguistics, Vol. 46, No. 1, pp. 53-93, 2020.

[5] Clara E Hill. Helping skills: Facilitating, exploration, insight, and action. American Psychological Association, 2009.

[6] Siyang Liu, Chujie Zheng, Orianna Demasi, Sahand Sabour, Yu Li, Zhou Yu, Yong Jiang, and Minlie Huang. Towards emotional support dialog systems, 2021.

[7] Quan Tu, Yanran Li, Jianwei Cui, Bin Wang, Ji-Rong Wen, and Rui Yan. MISC: A mixed strategy-aware model integrating COMET for emotional support conversation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.308-319, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Yang Deng, Wenxuan Zhang, Yifei Yuan, and Wai Lam. Knowledge-enhanced mixed-initiative dialogue system for emotional support conversations, 2023.

[9] Zhonghua Zheng, Lizi Liao, Yang Deng, and Liqiang Nie. Building emotional support chatbots in the era of $1 \mathrm{lms}$, 2023.

[10] Gati Aher, Rosa I. Arriaga, and Adam Tauman Kalai. Using large language models to simulate multiple humans and replicate human subject studies, 2023.

[11] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, and Ji-Rong Wen. A survey of large language models, 2023.

[12] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory, 2018.

[13] Xianda Zhou and William Yang Wang. MojiTalk: Generating emotional responses at scale. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1128-1137, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Lei Shen and Yang Feng. CDL: Curriculum dual learning for emotion-controllable response generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 556566, Online, July 2020. Association for Computational Linguistics.

[15] Lisong Qiu, Yingwai Shiu, Pingping Lin, Ruihua Song, Yue Liu, Dongyan Zhao, and Rui Yan. What if bots feel moods? In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 1161-1170, New York, NY, USA, 2020. Association for Computing Machinery.

[16] Xin Lu, Yijian Tian, Yanyan Zhao, and Bing Qin. Retrieve, discriminate and rewrite: A simple and effective framework for obtaining affective response in retrieval-based chatbots. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1956-1969, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[17] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Zhaojiang Lin, Andrea Madotto, Jamin Shin, Peng Xu, and Pascale Fung. MoEL: Mixture of empathetic listeners. In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 121132, Hong Kong, China, November 2019. Association for Computational Linguistics.

[19] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. MIME: MIMicking emotions for empathetic response generation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8968-8979, Online, November 2020. Association for Computational Linguistics.

## A 応答文評価に使用した評価セットの例

応答文 B である対話戦略予測部ありシステムが選択した対話戦略ラベルは，Affirmation and Reassurance である。

フーザの状況説明

親が医者になれと迫ってくる。

対話履歴

usr : 彼らは妥協を受け入れてくれないんだ。親って頑固だよね。どうしたらいいのかな？

親の言うことを聞くべきか、それとも自分の夢を追求すべきか悩んでいるんだ。

sys : 具体的に何をすればいいかは私には言えませんが、あなたの人生を他人による指図の前に、

まずは自分自身を満たすことをお勧めします。

usr：そうだね、それについて真剣に考えているんだ。私はすでに大学を卒業している。彼らの

夢の半分を叶えたんだ。でも、正直な意見を伝えるのはいいアイデアだと思うかな？

sys : 私は、彼らがあなたの率直な意見に満足しない可能性もあることを覚悟する必要があると

思います。しかし、彼らが満足していないからと言ってそれが間違っているわけではないという

ことを忘れないでください。

usr : ありがとう、素晴らしいアドバイスだね。きっと準備をするよ。彼らが失望するかどうかなんて気にしないよ。これは私の人生で、彼らのものじゃないから。結果は受け入れるんだ。

V応答文 $\mathrm{A}$ (対話戦略予測部なしシステム)

素晴らしい決意ですね。自分の人生に対して主体的に考え、行動を準備することは大切です。

どんな結果になっても、あなたが納得できる選択をすることを応援しています。

$\boldsymbol{\nabla}$ 応答文 B (対話戦略予測部ありシステム)

その決意は大変勇敢なものです。自分の価値観に忠実でいることは尊重されるべきですし、自信を持って自己主張することは大事です。

## B対話戦略予測部なしシステムとの対話による評価実験での実際の対話例

このシステムでは，ユーザの発言の言い換えや，要点をまとめつつ，さらに深く掘り下げるような質問や助言の提供を行っている.


# エントレインメント尺度および戦略が 対話システムの評価に与える影響の調査

金崎 翔大 ${ }^{1,2}$ 河野誠也 ${ }^{2}$ 湯口 彰重 3,2 桂井 麻里衣 1 吉野 幸一郎 2
1 同志社大学大学院理工学研究科 2 理化学研究所ガーディアンロボットプロジェクト
3 東京理科大学先進工学部
\{kanezaki21,katsurai\}@mm.doshisha.ac.jp
\{seiya.kawano, koichiro.yoshino, akishige.yuguchi\}@riken.jp

## 概要

人間同士の会話では, やりとりを重ねるうちに話者のふるまいが同調するエントレインメント現象がしばしば発生する。こうした現象を扱う対話システムを構築しようとする場合，どのようなエントレインメント尺度を活用するか，どのようなタイミングでどのようなエントレインメント度合いを用いるかの 2 点を明らかにする必要がある. 本研究ではニューラル雑談対話モデルをエントレインメント度合いに応じてリランキングするシステムを用い，複数の語彙的エントレインメント尺度, および複数のエントレインメント戦略を網羅的に組み合わせた主観評価実験を行った。

## 1 はじめに

対話が進行するにつれて, 語彙, 構文構造, 文体,韻律など，様々な要素において話者間のふるまいが類似する現象をエントレインメントとよぶ. エントレインメントは対話タスクの成功率や自然さと相関することが報告されており，その追跡を通じて対話システムの性能を評価しようとする試みがある $[1,2,3,4]$.

我々はこれまでに，対話文脈においてエントレインメントを柔軟に考慮するように応答文を選択する手法を構築してきた [5, 6, 7]. この中で, Word Mover's Distance (WMD) に基づく尺度 [2,3] と, Bidirectional Encoder Representations from Transformers （BERT）に基づく尺度 [4] の二種類のエントレインメント尺度（スコア）を定義して用いてきた. また，どのような対話文脈でどのようなエントレインメント尺度を持つ応答を選択するか決定
するため，人間による対話コーパスを用いてエントレインメント予測モデルを学習し，目標とする同調度合いを決定するエントレインメント戦略を構築してきた. これらの手法に対してコーパス内の対話履歴を正解データとみなした定量評価実験を行ってきたものの，対話システム構築にあたっては実際のユーザによる評価が重要である。 そこで本研究では，各エントレインメント尺度と，エントレインメント予測モデルにその他の戦略を織り込んだ複数のエントレインメント戦略の組み合わせを用い，エントレインメントを行う対話モデルにおける最適な設定を網羅的に探索する，具体的には，各組み合わせによってリランキングされた対話応答に対してクラウドソーシングによる主観評価実験を行う.

## 2 エントレインメントスコア

エントレインメントスコアは, 発話者 $S_{1}$, 応答者 $S_{2}$ による発話ぺア $\left(U_{S_{1}}, U_{S_{2}}\right)$ に関し，ターゲット発話 $U_{S_{2}}$ に与えられる. 言語的エントレインメントを測定するフレームワークとして Local Interpersonal Distance（LID）[2] が提案されており，このスコア計算に異なる 2 つの指標を用いる.

## 2.1 WMD に基づくスコア

二つの文の類似度を計算するために提案された WMD [8] を用いて, 発話 $U_{S_{1}}, U_{S_{2}}$ 間の単語分散表現空間上での意味的距離をスコアとする $[2,3]$.

$
\operatorname{LID}_{\mathrm{WMD}, U_{S_{2}}}=\mathrm{WMD}\left(U_{S_{1}}, U_{S_{2}}\right)
$

WMD は単語埋め込みを用いた手法であるため，文脈埋め込みと比較して単語の構成性を考慮でき，よりスタイルに焦点を置いたスコアになっていることが期待される.

## 2.2 BERT に基づくスコア

BERT 文脈埋め込み空間におけるコサイン類似度により二つの文の類似度を計算する手法として提案された BERTScore [9] を用いて, 発話 $U_{S_{1}}, U_{S_{2}}$ 間の埋め込み空間上での意味的距離をエントレインメントスコアとする。

$
\operatorname{LID}_{\text {BERT }, U_{S_{2}}}=1-\operatorname{BERTScore}\left(U_{S_{1}}, U_{S_{2}}\right)
$

こちらは発話文全体の内容を考慮したエントレインメントスコアとなることが期待される.

## 3 エントレインメント戦略

エントレインメント戦略の一つとして，人間が行っているエントレインメント戦略の模倣を考える.このため, エントレインメントスコアの予測値 $\mathrm{LIID}_{U_{S_{2}}}$ を予測するモデルを構築する (4.2 節)。また，実際に人間が行っているエントレインメント戦略が最適であるかどうかを確認するため，以下の 2 種類の戦略を試行する。

$
\begin{aligned}
\mathrm{LID}_{\text {oracle }} & =\mathrm{LID}_{U_{S_{2}}} \\
\mathrm{LID}_{\text {min }} & =\min _{R_{i} \in \boldsymbol{R}}\left(\operatorname{LID}_{R_{i}}\right)
\end{aligned}
$

ここで $R_{i}$ は応答候補集合 $\boldsymbol{R}$ から選択された応答候補の一つである. LID $_{\text {oracle }}$ は実際に人間同士の対話データに存在するデータから計算したエントレインメントスコアであり，人間のエントレインメント戦略を模倣した場合に相当する。また LID $_{\text {min }}$ は常に最大限ユーザ発話に同調する発話を選択することに相当する。

## 4 エントレインメントを考慮した 応答リランキング

各エントレインメントスコアおよびエントレインメント戦略の効果を検証するため, 著者らが過去に提案したリランキング手法 [6] を適用する。手法の概要を図 1 に示す. 以下で各モジュールを説明する.

図 1 リランキング手法の概要

## 4.1 ニューラル雑談対話モデル

ニューラル雑談対話モデルは，入力として発話文 $U_{S_{1}}$ を受け取り, 出力として入力発話に対する $n$ 個
の $n$-best 応答候補集合 $\boldsymbol{R}=\left.\{R_{1}, R_{2} \ldots, R_{n}\right.\}$ および応答候補の尤度集合 $\boldsymbol{l}_{\boldsymbol{R}}=\left.\{l_{R_{1}}, l_{R_{2}} \ldots, l_{R_{n}}\right.\}$ を出力する. ただし，応答候補集合 $\boldsymbol{R}$ は尤度の降順になっており, $l_{R_{1}} \geq l_{R_{2}} \geq \ldots, \geq l_{R_{n}}$ を満たす.

## 4.2 エントレインメント予測モデル

エントレインメント予測モデルは, 発話文 $U_{S_{1}}$ が入力されたとき，その応答文 $U_{S_{2}}$ が持つべきエントレインメントスコア $\mathrm{LID}_{\mathrm{WMD} / \mathrm{BERT}, U_{S_{2}}}$ を予測するように学習する1). 図 2 に示すように，予測モデルは Gated Reccurent Unit（GRU）[10]を用いた階層的エンコーダモデルとバイアス項を含む全結合層 （Linear）を用いたエントレインメントデコーダモデルで構成される。

図 2 エントレイメント予測モデルの概要

発話文中の各単語 $u_{S_{1}, i} \in U_{S_{1}}$ を, 式 (5) で定義するエンコーダで発話レベルの特徴ベクトル $\boldsymbol{h}_{\boldsymbol{S}_{1}}=\boldsymbol{h}_{\boldsymbol{S}_{1},\left|\boldsymbol{U}_{S_{1}}\right|}$ に変換する ${ }^{2)}$.

$
\boldsymbol{h}_{\boldsymbol{S}_{1}, \boldsymbol{i}}=\operatorname{GRU}_{\text {utter }}\left(\boldsymbol{h}_{\boldsymbol{S}_{\mathbf{1}, i-1}}, \operatorname{Embedding}\left(u_{S_{1}, i}\right)\right)
$

ここで, Embedding($\cdot$) は, $U_{S_{1}}$ における各単語 $u_{S_{1}, i} \in$ $U_{S_{1}}$ を固定長の密ベクトル表現に変換する単語埋め込み層である。

本研究では発話文だけではなく，発話に付随する属性情報を対話エンコーダの追加の入力として用いることでエントレインメントの予測性能の向上を期待する [11,12]. 具体的には，属性情報 $\boldsymbol{M}$ を発話レベルの特徴ベクトル $h_{S_{1}}$ の一部と見なして次式のように結合する.

$
\boldsymbol{h}_{\boldsymbol{S}_{1}}^{\boldsymbol{M}}=\operatorname{Concat}\left(\boldsymbol{h}_{S_{1}, i}, \boldsymbol{M}\right)
$

ここで，属性情報 $\boldsymbol{M}$ は 2 人の話者 $S_{1}, S_{2}$ の社会的関係べクトル $v_{u_{S}} ， v_{u_{T}}$ を用いた。

次に，式（7）で定義される対話エンコーダを用いて，各ターンまでに得られた発話レベルの特徴べクトル $h_{S_{1}}$ の系列を対話レベルの特徴ベクトル $h_{S_{1}}^{\prime}$ に統合する ${ }^{3)}$.

1）“LID ${ }_{W M D / B E R T} ”$ は $L_{\text {IDMD }}$ または $\operatorname{LID}_{\mathrm{BERT}}$ を意味する.これ以降，LID と略す。
2) $\boldsymbol{h}_{S_{1}}$ は発話エンコーダ $\mathrm{GRU}_{\text {utter }}$ に対する最後の単語 $u_{S_{1},\left|U_{S_{1}}\right|}$ の入力に対応する，隠れベクトル $\boldsymbol{h}_{\boldsymbol{S}_{1},\left|\boldsymbol{U}_{S_{1}}\right|}$ である.

3） $\boldsymbol{h}^{\prime}$ は発話 $S_{1}$ の 1 ターン前の対話レベルの特徴ベクトルを

$
\boldsymbol{h}_{\boldsymbol{S}_{1}}^{\prime}=\operatorname{GRU}_{\text {context }}\left(\boldsymbol{h}_{\boldsymbol{S}_{1}}^{\boldsymbol{M}}, \boldsymbol{h}^{\prime}\right)
$

さらに，デコーダ Linear (.)を用いて，各ターンの特徴ベクトル $\boldsymbol{h}_{S_{1}}^{\prime}$ から予測値 $\mathrm{LII}_{U_{S_{2}}}$ を得る.

$
\operatorname{LIO}_{U_{S_{2}}}=\operatorname{Linear}\left(\boldsymbol{h}_{S_{1}}^{\prime}\right)
$

## 4.3 リランキング機構

リランキング機構では，応答候補集合 $\boldsymbol{R}$ からエントレインメント戦略に従った候補を選択して利用する. 各エントレインメント戦略から得られた目標エントレインメントスコア $\mathrm{LID}_{\text {target }} \varepsilon$, 応答候補 $R_{i} \in \boldsymbol{R}$ のエントレインメントスコア $\operatorname{LID}_{R_{i}}$ との差の絶対値を, エントレインメントの実現距離 $d_{R_{i} \text {, target }}$ とする.

$
d_{R_{i}} \text {, target }=\left|\mathrm{LID}_{R_{i}}-\mathrm{LID}_{\text {target }}\right| \text {. }
$

この值が小さくなるように応答を選択する. 具体的には, $R_{i} \in \boldsymbol{R}$ に対し, 正規化した尤度 $l_{R_{i}}$ と正規化した実現距離 $d_{R_{i} \text {, target }}$ の重み付き調和平均を算出し，最大値をとる応答 $R_{\mathrm{F} \text {-beta }}(\beta)$ を選択する。

てはそれぞれの応答候補リストを基準とした MinMax 正規化を表し， $\beta$ は 0 以上の実数となる重み係数である. 本研究では, $\beta=1$ と設定した.

## 5 評価実験

実験では，WMD と BERT に基づく 2 種類のエントレイメントスコア及び各エントレインメント戦略の組み合わせと，クラウドソーシングによる対話システムの主観評価値との関係を調べる. エントレインメント戦略の設定には次の 5 種類がある.
- LID $_{\text {predict }}$ : 予測されたエントレインメントスコアを利用
- $\operatorname{LID}_{\text {predict }} w / v_{S_{2}}$ : 予測されたエントレインメントスコアを利用（当該対話コンテキストにおいてシステム側の発話者が持つ属性情報を追加）
- $\operatorname{LID}_{\text {predict }}^{\cdot} w / v_{S_{1}}, v_{S_{2}}$ : 予測されたエントレインメントスコアを利用（当該対話コンテキストにおいて両方の発話者が持つ属性情報を追加）
- LID $_{\text {oracle }}$ ：対話コーパス上の正解から計算されたエントレインメントスコアを利用（人間のエントレインメント戦略の模倣)

表す. ただし, 本研究では対話履歴は 1 ターンのみであるためゼロベクトルを用いた.
・ LID $_{\text {min }}^{\text {: }}$ : 常に最もユーザ発話に同調した発話候補を利用

## 5.1 データセット

実験には Twitter のデータを使用した [13]. Twitter から，ユーザ間のフォロー・フォロワー（FF）関係，返信ぺア，すべてのユーザとツイートに関連するメタデータを得るために，まず 5 人のシードユー ザを選んだ．シードユーザには， Twitter 上で多くのフォロワーを持ち，情報工学に関する有名な日本人研究者を用いた. 次に, 彼らの友人とフォロワーのリストを取得した。これらのリストに含まれるユー ザから，2 次の $\mathrm{FF}$ 関係であるフォロー及びフォロワー関係のリストを取得する。最初のシードユーザと上記の関係リストを用いて，ユーザーをノード， “フォロー”関係を有向エッジとするソーシャルグラフを構築した. その後, グラフ内のノード・ユー ザーから全てのツイート（2018 年 3 月から 2022 年 3 月まで）を取得した. ツイートデータの分割は, 50,000 ペア（2018 年 3 月から 2022 年 1 月まで）を学習データ，5,000 ペア（2022 年 2 月）を開発デー タ，300 ペア（2022 年 3 月）をテストデータとした.社会的属性情報を表すユーザベクトル $v_{S_{1}}, v_{S_{2}}$ は先行研究 [14] に従い, ユーザのフォロワーネットワー クを node2vec アルゴリズムに入力して計算した.

## 5.2 実験設定

応答候補集合を生成するニューラル雑談対話モデルには，NTT から公開されている Twitter のデータで事前学習済み Transformer Encoder-Decoder モデルを用いた [15]. リランキング対象の応答候補は 40 個とした。

単語分散表現モデルについては, Akama らが提案したスタイルの類似性と統語的・語義的な類似性の両方を考慮した単語分散表現モデル [16]を用いた.単語分散表現モデルの学習には学習データセット内に含まれる発話を用いた. BERT モデルについては，学習済み多言語 BERTScore を用いた [9].

## 5.3 クラウドソーシングにおける主観評価

ワーカに発話文 $U_{S_{1}}$ を提示し, 応答について 5 つの項目に関する 5 段階評価の質問を行った。

・自然性：人間らしい自然な応答ができているか

・楽しさ : 応答文は面白かったか，会話を続けた
表 1 主観評価と自動評価の実験結果

 & 0.86 \\

各項目ごとに $R_{1}$ (baseline) との両側 $\mathrm{t}$ 検定を行い有意差がある場合: * : $p \leq 0.05$, ** : $p \leq 0.01$

いか

-話題追従性：人間の話題に沿っていたか

・共感性：システムは人間と共感・協調できているか

・スタイル類似性：システムは人間と似た口調で応答ができているか

すべての評価項目において「5」が最も良い評価， $「 1 」$ が最も悪い評価であり段階的な評価とした.

## 5.4 自動評価

応答の評価指標としてテストデータ中に存在する参照発話との BLEU[17] を用いた. また，選択された応答の理想的なエントレインメントスコアとの誤差の計算には式（11）で表される symmetric mean absolute percentage error（sMAPE）を用いた. $n$ は評価データの数である.

$
\begin{aligned}
& \operatorname{sMAPE}\left(\mathbf{L I D}_{\mathrm{R}_{\mathrm{F} \text { beta }}}, \mathbf{L I D}_{\text {oracle }}\right) \\
& =\frac{200}{n} \sum_{j=1}^{n} \frac{\left|\mathrm{LID}_{\mathrm{R}_{\mathrm{F}-\text { beta }}, j}-\mathrm{LID}_{\text {oracle }, j}\right|}{\left|\mathrm{LID}_{\mathrm{R}_{\mathrm{F}-\text { beta }}, j}\right|+\left|\mathrm{LID}_{\text {oracle }, j}\right|}
\end{aligned}
$

## 5.5 実験結果

表 1 に主観評価及び自動評価の結果を示す.また，比較として Twitterにおける人間の応答とリランキング前の応答についても評価を行った. SMAPE については，それぞれのリランキング機構に用いたエントレインメントスコアによって計算した.

主観評価について注目すると，oracle 戦略を用いたシステムを比較しても， $\min$ 戦略は各主観評価において高い評価を得られることが示された. また，話題追随性，スタイル類似性については BERT 尺度に基づくリランキングが，共感性については WMD 尺度に基づくリランキングがより大きく作用するこ
とが示唆された。これは我々の，WMD 尺度がよりスタイル類似性に作用し，BERT 尺度はより話題追随性に作用するという予想とは異なる結果となった. また意外なことに，いくつかの主観評価項目においては，人間の応答よりも BERT スコアによるリランキング応答がより高い評価を得ており，これは必ずしも人間のエントレインメント戦略が対話相手にとって最適ではない可能性を示している.

次に，自動評価について注目する。エントレインメント誤差（sMAPE）はベースラインであるリランキング前の応答と比較して， $\mathrm{LID}_{\text {min }}$ を除いて誤差が小さくなった. 一方で，最も同調するようにリランキングをする場合の $\mathrm{LID}_{\text {min }}$ では，エントレインメント尺度にかかわらず，エントレインメント誤差が増加している。これは，人間が対話文脈に合わせて柔軟に同調度合いを調整していることを示唆している.しかし主観評価で示唆されたように，このような人間の対話戦略を模倣することが対話システムにとって常に良い戦略とは限らない.

## 6 おわりに

本研究では，エントレインメント現象を考慮する対話システムを構築し，その評価実験をした. 特に，異なるエントレインメントスコア及びエントレインメント戦略を用いた場合に，各主観評価項目にどのような影響が出るかを調査した.

クラウドソーシングによる主観評価の結果，当初の予想と異なり，話題追随性，スタイル類似性については BERT 尺度に基づくリランキングが，共感性については WMD 尺度に基づくリランキングが大きく作用することが示唆された. また，人からの印象を良くするためには常にエントレインメント度合を最大化するような戦略が望ましいことが示された。

## 謝辞

本研究は JSPS 科研費 22K17958，22H04873， 20H04484 の助成を受けた。

## 参考文献

[1] Ani Nenkova, Agustin Gravano, and Julia Hirschberg. High frequency word entrainment in spoken dialogue. In Proceedings of the 46th annual meeting of the association for computational linguistics on human language technologies: Short papers, pp. 169-172. Association for Computational Linguistics, 2008.

[2] Md. Nasir, Sandeep Nallan Chakravarthula, Brian R.W. Baucom, David C. Atkins, Panayiotis Georgiou, and Shrikanth Narayanan. Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover' s Distance. In Proc. INTERSPEECH 2019, pp. 1423-1427, 2019.

[3] Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino, and Satoshi Nakamura. Entrainable neural conversation model based on reinforcement learning. IEEE Access, Vol. 8, pp. 178283-178294, 2020.

[4] Yuning Liu, Aijun Li, Jianwu Dang, and Di Zhou. Semantic and acoustic-prosodic entrainment of dialogues in service scenarios. In Companion Publication of the 2021 International Conference on Multimodal Interaction, ICMI '21 Companion, p. 71-74, New York, NY, USA, 2021. Association for Computing Machinery.

[5] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. 対話における後続発話のエントレインメント予測. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 50-55, 2021.

[6] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメント予測に基づいたニューラル雑談対話モデルの応答リランキング. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 3Yin248-3Yin248, 2022.

[7] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメントスコアを用いた応答リランキングとその自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1963-1968, 2023.

[8] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In International Conference on Machine Learning, pp. 957-966, 2015.

[9] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[10] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. In Proc. of EMNLP, pp. 1724-1734, 2014.

[11] Penelope Brown, Stephen C Levinson, and Stephen C Levinson. Politeness: Some universals in language usage, Vol. 4. Cambridge university press, 1987.
[12] Cindy Gallois, Tania Ogay, and Howard Giles. Communication accommodation theory: A look back and a look ahead. In Theorizing about intercultural communication, pp. 121-148. Thousand Oaks: Sage, 2005.

[13] Seiya Kawano, Shota Kanezaki, Angel Fernando Garcia Contreras, Akishige Yuguchi, Marie Katsurai, and Koichiro Yoshino. Analysis of style-shifting on social media: Using neural language model conditioned by social meanings. In Findings of the Association for Computational Linguistics: EMNLP 2023, 2023.

[14] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 855-864, 2016.

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021 .

[16] Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, and Kentaro Inui. Unsupervised learning of style-sensitive word vectors. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 572-578, 2018.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.