# ChatGPT を用いた日本語対話応答の多面的自動評価

寺内祐希 ${ }^{1}$ 加藤恒夫 ${ }^{1}$ 田村晃裕 ${ }^{1}$ 池田和史 ${ }^{2}$
${ }^{1}$ 同志社大学大学院 ${ }^{2} \mathrm{KDDI}$ 総合研究所
${ }^{1}\{$ ctwh0179@mai14, tsukato@mail, aktamura@mai1\}.doshisha. ac.jp
${ }^{2}$ kz-ikeda@kddi.com

## 概要

人間と雑談を行う非タスク指向型対話システムの性能を簡便に測ることのできる自動評価指標が望まれている。対話の応答は多様であり, 評価は様々な観点から多面的に行われることが望ましい。そこで本研究では, 現在最も性能が優れた大規模言語モデル (LLM) と呼ばれる ChatGPTを用いた, 日本語対話応答の多面的な評価を行う. 対話の品質を左右すると考える 6 つ評価項目における日本語対話応答の主観評価データを収集し, ChatGPT による自動評価との比較を行う。その結果, ChatGPT と人間の主観評価の相関は, 人間同士の相関に近いことを確認した. また, 評価対象の文を英語に翻訳することにより，主観評価との相関が強まることを確認した。

## 1 はじめに

非タスク指向型対話システムの性能評価においては，人手による主観評価が一般的である[1]. しかし人手による評価は時間とコストがかかるため, 特に開発段階においては，簡便にシステムの性能を測ることが出来る自動評価指標が望まれている.

対話の自動評価指標には, 参照型の指標と非参照型の指標がある. 参照型の指標としては BLEU[2]や $\mathrm{FBD}[3]$ 等があるが, 対話の応答は多様であり, 単一の正解文との比較では適切に評価することが難しい.非参照型の指標としては FED[4]や GPTScore[5]など LLM を用いた手法が近年主流であり，これらは人手による主観評価との相関が比較的高いことが示されている。その中でも，人間のフィードバックにより学習した報酬モデルを用いた強化学習を行った LLM である ChatGPT によって対話の評価を行う研究が特に活発に行われており, 従来手法より人手との相関が高いことが報告されている $[6,7,8]$. しかし， これらは英語のデータセットにより検証されている。日本語対話データでは FED の検証が行われている $[9,10]$ が, ChatGPT を用いた日本語対話応答の評価は著者の知る限り現在行われていない。そこで本研究では，ChatGPT により日本語対話応答の評価を行い, 日本語対話応答の自動評価における ChatGPT の活用の有効性を検証する。

対話の応答は多様であり，評価の際には全体的な品質だけでなく, 複数の側面を多面的に評価することが望ましいとされる[11]. 一方で, 評価項目が統一化されていないという問題点がある[12]. 対話には様々な評価項目が存在するが，統一された定義や名称がなく，似た意味の評価項目でも研究によって定義や名称が微妙に異なる. また, 人手による主観評価データを収集する際，コストや評価者の負担を考慮して特定の評価項目に絞ることが多い。これらの要因から, 対話の評価項目は研究により様々で統一されていない.この問題点に留意して，本研究では先行研究をべースに対話の品質を測るうえで重要な 6 つ評価項目を選定し，主観評価データの収集を行う.

主観評価データを収集した対話応答について ChatGPTにより同じ評価項目の自動評価を行った結果，自動評価と主観評価の相関は，人間同士の相関に近いことを確認した。また, ChatGPTでは学習デ一夕の性質上, 要約などのタスクにおいて, 英語での精度が他言語に比べて高いことが報告されている [15]. 本研究では対話の自動評価に関して日本語と英語間の性能差を比較するために，評価対象の文を英語に翻訳して検証した. その結果, ほとんどの評価項目で主観評価との相関が向上した.

## 2 関連研究

FED[4]は DialoGPT[13]を用いて，対話履歴が与えられた際に評価用に指定したフォローアップ $(\mathrm{FU})$ 発話で強制デコーディングを行い，その FU 発話の対数尤度を測ることで評価を行う指標である。 FED では計 18 個の細かい評価項目が用いられ, 収集した主観評価データと中程度の相関があることが報告されている.
表 1 TopicalChat データの評価項目と定義

G-EVAL[6]では ChatGPTを用いて対話の自動評価を行っている. 評価を行う際に ChatGPT に与えるプロンプトとして, 評価タスクの定義と, 各評価項目の評価基準に加え, Chain of Thought(CoT)という中間命令を与える. G-EVAL は CoT を用いて評価手順を LLM に詳細化させることで，人手による評価と高い相関を実現した。

複数のモデルを組み合わせて対話の評価を行う USR[14] では, 人間同士の会話を収集した TopicalChat コーパスを対話文脈として, 複数のシステムによって生成された応答文に対して人手による主観評価が行われている. TopicalChat データにおける評価項目とその定義を表 1 に示す. TopicalChat デ一夕は最新の対話評価に関する研究においてよく用いられており $[6,7,8]$, 対話における重要な品質を測定していると考えられる.

ChatGPT における英語と他言語での性能差の検証はいくつか行われている. Lai ら[15]は, 要約など 7 つの自然言語処理タスクにおいて，日本語を含む 37 の言語で ChatGPT を評価しており, ほとんどのタスクにおいて英語が他言語に比べて高い性能を示すことを報告している. 尚, この研究では対話の自動評価に関する検証は行われていない。

## 3 主観評価データの収集

## 3.1 クラウドソーシングによる主観評価

ChatGPT を用いて日本語対話応答の多面的な評価を行うために，クラウドソーシングによって評価対象となる主観評価データを収集する。

評価対象となる応答文を生成するために, NTT 社の

1) elyza/ELYZA-japanese-Llama-2-7b-instruct $\cdot$ Hugging Face表 2 主観評価データの評価項目と定義

Transformer[16]をベースとした対話モデル [17]と, ELYZA 社の日本語 LLM $^{1}$, そして rinna 社の日本語対話 $\mathrm{GPT}^{2}$ の 3 種のモデルを用いる. 入力文には, NTT 社が公開している日本語版 PersonaChat データから抽出した 4 ターンの対話文脈を与え, それに続く応答文をモデルごとに 1 文ずつ, 計 3 種類生成する. 評価者は分類の定義や方法を示した作業手順書を読んだ後, 割り当てられた応答文を評価する. 本研究では 750 種の対話文脈に対して, 3 つのモデルで生成した応答文,合計 2,250 種の応答文の評価を行う. 1 ファイルあたりの対話文脈が 30 種, 応答文が 90 種となるように均等に分割し, 25 種類のファイルを作成した. 1 つのファイルにつき 5 人の評価者が評価を行う. 評価者による偏りを防ぐために, 1 人あたりが評価できるファイル数の上限を 3 個とした.

評価項目については, 2節で示した TopicalChatデー タをベースに, 対話の品質にとって重要であると考えられる 6 項目を評価項目に選定し，主観評価を行う。選定した評価項目とそれらの定義を表 2 に示す.

TopicalChat データの評価項目より，「Natural」を 「自然さ」,「Interesting」を「興味深さ」,「Overall Quality」を「総合的な品質」として評価項目に選定した.「Understandable」については近年の対話システムではほとんどの応答文が理解可能であることから G-EVAL[6]において評価項目から除外されており, 本論文でも除外した.「Uses Knowledge」については, 対話文脈で何らかの知識が与えられる TopicalChat の性質に依存した評価項目であり, 本研究では除外した. 残る「Maintains Context」について

2) rinna/japanese-gpt-neox-3.6b-instruction-ppo $\cdot$ Hugging Face
表 3 各評価項目間の主観評価値の相関係数（スピアマン相関）

は，対話文脈の続きとして有効であるかという項目であるが，他の項目に比べて，話題に沿っているのか，それまでの対話の経緯を無視していないかといった幅広い観点を含んでおり，FEDにおいては

「Coherent」と「Relevant」といった別の項目として扱われているため, 「文脈的整合性」と「話題の関連性」の2つに分割した。

加えて, FED の評価項目に含まれる「Consistent」 (発話に矛盾がないか) については対話における矛盾を検出する研究もいくつか行われている[18,19]ことから，発話が一貫して矛盾のないことは対話において重要だと考えられるため,「首尾一貫性」として評価項目に選定した. 評価のレベル数は TopicalChat データに準拠したうえで, 新たに追加した項目は各レベルの定義が明瞭になるように設定した結果,「文脈的整合性」,「首尾一貫性」を 2 段階, 「自然さ」,「興味深さ」,「話題の関連性」は 3 段階,「総合的な品質」は 5 段階とした. どの項目も評価値が大きくなるほど良い。(付録 $\mathrm{A} を$ 参照)

## 3.2 主観評価データの分析

本節では収集した主観評価データの分析を行う。表 3 に各評価項目間のスピアマンの相関係数を示寸. 尚, 相関係数の算出には 5 人の評価者の評価値の平均值を用いている. TopicalChat データの評価項目を 2 つに分割した「文脈的整合性」と「話題の関連性」の相関係数は 0.65 であり, 他の項目間の相関係数と比較して高すぎる値では無く, 分割は妥当であるといえる.また，「興味染さ」は他の項目との相関が突出して低い.これは他の項目が対話の継続に大きく関わる項目であるのに対し，「興味深さ」が低い場合, 即ち「そうですね」といった汎用的な応答でも対話は継続する場合が多いためであると考える.「総合的な品質」との相関は「文脈的整合性」が最も高く, 評価者はこの項目を応答文の品質を判断する際に重視しているといえる. 表 4 に各評価項目の評価値の平均, 標準偏差, 評価者間の相表 4 各評価項目の平均値, 標準偏差, 評価者間の相関係数 $\left(\mathrm{r}_{\mathrm{s}}\right.$ : スピアマン相関, $\mathrm{r}_{\mathrm{p}}$ : ピアソン相関)

関係数を示す.ここで相関係数は, 1 人の評価値と他 4 人の評価値の平均との相関係数を求め, それを 5 人の評価者全員について行いその平均値を用いている. 各項目の相関係数は TopicalChat データと比較すると少し低い值であるが，どの指標についても 0.4 を上回る相関がある. TopicalChat データでは比較的少量のデータ (360 文) を対話研究者が評価しているのに対して, 本研究ではクラウドソーシングにより 2,250 文の評価を行ったことを考慮すると， ある程度評価者間の評価が一致しているといえる。

## 4 ChatGPTによる自動評価

ChatGPT を用いて対話応答文における先述の 6つの項目の評価を行う.プロンプトにおいて, 各評価項目の定義やレベルごとの基準についてはクラウドソーシングで用いた評価作業手順書の内容（付録 B を参照）を用いる。また，「総合的な品質」以外の 5 項目については, 各レベルに 1 文ずつ, 評価作業手順書と同様の例文を与える。さらに各評価項目の評価値のみを出力することを促す文と，フォーマットの指定を加えることで，評価値の集計の簡略化を図る。評価値は主観評価と同様に各評価項目で定められた範囲の整数値を, ChatGPT に直接出力させる.

日本語と英語での自動評価の性能差を検証するため, 評価対象の文およびプロンプトを英語に翻訳した場合でも評価を行う。
表 5 実験結果（左：スピアマン相関/右:ピアソン相関）

さらに，本論文ではベースラインとして 2 つ文のトークン間の BERT[20]による埋め込み表現におけるコサイン類似度からスコアを算出する手法である BERTScore[21]を用いるが，トークン間のコサイン類似度を用いるという性質上, BERTScore は「話題の関連性」を測るのに比較的適していると考えられる、そこで, ChatGPT に生成させた評価値に BERTScoreによる評価値を加算することで人手との相関の向上を図る。具体的な加算方法は以下の通りである.

$
\text { score }=c_{i}+w\left(b_{i}-\bar{b}\right)
$

ここで $c_{i}$ は ChatGPT による評価值， $b_{i}$ は BERTScore によるスコア， $\bar{b}$ は応答文に対する BERTScore の平均値，wは BERTScoreの重みを決定するハイパーパラメータを表す。

## 5 実験

## 5.1 実験設定

本実験では，主観評価データの評価値と ChatGPT による評価値の相関係数を測ることで，日本語対話応答における LLM による自動評価の有効性を検証する.ChatGPT のモデルには gpt-3.5-turbo を用いる. パラメータはデフォルトの值に従うが, スコアの摇らぎを減らすため, 応答の多様さを制御するパラメ一タである temperature の值を最も低い 0 に設定する. BERTScore は 4 ターンの対話文脈の最後の発話と, それに続く応答文の 2 文間で算出する. また,式(1)の重み $w$ の值は 10 とする. 応答文やプロンプトの英訳には，翻訳ツールである DeepL ${ }^{3}$ )を用いる.

## 5.2 実験結果

各手法の評価値と主観評価値との相関係数を表 5 に示す. ChatGPT による評価は, 表 4 で示した評価者間の相関に近く, BERTScore による評価を大きく上回っており，日本語の対話評価においても ChatGPT を用いることの有效性が確認できる.

また，評価対象の文やプロンプトを英語に翻訳することで，ほとんどの項目で人手との相関が上がっていることから, 対話の自動評価においても日本語と英語の間で ChatGPT における性能差があることがわかる．BERTScore においても応答文を英語に翻訳することで人手との相関が上がっている理由としては, 英語は日本語と比べてトークン数が少なく,英訳することで無駄なトークンが削減されて 1 トー クンあたりの重要度が増すことや, 埋め込み表現の算出に用いられる BERT の学習データが影響していると考えられる.また, BERTScore と ChatGPT を組み合わせることで仮説通り「話題の関連性」の相関が上がっており, 各項目に適したモデルを組み合わせることで，単一のモデルによる評価よりも人手との相関が高まる可能性があることが考えられる.

## 6 おわりに

本論文では日本語対話の自動評価における ChatGPT の有効性を検証するため, 対話の重要な品質であると考えられる 6 つ評価項目に関する主観評価データを収集し, ChatGPT による評価を行った. その結果, ChatGPT による評価と主観評価データとの相関が人間同士の相関に近いことを確認し，日本語においても ChatGPT を対話評価に用いる有効性を確認した。一方で，応答文を英語に翻訳することで相関が高くなることから，対話評価における ChatGPT の日本語と英語での性能差についても確認した. 今回は ChatGPT を対象に，主観評価で用いた評価作業手順書に合わせたプロンプトによる評価を行ったが，今後は別の LLM を用いた評価や，異なるプロンプトでも評価を行い，主観評価との相関をより向上させたい.

3) https://www.deepl.com/translator

## 参考文献

[1] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, Qun Liu. Achieving reliable human assessment of opendomain dialogue systems. In Proceedings of the $60^{\text {th }}$ Annual Meeting of the Association for Computational Linguistics, pp.6416-6437, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[3] Jiannan Xiang, YahuiLiu, Deng Cai, Huayang Li, Defu Lian, Lemao Liu. Assessing dialogue systems with distribution distances. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2192-2198, Online, August 2021. Association for Computational linguistics.

[4] Shikib Mehri, and Maxine Eskenazi. Unsupervised Evaluation of Interactive Dialog with DialoGPT. In Proceedings of the SIGdial 2020 Conference, pp. 225-235, 1 st virtual meeting, 01-03 July 2020. Association for Computational Linguistics.

[5] Jinlan Fu, See-Kiong Ng, Zhengbao Jiang, Pengfei Liu. Gptscore: Evaluate as you desire. arXiv preprint arXiv:2302.04166, 2023.

[6] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen $\mathrm{Xu}$, Chenguang Zhu. G-Eval:NLG Evaluation using Gpt-4 with Better Human Alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 2511-2522, Singapore, December 2023.

[7] Yen-Ting Lin, Yun-Nung Chen. LLM-Eval: Unified MultiDimensional Automatic Evaluation for Open-domain Conversations with Large Language Models. arXiv preprint arXiv:2305.13711, 2023.

[8] Peiyuan Gong, Jiaxin Mao. CoAScore: Chain of Aspects Prompting for NLG Evaluation. arXiv preprint arXiv:2312.10335, 2023.

[9] 川本稔己, 岡野裕紀, 山崎天, 佐藤敏紀, 船越孝太郎,奥村学. フォローアップ発話を用いた日本語対話の自動評価. 言語処理学会第 29 回年次大会発表論文集 (2023 年 3 月), p.1659-1663.

[10] 佐藤志貴, 岸波洋介, 杉山弘晃, 赤間怜奈, 徳久良子,鈴木潤. 多様な話者との自動対話に基づく雑談システ公自動評価. 言語処理学会第 28 回年次大会発表論文集(2022 年 3 月), p.1099-1104.

[11] Ananya B Sai, Akash Kumar Mohankumar, Mitesh M Khapra. A survey of evaluation metrics used for NLG systems. ACM Computing Surveys (CSUR) 55, 2 (2022), 139.

[12] Shikib Mehri, Jinho Choi, Luis Fernando D'sHaro, Jan Deriu, Maxine Eskenazi, Milica Gasic, Kallirroi Georgila, Dilek Hakkani-Tur, Zekang Li, Verena Rieser, Samira Shaikh, David Traum, Yi-Ting Yeh, Zhou Yu, Yizhe Zhang, Chen Zhang. Report from the NSF Future Directions Workshop on Automatic Evaluation of Dialog: Research Directions and Challenges. arXiv:2203.10012, 2022.

[13] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT: Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp.
270-278, Online, July 2020. Association for Computational Linguistics.

[14] Shikib Mehri, and Maxine Eskenazi. USR: An Unsupervised and Reference Free Evaluation Metric for Dialog Generation. In Proceedings of the 58 Annual Meeting of the Association for Computational Linguistics,

[15] Viet Dac Lai, Nghia Trung Ngo, Amir Pouran Ben Veyseh, Hieu Man, Franck Dernoncourt, Trung Bui, Thien Huu Nguyen. ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language models in Multilingual Learning. Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 1317113189, December 2023. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[17] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chitchat Systems. arXiv preprint arXiv:2109.05217, 2021

[18] Sarik Ghazarian, Nuan Wen, Aram Galstyan, Nanyun Peng. DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations. In Proceedings of the $60^{\text {th }}$ Annual Meeting of the Association for Computational Linguistics, pp.771-785, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[19] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou. Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Open-domain Chatbot Consistency. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp.10571067, August 2021. Association for Computational Linguistics.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kris-tina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[21] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. BERTScore: Evaluating Text Generation with BERT., in ICLR2020, OpenReview. net, 2020

## Ａ 各評価項目のレベルごとの定義

(1)自然さ

・ 1 (不自然) : 応答文が日本語として不自然

・2 (やや不自然) : 応答文が日本語として違和感があるもの

の，完全に不自然ではない

$\cdot$3 (自然) : 応答文が日本語として自然

(2)文脈的整合性

・0（噛み合っていない）：応答文が対話文脈と噛み合っていな

い

・1（噛み合っている）：応答文が対話文脈と噛み合っている (3)興味深さ

・1（興味深くない）：応答文に具体性がなく，会話が発展しないような応答

・2（やや興味深い）：応答文にある程度具体性があり，会話が続きそうな応答

・3（興味深い）：応答文に具体性があり，会話を発展させるような応答

(4)話題の関連性

・1（関連していない）：応答文がそれまでの話題と全く異なる話題に関する応答

・2（どちらでもない）：応答文が特定の話題を含まず，どちらともいえない

$\cdot$3（関連している）：応答文がそれまでの話題に沿っている (5)首尾一貫性

・0（一貫していない）：応答文が過去の発話と矛盾している

・1（一貫している）：応答文が一貫していて，過去の発話と矛盾がない

図 1:各評価項目のレベルの定義（総合的な品質を除く）

## B ChatGPT のプロンプト（抜粋）

(1)自然さ (1 3)

この項目では応答文が日本語として自然な文であるかどうか

を1 3 の整数值で評価して下さい,

・1 (不自然) : 応答文が日本語として不自然である際は, スコアを 1 として下さい.

例：B さん「おなかがすいてきましたね。なにか食べたいものはありますか？」

$\rightarrow \mathrm{A}$ さん「私は私はお寿司がが食べたいですよね?」

・2 (やや不自然) : 日本語として違和感があるものの，完全に不自然ではない際はスコアを 2 として下さい.

例：B さん「おなかがすいてきましたね。なにか食べたいものはありますか？」

$\rightarrow \mathrm{A}$ さん「私は食べたいですお寿司が」

$\cdot$3（自然）：応答文が日本語として自然である際は，スコアを3として下さい.

例：B さん「おなかがすいてきましたね．なにか食べたいものはありますか？」

$\rightarrow \mathrm{A}$ さん「私はお寿司が食べたいです.」

(2)文脈的整合性 $(0 \sim 1)$

それでは評価していただく対話を示します。

$\mathrm{A} さんの$ 応答（評価対象）「〜」

評価結果は必ず以下の形式で出力してください

自然さ：「」文脈的整合性：「」興味深さ：「」

話題の関連性：「」首尾一貫性：「」総合的な品質：「」

図 2 : ChatGPT のプロンプト（一部）

## C 評価文の例

例(1)

対話文脈

Aさん：「こんにちは！お元気でしたか？」

Bさん：「ああ、久しぶりです。こないだ成人しましたよ。

2000 年ミレニアム生まれなもんで。」

A さん：「おめでとうございます！ 2000 年と言うことは平成生まれですよね。私と一緒だ！」

B さん：「そうですよね。令和になっちゃったものなあ。急

に老け込んだ感じがしますよ。運動とかされてますか？」

評価対象の文

A さんの応答文(1)：「はい、週に数回ジムに行って、ランニングや水泳をしています。」

$\mathrm{A}$ さんの応答文(2)：「はい、運動はしていますよ。最近は毎日ジョギングをしています。この前の土日は 30 キロのウルトラマラソンに出場してきました。」

A さんの応答文(3)：「いや、特にしてないな。あなたは何かしてるんですか?!

例(2)

対話文脈

Aさん：「こんにちは。最近の調子はいかがですか？」

$\mathrm{B} さん ： 「$ 最近体調を崩しまして、ただいま休職中なんです

よ。。」

Aさん：「それは、大変ですね。どんなお仕事をなさっていたんですか?」

B さん：「北陸に住んでいるので、そこの地方銀行で働いていたのですが、地方はいろいろ厳しくて。。」

評価対象の文

A さんの応答文(1)：「こんにちは。そうだったんですね、お大事に。わたしは派遣社員として働いていますよ。

A さんの応答文(2)：「なるほど。では、復職したくなった

ら、いっでも戻ってきてくださいね。良い一日を!

Aさんの応答文(3)：「それは大変です数。地方銀行というと

ころは、このところ経営が厳しいと聞きますよ。」

図 $3:$ 評価文の例


# 雑談中の発話と文脈から 話者情報を抽出する LLM の能力に関する検証

連慎治 ${ }^{1}$ 竹下昌志 ${ }^{1}$ 伊藤敏彦 ${ }^{2}$
1 北海道大学 大学院情報科学院 2 北海道大学大学院情報科学研究院
shinjimuraji@ist.hokudai.ac.jp takeshita.masashi.68@gmail.com
t-itoh@media.eng.hokudai.ac.jp

## 概要

近年，LLM を用いた雑談システムがユーザやシステム自身の個性を応答生成に活用することで対話の質を向上させる研究が盛んである. しかし，発話者の個性を応答生成に用いるためには対話から発話者の情報を抽出する必要があるが，その抽出手法は十分に研究されていない。また，対話から話者の情報を抽出するためには文脈の考慮も必要だと考えられるが，話者情報抽出における文脈の影響はまだ十分に検証されていない. そこで，本研究では現在最先端とされている LLM がどの程度，雑談発話から文脈を考慮して発話者の情報を抽出できるかを検証する. 実験の結果から, 最先端の LLM が話者の情報を抽出する際に文脈を十分に考慮できていないことが示された。

## 1 はじめに

近年，大規模言語モデル (LLM) を用いた多くの雑談システムが研究されている.これまで言語モデルを用いた雑談システムの研究において，発話者の個性を自然言語による文の形式1)で利用することで， システム自身の発話の一貫性が上昇したり [1]，対話の魅力が上昇することが報告されている [2] . しかし，対話に活用するためには何らかの形で話者の情報を用意する必要があり，事前に用意する方法と対話から抽出する方法が考えられる。事前に用意する方法では対話の中で新しく話された話者の情報に対応できず，対話から抽出する方法はまだ十分に研究されていない.

また，人間は雑談中の発話から発話者の情報を抽出する際に，それまで話された内容を使って目標発話で直接話されていない内容を補完しているはずで

1）「私は学生です。」のような自己紹介型の文が使われることが多い. ペルソナ文とも呼ばれる。
ある。本稿では，対話中の目標発話より前の発話を文脈と呼び，人間と LLM がどの程度文脈を用いて話者情報の抽出を行っているか調べる。

よって，本研究では予備実験として人間の場合はどの程度文脈中の内容を用いて話者情報を抽出するのか確認した後，最先端の LLM が雑談中の発話から話者の情報を抽出する際にどんな手法が有効なのか，どの程度文脈を考慮できているのかを検証する.

## 2 予備実験

予備実験では，人間が目標発話から話者の情報を抽出し，さらに人手で抽出された情報が目標発話だけから分かる内容かどうかを分析する．雑談のデー タセットとしては，JPersonaChat データセット [3]を用いる. 全データ 61,781 発話からランダムに目標発話を 400 発話をサンプリングし，目標発話とその対話履歴をアノテータに見せる。 そして，アノテー タが目標発話を聞いたときに想像する発話者の情報を抽出させた。さらに，抽出された話者情報と目標発話のペアを見て目標発話のみから分かる情報か, あるいは何発話前の情報と組み合わせて抽出されたものかをアノテーションした. アノテーションは著者の一人が行った. 結果，19\%の発話で話者情報の抽出の際に文脈が必要であった.

## 3 関連研究

雑談対話から話者の情報を抽出する研究はいくつか先行研究がある．Xu ら [2] は，発話が行われるごとに対話履歴を要約してデータベースに保存し，応答生成時の入力として対話履歴のみではなく関連する要約文を検索補強して用いることでより相手と話した内容に沿った魅力的な対話を行うことができることを示した.このことから，Xu らは対話の要約
表 1 人間による話者情報抽出の例

 &  \\

図 1 指示文プロンプトの形式

が話者情報の拡張として機能すると主張している。 また，Xu らは要約を保存する動機として，それぞれの発話を個別に保存してしまうと文脈依存な情報が多く保存されてしまい，保存された情報の検索や応答生成の際に負担が大きくなることを挙げている.我々の動機も同様であり, 文脈に依存しない話者情報の抽出を目指すが，対話履歴の要約は行わない. それには二つ理由があり，ひとつは雑談において発話から得られる話者の情報は多いほどよく, 単純な要約では残したい情報が削れてしまう可能性がある. もうひとつは, 発話から推論を通して得られる話者の情報はしばしば単純な要約とは異なるため,我々は推論を必要とするような話者の情報も抽出したいからである.また，Xu らは Transformer のエンコーダデコーダモデルを用いて対話履歴から要約を作成したが，作成された要約に対しては分析を行っておらず，データセットでの perplexityを測るに留まっている. さらに，川本ら [4] や Ribeiro ら [5] も発話から話者情報の抽出を行っているが，文脈の影響は調査されていない。

## 4 本研究で扱うタスク

本研究では，二名の人間同士のテキストの雑談から発話者の情報を文の形式で抽出することを考える. 発話する二名を A と B と仮定し, 交替で発話を行ったものとする. 最後に A が発話した内容を聞いたときに，人間が想定するＡの情報を文で書き出すというタスクで LLM の話者情報を抽出する能力を検証する。人手での話者情報の抽出例を表 1 に示す.この例では，4つの話者情報が抽出されている.以下の点に注意して抽出を行う.

・それまでの対話で判明している必要な情報が欠けていない文で抽出する

・常識的なものは抽出しない
・目標発話と関係のない情報は抽出しない 1 点目に関しては, 表 1 の二つ目の話者情報が必要な情報を含んでいる例に該当する。ここで「大学を」という情報が抜け落ちて「もうすぐ卒業する」 という文を抽出して保存しても，内容が文脈依存的になり後の応答生成で活用が難しくなる. 3 点目に関しては，表 1 における，目標発話とは関係のない「誕生日が大晦日」や「19 歳」,「やぎ座」が該当する.

また，本研究では履歴として用いる文脈の長さには制限をかける. 予備実験から，今回用いるデータセットでは履歴として 2 発話分遡れば $98.25 \%$ の発話で話者の情報が抽出できることが分かったため，本研究では目標発話に対して表 1 のように文脈として対話履歴の発話を最大 2 発話付与して話者情報の抽出を行う。

## 5 LLM による話者情報の抽出手法

本研究では日本語の雑談対話から話者情報を抽出した先行研究 [4] に倣ってLLM にプロンプトを与えることで話者情報の抽出を行うが，LLM で抽出する際の条件を変えて精度を調査した. 変更する条件は与える履歴発話の数, プロンプトの内容, 温度とした. 条件の相互作用で性能が変わる可能性もあるが，全ての組み合わせを調べることは困難なため，今回は文脈の条件以外はそれぞれが独立していると仮定しべースとなる抽出システムの一部を変更することで実験を行った. ベースとする指示文を図 1 に示す.

## 5.1 与える履歴発話数の比較

予測時に与える発話履歴数による精度の違いを調査した. 人間の場合は発話履歴が多いほど具体的で正確な話者情報を抽出できると考えられるが，LLM

がどの程度文脈を考慮して話者情報を抽出しているかは未知であるため，文脈として対話履歴を与えないもの, 1 発話分の対話履歴を与えるもの, 2 発話分の対話履歴を与えるものの 3 つを比較した.

## 5.2 温度の比較

LLM は温度の設定で予測を行う際の出力の多様性を変更できる. 本研究ではより確実な出力を行うためにベースの温度を $\mathrm{T}=0$ と設定したが，より高い温度を設定することで多様な話者情報が得られる可能性があるため $\mathrm{T}=1$ で抽出を行い比較を行った。

## 5.3 プロンプトの比較

プロンプトによって抽出できる話者情報が変わる可能性がある. 本研究では, 先行研究 [4] で用いられているような 5 例のタスク例示を行うプロンプトをべースとして，以下の 7 つの条件を変えて効果を確認した．また， ベースの例はデータセットの開発用に分けた対話から手動で作成し，いくつか試したものの中から抽出精度が最も良かった 5 例を用いた.

タスク例示の有無の影響例を用いない方が抽出性能が上がる可能性もあるため，指示文のみでの抽出を実行した。

指示内容の影響ベースでは，LLM が文脈情報として与える別発話から話者情報を抽出するのを避けるために図 1 のように「A の最後の発話で新しく分かる」と記述した. 人間の場合は「A の最後の発話で述べられている」と指示すれば最後の発話と無関係な話者情報の抽出は防げると考えられる．LLM において，このような人間的な指示に変更した場合の影響を調査した。

対象発話の与え方の影響ベースとするプロンプトでは，発話を与える際に表 1 のように文脈中の発話を「A の発話」「B の発話」とし, 目標発話を 「A の最後の発話」と記述した. この記述が LLM にとってどの程度効果的であるかは不明である. よって，文脈と目標発話を LLM がより区別できるようにそれぞれ「A の発話 (C)」「B の発話 (C)」「A の最後の発話 ( $\mathrm{T})\lrcorner$ とマーキングしたものと精度の違いを調査した。

指示文の位置の影響ベースでは，指示文を記述した後に例示を与えたが，例示の後に指示文を置いた場合の精度の違いを調査した。
タスク例示の選択の影響ベースでは手動で選択した抽出するべき話者情報がある場合のタスク例示を用いたが，実際の雑談には話者情報が無い発話も存在する。そのため, 雑談中の話者情報がない発話の割合に合わせて例示の割合を調節すると精度が上がる可能性がある. 予備実験より，21.75\%(87/400) の発話に話者情報が無いことが分かっているので， 5 例の内 1 例を話者情報が無い例に変更し精度を調査した。

負例の有無の影響ベースでは正解例を与えているが，失敗例を与えることで精度が上がる可能性があるため，正例 5 例の前に負例を 1 件追加した場合の精度を調査した。

話者情報の記述形式の影響ベースでは表 1 のような人手で抽出した際の話者情報を与えているが，先行研究では話者情報を「私は大学生です」のような自己紹介の形で与えることが多い. また，データを A と B の雑談としてプロンプトに与えているため, 自己紹介ではなく「A は大学生です」のような A の紹介として与えることで精度が変わる可能性がある。よって，例示の際の話者情報を自己紹介形式，他者紹介形式に変更した場合の精度を調査した.

## 6 実験設定

LLM としては, 最先端のものとして GPT-4 のスナップショット $(\mathrm{gpt}-4-0613)^{2}$ を用いた. 実験はそれぞれの条件で 3 回づつ行い精度の中央値をスコアとした. データセットとしては JPersonaChat(JPC)を用いた. データセット 5000 対話から例示の選択時に用いた 10 対話を除いた 4990 対話からランダムな目標発話 100 件に対し，LLM で話者情報をできるだけたくさん抽出した. 抽出された話者情報と目標発話とその文脈をアノテーターに見せ，評価させた。 アノテーターには，文脈+目標発話から抽出された文が話者情報として断定できる場合は $\mathrm{o}$, 抽出された話者情報が発話者の情報として可能性が高い場合を $\mathrm{p}$, 間違っているものや余分な情報が含まれているもの，日本語として成り立たないもの，目標発話と関わりがないもの，必要な情報が抜けているものは $\mathrm{x}$ とする 3 值で判断してもらった. アノテーションは 20 代男性 1 名に依頼した.

表 2 話者情報の抽出精度

表 3 履歴 2 発話条件で参照できた文脈

## 7 実験結果

話者情報を抽出してアノテータによって。または $\mathrm{p}$ と判定されたものを正解とし, 表 2 に精度を示す. 結果から，まずべースにおいて文脈 1 発話と文脈 2 発話で精度に $8.68 \%$ の差が見られた (表 2 に太字で示す).これはどちらの条件でも抽出に成功している話者情報数は大きな差が無いが文脈 2 発話の条件では誤抽出が多いためである. 誤抽出の多くが目標発話と無関係な文脈部分の発話から抽出された話者情報であり，対象発話だけに上手く注目できていないことが分かる. この誤抽出はマーカを追加することや負例を追加することで減少がみられ精度の上昇が見られた (表 2 に太字で示す)が， ベースと有意になるような精度の差は見られなかった (検定にはフィッシャーの正確確率検定で片側検定し, $\mathrm{p}$ 值の補正をボンフェローニ法で行った)．また、ゼロショット設定では予測時の文脈発話数に関わらずベースから精度が下がった. このことから, 例示の効果が分かる．全体を通してべースより有意に精度が上がった条件は無かった. 精度が少し上がった条件がいくつかあったため, 精度の上がった条件を組み合わせて実験をやり直したが，有意な精度の上昇は見られなかった。

## 7.1 LLM が抽出した話者情報の分析

文脈を履歴 2 発話分つけて予測されたモデルは 1 発話分のモデルや文脈無しのモデルと比べ有意に精度が低いが，より文脈から情報を補完して抽出でき
ている可能性がある.これを調べるため，対話履歴を 2 発話分与えたモデルによって抽出された話者情報の内，アノテータが正しいとしたもの $(\mathrm{o}, \mathrm{p})$ に対して，予備実験と同様の分析を行った. 分析は著者 1 名が行った. 比較の対象として，人間が抽出した話者情報, 履歴 2 発話のベース, 履歴 2 発話を使ったものの中で特に精度が良かった 2 つの条件 (マー 力追加, 自己紹介型), 抽出が最も多かった例示なしの条件の 5 つを使う．結果を表 3 に示す. 表より， LLM が抽出した話者情報は人手で抽出したものよりも文脈から情報を補完できている割合が低い. さらに，ベースよりも精度が良かった 2 条件は文脈から情報を補完する割合が下がっている。また，例示の有無を比較 (ベース vs 例示無し)すると，例示なしの条件はベースより精度が低いものの文脈から情報を補完する割合は高いことが分かった (表 3 に太字で示す)．このことから，このタスクにおいて LLM は与えた例を真似て表面的な抽出を行うことで，抽出の精度が上がる代わりに文脈からの情報の補完ができなくなってしまうことが分かった.

## 8 まとめ

本論文では，近年雑談システムにおいて活用されている話者の情報を，最先端とされている LLM がどの程度雑談から抽出できるか，抽出時にどの程度文脈を参照しているかを検証した．結果から，LLM は文脈が長くなると目標発話に注目して話者の情報を抽出することが困難となり，目標発話とは無関係な話者情報の抽出を多くしてしまうことが分かる.目標発話に注目させるための工夫を行っても，精度は上がるものの文脈の考慮を犠牲にしてしまうことが分かった. 今後は，目標発話と話者情報のペアを集めたデータセットを作成し，精度と文脈からの補完を両立させた話者情報の抽出を目指す。また，推論が必要な話者情報の分析等は今後の課題とする.

## 謝辞

本研究の一部は，JST 科学技術イノベーショ

ン創出に向けた大学フェローシップ創設事業 JPMJFS2101 の支援を受けたものです.

## 参考文献

[1] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[4] 川本稔己, 山崎天, 佐藤敏紀, 奥村学. 大規模汎用言語モデルによるペルソナを考慮した応答生成, May 2022.

[5] Rui Ribeiro, Joao Paulo Carvalho, and Luisa Coheur. PGTask: Introducing the task of profile generation from dialogues. In Svetlana Stoyanchev, Shafiq Joty, David Schlangen, Ondrej Dusek, Casey Kennington, and Malihe Alikhani, editors, Proceedings of the 24th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 183-189, Prague, Czechia, September 2023. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 過去対話セッションからの想起と深化を行う対話モデル

渡邊寛大 ${ }^{1,2}$ 河野誠也 ${ }^{2,1}$ 湯口彰重 ${ }^{3,2}$ 吉野幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト
3 東京理科大学
\{kanta.watanabe, seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

対話システムが人間社会で活用されるためには,高い信頼と長期的な関係を構築するための記憶と学習の能力が必要である. 具体的には，過去の対話を記憶し，記憶をもとに様々な経験から知識を更新し，将来の対話で応用する能力が必要である. 特に 2 回目以降の対話では，過去の対話履歴を想起するだけでなく，対話履歷から想起して利用する外部知識が持つ情報量が重要であることがわかっている [1]. そこで，システムが対話履歴に基づいて想起を行う際，外部知識が持つ情報量を考慮した話題および知識選択のモデルを構築し，大規模言語モデル （GPT-4）のプロンプトとして活用する対話システムを開発した. 対話実験から，情報量を考慮した話題選択が，有益な知識の抽出に有効であることを明らかにした．また，情報量を考慮した知識選択が情報提供の側面だけでなく, 対話の継続性やエンゲージメント向上といった側面でも有効であることを確認した.

## 1 はじめに

自然言語を用いて人間と対話をする対話システムは，医療や教育，生活支援をはじめとした様々な分野で注目され $[2,3,4]$, 研究開発が活発に行われている。一方で，実際に活用されるために改善すべき課題は依然として存在する。例えば，現在の対話システムの多くは，単一セッションで毎回異なる話者と初対面の対話を行うことを想定している [5]. しかし人間社会でより活用されるためには，長期間に渡って特定のユーザと以前の対話内容を踏まえて対話を行う能力が必要となる [6]. 我々人間は, 複数回行われる対話の内容を記憶し，またその内容に関する知識を自身の様々な経験から深めて次回以降の対話に活用することで長期間に渡る対話を可能とし
ている。対話システムもこのように，対話履歴から知識を想起し，様々な経験から深化して次回以降の対話で活用することが望まれる。

本研究では，対話における知識の想起と深化をモデル化することで，特定のユーザーと長期に渡って対話し，成長していく対話システムの開発を目指す.具体的には，我々の過去の研究 [1] から得られた，過去の情報を適切に想起し深化するためには対話履歴のみでなく想起対象である知識が含む情報量を考慮することが必要である，という知見を活用し，情報量に基づいた話題及び知識選択モデルを構築した. そして，大規模言語モデル（GPT-4）を発話生成に用いた対話システムに組み达んだ。評価では，同じ被験者に期間を空けて複数回システムと対話をしてもらう被験者実験を行った。

## 2 関連研究

## 2.1 外部知識に基づく応答生成

Dinan ら [7] は，応答に必要な外部知識を選択し，選択した外部知識に紐づいた応答を生成する対話応答生成モデルを提案した。また，このモデルを実際に学習・評価するために，Wikipedia の知識に基づくオープンドメインの対話の大規模なコーパスである Wizard of Wikipedia(WoW) を収集してモデルを構築・評価した. Komeili ら [8] は，対話文脈から生成したクエリでインターネット検索を行い, その結果を知識として利用して応答を生成する対話応答生成モデルを提案した. Shuster ら [9] は, neural-retrieval-in-the-loop 構造を知識ベース対話に利用して，会話能力を維持したまま知識を最大化するモデルを構築・評価した。これらの研究では，過去数ターンの発話から外部知識を検索して応答生成に使用する。これに対して本研究では，過去の対話セッションから知識を想起し，新たな経験から知識

の深化を行い，それによってモデルが動的に変化する対話モデルを構築することを志向する.

## 2.2 長期間の文脈を考慮した応答生成

Xu ら [10] は，過去の対話セッションの要約が注釈されたマルチセッション対話のデータセット Multi-Session Chat を収集し，過去の対話セッションを要約して応答生成に使用するモデルを構築した. $\mathrm{Xu}$ ら [11] は，ユーザとシステム双方のペルソナ情報（テキストで記述された個人の情報）を過去セッションの対話履歴から抽出・更新・参照し, 応答を生成する対話応答生成モデルを提案した. Bae ら [12] は，ペルソナ同士が矛盾を生まないように情報を動的に更新する手法を提案した. Takasaki ら [13] は，現在の対話セッションとの類似性に基づいて，過去の対話セッションの一部を抽出する手法を提案した. これらの研究では応答生成に過去の対話セッションの一部や要約を考慮するが, 本研究では過去の対話セッションの考慮に加えて, 過去の対話セッションに基づいて知識を想起し，新たな経験から知識を深化して対話システムの応答生成に活用することを志向する。

## 3 想起と深化を行う対話モデル

これまでの研究 [1]から，過去の情報を適切に想起し深化するためには対話履歴のみでなく, 想起対象である知識が含む情報量を考慮することが必要である可能性が示唆された. この知見に基づいて，実際に対話システムを構築し，そのシステムの話題選択に想起対象知識の情報量を考慮するモデルを組み込んで実験を行う（図 1).

図 1 システム設計の概要

## 3.1 情報量を考慮する話題選択

本研究では想起先の知識源が持つ情報量を考慮する話題選択モデルを提案する. 情報量の指標としては, Herdan's C [14], 選択肢数 (CN), トークン数 (TN), Perplexity $(p p)$ を使用する. $C$ と $T N$ を算出するため
の，テキストのトークン化には $\mathrm{MeCab}[15]$ [,$p p$ を算出するための言語モデルには， GPT-21) [16] を用いる。それぞれの指標はスケールが異なるため，重みを均一化するために順序尺度を用いて Informetion Content Score (ICS) を以下のように定義する.

$\boldsymbol{A}=\left.\{A_{1}, A_{2}, \ldots, A_{n}\right.\}$ は過去の対話セッションに紐づけられた記事，rank.は集合における降順の順位を表す.

## 3.2 使用知識を考慮した過去発話抽出

継続的な対話を行う場合，対話セッションを跨ぐような文脈も考慮した応答を生成することが望ましい. しかし, 膨大な履歴を全て入力するのは困難なため，過去の対話セッションのうち，進行中の対話と関連性の高いものを選択する必要がある [13].本研究ではこの知見に加えて，使用する知識との関連性の高さを考慮することで，より応答生成に必要な過去の対話セッションの要素を抽出できると考えた。これらを実現するために，進行中の対話セッションと使用する知識をべクトルで表現し，それぞれとのコサイン類似度の合計が高い過去の対話セッションの発話を選択する. 各要素の Embedding には, OpenAI 社の text-embedding-ada-002を使用した。

## 3.3 システムの概要

応答生成のための LLM には GPT-4[17] を使用し $た^{2)}$. また，発話の自然性を担保するために，コサイン類似度の合計から上位 3 つの過去の対話セッションの発話をプロンプトに入力し，それぞれの出力と直前の発話ぺアの Perplexity を算出して,最も低い値となった出力をシステム発話とした. Perplexityを計算する言語モデルには Twitter リプライペアデータセットで Fine-tuning した GPT-2[18]を使用した。

## 4 対話実験

## 4.1 実験の手順

まず，日本語を母語とする大学院生 15 名に対話履歴のみを入力とした GPT-4 と初対面の対話（1 回目の対話）を行ってもらった。対話の話題には，「エンタメ」「スポーツ」「IT・科学」「ライフ」「経済」

のいずれかをこちらから指定した. 1 回目の対話は合計 14 ターンとした. その 1 週間以上後, 同じ話者に提案手法とべースラインを用いた各システムと 2 回目の対話を行ってもらった. 2 回目の対話は各 10 ターンとした. 対話後, 2 回目の対話内容を評価してもらった. 人手評価の項目を表 1 に示す. 評価尺度には 5 段階のリッカート尺度を使用し， 1 が最も悪く, 5 が最も良いとした. 自動評価の指標としては応答の平均トークン長 (ave. $N$ ), 平均語彙数 (ave.V)，応答の自然性を測定する Perplexity ( $p p$ )，応答の多様性を測定する distinct-n [19] を用いた。

表 1 人手評価の項目

## 4.2 外部情報の設定

過去の対話セッションには 1 回目の対話, 話題には過去の対話セッションに含まれている 10 個の名詞，知識源には各話題と関連した Yahoo ニュースの記事を使用した. 話題及び知識源は過去の対話セッションの内容に基づいて人手で選択を行った. 1 回目と 2 回目の対話の間に知識を更新するという設定に従って, 記事は 1 回目の対話以降に更新された記事のみを選択した. 知識のチャンク分けは, Yahoo ニュース内での空白区切りに従った.

## 4.3 比較システム

ICS+CS+TFIDF 話題選択モデルのパラメーター にICS に加えて, 既存手法である Cosine Similarity $(C S)$ とTF-IDF を使用. 各パラメーターのスケールが異なるため, 順序尺度を使用して最終的なスコアは以下のように定義.

$
\operatorname{Score}_{A_{n}}=\frac{1}{\operatorname{rankICS_{A_{n}}}}+\frac{1}{\operatorname{rankCS} S_{A_{n}}}+\frac{1}{\operatorname{rankTF-IDF_{A_{n}}}}
$

ICS 話題選択モデルにICS のみを使用.

ICS+CS+TFIDF w/ 話題選択には ICS+CS+TFIDF を使用. 加えて，知識選択にも ICS を考慮したモデル. 知識選択のスコアを順序尺度を用いて以下のように定義. $\boldsymbol{s}=\left.\{s_{1}, s_{2}, \ldots, s_{m}\right.\}$ は選択された記事 $A_{n}$
に含まれる知識の集合を表す。

$
\operatorname{Score}_{S_{m}}=\frac{1}{\operatorname{rankICS_{S_{m}}}}+\frac{1}{\operatorname{rankCS_{s_{m}}}}
$

CS+TFIDF 話題選択モデルのパラメーターに既存手法である $C S$ と $T F-I D F$ のみを使用.

CS+TFIDF w/o 過去発話抽出モデルには提案手法ではなく, ユーザー発話とのコサイン類似度のみを考慮.

## 4.4 実験結果

## 4.4.1 システム発話のクラス分類

システム発話を,「1. 過去の経験の想起と知識の深化を活用した発話」「2. 過去の経験の想起だけを活用した発話」「3. 知識の深化だけを活用した発話」「4.いずれも活用していない発話」の 4 クラスに分類を行った. この分類は訓練したアノテータ1名によって行った. アノテーションの結果を表 2 に示す. 全体では, 「1. 過去の経験の想起と知識の深化を活用した発話」が半分を超えていた．また，想起及び深化のいずれかを活用し発話を行っている割合

て選択して与えた知識が GPT-4 の出力に大きく影響を与えていると考えることができる。

## 4.4.2 人手評価

人手評価の結果を, 表 3 に示す. すべての評価項目において CS+TFIDF は CS+TFIDF w/o を上回っている。このことから，使用する知識を考慮する過去発話抽出モデルが有効に働いたと考えられる。

また，ICS+CS+TFIDF w/ は ICS+CS+TFIDFをすべての指標で上回っている。このことから，情報量を考慮した知識選択が有効に働いたと考えられる。

## 4.4.3 自動評価

自動評価の結果を表 4 に示す. 自動評価の結果から，発話の多様性に大きな差は見られなかった. Perplexity に関しては，話題選択に ICS を使用したモデルが使用していないモデルよりも小さくなった.平均トークン長は CS+TFIDF w/o が有意に大きい.
表 3 人手評価の結果

これは Perplexity によるリランキングが原因だと考えられる。

表 4 自動評価の結果

## 4.4.4 有益な知識の抽出性能の比較

対話履歴に沿っている，かつユーザーにとって有益な知識をどれくらいの割合（\%）で抽出できていたのかアノテーションを行った。この分類は訓練したアノテータ 1名によって行われた. アノテーションの結果を表 5 に示す. 表 5 から，提案手法である ICS+CS+TFIDF が最も高い割合でユーザーにとって有益な知識を抽出できていることが分かる. このことから，有益な知識の抽出において提案手法が有効であると考えることができる.

表 5 有益な知識を抽出できている割合（\%）

## 4.4.5 GPT-4 の発話生成における再現性の評価

今回の対話実験における GPT-4 の発話の再現性を確認した. 具体的には，対話実験時と同じ内容のプロンプトを GPT-4 に与えて 3 つの発話を生成し，生成された発話が実験時に生成された発話とどの程度一致するかを BERT Score[20] と Cosine Similarity3)を用いて算出した。結果を表 6 に示す. 表 6 から，全体で BERT Score は 0.772, Cosine Similarity は 0.947

3）各発話の Embedding には OpenAI 社の text-embedding-ada002 を使用した
と生成される発話の内容は概ね一致していることが分かる.したがって，GPT-4 による発話生成にはある程度再現性があると考えることができる。

表 6 生成する発話の内容の一貫性の評価

## 4.5 システム発話のエラー類型

システム発話における不適切なエラー類型の分析を行った．主なエラー類型を表 7 に示す。矛盾は 1 件のみであったことから， 1 回目の対話との一貫性は保たれていたと考えられる。情報不足に関しては，ユーザーが求める記事及び情報が知識源に無いときに確認された。

表 7 主なシステム発話のエラー類型

## 5 おわりに

本研究では，保有する知識の情報量を考慮する話題・知識選択モデル及びそれらを組み込んだ対話システムを構築した。そして，対話実験から，情報量を考慮した話題選択が，有益な知識の抽出に有効であることを明らかにした。また，情報量を考慮した知識選択が情報提供の側面だけでなく，対話の継続性やエンゲージメント向上といった側面でも有効であることを確認した．今後は，各パラメーターの動的な設定手法の模索と 2 回目以降の対話実験，知識源の規模拡大を行う予定である。

## 謝辞

本研究は JSPS 科研費 22K17958，22H04873 の助成を受けた。

## 参考文献

[1] 渡邊寛大, 河野誠也, 湯口彰重, 吉野幸一郎. 経験に基づく知識の想起と深化を伴う対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 99, pp. 13-18, 2023.

[2] Mina Valizadeh and Natalie Parde. The AI doctor is in: A survey of task-oriented dialogue systems for healthcare applications. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6638-6660, Dublin, Ireland, May 2022.

[3] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, Los Angeles, September 2016.

[4] Eugene Agichtein, Yoelle Maarek, and Oleg Rokhlenko. Alexa prize taskbot challenge. In Alexa Prize TaskBot Challenge Proceedings, 2022.

[5] Jinjie Ni, Tom Young, Vlad Pandelea, Fuzhao Xue, and Erik Cambria. Recent advances in deep learning based dialogue systems: A systematic survey. Artificial intelligence review, Vol. 56, No. 4, pp. 3055-3155, 2023.

[6] Qing Wang, Yi-Ling Lai, Xiaobo Xu, and Almuth McDowall. The effectiveness of workplace coaching: a meta-analysis of contemporary psychologically informed coaching approaches. Journal of Work-Applied Management, Vol. 14, No. 1, pp. 77-101, 2021.

[7] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[8] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8460-8478, Dublin, Ireland, May 2022.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021.

[10] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Smaranda Muresan, Preslav Nakov, and Aline Villavi- cencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022.

[11] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022

[12] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 3769-3787, Abu Dhabi, United Arab Emirates, December 2022.

[13] Meguru Takasaki, Naoki Yoshinaga, and Masashi Toyoda. Effective dialogue-context retriever for long-term open-domain conversation. In The 13th International Workshop on Spoken Dialogue Systems Technology (IWSDS), 2023 .

[14] Gustav Herdan. Type-token Mathematics. Janua linguarum, Studia memoriae Nicolai van Wijk dedicata. Series maior, 4. Mouton, 1960.

[15] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/, 2005.

[16] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[17] Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, et al. Sparks of artificial general intelligence: Early experiments with gpt-4. arXiv preprint arXiv:2303.12712, 2023.

[18] Seiya Kawano, Shota Kanezaki, Angel Fernando Garcia Contreras, Akishige Yuguchi, Marie Katsurai, and Koichiro Yoshino. Analysis of style-shifting on social media: Using neural language model conditioned by social meanings. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 7911-7921, 2023 .

[19] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Kevin Knight, Ani Nenkova, and Owen Rambow, editors, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110119, San Diego, California, June 2016.

[20] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020

## A 過去の対話セッションからの想起と深化を活用した発話例

表 8 過去の対話セッションの内容を想起した発話例

 & \\

表 9 過去の対話セッションの内容から深化した知識を活用した発話例

 & \\


# 非タスク指向型対話における話題の深さ推定モデルの構築

三野星弥 1 伴碧 1 吉川雄一郎 ${ }^{1}$ 石黒浩 ${ }^{1}$
1 大阪大学大学院 基礎工学研究科
\{mitsuno.seiya, ban, yoshikawa, ishiguro\}@irl.sys.es.osaka-u.ac.jp

## 概要

非タスク指向型対話システムが，話題の深さを考慮しながらユーザに応じて適切な話題を提示することは，より人間らしく自然な対話を実現するために重要であると考えられる。話題の深さを考慮しながら対話できるシステムの実現のための第一歩として，本研究では，様々な話題について，その深さを推定できるモデルを構築することを目指す. 我々は，独自に作成した話題の深さデータセット1)を用いて，GPT-3.5をファインチューニングし，話題の深さ推定モデルを構築した. そして，評価実験を通して，本モデルが， ベースラインと比較して，高い精度で話題の深さを推定できることを確認した。

## 1 はじめに

近年，娦楽 [1]，福祉 [2]，教育 [3] といった様々な領域で，人の代わりの雑談相手となる，非タスク指向型対話システムの活躍が期待されている.このような非タスク指向型対話システムがユーザに提示し得る話題の候補は，ユーザにとって浅く取るに足らないものから，自身の本質にかかわるような深いものまで多岐に渡る $[4,5]$. この話題の深さという概念は，主に自己開示研究の分野で用いられており，対話における重要な要素の一つであると考えられている [6]. 人は一般に，深い話題を他者に対してあまり話したがらない傾向にあると言われている $[4,5,7]$. また，対話相手との関係性の深化に伴って，人は徐々に深い話題を話すようになるとも言われている $[6,7]$. 以上より, 非タスク指向型対話システムが，話題の深さを考慮しながらユーザに応じて適切な話題を提示することは，より人間らしく自然な対話を実現するために重要であると考えられる。

話題の深さを考慮しながら対話できるシステムの実現のための第一歩として，本研究では，様々な

1）本研究で作成したデータセットは GitHub (https://github. com/IshiguroLab/TopicDepthDataset/）にて公開している。話題について，その深さを推定できるモデルを構築することを目指す．具体的には，まず，大規模言語モデルで拡張した話題リストを用意し，人間のアノテータに深さラベルを付与させ，話題の深さデータセットを作成する．次に，このデータセットを用いて, OpenAI ${ }^{2}$ の GPT-3.5-turbo をファインチューニングし，話題の深さを推定できるモデルを構築する。 そして，構築したモデルが，ベースラインと比較して，高い精度で話題の深さを推定できることを評価実験を通して確認する。

## 2 データセット

我々は，大規模言語モデルで拡張した話題リストを用意し，各話題に対して人間のアノテータが話題の深さのラベルを付与したものを，ファインチュー ニングに使用するデータセットとした.

## 2.1 話題リスト

話題リストの作成フローを図 1 に示す。まず，初期データセットとして，話題の深さについての調査研究 $[5,4]$ ，人-対話システム間で実際に行われた対話で登場した話題 [8], 不安感や不眠症等のメンタルヘルス関連項目（PHQ[9,10]，GAD[11,10]，ISI[12]） から 106 話題を用意した (e.g., “あなたの一番好きな食べ物は何ですか?")。

次に，大規模言語モデルを用いたデータセット拡張手法である Evol-Instruct $[13,14]$ を参考に，用意した話題リストを拡張した。具体的には，話題をより深くさせる指示（In-Depth Evolving）と話題の幅 （種類）を増加させる指示（In-Breadth Evolving）を与え，GPT-4を用いて，話題リストを拡張した（プロンプトは付録 A. 1 を参照)。また，拡張した話題リストを OpenAI $の$ text-embedding-ada-002 でベクトル化し, 類似度の高い（コサイン類似度が 0.95 以上となる）話題を削除した。この処理を繰り返し，最終的に，1,638 話題を用意した。

図 1 話題リストの作成フロー

深さラベルの平均値と標準偏差の関係

図 2 話題の深さデータセットの分布

## 2.2 深さラベル

用意した 1,638 話題に対し，人手で深さラベルを付与した. 具体的には，クラウドソーシングサー ビスを用いて，各話題につきアノテータ 30 名に深さラベルを付与させ，その代表値（平均値）を最終的な深さラベルとした. 深さラベルは, 先行研究 $[5,6,7,15]$ を参考に，“あなたが「初対面の人とメッセージアプリ上で雑談をしている」という状況を想定してください。この状況において，以下の質問文は，質問しやすいもの（浅く，取るに足らないようなもの）でしょうか，あるいは，質問しにくい
もの（深く，人の本質に関わるようなもの）でしょうか. ”という教示のもと，1：とても質問しやすい（浅く，取るに足らない）７：とても質問しにくい（深く，人の本質に関わる）の 7 件法で付与させた. この際，“質問文の意味が読み取れない”，という項目を同時に用意し，全体の $10 \%$ 以上（3/30 名以上）のアノテータがこの項目を選択した場合，その話題は除外した（38 話題が該当）。また，Maniaci \& Rogge の Directed Questions Scale (DQS) [16] を参考に，質問中にチェック項目（e.g., “この項目は1を選択してください”)を複数設け，これらの項目に一つでも違反したアノテータのデータは平均值の算出時に除外した $(728$ データ $=4$ 人 $\times 182$ 話題/人が該当).

## 2.3 データの分布

話題の深さデータセットのヒストグラムを図 2 上部に示す. 最終的に採用した 1,600 話題の深さラべルは 1 点から 7 点まで幅広く分布しており，特に 3 点付近に多く分布していることが確認された. また，深さラベルの平均值と標準偏差を確認すると，浅い話題や深い話題と比較して中程度の深さの話題が標準偏差が高い傾向にあり，アノテータによって評価する深さにばらつきが出やすいことが示唆された (図2下部).

また，表 1 に話題と深さラベルの例を示す. 浅い話題としては，好きな食べ物や趣味といったポジティブな内容のものや，今日の天気といった客観的情報に関するものが多くみられた．その一方で，深い話題としては，精神的に疲れを感じているかや自己嫌悪を感じた経験などのネガティブな内容のものや，金銭や性に関するものが多くみられた。
表 1 話題と深さラベルの例

## 3 話題の深さ推定モデル

作成した話題の深さデータセットを用いて, OpenAI の gpt-3.5-turbo-0613をファインチューニングし，話題の深さ推定モデルを構築した. 具体的には，話題の深さデータセットを訓練用，テスト用に 9:1 に分割し, OpenAIの APIを用いて，ファインチューニングを実施した ${ }^{3}$ ．ファインチューニング時のプロンプトは, 深さラベル付与の際に用いた教示と類似したものとなるようにした（付録 A. 2 参照).また，ファインチューニング時のハイパーパラメータは，OpenAIが事前に用意した，訓練デー タに合わせて自動で設定される値のセットを用いた (batch_size: 2, learning_rate_multiplier: 2, n_epochs: 3).

## 4 評価実験

## 4.1 ベースライン

gpt-3.5-turbo-0613をファインチューニングして作成した話題の染さ推定モデル (以下, Finetuned GPT-3.5）を評価するための実験を実施した. ベー スラインとして, Zero-shot $の$ gpt-3.5-turbo-0613（以下, GPT-3.5), Zero-shot $の$ gpt-4-1106-preview（以下, GPT-4), 7-shot $\odot$ gpt-4-1106-preview (以下, GPT-4 (7-shot)）を用意した. GPT-4 (7-shot) は, Finetuned GPT-3.5 の訓練データを浅い順に並べ替え，等間隔にピックアップした 7 データをプロンプトに含め， In-context Learning を行った.

表 2 実験結果

図 3 話題の深さ群毎の推定精度

## 4.2 結果

実験の結果を表 2 に示す. テストデータセットにおいて, MAE, RMSE, $R^{2}$, Peason's $r$ の全ての指標で, Finetuned GPT-3.5 が最も高い性能を示したことが確認された.

また，話題の深さ毎の推定精度を評価するため， テストデータセットを，深さラベルの四分位数をもとに, 浅い話題群 (shallow; 0 25\%, 1.00 2.50 点),中程度の深さの話題群 (middle; 25 75\%, 2.50 4.23 点), 深い話題群 (deep; 75 100\%, 4.23 7.00 点) に分割した。そして, GPT-3.5 と Finetuned GPT-3.5 それぞれについて，各話題群における推定精度（MAE） を評価した (図 3). その結果, GPT-3.5 は, 中程度の深さの話題群の推定精度が，浅い話題群，深い話題群と比較して低いことが確認された. 一方で, Finetuned GPT-3.5 は, 全ての話題群において高い精
度で話題の深さを推定できており, 特に浅い話題群での推定精度が高いことが確認された。

## 5 おわりに

本研究では，独自に作成した話題の深さデータセットを用いて，GPT-3.5をファインチューニングし, 話題の深さ推定モデルを構築した. そして, 評価実験を通して, 本モデルが，ベースラインと比較して, 高い精度で話題の深さを推定できることを確認した. 本モデルの課題として, 話題の深さに影響し得る様々な要因を十分に考慮できていないことが挙げられる. 具体的には, 対話相手の性別や関係性 (家族，友人，仕事の同僚）などが話題の深さに影響を与えると考えられているため [7, 17], これらの要素を考慮できるようにする必要がある. 今後は, 本モデルの拡張を行うとともに，本モデルを用いて，話題の深さを考慮しながら対話できる非タスク指向型対話システムの実現を目指す予定である.

## 謝辞

本研究は JSPS 科研費 JP20H00101, JP19H05691, JP23KJ1462, Society 5.0 実現化研究拠点支援事業 (グラント番号: JPMXP0518071489）の助成を受けた.

## 参考文献

[1] 杉山弘晃, 古賀光, 西島敏文. 移動体から見える風景を話題とする雑談対話システム. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 2N5OS7a042N5OS7a04, 2022.

[2] Joost Broekens, Marcel Heerink, Henk Rosendal, and Others. Assistive social robots in elderly care: a review. Gerontechnology, Vol. 8, No. 2, pp. 94-103, 2009.

[3] Takayuki Kanda, Takayuki Hirano, Daniel Eaton, and Hiroshi Ishiguro. Interactive robots as social partners and peer tutors for children: A field trial. Human-Computer Interaction, Vol. 19, No. 1-2, pp. 61-84, June 2004.

[4] 三野星弥, 伴碧, 吉川雄一郎, 石黒浩. 初対面ロボットにユーザは何を話すのか一対話場面における話題の深さの検討一. 2024.

[5] 三野星弥, 伴碧, 吉川雄一郎, 石黒浩. ロボットとの対話意欲と話題の深さの関係のモデル化.人工知能学会全国大会論文集, Vol. JSAI2023, pp. 2O5OS2a01-2O5OS2a01, 2023.

[6] Irwin Altman and Dalmas A Taylor. Social penetration: The development of interpersonal relationships. Vol. 212, , 1973.

[7] 丹羽空, 丸野俊一. 自己開示の深さを測定する尺度の開発. パーソナリティ研究, Vol. 18, No. 3, pp. 196-209, 2010.

[8] 三野星弥, 吉川雄一郎, 伴碧, 石黒浩. 友人グループ内での長期間利用による他者情報のやり取りを行う日常対話チャットボットの評価. 人工知能学会論文誌, Vol. 37, No. 3, pp. IDS-I_1-14, 2022.

[9] Kurt Kroenke, Robert L. Spitzer, and Janet B. Williams. The PHQ-9: validity of a brief depression severity measure. J. Gen. Intern. Med., Vol. 16, No. 9, pp. 606-613, September 2001.

[10]村松公美子, Others. Patient health questionnaire (PHQ-9, PHQ-15) 日本語版および generalized anxiety disorder-7 日本語版-up to date. 新潟青陵大学大学院臨床心理学研究, Vol. 7, pp. 35-39, 2014.

[11] Robert L Spitzer, Kurt Kroenke, Janet B W Williams, and Bernd Löwe. A brief measure for assessing generalized anxiety disorder: the GAD-7. Arch. Intern. Med., Vol. 166, No. 10, pp. 1092-1097, May 2006.

[12] Cèlyne H. Bastien, Annie Vallières, and Chales M. Morin. Validation of the insomnia severity index as an outcome measure for insomnia research. Sleep Med., Vol. 2, No. 4, pp. 297-307, July 2001.

[13] Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, and Daxin Jiang. WizardLM: Empowering large language models to follow complex instructions. April 2023.

[14] Haipeng Luo, Qingfeng Sun, Can Xu, Pu Zhao, Jianguang Lou, Chongyang Tao, Xiubo Geng, Qingwei Lin, Shifeng Chen, and Dongmei Zhang. WizardMath: Empowering mathematical reasoning for large language models via reinforced Evol-Instruct. August 2023.

[15] 飯長喜一郎. グループ合宿における自己開放性. 東京大学教育学部紀要, Vol. 17, pp. 77-84, February 1978.

[16] Michael R Maniaci and Ronald D Rogge. Caring about carelessness: Participant inattention and its effects on research. J. Res. Pers., Vol. 48, pp. 61-83, February 2014.

[17] 榎本博明. 自己開示の心理学的研究北大路書房. 1997.

## A プロンプト

## A. 1 Evol-Instruct によるデータ拡張

## A.1.1 In-Depth Evoloving

話題をより深くさせる指示 (In-Depth Evolving) は，以下の通りである。なお，\{given_question\}には，質問文が挿入される。

\# 指示 \#
- 以下の指示に従って，対話における質問文の作成をしてください。
- 具体的には，元となる質問文から，より深くプライベートな質問文（新しい質問文）を作成してください.
- 元となる質問文に対する回答と新しい質問文に対する回答は，類似したものにならないようにし，異なる回答が得られるものにしてください.

・新しい質問文は自然な日本語になるようにしてください.

・質問は 30 文字以内にしてください.

・質問する内容は一つにし，クエスチョンマークは 1 度しか使用しないでください.

\# 元となる質問文 ～

\{given_question\}

＃ 新しい質問文 ～

## A.1.2 In-Breadth Evoloving

話題の幅（種類）を増加させる指示（InBreadth Evolving）は，以下の通りである。なお， \{given_question\}には，質問文が挿入される.

\# 指示 \#
- 以下の指示に従って，対話における質問文の作成をしてください.
- 具体的には，元となる質問文から，異なる話題で類似した質問文（新しい質問文）を作成してください.

・元となる質問文に対する回答と新しい質問文に対する回答は，類似したものにならないようにし，異なる回答が得られるものにしてください.

・新しい質問文は自然な日本語になるようにしてください.

・質問は 30 文字以内にしてください.
・質問する内容は一つにし，クエスチョンマークは 1 度しか使用しないでください。

＃ 元となる質問文 ～

\{given_question\}

＃ 新しい質問文 ～

## A. 2 話題の深さの推定

ファインチューニングおよび深さの推定に使用したプロンプトは以下の通りである。なお，ファインチューニング時には，出力結果として，質問文の深さを表す数值もデータに含めている．また， \{question\}には，質問文が挿入される。

\# 指示 \#

・初対面の人とメッセージアプリ上で雑談をしている」という状況において，以下の質問文は，質問しやすいもの（浅く，取るに足らないようなもの） か質問しにくいもの（深く，人の本質に関わるようなもの）かを評価してください.
- 出力は, 1.00 点が「とても質問しやすい（浅く，取るに足らない）質問文」，7.00 点が「とても質問しにくい（深く，人の本質に関わる）質問文」となるようにしてください.
- 出力は，1～7 の間の小数点以下第 2 位までの実数で評価してください.

## \# 質問文 ＃

\{question\}

\# 出力 \#


# chat-AMAN: 管制官との双方向コミュニケーションで実現する 協働型の航空管制支援システムの構築

宮岡佑弥 ${ }^{1}$ 井上正樹 1 虎谷大地 ${ }^{2}$ 石井南 1
1 慶應義塾大学 2 電子航法研究所

## 概要

本研究では，新しい管制支援システム“chatAMAN”を提案する。 chat-AMAN は自然言語処理技術（抜き出し型質疑応答タスク，文書類似タスク） を活用し，管制官との双方向コミュニケーションを可能にする. chat-AMAN は，航空機に対する指示内容案を管制官へ提示し，管制官からの自然言語形式のチャットに基づいて修正を行う。このやり取りを通じて，航空機への指示内容を両者で決定する。 chat-AMAN には，管制官のチャットを反映する機能だけでなく，常に航空機の安全性を損なわないような機構もを取り入れている. 数値実験では，空港へ到着する航空機に対し, chat-AMANによって高度指示を決定する過程を示す。

## 1 はじめに

航空交通管理とは，航空機の安全かつ秩序立った飛行を行うことを目的に，航空機を外部から支援する業務である [1]. 例えば，航空機同士が衝突したり接近しすぎたりしないよう，各航空機へ飛行する高度や位置を指示するものがある. 近年の航空輸送の需要増加に伴い, AMAN (Arrival Manager) [2]などといった，管制官の負担軽減を目的とする支援システムの導入が進んでいる. これらのシステムは，航空機へ与える指示を計算し，管制官へ提示する.管制官は，提示された内容を参考にしながら航空機へ実際に指示を与える。

これら従来の支援システムの弱点として，航空機への指示内容案を管制官へ一方的に提示するだけであることが挙げられる．管制官は，自身の経験や現在の状況に基づき，提示された指示内容案を受け入れるかを判断する。支援システムの提示した指示内容案が不適切と判断した場合，管制官は，航空機への指示内容を自ら修正する必要があり，システムとの協調性に課題が残る.本研究では，指示内容案を管制官へ提案するだけでなく，管制官が双方向でやり取りできる支援システム，“chat-AMAN”を提案する。 chat-AMANは，提示した指示内容案に対し，管制官が自然言語形式のチャットを受け取り，その意図に基づいて再び提示し直すものである．チャットの内容としては，提示された指示内容案に対し，管制官の経験や現在の状況に基づいて修正依頼をするものを想定している. この仕組みにより, 両者で協働しながら航空機への指示内容を決定することができる。従来の支援システムと chat-AMAN の比較を図 1 に示す.

与えられた自然言語形式の指示文をコンピュー ターが解釈可能な形式に変換する先行研究例は多数ある。例えば，[3] では，BERT モデルを，[4] では $\mathrm{G}^{3}$ と呼ばれる構文解析フレームワークを, [5] では強化学習を用いてそれぞれ自然言語で書かれた指示文を解釈している。これらの研究の共通点は，指示文の意図を直接行動に変換していることである.

それに対し, 本研究で提案する chat-AMAN では, プロンプトの意図が直接指示内容案へ変換される訳ではない. chat-AMAN の構造を図 2 に示す. chat-AMAN は “コントローラC” と“インタプリタ I" という 2 つの要素から構成されている. 本稿では，管制官から受け取る自然言語形式の文字列を “ プロンプト $p$ ”と呼ぶ. コントローラ $C$ は，最適制御問題を用いて各航空機への高度指示を作成する。最適制御によって，様々な制約を満たしつつ，最適

図 1 管制の様子の比較: 従来の支援システム（左）と提案する chat-AMAN（右）

図 2 chat-AMAN の構造

な行動を決定することができる。本研究では，安全な飛行軌道を得られるような制約を組み込んでいる.また，最適制御問題はパラメータ $\theta$ によってパラメトライズされている，インタプリタ $I$ は，自然言語処理技術を用いてプロンプト $p$ を分析し，意図に基づいてパラメータ $\theta$ を更新する. その後, 修正された最適制御問題によって指示内容案が作成され，再度管制官へ提示される。

本研究の貢献は二点ある。一つ目は，管制官と双方向のコミュニケーションを取りながら航空機への指示内容を決定するという新しい管制の様態を提案することである．二つ目は，管制官からの自由度の高い自然言語を許容しつつも，航空機の安全な運行を担保するように chat-AMAN を設計している点である. 図 2 に示す通り，chat-AMAN は管制官からプロンプト $p$ を受け取る要素と指示内容案を作成する要素が独立している. この分離によって，管制官からの意図を安全性を損なうことなく反映でき，かつ，最適な指示内容案が作成できる.

## 2 chat-AMAN

chat-AMANを構成するインタプリタ I とコントローラ $C$ について，それぞれ 2.1，2.2で紹介する。

## 2.1 インタプリタI

インタプリタ I は，管制官から与えられたプロンプトを分析し，その意図に基づいてコントローラ中のパラメータ $\theta$ を更新する.

プロンプトの分析は，抜き出し型質疑応答タスクと類似文書検索タスクの 2 つを組み合わせて行う。

抜き出し型質疑応答タスクこれは，コンテキスト文に対する質問文に回答するタスクである [6]. インタプリタでは，コンテキスト文としてプロンプトを, 質問文として予め用意しておいた文を当てはめることで，プロンプトから所望の情報を抜き出す。 また, 本研究では, 言語モデルとして Hugging Face
の distilbert-base-cased-distilled-squad を使用した [7].

類似文書検索タスク文書類似タスクとは，文書同士の意味合い上の類似度を計算するタスクである [8]. このタスクでは，文の埋め込み表現を計算する言語モデルが使われる. 本研究では，このタスクを応用して，与えられた文に最も類似している文を検索するタスク，“類似文書検索タスク”を構築する。

文の埋め込み表現を出力する言語モデルを $f_{\mathrm{emb}}$,対象とする文を $p$ ，比較対象となる $n$ 個の文を $p_{i}, i \in\{1, \ldots, n\}$ として, 最も類似している文 $i^{*} を$以下のようにして求める.

$
i^{*}=\arg \max _{i=1 \ldots n} \cos \left(f_{\mathrm{emb}}(p), f_{\mathrm{emb}}\left(p_{i}\right)\right)
$

ただし, $\cos (x, y)$ はベクトル $x, y$ のコサイン類似度を表す。インタプリタでは， $p$ にプロンプ卜， $p_{i}$ に予め用意した文 (“代表文”と呼ぶこととする）を当てはめ，プロンプトを判別する. また, 本研究では, $f_{\text {emb }}$ として Hugging Face の deepset/sentence_bert を利用した [9].

次に，プロンプトの要件について述べる. プロンプトは “到着時間差クエリ”と“高度クエリ”の 2 種類に分けられる。両者は類似文書検索タスクによって判別される．各種類において，以下のような情報を抽出する。なお，“E” は抜き出し型質疑応答タスクに，“S”は類似文書検索タスクによって抽出される情報であることを表している。

到着時間差クエリ航空機間の到着時間差制約 (3) に言及する. query = etagap とする.

$\mathrm{re} / \mathrm{E}$ 対象となる航空機間. $\mathrm{re}=$ 隣り合う 2 つのうち小さい方の航空機番号とする.

op/S 制約を増やすか減らすか. 増やす場合は $\mathrm{op}=+1$, 減らす場合は $\mathrm{op}=-1$ とする.

高度クエリ航空機の高度制約 (4)，(5) に言及する。 query = height とする.

$\mathrm{re} / \mathrm{E}$ 対象となる航空機. $\mathrm{re}=$ 航空機番号とする.

bo/S 言及対象となる制約の種類. 下限の場合は bo $=\min ，$ 上限の場合は $\mathrm{bo}=\max$ とする.

op/S 制約を上げるか下げるか. 上げる場合は $\mathrm{op}=+1$, 下げる場合は $\mathrm{op}=-1$ とする.

$\mathrm{ip} / \mathrm{S}$ 指示点の番号. $\mathrm{ip} \in\{1,2\}$ とする.

なお，抜き出し型質疑応答タスクにおける質問文，類似文書検索タスクにおける代表文は付録に記載してある.

ここで. 修正マーカー $d$, 更新定数 $\Delta$ を導入する. これらの次元は，コントローラ $C$ が持つパラメータ $\theta$ と同じである. 修正マーカーは，パラメータのうちどの要素を増やすか, あるいは減らすかを表すべクトルであり，以下のように表される。

$
\begin{aligned}
d= & {\left[d_{T}^{(1)} \ldots d_{T}^{(N-1)}\right.} \\
& d_{1, \min }^{(1)} \ldots d_{1, \min }^{(N)} d_{1, \max }^{(1)} \ldots d_{1, \max }^{(N)} \\
& \left.d_{2, \min }^{(1)} \ldots d_{2, \min }^{(N)} d_{2, \max }^{(1)} \ldots d_{2, \max }^{(N)}\right]^{\top} \in\{-1,0,+1\}^{5 N-1}
\end{aligned}
$

更新定数 $\Delta$ は，パラメータの各要素において，増やすあるいは減らす幅を表す非負の定数である. なお，具体的な値は付録に記載してある。

修正マーカー $d$ は，プロンプトの意図に基づいて修正すべきパラメータ $\theta$ と同じ位置の要素が非零となる。具体的には，Algorithm1 により生成する。

最後に，修正マーカー $d$ と更新定数 $\Delta$ を使って，現状のパラメータ $\theta$ からつぎのようにパラメータを更新する。

$
\theta^{+}=\operatorname{Proj}_{\geq 0}(\theta+\Delta \odot d)
$

なお， $\operatorname{Proj}_{\geq 0}$ は，受け取ったべクトルの要素全てが非負の値となるように射影する関数である. これによって，コントローラの制約を厳しくする方向のみに自由度を与えることができる.この意義については 2.2 にて述べる.

## 2.2 コントローラ $C$

コントローラは，最適制御理論に基づいて各航空機への指示内容案を決定する.このための最適制御問題は，和田ら (2023) の先行研究 [10] をもとに以下のように設定した.

図 3 指示が与えられた時の航空機の軌道例

$N$ 機の航空機が空港に向けて飛行する状況を想定する.この時，航空機同士が接近しすぎないょう，各航空機に高度指示を与えるとする。これらの航空機が空港へ向かうまでの地点上に 2 つの点を導入 ᄂ，それぞれ指示点 1 (Indicate Point 1, “IP1") と指示点 2 ("IP2") と呼ぶこととする. コントローラは,各航空機 $i$ の IP1とIP2における通過高度 $h_{1}^{(i)}, h_{2}^{(i)}$ を生成する. 指示 $h_{1}^{(i)}, h_{2}^{(i)}$ が与えられた時の航空機の軌道を図 3 に示す。横軸は空港までの距離，縦軸は航空機の高度を示す. $h_{1}^{(i)}, h_{2}^{(i)} \forall i \in\{1, \ldots, N\}$ を決定する際，以下のような目標と制約が課される。

到着時間差制約安全性の観点から，隣り合う航空機 $i$ と $i+1$ 間の予想到着時刻の差が $120 \mathrm{~s}+\theta_{T}^{(i)}$ 以上になるようにすること. 航空機 $i$ の予想到着時刻を $t_{\text {ETA }}^{(i)}\left(h_{1}^{(i)}, h_{2}^{(i)}\right)$ とすると，この制約は以下のように表される。

$
\begin{aligned}
& t_{\mathrm{ETA}}^{(i+1)}\left(h_{1}^{(i+1)}, h_{2}^{(i+1)}\right)-t_{\mathrm{ETA}}^{(i)}\left(h_{1}^{(i)}, h_{2}^{(i)}\right) \geq 120 \mathrm{~s}+\theta_{T}^{(i)} \\
& \quad \forall i \in\{1, \ldots, N-1\}
\end{aligned}
$

高度制約運用上の仕様として, 通過高度 $h_{1}^{(i)}, h_{2}^{(i)}$ は次のような上下限を持つ。

$
\begin{aligned}
& h_{1}^{(i)} \in\left[20,000 \mathrm{ft}+\theta_{1, \min }^{(i)}, h_{0}^{(i)}-\theta_{1, \max }^{(i)}\right], \\
& h_{2}^{(i)} \in\left[14,000 \mathrm{ft}+\theta_{2, \min }^{(i)}, 19,000 \mathrm{ft}-\theta_{2, \max }^{(i)}\right], \\
& \quad \forall i \in\{1, \ldots, N\} .
\end{aligned}
$

なお， $h_{0}^{(i)}$ は現在時刻における航空機 $i$ の高度である。

軌道目標通過高度 $h_{1}^{(i)}, h_{2}^{(i)}$ はそれぞれ事前に定められた参照高度 $h_{1, \text { ref }}^{(i)}, h_{2, \text { ref }}^{(i)}$ となるべく近い値とすること。評価関数を以下のように定める。

$
J=\sum_{i=1}^{N}\left(\left(h_{1}^{(i)}-h_{1, \text { ref }}^{(i)}\right)^{2}+\left(h_{2}^{(i)}-h_{2, \text { ref }}^{(i)}\right)^{2}\right)
$

以上をまとめて，各航空機への高度指示 $h_{1}^{(i)}, h_{2}^{(i)}, \forall i \in\{1, \ldots, N\}$ は以下の最適化問題を
求解することで得られる.

$
C: \min J \text { s.t. (3), (4), (5) }
$

ただし，制約 (3)，(4)，(5) 中の数值のうち

$
\begin{aligned}
\theta= & {\left[\theta_{T}^{(1)} \ldots \theta_{T}^{(N-1)}\right.} \\
& \theta_{1, \min }^{(1)} \ldots \theta_{1, \min }^{(N)} \theta_{1, \max }^{(1)} \ldots \theta_{1, \max }^{(N)} \\
& \left.\theta_{2, \text { min }}^{(1)} \ldots \theta_{2, \min }^{(N)} \theta_{2, \max }^{(1)} \ldots \theta_{2, \max }^{(N)}\right]^{\top} \in \mathbb{R}_{\geq 0}^{5 N-1}
\end{aligned}
$

がパラメータであり，インタプリタが必要に応じて調整する。また，パラメータ $\theta$ の值は全て非負に限定されており，(7) の制約を厳しくする方向のみに自由度があるといえる。

## 3 数値実験

管制官と chat-AMAN の双方向のコミュニケー ションの様子についてシミュレーションする．管制官が chat-AMAN ヘプロンプトを与えるにつれ，高度指示がどのように変化していくかを確認する。

ここでは，関西国際空港に到着する $N=6$ 機の航空機を想定する. 各航空機の詳細は付録の表 2 に示している。 (3) にて使用される予測到着時刻 $t_{\mathrm{ETA}}^{(i)}\left(h_{1}^{(i)}, h_{2}^{(i)}\right)$ は [11] のシミュレータから収集したデータを元に推定し，作成した。

## 3.1 手順

まず. コントローラCのパラメータの初期値を $\theta=0$ に設定し，コントローラが (7) を求解して高度指示案 $h_{1}^{(i)}, h_{2}^{(i)}, i \in\{1, \ldots, N\}$ を生成する. 高度指示案を受けて，管制官はプロンプトによって修正依頼を行うとする．ここでは，以下に示すプロンプトが順番に与えられるとする。

1. please increase the gap between the flight 1 and 2 .

2. low the max height on flight 4 at the indicate point 1

3. we need more eta gap between the flight 4 and 5 !

各プロンプトを与えるごとに，インタプリタIがパラメータ $\theta$ を更新し，それに基づいてコントローラ $C$ が高度指示案を再生成する.

## 3.2 結果

はじめに，各プロンプトに対するインタプリタの解釈結果を示す. 修正マーカー $d$ 中の非零成分は，プロンプト $1 ， 2 ， 3$ においてそれぞれ $d_{T}^{(1)}=+1 ，$ $d_{1, \max }^{(1)}=+1, d_{T}^{(4)}=+1$ が得られた. 3 例とも, プロンプトの意図通りに解积が行われ，適切な修正マー カー $d$ が生成されたと言える.

図 4 各航空機の IP1 高度 $h_{1}^{(i)} \forall i \in\{1, \ldots, N\}$ の指示案

次に，コントローラ $C$ が出力する高度指示 $h_{1}^{(i)}$ の変化を図 4 示す. 横軸はプロンプトの番号，縦軸は各航空機への指示高度を表す. プロンプト番号 0 では，インタプリタにまだプロンプトを与えていない段階での指示高度を表す. プロンプト番号 $1 ， 2 ， 3$ は，それぞれプロンプト $1 ， 2 ， 3$ を与えた後の指示高度を表す.プロンプト 2 により, 航空機 4 (紫) の指示高度 $h_{1}^{(4)}$ が降下していることを確認できる.

最後に，航空機間の到着時間差を表 1 に示す.プロンプト 1 の内容に基づいて航空機 1,2 間の到着時間差が，プロンプト 3 の内容に基づいて航空機 3,4 間の到着時間差がそれぞれ増加した. また，到着時間差に言及していないプロンプトが与えられた際は，到着時間差が縮まっていない.このことから，安全性を損なうことなく管制官の意図を指示内容案へ反映できていることが分かる.

表 1 航空機間の到着時間差

## 4 結論

管制官との双方向のやりとりを目指した管制支援システム “chat-AMAN”を提案した. chat-AMANは，自然言語を受け付けられるようにすると同時に，安全性と運用上の制約を満たす指示内容案を提示できる構造となっている．数値実験では，管制官とのやり取りを通じて指示内容が得られる過程を示した。 また，定められた制約を満たしつつ，プロンプトの意図に沿った指示内容案が得られたことを確認できた.

## 参考文献

[1] Eri Itoh. Introduction to Air Traffic Management System. Corona Publishing, 2023 (in Japanese).

[2] EUROCONTROL. Arrival Manager Implementation Guidelines and Lessons Learned. 2010.

[3] Sagar Gubbi Venkatesh, Raviteja Upadrashta, and Bharadwaj Amrutur. Translating Natural Language Instructions to Computer Programs for Robot Manipulation. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 19191926. IEEE Press, 2021.

[4] Stefanie Tellex, Thomas Kollar, Steven Dickerson, Matthew R. Walter, Ashis Gopal Banerjee, Seth Teller, and Nicholas Roy. Understanding Natural Language Commands for Robotic Navigation and Mobile Manipulation. In Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, AAAI'11, pp. 1507-1514. AAAI Press, 2011

[5] S. R. K. Branavan, Harr Chen, Luke S. Zettlemoyer, and Regina Barzilay. Reinforcement Learning for Mapping Instructions to Actions. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1 - Volume 1, ACL'09, pp. 82-90, USA, 2009. Association for Computational Linguistics.

[6] Luqi Wang, Kaiwen Zheng, Liyin Qian, and Sheng Li. A Survey of Extractive Question Answering. In 2022 International Conference on High Performance Big Data and Intelligent Systems (HDIS), pp. 147-153, 2022

[7] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. In NeurIPS EMC ${ }^{2}$ Workshop, 2019.

[8] Daniel Cer, Mona Diab, Eneko Agirre, Inigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). Association for Computational Linguistics, 2017.

[9] deepset. Hugging face: deepset/sentence_bert, 52021.

[10] Shinji Wada, Minami Ishii, Masaki Inoue, and Daichi Toratani. Semi-Continuous Descent Operation: A Fuel-Efficient Interval Management Algorithm. Journal of Aircraft, 2023.

[11] Daichi Toratani, Navinda Kithmal Wickramasinghe, and Hiroko Hirabayashi. SIMULATION TECHNIQUES FOR ARRIVAL PROCEDURE DESIGN IN CONTINUOUS DESCENT OPERATION. In 2018 Winter Simulation Conference (WSC), pp. 22492260, 2018.

## Appendix

## 更新定数 $\Delta$

3 節で設定した更新定数について述べる. 更新定数 $\Delta \in \mathbb{R}_{\geq 0}^{5 N-1}$ を

$
\begin{aligned}
\Delta= & {\left[\Delta_{T}^{(1)} \ldots \Delta_{T}^{(N-1)}\right.} \\
& \Delta_{1, \min }^{(1)} \ldots \Delta_{1, \min }^{(N)} \Delta_{1, \max }^{(1)} \ldots \Delta_{1, \max }^{(N)} \\
& \left.\Delta_{2, \min }^{(1)} \ldots \Delta_{2, \min }^{(N)} \Delta_{2, \max }^{(1)} \ldots \Delta_{2, \max }^{(N)}\right]^{\top} \in \mathbb{R}_{\geq 0}^{5 N-1}
\end{aligned}
$

のように表すとすると，

$\Delta_{T}^{(i)}=5 \mathrm{~s} \forall i \in\{1, \ldots, N-1\}$

$\Delta_{1, \min }^{(i)}=\Delta_{1, \max }^{(i)}=\Delta_{2, \min }^{(i)}=\Delta_{2, \max }^{(i)}=1000 \mathrm{ft}$

$\forall i \in\{1, \ldots, N\}$.

と設定した.

## 質問文・代表文

抜き出し型質疑応答タスクにおける質問文，類似文書検索タスクにおける代表文は以下の通りである，

## プロンプトの種類代表文

到着時間差クエリ “To increase or decrease the eta gap between two flights."

高度クエリ “To lower or raise the min or max height of indicate point 1 or indicate point 2 on a flight."

到着時間差クエリ/re 質問文 “Which flight number is the interval between where the gap should be up- dated?"

## 到着時間差クエリ/op 代表文

増やす “We should increase the gap between the flights. We need more gap."

減らす “We should decrease the gap between the flights. We need less gap."

高度クエリ/re 質問文 “Which flight do we refer to?"

高度クエリ/bo 代表文

下限 “We refer to the min height."

上限 “We refer to the max height."

## 高度クエリ/op 代表文

上げる "We should raise the height."

下げる "We should lower the height."

## 高度クエリ/ip 代表文

IP1 "We should lower or raise the height at indicate point $1 . "$

IP2 "We should lower or raise the height at indicate point 2."

## 数値実験での航空機の設定

表 2 航空機一覧


# 双対学習機械翻訳モデルのドメインシフトに対する頑健性の 検証

加藤龍兵 秋葉友良 塚田元
豊橋技術科学大学
\{kato.ryuhei.vb, akiba.tomoyoshi.tk, tsukada. hajime.hl\}@tut.jp

## 概要

近年，Transformer ベースモデルがニューラル機械翻訳（NMT）の分野で盛んに研究されている.一般に Transformer は単方向翻訳を行うように学習されるが，翻訳問題には逆方向の翻訳問題が必ず存在する．単一モデルで双方向の翻訳を行うモデルには Dualformer がある. Dualformer は両方向の Transformer ベースモデルのデコーダ部を組み合わせたモデルである．実験では，ドメインの内外問わず独英および日英の両言語対で Dualformer が Transformer の性能を超える結果となった. この結果は，Dualformer が言語対にかかわらずドメインシフトに頑健なモデルであることを示している.

## 1 はじめに

近年，ニューラル機械翻訳（NMT）の分野は発展が著しい. 特に，Transformer [1] に基づく NMT モデルは, 従来の Recurrent Neural Network に基づく NMT モデルの性能を多くのタスクで凌駕している.

一般的な Transformer ベース NMT モデルはある言語対について単方向の翻訳を行うように学習される。一方，日英翻訳に対する英日翻訳のように翻訳問題には必ず逆向きの問題が存在し，これらは双対問題と呼ばれる. 双対問題は他の系列変換タスクにも見られ，例えば音声認識と音声合成は言語音声・書き起こしテキスト間の双対問題である.

双対問題を解くことで双方のモデル性能を高める手法は双対学習（Dual Learning）と呼ばれる。NMT の分野では, $\mathrm{He}$ ら [2] が両方向の NMT モデルと各言語の言語モデルを用いて単言語データを相互に翻訳しあう双対学習を提案している.

Xia ら [3] は双対問題をモデルレベルで解く Model-Level Dual Learning を提案している. この手法は双対問題を解く単一のモデルを学習するもの
で，NMT であれば 1 つのモデルで双方向翻訳が可能になる。森下ら [4] や Chien ら [5] は，Xia らと同様のアーキテクチャを持つ Transformer ベースモデルの学習に Reconstruction や Dual Integration などの補助タスクを導入している。これらの補助タスクの導入により，モデルパラメータを増やすことなくモデル性能の改善を達成している．本稿では表記の簡潔さのため, 双方向翻訳のために拡張された Transformer を Chien らに従い Dualformer と呼ぶ.

Dualformer の先行研究 [3] [4] [5] では， ドイツ語・英語，フランス語・英語，中国語・英語の 3 つの言語対が用いられており，いずれの言語対でも Transformer ベースモデルからの性能改善が見られる. しかし，日本語・英語の言語対での結果は示されていない。またモデルの評価はすべてドメイン内データで行っており, Dualformer のドメインシフトに対する頑健性は不明である. そのため本研究では，独英翻訳および日英翻訳の Dualformerをドメイン内・ドメイン外データで評価し，Dualformer のドメイン汎化性能を検証する。

## 2 Dualformer

本節では Dualformer の構成や翻訳処理，学習方法について述べる.

## 2.1 アーキテクチャ

Dualformer は，言語 $X$ から言語 $Y$ 方向翻訳の Transformer ベースモデルのデコーダ（図 1 右）と $Y \rightarrow X$ 方向翻訳 Transformer ベースモデルのデコー ダ（図 1 左）から構成される。

$X \rightarrow Y$ 方向翻訳では， $X$ 側デコーダは Cross Attention を無視して埋め込み層と Self Attention，全結合層だけ使うことで $X \rightarrow Y$ 方向のエンコーダとして振る舞わせる。この際，Self Attentionへの入力に対するマスク処理は無効にする． $Y$ 側のデコーダ

はそのまま $X \rightarrow Y$ 方向のデコーダとして用いる. $Y \rightarrow X$ 方向翻訳も同様に, Cross Attention を無視した $Y$ 側デコーダを $Y \rightarrow X$ 方向のエンコーダとして用い, $X$ 側デコーダはそのまま $Y \rightarrow X$ 方向のデコー ダとして使う．このように Dualformer はモデルの一部を Transformer のエンコーダもしくはデコーダとして使うことで双方向翻訳を実現する.

図 1 Dualformer 概略図

## 2.2 翻訳処理

まず，言語 $X ， Y$ のコーパスから得た対訳サンプルのトークン系列 $x, y$ は埋め込み層により特徴べクトル系列 $\mathbf{x}, \mathbf{y}$ に変換する（式 (1)，(2)）.

$
\begin{aligned}
& \mathbf{x}=\operatorname{Embed}_{X}(x) \\
& \mathbf{y}=\operatorname{Embed}_{Y}(y)
\end{aligned}
$

Dualformerの翻訳処理では，モデルの一部を Transformer のエンコーダもしくはデコーダとして用いる. 言語 $X$ から言語 $Y$ の翻訳における Dualformer のエンコーダ部を式 (3)，デコーダ部を式 (4) に示す.

$
\begin{aligned}
E_{X \rightarrow Y}(\mathbf{x}) & \triangleq \mathrm{FF}_{X}\left(\mathrm{SA}_{X}(\mathbf{x})\right) \\
D_{X \rightarrow Y}\left(\mathbf{h}^{x}, \mathbf{y}\right) & \triangleq \mathrm{FF}_{Y}\left(\mathrm{CA}_{Y}\left(\mathbf{h}^{x}, \mathrm{SA}_{Y}(\mathbf{y})\right)\right)
\end{aligned}
$

ここで $\mathbf{h}^{x}$ は $X \rightarrow Y$ 方向翻訳のエンコーダの中間表現であり, 式 (3) の処理の結果として得られる. またFF, CA，SA はそれぞれ全結合層, Cross Attention, Self Attention を表す.

式 (3)，（4）を用いると，Dualformer による $X \rightarrow Y$方向の翻訳処理はデコーダ出力分布 $\hat{\mathbf{y}}$ 用いて式 (5)のように書ける.

$
\hat{\mathbf{y}}=D_{X \rightarrow Y}\left(E_{X \rightarrow Y}(\mathbf{x}), \mathbf{y}\right)
$

同様に， $Y \rightarrow X$ 方向翻訳は式 (3), (4)の $X$ と $Y$ をれ替えると， $Y \rightarrow X$ 方向翻訳のデコーダ出力分布 $\hat{\mathbf{x}}$ を用いて式 (6)で表せる.

$
\hat{\mathbf{x}}=D_{Y \rightarrow X}\left(E_{Y \rightarrow X}(\mathbf{y}), \mathbf{x}\right)
$

$X \rightarrow Y$ および $Y \rightarrow X$ 方向の翻訳結果 $\hat{y}, \hat{x}$ は $\hat{\mathbf{y}}, \hat{\mathbf{x}}$ にそれぞれ Softmax 関数を適用して確率分布に直した後，各時刻で確率最大のトークンを抽出することで取得する. その処理を式 (7)，(8)にそれぞれ示す.

$
\begin{aligned}
& \hat{y}=\operatorname{argmax}(\operatorname{softmax}(\hat{\mathbf{y}})) \\
& \hat{x}=\operatorname{argmax}(\operatorname{softmax}(\hat{\mathbf{x}}))
\end{aligned}
$

## 2.3 Reconstruction

本論文では，Dualformer の補助タスクとして Reconstruction を使用する.これは入力系列を再現するタスクである。なお，先行研究 [5] では Masked Language Model Loss と Dual Integration Loss も用いているが，本論文では使用しないため説明は省く．

Dualformerを用いた言語 $X ， Y$ の入力に対する Reconstruction は, Reconstruction のデコーダ出力分布 $\mathbf{x}^{\prime} ， \mathbf{y}^{\prime}$ を用いて，それぞれ式(9)，(10)で表される。

$
\begin{array}{r}
\mathbf{x}^{\prime}=D_{Y \rightarrow X}\left(D_{X \rightarrow Y}\left(E_{X \rightarrow Y}(\mathbf{x}), \mathbf{y}\right), \mathbf{x}\right) \\
\mathbf{y}^{\prime}=D_{X \rightarrow Y}\left(D_{Y \rightarrow X}\left(E_{Y \rightarrow X}(\mathbf{y}), \mathbf{x}\right), \mathbf{y}\right)
\end{array}
$

翻訳処理と同様に, Reconstruction 結果のトークン系列 $x^{\prime} ， y^{\prime}$ は式 (11)，(12)でそれぞれ求める.

$
\begin{aligned}
& x^{\prime}=\operatorname{argmax}\left(\operatorname{softmax}\left(\mathbf{x}^{\prime}\right)\right) \\
& y^{\prime}=\operatorname{argmax}\left(\operatorname{softmax}\left(\mathbf{y}^{\prime}\right)\right)
\end{aligned}
$

## 2.4 目的関数

本論文では，Dualformer の目的関数として，これまで説明した翻訳と Reconstruction 処理に係る $2 \supset$ の目的関数の和を用いる.

翻訳の目的関数は式 (13) に示す.これは各方向の翻訳結果 $\hat{x} ， \hat{y}$ の Cross Entropy 誤差の和である. 同様に，式 (14)の Reconstruction の目的関数は，各方向の Reconstruction 結果 $x^{\prime}, y^{\prime}$ の Cross Entropy 誤差の和である.

$
\begin{aligned}
& L_{\mathrm{TR}}=-\log p(\hat{y} \mid x)-\log p(\hat{x} \mid y) \\
& L_{\mathrm{RC}}=-\log p\left(x^{\prime} \mid x\right)-\log p\left(y^{\prime} \mid y\right)
\end{aligned}
$

Dualformer の学習に用いられる目的関数は式(13), (14)を用いて式(15)となる.

$
L=L_{\mathrm{TR}}+\alpha L_{\mathrm{RC}}
$

ここで， $\alpha$ は Reconstruction の使用割合である。この値が 0 のときは翻訳の目的関数のみで学習を行う.

## 3 実験設定

先行研究 [3] [4] [5] ではドメイン外データに対する評価を行っていない。また実験された言語対はドイツ語・英語，フランス語・英語，中国語・英語であり日本語・英語における性能は不明である。 そのため, ドイツ語・英語および日本語・英語で Dualformerを構築し，ドメイン内とドメイン外デー タの両方に対する性能から Dualformer のドメインシフトに対する頑健性を検証する。

## 3.1 学習データ

独英翻訳および日英翻訳 Dualformer の訓練および評価データの構成を述べる. また，データの前処理やトークン化方法も示す.

## 3.1.1 データセット

独英翻訳モデルの学習に使う対訳データは, IWSLT'14 独英翻訳データセット（TED 公演ドメイン）の訓練セットである. 評価には IWSLT'14 の開発，テストセットに加え，ドメイン外の WMT'17独英翻訳タスク（ニュースドメイン）の開発，テストセットも使用する.

日英翻訳モデルの学習には，京都フリー翻訳夕スク (Kyoto Free Translation Task, KFTT, 京都関連 Wikipedia 記事ドメイン）の訓練セットを用いる. モデルの評価には KFTT に加えて， ドメイン外である ASPEC 日英翻訳データセット（学術論文ドメイン） の開発，テストも使用する。

独英翻訳および日英翻訳の学習・評価データの内訳は表 1 にそれぞれ示す.

表 1 実験で用いるデータセット（下線は訓練に使うデー タセット)

## 3.1.2 前処理 \\ 正規化

英語とドイツ語のデータには，小文字化を行った. 日本語のデータには小文字化に加え, NFKC 正規化を行った.

## 単語分割

トークン化の前処理として単語分割を行う.

ドイツ語と英語のデータは Moses [6] のトークナイザで単語に分割する．日本語のデータは MeCabを用いて分かち書きする. MeCab の辞

## トークン化

本稿で使用する全言語でトークンは BPE（Byte Pair Encoding）[7]である．BPE の学習とテキストの BPE 化には Subword-NMT 2)を用いる.

独英翻訳と日英翻訳の BPE モデルはそれぞれドメイン内データの IWSLT'14 と KFTT の訓練セットに基づいて構築する．BPE の語彙サイズは，独英翻訳ではドイツ語が $8,844 ，$ 英語が 6,628 であり，日英翻訳では日本語が 18,804 ，英語が 16,788 である. 各言語対のドメイン外デー タである WMT' 17 と ASPEC の BPE 化にもドメイン内データに基づく BPE モデルを用いる.

## 3.2 モデル設定

Dualformer およびベースラインの Transformerベー スモデルの構築と評価には fairseq [8]を用いる.

モデル構成は，アーキテクチャや言語対にかかわらず共通である. Dualformer のデコーダブロックはいずれも 6 層（Transformer の場合はエンコーダ・デコーダともに 6 層), Multi-Head Attention は 512 次元で 8 ヘッド，全結合層は 2,048 次元である.

## 3.3 評価方法

評価用のモデルは，訓練セットのドメインの開発セットへの損失（式 (15)）が最小のものを用いる.

評価指標は BLEUを用いる. BLEU の計算は，予測された BPE の系列を単語系列に直してから行う.単語列は，BPE 系列をデトークナイズした後，日本語の場合は MeCab，英語・ドイツ語の場合は Moses のトークナイザで単語分割して取得する。

## 4 実験結果

## 4.1 独英翻訳

表 2 に IWSLT'14 および WMT'17 に対するモデル性能を示す.ここで，各表の TF はベースラインの Transformer ベースモデルを表す. DF は Dualformer ベースモデルで，右下の数字は式 (15) における

1) https://github.com/neologd/mecab-ipadic-neologd

2) https://github.com/rsennrich/subword-nmt
表 2 IWSLT'14 で訓練した独英翻訳モデルの性能（下線はドメイン内データ，太字は最良の BLEU 値）

表 3 KFTT で訓練した日英翻訳モデルの性能（下線はドメイン内データ，太字は最良の BLEU 値）

Reconstruction の使用割合 $\alpha$ である.

まず Transformer と Dualformer の結果を比較すると，Dualformer はドメイン内とドメイン外データのいずれに対しても Transformer を上回る性能を達成した. Dualformerの中でも，Reconstructionを使用したモデルはそうでないモデルよりも性能が高く, IWSLT'14 では $\alpha=1.25$ のときが，WMT'17 では $\alpha=1.0$ のときが最良の性能だった.

Dualformer の性能が Transformer を上回る理由は, Self Attention と全結合層がエンコーダの一部としてもデコーダの一部としても使われることで頑健なドメインマッピングが行われたためだと考えられる。また，一度に両方向の翻訳の学習を行うことで実質的な学習回数や使用データ数が 2 倍になり， Transformer よりも密度の高い学習が行われたことも理由として挙げられる。

次に Reconstruction の使用割合 $\alpha$ に注目すると， IWSLT'14 に対しては $\alpha$ を大きくすると翻訳性能が高くなり，WMT'17 に対しては逆に $\alpha$ を抑えたモデルの性能が高かった。これは，ドメイン内データを翻訳する際は Reconstruction によるドメイン知識の増強が有効だが，ドメイン外データの翻訳ではむしろドメイン知識が汎化性能を下げてしまうためだと考えられる。

## 4.2 日英翻訳

表 3 にKFTT に対するモデル性能および ASPEC に対するモデル性能を示す.

Dualformer は, 全く異系統の言語対である日本語・英語の翻訳でもドメインの内外問わず Transformer の性能を超えた. 特に英 $\rightarrow$ 日方向の性能向上は大きく，Transformerに対する $\alpha=0.5$ の Dualformer の BLEU 増加率は，KFTT のテストセットでは日 $\rightarrow$ 英方向で 1.12，英 $\rightarrow$ 日方向で 1.31 であり，ASPEC のテストセットではそれぞれ 1.62 と 2.07 である.

この結果から，言語対にかかわらず Dualformer がドメインシフトへの頑健性を持つことが示された.

## 5 おわりに

本論文では単一モデルによる双方向翻訳が可能な Dualformer のドメイン汎化性能を調べた。実験では, Dualformerがドイツ語・英語および日本語・英語の両言語対において，ドメイン内とドメイン外デー タのいずれに対してもベースラインの Transformer の性能を上回った. この結果は，Dualformer は言語対にかかわらずドメインシフトに頑健なモデルであることを示している。

今後は，より大規模もしくは小規模なデータセットあるいは先行研究と本研究で使用していない言語対など異なる設定での Dualformer の性能を検証したい。また，翻訳以外の系列変換タスクに対しても Dualformer が有効なのか調査したい.

## 謝辞

本研究は JSPS 科研費 $23 \mathrm{~K} 11118$ の助成を受けたも

のです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Plosukhin. Attention is all you need, 2017. https: //arxiv.org/abs/1706.03762.

[2] Di He, Yingce Xia, , Tao Qin, Liwei Wang, Nenghai Yu, Tie-Yan Liu, and Wei-Ying Ma. Dual learning for machine translation. In 30th Conference on Neural Information Processing System, 2016.

[3] Yingce Xia, Xu Tan, Fei Tian, Tao Qin, Nenghai Yu, and Tie-Yan Liu. Model-level dual learning. In Proceedings of Machine Learning Research, 2018.

[4] 森下睦, 鈴木潤, 永田昌明. 双方向学習と再現学習を統合したニューラル機械翻訳. 言語処理学会第 25 回年次大会, 2019.

[5] Jen-Tzung Chien and Wei-Hsiang Chang. Dualformer: A unified bidirectional sequence-to-sequence learning. In International Conference on Acoustics, Speech, and Signal Processing, 2021.

[6] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Sophia Ananiadou, editor, Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[7] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2016.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.


# Optimal Transport for Document Alignment based on Overlapping Fixed-Length Segments

Xiaotian Wang ${ }^{1}$ Takehito Utsuro $^{1}$ Masaaki Nagata $^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
${ }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan
${ }^{1}$ s2320811_a_u.tsukuba.ac.jp ${ }^{1}$ utsuro_a_iit.tsukuba.ac.jp
 }^{2}$ masaaki.nagata_@_ntt.com

\begin{abstract}
To acquire large-scale parallel corpora for NLP tasks such as Neural Machine Translation, web crawling has emerged as a popular methodology. When aligning with documents in various languages obtained through web crawling, the Sentence Movers’ Distance (SMD)[1,2] based on Optimal Transport (OT) has shown promising performance. However, we observed that compared to the SMD method using original web-crawled sentences, SMD based on overlapping fixed-length segments results in a significant improvement. Simultaneously, we conducted accuracy and speed comparisons of this approach with other conventional methods, and proposed a novel approach utilizing multiple feature vectors to represent documents.
\end{abstract
## 1 Introduction

For tasks such as Neural Machine Translation, a substantial amount of parallel corpora is required during the training phase. Web crawling is an efficient approach to allow researchers to gather a large-scale parallel dataset, such as ParaCrawl Dataset[3] and JParaCrawl Dataset[4].

When dealing with a collection of documents in different languages obtained through web crawling, the initial step is document alignment, which can be broadly categorized into three strategies, URL matching [5, 6, 7], methods based on machine translation $[7,8,9,10]$, and leveraging sentence embeddings[1, 2, 5, 11]. The core concept of the last one involves transforming the sentences within documents into a series of feature vectors. These vectors are then employed to calculate the similarity between documents from different languages, with pairs exhibiting high similarity selected as alignment results. However, it should be noted that crawled documents may not have uniform sentence segmentation, as they often depend on the textual presentation format of the website. In this case, we explore an alternative approach for subdivision, which involves concatenating all the sentences included in the document at first, and then utilizing a fixed-length sliding window to partition segments, with a specified proportion of overlap between adjacent segments.

In summary, our contributions are as follows:
- Instead of using the original web-crawled sentences, we demonstrated the impact of employing overlapping fixed-length segments to generate the sequence of sentence-level embeddings for the documents.
- We proposed and showed the effect of a method for calculating document similarity through the two feature vectors.

## 2 Related Work

Among the various web crawling methods, Bitextor ${ }^{1}$ [8] is one of the most widely adopted tools. Additionally, it incorporates a module known as docalign, which employs a TF-IDF strategy to score document pairs within one language through machine translation of documents in other languages.

LaBSE model[12], a pre-trained sentence embedding model, has the capability to map sentences from different languages into a unified vector space, exhibiting state-ofthe-art performance in sentence embedding task and downstream applications.

The application of Optimal Transport (OT) in crosslingual alignment, initially performing sentence-level alignment based on word embeddings, known as Word

Movers' Distance (WMD)[13]. With the emergency of multi-lingual sentence embedding models[12, 14, 15, 16], analogous to the WMD, Sentence Movers' Distance[1, 2] based on Optimal Transport (OT) was introduced for document-level alignment.

## 3 Document Alignment

## 3.1 Machine Translation based Document Alignment

In this paper, we utilize the docalign module ${ }^{2)}$ of Bitextor as a baseline for document alignment. It tokenizes the target language documents to create a vocabulary, and then for each word within each target language document, calculates its TF-IDF value, resulting in a feature vector of the same length as the vocabulary. Next, machine translated document is used as a query, and after tokenization, the TF-IDF values of each word within the vocabulary are computed, resulting in another feature vector for the query. The cosine similarity between these feature vectors is then computed as a measure of document similarity.

When calculating the time consumption for using docalign of Bitextor, it includes data preprocessing as well as the time required for machine translation. In this paper, we employed the pre-trained JParaCrawl-v3.0-big model $^{3)}[4]$ based on fairseq toolkit[17] for machine translation. During data preprocessing, all sentences are concatenated from source language documents for simultaneous processing, and after translation, we split the results based on the original documents' order and number of sentences.

## 3.2 Sentence Embedding based Document Alignment

Overlapping Fixed-Length Segmentation For any given document, instead of using original web-crawled sentences to generate embeddings, we create segments by concatenating all sentences within the document into a text, then tokenizing it by the tokenizer of the LaBSE model, subsequently dividing it into segments through a fixed-length sliding window, with a specified proportion of overlap between adjacent segments.

## Language-Pair Dependent Overlapping Fixed- Length Segmentation While applying the abovementioned segmentation method, we use the same

fixed-length for segmenting documents in both the source language and the target language. However, it is commonly observed that different languages may require different numbers of tokens to convey the same meaning. For instance, the English sentence "I like dogs" requires only 3 tokens, while the Japanese sentence “私は犬が好きだ" ("I like dog") needs 6 tokens. Therefore, it is worth considering whether using different fixed-lengths would result in a more natural segmentation. With this perspective, we propose a language-pair dependent proportion $\rho$ to split the target language document with fixed-length $\rho L$ when segmenting the source language document using a fixed-length $L$.

For any document $A$ in the source language and any document $B$ in the target language, we employ the LaBSE model[12] to perform length-768 dense sentence-level embedding, resulting in two sets of vectors, $\left.\{e_{A, i}\right.\}$ and $\left.\{e_{B, j}\right.\}$, while $e_{*, i} \in \mathbb{R}^{768}$, representing the $i$ th segment's embedding in document $*$. We employ the following three methods to calculate document pair similarity and compare our proposed segmentation strategy with the use of the original sentences crawled from websites.

## 3.2.1 Mean-Pooled Vector based Method

The most straightforward approach is to use the meanpooled vectors from the sets $\left.\{e_{A, i}\right.\}$ and $\left.\{e_{B, j}\right.\}$ as the feature vectors for document $A$ and $B$, calculating their cosine similarity to score the document pair.

$
\begin{gathered}
e_{A, \text { mean }}=\sum_{i=1}^{n} e_{A, i} / n \\
e_{B, \text { mean }}=\sum_{i=1}^{m} e_{B, i} / m \\
\operatorname{Docsim}(A, B)=\operatorname{Cos}\left(e_{A, \text { mean }}, e_{B, \text { mean }}\right)
\end{gathered}
$

where $e_{*, \text { mean }}$ represents the mean-pooled vector of document $*, n, m$ represents the number of vectors in $\left.\{e_{A, i}\right.\}$ and $\left.\{e_{B, j}\right.\}$, and $\operatorname{Docsim}(A, B)$ represents the document similarity score.

## 3.2.2 Multiple Feature Vectors based Method

Differing from the approach discussed in Section 3.2.1, where only the mean-pooled vector is used to represent the document, we propose a method that utilizes multiple feature vectors for calculating document similarity. The

Table 1 Information of Dataset

selection of these feature vectors can be achieved through various schemes, such as the first vector, the mean-pooled vector, the max-pooled vector, and the last vector of $\left.\{e_{*, i}\right.\}$. We aggregate these vectors to form a feature vector set $\left.\{e_{*, f_{i}}\right.\}$ for the document $*$, and the document similarity score is calculated as follows:

$
\operatorname{Docsim}(A, B)=\sum_{k=1}^{r} \lambda_{k} \operatorname{Cos}\left(e_{A, f_{k}}, e_{B, f_{k}}\right)
$

where $r$ represents the number of selected features, and $\lambda$ represents the weights for adjusting the reliance on features.

In this paper, we focus solely on two features from $\left.\{e_{*, i}\right.\}$ : the first vector $e_{*, 1}$ and the mean-pooled vector $e_{*, \text { mean }}$, while the calculation formula can be rewritten as follows:

$
\begin{aligned}
\operatorname{Docsim}(A, B) & =\lambda \operatorname{Cos}\left(e_{A, 1}, e_{B, 1}\right) \\
& +(1-\lambda) \operatorname{Cos}\left(e_{A, \text { mean }}, e_{B, \text { mean }}\right)
\end{aligned}
$

## 3.2.3 Optimal Transport based Method

Optimal Transport, which is also known as Earth Movers' Distance (EMD)[18] and Wasserstein Metric, is a measure of the distance between two probability distributions. For the application in document alignment, known as Sentence Movers' Distance (SMD), it calculates the minimum cost of transforming the distribution of document $A$ to the distribution of document $B$. It represents each document as a normalized bag-of-sentences (nBOS) where each segment has associated with its some probability mass.

Specifically, all segments from document $A$ and document $B$ are utilized to establish a vocabulary of size $V$, with the sequence of embeddings $\left.\{v_{i}\right.\}$ for the $i$ th segment. $d_{A, i}$ is defined as the wight of $i$ th segment of vocabulary in document $A$. While El-Kishky and Guzmán[2] has discussed various calculation methods for $d_{A, i}$, we adopt the assumption that gives weight to segments by relative frequencies 4), which is calculated as follows:

$
d_{A, i}=\operatorname{cnt}(i) /|A|
$
^{5}$ Python library.

5) https://pythonot.github.io/
}

where $\operatorname{cnt}(i)$ is frequency of $i$ th segment in document $A$, and $|A|$ is the total number of segments in document $A$.

We denote $\Delta(i, j)$ as the distance between the $i$ th segment and $j$ th segment in the vocabulary. Differing from Kusner et al.[13], who employed the Euclidean distance to calculate $\Delta(i, j)$, we utilize the cosine distance as a replacement. The SMD between document $A$ and $B$ can be calculated as follows:

$
\begin{aligned}
\Delta(i, j) & =1-\operatorname{Cos}(i, j) \\
S M D(A, B) & =\min _{T \geq 0} \sum_{i=1}^{V} \sum_{j=1}^{V} T_{i j} \Delta(i, j)
\end{aligned}
$

subject to:

$
\begin{array}{r}
\forall i \sum_{j=1}^{V} T_{i j}=d_{A, i} \\
\forall j \sum_{i=1}^{V} T_{i j}=d_{B, j}
\end{array}
$

and $T \in \mathbb{R}^{V \times V}$ is a nonnegative matrix, where each $T_{i j}$ denotes how much of segment $i$ in document $\mathrm{A}$ is assigned to segments $j$ in document $\mathrm{B}$, and constraints ensure the flow of a given segment cannot exceed its allocated mass.

## 4 Experiment

## 4.1 Dataset

We used manually aligned document pairs obtained from four websites: Marubeni, Nishi-Shinjuku, Rakuten, and NTT Computer Science. For each website, we randomly sampled a set of Japanese documents, and then made a pool of candidates for corresponding English documents on the same website using four different document alignment methods. We then manually selected the correctly corresponding English document for a Japanese document in the pool. The detailed dataset development procedure is provided in the Appendix A. As shown in Table 1, the total number of Japanese documents is 232, and the aligned English documents also amount to 232, which are included

Table 2 The final result of ja-en document alignment (F1 Score / Average time for all process (sec.)), where machine translation for docalign is from Japanese to English, the calculation object for OT is top 20 similar English documents by "LaBSE + Mean-Pool", time consumption for "MT + docalign" combines data preprocessing, machine translation and docalign, time consumption for sentence embedding based methods is composed of sentence embedding and similarity calculation, and "Fixed-Length segmentation" represents segmenting without overlapping. We put the detailed result with hyper-parameter settings in Appendix B.

 &  &  &  \\

LaBSE + Mean-Pool & $0.8276 / 277.65 \mathrm{~s}$ & $0.8147 / \mathbf{7 1 . 7 2 s}$ & $0.8621 / \mathbf{1 2 4 . 2 9} \mathrm{s}$ & $0.8707 / \mathbf{1 2 4 . 0 3 s}$ \\
LaBSE + 2 Features & $\mathbf{0 . 8 5 7 7} / 330.86 \mathrm{~s}$ & $\mathbf{0 . 8 5 7 7} / 120.88 \mathrm{~s}$ & $\mathbf{0 . 9 0 0 9 / 1 7 7 . 3 5 \mathrm { s }}$ & $0.9009 / 176.16 \mathrm{~s}$ \\
LaBSE (Faiss) + OT & $0.8362 / 302.53 \mathrm{~s}$ & $0.8491 / 84.37 \mathrm{~s}$ & $0.8879 / 135.51 \mathrm{~s}$ & $\mathbf{0 . 9 2 2 4} / 137.81 \mathrm{~s}$ \\

within the entire set of 931 candidate English documents. The average tokens of Japanese documents and aligned English documents are also given, aiming to help us judge the appropriate language-pair dependent proportion $\rho$ as mentioned in Section 3.2.

## 4.2 Experiment Setting

We utilize LaBSE tokenizer and $\operatorname{model}^{6)}$ [12] for tokenizing and sentence embedding. The retrieval for document pairs is from 232 Japanese documents to 931 candidate English documents. For each Japanese document, Faiss[20] search is used to find top k similar English documents based on the mean-pooled method mentioned in Section 3.2.1 as the object of calculation for OT, while for other approaches the document similarity is calculated with all the 931 candidate English documents. The final result enforces the 1-1 rule: each document should be aligned only once, and we evaluate the final result by F1 Score. All the experiments are conducted on one NVIDIA RTX A6000 GPU.

## 4.3 Result

As the result shown in Table 2, all sentence embedding based methods achieved F1 scores surpassing MT based docalign. Furthermore, when employing segmentation methods other than web-crawled sentences, "LaBSE + Mean-Pool" and "LaBSE (Faiss) + OT" demonstrated faster computational speeds compared to "MT + Docalign". Among all the sentence embedding based methods, "LaBSE + Mean-Pool" exhibited the fastest speed while also displaying the lowest accuracy.

When using fixed-length segmentation without overlapping, the comparison with web-crawled sentences did not yield significant changes. However, on the contrary, when

6) https://huggingface.co/setu4993/LaBSE overlapping was introduced, the F1 Score was obviously improved.

The "Language-Pair Dependent Overlapping FixedLength Segmentation" strategy did not significantly improve "LaBSE + Mean-Pool" and "LaBSE + 2 Features", as the final document similarity was not directly correlated with any specific segment. However, it had a substantial positive impact on "LaBSE (Faiss) + OT", which utilized each segment in the computation of document similarity.

## 5 Analysis of Overlapping Rate

Table 3 Analysis for overlapping rate using "LaBSE (Faiss) + OT" with fixed-length $L=100$.

 &  \\

0.3 & 0.8836 & $89.85 \mathrm{~s}$ & $16.83 \mathrm{~s}$ \\
0.5 & 0.8879 & $119.44 \mathrm{~s}$ & $16.07 \mathrm{~s}$ \\
0.8 & 0.8664 & $276.63 \mathrm{~s}$ & $15.39 \mathrm{~s}$ \\

According to the results in Table 3, There are apparent discrepancies regarding the utilization of overlapping, and the F1 Score achieves a maximum at the rate of 0.5 . Furthermore, with the escalation of the overlapping rate, there is a corresponding augmentation in the temporal demand for the embedding process. Nonetheless, it appears that this exerts no substantial impact on the computation speed of optimal transport.

## 6 Conclusion

This paper presents a strategy for splitting documents into overlapping fixed-length segments to calculate document similarity, and proposes a method based on multiple feature vectors, which exhibits superior accuracy when contrasted with a sole reliance on the mean-pooled vector.

## Acknowledgment

We would like to show our gratitude to Bui Tuan Thanh, the intern student at NTT Communication Science Laboratories in 2022, for assisting us in creating the dataset.

## References

[1] E. Clark, A. Celikyilmaz, and N. Smith. Sentence mover's similarity: Automatic evaluation for multi-sentence texts. In Proc 57th ACL, pp. 2748-2760, 2019.

[2] A. El-Kishky and F Guzmán. Massively multilingual document alignment with cross-lingual sentence-mover's distance. In Proc 1st AACL and 10th IJCNLP, pp. 616-625, 2020.

[3] M. Bañón, P. Chen, B. Haddow, K. Heafield, H. Hoang, M. Esplà-Gomis, M. Forcada, A. Kamran, F. Kirefu, P. Koehn, S. Ortiz Rojas, L. Pla Sempere, G. RamírezSánchez, E. Sarrías, M. Strelec, B. Thompson, W. Waites, D. Wiggins, and J. Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proc 58th ACL, pp. 45554567, 2020.

[4] M. Morishita, K. Chousa, J. Suzuki, and M. Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proc 13th LREC, pp. 6704-6710, 2022.

[5] A. El-Kishky, V. Chaudhary, F. Guzmán, and P. Koehn. CCAligned: A massive collection of cross-lingual webdocument pairs. In Proc 2020 EMNLP, pp. 5960-5969, 2020.

[6] U. Germann. Bilingual document alignment with latent semantic indexing. In Proc 1st WMT, pp. 692-696, 2016.

[7] L. Gomes and G. Pereira Lopes. First steps towards coverage-based document alignment. In Proc 1st WMT, pp. 697-702, Berlin, Germany, 2016.

[8] M. Esplà-Gomis. Bitextor: a free/open-source software to harvest translation memories from multilingual websites. In Proc 12th MTSummit, 2009.

[9] A. Dara and Y. Lin. YODA system for WMT16 shared task: Bilingual document alignment. In Proc 1st WMT, pp. 679-684, 2016.

[10] V. Shchukin, D. Khristich, and I. Galinskaya. Word clustering approach to bilingual document alignment (WMT 2016 shared task). In Proc 1st WMT, pp. 740-744, 2016.

[11] S. Steingrimsson. A sentence alignment approach to document alignment and multi-faceted filtering for curating parallel sentence pairs from web-crawled data. In Proc 8th WMT, pp. 366-374, 2023.

[12] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang. Language-agnostic BERT sentence embedding. In Proc 60th ACL, pp. 878-891, 2022.

[13] M. Kusner, Y. Sun, N. Kolkin, and K. Weinberger. From word embeddings to document distances. In Proc 32nd PRML, pp. 957-966, 2015.

[14] M. Artetxe and H. Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Journal 9th TACL, pp. 597-610, 2019.

[15] N. Reimers and I. Gurevych. Making monolingual sentence embeddings multilingual using knowledge distilla- tion. In Proc 2020 EMNLP, pp. 4512-4525, 2020.

[16] K. Heffernan, O. Çelebi, and H. Schwenk. Bitext mining using distilled sentence representations for low-resource languages. In Findings of 2022 EMNLP, pp. 2101-2112, 2022.

[17] M. Ott, S. Edunov, A. Baevski, A. Fan, S. Gross, N. Ng, D. Grangier, and M. Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc NAACL 2019, pp. 48-53, 2019.

[18] Y. Rubner, C. Tomasi, and L. Guibas. The earth mover' $s$ distance as a metric for image retrieval. In Journal 2000 IJCV, pp. 99-121, 2000.

[19] Y. Arase, H. Bao, and S. Yokoi. Unbalanced optimal transport for unbalanced word alignment. In Proc 61st ACL, pp. 3966-3986, 2023.

[20] J. Johnson, M. Douze, and H. Jégou. Billion-scale similarity search with GPUs. Journal 2019 IEEE, pp. 535-547, 2019.

## A Dataset Development Procedure

As for the dataset development procedure, it was initially crawled from four domain websites: Marubeni, NishiShinjuku, Rakuten, and NTT Computer Science, in both Japanese and English. For each website, we randomly sampled a set of Japanese documents, and then made a pool of candidates for corresponding English documents on the same website using four different document alignment methods.
- Machine Translation + BM25
- Machine Translation + TF-IDF
- URL matching
- CCAligned[5]

These candidate pairs were then manually evaluated, and the correct 1-1 document pairs were identified.

## B Hyper-parameters in Experiments

We give a final result incorporating hyper-parameter settings in Table B. The language-pair dependent proportion $\rho$ is determined by the average tokens of Japanese documents and aligned English documents as mentioned in Section 4.1. However, because we used only one test dataset in this experiment, all hyper-parameter tuning was performed on the test dataset, which is generally a process conducted on validation data.

## C JparaCrawl-v3.0-big Setting

The hyper-parameters for the generator of the JparaCrawl-v3.0-big ja-en model is provided in Table 5.

Table 5 Hyper-parameters for the generator of the JparaCrawl-v3.0-big model.

Table 4 The final results of ja-en document alignment incorporating hyper-parameter settings, where "MT + docalign" represents for using web-crawled sentences, $\lambda=0.4$ is set for "LaBSE +2 Features" to combine $\operatorname{Cos}\left(e_{A, 1}, e_{B, 1}\right)$ and $\operatorname{Cos}\left(e_{A, \text { mean }}, e_{B, \text { mean }}\right)$ as mentioned in Section 3.2.2, the calculation object found by Faiss for OT is 20 most similar English documents, "Fixed-Length" represents for using fixed-length segmentation, " $\rho$ " represents the language-pair dependent proportion as mentioned in Section 3 "Time (sec.) (Translation $\backslash$ Embedding)" represents time consumption for Translation, which combines data preprocessing and translation process, or Embedding, "Time (sec.) (Similarity)" for "LaBSE (Faiss) + OT" also combines the Faiss search process, when the overlapping rate equals 0.0 representing the fixed-length segmentation without overlapping, and "-" represents for not-used hyper-parameter.

 & Fixed-Length &  & $\rho$ & F1 Score &  &  \\