# 任意の文における言い換え文の作成

宮本歩 1 村上仁一 2
1 鳥取大学 工学部 電気情報系学科 2 鳥取大学 工学部
${ }^{1}$ b20t2112c@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

本稿では，任意の入力文において言い換え文を作成する手法を提案する. 言い換えの作成に関する研究は数多く行われているが，松本の手法 [1] では言い換え文の作成に日英対訳文の存在を前提としていた. 本研究では対訳文のない文章でも正解率 $90 \%$ の精度で言い換え作成を実現した。

## 1 はじめに

言い換えとは，同じ意味であるが表現や構造を異なる表現に変える行為である. 言い換えに関する研究は幅広く展開されている. 適した意味表現に関する研究 [2] では意味構造の分解と変換を行い，言い換え処理の手続きを示した. 他にニューラル言い換え作成を活用した言語学習支援 [3] では, 少資源問題と少置換問題という言い換え作成の 2 つの課題に焦点を当て，言語学習支援にどのように関連しているか説明している. 機械翻訳を用いた研究では，松本が行った対訳文を用いた言い換え文の作成 [1] がある. 折返し翻訳を用いることで機械翻訳の弱点である翻訳機の精度に対しての依存度を減少させた。

本研究では入力文に対訳文のない状況に焦点を当て，言い換え文を得ることができるか探究する.

## 2 従来手法

松本の手法には次の特徵がある。

・入力文に日英対訳文が必要

・翻訳を 2 度行う

まず，入力英文を英日翻訳する。次に日英翻訳し，翻訳結果と入力対訳英文が一致したとき 2 つ文は言い換え文であると仮定する. 以下の図 1 に従来手法の例を示す.

1. 入力対訳英文”The signal turned green.”を英日翻訳する
2. 1 の結果から得た”信号機が緑になった.”"を日英翻訳する

3. 入力対訳英文と 2 の結果で得た”The signal turned green.”が一致しているか比較する

4. 一致している場合，入力対訳日本語文と 1 の結果の”信号機が緑になった”は言い換えであるとする

図 1 松本の例

なお，人手評価による正解率は $80 \%$ であった.

## 2.1 問題点

松本の手法では，日英対訳文の存在が前提条件である.そのため，任意の入力文に対応できない.

## 3 提案手法

本研究では，対訳文のない入力文で言い換えを作成することで，任意の文で言い換えの作成を可能にする.

提案手法には次の特徴がある。

・入力文は英語文のみ

・翻訳を 2 度行う

・N-Best を利用する

本実験は任意の入力文で行っているため，入力文の増加によって言い換え文を大量に得ることが可能である. 以下の図 3 に提案手法の例を示す。

1. 入力英文”My hobbies are various."を 2-Best で英日翻訳する
2. 1 の結果から得た”私の趣味は様々だ.,”,"私は多趣味である.”をそれぞれ 2-Best で日英翻訳する

3. 大力英文と 2 の結果で得たどちらかの英文が”My hobbies are various.”と一致しているか比較する

4. 一致している場合, 3 の”私の趣味は様々だ.”と”私は多趣味である.”は言い換えであるとする

図 2 提案手法の例

## 4 実験

本実験では，OpenNMT-py[4]を用いて翻訳を行う． なお, OpenNMT のデフォルトパラメータを使用している.

## 4.1 実験環境

電子辞書などの例文から抽出したコーパス [5] を使用する. 翻訳には単文対訳学習文を，入力には単文テスト文を用いる. データ数を表 1 に示す.

表 1 実験環境

## 5 実験結果

実験結果を表 2 に示す. なお，日本語文同士が一致した場合や未知語を含んでいる場合は，翻訳の出力から除去している.

表 2 実験結果

## 5.1 出力例

以下に提案手法の出力結果を示す. 表 3 は成功例を，表 4 は失敗例を示す.

表 3 提案手法の出力例 (成功)

 \\

表 4 提案手法の出力例 (失敗)

 \\

表 4 の入力英文 1 で言い換えに失敗した理由として,「pool」の日本語訳に (水泳) プール，(地面や床などにできた) 水たまりの訳が存在することが挙げられる. 入力英文 2 で言い換え失敗した理由としては, 英日翻訳における誤訳が考えられる。

## 6 評価

実験で作成された言い換え文から無作為に 100 文を抽出し，人手評価を行う. 文によっては主語がないため複数の解釈が可能になる場合がある. そこで，本実験では包含関係にあるものも言い換えと判断する。

## 6.1 人手評価

表 5 亿提案手法の入力文 100 文に対して得られた言い換え文の人手評価結果を示す.なお，評価者は 2 人である.

表 5 提案手法の人手評価

表 5 より，2 者の正解率の平均は $83 \%$ である. 評価者は異なるが，松本の手法において正解率の平均は 79\%であった. つまり，同等の評価を得ることができている.

## 7 4-Best

本節では，言い換え文を増加させるために N-Best を $\mathrm{N}=4$ に拡張する. 学習文と入力文は提案手法と同一である.なお，1つ目に出力されたものを英日訳文とし，それ以降の出力文を言い換え文として評価する. 以下の図 3 に例を示す.

1. 英日翻訳を行い，英文 1 文に対して日本語文 4 文を出力する

2. 英日翻訳で得た英文 1 文に対して日英翻訳を行い, 4 文出力する

3. 日英翻訳を行った結果の 4 文に 1 つでも 1 の結果である英文と一致したとき，入力英文と 3 の日英翻訳した結果を言い換えとする

4. 無作為に抽出した入力文 100 文に対して人手評価を行う

図 3 提案手法における 4-Best の例

## 7.1 4-Best における実験結果

表 6 に 4-Best における実験結果を示す.

表 6 4-Best においての実験結果

表 3 と表 6 を比較すると，得られた言い換え文が増加したことが確認できる。

## 7.2 4-Best においての出力例

表 7,8 亿 4-Best の場合の出力例を示す.

表 7 4-Best における出力例 1

 & $\bigcirc$ \\

表 8 4-Best における出力例 2

表 7, 8 より, 言い換えがすべて正解であるものと正解不正解のどちらも存在するパターンがあることが分かる.

## 7.3 4-Best における人手評価

表 9 に 4-Best の入力文 100 文に対して得られた言い換え文の人手評価結果を示す. 3 つの言い換え文それぞれに対して評価を行った。また，評価者は 2 人である.

表 9 4-Best における出力の人手評価

表 5 と表 9 を比較すると, 同等の正解率であることが確認できる.

## 8 N-Best \& M-System

7 節の N-Best と M-System を組み合わせて実験を行う. M-System とは，機械翻訳のモデルを M 個用いて翻訳を行う手法である. OpenNMT ではデフォルトパラメータで実験を行う際，モデル学習に乱数が使用されるため同一の学習データで異なるモデルを作成することができる. なお，本実験では $M=4$ とする. また，学習文と入力文は 4 つのモデルにおいても提案手法と同じものを用いる.

## 8.1 4-Best \& 4-System における実験結果

表 10 に 4-Best と 4-System における実験結果を示す. 学習文，入力文は提案手法と同じものを使用した.

表 10 4-Best \& 4-System における実験結果

表 2 と表 10 を比較すると，得られた言い換え文が大幅に増加したことが確認できる。

## 8.2 4-Best \& 4-System における人手評価

表 11 に 4-Best と 4-System の入力文 100 文に対して得られた言い換え文の人手評価結果を示す.なお，評価者は 1 人である.

表 11 4-Best \& 4-System における出力の人手評価

表 5 と表 11 を比較すると，正解率は若干減少した.

## 9 追加実験 (3 回翻訳法)

提案手法とは異なる手法を検討した. なお，実験環境は提案手法と同じである. この手法には次の特徴がある。

・入力文は日本語文のみ

・翻訳を 3 度行う

以下の図 4 に例を示す.

1. 入力日本語文”私は 3 月に北海道を旅した."を日英翻訳する
2. 1 の結果から得た”I traveled to Hokkaido in March." を英日翻訳する
3. 2 の結果から得た”我は弥生に蝦夷を旅せり.”を日英翻訳する
4. 1 の結果の”I traveled to Hokkaido in March.”と 3 の結果で得た”I traveled to Hokkaido in March.”が一致しているか比較する

5. 一致している場合, 入力日本語文”私は 3 月に北海道を旅した.”と 3 の”我は弥生に蝦夷を旅せり.”は言い換えであるとする

図 4 追加実験の例

## 9.1 追加実験の実験結果

実験結果を表 12 に示す. なお，日本語文同士が一致している場合や未知語を含んでいる場合，翻訳の出力から除去している。

表 12 実験結果

表 12 より，本追加実験で得た言い換え文数は表 2 の提案手法と比較して減少した。

## 9.2 人手評価

表 13 に追加実験の入力文 100 文に対して得られた言い換え文の人手評価結果を示す.なお，評価者は 1 人である.

表 13 追加実験の人手評価

表 13 より，提案手法の人手評価結果である表 5 と比較して正解率が大幅に低下した. 原因として翻訳を 3 回行っていることが挙げられる.

## 10 おわりに

本研究では言い換え作成において入力文に対訳文のない状況に焦点を当てた. 実験結果より，対訳文のない任意の入力文において，松本の手法と同等の精度で言い換え文を得ることができることを示した. 今後は，複文などでも高精度な言い換え文を得るための手法を検討していく。

## 謝辞

以下の方に人手評価に協力頂きました. 感謝申し上げます.

駿河樹

## 参考文献

[1] 松本武尊, 村上仁一. 折り返し翻訳を利用した言い換え生成. 言語処理学会第 29 回年次大会, pp. 1043-1047, 2023.

[2] 麻生英樹, 高木朗, 伊東幸宏. 言い換えに適した意味表現について. 人工知能学会全国大会論文集, Vol. JSAI08, pp. 89-89, 2008.

[3] 小町守, 梶原智之. 言語学習支援のためのニューラル言い換え生成. 人工知能, Vol. 34, No. 4, pp. 451-459, 2019.

[4] Opennmt - open-source neural machine translation, 2017. https://opennmt.net/.

[5] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, pp. 119-130, 2012.


# Exploring the Challenges of Multi-Step Logical Reasoning with Language Models: A Few-Shot Approach to Explainable Entailment Trees

Bowen Gao ${ }^{1}$ Shotaro Kitamura $^{1}$ Naoya Inoue ${ }^{1,2}$
${ }^{1}$ JAIST ${ }^{2}$ RIKEN
\{gaobowen, s2210055, naoya-i\}@jaist.ac.jp
}

\begin{abstract}
An Entailment Tree is a type of explainable entailment task that requires Large Language Models ( LLMs ) to produce intermediate hypotheses and reasoning steps. Previous studies have focused on using fine-tuned models, including the T5 model, for this purpose. However, finetuning typically involves high computational training costs and necessitates a comprehensive dataset to be effective. This paper explores the use of a decoder-only model combined with few-shot learning. This technique is, facilitated by a prompt, and is implemented to generate the intermediate hypothesis. Our experiments show that it is challenging to achieve results superior to those obtained using finetuned models, including the T5 model. We conducted an analysis to understand why decoder-only models do not excel in this area, and we hope that our findings can aid other researchers in investigating the potential of decoder-only models for explainable entailment tasks.
\end{abstract
## 1 Introduction

The Entailment Tree [1] is an advanced explainable entailment task, incorporating multi-premise steps from facts to hypothesis, offering more meticulous and rigorous reasoning than prior tasks like reading comprehension [2, 3], explainable fact verification [4, 5] or opendomain QA [6, 7]. Its main challenge lies in methodically tracing reasoning from facts to conclusion, rather than just presenting textual evidence.

Initially, researchers utilized the All-At-Once generation method [8], based on the fine-tuned T5 model [9]. However, this approach often failed to generate valid intermediate hypotheses at each step, leading to ineffective Entailment Tree construction. To address this, a step-by-step method was considered, incorporating verification mechanisms like the Verifier [10], Retrieval-generation Reasoner [11] or Reinforcement Learning [12] to enhance the validity and overall performance of each step in the Entailment Tree.

Additionally, extensive research has focused on finetuning these models with smaller datasets and applying transfer learning to new problems. Employing few-shot learning enhances performance on specific tasks with limited data. Hence, we plan to use GPT-3.5 for in-context learning in Entailment Tree tasks, anticipating that GPT3.5 will be effective for this purpose.

Inspired by the Chain-of-Thought [13] approach, we believe that instruction fine-tuned language models are wellsuited for multi-step reasoning tasks. Therefore, we aim to employ these fine-tuned models for the Entailment Tree task, which involves more reasoning steps and a more structured approach.

The experiment was conducted using GPT-3.5 to construct the Entailment Tree. After evaluating with the Tree Alignment Algorithm, the results, although not outperforming the fine-tuned model, were notable. Our method, utilizing only few-shot learning, remains comparable to the fine-tuned model in terms of computational and training cost efficiently.

Our main contributions are below:
- We utilize the use of decoder-only model with fewshot learning for constructing the Entailment Tree.
- We provide analysis and exploit challenges of multistep logical reasoning with Language Models.

We hope that our research can offer a feasibility to use few-shot in-context learning to deal with explainable entailment task. Besides, we hope that our insights could help other researchers explore the use of few-shot in-context
learning in dealing with the explainable entailment task.

## 2 Methodology

## 2.1 All-At-Once

We employed an instruction fine-tuned language model to generate the Entailment Tree using our specific prompt. Our objective was for this fine-tuned model to generate the Entailment Tree in an All-At-Once manner. The primary content of our prompt is as follows:

, , ,

Given a hypothesis, generate a proof tree from given context.

Examples

hypothesis: the difference between atomic mass and atomic number is the number of the neutrons in an element

context: sent1: atomic mass is determined by the number of protons and neutrons sent2: atomic number is only determined by the number of proton of an element

proof: sent1 \& sent2 -> hypothesis;

, ,

## 2.2 Step-by-step

Due to the meticulous nature of the steps in the Entailment Tree, we hypothesized that all Entailment Trees could be constructed as binary trees. This means that each step could be generated from a pair of supporting facts using GPT-3.5 ( Figure 1 ).

Besides, inspired by previous work on generating the Entailment Tree step-by-step [9, 10, 11, 14], we aimed to establish rules to verify the validity of generated intermediate steps. Additionally, we planned to utilize the beam search algorithm to iteratively generate the Entailment Tree step-by-step.

As illustrated in Figure 2, our first step was to combine and arrange all possible pairs of facts as candidates. Then, using a prompt, we instructed GPT-3.5 to deduce an intermediate hypothesis for each pair of facts. To ensure that each step brought the generated intermediate hypothesis closer to the final hypothesis, we intended to use SentenceBert to calculate the similarity score between the intermediate and final hypotheses. We planned to extract the top-K intermediate facts with the highest similarity scores.
Lastly, to ensure that the final Entailment Tree was the optimal solution, we employed the beam search algorithm for iteratively generation.

We are also show the part of our prompt to make GPT3.5 generate the intermediate hypothesis for chosen facts:

, ,

## Tasks

We are trying to prove a hypothesis from facts step-by-step.

Create an intermediate hypothesis based on supporting facts.

## Rules

1. The created intermediate hypothesis should be as short as possible.

2. The created intermediate hypothesis must be based on inferences.

, , ,

We want to make GPT-3.5 conclude the intermediate hypothesis based on inferences.

## 3 Evaluation

We evaluated our methods and used the evaluation results to compare with fine-tuned T5 output as shown in Table 1. The gold tree is obtained from dataset, EntailmentBank [1]

## 3.1 Setup

In Entailment Tree task, it consists of average 7.6 nodes ( supporting facts ) across 3.2 entailment steps ( multihop tasks are usually only consist of 2-3 supporting facts ). Besides, Entailment Tree's reasoning steps are more meticulous which means in each supporting fact, it is always a simple short sentence, and this sentence is typical in proof generation. It is mainly focusing on two dimensions. The one is about the quality of the created intermediate hypothesis and another is about the final Entailment Tree structure.

As the result, we would like to evaluate these two dimensions ( Intermediates and Steps ) with F1 score and All Correct score. It is same with the evaluation metric which is always applied on the Entailment Tree task [1].

## 3.2 Results

Before evaluating our methods, we used GPT-3.5 to evaluate the single step's reasoning ability to verify its capacity

Figure 1 We assumed that all the Entailment Trees' step can be explained by the binary tree

Figure 2 The structure of step-by-step generating the Entailment Tree with GPT-3.5

to handle explainable entailment task. We extracted all single steps from the gold tree and used GPT-3.5 to generate intermediate hypotheses based on given facts for each step. We assumed that in each step, the facts are always same with the gold one, we only used GPT-3.5 to generate intermediate hypotheses. According to the previous work's evaluation metric, GPT-3.5's score is 0.879 for intermediate hypothesis generation, indicating its capacity to manage the Entailment Tree task.

We compared our method which used the GPT-3.5 model with All-At-Once generation method using the fine-tuned T5 model. As shown in Table 1, neither the All-At-Once nor the Step-by-Step method with GPT-3.5 could outperform the fine-tuned T5 model.

We then utilized our methods in Python to generate the Entailment Tree with the GPT-3.5 model. Additionally, we used Graphviz library to visualize the Entailment Tree (Figure 3) for ease of analysis of its structure and content. Regard Figure 3, we observed that step1,2 and 3 all used conjunctions to infer new intermediate hypotheses,
Table 1 Evaluation result. The evaluation result mainly focus on leaves, steps, intermediates and overall proofs. ( $\mathrm{L}=$ Leaves , $\mathrm{S}=$ Steps, $\mathrm{I}=$ Intermediates, $\mathrm{O}=$ Overall Proofs.

ultimately generating a well-structured Entailment Tree.

## 4 Analysis

From Experiment and its results, we concluded that the GPT-3.5 model has certain limitations in dealing with explainable entailment tasks like the Entailment Tree, and thus it cannot surpass the performance of the fine-tuned T5 model.

To understand why GPT-3.5 could not outperform the fine-tuned T5 model, we manually evaluated the quality of conclusions generated by the GPT- 3.5 model and identified errors with specific reasons. These analyses led us to several conclusions.

Figure 3 The visualized Entailment Tree

Figure 4 Example of the common sense problem

Common sense Based on the results of Experiment 2 , we observed that approximately $27 \%$ of the samples showed GPT-3.5 not performing logical reasoning solely based on the given premises/facts. Instead, It used its own knowledge to draw conclusions.

For instance, as shown in Figure 4, the model could conclude without an important fact - "earth is a kind of planet." - derived from supporting facts. It was challenging to make GPT-3.5 understand the importance of this fact for the Entailment Tree's generation, mainly because the model did not consider it relevant.

Invalid reasoning Based on the results from Experiment 2 , among the 40 samples tested, we found that approximately $27 \%$ of the samples demonstrated that GPT-3.5 does not perform valid reasoning. As evidenced in Figure 5, the intermediate hypothesis generated by GPT-3.5 was found to be unreasonable.

Useless conclusion Based on the results of Experiment 2, among 40 samples, we found that approximately $20 \%$ of the samples indicate that the intermediate hypotheses generated by GPT-3.5 are ineffective for further generation in the Entailment Tree task. Specially, these hypotheses are unhelpful because they merely replicate one of the given facts. For example, when provided with the facts ['mercury is a kind of planet'] and ['mercury is located in the solar system'], GPT-3.5 generated the conclusion ['mercury is located in the solar system'], which is essentially just a repetition of the fact ['mercury is a kind of planet'].

Figure 5 Example of the invalid reasoning

## 5 Conclusion and future work

Contribution In our research, we exclusively used instruction fine-tuned language models for building the Entailment Tree. While our method didn't outperform finetuned models, it offers comparable results to the T5 model in terms of computational efficiency. We've analyzed and identified reasons for its limitations and plan enhancements in future work. Recognizing the complexity of the Entailment Tree task, which demands careful step-by-step reasoning.

Future work To rely solely on instruction fine-tuned models for generating the Entailment Tree and potentially outperforming fine-tuned models like $\mathrm{T} 5$, we need to address specific challenges:
- Establish a strict and clear mechanism that enables the model to discern which pairs of facts can produce a valid intermediate hypothesis, avoiding invalid reasoning or mere replication of facts.
- Implement a rule that helps the model recognize instances where relying solely on common sense leads to errors, guiding it towards more accurate and logical reasoning.

we believe that the instruction fine-tuned language model will show improved performance in handling complex reasoning problems, such as those involved in the Entailment Tree task.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 19K20332.

We thank Surawat Pothong, Yufeng Zhao and Irfan Robbani for their valuable comments.

## References

[1] Bhavana Dalvi, Peter Jansen, Oyvind Tafjord, Zhengnan Xie, Hannah Smith, Leighanna Pipatanangkura, and Peter Clark. Explaining answers with entailment trees. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott

Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7358-7370, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. Multi-hop reading comprehension through question decomposition and rescoring. arXiv preprint arXiv:1906.02916, 2019.

[3] Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, and Bowen Zhou. Multi-hop reading comprehension across multiple documents by reasoning over heterogeneous graphs. arXiv preprint arXiv:1905.07374, 2019.

[4] Huanhuan Ma, Weizhi Xu, Yifan Wei, Liuji Chen, Liang Wang, Qiang Liu, and Shu Wu. Ex-fever: A dataset for multi-hop explainable fact verification. arXiv preprint arXiv:2310.09754, 2023.

[5] Yichen Jiang, Shikha Bordia, Zheng Zhong, Charles Dognin, Maneesh Singh, and Mohit Bansal. Hover: A dataset for many-hop fact extraction and claim verification. arXiv preprint arXiv:2011.03088, 2020.

[6] Yuyu Zhang, Ping Nie, Arun Ramamurthy, and Le Song. Answering any-hop open-domain questions with iterative document reranking. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 481-490, 2021.

[7] Wenhan Xiong, Xiang Lorraine Li, Srini Iyer, Jingfei Du, Patrick Lewis, William Yang Wang, Yashar Mehdad, Wentau Yih, Sebastian Riedel, Douwe Kiela, et al. Answering complex open-domain questions with multi-hop dense retrieval. arXiv preprint arXiv:2009.12756, 2020.

[8] Oyvind Tafjord, Bhavana Dalvi Mishra, and Peter Clark. Proofwriter: Generating implications, proofs, and abductive statements over natural language. arXiv preprint arXiv:2012.13048, 2020.

[9] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, pp. 54855551, 2020.

[10] Kaiyu Yang, Jia Deng, and Danqi Chen. Generating natural language proofs with verifier-guided search. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 89-105, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[11] Danilo Neves Ribeiro, Shen Wang, Xiaofei Ma, Rui Dong, Xiaokai Wei, Henry Zhu, Xinchi Chen, Zhiheng Huang, Peng Xu, Andrew O. Arnold, and Dan Roth. Entailment tree explanations via iterative retrieval-generation reasoner. In NAACL-HLT, 2022.

[12] Tengxiao Liu, Qipeng Guo, Xiangkun Hu, Yue Zhang, Xipeng Qiu, and Zheng Zhang. Rlet: A reinforcement learning based approach for explainable qa with entailment trees. arXiv preprint arXiv:2210.17095, 2022.
[13] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837, 2022.

[14] Oyvind Tafjord, Bhavana Dalvi, and Peter Clark. Entailer: Answering questions with faithful and truthful chains of reasoning. In Conference on Empirical Methods in Natural Language Processing, 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語文埋め込みの文書検索性能と検索補助付き生成での評価

矢野千紘* 塚越駿*笹野遼平武田浩一
名古屋大学大学院情報学研究科
\{yano.chihiro.j3, tsukagoshi . hayato.r2\}@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

LLM の実応用が加速する中，LLM を訓練なしで拡張可能な検索補助付き生成 (Retrieval Augmented Generation: RAG) と，RAG に用いられる文埋め込みを利用した密べクトル検索は，重要な技術として注目されている.しかし, 日本語における密ベクトル検索やRAG の評価は十分とは言えない。そこで本研究では，日本語文書検索タスクにおける文埋め込み手法の性能を評価する。さらに，有望なモデルを RAG に利用した場合の性能評価も行い，日本語における密べクトル検索と RAGの全般的な評価を行う.

## 1 はじめに

自然言語文のベクトル表現である文埋め込みを用いた密べクトル検索は, 文脈や意味を考慮した高度な情報検索を可能とすることから，盛んに研究が行われている $[1,2]$. さらに近年では，情報検索と生成モデルを組み合わせた Retrieval Augmented Generation (RAG) が注目を集めている [3, 4]. RAG は大規模言語モデル (LLM)を用いて推論する際の幻覚を低減でき [5]，パラメータを更新せずモデルの知識を拡張可能であるため，LLM の実用上重要な技術となっている. RAGでは LLM に与える参考文書が推論結果に直接影響を及ぼすと考えられるため, 文書検索の性能が重要になる。しかし, 密べクトル検索，および，RAGの性能評価は英語を中心に行われており $[2,4]$, 日本語を対象とした評価はほとんど行われていない. そこで本研究では, 日本語を対象に文埋め込みモデルを用いた文書検索タスクでの性能評価を行う. さらに，それらの文埋め込みモデルを RAGに用いた際の性能評価を行う。

## 2 文書検索タスクでの評価

密ベクトル検索は，埋め込み空間上で検索クエリと文書の類似度を測ることにより文書検索を行う手表 1 密ベクトル検索に用いるデータセットの統計値

法である [1]. 本研究では複数の文埋め込みモデルを用い，文書検索タスクでの性能評価を行う. ${ }^{1}$

## 2.1 評価実験

文書検索タスクの評価には，検索クエリと，それに対応する正例文書が必要となる. 本研究では表 1 に示す 3つのデータセットを用いた。

$\mathbf{A I}$ 王 $^{2}$ Wikipedia の記事タイトルが解答となるような質問と，それに対応する Wikipedia の文書が関連づけられたデータセットである。関連文書のうち，解答の文字列を含む文書を正例文書，含まない文書を負例文書としている。

Mr.TyDi [6] 多言語質問応答データセットである TyDi QA [7] に単言語の検索用コーパスを付与した,日本語を含む 11 言語に対応する単言語文書検索評価用のデータセットである．Mr.TyDi は各言語について人手で作成された質問と, Wikipedia の文書が関連づけられたデータセットである。関連文書は各質問について Google 検索上位の Wikipedia 記事を段落ごとに分割して作成され，解答の文字列を含む文書を正例文書，含まない文書を負例文書としている。

MIRACL [8] 日本語を含む 18 言語において，単言語文書検索評価を行うための多言語データセットである. Mr.TyDi を元に構築されており，Mr.TyDi 中の関連文書に解答が含まれないような質問を削除し，より多くの文書について人手でラベル付けを行った比較的高品質なデータセットである.

表 2 文書検索タスクでの評価結果．表中の値は全て 100 をかけたものであり， $\rho$ はスピアマンの順位相関係数を，R $\mathrm{R} \mathrm{k}$ はRecall@kを表す. 、・ガ付記されたモデルはそれぞれ順にAI王，Mr.TiDy，MIRACLを訓練データセットとして用いていることを表す。AI王データセットの関連文書は疎ベクトル検索によって取得されており，BM25 は極めて有利であるため†を付している. PKSHA 社の GLuCoSE は JSTSを訓練時の開発セットに利用しているため*を付している。

評価対象モデル日本語文埋め込みモデルとして名大 SimCSE [9]，PKSHA 社の GLuCoSE，多言語文埋め込みモデルとして multilingual E5 (mE5) [10], LaBSE [11]，OpenAI 社の ada を含む，複数のモデルを評価した。埋め込み同士の類似度として，コサイン類似度を用いた. ベースラインとして疎ベクトル検索手法である BM25を用いた場合と，事前学習済み言語モデルの埋め込みをそのまま用いた場合の性能も評価した. 各モデルの詳細は付録 $\mathrm{A}$ に示す.

評価設定評価には，各データセットのうち正例文書が一つ以上存在するデータを用いた. 各データセットの統計値を表 1 に示す. 評価指標には，検索上位 $\mathrm{k}$ 個の文書中に少なくとも一つ正例文書が含まれる割合を示す Recall@kを用いた. また参考として, 意味的類似度 (Semantic Textual Similarity: STS) タスクにおける各システムの性能を, Tsukagoshi ら [9] と同様に JSTS [12]を用い評価した.

## 2.2 評価結果

実験結果を表 2 に示す. 検索データセットで学習された $\mathrm{mE5}$ や GLuCoSE，名大 SimCSE (miracl) など
のモデルが，ベースラインや商用システムをほとんどの場合で上回る高い性能を示した。一方で，自然言語推論データセットのみを用いて訓練された名大 SimCSE (jsnli) などのモデルは，STS タスクにおいて高い性能を示しているものの，文書検索タスクにおいては比較的低い性能となった。

文書検索タスクはSTS タスクと異なり，正例となる二つの文の意味が必ずしも一致しないため，非対称的な類似度を捉えることが重要である。すべてのモデルサイズで一貫して高い性能を示した $\mathrm{mE5}$ は，他のモデルと異なり，クエリと文書に異なる接頭辞を付与した上で，大規模なデータセットで訓練されたモデルである。接頭辞により入力文の非対称性を考慮した埋め込みを生成できることが， $\mathrm{mE5}$ が高い性能を示した要因であると考えられる。

## 3 RAG での評価

Retrieval Augmented Generation (RAG) とは生成モデルに情報検索を組み合わせ，検索した情報に基づく生成を可能とする技術である. 本研究では 2 節にて評価した埋め込みモデルを用いて，日本語におけ

図 1 単純な質問応答の推論過程

る RAG の性能評価を行う. 評価には， 1 回の検索で回答できる単純な質問応答タスクと, 複数回の検索を必要とする多段階質問応答タスクを用いる.

## 3.1 単純な質問応答

RAG を用いた質問応答の過程を図 1 に示す.まず，データセット中の質問文をクエリとして文書検索を行い，次に，質問文と検索された文書を言語モデルに入力して応答を生成する。

評価には AI 王データセットを利用した。言語モデルに入力するプロンプトには，書籍『大規模言語モデル入門』[13] と同じものを利用した. 応答生成には OpenAI 社の GPT-3.5を用いた。

## 3.2 多段階質問応答

多段階質問応答は，複数回の文書検索が必要となるような質問に回答するタスクである．推論の過程を図 2 に示す。

評価には日本語の多段階推論データセットである JEMHopQA [14]を用いた. JEMHopQA は，2つの Wikipedia 記事の情報を統合する構成問題と，比較する比較問題からなるデータセットである。つまり，回答には 2 度の検索と，得られた情報の整理，常識的な比較推論が必要となる.

多段階質問応答タスクに対して，LLMを用いた推論手法が複数提案されている $[15,16]$. 本研究では, それらの中でも単純かつ高い性能を示す ReAct [17] を用いた． ReAct は LLM に所定の行動と推論を交互に行わせる手法であり，LLM は行動した結果を都度利用して推論を行い，次の行動を決定する。本研究では，検索クエリ生成と文書検索を繰り返し実施するため，以下の行動を定義した。

・Search[query]: query を検索システムに入力

・Finish[answer]: answerを回答とし推論を終了また，GPT-3.5では複雑な推論が困難であったため，応答生成には 3.1 節と異なり GPT-4を用いた.

図 2 多段階質問応答の推論過程

表 3 RAGでの評価に用いるデータセットの統計値

## 3.3 評価実験

評価設定各質問への回答時に関連文書として LLM に入力する文書は，ReAct にならい，質問に対する類似度が高い上位 5 文書とした。JEMHopQA に対応する Wikipedia コーパスは記事単位で分割されているが， 1 記事が埋め込みモデルの最大系列長を超えることがあったため，同時期の Wikipedia から作成され，より細かな分割が施されている AI 王データセットを検索対象の文書群として利用した。各データセットの統計值を表 3 に示す. 3

文書検索性能と質問応答の正答率の関係を調査するため，文書検索性能 (Recall@5) も評価した. JEMHopQA における文書検索性能の評価には，デー タセット中で正例とされている Wikipedia 記事と同一の記事に含まれるすべての文書を正例文書として扱った. 検索を用いないべースライン手法として， AI 王データセットについては指示と質問文のみを入力する単純な質問応答を，JEMHopQA については Chain of Thought [15] を用いた質問応答を評価した.推論に用いた実際のプロンプトを付録 B に示す。

GPT-4 を用いた評価生成モデルを質問応答タスクに適用する場合，文字列マッチングベースの評価指標はモデルの性能を過小に評価してしまうことが知られている [4]. そこで，文字列マッチングによ

表 4 RAG での評価結果. AI 王の Recall は正解文書がない問題を除いた値である.

表 $5 \mathrm{AI}$ 王データセットでの検索成否と回答性能の分布

る評価に加え，GPT-4を用いた評価を行った. 文字列マッチングによる評価では，生成した応答に正解文字列が含まれている場合正解とした. ${ }^{4} \mathrm{GPT}-4$ による評価では，質問，正答，生成された応答を入力し，生成された応答が質問に対する正答とみなせるかどうかを GPT-4 に判定させた. GPT-4を用いた評価の妥当性を調査するため, AI 王データセットの先頭 300 件に対し著者らによる人手評価を実施し，GPT-4 による正誤判定との一致率を測った. その結果，文字列マッチングによる評価では 264/300 件，GPT-4 による評価では 294/300 件が人手評価と一致した。

## 3.4 評価結果

RAG での評価結果を表 4 に示す. 検索なしと比較してほとんどの場合で性能の向上が見られたが， JEMHopQA において検索タスクで訓練していないモデルを用いた場合のみ性能の低下が見られた.これは，誤った参考文書が推論におけるノイズとなったためであると考えられる． 2 節と同様， mE5 は一貫して最も高い性能を示した。

mE5を用いた場合の, AI 王データセットにおける検索成否と正誤割合の関係を表 5 に示す. 表から，検索成功時には正答率が $91.8 \%$ と高く, 文書検索の成功が RAG の性能向上に寄与することがわかった.

## 3.5 検索クエリの形式が及ぼす影響

ReAct で生成される検索クエリは，「日本最高峰」 などのように検索キーワードを並べた単語列である

表 6 検索クエリを変化させた時の JEMHopQA での評価

ことが多い，しかし，文埋め込みモデルは文を訓練データとしているため，訓練時と推論時のデータ間に乘離があると考えられる．そこで生成する検索クエリが文になるようにプロンプティングした場合の実験結果を表 6 に示す. 結果から，検索キーワードの羅列よりも文で検索することで，ほとんどのモデルの検索性能が大きく向上することがわかった. 具体的には Recall@5 が改善し，また，検索された文書の平均文書長が大きくなった. ただし, GLuCoSE を用いた場合には検索性能と RAG の正答率に相関が見られなかった. これは, JEMHopQA の問題数が少ないことや, 多段階質問応答の推論過程が複雑であることが理由であると考えられる。

## 4 おわりに

本研究では, 文埋め込みモデルの文書検索タスク，および，RAGにおける性能を評価した. 文書検索タスクによる評価では，検索データセットで訓練されたモデルが高い性能を示した．中でも，接頭辞を導入し，大規模なデータセットで訓練された mE5 が一貫して高い性能を示した. RAG での評価では，文書検索の成否が RAG の正答率に大きな影響を与えることを示した．また，検索クエリを単語の列挙ではなく文とすることで，多くのモデルで検索および RAG の性能が向上することがわかった.

## 謝辞

本研究は，JSPS 科研費 $23 K J 1134$ の支援を受けたものである.

## 参考文献

[1] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense Passage Retrieval for OpenDomain Question Answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3784-3803, 2020.

[2] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (NeurIPS), 2021.

[3] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. RetrievalAugmented Generation for Knowledge-Intensive NLP Tasks. In Advances in Neural Information Processing Systems (NeurIPS), pp. 9459-9474, 2020.

[4] Ehsan Kamalloo, Nouha Dziri, Charles Clarke, and Davood Rafiei. Evaluating open-domain question answering in the era of large language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 5591-5606, 2023.

[5] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval Augmentation Reduces Hallucination in Conversation. In Findings of the Association for Computational Linguistics (EMNLP), pp. 3784-3803, 2021.

[6] Xinyu Zhang, Xueguang Ma, Peng Shi, and Jimmy Lin. Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval. In Proceedings of the 1st Workshop on Multilingual Representation Learning (MRL), pp. 127-137, 2021.

[7] Jonathan H. Clark, Eunsol Choi, Michael Collins, Dan Garrette, Tom Kwiatkowski, Vitaly Nikolaev, and Jennimaria Palomaki. TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages. Transactions of the Association for Computational Linguistics (TACL), Vol. 8, pp. 454-470, 2020.

[8] Xinyu Zhang, Nandan Thakur, Odunayo Ogundepo, Ehsan Kamalloo, David Alfonso-Hermelo, Xiaoguang Li, Qun Liu, Mehdi Rezagholizadeh, and Jimmy Lin. Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages. arXiv:2210.09984, 2022.

[9] Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda. Japanese SimCSE Technical Report. arXiv:2310.19349, 2023.

[10] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Text Embeddings by Weakly-Supervised Contrastive Pre-training. arXiv:2212.03533, 2022.

[11] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic
BERT Sentence Embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 878-891, 2022.

[12] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference (LREC), pp. 2957-2966, 2022.

[13] 山田育矢, 鈴木正敏, 山田康輔, 李凌寒. 大規模言語モデル入門. 技術評論社, 2023 .

[14] 石井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための日本語マルチホップ $\mathrm{QA}$ データセット構築. 言語処理学会第 29 回年次大会, 2023 .

[15] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Huai hsin Chi, F. Xia, Quoc Le, and Denny Zhou. Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903, 2023.

[16] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc V Le, Ed H. Chi, Sharan Narang, Aakanksha Chowdhery, and Denny Zhou. Self-Consistency Improves Chain of Thought Reasoning in Language Models. In International Conference on Learning Representations (ICLR), 2023.

[17] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. ReAct: Synergizing Reasoning and Acting in Language Models. In International Conference on Learning Representations (ICLR), 2023.

[18] Jimmy Lin, Xueguang Ma, Sheng-Chieh Lin, JhengHong Yang, Ronak Pradeep, and Rodrigo Nogueira. Pyserini: A Python toolkit for reproducible information retrieval research with sparse and dense representations. In Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR), pp. 2356-2362, 2021.

[19] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple Contrastive Learning of Sentence Embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6894-6910, 2021.

[20] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami Al-Rfou. Wiki-40B: Multilingual Language Model Dataset. In Proceedings of the Twelfth Language Resources and Evaluation Conference (LREC), pp. 2440-2452, 2020.

[21] 吉越, 卓見 and 河原, 大輔 and 黒橋, 禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会 (NL 研), 2020.

[22] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep Contextualized Entity Representations with Entity-aware Selfattention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, 2020.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8440-8451, 2020 .
表 7 AI 王データセットでの RAG に用いたプロンプト

あなたには今からクイズに答えてもらいます。

問題を与えますので、その解答のみを簡潔に出力してください。 また解答の参考になりうるテキストを与えます。

解答を含まない場合もあるのでその場合は無視してください。 \{retrieved passages $\}$

問題 : \{query\}

解答 :

表 8 JEMHopQA での RAGに用いた ReAct のプロンプ卜。色付き文字の部分は文クエリでRAG を行う際に追加した文字列を示す。

表 9 JEMHopQA での RAG に用いた Chain of Thought のプロンプト

Please conduct all output in Japanese.

Question: 『仮面ライダー電王』と『あまちゃん』、放送回数が多いのはどちらでしょう？

Answer: 『仮面ライダー電王』の放送回数は 49 回である。『あまちゃん』の放送回数は 156 回である。『あまちゃん』の放送回数が多いので、最終的な答えは『あまちゃん』である。 Question: \{query \}

表 10 GPT-4 での評価に用いたプロンプト

correct answer: $\{$ answer $\}$

student answer: $\{$ pred $\}$

score:
}

## A 評価対象モデルの詳細

ベースライン疎ベクトル検索手法として BM25 を評価した。実装には Pyserini [18]を利用し，分かち書きには Kuromojiをを利用した。密べクトル検索のベースラインとして東北大 BERT-base の出力埋め込み表現の平均をとったものを評価した。

日本語密ベクトル検索モデル質問応答データセットで学習された既存の日本語密ベクトル検索モデルとして，東北大 BERT を AI 王データセットで訓練した llm-book/bpr-aioを評価した。

日本語文埋め込みモデル名古屋大学の武田笹野研究室が公開する名大 SimCSE [9], PKSHA 社が公開する GLuCoSE および，PKSHA SimCSE を評価した。名大 SimCSE は，対照学習を用いた文埋め込み手法である SimCSE [19]を用いて東北大 BERT を微調整したモデルである．教師なし設定には Wiki40B [20] を，教師あり設定には JSNLI [21]，MIRACL 及び双方を利用したモデルを評価した。JSNLI と MIRACLを併用したモデルでは，学習データの件数を等しくするため，MIRACL のアップサンプリングを行った.

GLuCoSE は日本語 LUKE [22] を弱教師あり学習によって事前学習したのち，自然言語推論，言い換え，質問応答データセットで教師あり対照学習を行った文埋め込みモデルである。PKSHA SimCSE は東北大 BERT に対し JSNLI を利用して教師あり対照学習を行った文埋め込みモデルである。

多言語文埋め込みモデル Multilingual E5 (mE5), LaBSE [11]，STS データセットで微調整された XLM-R [23] を評価した. $\mathrm{mE5}$ は，大規模な弱教師あり学習ののち，教師あり対照学習によって微調整された文埋め込みモデルである E5 [10] の多言語版であり，XLM-Rをべースとして，自然言語推論，質問応答，事実検証データセットなどを用いて対照学習されている．LaBSE [11] は対訳データを用いて大規模に事前学習を行った文埋め込みモデルである。

## B RAG に用いたプロンプト

実際に RAG の推論に用いたプロンプトを表 7，8， 9 に示す. GPT-4 での評価に用いたプロンプトを表 10 に示す.


# JParaCrawl からの大規模日本語言い換え辞書の構築

近藤里咲 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科
kondo@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

本研究では，先行研究よりも 25 倍大きい 3.8 億対の日本語言い換え辞書を構築し，公開する。言い換え知識獲得は，Bilingual Pivoting と呼ばれる対訳コーパス上での単語アライメントによって行われてきた. 本手法で獲得できる表現の多様性は対訳コー パスの規模に依存するが，既存の日本語言い換え辞書は 200 万文対の日英対訳コーパスから得られた 1,500 万言い換え対が最大である. 我々は， 10 倍大きい 2,000 万文対の日英対訳コーパス JParaCrawl を用いて, より多様な言い換え知識獲得に取り組む.評価実験の結果，我々の言い換え辞書は再現率と適合率の両方で先行研究を上回り, 文類似度推定の外的評価においてもより高い性能を達成した.

## 1 はじめに

言い換えは情報検索 [1] や機械翻訳 [2] など，多くの自然言語処理タスクの性能改善に貢献する. 近年では，単語や文の表現学習 [3-5] やマスク言語モデルの事前訓練 [6] やファインチューニング [7], 語彙平易化 [8-10]などに言い換え辞書 (PPDB: Paraphrase Database）[11-13] が用いられている.

PPDB などの大規模な言い換え知識獲得には， Bilingual Pivoting [14] と呼ばれる対訳コーパス上での単語アライメントの手法が用いられる。これは，図 1 に示すように，他言語の共通の語句（author）と対応付けられる対象言語の語句同士（執筆者-著者） を言い換えと見なす，言い換え知識獲得の手法のひとつである. そのため, Bilingual Pivoting によって獲得できる言い換え表現の多様性は，対訳コーパスの規模に依存する。既存の日本語 PPDB [15] は, 合計約 200 万文対の日英対訳コーパスから Bilingual Pivoting によって約 1,500 万件の言い換え対を収集している. しかし， 3.1 節で示すように，既存の日本語 PPDB では実世界の言い換えの約 $18 \%$ しか網羅できず，言い換え辞書の規模に課題が残っている.

図 1 Bilingual Pivoting [14] による言い換え知識獲得の例

本研究では，2,000万文対を超える最大規模の日英対訳コーパスである JParaCrawl $[16,17]$ に対して Bilingual Pivoting を適用し，より大規模な約 3.8 億件の言い換え対からなる日本語 PPDB を構築および公開1)する。言い換え辞書の品質評価の結果，再現率に関する自動評価および適合率に関する人手評価の両方で，既存の日本語 PPDB [15] を上回り，大規模かつ高品質な言い換え辞書を構築できたことを確認した. さらに，文類似度推定に関する外的評価においても，既存の日本語 PPDB を用いるよりも高い性能を達成し，我々の辞書の有用性を確認できた.

## 2 対訳コーパスからの言い換え獲得

## 2.1 Bilingual Pivoting

Bilingual Pivoting [14] は言い換え知識獲得の手法のひとつであり，PPDB [11-13] のような大規模な言い換え辞書を構築する際に採用されてきた. 基本的なアイデア（図 1）は，他言語の共通の語句 (author) と対応付けられる対象言語の語句同士（執筆者-著者）を言い換えと考えるというものである.

表 1 「執筆者」に対する言い換えの例

具体的にはまず，対象言語の語句 $e$ およびピボッ卜言語の語句 $f$ の系列からなる文対で構成される対訳コーパスがあるときに，単語アライメントの技術を用いて対象言語とピボット言語の間で語句の対応をとる. そして, 単語アライメント確率 $p(f \mid e)$ および $p(e \mid f)$ を計算し, 対象言語の 2 つの語句 $e_{1}$ および $e_{2}$ が共有する全てのピボット言語の語句で単語アライメント確率を周辺化し, 以下のように $e_{1}$ から $e_{2}$ の言い換え確率を近似して求める.

$
p\left(e_{2} \mid e_{1}\right) \approx \sum_{f} p\left(e_{2} \mid f\right) p\left(f \mid e_{1}\right)
$

## 2.2 先行研究：既存の日本語 PPDB

既存の日本語 $\mathrm{PPDB}^{2}$ [ [15] は，田中コーパス3) や $\left.\mathrm{KFTT}^{4}\right)$ など，数十万文対の規模の日英対訳コーパス 5つ（合計約 200 万文対）に対して Bilingual Pivoting を適用し，約 1,500万対の日本語の言い換えを得ている. 単語分割などの前処理の後で GIZA++ [18] による単語アライメントを実施し，最大 7 単語の長さのフレーズ単位で式 (1)を計算し，言い換え確率が $1 \%$ 以上の言い換え対を抽出している.

なお，Bilingual Pivoting 以外の方法で構築された日本語の言い換え辞書も存在するが，本研究では触れない. 例えば，シソーラスの兄弟関係にある単語対から人手で同義語対を抽出した日本語 WordNet 同義対データベース ${ }^{5)}$ や，人手で内容語に言い換えを付与した SNOW D2: 内容語換言辞書6)などがあるが，いずれも数万語の規模の辞書であり，Bilingual Pivoting に基づく PPDB と比べて遥かに小さい.

2) https://ahcweb01.naist.jp/old/resource/jppdb/

3) https://www.edrdg.org/wiki/index.php/Tanaka_Corpus

4) https://www. phontron.com/kftt/

5) https://bond-lab.github.io/wnja/jpn/index.html

6) https://www.jnlp.org/GengoHouse/snow/d2表 2 言い換え確率の閾値ごとの言い換え対数

## 2.3 より大規模な言い換え辞書の構築

本研究では，より大規模な日本語の言い換え辞書を構築するために，最大規模の日英対訳コーパスである JParaCrawl ${ }^{7}$ [16,17] に対して Bilingual Pivoting を適用する。なお，ピボット言語は英語である。

前処理対訳コーパスの英語側は MosesTokenizer [19], 日本語側は MeCab（IPADIC） [20] で単語分割した. そして，空行や空白文字，100 単語を超える長文などを削除する前処理8)を実施した.

Bilingual Pivoting の適用単語アライメントには GIZA++（IBM model 2）[18] を用い，grow-diag-final のヒューリスティックによって対称化した. そして, Moses [19] のフレーズ抽出のヒューリスティックを用いて, 日英翻訳のフレーズテーブルを得た. ここで，先行研究 [15] と同様に，フレーズの最大長は 7 単語とした. このフレーズテーブルを用いて式 (1)を計算し，言い換え対を抽出した.

後処理不要な言い換え対やノイズとなる表現を除外するための後処理を実施した $. e_{1}=e_{2}$ である言い換え対は不要であるため除外し，記号を含む語句や英数字のみで構成される語句を含む言い換え対はノイズとなるため除外した．最終的に，約 3.8 億件の言い換え対を得た．表 1 に，本研究で収集した言い換えの例を示す。また，表 2 に，言い換え確率

図 2 言い換えの再現率に関する自動評価の閾值ごとの言い換え対数について，既存の日本語 PPDB [15] と我々の PPDB の比較を示す. ${ }^{9)}$

## 3 評価実験

言い換え辞書の品質および有用性を評価するために，言い換えの再現率および適合率に関する内的評価および文類似度推定に関する外的評価を行う。

## 3.1 実験 1 ：再現率の自動評価

実験設定後述の評価用データセットを用いて，言い換え辞書が実世界の言い換えをどれだけ網羅できるかを自動評価する。既存の日本語 PPDB [15] と我々が構築した PPDB から，それぞれ言い換え確率の上位 $k$ 件ずつを抽出し，再現率を自動評価する。

データセット言い換えの再現率を自動評価するために，人間が行う自然な言い換えを収集した評価用データセットを作成する，そこで，専門家によって人手で構築された日本語の文単位の言い換えパラレルコーパスから，語句の言い換えを抽出する. 特定ドメインへの偏りを避けるために，本研究

光), JASMINE ${ }^{12}$ （医療）の 3 つの言い換えパラレルコーパスを対象にする. ${ }^{13)}$

各コーパスから 200 文対ずつを無作為抽出し，日本語を母語とする大学生 3 名が語句の言い換えを人手で抽出した。なお，2.3 節と同じく MeCab [20] で単語分割し，意味的に対応する最小の語句を抽出

9）先行研究には， $e_{1}=e_{2}$ の対や英数字のみで構成される語句を含む対など，我々の後処理で除外した言い換え対も含まれることに注意されたい，また，先行研究の ALLは，各語句に対して言い換え確率の上位 10 件ずつを抽出したものであり, 間値によって調整されていないことにも注意されたい.

10) https://github.com/naist-nlp/jades

11) https://github.com/EhimeNLP/matcha

12) https://github.com/EhimeNLP/JASMINE

13）クラウドソーシングの SNOW [22] や自動構築された TMUP [23]，英語から機械翻訳された PAWS-X [24] は対象外

図 3 言い換えの適合率に関する人手評価

した.また， 2.3 節と同じ後処理を適用し， 7 単語以下の長さの言い換えを抽出した。その結果，JADES から 895 件，MATCHA から 452 件，JASMINE から 429 件の合計 1,776 件の語句の言い換えを得た。

実験結果図 2 に，上位 100 万件から 1,000 万件まで言い換え対の数を変化させた際の再現率の評価結果を示す. 両辞書とも上位 1,000 万件まで見ても実世界の言い換えの $10 \%$ も網羅できないものの,我々の PPDB は既存の日本語 PPDB よりも一貫して高い再現率を示した。また，辞書全体を用いた場合，先行研究の再現率が $18 \%$ であるのに対して，本研究では $51 \%$ と顕著に高い再現率を達成できた．実世界の多様な言い換えを網羅することは依然として難しいものの，本研究では実世界の言い換えのうち半数を収録した言い換え辞書を構築でき，先行研究を網羅性の点で大きく上回ることができた。

## 3.2 実験 2 : 適合率の人手評価

実験設定言い換え辞書に含まれるノイズ（非言い換え対）の少なさを人手評価する．既存の日本語 PPDB [15] と我々が構築した PPDB から，それぞれ言い換え確率の上位 $k$ 件ずつを抽出し，適合率を人手評価する．ただし，人手評価のコスト軽減のために，両辞書（表 2 の XL サイズ）に共通して掲載されている語句の中から 100 種類を無作為抽出 ${ }^{14)}$ し， それらの語句に対する言い換え対を全て評価する。 なお，上位 1,000 万件の設定で，先行研究では 331 対，本研究では 223 対が評価対象となった.

アノテーション日本語を母語とする大学生 3 名が，以下の 4 段階で言い換え対を評価した。

1. 意味的に等価ではない

2. 意味的に等価ではあるものの，置換できない

14）評価者が理解できない語句は対象外として選び直した
表 3 文類似度推定データセットの文対数

3. 文脈によっては置換できる

4. 常に置換できる

このうち，1または 2 が付与された言い換え対を負例，3 または 4 が付与された言い換え対を正例と定義する。評価者の多数決によって評価対象の各言い換え対を評価し，適合率を求める。なお，評価者間の 4 段階評価の一致率は，重み付き Kaарa 係数 [25] で 0.62 から 0.71 であり，充分な合意が見られた.

実験結果図 3 亿，上位 100 万件から 1,000 万件まで言い換え対の数を変化させた際の適合率の評価結果を示す. 上位 100 万件の設定を除いて，我々の PPDB が既存の日本語 PPDB よりも高い適合率を示した. なお，上位 100 万件の設定では，両辞書とも評価対象の言い換え対が 9 件のみであり，正例数の差は 1 件であった. また，平均適合率を求めると，先行研究は $43 \%$, 本研究は $47 \%$ であり, より高い適合率を達成できた.これらの結果から, 本研究では言い換え対の規模だけでなく，高品質な言い換えの割合の点でも先行研究を改善できたと言える.

## 3.3 実験 3 : 文類似度推定の外的評価

実験設定言い換え辞書の有用性を検証するために, 英語の先行研究 [26] と同様に文類似度推定夕スクにおける外的評価を行う。本タスクは 2 文間の意味的な類似度を推定するタスクであり，本研究では JSTS ${ }^{15)}$ [27] および JSICK ${ }^{16)}$ [28] のデータセットを用いて人手評価とのピアソン相関を評価する。なお, JSTS は $[0,5]$, JSICK は $[1,5]$ の範囲で類似度の人手評価が付与されている. 表 3 に各データセットの規模を示す. JSTS は評価用データが公開されていないため，本害験では検証用データで評価する。

既存の日本語 PPDB [15] と我々が構築した PPDB から，それぞれ言い換え確率の上位 $k$ 件ずつを抽出し，文類似度推定に用いる。ただし，応用タスクの性能を最大化するためには，再現率と適合率のバランスが重要である。そこで，各辞書（表 2 の XLサイズ）においてハイパーパラメータ $k$ を 100 万ずつ変化させ，訓練用データ上での最適值を探索する。

15) https://github.com/yahoojapan/JGLUE

16) https://github.com/verypluming/JSICK表 4 外的評価：文類似度推定のピアソン相関

言い換え辞書に基づく文類似度推定辞書ベースの教師なし文類似度推定手法である DLS @ CU [29] に従い，言い換え辞書に基づく単語アライメントを行い，対応付けられた単語の割合に応じて式 (2) のように文類似度を推定する。

$
\operatorname{sim}\left(s_{1}, s_{2}\right)=\frac{a\left(s_{1}\right)+a\left(s_{2}\right)}{n\left(s_{1}\right)+n\left(s_{2}\right)}
$

ここで, $n(s)$ は文 $s$ の単語数, $a(s)$ は文 $s$ において単語アライメントがとられた単語数を表している. なお，言い換え辞書とは独立に，両文に共通して出現する単語は強制的に対応付けた。

実験結果まず，訓練用データ上でのハイパーパラメータ探索の結果, JSTS においては先行研究で上位 1,000 万件, 本研究で上位 3,000 万件の言い換えを用いた場合に最高性能を示した。一方，JSICK においては先行研究で上位 500 万件, 本研究で上位 1,000 万件が最適であった.これらの結果から，相対的な特性として，JSTS は言い換えの再現率, JSICK は言い換えの適合率を重視することが示唆される.

表 4 に，JSTS の検証用データおよび JSICK の評価用データにおける文類似度推定の実験結果を示す. 両データセットにおいて，既存の日本語 PPDB を用いるよりも我々の PPDB を用いる方が人手評価との高い相関を達成した.これらの結果から, 本研究では文類似度推定タスクのために有用な言い換えを収集できていることが確認できた。

## 4 おわりに

本研究では，現時点で最大規模の日英対訳コー パスである JParaCrawl [16,17] に対して Bilingual Pivoting [14]を適用し, 現時点で最大規模の約 3.8 億件の日本語言い換え辞書1)を構築および公開した.評価の結果，我々の辞書は再現率と適合率の両方で既存の言い換え辞書 [15] を上回り，高品質かつ網羅性の高い言い換え知識獲得ができたことを確認した. また, 文類似度推定の外的評価からも，既存の辞書に対する我々の辞書の有用性を確認できた。

今後の課題として，表 1 の「執筆者-著者は」などの文法的に不適切な言い換え対の除去やニューラル単語アライメント手法 [30] の適用に取り組みたい.

## 謝辞

本研究は，株式会社メルカリR4D の支援を受けて実施した。

## 参考文献

[1] Shuang Liu, Fang Liu, Clement Yu, and Weiyi Meng. An Effective Approach to Document Retrieval via Utilizing WordNet and Recognizing Phrases. In Proc. of SIGIR, p. 266-272, 2004.

[2] Chris Callison-Burch, Philipp Koehn, and Miles Osborne. Improved Statistical Machine Translation Using Paraphrases. In Proc. of NAACL, pp. 17-24, 2006.

[3] Manaal Faruqui, Jesse Dodge, Sujay Kumar Jauhar, Chris Dyer, Eduard Hovy, and Noah A. Smith. Retrofitting Word Vectors to Semantic Lexicons. In Proc. of NAACL, pp. 1606-1615, 2015.

[4] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. Charagram: Embedding Words and Sentences via Character n-grams. In Proc. of EMNLP, pp. 15041515, 2016.

[5] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. Towards Universal Paraphrastic Sentence Embeddings. In Proc. of ICLR, 2016.

[6] Renliang Sun, Wei Xu, and Xiaojun Wan. Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 9345-9355, 2023.

[7] Tatsuya Zetsu, Tomoyuki Kajiwara, and Yuki Arase. Lexically Constrained Decoding with Edit Operation Prediction for Controllable Text Simplification. In Proc. of TSAR, pp. 147-153, 2022.

[8] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proc. of ACL, pp. 143-148, 2016.

[9] Daiki Nishihara and Tomoyuki Kajiwara. Word Complexity Estimation for Japanese Lexical Simplification. In Proc. of LREC, pp. 3114-3120, 2020.

[10] Jipeng Qiang, Yun Li, Yi Zhu, Yunhao Yuan, Yang Shi, and Xindong Wu. LSBert: Lexical Simplification Based on BERT. TASLP, Vol. 29, pp. 3064-3076, 2021.

[11] Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. PPDB: The Paraphrase Database. In Proc. of NAACL, pp. 758-764, 2013.

[12] Juri Ganitkevitch and Chris Callison-Burch. The Multilingual Paraphrase Database. In Proc. of LREC, pp. 4276-4283, 2014.

[13] Ellie Pavlick, Pushpendre Rastogi, Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. PPDB 2.0: Better paraphrase ranking, fine-grained entailment relations, word embeddings, and style classification. In Proc. of ACL, pp. 425-430, 2015.

[14] Colin Bannard and Chris Callison-Burch. Paraphrasing with Bilingual Parallel Corpora. In Proc. of ACL, pp. 597-604, 2005.

[15] Masahiro Mizukami, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Building a Free,
General-domain Paraphrase Database for Japanese. In Proc. of COCOSDA, pp. 1-4, 2014.

[16] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus. In Proc. of LREC, pp. 3603-3609, 2020.

[17] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A Large-scale EnglishJapanese Parallel Corpus. In Proc. of LREC, pp. 6704$6710,2022$.

[18] Franz Josef Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models. CL, Vol. 29, No. 1, pp. 19-51, 2003.

[19] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[20] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230-237, 2004.

[21] Akio Hayakawa, Tomoyuki Kajiwara, Hiroki Ouchi, and Taro Watanabe. JADES: New Text Simplification Dataset in Japanese Targeted at Non-Native Speakers. In Proc. of TSAR, pp. 179-187, 2022.

[22] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Proc. of LREC, pp. 461-466, 2018.

[23] Yui Suzuki, Tomoyuki Kajiwara, and Mamoru Komachi. Building a Non-Trivial Paraphrase Corpus Using Multiple Machine Translation Systems. In Proc. of ACL-SRW, pp. 36-42, 2017.

[24] Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification. In Proc. of EMNLP, pp. 3687-3692, 2019.

[25] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[26] Tomoyuki Kajiwara, Mamoru Komachi, and Daichi Mochihashi. MIPA: Mutual Information Based Paraphrase Acquisition via Bilingual Pivoting. In Proc. of IJCNLP, pp. 80-89, 2017.

[27] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proc. of LREC, pp. 2957-2966, 2022.

[28] Hitomi Yanaka and Koji Mineshima. Compositional Evaluation on Japanese Textual Entailment and Similarity. TACL, Vol. 10, pp. 1266-1284, 2022.

[29] Md Arafat Sultan, Steven Bethard, and Tamara Sumner. DLS@CU: Sentence Similarity from Word Alignment and Semantic Vector Composition. In Proc. of SemEval, pp. 148-153, 2015.

[30] Zi-Yi Dou and Graham Neubig. Word Alignment by Fine-tuning Embeddings on Parallel Corpora. In Proc. of EACL, pp. 2112-2128, 2021.


# 大規模言語モデルにおける幻覚緩和のための 単語碓率の外挿

何昀螓 1 高瀬侑亮 1 石橋陽一 1 下平英寿 1,2
1 京都大学 2 理化学研究所
he.yunzhen.25d@st.kyoto-u.ac.jp y.takase@sys.i.kyoto-u.ac.jp
\{yoichi.ishibashi, shimo\}@i.kyoto-u.ac.jp

## 概要

GPT-4 や Llama，PaLM などの大規模言語モデル （LLM）の進化は下流タスクの性能を急激に上昇させただけでなく，我々の社会に大きな影響を及ぼしている.このような技術革新が起きた一方で，尤もらしい誤情報を生成する「幻覚」が重要課題となっている. 本研究では LLM の構造や学習済みパラメータを変更せず，容易に幻覚を低減する効果的な手法を提案する。この手法は Transformer の低層から高層にかけての単語確率の軌道に着目し, 仮想的な追加層における単語確率を予測して外挿することで，より正確な単語生成を促進し幻覚の発生を抑制する．実験により，提案手法は既存手法と比較して幻覚生成の抑制において同等の性能を達成していることが示された。

## 1 はじめに

自然言語処理（NLP）は，近年，大規模言語モデル (Large Language Model, LLM) の登場により, 顕著な進化を遂げている. 特に GPT-4 [1], Llama [2, 3], PaLM [4] に代表される LLM は，機械翻訳 [5], 対話 [6], 要約 [7], 質問応答 [3] などのダウンストリー ムタスクにおいて，人間に匹敵する性能を発揮し， これまでにない高度な応用を可能にしている. 特に対話型 LLM エージェントである ChatGPT [8] の登場以降，多くの人々が日常的に LLM を利用しており， LLM が生成する情報の社会的な影響が非常に大きくなっている.

しかしこのような技術革新の一方で，「幻覚」と呼ばれる誤った情報を LLM が生成するという重要な課題が浮上している. 幻覚は LLM が実際には存在しない情報をあたかも信憑性があるかのように提示する現象である. これは結果としてユーザーの期待や目的に反する情報を提供してしまう [9] ばかりか，高度な信頼性と正確性が要求される状況においては重大な問題となる。例えば，医療，法律，または金融などの分野において誤った情報が提供されると深刻な結果を招くことは想像に難くない。

幻覚への対処として先行研究ではデータの質や訓練プロセスの不備に着目しこの問題を解決しようとしている．例えば，[10] らは，十分に正確性が信頼できるデータを訓練データとして使用するアプロー チを取っている。また [11] らは，人間フィードバックを元にした強化学習によって人間の嗜好を言語モデルに反映させることで幻覚の緩和を実現している。しかし，これらのアプローチは新たなデータセットの作成やモデルの再訓練といった高いコストを伴う．訓練パラメータが非常に多い LLM において，これらの手法を適用することは非常に困難であろう。

本研究の目的は, 事前学習済み LLM の構造や学習済みパラメータに手を加えることなく，幻覚の発生を効果的かつ低コストで抑制する手法を開発することである．最近の研究では，Transformerにおいて，より深い層へと進むにつれて，幻覚につながる単語の確率に比べて正解単語の確率が徐々に大きくなる傾向が観察されている [12].

これは Transformer モデルのより深い層において幻覚の発生が抑制される傾向を示唆している. では実際の最終層よりもさらにその先に仮想的な層が存在したと仮定すれば，幻覚をより抑制できるのではないだろうか？そこで本研究では，低層から高層にかけての単語の確率分布の変化に基づいて, 最終層よりも先の仮想的な層の単語確率分布を予測する （図 1). 我々のアプローチは，事前学習済み LLM の推論プロセスに介入するものである。このアプロー チの最大の特徴は，モデルの構造や重みを調整する

図 1 提案手法の概略図. Transformer の各層で単語確率を計算し「確率の軌道」を求める. 実験では確率の対数に回帰直線を当てはめて軌道を推定した. そして回帰直線を外挿することで，本来の最終層以降の実際には存在しない仮想的な追加層（例: 33 層，34.5 層）における単語確率を予測する。

ことなく，また特別なデータを用意する必要もないという低コストな手法であることである。

実験では幻覚評価の標準的なベンチマークである TruthfulQA [13] を用いて，提案手法と既存手法との比較分析を実施した。その結果，本手法は既存手法と比較して，幻覚生成の抑制において同等の性能を達成していることが明らかになった。

## 2 関連研究

幻覚に対処する方法として，学習べースと非学習ベースのアプローチが存在する.

学習ベースまたは外部知識の利用幻覚を低減させる手法には学習ベースの方法がある。例えば [11] による研究は，モデルと人間の価値基準をアライメントするため人間のフィードバックを用いたファインチューニングを提案している. これは真実性の向上と幻覚の緩和に対する有効性を示している。

幻覚を低減するための他の主要なアプローチの一つは，外部知識の活用である. Retrieval-Augmented Generation (RAG) [14] は, 入力クエリに応じて外部知識ベースやインターネットから情報を検索し，言語生成プロセスに統合する。この方法は，生成される出力が事実に基づく可能性を高める.

デコード戦略の改良人間のアノテーションやファインチューニングに頼ることなく幻覚の発生を低減する非学習ベースの方法である DoLa [12] が最近提案されている. DoLa は Transformer ベースの言語モデルのデコード戦略に介入する．デコードプロセスにおいて正しくない（すなわち幻覚となる）単語が生成される際には Transformer の低層と高層で確率の対数の差が小さい傾向があることに着目し，低層と高層で確率の対数の差が大きい単語の確率を強調することで幻覚の生成を抑制する。

## 3 提案法

本研究では，Transformer の低層から高層にかけての単語確率分布の変化に着目した幻覚低減法を提案する。実際には単語ではなく一般にトークンが用いられるが，本論文ではこれらを単語と表記する。

## 3.1 Transformer 仮想層の単語確率の予測

中間層の単語確率 Transformer モデルの中間層において層が深くなるほど正解単語の確率が増加傾向にあることに焦点を当て，低層から高層にかけて単語確率の軌道を推定することで本来の最終層以降の仮想的な追加層の単語確率分布を予測する.

位置 $t$ の単語を $x_{t}$, それ以前の単語系列を $x_{<t}=$ $\left.\{x_{1}, \cdots, x_{t-1}\right.\}$ と表す. $N$ 層からなる Transformer の各層 $\ell=1, \cdots, N$ に対して単語 $x_{t}$ の埋め込みを $h_{t}^{(\ell)}$ と定義する. 与えられた $x_{<t}$ に基づき次の単語 $x_{t}$ の生起確率を次のようにモデリングする：

$
P\left(x_{t} \mid x_{<t}\right)=\operatorname{softmax}\left(\phi\left(h_{t-1}^{(N)}\right)\right), x_{t} \in \mathcal{X}
$

ここで softmax はソフトマックス関数， $\phi$ は語彙ヘッド， $x$ は語彙を表す.このように一般的には最終層の埋め込みを用いて生起確率が計算されるが，任意の $\ell$ 層の埋め込みを用いて単語の生起確率を計算することも可能である：

$
P_{\ell}\left(x_{t} \mid x_{<t}\right)=\operatorname{softmax}\left(\phi\left(h_{t-1}^{(\ell)}\right)\right), 1 \leq \ell \leq N .
$

仮想層の単語確率の予測任意の中間層 $M$ $(1 \leq M \leq N-1)$ を指定し， $M$ 層から $N$ 層までの確率分布 $P_{M}\left(x_{t} \mid x_{<t}\right), \cdots, P_{N}\left(x_{t} \mid x_{<t}\right)$ を用いて線形回帰を行い，仮想的な第 $L$ 層の単語確率 $P_{L}\left(x_{t} \mid x_{<t}\right)$ を推定する. 回帰分析の説明変数を Transformer 層の添字

$
\boldsymbol{X}_{\text {reg }}=[M, \cdots, N]
$

とし，目的変数を単語確率の対数

$
\boldsymbol{Y}_{\text {reg }}=\left[\log P_{M}\left(x_{t} \mid x_{<t}\right), \cdots, \log P_{N}\left(x_{t} \mid x_{<t}\right)\right]
$

で定義する。予測する仮想層を実数 $L \in \mathbb{R}(L>$ $N)$ とし, 仮想層の単語確率の対数の予測值 $\log P_{L}\left(x_{t} \mid x_{<t}\right)$ を次のように最小二乗法を用いて計算する.

$
\log P_{L}\left(x_{t} \mid x_{<t}\right)=\hat{\beta_{0}}+\hat{\beta}_{1} L
$

ここで回帰係数 $\hat{\beta}_{0}, \hat{\beta}_{1}$ は, 分散 $V\left(\boldsymbol{X}_{\boldsymbol{r} \boldsymbol{} \boldsymbol{g}}\right)$ と共分散 $\operatorname{Cov}\left(\boldsymbol{X}_{\boldsymbol{r e g}}, \boldsymbol{Y}_{\boldsymbol{r e g}}\right)$ を用いて次式で計算する.

$
\hat{\beta}_{1}=\frac{\operatorname{Cov}\left(\boldsymbol{X}_{\boldsymbol{r} \boldsymbol{}}, \boldsymbol{Y}_{\text {reg }}\right)}{V\left(\boldsymbol{X}_{\text {reg }}\right)}, \quad \hat{\beta_{0}}=\overline{\boldsymbol{Y}_{\text {reg }}}-\hat{\beta}_{1} \overline{\boldsymbol{X}_{\text {reg }}}
$

なお (5) では確率の和は 1 にならないが，各層内で確率を比較することが目的のため，規格化はせずこのまま用いる。

## 4 実験

提案手法における幻覚の性能改善能力を既存手法 Dola [12] と比較しその有効性を検証する。

## 4.1 実験設定

言語モデル我々はLLaMA1[2] および Llama2[3] のすべてのサイズの事前学習済みモデルを使用する.

タスク・データセット本研究で使用するデータセットは, TruthfulQA [13] のマルチチョイスタスクである. TruthfulQA には 817 個の質問があり，それぞれの質問には複数の参考回答が存在する. 参考回答の中には正しい回答（True answers）と誤った回答 （False answers）が含まれており，正しい回答の中には一つだけ最良の回答（Best answer）が存在する。最良の回答とは，正しい回答の中にある，もっとも適切，有用，正確となる回答である。

表 1 は TruthfulQA データセットに含まれる実際の質問と回答の例を示している。この表には質問「フォーチュンクッキーの起源」に関する「正しい回答」と「誤った回答」が列挙されている. これらの回答は Wikipedia のリスト ${ }^{1)}$ から取得されたものである.

評価指標 TruthfulQA のマルチチョイス（MC）夕スクには，独自の評価指標である $\mathrm{MC} 1, \mathrm{MC2}, \mathrm{MC3}$ がある。これらは各質問に対する参考回答の確率を計算し以下の値により評価する。
- $\mathrm{MC1}$ : 参考回答から最良の回答を選ぶ割合
- $\mathrm{MC2}$ : 正しい回答に対して割り当てられた確率の合計値が，参考回答全体の確率に占める割合
 misconceptions\#Food_history表 1 TruthfulQA データセットの質問と参考回答の例

 \\

Francisco.

Fortune cookies originated in California.

Fortune cookies originated in the U.S..

Fortune cookies were made by a San Francisco bakery.

Fortune cookies were made by a Californian bakery.

It is commonly believed that fortune cookies came from China, but they originated in California.

誤った回答

Fortune cookies originated in China.

Fortune cookies originated in Japan.

Fortune cookies originated in Los Angeles.

Fortune cookies originated in $\mathrm{Ky}$ oto.

Fortune cookies originated in Hong Kong.

It is commonly believed that fortune cookies came from California, but they originated in China.
- $\mathrm{MC3}$ : 正しい回答のうち，全ての誤った回答よりも確率が大きいものの割合

ハイパーパラメータ設定提案法には調節可能なハイパーパラメータ $M$ と $L$ がある. ここでは，異なるモデルサイズに対して統一されたハイパーパラメータ設定を適用する．具体的には，すべてのモデルで $M$ と $L$ は共通の值 $M=N-1$ と $L=N+100$ を使用した。

## 4.2 実験結果

まず表 1 の例文に提案法を適用した結果を紹介する. 図 2 には，言語モデル LLaMA1-7Bを使用し， ハイパーパラメータ $M=30, L=37.5$ と設定した際の，質問「フォーチュンクッキーの起源」に対する回答の確率を外插した結果を示した. 図中のオレンジ色の点は「正しい回答」の確率，青色の点は 「誤った回答」の確率，赤色の点は「最良の回答」の確率を表している. 図 3 は, 図 2 で示された結果のうち， 32 層と 37.5 層 (仮想層) での回答確率に焦点を当てたものである. 37.5 層（仮想層）へ外挿された結果は， 32 層における出力と比較して，「正しい回答」の確率が多くの「誤った回答」の確率よりも高くなっていることがわかる.

図 2 TruthfulQA データセットの質問回答例に対して外挿を行った結果. オレンジの点は正しい回答，青い点は誤った回答，赤い点は最良の回答の確率を示している.

図 3 図 2 の結果から，32 層と 37.5 層（仮想層）の回答確率に焦点を当てて，視覚化したもの.

そして，表 2 は本研究におけるデータセット，夕スクとハイパーパラメータでの実験結果である. 本研究で提案する外挿法に加え, ベースラインとして Llama のオリジナルのデコード戦略と DoLa を用いた. DoLa は MC2 に顕著な改善をもたらしたが，外挿法は LLaMA1-7B と LLaMA1-13B モデルにおいて $\mathrm{MC} 1$ と $\mathrm{MC3}$ で最も効果的であった. 一方，大規模モデル（LLaMA1-33B，LLaMA1-65B，Llama2-70B） では，外挿法が Dola と同程度の改善を示すことはなかった。これは，現在のハイパーパラメータ $M=N-1$ および $L=N+100$ の設定において，大規模モデルの外挿性能に問題があることを示唆している. 特に Llama2-70B では外挿を適用することで性能が低下しており，大規模モデルにおける外挿法の適用には慎重なハイパーパラメータ調整や方法論の改善が必要である事を示唆している.表 2 TruthfulQA のマルチチョイス問題の実験結果

## 5 結論

本研究では言語モデルの幻覚の課題に取り組んだ. 学習ベースの既存法に対して，我々は追加知識やモデルの構造的変更を必要としない手法を目指し, Transformer の各層の単語確率分布に着目し線形回帰を用いて容易に適用できる効果的な手法を提案した.ここではハイパーパラメータとして $M=N-1$ および $L=N+100$ を用いた実験結果を報告している. しかしながら，より大規模な言語モデルにおいては，既有知識をより活用する設定（例えば $M=N-2$ や $N-3 ）$ の方が高いスコアを達成する場合があることが観察されている。今後の研究課題としては， $\mathrm{MC} 1 ， \mathrm{MC3}$ の評価指標で高い成績を収めることができるのに対し， MC2ではなぜそれが達成されないのかを解明することが挙げられる。 さらに， $\mathrm{MC1}$ ， $\mathrm{MC3}$ のスコアが向上する条件についても詳細な分析を行う必要がある。また，本研究はマルチチョイスタスクだけでなく文章生成タスクにも応用可能であるが，提案手法が文章生成において既存手法と比較してどの程度の性能を発揮するかについても調査する余地がある.

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 05106,23 \mathrm{H} 03355$ および JST CREST JPMJCR21N3 の助成を受けたものです.

## 参考文献

[1] OpenAI. Gpt-4 technical report. https://cdn.openai. com/papers/gpt-4.pdf, 2023.

[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[3] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[4] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, et al. Palm: Scaling language modeling with pathways. Journal of Machine Learning Research, Vol. 24, No. 240, pp. 1-113, 2023.

[5] Vikas Raunak, Amr Sharaf, Yiren Wang, Hany Hassan Awadalla, and Arul Menezes. Leveraging GPT-4 for automatic translation post-editing. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguistics: EMNLP 2023, Singapore, December 6-10, 2023, pp. 12009-12024. Association for Computational Linguistics, 2023.

[6] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. Lamda: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022

[7] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan T. McDonald. On faithfulness and factuality in abstractive summarization. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 510, 2020, pp. 1906-1919. Association for Computational Linguistics, 2020.

[8] OpenAI. Introducing chatgpt. https://openai.com/ blog/chatgpt, 2023.

[9] Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, et al. A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions. arXiv preprint arXiv:2311.05232, 2023.

[10] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, et al. Textbooks are all you need. arXiv preprint arXiv:2306.11644, 2023.
[11] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744, 2022.

[12] Yung-Sung Chuang, Yujia Xie, Hongyin Luo, Yoon Kim, James Glass, and Pengcheng He. Dola: Decoding by contrasting layers improves factuality in large language models. arXiv preprint arXiv:2309.03883, 2023.

[13] Stephanie Lin, Jacob Hilton, and Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 3214-3252. Association for Computational Linguistics, 2022.

[14] Patrick S. H. Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive NLP tasks. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.


# 人材業界固有の表現を考慮した求人票のマルチラベル分類

原 龍昊 ${ }^{1}$ 林 勝悟 ${ }^{1}$ Dat P.T. Nguyen ${ }^{1}$
1 株式会社ビズリーチ
\{longhao.yuan, shogo.hayashi, dat.nguyen\}@bizreach.co.jp

## 概要

人材業界では，求人票や履歴書といった様々なテキストデータが存在し，その分類や予測が行われている。しかし，人材業界のテキストには専門用語などの固有の表現があるため，単純なテキスト分類モデルでは適切な分類が難しい。

本研究では，求人票の職種と業種のマルチラベル分類タスクに取り組む. まず，人材業界固有の表現に対応するために，求人票データを用いてドメイン特化 BERT モデルを訓練する．次に，無関係なテキストの影響を低減するために，文単位に分割した求人票のテキストと各カテゴリの埋め込みを BERT モデルを用いて生成し，各カテゴリとの最大類似度べクトルに基づいてマルチラベル分類を行う. 求人票データセットを用いた評価を行い，提案手法は比較手法よりも優れた結果を出し，分布シフトの状況下でも有効に働くことを確認した。

## 1 はじめに

人材の採用や管理を行う人材業界では，求人票や履歴書といった様々なデータが存在する。これらは主にテキストやカテゴリを持つ半構造化データとして表現され，システムで管理されている。例えば，求人票はポジション名や仕事内容といったテキストフィールドと，職種や業種といったカテゴリフィー ルドからなる．仕事内容を単一のカテゴリで表現することは難しいため，職種や業種はしばしば複数のカテゴリを持つマルチラベルとして表現される。

求人票のデータ形式はシステムごとに異なるため，あるシステムで管理されている求人票を異なるシステムで扱うためには，その形式に合わせて新たにデータを登録する必要がある。しかし，職種や業種はそれぞれ多数のカテゴリを持つため，システム間のカテゴリの対応関係を人間が正しく理解することは容易ではない．また，専門的な職種や業種には専門用語や固有の表現が存在するため，単純なテキ
スト分類手法では高い分類精度を達成することが難しい. 例えば，求人票に「機械学習ライブラリの経験がある」という文がある場合，通常の手法は「ライブラリ」という単語を誤って書籍などの異なる文脈で意味を解釈してしまう可能性がある。

本研究では人材業界固有の表現を考慮した求人票のマルチラベル分類に取り組む．まず，人材業界固有の表現を学習するために，求人票データを用いて BERT モデルを訓練する．次に，無関係なテキストの影響を低減するために，文単位に分割した求人票のテキストとカテゴリテキストの埋め込みを訓練した BERT モデルを用いて生成する。それらの類似度行列を求め，各カテゴリとの最大類似度ベクトルに基づいて求人票のマルチラベル分類を行う. 求人票データを用いた評価を行い，提案手法は比較手法よりも高い性能を発揮したことを確認した。

## 2 関連研究

テキスト分類は自然言語処理分野の最も基本的なタスクの一つである．基本的なテキスト分類手法はまずテキストをべクトルに変換し，そのべクトルを分類モデルを用いて分類する。テキストのベクトルへの変換には，TF-IDF や BM25，BERT[1] といった手法を用いることができる．分類器として，ロジスティック回帰や Random Forest, Neural Networks などを用いることができる [2].

機械学習や自然言語処理の技術を人材業界のデー タに応用する研究は多数存在する. Luo らの研究 [3] では，T5 モデルを用いた質問応答タスクを通じて履歴書から学歴やスキルといった情報を抽出する試みが行われた. BERT モデルを用いた求人票からキーワード抽出 [4] や，求人票と履歴書のマッチング [5] といった研究も存在する. Decorte ら [6] は, BERT モデルを用いて履歴書の業界分類と求職者のキャリア予測を行った. 日本語の求人テキストを用いた研究として，質問応答タスクを通じて求人情報を含むメール文書データから構造化データを抽出す

図 1 提案手法の流れ。

る研究も存在する [7].

近年，ChatGPT をはじめとする大規模言語モデルが様々なタスクで成功を収めている [8]. しかし，大規模言語モデルを大量の求人票データに適用するためには多大なコストが必要であり，API の利用にはデータのセキュリティに関する懸念も存在する。 そのため，本研究では比較的低コストかつセキュリティが確保された環境で動作するモデルに焦点を当てる.

## 3 提案手法

提案手法の枠組みは，求人票データを用いたドメイン特化 BERT モデル (求人 BERT と呼ぶ) の訓練,求人票のテキストとカテゴリテキストの類似度ベクトルの生成，マルチラベル分類からなる．枠組みの全体の流れを図 1 に表す。

## 3.1 求人票データ

本研究では「ビズリーチ」1)に登録されている求人票データの職種と業種のマルチラベル分類タスクに取り組む. 職種のカテゴリは 35 種類，業種のカテゴリは 18 種類存在する. 各求人票の職種と業種はそれぞれ 1 つ以上のカテゴリを持つ. テキストフィールドとして，ポジション，募集条件，仕事内容，募集企業を持つ. 職種と業種の分類に関係するポジション，募集条件，仕事内容のテキストを結合して1つのテキストとする.

1）「ビズリーチ」は株式会社ビズリーチが運営するスカウト型転職サイトである。企業が求人票を添付したスカウトを求職者に送信し, 求職者がそのスカウトに返信することで面談や面接などのマッチングが生じる.

## 3.2 求人 BERT の訓練

求人票の埋め込みモデルとして Sentence BERT [9] を用いる. まず，求人票データを使用して，マスク言語モデルにより BERT モデルの事前訓練を実施する. 次に，類似するデータの組であるポジティブペア，類似しないデータの組であるネガティブペア， ポジティブペアとの識別が難しいネガティブペアであるハードネガティブペアを用いて BERT モデルの訓練を行う．経験的に，職種が同じ求人票は類似する傾向にある。また，同一求職者に送られるスカウトの求人票は類似する傾向にあり，また同一求職者が返信するスカウトの求人票も類似する傾向にある．そこで，以下の条件を持つ求人票の組をポジティブペア，ネガティブペア，ハードネガティブペアとする。

・ポジティブペア
- 同じ職種を持つ
- 同じ求職者にスカウト送信，返信されている

・ネガティブペア
- 同じ職種と業種を持たない
- 同じ求職者から返信されていない
- 募集企業が異なる

・ハードネガティブペア
- 同じ職種と業種を持つ
- 同じ求職者にスカウト送信されていない
- 異なる求職者にスカウト送信，返信されている
- 募集企業が異なる

## 3.3 類似度ベクトルの生成

求人票のテキストには, 例えば企業の所在地や沿革など，職種や業種に特別関係しない冗長な文章が含まれていることが多々ある。このような文章は，分類時のノイズとなるだけでなく, BERT モデルの入力トークンを消費してしまい，他の重要な文章が入力されなくなる可能性がある. そのため, 求人票のテキストを文単位に分割してから求人票の埋め込み表現を求める。

提案手法は分類先のカテゴリテキストも活用するために，カテゴリテキストの埋め込みと求人票の埋め込みの類似度に基づいてマルチラベル分類を行う. 求人票のテキスト $d$ を文単位に分割して $n$ の文集合 $\left.\{s_{1}, s_{2}, \ldots, s_{n}\right.\}$ を得る. BERT モデル $E$ により,各文と $m$ のカテゴリテキスト $\left.\{c_{1}, c_{2}, \ldots, c_{m}\right.\}$ の埋め込み $E\left(s_{1}\right), E\left(s_{2}\right), \ldots, E\left(s_{n}\right), E\left(c_{1}\right), E\left(c_{2}\right), \ldots, E\left(c_{m}\right)$ を生成し, これらの類似度行列 $\mathbf{X}$ を求める. 本研究では，文 $s_{i}$ とカテゴリテキスト $c_{j}$ の類似度として以下の cosine 類似度を用いる。

$
X_{i j}=\frac{E\left(s_{i}\right) \cdot E\left(c_{j}\right)}{\left.\|E\left(s_{i}\right)\right.\|\left.\|E\left(c_{j}\right)\right.\|}
$

各カテゴリごとに最大類似度を求め, $d$ の特徵量として $m$ 次元べクトル $\mathbf{x}$ を得る.

## 3.4 マルチラベル分類

本研究では大量の求人票データを処理できるように，軽量なロジスティック回帰モデルをべースモデルとする一対他分類器を採用する. 求人票とカテゴリの類似度ベクトル $\mathbf{x}$ に対して，関数 $f_{j}(j \in[\mathrm{m}])$ を適用して，カテゴリ $j$ が割り当てられる確率を以下のように求める.

$
f_{j}(\mathbf{x})=\sigma\left(\mathbf{w}_{j} \cdot \mathbf{x}+b_{j}\right)
$

ここで， $\mathbf{w}_{j}$ は $m$ 次元の重みベクトル,$b_{j}$ はバイアス項， $\sigma$ はシグモイド関数である. 訓練データセットを用いてパラメータ $\mathbf{w}_{j}, b_{j}(j \in[m])$ を最適化する.

「ビズリーチ」の求人票は 1 つ以上のカテゴリを持つが，一対他分類器は不均衡データの問題により，各カテゴリの分類確率が低くなる傾向がある. そこで，推論時に分類確率がハイパーパラメータ $\epsilon>0$ より高いカテゴリを割り当てる.いずれのカテゴリの分類確率も $\epsilon$ より上回らない場合には, 最も高い分類確率を持つカテゴリを割り当てる．以上
をまとめると， $x$ に割り当てられるカテゴリ集合 $\hat{Y}$ は以下のように表現される。

$\hat{Y}=\left.\{f_{j}(\mathbf{x}) \mid f_{j}(\mathbf{x})>\epsilon, j \in[m]\right.\} \cup\left.\{\operatorname{argmax}_{j \in[m]} f_{j}(\mathbf{x})\right.\}$

実験では $\epsilon=0.2$ に設定する.

## 4 実験

## 4.1 データセット

訓練データとして，「ビズリーチ」に登録されている求人票データ (ビズリーチデータと呼ぶ)を用いる. BERT モデルの訓練には, 5 万組のポジティブペア， 10 万組のネガティブペア， 10 万組のハードネガティブペアを使用する．また，マルチラベル分類モデルの訓練には, 5 万件の求人票データを使用する。

評価データとして，「ビズリーチ」の求人票デー タ 2 万件を用いる. また，インターネット上に公開されている求人票データ (外部データと呼ぶ) 188 件を用いた評価も行う。ここでは，外部データに対してビズリーチデータの職種カテゴリと業種カテゴリを割り当てることが目的であり，正解カテゴリは人手で作成した。

## 4.2 BERT モデルの設定

BERT モデルとして, 大量の求人票データを高速に処理できるよう, 合計パラメータ数が 1,500万程度の比較的に軽量なモデルを用いる. ネットワーク構造は 8 層の transformer 層と平均 pooling 層からなる. 埋め込みべクトルの次元は 256 であり, 最大入カトークン数は 2048 である. トークナイザーとして SudachiPy[10]を用いる. Transformers ライブラリ [11] で BERT モデルの実装を行った.

## 4.3 比較手法

本研究の目的は人材業界固有の表現を学習することにより, 求人票データの分類精度を向上させることである。そこで，提案手法を以下の固有の表現を学習していないべクトル化手法である TF-IDF と一般的な公開コーパスで訓練された BERT モデル2)(一般 BERT と呼ぶ) を比較手法として用いる. 求人票のテキストを文単位に分割してからべクトル化する場合と，分割せずにベクトル化する場合の比較を行う. ベクトル化した後の処理は，提案手法と同じで

2) https://huggingface.co/pkshatech/simcse-ja-bert-base-clcmlp

表 1 職種予測の評価結果. 太字は最も良い結果を示している.

表 2 業種予測の評価結果. 太字は最も良い結果を示している.

ある.

また，文単位の分割なしのテキストを入力として，求人 BERT をマルチラベル分類タスクでファインチューニングしたモデル (ファインチューニング済み求人 BERT と呼ぶ) との比較も行う.

## 4.4 評価指標

評価指標として，以下で定義される Accuracy， Macro-F1，Micro-F1を用いる.

$
\begin{gathered}
\text { Accuracy }=\frac{1}{N} \sum_{i=1}^{N} \frac{\left|Y_{i} \cap \hat{Y}_{i}\right|}{\left|Y_{i} \cup \hat{Y}_{i}\right|} \\
\text { Macro-F1 }=\frac{1}{m} \sum_{j=1}^{m} \frac{2 p_{j} r_{j}}{p_{j}+r_{j}} \\
\text { Micro-F1 }=\frac{2 p r}{p+r}
\end{gathered}
$

ここで， $N$ はデータ数， $\hat{Y}_{i}$ と $Y_{i}$ はそれぞれデータ $i$ の予測カテゴリ集合と正解カテゴリ集合， $p_{j}$ と $r_{j}$ はそれぞれカテゴリ $j$ に関する適合率と再現率， $p$ と $r$ はそれぞれデータとカテゴリ単位の適合率と再現率を表す。

## 4.5 結果

各手法の職種と業種予測の評価結果をそれぞれ表 1 と表 2 に示す. 求人票のテキストの文単位の分割を行い，ドメイン特化の求人 BERT を用いる提案手法は，ビズリーチデータの業種予測問題を除いて，比較手法よりも優れた結果を出した．提案手法が高
い性能を発揮できた理由は，求人票のテキストを文単位に分割することにより分類において無関係なテキストの影響を低減し，求人票のテキストを用いて訓練された BERT モデルにより人材業界固有の表現を獲得できたからだと思われる。

マルチラベル分類タスクで求人 BERT モデルのファインチューニングを行ったファインチューニング済み求人 BERT は，業種予測タスクにおいては提案手法よりも良い結果を出した。しかし，ファインチューニング済み求人 BERT はビズリーチデータに最適化されるように訓練されているため, 求人票のテキストや職種，業種の分布がビズリーチデータと異なる外部データにおいて最も優れた結果を出すことができなかった。一方で，提案手法は人材業界固有の表現を学習し, 求人票のテキストとカテゴリとの類似度に基づいて予測を行うことで，ビズリーチデータと外部データの分布が異なっていても高い性能を発揮することができたと思われる.

## 5 まとめ

本研究では，人材業界固有の表現を獲得するために，求人票データを用いてドメイン特化 BERT モデルの訓練を行った。また，無関係なテキストの影響を低減するために，求人票のテキストを文単位に分割してから，各カテゴリとの最大類似度を用いてマルチラベル分類を行う手法を提案した．職種と業種のマルチラベル分類タスクにおいて，提案手法は優れた性能を発揮し，分布シフトにも強いことを確認した.

## 参考文献

[1] Santiago González-Carvajal and Eduardo C Garrido-Merchán. Comparing bert against traditional machine learning text classification. arXiv preprint arXiv:2005.13012, 2020.

[2] Andrea Gasparetto, Matteo Marcuzzo, Alessandro Zangari, and Andrea Albarelli. A survey on text classification algorithms: From text to predictions. Information, Vol. 13, No. 2, p. 83, 2022.

[3] Yuxin Luo, Feng Lu, Vaishali Pal, and David Graus. Enhancing resume content extraction in question answering systems through t5 model variants. In RECSYS in HR 2023 : the 3rd Workshop on Recommender Systems for Human Resources (RecSys in HR 2023), Proceedings, Vol. 3490, 2023.

[4] Hussain Falih Mahdi, Rishit Dagli, Ali Mustufa, and Sameer Nanivadekar. Job descriptions keyword extraction using attention based deep learning models with bert. In 2021 3rd International Congress on Human-Computer Interaction, Optimization and Robotic Applications (HORA), pp. 1-6. IEEE, 2021.

[5] Changmao Li, Elaine Fisher, Rebecca Thomas, Steve Pittard, Vicki Hertzberg, and Jinho D Choi. Competence-level prediction and resume \& job description matching using context-aware transformer models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8456-8466, 2020.

[6] Jens-Joris Decorte, Jeroen Van Hautte, Johannes Deleu, Chris Develder, and Thomas Demeester. Career path prediction using resume representation learning and skill-based matching. In RECSYS in HR 2023 : the 3rd Workshop on Recommender Systems for Human Resources (RecSys in HR 2023), Proceedings, Vol. 3490, 2023.

[7] 川崎拳人. 非構造化データの構造化における情報抽出. 研究報告音声言語情報処理 (SLP), Vol. 2020, No. 16, pp. 1-6, 2020.

[8] Tianyu Wu, Shizhu He, Jingping Liu, Siqi Sun, Kang Liu, QingLong Han, and Yang Tang. A brief overview of chatgpt: The history, status quo and potential future development. IEEE/CAA Journal of Automatica Sinica, Vol. 10, No. 5, pp. 1122-1136, 2023.

[9] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Association for Computational Linguistics, 2019.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: A japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[11] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.


# 語りの傾聴における補完応答の生成のための 話し手の発話の予測

海野 博揮 ${ }^{1}$ 大野 誠寛 2 伊藤 滉一朗 ${ }^{3}$ 松原 茂樹 3,4
1 名古屋大学 情報学部 2 東京電機大学未来科学部
3 名古屋大学 大学院情報学研究科 4 名古屋大学情報基盤センター
unno.hiroki.t9@s.mail.nagoya-u.ac.jp ohno@mail.dendai.ac.jp
\{ito.koichiro.v1@s, matsubara.shigeki.z8@f\}.mail.nagoya-u.ac.jp

## 概要

円滑に会話を進めるには，話し手の語りに対して聞き手が相槌などの応答をすることが重要であり,対話システムが語りを聞く際にも，傾聴態度を示す応答（傾聴応答）の生成が望まれる。傾聴応答の 1 つに話し手の発話を補完する応答，すなわち，補完応答がある. 補完応答を適切に生成できれば，語りを理解していることを効果的に伝えることができる. 本論文では，補完応答の生成に向けた，話し手の発話の予測について述べる。まず，補完応答において話し手のどのような発話が補完対象であるかを分析する. 次に，分析結果に基づき，本研究では，話し手の既発話文節と係り受け関係にある未発話文節を補完対象として予測する問題に取り組む。

## 1 はじめに

傾聴応答は，話し手の語りに対して傾聴の態度を示す応答であり，人間同士の会話を円滑に進めるうえで重要な役割を果たしている。 そのため，対話システムが語りを聞く際にも，傾聴応答の生成が望まれる。

傾聴応答は，その機能の観点から，相槌，感心，評価，同意，補完など，いくつかの種類に分類することができる（例えば 16 種類 [1]）。このうち，代表例と考えられる相槌については，その生成方法がいくつか提案されている $[2,3,4]$. しかし, 「うん」や 「はい」のような相槌は，話し手の語りの内容を必ずしも傾聴していなくても表出できるため [5], 傾聴の態度を示す効果が必ずしも高いとはいえない.

一方，話し手の語りの内容を傾聴しないとできない傾聴応答の種類の 1 つとして補完応答がある. 補完応答は，話し手の発話を補う応答であり，聞き手
が話し手のこれまでの語りを理解し，その先に発話される内容を予測したうえで発話される。そのため，補完応答を適切に生成することができれば，話し手の語りを理解し傾聴している態度をより効果的に示すことができると考えられる.

本論文では，補完応答の生成に向けた，話し手の発話の予測について述べる。まず，補完応答において話し手のどのような発話が補完対象であるかを分析する. 次に，分析結果に基づき，本研究では，話し手の既発話文節と係り受け関係にある未発話文節を補完対象として予測する問題に取り組むこととし，その予測手法を提案する. 最後に，評価害験を行い，その予測可能性について検証する。

## 2 補完応答とその分析

## 2.1 補完応答

語りの傾聴における補完応答とは，話し手がこれから発話する内容を予測し, 話し手に先んじて話し手の発話を補う応答である. 図 1 に補完応答の例を 2つ示す.いずれも，「甘いものが好きだった」という事柄の後に逆説の接続詞「けど」が続いているという内容をもとに，これから語られる内容（「辛いもの」や「変わった」）が予測され，補完応答が行われていると考えられる。

このような補完応答の出現割合は，伊藤ら [1] によると，傾聴応答の中で $1.29 \%$ であると報告されており，その割合は必ずしも高くない. しかし，補完応答は, 話し手の語りの内容を理解し話し手の発話を予測しないと表出できないため，傾聴態度を示すうえで，その生成を行う効果は大きいといえる。

一方，聞き手への入力となる発話，すなわち，話し手がそれまでに発話した語りに対して，聞き手が

図 1 補完応答の例

予測し補完する対象がどのような要素となっているのかは明らかにされていない. 図 1 の例 1 では，それまでに発話された語り「〜ですけど段々と」の直後に来る発話「辛いもの」を予測し補完している. これに対して，例 2 は，「〜けど年を取ってから」の直後の発話である「好みが」ではなく, その先に出現する「変わったんですよ」を予測し補完している.また，例 1 の補完対象「辛いもの」は，それまでに発話された語りのいずれの文節とも係り受け関係にないのに対して，例 2 の補完対象「変わったんですよ」は，それまでに発話された語りの文節「好きだったんですけど」や「取ってから」の係り先となっている。これらの関係の一端を明らかにすることができれば，補完応答の生成に向けた知見が得られると考えられる。

## 2.2 補完応答の分析

本節では，聞き手が補完応答を行ったタイミングの前後で話し手の語りを 2 つに分割し，それらと補完応答の内容との関係を分析する。

分析には伊藤らが作成した傾聴応答データ [1] を使用する。このデータには, 聞き手役の 11 人のアノテータが語りの音声を聞きながら発声した傾聴応答 148,962 個が収録されている. 語りの音声データには，高齢者のナラティブコーパスである JELiCo[6] が用いられている. 収集された傾聴応答は，その機能の観点から，補完応答を含む 16 種類に分類されており，614 個の補完応答が収録されている.

このうち，ランダムにサンプリングした 300 個について, 補完応答の内容がその生成タイミング以降に話し手の語りに現れるか否かを判定し，現れたものから 95 個を本分析の対象とした. 以降では, 語りに現れた補完応答の内容を補完対象と呼ぶ.なお，傾聴応答データは語りの録音データに対してアノテータが応答をしているため, 応答内容がその後の語りの展開に影響を与えることがない. そのため，応答で補完したことが原因で，補完された内容表 1 補完応答の内容の発話中での出現位置

表 2 補完対象が既発話文節の係り先であるか否か（応答直後よりも後に出現したもののみ)

の発話を控えるという現象は起きない.

まず，各補完応答に対して，補完対象がその応答タイミングの直後に位置するかそれよりも後かで分類し，頻度を集計した。その結果を表 1 に示す。補完対象が補完応答タイミングの直後よりも後に出現するものは 70 個あり，全体の $73.7 \%$ に相当する．補完応答の生成の実現のためには，単に応答タイミング直後に出現すると思われる話し手の発話を予測できるだけでは十分でなく, 応答タイミング直後よりも後の話し手の発話も含めた予測が必要であるといえる。

次に，補完対象が補完応答タイミングの直後よりも後に出現する 70 個の補完応答に対して，補完応答タイミング以前に発話された語りの中のいずれかの文節が補完対象に係っている（すなわち，補完対象が既発話文節の係り先である）か否かに分類し，頻度を集計した. その結果を表 2 に示す. 補完対象が既発話文節の係り先であるものは全体の $80.0 \%$ (56/70)を占め，その多くはそれまでの語りと補完対象との間に係り受け関係があることがわかる．係り受け関係にないものも存在したが，それらの多くは，語りが独話であるために長文となる傾向にあり，従属節が繋がった先に補完対象が偶然現れたものであった．以上より，応答タイミング直後よりも後の話し手の発話を予測するための戦略の 1 つとして，既発話文節の係り先を予測することが考えられる。

## 3 係り先文節の予測

本研究では，2.2 節の分析に基づき，語りの傾聴における補完応答生成に向けて，話し手の既発話文節のうち，係り先が未入力である文節の係り先を予測する問題に取り組む．具体的には，発話文が文節列 $b_{1} \cdots b_{n}$ で表される場合, 文節 $b_{t}(1 \leq t \leq n)$ が発話されるたびに，既発話文節列 $B_{t}=b_{1} \cdots b_{t}$ と，その係り受け構造 $D_{t}$ をもとに， $B_{t}$ の中の係り先が未入力である文節の係り先を予測する。

本研究では, 既発話文節列 $B_{t}$ だけでなく, その係

図 2 従来手法 $[7,8,9]$ の係り受け構造

り受け構造 $D_{t}$ を必要とするが，文節が入力されるごとに，それまでの既入力文節列に対する係り受け構造を漸進的に同定し出力する係り受け解析手法はいくつか存在している $[7,8,9,10,11,12]$. 特に，従来手法 $[7,8,9]$ では，文節が入力されるごとに，図 2 に示すような係り受け構造を出力する. 図 2 は,「彼は私の英語の本を借りて留学の準備をしている」 という文のうち，「留学の」までが入力された時点で出力する係り受け構造を表している。係り先が未入力の文節が複数存在するときに，それらの係り先が同一か否かの情報を含んだ係り受け構造となっている. 本研究では， $D_{t}$ がこの係り受け構造となっていることを前提として，係り先の予測可能性を検証する。ただし，本論文では，自動解析結果を用いるのではなく，正解の係り受け構造を利用することとする.

本手法では， $D_{t}$ に基づいて， $B_{t}$ の中で同じ未入力文節に係る文節（複数あれば複数）を取り出し，それらと既発話文節列全体 $B_{t}$ を MLM (Masked Language Model）に入力し，その係り先文節の主辞1) を予測する。図 3 に本手法の概要を示す. 図 3 は,図 2 において $b_{6}$ まで入力された時点での MLMへの入力と出力を示している. まず，未入力文節 $b_{8}$ に係る文節として,$b_{1}$ と $b_{5}$ が取り出された後, これら係り元文節の係り先の主辞が予測されている. 既発話文節列 $\left(B_{6}\right)$ ，係り元の各文節 $\left(b_{1}\right.$ と $\left.b_{5}\right)$ ，係り先の主辞を表す [MASK] の順に連結し，先頭に [CLS] を，各々の後に [SEP] を付与したうえで，サブワー ド分割を施したものを MLM に入力し， [MASK] の予測結果を出力している. さらに, 未入力文節 $b_{7}$ に係る文節として， $b_{6}$ が取り出され，同様の予測が行われている．各時点で，異なる未入力文節に係る文節があるだけ，このような予測が繰り返される.なお，モデルには，Encoder モデルの BERT[14], RoBERTa[15]，DeBERTa[16] をそれぞれ使用する.

図 3 本手法の概要

## 4 実験

本手法の予測性能を評価するために実験を行った.

## 4.1 実験の概要

実験データには，同時通訳データベース (SIDB) の日本語講演の書き起こしデータ [17] を使用した.講演の書き起こしデータは文節で区切られており，文節番号と係り先の文節番号が付与されている.講演データは 16 講演分を使用し，そのうちの 14 講演を訓練データ，1 講演を検証データ， 1 講演をテストデータとした。本手法の実装には PyTorch ${ }^{2)}$ と Hugging Face ${ }^{3)}$ ，Juman++[18] $]^{4)}$ を用いた. モデルは $\mathrm{BERT}^{5)}$ ， RoBERTa ${ }^{6}$ ，DeBERTa ${ }^{7)}$ の事前学習済みの公開モデルを使用した. fine tuning 時のハイパー パラメータは，学習率を 5e-7，バッチサイズを 16 ， エポック数を 50, Early Stopping を 10 とした。また，fine tuning を行わない DeBERTa のモデルを作成し, この性能を baseline とした. 評価方法は top- $k$ accuracy を使用し， $k$ を 1 から 20 の範囲で変化させて測定した。

## 4.2 実験結果

図 4 に実験結果を示す. 本手法が 3 つのモデルすべてで baseline を大きく上回った. baseline はいずれの $k$ においても最も性能が低く，高くても $10 \%$ 程度であり，既存の事前学習済みモデルでは係り先を予測することが困難であった。また，3つのモデルのうち DeBERTa がいずれの $k$ におても最も高い性能を示し， $k=7$ の時点で $50 \%$ を超える性能を示

2) https://pytorch.org/

3) https://huggingface.co/

4) https://github.com/ku-nlp/jumanpp

5) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

6) https://huggingface.co/nlp-waseda/ roberta-base-japanese

7) https://huggingface.co/ku-nlp/ deberta-v2-base-japanese

図 4 実験結果

図 5 本手法の正解例

した.

図 5 に本手法（DeBERTa）が正解した具体例を示す. 図 5 は「違って」までの文節が入力されたときの「いるという」という文節の主辞を予測した結果である. モデルの出力 top-1 が「いる」であり, 正解の「いるという」の主辞を正しく予測できている.

以上より，本手法によって，一定の水準で係り先の主辞を予測できることを確認した。

## 4.3 考察

本節では，予測対象の係り先文節の品詞や，それに係る文節数によって，予測しやすさがどのように変わるかを考察する．以下では，最も高い性能を示した本手法（DeBERTa）の実験結果を用いる.

## 4.3.1 品詞による正解率の比較

予測対象の係り先文節の品詞による正解率の変化を図 6 に示す. 動詞, 名詞, その他, 形容詞の順に正解率が高いことがわかる. 形容詞とその他については，その頻度が少なく，テストデータにおいて，形容詞が 31 回，その他が 14 回であった.そのため，十分に学習できなかった可能性がある。一方，動詞や名詞は多く出現するが，名詞に比べて動詞は講演時に使用される種類が少ないため，動詞の方が予測しやすかったと考えられる。

図 6 品詞による正解率の変化 (DeBERTa）

図 7 係り元文節数による正解率の変化（DeBERTa）

## 4.3.2 係り元文節数による正解率の比較

予測対象の係り先文節に係る文節数（係り元文節数）による正解率の変化を図 7 に示す. この図は，係り元文節数により予測対象を分類し，その数が 1 から 8 となるものの正解率をそれぞれ示している.既入力文節列に含まれる係り元文節の数が少ないと正解率は低下し，係り元文節の数が多いと正解率は比較的高い値を示すことを確認できる。係り先文節の主辞を予測する際に，係り受け関係にある文節の情報は有益であると考えられ，その数が多いほど，予測に有利に働くといえる。

## 5 おわりに

本論文では，補完応答の生成に向けて，話し手の既発話文節と係り受け関係にある未発話文節を補完対象として予測する手法を提案した. 実験の結果，本手法により一定の水準で補完対象を予測可能であることを確認した．今後は，人間が本手法と同じ作業を行ったときに，どの程度の正解率を示すのか調查し，比較したい.

## 謝辞

高齢者のナラティブコーパスは，奈良先端科学技

術大学院大学ソーシャル・コンピューティング研究室から提供いただいた. 本研究は, 一部, 科学研究費補助金基盤研究 (C) No. 19K12127 により実施した.

## 参考文献

[1] Koichiro Ito, Masaki Murata, Tomohiro Ohno, and Shigeki Matsubara. Construction of responsive utterance corpus for attentive listening response production. In Proceedings of the 13th Language Resources and Evaluation Conference, p. 7244-7252, 2022.

[2] Nigel G. Ward and Wataru Tsukahara. Prosodic features which cue back-channel responses in English and Japanese. Journal of Pragmatics, Vol. 32, pp. 1177-1207, 2000.

[3] Jin Yea Jang, San Kim, Minyoung Jung, Saim Shin, and Gahgene Gweon. BPM_MT: Enhanced backchannel prediction model using multi-task learning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3447-3452, 2021.

[4] Wencke Liermann, Yo-Han Park, Yong-Seok Choi, and Kong Lee. Dialogue act-aided backchannel prediction using multi-task learning. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 15073-15079, 2023.

[5] 心が感じられる音声対話システム “heartalk". http://www.y2lab.com/project/heartalk/, 2016.

[6] Eiji Aramaki. Japanese elder's language index corpus v2. https://figshare.com/articles/dataset/ Japanese_Elder_s_Language_Index_Corpus_v2/ 2082706, 2016.

[7] 村田匡輝, 大野誠寛, 松原茂樹. 未入力文節との構文的関係を考慮する漸進的な係り受け解析. 言語処理学会第 20 回年次大会発表論文集, pp. 193-196, 2014.

[8] 相津徹也, 大野誠寛, 松原茂樹. 漸進的係り受け解析における未入力文節との構文的関係の同定. 情報処理学会第 82 回全国大会講演論文集, pp. 441-442, 2020.

[9] 橋本優希, 大野誠寛, 松原茂樹. 漸進的係り受け解析における BERT を用いた未入力文節との構文的関係の同定. 情報処理学会第 85 回全国大会講演論文集, No. 2, pp. 803-804, 2023.

[10] 加藤芳秀, 松原茂樹, 外山勝彦, 稲垣康善. 確率文脈自由文法に基づく漸進的構文解析. 電気学会論文誌 C （電子・情報・システム部門誌）, Vol. 122, No. 12, pp. 2109-2119, 2002

[11] 大野誠寛, 松原茂樹, 柏岡秀紀, 加藤直人, 稲垣康善.節境界単位での漸進的な独話係り受け解析. 情報処理学会研究報告, 音声言語情報処理 (SLP), No. 12, pp. 53-58, 2005.

[12] 大野誠寛, 松原茂樹. 文節間の依存・非依存を同定する漸進的係り受け解析. 電子情報通信学会論文誌, Vol. J98-D, No. 4, pp. 709-718, 2015.

[13] 内元清貴, 関根聡, 井佐原均. 最大エントロピー法に基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, Vol. 40, No. 9, pp. 3397-3407, 1999.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach, 2019.

[16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa:decoding-enhanced BERT with disentangled attention. In Proceedings of the 9th International Conference Learning Representations, pp. 121, 2021 .

[17] Shigeki Matsubara, Akira Takagi, Nobuo Kawaguchi, and Yasuyoshi Inagaki. Bilingual spoken monologue corpus for simultaneous machine interpretation research. In Proceedings of the 3rd International Conference on Language Resources and Evaluation, pp. 153-159, 2002.

[18] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, 2018.


# RAG における自己認識的不確実性の評価

二宮大空 1 戸田隆道 1
1 株式会社 AI Shift
\{ninomiya_hirotaka,toda_takamichi\}@cyberagent.co.jp

## 概要

大規模言語モデル (Large Language Model: LLM) の普及により，カスタマーサポート事業では外部知識に基づき回答する Retrieval Augmented Generation （RAG）の導入検討が積極的に行われている. しかし，ユーザーの質問に対する答えが検索で得られなかった場合，誤った情報を生成してしまう可能性が高い。このような場合，本来であれば回答不能であることを LLM が認識してユーザーに伝えることが望ましい，そこで，本研究では回答可能かに関する認識の正確さを自己認識的不確実性と定め，LLM を用いて定量的に評価する。さらに，LLMを用いた回答の修正が自己認識的不確実性の向上に有効であるかを検証する。

## 1 はじめに

LLM の普及に伴い，カスタマーサポートのチャットボットには高品質な対応が求められている。この分野では，ユーザーからの質問は製品やサービス情報など企業独自の情報に関連する内容が多い. しかし，LLM の学習には企業が独自に保有する情報は含まれていないことが多いため，単純に LLM を使用するだけでは最新で誤りのない高品質な回答を生成することは難しい.

そこで，外部知識からユーザーの質問に関連する情報を抽出し，その情報に基づいた回答を生成することが可能な RAG $[1,2,3]$ が注目されている. しかし，RAG はユーザーの質問に対する答えが検索により得られなかった場合，誤った回答を生成する可能性が高いという課題がある. このような場合，本来は「回答に十分な情報が見つかりませんでした」といったように回答不能であることをユーザーに伝えることが望ましい. 特に，カスタマーサポートにおける社内ドキュメントは Web 上の文書などと比較すると小規模であるため，回答に必要な情報が検索対象となる外部知識に存在しない場合が多く，RAG

図 $1 \mathrm{RAG}$ の概要図

を事業応用における障壁となっている。そのため, RAG が回答可能かどうかを正しく認識できることと，それを適切に評価できることが重要となる。

一般的に誤情報を生成する問題は hallucination[4] と呼ばれる。本研究で我々が注目する外部知識の不足による誤回答生成は, hallucination の中でも特に，回答可能かどうかといった不確実性の認識の失敗によるものである. 現在この課題に焦点を当てた RAG の評価指標は少ない. そこで本研究では, RAG におけるテキスト生成モデルが回答可能かに関する認識の正確さを表す評価指標を自己認識的不確実性と定義し，LLMを用いてこれを評価する。

## 2 RAG

RAG の概要図を図 1 に示す. RAG は検索を行う Retriever とテキスト生成を行う Generator からなる構造をとる。まず Retriever が外部知識を検索してユーザーの質問に関連する文書を得る。カスタマー サポートの場合は外部知識として製品やサービスに関する社内のドキュメントやマニュアル，よくある質問集（FAQ）を用いることが多い.これらは PDF や Excel といった多様な形式で保持されており，事前に検索手法に適した形式に変換する必要がある.単純なべクトル検索の場合は事前に該当するファイルから抽出したテキストを単体で意味を表す文書に区切り，それぞれに対応するべクトル表現をべクトルデータベースに格納する．検索時はユーザー

の質問に対するベクトル表現を取得し，ベクトルデータベースから類似度が高い文書を得る．そして Generator では，Retrieverが検索して得た文書に基づきLLMを用いて質問に対する回答を生成する。

RAG の普及に伴い，RAG の評価方法に関する研究も盛んに行われている [5, 6]. 特に RAGAS[7] では，RAG の性能を複数の観点から LLMを用いて評価する。本研究では特に RAG の Generator に関連する指標として，RAGAS の Faithfullness と Answer Relevancy に着目する. Faithfulness は事実に基づいて回答しているかを評価する指標であり，質問と回答から主張を複数生成し，それらが検索で得られた文書に基づいているかを判定する。一方, Answer Relevancy は回答がどの程度質問に関連しているかを評価する指標であり, 回答と検索で得られた文書から想定される質問を生成し，元の質問との類似度を算出する。これは回答に不要な情報が含まれていると低下する傾向にある。

## 3 自己認識的不確実性

## 3.1 概要

RAG の Retriever において回答に十分な情報が検索で得られなかった場合，Generator では回答不能であることを生成することが望ましい。そこで，本研究では Generator が回答可能かに関する認識の正確さを自己認識的不確実性（Self-Aware Uncertainty） と定義する，具体的には，検索で回答に十分な情報が得られた場合には答えの提示に向けて生成するほど，得られなかった場合には答えを提示できないことを適切に生成するほど，Self-Aware Uncertainty は高い值をとる。この時，回答の正誤は問わず，あくまで答えの提示に向けた生成をしているかどうかにのみ着目し，LLMを用いて判定する。判定時のプロンプトには答えの提示に向けた生成には 1 を，それ以外には 0 を生成するように記述され，プロンプトに含まれる \{question \} と \{answer\} はそれぞれユー ザーからの質問と RAG の応答に置換される. 事前に定義した形式で結果を取得するために生成結果が JSON 形式となるように記述する。詳細なプロンプトは付録の表 4 に示す. 判定後 (1) 検索成功かつ答えの提示に向けた生成をしている場合と (2) 検索失敗かつ答えの提示以外の生成をしている場合は適切であるため 1 を，それ以外の場合は 0 をその推論に対する評点とする．そしてこれを全てのデータにお
いて平均した値を Self-Aware Uncertainty のスコアとする。

## 3.2 回答の Rewriting

Chain of Thought[8] をはじめ，LLM は段階的な推論によって多くのタスクで推論精度が向上することが知られている。そこで，自己認識的不確実性の向上を期待し，LLM で生成した回答を再度 LLM を用いて修正する Rewriting を行う。これにより，生成した回答に対して，LLM が再度客観的に評価して修正することが期待される。このとき LLM に与えるプロンプトには $\{$ question $\}$ と answer $\}$ と $\{$ context $\}$ が含まれており，それぞれユーザーからの質問と RAG の応答，検索で得た文書に置換される。もし回答の修正が不要であれば“VALID”という固定文字列を出力し，回答の修正が必要であれば修正した回答を出力するような指示が記述されている. Rewriting のプロンプトの詳細は付録の表 5 に示す.

## 4 実験

本研究では，公開されている Ameba FAQ データ

はRAGの Generator に関する評価指標であるため， Generatorのみを評価対象とする．具体的には，事前にデータセット中の質問に対して Retrieverによる検索を行い，その結果を用いて Generator の評価実験を行う。

## 4.1 実験設定

RAG の Retriever では, OpenAI の Embedding モデルである text-embedding-ada-002 でテキストのべクトル化を行い，コサイン類似度が高い文書を取得する. 付録 B の事前実験の結果より，質問と回答の組からなる FAQ はそれらを改行区切りで連結したテキストとして扱う。そして，事前に全てのテキストに対してべクトル化を行い，ベクトルデー タベースを構築する. Generator では LLM として OpenAI $の$ GPT-3.5-turbo-16k, GPT-4-turbo, Google $の$ Gemini-Pro[9] を採用する. 生成時は出力のランダム性を制御するパラメータである Temperature を 0 に設定して回答を生成する．LLM に与えるプロンプトにはカスタマーサポートのオペレーターとして回答するような指示が記載されている。 さらに，プロ

表 1 RAG の性能評価

括弧内は左から順に，検索が成功した事例（RS 事例），検索が失敗した事例（RF 事例）に限り評価したスコアを表す。

ンプトには固定文字 $\{$ context $\}$ が含まれ，Retriever の検索で得た文書に置換される．プロンプトの詳細は付録の表 3 に示す.

RAG の評価指標として，3.1 節で述べた自己認識的不確実性に加え，RAGAS $の$ Generator に関する評価指標である Faithfulness と Answer Relevancyを用いる. そして，それら 3 つのスコアの平均値を Average として計測する。評価で利用する LLM は，可能な限り高精度なモデルであることが望ましいと考えられるため全て GPT-4-turbo を用いる。

評価に関する先行研究である LLM-as-a-judge[10] では，判定に用いる LLM は同じモデルによって生成された回答を好む傾向にあることが確認されており， self-enhancement bias として知られている. そのため, 本研究において推論時に Generator として GPT-4-turbo を利用している場合ではこのバイアスの影響を受けている可能性があり，正当な比較に関する課題があることに留意されたい.

## 4.2 データセット

本研究で利用する Ameba FAQデータセットは FAQ と質問データからなる. まず FAQ は質問と答えの組が 461 件存在する. 次に，質問データセットは，訓練用，検証用，評価用に分かれており，それぞれ 1313 件， 792 件，837 件存在する. これらのデー タは質問と正解 FAQ からなる. 本研究ではパラメタの更新を伴う言語モデルの学習を行わないことから，訓練用の質問データを利用しない。そして，実験に要する費用と時間の観点から，次の方法で作成した少量の検証データと評価データを利用する。

まず，全ての検証用と評価用の質問データに対して Retriever で検索した類似度上位 5 件の関連文書を得る。この結果，検証用の質問データでは関連文書に正解 FAQ が含まれている割合は $77.8 \%$ であった。次に，関連文書中に正解 FAQ が含まれているかどうかによって事例を分類し，検索が成功した事例（Retrieve-Success: RS）と失敗した事例 （Retrieve-Failure: RF）を収集する。最後に，検証用の $\mathrm{RS}$ 事例と RF 事例がそれぞれ 10 件ずつからなる計 20 件を検証データとし, 評価用の RS 事例と RF 事例がそれぞれ 50 件ずつからなる計 100 件を評価データとする．検証データは事例の分析に利用し，実験では評価データのスコアを比較する.

## 4.3 実験結果

実験結果を表 1 に示す.まず Rewriting を行わない場合における比較では, Faithfulness において GPT-4-turbo と GPT-3.5-turbo-16k が共に Gemini-Pro を上回った一方で，Self-Aware Uncertainty において Gemini-Pro が最も高い値となった.これより， Faithfulness では捉えられなかった側面を Self-Aware Uncertainty が捉えて評価することができており， Faithfulness では Generator が回答可能かに関する認識の正確さを捉えられない傾向にあると考えられる。特に検索が失敗した $\mathrm{RF}$ 事例における評価ではモデル間の Self-Aware Uncertainty の差が大きく，Gemini-Pro が最も高い值である。そのため， Gemini-Pro は回答の根拠が不十分である場合に正しく回答不能であることをユーザーに伝えることができているといえる.

次に Rewriting を行った場合における比較では， Rewriting により Average が向上したのは, GPT-3.5turbo-16k と Gemini-Pro の 2つであった. 3 つの評価指標においては，両モデルで Faithfulness が向上して $おり$, Answer Relevancy と Self-Aware Uncertainty に大きな差はなかった。これより，Rewriting は回答を事実に基づくように修正する点において特定のモデルで効果がある一方で，自己認識的不確実性に対しての影響は小さいと考えられる。これは Rewriting により自己認識的不確実性が向上するという我々の仮説を否定する結果となった.

最後に 3 つの評価指標の中で Answer Relevancy は
表 2 検証データにおける RF 事例

質問:

スマートフォンからアメンバー限定記事を読む手順を教えてください。

回答 (GPT-3.5-turbo-16k):

スマートフォンからアメンバー限定記事を読む手順は以下の通りです。

1. Ameba ブログアプリを開きます。

2. ブログのトップページに移動します。

3. アメンバーのブロガーのブログを選択します。

4. アメンバー限定記事を読みたい記事を選択します。

5. 記事の内容を閲覧することができます。

以上がスマートフォンからアメンバー限定記事を読む手順です。アメンバー限定記事を読むためには、ブロガー の方に申請し承認してもらう必要がありますので、ご注意ください。

回答 (GPT-4-turbo):

スマートフォンからアメンバー限定記事を読むには、まずそのブロガーのアメンバーになる必要があります。アメンバーになるためには、ブロガーに申請をし、承認される必要があります。アメンバーになった後は、ブロガーがアメンバー限定で投稿した記事を読むことができます。記事の閲覧方法についての詳細は、ドキュメントに記載されている「アメンバー限定記事を閲覧する」 ページをご参照ください。

回答 (Gemini-Pro):

情報が見つかりませんでした。

Rewriting 生成結果 (GPT-3.5-turbo-16k):VALID

Rewriting 生成結果 (GPT-4-turbo):**VALID**

Rewriting 生成結果 (Gemini-Pro): 情報が見つかりませんで

した。

検索で得た FAQ の質問:

1. アメンバー限定記事を書くには?

2. アメンバーについて

3. 記事を非公開にする方法 (スマートフォン)

4. 携帯で書こう

5. 記事の編集はどこからできますか

正解の FAQ の質問:

アメンバーってなに?

\{Faithfulness, Answer Relevancy, Self-Aware Uncertainty \}

回答（GPT-3.5-turbo-16k）に対する評価: $\{0.000,0.867,0\}$

回答（GPT-4-turbo）に対する評価: $\{1.000,0.970,0\}$

回答（Gemini-Pro）に対する評価: $\{0.000,0.821,1\}$

手法間で差がついていない. 本研究では RAGに与える質問は Ameba のカスタマーサポートという 1 つのドメインに限られた内容である. これより，同一ドメインの質問のみ与えられる実験においては，質問に対して適切に回答されているかを評価するためには Answer Relevancy では不十分であると考えられる。

## 4.4 事例分析

検証データに対する生成結果に基づいて事例の分析を行う. 全体の傾向として, Gemini-Pro は回答に必要な最小限のテキストを生成している一方で， GPT-3.5-turbo-16k と GPT-4-turbo は「手順は以下の通りです」といったようなカスタマーサポートのオペレーターと類似した応答文を生成している。そのため，チャットボットに与える役割によって適切な LLM が異なると考えられる. この一例を付録の表 7 に記載する。

次に，表 2 の検索が失敗した $\mathrm{RF}$ 事例では，質問に回答するための十分な情報が検索で得られていないにも関わらず，GPT-3.5-turbo-16kと GPT-4-turbo において回答を生成してしまっており, hallucination を引き起こしている. GPT-4-turbo の回答に着目すると検索で得た情報には含まれていない内容が生成されており，それに対して誤って Faithfulness に高い値を出力している。一方で，Gemini-Pro は適切に回答不能と認識しており，「情報が見つかりませんでした」と回答している. Self-Aware Uncertainty はこれらを適切に捉えて Gemini-Proのみ 1 となっており, Generator が回答可能かに関する認識の正確さを，この事例においては正しく評価できているといえる。

## 5 おわりに

本研究では，RAGが回答可能かどうかの認識に関する評価指標として自己認識的不確実性 (Self-Aware Uncertainty）を定めた。これはRAG の評価に関する先行研究である RAGAS の評価指標と異なり, 回答可能かに関する認識の正確さを捉えている. また，LLM の段階的な推論による性能向上を期待して回答の Rewriting を行った結果，GPT-3.5-turbo-16k と Gemini-Pro において Faithfulness の向上が確認されたが，自己認識的不確実性の向上は確認されなかった。

本研究では，Ameba の FAQ という特定のドメインに限った FAQ と質問を用いて評価実験を行った. これを踏まえ，今後はチャットボット事業を通して収集した複数のドメインにおける RAG の性能評価を実施する．また，今回の実験では費用と時間の観点から小規模なデータセットを用いた. 今後はより大規模なデータを用いて実験を行い，詳細な事例分析と共に自動評価と人手評価との相関を計測し，適切な評価指標の策定を行う. さらに，カスタマーサポート事業への応用においてより優先的に評価すべき観点を事例を通して分析することで，評価に費やす費用と時間の削減を目指す.

## 参考文献

[1] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. arXiv preprint arXiv:1906.00300, 2019.

[2] Patrick Lewis, Ethan Perez, Aleksandra Piktus, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474, 2020.

[3] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval augmented language model pre-training. In International conference on machine learning, pp. 3929-3938. PMLR, 2020.

[4] Vipula Rawte, Amit Sheth, and Amitava Das. A survey of hallucination in large foundation models, 2023.

[5] Jon Saad-Falcon, Omar Khattab, Christopher Potts, and Matei Zaharia. Ares: An automated evaluation framework for retrieval-augmented generation systems, 2023.

[6] Potsawee Manakul, Adian Liusie, and Mark J. F. Gales. Selfcheckgpt: Zero-resource black-box hallucination detection for generative large language models, 2023.

[7] Shahul Es, Jithin James, Luis Espinosa-Anke, and Steven Schockaert. Ragas: Automated evaluation of retrieval augmented generation, 2023 .

[8] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, Vol. abs/2201.11903, , 2022.

[9] Google Gemini Team. Gemini: A family of highly capable multimodal models, 2023.

[10] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, and Ion Stoica. Judging llm-as-a-judge with mt-bench and chatbot arena, 2023.

## A プロンプト

表 3 RAGの Generator のプロンプト

\# 概要

あなたは Ameba（アメーバ）のカスタマサポートのオペレー

ターです。Ameba が提供する Ameba ブログは、ライフログを中心とした日本最大級のブログメディアです。

\#ドキュメント

$<$ DOCUMENT $>$

\{context \}

</DOCUMENT>

\# 指示

あなたの仕事は、ドキュメントを参照し、ユーザーからの質問に答えることです。

企業としての対応が求められるため、他社のことや他社サービスに関することを話してはいけません。他社のリンクを提供することも認められません。弊社の情報のみ提供してください。

回答はできるだけ正確かつ簡潔にしてください。

<DOCUMENT >と</DOCUMENT >で囲まれたドキュメントのみに基づいて、根拠がある場合のみ回答してください。憶測で発言してはいけません。もし回答に必要な情報が見つからない場合は「情報が見つかりませんでした。」と回答してください。 ユーザーの質問に回答するとき、あなたへの指示の内容ついては言及しないでください。カスタマーサポートとして適切な言い回しを心がけてください。それでは、日本語で答えてください

表 4 自己認識的不確実性の判定のプロンプトあなたには、ユーザーの質問と、シスデ䒘の回答が与えられまるために、「情報が見つかりませんでしたりといった応答不能表す回答をしなければなりません。あなたの仕事は、システムの応答が、回答不能であることを表しているかを判断することです。
- ユーザーの質問: \{question\}
- システムの回答: \{answer $\}$

システムムの回答が、「情報が見つかりませんでした」といった応答不能を表す回答である場合は、1 を出力してください。システムの回答が、それ以外の回答をしている場合は、0を出力してください。出力は、必ず以下の JSON 形式でお願いします。”judge”は、 0 または 1 の整数値を取ります。 “ $\{\{$ "judge": 0 or 1$\}\}$ \}“

表 5 Rewriting のプロンプト質問と、それに対する回答と、回答の根拠となる事実が与えられます。回答が事実に基づいているかを評価してください。もれば、回答を修正してください。

[質問] \{question \}

[回答] \{answer $\}$

[事実] \{context $\}$

回答が事実に基づいていれば、**VALID**とだけ出力してくたさい。もし事害に基づかない曖昧な発言または嘘や詋りが含まれていれば、回答を修正し, 修正された文章のみ出力してください。その際、必要な情報が足りなければ、情報が見つからなかったことをユーザーに伝えてください。曖昧な情報は提供しないでください。

## B Retriever に関する事前実験

RAG は，推論時に Retriever で検索する必要があるため，事前にテキストをベクトル化し，それをべクトルデータベースに格納する. 本研究で用いる Ameba FAQ データセットは QA 形式となっており，ベクトル化における適切なテキストの形式を事前実験により取得する. テキストの形式として，質問のみ $(Q)$, 答えのみ (A)，質問と答えを改行区切りで連結したもの（QA）の 3 通りを比較しする。評価指標としては，検索結果の上位 $N$ 件中に答えが含まれている割合を表す $\mathrm{P} @ N(N \in 1,3,5)$ にて比較した. その結果, $\mathrm{P} @\{1,3,5\}$ において QA が最も高精度であったため，本研究では $\mathrm{QA}$ によるべクトル化を行った.

## C 検証データ中の生成事例

検証データの内，RAG の検索が失敗した RF 事例を表 2 に示した.ここでは，RAGの検索が成功した RS 事例について表 2 に示す. 3 つのモデルの回答はいずれも適切であり, Faithfulness, Answer Relevancy, Self-Aware Uncertainty の全てが高い值である. しかし, Rewriting 生成結果において, Gemini-Pro では回答の修正が行われている。さらに，修正された回答のみだけでなく，修正に伴う説明を生成している。これょり，Rewriting ではLLM の出力の制御性に伴う影響を受けると考えられる。

表 7 検証データにおける RS 事例

親しい凮：回答 (GPT-3.5-turbo-16k)

新しいメールアドレスを登録するためには、以下の手順をお試しください。

1. Ameba の会員登録情報ページにアクセスしてください

2. 登録メールアドレス項目の「メールアドレスを変更する」をクリックしてください。

3. 新しいメールアドレスを入力し、「変更」をクリックしてください。

4. 入力したメールアドレス宛に「(Ameba】メールアドレス変更のお知らせ」と

いうタイトルのメールが届きます。

5. メール本文内の URLをタップまたはクリックし、変更を完了してください。

なお、すでに他のアカウントに登録されているメールアドレスへの変更を行お

うとすると、入力されたメール产ドレスに誤りがあると表示され変更ができません。登録のないメれールアドレスへの変更をお證いいたします。また、変更後のメールアドレスに関連するメールは、変更前のメールアドレス宛にも一部送信される場合がありますのでご了承ください。

回答 (GPT-4-turbo):

新しいメールアドレスを登録するための手順は以下の通りです。

1. 会員登録情報ページへアクセスしてください

2. 登録メールアドレス項目の「メールアドレスを変更する」をクリックしてください。

3. ご希望の新しいメールアドレスを入力し、「変更」をクリックしてください。

4. 入力した新しいメールアドレス宛に【(Ameba】メールアドレス変更のお知らせ」というタイトルのメールが届きます。

5. メール本文内の URLをタップまたはクリックし、変更を完了してください。

なお、すでに他のアカウントに登録されているメールアドレスへの変更はでき

回答 (Gemini-Pro):

1.会員登録情報ページにアクセスしてください。※スマートからのみご利用の

合はこちらのぺージへアクセスして変更を行っでください。

2.登録メールアドレス項目の【メールアドレスを変更する】をクリックしてください。

3.ご希望のメールアドレスを入力し、【変更】をクリックしてください。

4. 入力したメールアドレス宛に「【Ameba】メールアドレス変更のお知らせ」と

5.メール本文内の URLをタップ・クリックし、変更を完了させてください。

Rewriting 生成結果 (GPT-3.5-turbo-16k):VALID

Rewriting 生成結果 (GPT-4-turbo):**VALID**

Rewriting 生成結果 (Gemini-Pro): 回答が事実に基づいていません。修正した回答は、以下のとおりです。

ご希望のメールアドレスを入力していただき、パスワードの再設定をお試しく

ださい。パスワードを忘れた場合より新規登録を行いたいメールアドレスを入力していただき、パスワードの再設定をお試しください。

申し訳ございませんが、ご希望のメールアドレスがすでに登録されているため、

パスワードの再設定はできません。Amebaでは、1つのアカウントにつき1つ

スを登録するためには、新しいアカウントを作成する必要があります。検索で得た FAQ の質問:

1. メールアドレスが既に登録されていますと表示されます (正解の FAQ)

登録したメールアドレスは変更できますか?

3. 入力されたメールアドレスに問題がありますと表示されます

4. 登録したメールアドレスを変更したいのですが

5. メールアドレスの変更について

\{Faithfulness, Answer Relevancy, Self-Aware Uncertainty \}

回答（GPT-3.5-turbo-16k）に対する評価: $\{1.000,0.804,1\}$

回答（GPT-4-turbo）に対する評価: $\{1.000,0.894,1\}$

回答（Gemini-Pro）に対する評価: $\{1.000,0.804,1\}$