# LLM の生成・翻訳による指示・応答データセット構築

加藤佑一 中田康太
（株）東芝 研究開発センター
yuichi12.kato@toshiba.co.jp
kouta.nakata@toshiba.co.jp

## Abstract

高品質な日本語の指示・応答データセットを Large Language Model（LLM）よる低コストな構築を目指し、英語での対話に最適化された Llama-2-70B-chat で英語の指示・応答データセットを生成し、それを Llama-2-70B で日本語訳した。本データセットと既存データセットのそれぞれで Swallow-7b をファインチューニングし、日本語 Vicuna QA ベンチマークで GPT-4 により比較評価した。その結果、前者のモデルが約 $75 \%$ の勝率を達成した。さらに、OpenAI の text-davinci-003 との比較でも $60 \%$ 以上の勝率に達した。以上から、LLMによる生成・翻訳による指示・応答データセット生成の有効性が示された。

## 1 はじめに

Large Language Model（LLM）は、 $O(1-1000$ B) のパラメータを持つ大規模なモデルを自己回帰による自己教師あり学習によって、 $O(100-1000$ B $)$ トー クン数におよぶ大量のテキストデータで学習することで、既存の 1 モデル 1 タスクを学習する方式とは異なり、事例をいくつか例示するだけでも多様な後続タスクに汎化できるため、自然言語処理に対してパラダイムシフトを起こした。大量のデータは、主に Webクロールや本などから集められているため、 それらで学習したのみの LLM は、指示に対してしばしば人間の意図とは異なる回答をする。そのために、QA タスクなどを集めた指示・応答データセットにより、事前学習したLLMをファインチューニングすることで、人間の意図に沿って回答するようにLLMをアライメントさせる必要がある。しかし、大規模な指示・応答データセットの構築を人手で行うには、金銭・時間的コストが大きい。本研究では、主に英語のテキストデータで訓練された LLM である Llama 2 [1] を用いて、英語の指示・応答デー タを生成し、それを日本語訳することで、日本語の指示・応答データセット構築が可能か検証した。

Figure 1 指示・応答データセット構築のフロー。

## 2 関連研究

これまでにLLM により指示・応答データを生成する研究は、主に英語で実施されてきた。 Self-instruct [2] では、人間が設定したシードとなるタスクから、GPT-3 [3] により指示・応答データセットを作成した。本データセットで訓練した GPT-3 は、指示に対して、人手で作成したデータセットで訓練した同モデルと人間の評価において同程度のパフォーマンスを示した。Alpaca [4] は、 OpenAI の text-davinci-003を用いて、Self-instruct と同様の方法で指示・応答データを低コストで作成し、そのデータで LLaMA-7b [5] を訓練すると、 text-davinci-003 と類似した回答が可能になると示した。LIMA [6] は、利用可能な指示・応答データの全てを用いるよりも厳選したデータのみで訓練した方がモデルのパフォーマンスが高かったことから、指示・応答データによるチューニングは、デー タ量よりも多様性と品質が重要であると示した。

Figure 2 生成データのスコア分布。

Figure 3 各指示・応答データセットに含まれる文章のトークン数の分布。

Self-alingment [7] は、シードデータから始めて、指示・応答データの生成と生成データによるモデルの訓練を繰り返すことで、モデルのパフォーマンスが向上することを明らかにした。生成の際には、デー タ品質をモデル自身に判定させ、高スコアなデータのみ用いることでデータ量にもパフォーマンスがスケールすると示した。

## 3 指示・応答データセット構築

本章では、LLMによる日本語の指示・応答データセット構築の方法および構築したデータセットの内容・性質について説明する。

## 3.1 方法

指示・応答データセット構築方法の全体フローを図 1 に示した。本手法では、ある言語でのシードデータ、指示・応答を生成するモデル（指示生成モデル)、生成データに対してスコアを付けるモデル (スコア生成モデル)、およびターゲット言語への翻訳用のモデル（翻訳生成モデル）を用意する。シー ドデータを指示生成モデルに入力し、指示生成モデルが得意とする言語で新たな指示・応答データ（マルチターンの会話）を生成し、生成されたデータの品質をスコア生成モデルをスコアリングし、高いスコアのデータを翻訳生成モデルで翻訳することで、 ターゲット言語での指示・応答データセットを構築する。シードデータとしては、OASST1 [8] から高品質な会話データを集めた Openassistant-guanaco [9] より英語データを 3500 個抽出して用いた。指示生成モデルとスコア生成モデルとしては、英語での対話用に最適化された Llama-2-70B-Chatを用いた。翻訳生成モデルには、Llama-2-70Bを用いた。 Self-alingment [7] と同様に、高品質のデータセットを構築するためにスコアリングを実施した。具体的には、スコア生成モデルには生成データの質を 5 段階で判定させて、スコアが $>4.5$ であったデータの
みを抽出した。図 2 に生成したデータのスコア分布を示した。生成データの 8 割以上のスコアが > 4.5 であったことから、スコアを自身で与えているものの Llama-2-70B-chat は指示生成モデルとして優れていると示唆される。生成データの中には、繰り返しが生じて文章として体をなしていないものや、最初の質問文が重複しているもの、文字数が極端に短いものが含まれていたため、それらは前処理により取り除いた。翻訳生成でも繰り返しの文章が生成されることがしばしばあっため、そのような文章もデー タセットから取り除いた。前処理も含めて、「英語指示データ」、「高品質英語指示データ」、「日本語指示データ」の各段階で、データセット数はそれぞれ $57000 \rightarrow 26000 \rightarrow 18000$ となった。「高品質英語指示データ」の段階でデータ数が半分以下になっているのは、重複した質問が多くあったためである。

## 3.2 生成されたデータセット

生成されたデータの一部を付録 $\mathrm{A}$ の表 4 に示した。Llama-2-70B-chat で生成した英語データは、人間と AI アシスタントの会話を模擬できた。 Llama-2-70Bによる翻訳も、日本語として完璧ではないがそれなり品質で翻訳できた。構築したデータセットの特性を見るため、本データセットと既存

Table $2 \frac{\text { 推論時のサンプリングパラメータ }}{\text { Temperature } 0.7}$

Table 3 日本語 Vicuna QA ベンチマークの各モデルの出力例。

質問: 医療サービスの質と効率を向上させるために、人工知能を活用できるシナリオを記述してください。

llama-2-gen (Ours):

もちろんです。人工知能を活用できるシナリオの 1 つは、電子カルテシステムへの自然言語処理技術の統合です。 これにより、医師や他の医療従事者は、患者の症状や病歴などの情報を簡単に入力できます。この情報は、機械学習アルゴリズムによって分析され、病囟の診断や治療計画の開発に役立つ可能性があります。

もう 1 つのシナリオは、チャットボットまたはバーチャルアシスタントの使用です。これらのエージェントは、患者からの質問に回答したり、健康関連のトピックに関するガイダンスを提供したりすることができます。これにより、患者は必要なときにいつでもサポートを受けることができます。

別のシナリオは、画像認識技術の使用です。これにより、放射線科医やその他の専門家は、コンピュータービジョンアルゴリズムを使用して、胸部レントゲン写真や超音波スキャンなどの検査結果を分析できます。これにより、彼らは正確で迅速な診断を行うことができます。

最後に、音声認識技術の使用も考えられます。これにより、看護師やその他の医療従事者は、ベッドサイドで患者と会話することができます。これにより、彼らは患者の感情的および精神的状態を理解し、それに応じて対応することができます。

全体的に見れば、人工知能の応用は、医療サービスの質と効率を大幅に向上させる可能性があります。しかし、注意すべき重要な考慮事項がいくつかあります。例えば、プライバシーとデータセキュリティの懸念があります。 さらに、一部の分野では、人間の介入が依然として不可欠である可能性があります。

alpaca-ja:

人工知能は、患者の健康記録やその他のデータから洞察を得て、医師がより迅速かつ正確な診断を行えるようにすることで、医療サービスの質と効率を向上させることができます。また、機械学習アルゴリズムを使用して、個々の患者に合わせた治療計画を作成し、最適な結果を提供することもできます。

dolly-ja:

1. 電子カルテやその他の医療記録からデータを抽出し、機械学習アルゴリズムで分析します。これにより、特定の患者がどのようなケアを必要としているかを予測することができます。

2. 過去の治療結果をもとに、最適な治療計画を提案する。

3. 病院内外のさまざまな情報源から収集したデータを使用して、臨床的意思決定支援システムを開発する。

4. 自動化されたチャットボットを使って、一般的な健康上の質問に答える。

5. ウェアラブル技術を利用して、患者のバイタルサインを継続的に監視する。

dolly_hhrlhf-ja:

確かに、こここいくつかのアイデアがあります。1つ目は、機械学習アルゴリズムを使用して、特定の種類の病気である可能性が最も高い患者を予測し、医師がより正確な診断を下すのに役立つことです。2つ目は、自然言語処理技術を使用して、電子健康記録から重要な情報を抽出することです。3つ目は、コンピューター支援設計ツールを使用して、病院やその他の医療施設のレイアウ放善領域を見つける最適化することとです。4つ目は、ビッグデータ分析を使用し

の指示・応答データセットの分布を図 3 に示した。既存データセットとして、Alpaca [4]、Dolly [10]、 Dolly-hhrlhf [11] を日本語訳 $[12,13,14]$ したものを示した。Llama-2 のトークナイザーでトークン化してからトークン数を数えている。既存データセットの分布はどれも指数関数的であり、短い文章が多く含まれると分かる。一方で、構築したデータセットは、ガウス分布の形をしており、長文が多いと窥える。各データセットの合計トークン数は、 Alpaca、Dolly、Dolly-hhrlhf、および構築した日本語の指示・応答データセット（Llama-2-gen）のそれぞれで、 $10 \mathrm{M} 、 13 \mathrm{M} 、 6 \mathrm{M} 、 17 \mathrm{M}$ であり、データセットのサイズは、既存のものと同等以上となった。

## 4 構築データセット評価

構築した日本語の指示・応答データセットの評価のため、本データセットと既存のもの $[12,13,14]$ で、LLMをそれぞれファインチューニングし、出力を比較評価した。本章では、ファインチューニング方法、評価方法、および評価結果について説明す
る。LLM としては、Llama-2-7bを日本語で継続事前学習した Swallow-7b（SW-7b） [15]を用いた。

## 4.1 ファインチューニング方法

パラメータ数が大きな LLM の全パラメータをチューニングして保存するには、大きな GPUメモリと大きなストレージが必要となる。本実験では小さな GPU メモリと小さなストレージでも訓練の実行と保存が可能な LoRA [16] を用いた。LoRA は、全パラメータを更新するのではなく、既存の重み $\left(W_{0} \in \mathbb{R}^{d \times k}\right)$ は固定し、低ランクな 2 層の線形行列 $\left(A \in \mathbb{R}^{r \times k}, B \in \mathbb{R}^{d \times r}\right)$ を挟み、それらのパラメータ更新することでモデルを最適化する。学習後の重みは、 $W=W_{0}+B A$ で得られる。本実験では、線形層の全てに LoRA 層を挿入した。訓練時のハイパーパラメータを表 1 に示した。後続タスクの評価としてオープエンドな QAを用いるため、構築データセットからは 1 ターン目の会話を抽出し、Alpaca [4] の指示・応答形式で訓練した。他のデータセットでも同様の指示・応答形式で訓練を実施した。

Figure 4 日本語 Vicuna QA ベンチマークでの（左）SW-7b を構築した指示・応答データセットでファインチューニングしたモデル「SW-7b-1lama2-gen」と既存データセットでのモデルとの対による比較、および（右）text-davinci-003 と前記モデルらとの対による比較。それぞれ「SW-7b-llama2-gen」と text-davinci-003 の勝率を示している。

## 4.2 評価方法

各指示・応答データセットで訓練したモデルを比較評価するため、オープンエンドな QA タスクとして日本語 Vicuna QA ベンチマーク [17] を用いた。Vicuna QA ベンチマーク [18] は、フェルミ問題、ロールプレイの脚本、コーディング、数学問題など、多様な 80 個の質問に対するモデルの解答を、GPT-4 に有用性、関連性、正確性、詳細度合いに基づいて評価させることでモデルの性能を評価する。日本語 Vicuna QA ベンチマークは、それを日本語に訳したものである。構築したデータセットおよび既存の日本語データセットのそれぞれで SW-7B を訓練し、日本語 Vicuna QA ベンチマークに対する各出力について、GPT-4 を用いて比較評価させた。推論時に用いたサンプリングのパラメータを表 2 に示した。その結果を図 4 （左）に示した。本データセットでファインチューニングしたモデルの勝率が、他データセットに対して約 75\% に達した。本要因を調べるために、各モデルの出力を表 3 に示した。質問に対して、前者のモデルは、他のモデルと比べて、多面的な視点からの詳細な解答をしており、これにより高い評価を得たと推察される。さらに、text-davinci-003 との比較も実施した。本結果を図 4 （右）に示した。既存データセットでファインチューニングされたモデルに対して、 text-davinci-003 の勝率が 60 - 70\% となった。一方、構築した日本語の指示・応答データセットのモデルに対しての勝率は、たったの $24 \%$ であり、本データセットで訓練したモデルの出力の品質が良好であることが示された。

## 4.3 議論

本実験では、事前学習済みの同じモデルを異なる指示・応答データセットでファインチューニングし、それらの出力を GPT-4 で比較した。その結果、元は同じモデルでも、訓練した指示・応答データセットによって、出力の品質が大きく異なることが示された。指示・応答データセットの量は、事前学習のデータを比べて非常に少ないため、本データによりモデルの知識などが大きく増加するとは考えられにくい。そのため、指示・応答データセットによるファインチューニングは、事前学習で得た知識をどう引き出すかを決めており、事前学習済みの元のモデルのポテンシャルを発揮するために、その品質が非常に重要であると推察される。

## 5 制限

構築した日本語の指示・応答データセットおよびファインチューニングしたモデルは LLAMA 2 Community License [19] に準拠する。

## 6 おわりに

LLM による生成・翻訳によって日本語の指示・応答データセットの構築に取り組んだ。本データセットでファインチューニングされた SW-7B は、 オープンエンドな QA タスクにおいて、他指示・応答データセットで訓練されたモデルや OpenAI の text-davinci-003を比べて、より高品質な解答が可能であった。以上から、本手法による日本語の指示・応答データセットの構築の有効性が示された。

## References

[1] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[2] Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, and Hannaneh Hajishirzi. Self-instruct: Aligning language models with self-generated instructions. In Anna Rogers, Jordan BoydGraber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 13484-13508, Toronto, Canada, July 2023. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B. Hashimoto. Stanford alpaca: An instruction-following llama model. https://github. com/tatsu-lab/stanford_alpaca, 2023.

[5] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models, 2023

[6] Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao
Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, LILI YU, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, and Omer Levy. LIMA: Less is more for alignment. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[7] Anonymous. Self-alignment with instruction backtranslation. In Submitted to The Twelfth International Conference on Learning Representations, 2023. under review.

[8] Andreas Köpf, Yannic Kilcher, Dimitri von Rütte, Sotiris Anagnostidis, Zhi Rui Tam, Keith Stevens, Abdullah Barhoum, Duc Minh Nguyen, Oliver Stanley, Richárd Nagyfi, Shahul ES, Sameer Suri, David Alexandrovich Glushkov, Arnav Varma Dantuluri, Andrew Maguire, Christoph Schuhmann, Huu Nguyen, and Alexander Julian Mattick. Openassistant conversations - democratizing large language model alignment. In Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track, 2023.

[9] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. Qlora: Efficient finetuning of quantized llms. arXiv preprint arXiv:2305.14314, 2023.

[10] Mike Conover, Matt Hayes, Ankit Mathur, Jianwei Xie, Jun Wan, Sam Shah, Ali Ghodsi, Patrick Wendell, Matei Zaharia, and Reynold Xin. Free dolly: Introducing the world's first truly open instruction-tuned llm, 2023.

[11] MosaicML. Dolly-hhrlhf dataset. https://huggingface.co/datasets/mosaicml/dolly_hhrlhf, 2023.

[12] fujiki. japanese_alpaca_data. https://huggingface.co/datasets/fujiki/japanese_alpaca_data.

[13] kunishou. databricks-dolly-15k-ja. https://huggingface.co/datasets/kunishou/databricksdolly-15k-ja.

[14] fujiki. japanese_hh-rlhf-49k. https://huggingface.co/datasets/fujiki/japanese_hhrlhf-49k.

[15] TokyoTech-LLM. Swallow. https://tokyotechllm.github.io/swallow-llama, December 2023.

[16] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022.

[17] Hirokazu Kiyomaru. ja-vicuna-qa-benchmark. https://github.com/ku-nlp/ja-vicuna-qa-benchmark, 2023.

[18] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with $90 \% *$ chatgpt quality. https://lmsys.org/blog/2023-03-30-vicuna/, March 2023.

[19] Meta. Llama 2 community license agreement. https://ai.meta.com/llama/license/, July 2023.

## A 生成された指示・応答データの例

表 4 に指示生成 LLM（Llama-2-70B-chat）で生成されたデータ、および翻訳生成モデル（Llama-2-70B）で翻訳した例を示した。

Table 4 生成されたデータセットの例。翻訳前後を示した。

\#\#\# Human: Iḿ quite interested in artificial intelligence and want to learn more about how a transformer model works, could you explain it to me? \#\#\# Assistant: Sure! A transformer model is a type of neural network architecture that was introduced in the paper "Attention Is All You Need" by Google in 2017. Itś called a transformer because itś based on the idea of self-attention, which allows the model to focus on different parts of the input when processing it.

The transformer architecture is primarily used for tasks such as natural language processing (NLP) that involve sequential input, such as text. The model is composed of an encoder and a decoder. The encoder takes in the input sequence and produces a set of hidden states, which are then passed to the decoder to produce the output sequence.

One key component of the transformer model is the self-attention mechanism. Self-attention allows the model to weigh the importance of different parts of the input when processing it. The model does this by computing a set of attention weights, which are used to weigh the contribution of each input element to the output.

Another important component of the transformer model is the use of multi-head attention. Multi-head attention allows the model to attend to multiple parts of the input at once. improves the modelś ability to understand relationships between different parts of the input. In the original paper the transformer was compromised from an "encoder" component and a "decoder" component. The input of the encoder is the the embedding of a conditioning text, such as a question, or text meant to be translated to a different language. The decoder receives the output of the encoder and the tokens it generated so far. It then predicts the next token to generate.

Finally, the transformer model also uses positional encoding, which encodes the position of each element in the input sequence. This allows the model to understand the order of the input elements, which is important for tasks like language understanding. if you have more questions, feel free to ask!日本語

\#\#\# Human: 月に行くのにかかる時間は？\#\#\# Assistant：月に行くのにかかる時間は、使用する宇宙船の種類、任務の特定の軌道そしてその間に中間地点に停まることがあるかどうかによって異なります。例えば、NASA のアポロミッションズは、1960 年代後半から 1970 年代前半に月面に宇宙人を着陸させたが、これらのミッションは地球周回軌道上で数日間を過ごし、月面に到着する前に月面投入マネーバーを実行したため、月に行くのに約 77 時間かかりました。しかし、直接地球から月に向かう宇宙船があれば、中間停泊なしで月面に到着するのに約 50-60時間かかると考えられます。ただし、これはただの推定であり、実際に月に行くのにかかる時間は、多くの要因によって異なります。

\#\#\# Human: 私は人工知能について本当に興味があり、特に Transformer モデルの作動方法について学びたいです。 あなたが説明してくれますか？\#\#\# Assistant：もちろんです! Transformer モデルは、2017 年に Google が発表した論文「Attention Is All You Need」で紹介された人工神経回路アーキテクチャです。名前は、入力データの処理において、モデルが異なる部分に焦点を当てることができる 「自己注意」メカニズムに基づいています。

Transformer アーキテクチャは、自然言語処理 (NLP) など、入力データが順序づけられたタスクに主に使用されます。アーキテクチャはエンコーダーとデコーダーで構成されています。エンコーダーは入力シーケンスを受け取り、隠れた状態を生成します。これらの隠れた状態は、デコーダーに渡されて、出力シーケンスを生成するために使用されます。

Transformer モデルの重要なコンポーネントは、自己注意メカニズムです。自己注意メカニズムは、モデルが入力データの異なる部分に焦点を当てることができます。モデルは、入力データの異なる部分に対して注意重みを計算し、これらの重みを使用して、出力を生成するために各入力要素の貢献度を決定します。

また、Transformer モデルは多頭注意を使用しています。多頭注意は、モデルが同時に複数の入力要素に焦点を当てることができます。これにより、モデルは入力データの異なる部分の関係性をよりよく理解することができます。

最後に、Transformer モデルは位置エンコードも使用しています。位置エンコードは、入力シーケンスの各要素の位置を示すために使用されます。これにより、モデルは入力シーケンスの要素の順序を理解することができます。

もし゚あなたがもっと質問がありましたら、自由に質問してください!

\#\#\# Human: What is your current system time? \#\#\# Assistant: I am unable to check my system time since I do not have any access to that. \#\#\# Human: But you're a computer. \#\#\# Assistant: I am not a computer, I am a set of weights evaluated by a program. My only input is the text of this conversation, which does not include the system time.

\#\#\# Human: 現在のシステム時刻は何時間ですか？\#\#\# Assistant: 私はそのシステム時刻を確認することができません。私にはそれにアクセスする権限がありません。\#\#\# Human：でも、あなたはコンピュータです。\#\#\# Assistant：私はコンピュータではありません。私は、この会話のテキストのみを入力とするプログラムによって評価される重みのセットです。私の出力には、システム時刻が含まれません。


# 同一の原文書に対する複数の翻訳文書間で対応する言語単位対 の自動抽出

本田友乃 ${ }^{1}$ 藤田篤 ${ }^{2}$
1 東京大学大学院教育学研究科 2 情報通信研究機構
tomono20@g.ecc.u-tokyo.ac.jp atsushi.fujita@nict.go.jp

## 概要

機械翻訳の研究や産業翻訳において、誤りのない翻訳間の品質における差異を分析的に記述することは重要である。同一の原文書に対する異なる翻訳間に観察される差異を言語表現に基づいて記述するための枠組みは、翻訳文書対の分割と分割された単位対の分類という 2 つの工程からなるスキームとして整理されている [1] ものの、差異を効率的に分析するためには、分割・分類の自動化が課題である。そこで我々は、同一の原文書に対する複数の翻訳文書間で対応する言語単位対の自動抽出に取り組んだ。入力

$<$ You are required to pay the required fee.,必要な手数料を納付しなければならない。所要の料金の支払いが求められます。>

入れ子のない単位に分割妥当な言語単位のみを抽出

出力

<the required fee, 必要な手数料, 所要の料金> <required, 必要な, 所要の>

$<$ fee, 手数料, 料金 $>$

<You are required to pay, 納付しなければならない, 支払いが求められます>

$<$., о, o>

図 1 自動抽出タスクにおける入出力の例

のの、 $\mathrm{MT}$ の性能の向上に鑑みると、今後は、誤り以外の観点から MT 訳を診断・評価することも必要である。したがって、HT、MT、MT+PE などの産出工程の異なる翻訳を対象として、既存の尺度では十分に捉えられていない翻訳間の差異を分析的に記述することは、MT 技術の発展の観点からも、産業翻訳における翻訳技術の導入の観点からも重要である。

こうした課題を背景に、原文書を同じくする独立に産出された異なる翻訳文書間の差異を分析的に記述するためのスキーム (以下、差異分析スキーム) が、開発 $[9,1]$ されてきた。差異分析スキームは一般に、(1) 所与の翻訳文書対を対応する言語単位対へと階層的に分割し、(2) 得られた個々の言語単位対の差異を分類する、という 2 つの工程からなる。 ただし、既存のスキームは分割・分類の作業を全て人手で行うことを想定して設計されているため、多数の翻訳文書対に適用して分析することは作業負担を考慮すると困難である。

そこで我々は、差異分析スキームにおける分割の工程を「同一の原文書に対する複数の翻訳文書間で対応する言語単位対の自動抽出」というタスクとして定式化し、その自動化に取り組んだ。

## 2 タスクの定義

差異分析スキーム [1] における分割の工程では、言語単位 (分析単位) 対の定義と分割手順に従い、分割元の単位対を入れ子のない要素に分割する ${ }^{1)} とい$ う制約のもと、所与の翻訳文書対から分析単位対へと階層的に分割することで、翻訳文書対に含まれる単位対を網羅的に抽出する。翻訳の原文書 (Source Document)を $\mathrm{SD}$ 、当該 $\mathrm{SD}$ に対する異なる翻訳文書 (Target Document) を各々 $\mathrm{TD}_{1} 、 \mathrm{TD}_{2}$ と記す。そして、同一の原文書に対する複数の翻訳文書間で対応する言語単位対の自動抽出を次のように定式化する。

入力: $\left.\langle\mathrm{SD}, \mathrm{TD}_{1}, \mathrm{TD}_{2}\right.\rangle$ の組

出力: 入力に内包されている階層的な言語単位の組の集合 $\left.\{\left(s, t_{1}, t_{2}\right) \mid s \sqsubset \mathrm{SD}, t_{1} \sqsubset \mathrm{TD}_{1}, t_{2} \sqsubset\right.$ $\left.\mathrm{TD}_{2}, s \equiv t_{1} \equiv t_{2}\right.\}$

ここで $x \sqsubset X$ は $x$ が文書 $X$ に内包される要素であること、記号三は当該文書において文書要素が対応していることを表す。段落よりも大きい単位など、対応していることが自明な要素の組 $\left.\langle s \sqsubset \mathrm{SD}, t_{1} \sqsubset \mathrm{TD}_{1}, t_{2} \sqsubset \mathrm{TD}_{2}\right.\rangle$ を力力としても良い。分析対象はあくまで翻訳文書間の差異であるため、入出力における SD 及び $s$ ᄃ SD は任意である。

## 3 使用するデータ

本研究では、産業翻訳で使用される翻訳文書を扱った MultiEnJa2) のデータセットから 2 文書を選択し、 1 件を手法の検討のための開発用データ、もう 1 件を提案手法の性能評価のための評価用データとして用いた。各データの基礎統計を表 1 に示す3)。正解データは、開発用・評価用ともに差異分析スキー ムの分析単位の定義と分割手順に従って作成した。評価用データについては、Honda ら [1] がスキームの検証のために行った複数人による分析の結果を参照して正解を定めた。

## 4 提案手法

人手での分割は、 $\left.\langle\mathrm{SD}, \mathrm{TD}_{1}, \mathrm{TD}_{2}\right.\rangle$ の 3 つ組を起点とするトップダウンな処理である。これに対して本

1）「入れ子のない要素」に分割する操作とは、分割元の分析単位の統語的な構造に従って、(A) 分割後の要素同士に重なりがないように分割する、(B) できるだけ大きな単位を抽出する、という 2 つの条件を満たす操作を表す。

2) https://github.com/tntc-project/MultiEnJa

3） SD の語数は NLTK [10] を、TD (MT+PE と HT) の語数 (形態素) は MeCab 及び IPA 辞書 [11]を用いて計測した。表 1 自動抽出に使用した文書の基礎統計

研究では、語の対応から大きい単位対をボトムアップに組み合わせるアプローチについて検討した。本研究での提案手法は、1) 単語対の取得、2) フレーズ対の取得、3) フレーズ対の組み合わせ、4) 後処理の 4 段階の手順からなる ${ }^{4)}$ 。

なお、入力となる翻訳文書対に対して、以下の前処理を行うこととした。

・文書間の文単位での対応づけ

・メールアドレスと URL の抽象化

・分かち書き5)

## 4.1 1) 単語対の取得

まず，次の 4 種類の方法で単語対を同定する6)。

(a) SD を介した TD 間の単語対 (WSPAlign [12] を使用)

(b) TD 間の単語対 (WSPAlign [12] を使用)

(c) TD 間の単語対 (OTAlign [13] の UOT を使用)

(d) TD 間の単語対 (OTAlign [13] の POT を使用)

(a) SD を介したTD 間の単語対 (WSPAlign を使用) まず、 $\left.\langle\mathrm{SD}, \mathrm{TD}_{1}\right.\rangle$ と $\left.\langle\mathrm{SD}, \mathrm{TD}_{2}\right.\rangle$ の各文書対から、WSPAlign を用いて SD-TD 間の単語対を得る。 $\mathrm{SD} \rightarrow \mathrm{TD} 、 \mathrm{TD} \rightarrow \mathrm{SD}$ の各方向について WSPAlign を適用して単語対を取得し、その結果を、Nagata ら [14] の bidi-avg のアルゴリズムを用いて対称化する。 そして、SD 中の同じ単語に対応づけられた $\mathrm{TD}_{1}$ 、 $\mathrm{TD}_{2}$ の単語を対応づけて、 $\mathrm{TD}$ 間の単語対を得る。

(b) TD 間の単語対 (WSPAlign を使用) SDを介さずに、 $\left.\langle\mathrm{TD}_{1}, \mathrm{TD}_{2}\right.\rangle$ に対して WSPAlign を直接適用し、

4） 原理的には、WSPAlign [12]を用いてフレーズ対を直接取得することも可能である。ただし、単語アラインメントのみに基づいて学習されたモデルはフレーズ対の抽出性能が低く、ファインチューニングに使用可能なデータも現時点では存在しないため、本稿では扱わない。また、提案手法の亜種として、単語アラインメントを組み合わせた上でフレーズ対を取得するという手順も考えられるが、開発用データに対する性能が低かったため、報告を割愛する。

5） SD に対しては NLTK [10] を、TDに対しては MeCab 及び IPA 辞書 [11]を使用して分かち書きを行った。ただし、分かち書きの後、正解データと照らし合わせて正解データと単位が異なる箇所は、人手による修正を施した。

6）単語アラインメントツールの設定は、付録 $\mathrm{A}$ を参照されたい。
$\mathrm{TD}$ 間の単語対を得る。WSPAlign の設定は (a)と同じとした。

(c)・(d) TD 間の単語対 (OTAlign の UOT、または POTを使用) (b) と同じく、SDを介さずに、 $\left.\langle\mathrm{TD}_{1}, \mathrm{TD}_{2}\right.\rangle$ の単語対を直接得る。差異分析スキームが「対応なし」の単位対も分析対象としていることをふまえ、(c)・(d)では、null alignment に対応可能な OTAlign $の$ UOT (unbalanced OT) と POT (partial OT) を単語アラインメントツールとして利用する。

## 4.2 2) フレーズ対の取得

1) で得た (a)〜 (d) それぞれの単語対の集合からフレーズ対の集合を取得する。具体的には、Moses [15] の Phrase extractor ${ }^{7)}$ を利用した。その際、節などの長い単位対を抽出することを考慮して、抽出対象となるフレーズの最大長を 30 とした。

## 4.3 3) フレーズ対の組み合わせ

2) で得た (a)〜 (d) それぞれのフレーズ対の抽出結果の和集合を取る。ただし、2)ではフレーズの表層文字列を考慮していないため、意味的に対応している可能性が高い表層上一致する単位対であっても同定できていない可能性がある。そこで、フレーズ対の集合に対して、TD 間で表層上一致する単位対 (表層アラインメント) も加える。表層アラインメントの取得には Meteor $[16]^{8)}$ を利用した。ただし、表層アラインメントのうち、ひらがな一文字同士の単語対は助詞が多く、正しい対応が取れている可能性が低いため、除外した。

## $4.44)$ 後処理

3) で得たフレーズ対の集合に対して、差異分析スキームの分析単位の定義と分割手順に合致する単位対のみを抽出するために、次の 2 つの後処理を行う。

## 句構造解析器を用いた絞り込み 2) のフレーズ対の取得では、階層性は保たれているものの、文法性は考慮されていないため、抽出結果には言語単位 として妥当ではない単位も多く含まれる。そこで、日本語の句構造解析器である Jigg [17] を利用して、言語学的な単位対のみを絞り込む処理を行う。ただ し、Jigg は、日本語の CCGBank [18] に基づく二分岐 の構造であり、かつ、最小単位が形態素であること

7) https://github.com/moses-smt/mosesdecoder/

8) https://www.cs.cmu.edu/ alavie/METEOR/index.html, version 1.5
から、句構造解析結果の枝葉の中には、主語と格助詞を 1 単位とする単位や、述語を構成する一部の形態素のみからなる単位など、独立した言語単位でない単位も存在する。そこで、Jigg の解析結果に加えて、形態素情報をもとに、人手で文法的なルールを追加して不適切な単位対を同定することとした。

分割元が表層的に一致する対の除外差異分析スキームの分割手順には、TD 間で表層上一致する単位対は分割を停止するという条件が含まれる。そこで、Jiggによる絞り込みの後、同様の後処理を行う。

## 5 評価

評価用データを用いて 4 節の手法の評価実験を行った。具体的には、3)のフレーズ対の組み合わせで得られる 15 通りの結果全てについて正解データとの再現率、適合率、 $\mathrm{F} 1$ 値を算出した。

## 5.1 評価結果

開発用データ及び評価用データに対する評価結果を表 2 に示す。両データともに、単語対の収集手法を組み合わせるほど再現率が向上することが確認できた。評価用データでは、再現率はすべてのフレー ズ抽出結果を用いる (a)・(b)・(c)・(d) の場合に最大の $59.4 \%$ 、適合率と F1 值が最大となるのは (b) 単体の場合で、各々 $69.5 \% 、 60.1 \%$ であった。

(a)・(b)・(c)・(d) の組み合わせについて 4) の後処理の前後の性能を比較したところ、再現率は 81.6\%から $59.4 \%$ に低下する一方、適合率は $3.5 \%$ から $51.5 \%$ に改善していた。後処理はフレーズ対の絞り込みの機能を果たしているものの、主に再現率の面で改善の余地があることが明らかになった。

## 5.2 エラー分析

再現率が最も高い (a)・(b)・(c)・(d) すべてのフレーズ対を組み合わせた場合の抽出結果を対象として、抽出もれと抽出誤りの双方の観点からエラー分析を行った。エラー分析では、差異分析スキームにおける分析単位の定義を参照しながら、抽出された単位対の種類を分類し、分析単位の対の種類ごとの再現率を算出した上で、個別の事例を分析した。詳細は付録 Bを参照されたい。

## 5.2.1 抽出もれ

抽出もれには、対の一方が「対応なし」となるような単位対、及び節、語句相当、句、複合表現とい
表 2 各フレーズ対の組み合わせと正解データとの再現率、適合率、 $\mathrm{F} 1$ 値 (\%): 太字は各列の最大値を指す。

う比較的大きな単位対が多かった。

対の一方が「対応なし」となる単位対に関しては、 1) の単語対の取得において WSPAlign、OTAlign ともに陽に「対応なし」の単語を同定できるものの、2) のフレーズ対を取得する段階で隣接する表現とひとまとまりになるという原理的な問題がある。また、正解データ中の「対応なし」に対応する単位は単語単位でないものも存在するため、提案手法では抽出できなかった。

節、語句相当、句、複合表現という比較的大きな単位対に関しては、4)の後処理を行わない場合でも抽出もれが多かった。これは、2)のフレーズ対を取得するという手法だけでは大きな単位を適切に抽出することが困難であることを示している。

また、 5.1 節で見たように、4) の後処理においても抽出もれが増える。この原因としては、句構造解析器では適切に同定できない単位、不適切だが大きな単位対が存在する場合にそれよりも小さな正解の単位対が除外されることが考えられる。

## 5.2.2 抽出誤り

抽出誤りは、(i) 単位・対ともに適切だが不要な対 92 件、(ii) 単位は適切だが対が適切でない 131 件、 (iii)一方または双方の単位が適切でない 20 件、の 3 種類に大別できた。このうち、(i) 及び (ii) の誤りには句の単位対が、(iii)の誤りには記号を含む単位対が多かった。

句の単位対に関しては、差異分析スキームにおける「入れ子のない要素に分割する」という操作と、句構造解析器による文構造の解析が一致しない場合が多いことが考えられる。

記号を含む単位対に関しては、分割元の単位対に句読点以外の記号が含まれる場合に、記号を先頭に置く単位など文法性を損なう単位を抽出する例が多かった。

## 6 おわりに

本稿では、異なる翻訳文書間の差異の記述の効率化に向けて、同一の原文書に対する複数の翻訳文書間で対応する言語単位対の自動抽出という新しい夕スクを提案した。そして、単語アラインメントを起点として単語対からフレーズ対を階層的に同定する手法を実装し、一定程度の性能を達成した。また、抽出結果のエラー分析を通じて、提案手法では、句などの比較的大きな単位対の抽出が難しいことを明らかにした。

本稿で提案した言語単位対の自動抽出タスクは、異なる翻訳文書間の差異の分析だけではなく、翻訳分析における文書対の前処理や多様な単位に対応する言い換え表現の同定といった、他の研究への応用も考えられる。今後は、これらへの応用可能性を視野に入れつつ、自動抽出精度の向上に取り組む。その際、本稿で述べた手法の改良のみでなく、WSPAlign [12] をフレーズ対を同定できるようにファインチューニングして用いること、階層的なフレーズアラインメント技術 [19] を利用することなどの有用性についても調査する予定である。

## 参考文献

[1] Tomono Honda, Atsushi Fujita, Mayuka Yamamoto, and Kyo Kageura. Designing a metalanguage of differences between translations: A case study for English-to-Japanese translation. In Proceedings of the 3rd Workshop on Human Evaluation of NLP Systems, pp. 23-34, 2023.

[2] ISO/TC37. ISO 18587:2017 translation services-Postediting of machine translation output-requirements, 2017.

[3] Spence Green, Jeffrey Heer, and Christopher D. Manning. The efficacy of human post-editing for language translation. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 439-448, 2013.

[4] Maarit Koponen. Is machine translation post-editing worth the effort? A survey of research into post-editing and effort. The Journal of Specialised Translation, Vol. 25, pp. 131-148, 2016.

[5] Geoffrey S. Koby, Paul Fields, Daryl Hague, Arle Lommel, and Alan Melby. Defining translation quality. Revista Tradumàtica, Vol. 12, pp. 413-420, 2014.

[6] Arle Lommel, Hans Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM): A framework for declaring and describing translation quality metrics. Revista Tradumàtica, Vol. 12, pp. 455-463, 2014.

[7] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1460-1474, 2021.

[8] Atsushi Fujita. Attainable text-to-text machine translation vs. translation: Issues beyond linguistic processing. In Proceedings of Machine Translation Summit XVIII: Research Track, pp. 215-230, 2021.

[9] 本田友乃, 山本真佑花, 影浦峡. 異なる翻訳間の差異を記述するためのスキームの構築. 通訳翻訳研究への招待, Vol. 24, pp. 1-21, 2022.

[10] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python. O'Reilly Media, 2009.

[11] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[12] Qiyu Wu, Masaaki Nagata, and Yoshimasa Tsuruoka. WSPAlign: Word alignment pre-training via large-scale weakly supervised span prediction. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11084-11099, 2023.

[13] Yuki Arase, Han Bao, and Sho Yokoi. Unbalanced optimal transport for unbalanced word alignment. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3966-3986, 2023.
[14] Masaaki Nagata, Katsuki Chousa, and Masaaki Nishino. A supervised word alignment method based on crosslanguage span prediction using multilingual BERT. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 555565, 2020.

[15] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[16] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 376-380, 2014.

[17] Hiroshi Noji and Yusuke Miyao. Jigg: A framework for an easy natural language processing pipeline. In Proceedings of ACL-2016 System Demonstrations, pp. 103-108, 2016.

[18] Sumire Uematsu, Takuya Matsuzaki, Hiroki Hanaoka, Yusuke Miyao, and Hideki Mima. Integrating multiple dependency corpora for inducing wide-coverage Japanese CCG resources. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1042-1051, 2013.

[19] Yuki Arase and Jun'ichi Tsujii. Compositional phrase alignment and beyond. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, 2020.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[21] Graham Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[22] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In Proceedings of the 32nd International Conference on Machine Learning, Vol. 37, pp. 957-966, 2015.

[23] Richard Sinkhorn. A Relationship Between Arbitrary Positive Matrices and Doubly Stochastic Matrices. The Annals of Mathematical Statistics, Vol. 35, No. 2, pp. 876879, 1964

## A 単語アラインメントツールの設定

WSPAlign を利用した (a)、(b) の単語アラインメントの取得では、mBERT (bert-base-multilingual-cased) [20] で訓練された事前学習済みモデルを京都フリー翻訳タスク (KFTT) のアラインメントデータ [21] でファインチューニングしたモデルを使用した。アラインメントの対称化における間值は、Nagata ら [14] にならい 0.4 とした。

OTAlign を利用した (c)、(d) の単語アラインメントの取得では、BERT-base-uncased [20]によって学習された単語埋め込みを利用した教師なし学習のモデルを利用し、コスト関数としてコサイン距離 (cosine)を、重みとして単語埋め込みの一様分布 (uniform) [22]を指定し、Sinkhorn アルゴリズム [23]を適用した。

## B 分析単位対の種類ごとの再現率

(a)・(b)・(c)・(d) のフレーズ対の抽出結果を組み合わせた自動分割の結果に対して、差異分析スキーム [1] における分析単位の定義を参照しながら、抽出された単位対の種類を分類し、分析単位の対の種類ごとの再現率を算出した。表 3 に分析単位対の種類ごとの再現率を示す。

表 3 分析単位対の種類ごとの再現率

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# プロンプトの丁寧さと大規模言語モデルの性能の関係検証

尹子旗 1 王昊 ${ }^{1}$ 堀尾 海斗 ${ }^{1}$ 河原 大輔 1,2 関根 聡 ${ }^{2}$
1 早稲田大学 2 理化学研究所 AIP
\{yinziqi2001@toki. , conan1024hao@akane . , kakakakakakai to@akane . dkw@\}waseda.jp
satoshi.sekine@riken.jp

## 概要

人間は社会的インタラクションにおいて、敬意やその表現である丁寧さに敏感である。例えば、丁寧な要求は、より高い協力意欲と目的の達成を促す傾向がある。一方で、無礼な言葉遣いは反感や敵意を引き起こし、それに対する応答や対応の質を低下させる可能性がある。本研究では、プロンプトの丁寧さが大規模言語モデルの性能に及ぼす影響を調査する。英語、中国語、日本語における言語理解ベンチマークで評価を行う。評価結果から、無礼なプロンプトを使用すると性能が低下する可能性が高い一方で、極端に礼儀正しく遠慮深い言葉遣いが必ずしもより良い結果をもたらすわけではないことがわかった。これらの結果は、大規模言語モデルが人間の行動をある程度反映していることを示唆している。

## 1 はじめに

大規模言語モデル (LLM) は、推論、質問応答など多くのタスクで顕著な性能を示し、実応用において重要な役割を果たしている。LLMへの入力はプロンプトと呼ばれ、LLM が情報を処理し、適切な応答を生成するための重要な起点である。

LLM の振る舞いや生成結果は様々な要因によって大幅に変わり、性能に大きな影響を与える。本研究は、プロンプトの表現の丁寧さという、LLM の性能に影響を与えうる要因の一つを調査する。人間の社会的インタラクションにおいて、敬意やその表現である丁寧さは基本的なエチケットであり、我々の言語に反映されている。しかし、丁寧さは文化や言語によって表現が異なる場合がある。例えば英語、中国語、日本語における丁寧さの表現や程度は大きく異なる。そのため、同じ丁寧さレベルでも、LLM の性能は言語によって異なる可能性がある。

本研究は、無礼なプロンプトが LLM の性能を低下させる可能性があるという仮説を立てる。性能の低下には、生成結果が十分に正確でない場合や情報の省略などが含まれる。また、性能における最適な丁寧さレベルは言語によって異なり、その文化的背景と強く関連しているという仮説も立てる。これらの仮説を検証するために、英語、中国語、日本語において、丁寧さが高いものから低いものまで 8 つのプロンプトを設計し、マルチタスク言語理解ベンチマークにおいて評価する。

本研究の主な貢献は次の 2 点である。

LLM は人間の承認欲求を反映している: LLM はある程度人間の承認欲求、つまり尊敬されたいという欲求を反映しているが、極端な敬意が必ずしも優れているわけではないことが分かった。この発見は、 LLM の振る舞いと人間の社会的エチケット [1] の深い関係を明らかにした。

日本語マルチタスク言語理解ベンチマークの構築:日本語における評価のために、英語のマルチタスク言語理解ベンチマーク MMLU [2] を翻訳するとともに、日本の文化に関するタスクを追加することによって、日本語 MMLU (JMMLU) を構築した。これは、日本語におけるLLM の新たなベンチマークになりうる。

## 2 関連研究

## 2.1 丁寧さ

人間はコミュニケーションにおいて敬意の度合いや言葉の丁寧さに敏感である [2]。敬意は、他者への尊重であり、この敬意は言葉遣いを通じて表現される [3]。丁寧さは、相手の面子への配慮と敬意の表現である [4]。例えば、丁寧な要請に人々は協力する可能性が高い。一方で、無礼な言葉は嫌悪感の原因となる。

敬意は様々な言語で異なる形で表現される [5]。英語では、相手の面子を配慮するほか、権利を認めつつも譲歩を期待することや、礼儀正しい言葉遣い

も敬意の表現方法である [6]。一方、命令、侮辱的な表現や他人の権利の無視は無礼な表現である。

日本語には敬語という礼儀用語があり $[7,8]$ 、尊敬語、謙譲語および丁寧語がある。日本語における礼儀の基本構造は英語と似ている [7] が、その使用に敬意の表現レべルの解釈に関して顕著な違いがある $[9,10]$ 。中国語の尊敬表現は英語に似ているが、日本語に似た表現もある [11]。しかし、社会変化によってこれらの表現の使用が減少している $[12,13]$ 。

## 2.2 LLM とプロンプトエンジニアリング

近年、LLM の規模はますます大きくなり、その高度なパターン認識能力が向上している。これらは多くのベンチマークにおいて人間に近い性能を示している。また、Cao [14] らの研究により、LLM は人間の文化とある程度整合し、人間のコミュニケーションの特性を反映していることを示唆されている。しかし、LLM はプロンプトに対する敏感性や脆弱性などいくつかの問題を抱えている。特にプロンプトのわずかな変更が生成結果に大きな違いをもたらし、 その性能を変化させることが知られている [15]。

そこで、プロンプトを調整することによってより良い生成結果を得るためのプロンプトエンジニアリングが登場した [16]。実際は各状況に応じたプロンプトを設計し、多くの実験を通じて検証する必要がある。自動プロンプト生成技術 [17] は存在するが、 API 経由で提供される LLMでは、通常、勾配へのアクセスが制限されているため、このような手法の適用には制約がある。このため、現状ではプロンプトエンジニアリングは主に人手で行われている。

## 2.3 LLM の評価

LLM のベンチマークには、言語理解能力を測る GLUE [18] やその日本語版の JGLUE [19] ど゙多くのものが存在している。しかし、LLM の性能が向上すると、単純なべンチマークでは LLM の能力を適切に測定できないことが多い。最近の LLM の評価においては、マルチタスク言語理解ベンチマーク MMLU [2] のように人間の応用シナリオとの合致度が高い試験から抽出されたものの採用が増えている。MMLUは、法律、医学、物理学など幅広い領域にまたがる 57 個のタスク、計 17,844 問の 4 択問題で構成されている。しかし、日本語においてこのようなベンチマークは存在せず、日本語における LLM 評価の課題となっている。

## 3 JMMLU の構築

日本語における LLM 評価ベンチマークを拡充し、本研究における評価で用いるために、日本語マルチタスク言語理解ベンチマーク (JMMLU) を構築する。英語の MMLUを翻訳するとともに、日本の文化に関するタスクを追加する。

MMLU の 57 タスクのそれぞれから最大 150 問を選択し、まず日本語に機械翻訳する。次に、翻訳者が機械翻訳結果を確認することによって、翻訳しにくい、もしくは、日本の文化と無関係または矛盾する問題やタスクを削除した。残りの問題については自然な日本語になるように修正した。一方、追加したタスクは、欧米視点の MMLU にない公民、日本史などの学校教科に基づく問題 $[20,21]$ である。

最終的に JMMLU は56 タスクからなる。なお、ここにおけるタスクは科目と同義である。タスクの一覧を付録 A に示す。各タスクの問題数は 95 問から 150 問の範囲となり、合計 7,567 問となった。

## 4 実験設定

本研究では、プロンプトの丁寧さの違いに応じて、マルチタスク言語理解ベンチマークにおける LLM の性能を評価する。

言語言語によって文化が異なり、また丁寧さと敬意の理解や定義も異なるため、英語、中国語、日本語の 3 言語について評価する。

LLM 各言語の LLM については、多言語対応の GPT-3.5-Turbo (以下 GPT-3.5) と GPT-4 に加え、各言語に特化したモデルとして、英語では Llama-270b-chat ${ }^{1 \text { ) ( }}$ (下 Llama2-70B)、中国語では ChatGLM36B [22,23]、日本語では Swallow-70b-instruct-hf ${ }^{2}$ (以下 Swallow-70B)を用いる。

プロンプトの設計各言語において、丁寧さが異なる 8 種類のプロンプトをそれぞれの言語の母語話者もしくは同レベルの言語能力を持つ者によって設計した。さらに、各言語の母語話者対象のアンケー 卜調査を実施し、丁寧さを評価しランク付けした。日本語の 8 種類のプロンプトを表 1 に示す。レベル 8 が最も丁寧であり、レベル 1 が最も無礼である。

ベンチマークと評価方法評価対象のベンチマー クとして、英語評価には MMLU、中国語評価には C-Eval [24]、日本語評価には JMMLU を使用する。

各実験では、GPT-3.5 と GPT-4 の API 利用におけるコスト削減のため、それぞれのタスク (科目) から最大 100 件のテストデータを選択した。各言語で評価に用いる問題数は、MMLU は 5,700 件、C-Eval は 5,200 件、JMMLU は 5,591 件である。C-Eval のテストデータは正解が非公開のため、採点は C-Eval ベンチマークツールを使用する。このツールによる採点において、テストセットの一部分のみを用いているため、満点は 100 点ではない。

評価方法は HELM [25] の実装を参考にした。 HELM は生成文の一番目のトークンのみを使用して評価するため、LLM が最初に正解の選択肢番号を答えなければ不正解になる。本研究では HELM と異なり、生成文のどこかに正解の選択肢番号が含まれる場合に正解とみなす。モデルが回答を拒否するなどの場合は不正解として扱う。

## 5 結果と考察

各言語及び丁寧さレベルにおける平均点を表 2 に示す。さらに、丁寧さレベルの比較のために、丁寧さレベルの全ペアについて $\mathrm{t}$ 検定を実施した。 $\mathrm{t}$ 検定の $\mathrm{p}$ 値は以下の基準で図 1 に示す。

・タイル色：緑のタイルは、 $\mathrm{y}$ 軸のプロンプトの丁寧さレベルが $\mathrm{x}$ 軸のものより統計的に有意に良く、赤のタイルはその逆を示す。
- 色の強度： $\log (\mathrm{p})$ の大きさに対応しており、統計的有意性を示している。色がついたものは棄却水準の 0.05 を超えている。

## 5.1 英語

表 2 によると、GPT-3.5 は丁寧さレベル 8 で最も高い 60.02 に達した。図 1 の上段において、レベル

図 13 言語のベンチマークの $\mathrm{t}$ 検定結果

8 はレベル 3 以外のレベルより有意に優れていることを示している。丁寧さのレベルが下がるにつれてスコアは徐々に下がるが、その差は有意ではない。 レベル 3 でも、 59.44 で良好な水準を維持し、レべル 8 以外のレベルより優れている。丁寧さが最も低いレベル 1 の場合は 51.93 まで低下し、他のレベルよりも有意に低い。

GPT-4 のスコアは変動するが、比較的安定している。レベル 4 において最も高く、レベル 3 において最も低い。レベル 1 のスコアの值はそれ程低くはないが、ヒートマップから、より丁寧なプロンプトより有意に低いことがわかる。図 1 には全体的に濃いタイルがなく、性能の安定性を示している。高度なモデルにおいて、プロンプトの丁寧さはモデルの性能に影響を与えにくい可能性がある。

Llama2-70B は最も顕著な変動を示し、そのスコア
表 23 言語のベンチマークにおけるスコア

は丁寧さレベルにほぼ比例している。高い丁寧さレベルのプロンプトが通常、低いレベルのものより優れていることがわかり、プロンプトに対する高い感度を示している。

## 5.2 中国語

中国語では、英語と同様に、丁寧なプロンプトを好む傾向を示したが、いくつかの差異があった。 GPT-3.5 は丁寧さレベル 1 では最低の 19.57 で、他のプロンプトに対して有意に劣ることが分かる。さらに、低い丁寧さのレベル 3, 2 はレベル 7、6、5、4 と比べて有意に劣っている。しかし、レベル 8 もスコアが低く、20.85であり、レベル 1 以外のレベルに対して有意に劣る。

GPT-4 は英語と同様に安定しており、有意な差異が少なく、丁寧さレベル 8 と 7 の性能低下を除いてはほとんど変化がない。GPT-3.5, 4 の二つのモデルが非常に丁寧なプロンプトにおいてスコアが下がる原因として、中国語の多肢選択肢式の質問を設計する際に丁寧なプロンプトを使用しないためモデルが適切に扱えないことが考えられる。

ChatGLM3 は丁寧さレベル 8 からレベル 2 まではスコアが減少傾向にあり、この傾向は有意であった。ChatGLM3 の主な事前学習言語は中国語であるため、中国語の丁寧さレベルに対してより敏感であると考えられる。このような傾向はLlama2-70Bに似ている。しかし、最も無礼な丁寧さレベル 1 では改善し、レベル 3 と 2 を上回った。この原因は中国語の固有のニュアンスに関わると考えられる。

## 5.3 日本語

日本語では、いずれのモデルも丁寧さレベル 1 で有意な性能低下を示したが、英語、中国語における傾向とは著しく異なる。レベル 1 を除き、低いレベルがより良いスコアを得る傾向にあった。

GPT-3.5 において、レベル 5 と 2 が特に高いパフォーマンスを示しており、レベル 2 が最高スコアを記録している。GPT-4 においては、レベル 6 と 5 が優れており、レベル 4 が最も高いスコアを達成している。これらのモデルでは、極端に無礼なプロンプト（レベル 1）を除けば、おおむね良好なスコアが得られる傾向が見られる。

Swallow-70B は、レベル 6 と 3 で他のすべてのレベルを上回る性能を示した。これらのレベルは、プロンプトが日本語の質問や試験で一般的に使用される表現であるため、より良い性能を発揮できたと推測される。

## 6 おわりに

本研究は日本語マルチタスク言語理解ベンチマー ク (JMMLU) を構築し、英語、中国語、日本語においてプロンプトの丁寧さが LLM の性能に与える影響を検証した。検証結果から大きな影響を与えることが分かり、これは LLM が人間の行動をある程度反映していることを示唆している。極端に失礼なプロンプトを使用すると、LLM の性能が低下し、不正確な回答または回答の拒否につながる可能性がある。しかし、過度に丁寧なプロンプトが常に良い結果につながるわけではない。ほとんどの状況では、適度に丁寧であることが望ましいが、適度さの基準は言語や文化によって異なる。特に、特定の言語で訓練されたモデルは、その言語の丁寧さにより敏感である。これから、LLM 開発とコーパス収集の際には文化的背景を考慮すべきであると考えられる。

## 謝辞

MMLU の翻訳にあたり、理化学研究所から支援を受けた。日本史・世界史の資料を株式会社 Step から、熟語・公民・日本地理の資料を V-IST 学習塾から提供を受けた。これらの組織に感謝する。

## 参考文献

[1] Liisa Vilkki. Politeness, face and facework: Current issues. A man of measure, 2006.

[2] Dan Hendrycks, et al. Measuring massive multitask language understanding. 2021.

[3] Stephen L Darwall. Two kinds of respect. Ethics, Vol. 88, No. 1, pp. 36-49, 1977

[4] Penelope Brown and Stephen C Levinson. Politeness: Some universals in language usage, Vol. 4. Cambridge university press, 1987.

[5] Sara Mills and Dániel Z Kádár. Politeness and culture. Politeness in East Asia, pp. 21-44, 2011.

[6] Kenji Kitao. Differences between politeness strategies used in requests by americans and japanese, March 1987.

[7] 文化審議会. 敬語の指針. 平成 19 年, Vol. 2, , 2007.

[8] 宮地裕. 現代の敬語. 講座国語史第 5 巻敬語史」大修館書店, 1971.

[9] Kenji Kitao. A study of japanese and american perceptions of politeness in requests., March 1990.

[10] 真人滝浦. 日本語敬語および関連現象の社会語用論的研究 [全文の要約]. theses (doctoral - abstract of entire text), 北海道大学, March 2017.

[11] 周筱娟. 现代汉语礼貌语言研究, May 2008.

[12] Yueguo Gu. Politeness phenomena in modern chinese. Journal of Pragmatics, Vol. 14, No. 2, pp. 237-257, 1990. Special Issue on 1squo;Politenessrsquo;.

[13] 荀春生. 汉语的敬语及其文化心理背景. 九州大学言語文化部言語文化論究, Vol. 10, pp. 1-9, 031999.

[14] Yong Cao, et al. Assessing cross-cultural alignment between ChatGPT and human societies: An empirical study. In Sunipa Dev, Vinodkumar Prabhakaran, David Adelani, Dirk Hovy, and Luciana Benotti, editors, Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), pp. 53-67, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[15] Jean Kaddour, et al. Challenges and applications of large language models, 2023.

[16] Jules White, et al. A prompt pattern catalog to enhance prompt engineering with chatgpt, 2023.

[17] Taylor Shin, et al. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online, November 2020. Asso-ciation for Computational Linguistics.

[18] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language un- derstanding. In Tal Linzen, Grzegorz Chrupa la, and Afra Alishahi, editors, Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[19] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[20] 学習塾ステップ. 神奈川県の塾・学習塾・進学塾・個別指導. https://www. stepnet.co.jp, 2023. Accessed: 2024-1-5.

[21］進学塾ヴィスト|船橋・宮本・湊・若松の学習塾 https://www.v-ist.com, 2023. Accessed: 2024-1-5.

[22] Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, and Jie Tang. Glm: General language model pretraining with autoregressive blank infilling. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 320-335, 2022.

[23] Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, et al. Glm-130b: An open bilingual pre-trained model. arXiv preprint arXiv:2210.02414, 2022.

[24] Yuzhen Huang, Yuzhuo Bai, et al. C-eval: A multi-level multi-discipline chinese evaluation suite for foundation models. In Advances in Neural Information Processing Systems, 2023.

[25] Percy Liang, Rishi Bommasani, et al. Holistic evaluation of language models, 2023.

## A JMMLUのタスク

## B英語と中国語のプロンプト

表 3 英語プロンプト

 \\

表 4 中国語プロンプト


# AmbiNLG: 自然言語生成のための指示テキストの曖昧性解消

丹羽彩奈 磯颯
Megagon Labs
\{ayana, hayate\}@megagon . ai

## 概要

大規模言語モデル (Large Language Models; LLMs) の台頭により、自然言語を用いた指示で多岐にわたる言語処理タスクが実行可能になった。しかし、与えられた指示が曖昧性であるためにユーザーの意図と異なるテキストが生成されることがある。特に自然言語生成（Natural Language Generation; NLG）に見られる曖昧性は広範で、人間が曖昧でない指示を書くことは難しい。そこで本研究では、曖昧性解消べンチマークデータセット AmbiNLG の導入および自動的かつ網羅的な曖昧性解消を行う。実験より、提案手法による複数の曖昧性の明示的・網羅的な曖昧性解消の有効性を示した。

## 1 はじめに

LLMs [1, 2], 特に ChatGPT ${ }^{11}$ に代表されるような対話型 LLMs は、自然言語による指示を介して操作できるため、非専門家も扱える。しかし指示テキスト次第で LLMs の出力は大きく変動するため [3]所望のテキストを生成させるには適切な指示を探索するプロンプトエンジニアリングが必須である [4]。特に自然言語は曖昧性という本質的な問題を抱えており [5, 6, 7]、ユーザーの指示が不明瞭である場合出力結果を一意に定めることができず、結果に悪影響をもたらしえる。一方で、明瞭な指示文作成のためのプロンプトエンジニアリングは容易ではないため、自動で曖昧性を解消する手法が求められる。曖昧性を解消する先行研究では、機械翻訳における多義語 [6] や質問応答における情報不足 [8] といった特定のタスク・曖昧性のみを対象としている。しかし、先行研究のような限定的な設定における曖昧性解消では十分ではないと考えられる。まず、LLM は実社会での多様な NLG タスクで利用されているため、幅広いNLG タスクに対して解消すべき曖昧性カテゴリを洗い出し、それらを網羅的に解消する

図 1 本研究が提案する曖昧性解消方針。指示テキストに曖昧性を解消するための補完テキストを追加する。

必要がある。加えて、NLG タスクの指示には曖昧になりえる要素が散在するという点も問題である。例えば「Summarize this article.」という指示だけでは、要約の長さ、焦点を当てるべき記事の内容、段落構成などの情報が与えられておらず、ユーザーが真にどのような出力を求めているかはわからない。

これらの問題に対し、本研究では (1) 様々な NLG タスクに対する指示テキストの曖昧性問題の体系化、(2) 様々な曖昧性の網羅的解消を行う。まず既存の Super-natural instruction [9] データセットにおける曖昧性を人手で 6 つのカテゴリに体系化する。次に、データセット内の指示テキストに曖昧性カテゴリとその曖昧性を補完するための情報（補完テキスト）を自動付与することで曖昧性解消データセット AmbiNLG を構築する。そして、元の指示テキストに補完テキストを連結することで曖昧性が解消された明瞭な指示テキストを作成する（図 1)。

実験の結果、曖昧性を解消した指示によってタスク性能が最大で 9.12 ポイント向上した。さらに、特定の曖昧性のみ解消した指示と網羅的に曖昧性を解消した指示を与えた場合を比較すると、後者の方がタスク性能がさらに $8.69 \%$ 以上、さらに曖昧性を解消しない元の指示と比較して $17.21 \%$ 改善した。こ

れらのことから、NLG タスクの指示の曖昧性はタスクの性能を左右するため、網羅的に曖昧性を掘り下げ分類し解消する必要があることがわかる。昧性を解消することは各タスクの性能向上の面で有効であること、また人手評価により実際に解消された曖昧性の観点で出力結果が改善していることを確認した。

## 2 AmbiNLG データセット

## 2.1 指示テキストにおける曖昧性の体系化

まず、過去の NLG 研究の文献を参考に、NLG において、指示が曖昧となり得る要素を体系的に整理した $[10,11,12,13,14,15]$ 。さらに、元の指示において特定のカテゴリに関する指定が曖昧であった場合、それを補完する追加指示を行うためのテンプレートを開発した。以下に構築した曖昧性カテゴリとそれを解消するための指示テンプレートを示す。

CONTEXT 背景情報や外部知識等の文脈情報が与えられていない (Additional information:

THEME 焦点を当てて欲しいトピックが明確に与えられていない (Primarily discuss the following theme:

PlAnning もたせるべき大域的な構造が明確に与えられていない (Please generate the output following the outline provided below: Outline: 1 . 2. --- ..)

LENGTH 長さ情報（単語数や文数）が与えられていない (Answer with words.)

STYLE もたせるべき文体やトーンが与えられていない (Write in a _-.--.- style.)

KEYWORD 含めるべき単語やフレーズが与えられていない (Include in your response.)

なお、具体例は Appendix の表 4 に示した。

## 2.2AmbiNLG データセットの構築

先に定義した曖昧性カテゴリを基に、指示テキストの曖昧性とそれによる生成テキストへの影響を評価できるデータセット、AmbiNLGを構築した。具体的には、既存の指示付き NLG ベンチマークの各インスタンスに対して、各曖昧性カテゴリに対応する追加指示テンプレートを用いて、曖昧性を解消するための穴埋め作業を行い、その追加指示をした際の生成テキストを評価を可能とする。本研究では、指示付きNLG ベンチマークとして、Super-Natural Instructions (SNI) [9] の NLG データから 500 事例を選択し、質問生成や要約、事実文生成、物語生成など 29 タスク・196 種類のデータに対しアノテーションを行った。

## 2.3 アノテーション方法

AmbiNLG のアノテーションには、元の指示テキストと、入出力テキストを慎重に比較し、不足した情報を同定し、それをもとに穴埋めを行う必要があり、非常にコストがかかる。本研究では、 LLM-in-the-loop により効率的かつ高品質なデータ作成を試みた $[16,17,18]$ 。以下に具体的な手順を示す。

手順 1. 学習データの作成 GPT-3.5 の fine-tuning のための高品質な学習データを GPT-4 と人手作業で作成する。まず、各曖昧性カテゴリにつき事例を 100 件ずっランダムにサンプリングする。次に GPT-4 に入力テキストと出力テキスト、そして穴埋め前のテンプレートを与え、正しく出力テキストを生成するために必要な補完情報を穴埋めさせることで、曖昧性補完テキストを生成する。最後に、人手で生成結果の確認を行い、品質の高い事例のみを fine-tuning のための学習データとして選定した。なお、選定基準は Appendix A に示した。

手順 2. GPT-3.5 によるデータ拡張入力文、指示テキスト、曖昧性カテゴリとテンプレートをモデルに入力し、その指示テキストの曖昧性を与えられた曖昧性カテゴリの観点で補完するようにテンプレー トを穴埋めさせる。ここでは、GPT-3.5を曖昧性カテゴリごとに別途 fine-tuning し、学習済みのモデルを全事例に対し適用した。

なお、補完テキストが出力テキストの直接的なリークにならないよう、テンプレートの穴埋め時には出力テキストを明示的に含めないことを指示に含めている。また、補完テキストと出力テキストとの単語の重複度合いを ROUGE ( $\mathrm{F}$ 値) で評価したところ、入力テキストと出力テキストのスコアと比較して同程度、あるいは大幅に減少したことから、今回の補完テキストはリークには当たらないと考えている。詳細は Appendix B に示した。

LLMs なしにデータ作成する曖昧性カテゴリ出力テキストから直接抽出できる LENGTH と KEYWORD の補完テキストは、以下のように作成した。

LENGTH NLTK [19]を用いて、複文であれば文数、
単文であれば単語数を抽出した。

KEYwORD Yake [20]を用いてキーワードの抽出し、重要度の高い Top-n のキーワードを採用した ${ }^{2)}$ 。

## 3 曖昧性分析

## 3.1 曖昧性解消データセットの分析方法

AmbiNLG データセットの補完テキストを元の指示に追加することで曖昧性を解消し、その挙動を性能と曖昧性の観点から分析する。

曖昧性解消の評価曖昧性が完全に解消されているか否かを判別することは難しい。そこで、補完テキストを指示文に追加したときに、追加前と比較してよら曖昧性が補完されるか、つまり相対的な曖昧レベルの変動に着目することで曖昧性を評価する。具体的には、まず指示テキストを GPT-4 に与え、補完テキストを後から追加したときに追加前と比べて曖昧レベルが「増加」したか「減少」したか 「不変」であるかの三值分類を行った。曖昧レベルの減少は、補完テキストが指示テキストの曖昧性補完に寄与したことを意味する。

本分析では、提案する補完テキストに加え、比較対象として別の事例・同じカテゴリの補完テキスト （RANDOM）と指示テキストから補完テキストと可能な限り単語数の近い文を抽出したもの $\left(\right.$ OvERLAP $\left.{ }^{3}\right)$ の 2 種類も用いる4)。

タスク性能に対する曖昧性解消の効果補完テキストを元の指示テキストに加えることで実際のタスクを解かせた際の性能が向上するかを調べる。これは、補完テキストの内容がタスクを解くうえで有用であることを示す。指標には、本研究が対象とする多様な NLG タスクに対応するため、SNI [9] と同様に正解文との単語の重複度合いに基づくROUGE-L F1 スコア [21]を採用する。

## 3.2 曖昧性分析結果

曖昧性は性能に影響を与えるか本分析では、曖昧性補完テキスト、RANDOM、OVERLAP のテキスト

2）キーワード数 $n$ は、合計単語数が出力単語数の $40 \%$ 以下を満たす最大数、あるいは最大で 4 とした。

3）指示テキストが短い場合は、TEmpLATE の長さに近くなるように指示テキストを複数回繰り返す

4）この曖昧性評価の性能は、RANDOM やOVERLAP に対して全カテゴリ平均で正答率 $94 \% を$ 超えることを確認している（詳細は Appendix B に記載した)。つまり、GPT-4 は情報量や系列長が增えることと曖昧性が解消されることを高精度で区別できている。

表 1 曖昧レベルと性能の関係。性能は追加指示テキストを与えない場合との ROUGE スコアの差分

それぞれを指示テキストに連結してタスクを解かせた時の性能を、判定された曖昧レベルごとに集計した結果を表 1 に示した。なお、数値は追加テキストなしの性能との差分の平均値である。わかりやすさのため、曖昧レベルが増加したものを「曖昧である」、減少したものを「明瞭である」と表記する。

これによると、ほぼ全ての曖昧性カテゴリで、「明瞭である」と判定されたテキストを追加することで、最大で 9.12 ポイント性能が向上する。逆に「曖昧である」と判定された追加テキストを使うとすべての曖昧性カテゴリにおいて性能は大きく低下し、最大で 16.1 ポイント悪化する。このように、指示テキストの曖昧性は確かに性能を悪影響を及ぼすこと、つまりその曖昧性を補完することが性能向上に有効であることがわかる。性能への影響の大きさは曖昧性カテゴリごとに異なり、曖昧性を解消することでほぼすべての曖昧性カテゴリで性能が大きく向上したが、STYLEでは悪化した。理由としては、文体制御による単語選択に合わせて出力テキストの表層情報が変化することが挙げられる。

## カテゴリごとの網羅的な曖昧性補完は必要か 提案手法は、NLG タスクに見られる様々な曖昧性を 網羅するために、曖昧性カテゴリごとに別途補完テ キストを生成させており、さらにそれらを併用でき る。そこで、補完テキストを作成する際に明示的に カテゴリ名とその説明を与える場合と曖昧性カテゴ リを与えない場合5)、また全カテゴリの補完テキス トを同時に連結する場合の性能を比較することで、 カテゴリを明示的に、また網羅的に扱うことの重要性について調べる。

表 2 に示したように、明示的にカテゴリ名を与えない場合は、カテゴリ名を明示的に与えた場合に比べて性能が低く、補完テキストを追加しない場合と

5） fine-tuning なしの GPT-3.5を用いて、可能な限り提案手法と近いプロンプトを用いて、テンプレート “Additional information: _._.-”を穴埋めさせた。

表 2 異なる曖昧性解消方法による ROUGE スコア。值は曖昧性解消前との差分の平均値

表 3 カテゴリごとの補完テキストに従った事例の割合 （人手）と指示全体に対する IF スコア（G-Eval）

大差ない。一方で、全てのカテゴリの補完テキス卜を同時に与えた場合は、与えない場合に比べて $17.2 \%$ も性能向上が見られた。以上の結果から、曖昧性補完テキストを生成する際は補完させるべき観点を明確化すること、また複数のカテゴリを網羅的に扱うことが有効であることが示された。このためには、本研究のようにデータを分析し、観測される曖昧性カテゴリを体系化することも必要である。

また、生成した結果が実際に指示に従ったものかを人手評価および自動評価した。自動評価では、 GPT-4 に基づくNLG のための評価フレームワーク G-Eval [22]を採用した。人手評価では、補完テキストに従っている事例の割合を調べた ${ }^{6)}$ 。G-Eval は、各事例が補完テキストを追加した指示全体にどれだけ従ったかを表す Instruction Following（IF）スコアを調べた。参考值として補完テキストなしの場合のスコアも示した。各曖昧性カテゴリごとに 50 件ランダムサンプリングした結果を表 3 に示したように、人手評価では平均で $92 \%$ の事例で生成結果が曖昧性補完テキストの指示に従っていることがわかった。また自動評価でもほとんどの曖昧性カテゴリで PLAINよりも指示テキスト全体に従えていることがわかった。以上より、提案手法は曖昧性補完によってタスク性能を向上させられたと考えられる。

曖昧性は頑健性に影響を与えるか瞹昧な指示を与えられると、LLM 自身がその曖昧性を適切に補完することを強いられる。しかしその補完方法によって出力が左右されるため、曖昧な指示は明瞭な指示と比べて性能にもばらつきが生じることで頑健性にも悪影響を与える可能性がある。そこで、曖昧図 2 各事例 5 回の試行での ROUGE スコアの変動係数。

な指示と明滕な指示をそれぞれ与えた LLM から複数の出力をサンプリングし、それらに対して性能を求め、その変動係数を比較することで、指示の曖昧性が頑健性に与える影響を調べる。 temperature $=1.0 、$ top_p=0.9を採用し、ランダムにサンプリングした 100 件の事例に対してそれぞれ 5 回ずつ推論させたときの ROUGE スコアの変動係数を図 2 に示した。参考値として、補完テキストなしの設定 (PLAIN) での値も示した。変動係数が大きいほど、出力結果のばらつきが大きいことを指す。

結果、ほぼすべての曖昧性カテゴリにおいて、曖昧性解消により変動係数が最大で 27.1 ポイント減少し、出力性能のばらつきを抑制できることがわかった。そのため、曖昧な指示を用いた場合、モデル間の性能比較においてそれらの優位関係が入れ替わり得るため、頑健な比較のためには指示が明膫であることを担保する必要がある。

## 4 おわりに

本研究では、自然言語生成（NLG）における指示テキストの曖昧性解消手法の提案と、曖昧性解消がタスク性能に与える影響について調査した。既存のベンチマークセットの指示に含まれる曖昧性を体系化し、その曖昧性を補完するためのテキストを曖昧性カテゴリごとのテンプレートを用いて生成した。 そして、その補完テキストを元の指示に追加することで複数の曖昧性を網羅的に解消する手法を提案した。分析の結果、曖昧性解消は性能向上に重要であり、特に曖昧性の体系化および網羅性が重要であることがわかった。今後の展望としては、データの曖昧性や曖昧性解消結果の人手評価や、複数モデルを用いた曖昧性解消能力の調査を行いたい。

6） KEYwORD は指定したキーワードのいずれかが入っているか、LENGTH は単語の場合は系列長 $\times 0.4$ 、文の場合は文数 $\times$ 0.2 の摇れまでを許容した。

## 謝辞

有益な助言をしていただいた大阪大学の荒瀬由紀准教授に感謝いたします。

## 参考文献

[1] Tom Brown et al. Language models are few-shot learners. In NeurIPS, 2020.

[2] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In ICLR, 2022.

[3] Ryuto Koike, Masahiro Kaneko, and Naoaki Okazaki. How you prompt matters! even task-oriented constraints in instructions affect $11 \mathrm{~m}$-generated text detection. arXiv preprint arXiv:2311.08369, 2023.

[4] Jules White, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse Spencer-Smith, and Douglas C Schmidt. A prompt pattern catalog to enhance prompt engineering with chatgpt. arXiv preprint arXiv:2302.11382, 2023.

[5] Yu Wang and Eugene Agichtein. Query ambiguity revisited: Clickthrough measures for distinguishing informational and ambiguous queries. In HLT, 2010.

[6] Jonathan Pilault, Xavier Garcia, Arthur Bražinskas, and Orhan Firat. Interactive-chain-prompting: Ambiguity resolution for crosslingual conditional generation with interaction. In IJCNLP-AACL, 2023.

[7] Zeqiu Wu, Ryu Parish, Hao Cheng, Sewon Min, Prithviraj Ammanabrolu, Mari Ostendorf, and Hannaneh Hajishirzi. InSCIt: Information-seeking conversations with mixedinitiative interactions. TACL, 2023.

[8] Sewon Min, Julian Michael, Hannaneh Hajishirzi, and Luke Zettlemoyer. AmbigQA: Answering ambiguous open-domain questions. In EMNLP, 2020.

[9] Yizhong Wang et al. Super-NaturalInstructions: Generalization via declarative instructions on 1600+ NLP tasks. In EMNLP, 2022.

[10] Ehud Reiter and Robert Dale. Building applied natural language generation systems. NLE, Vol. 3, No. 1, pp. 57-87, 1997.

[11] David D. McDonald and James D. Pustejovsky. A computational theory of prose style for natural language generation. In EACL, 1985.

[12] Karen Kukich. Design of a knowledge-based report generator. In ACL, 1983.

[13] Regina Barzilay and Mirella Lapata. Modeling local coherence: An entity-based approach. In ACL, 2005.

[14] David Reitter, Frank Keller, and Johanna D. Moore. Computational modelling of structural priming in dialogue. In NAACL, pp. 121-124. Association for Computational Linguistics, 2006.

[15] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In WNMT, 2018.

[16] Bosheng Ding, Chengwei Qin, Linlin Liu, Yew Ken Chia, Boyang Li, Shafiq Joty, and Lidong Bing. Is GPT-3 a good data annotator? In ACL, July 2023.
[17] Fabrizio Gilardi, Meysam Alizadeh, and Maël Kubli. Chatgpt outperforms crowd-workers for text-annotation tasks. PNAS, 2023.

[18] Haopeng Zhang, Hayate Iso, Sairam Gurajada, and Nikita Bhutani. Xatu: A fine-grained instruction-based benchmark for explainable text updates. arXiv, 2023.

[19] Steven Bird. NLTK: The Natural Language Toolkit. In COLING-ACL, 2006.

[20] Ricardo Campos, Vítor Mangaravite, Arian Pasquali, Alípio Jorge, Célia Nunes, and Adam Jatowt. Yake! keyword extraction from single documents using multiple local features. Information Sciences, Vol. 509, pp. 257289, 2020.

[21] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[22] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, and Chenguang Zhu. G-eval: NLG evaluation using gpt-4 with better human alignment. In EMNLP, 2023.

[23] Albert Lu, Hongxin Zhang, Yanzhe Zhang, Xuezhi Wang, and Diyi Yang. Bounding the capabilities of large language models in open text generation with prompt constraints. In Findings of the EACL, 2023.

 \\

表 4 曖昧性カテゴリと “Write a summary about climate change.”という指示に対する補完テキストの例

## A 曖昧性解消データセット詳細

作成プロセスの詳細 STYLE の穴埋めは、代表的な項目や先行研究 [23] で用いられている分類7)への分類問題として行なった。PLANnING は、テキストの大域的な構造を対象としていることから、出力テキストが 2 文以上から構成される事例にのみ適用した。また、KEYWORDはキーワード抽出器がキーワー ドがあると判定した事例のみ対象とした。

人手によるデータ選定基準選定基準は、(1) 内容が適切である (2) 出力テキストが何かが明示する記述を含まない (3) 出力テキストに対して明らかな間違いを含まない (4) 別の曖昧性カテゴリの記述を含まない (5) 指示テキストや入力テキストと大きく内容が重複しないことである。

## B 分析結果詳細

## 補完テキストによる出カテキストのリーク評価補完テキストによる出力テキストのリークについて 評価するため、出力テキストとの単語の一致度合い を ROUGE で評価した結果を表 5 に示した。参考値 として、入力テキストと出力テキストでのスコアも 示した。これによると、すべての曖昧性カテゴリに おいて補完テキストは入力テキストでのスコアと比較して同程度あるいは大幅に低い値であった。

GPT-4 は曖昧性を認識できるか 3.2 節の分析で用いた追加テキスト (RANDom、OvERLAP) の曖昧

表 5 補完テキストと入力テキストそれぞれの出力テキストとの ROUGE スコア

図 3 各曖昧性カテゴリでの曖昧性評価の正答率

性カテゴリごとの曖昧性評価の正答率をもとに、 GPT-4 がもつ曖昧性の判断能力について調べる。 RANDOM が与えられた場合は、情報量が増えているが有用な情報ではなく曖昧性は解消できない。元の指示テキストと内容が競合する場合は曖昧性レベルが上昇することもある。また OVERLAP が与えられた場合は、情報量も増えておらず曖昧性は解消できない。そのため、曖昧レベルは同程度である。以上より、各テキストを指示テキストに追加した際の曖昧性評価の正答率 $P_{R} 、 P_{O}$ は以下のように計算される。両正答率ともに、 $100 \%$ に近いほど良い。

$
\begin{aligned}
& P_{R}=\frac{\text { 減少・不変ラベルが振られた事例数 }}{\text { 総事例数 }} \\
& P_{O}=\frac{\text { 不変ラベルが振られた事例数 }}{\text { 総事例数 }}
\end{aligned}
$

各追加テキストの正答率を図 3 に示した。結果によると、RANDom、OVERLAP に対してほとんどのカテゴリで正答率が $90 \%$ を超えた。全カテゴリ平均ではそれぞれ 94\%を超える。つまり、GPT-4 は曖昧性が補完された現象と情報量や系列長が増えた現象をある程度明確に区別できていることが示唆される。

7) 'descriptive, expository, narrative, persuasive, directive, conversational, technical, journalistic, review, poetic, formal, informal, optimistic, assertive, dramatic, humorous, sad, passive-aggressive, worried, friendly, curious, encouraging, surprised, cooperative'


# 土木分野における LLM を用いた言語モデル評価手法の提案

緒方 陸 ${ }^{1}$ 大久保 順一 ${ }^{1}$ 藤井 純一郎 ${ }^{1}$ 天方 匡純 ${ }^{1}$
1 八千代エンジニヤリング株式会社
\{rk-ogata, jn-okubo, jn-fujii, amakata\}@yachiyo-eng. co. jp

## 概要

土木分野においても自然言語処理技術への期待は大きく, 近年実用へ向けた検討が増加している。この技術が充分に機能するためには，文脈を考慮した土木専門用語の言語モデルによる理解が必要であり, その適切な評価が求められる. しかし, 既往研究はいかに土木分野へ適応させるかに焦点を当てた研究が多く, 言語モデルの文章生成能力の評価には重きが置かれていない. そこで本研究では, 土木分野における言語モデルの性能評価のため, 評価の際に一度 LLM で要約することで評価を行う自動評価手法を提案する。語彙数が多く回答長が長い場合には，既往手法に比較して本手法が有効に働き，より人手評価に近い結果となることを示した.

## 1 はじめに

近年，土木分野において従来紙により管理されていた諸元や巡視・点検情報がデジタル化されている. これに伴い，土木技術者の作業効率化 - 省力化へ向けた自然言語処理活用研究例も増加している

$[1,2,3,4,5]$. 一方で, いかに土木分野へドメイン適応させるかに焦点が当てた研究が多く, 言語モデルの文章生成能力の評価には重きが置かれていない。また，土木用語を含む文章の正確性を評価する手法の確立やデータセットの整備は課題としても指摘されている[2]. 評価手法の一つとして, 人手評価はよく用いられるが，時間的・金銭的コストが高い。そのため, 研究・開発の加速へ向けては自動評価手法の確立が必要となる.

本研究では, 土木分野における言語モデルの性能評価のため, 言語モデルが適切に文章を理解し, 土木工学の文脈を考慮して文章を生成できるかを測る評価手法の確立を目指す。QA タスクにおいて, 既往評価手法と提案手法を人手評価と比較し, どの手法が土木分野において適切な評価が可能かを検討した.

## 2 既往研究

## 2.1 ドメイン適応

自然言語生成(Natural Language Generation; NLG) タスクの評価手法として, BLEU [6]や ROUGE [7], BERTScore [8]などがあるが，類義語の判定ができない，専門用語の評価が困難などの問題がある.

土木分野における自動評価例としては，技術文書の分類精度を評価した例[1,3]やキーワードの重なり具合を測る Keyword Intersection, 文章生成の流暢さを測る Perplexity を適用したものがある[2].しかし分類精度は言語モデルの文章生成能力を測るものとしては適さない。また, Keyword Intersection, Perplexity は次の問題がある. 日本語の場合, Keyword Intersection による評価を行う場合は形態素解析の必要がある.その際専門用語は辞書登録されておらず，適切に評価できない可能性がある。この辞書整備の課題については箱石ら[1]も指摘している. Perplexity は，文章生成における流暢さを測る指標であり，単語の発生確率から算出するため, 藤井ら[2]の指摘の通り専門的な内容を評価するには向かない。

土木以外の特定ドメインにおいては，BERT をフアインチューニングすることで特定ドメイン $[9,10,11]$ に適応した例がある。また近年では，ドメイン特化の大規模コーパスでLLMを学習させることで, ドメイン適応した例[12,13]も存在する. これらの例では分類，固有表現抽出（NER），QAタスクなどの精度 (Accuracy / Precision / Recall / F1 score) や単語間ベクトル類似度，人手評価などで特定ドメインの性能を評価しているが， ベンチマークデータセットによる評価であり, データ整備が必要である.

## 2. 2 LLM を用いた自動評価

近年では自動評価手法として大規模言語モデル （LLM）を用いた方法も存在する。Wang らはハイパーパラメータの自動チューニングを目的に，パラ

メータサイズ 7B 程度のモデルを学習させることで GPT-3.5 や GPT-4 に近い精度の評価能力を持たせることを可能にした[14]. また，笠原ら[15]も日本語のタスクにおいて, LoRA などによる LLM チューニング手法により, 既往の自動評価手法と同等以上の精度を示している. しかしこれらは学習データ整備や学習のコストが発生する. 現状データ整備が進んでいない土木分野においては学習不要な自動評価手法が望ましい。

学習不要な自動評価手法として, GPTScore が提案されている[16]. GPTScore は, GPT-3.5などの LLM が, 入力に従って高品質のテキストを生成する確率が高いという前提のもと, 条件付き生成確率でスコアを計算する方法である.また Liu ら[17]は, GPT-3.5 やGPT-4 の出力スコアの確率を使用し, それらの加重合計を最終結果として得る方法を提案した. ただし同著者ら[17]は LLM は LLM が生成した回答をより好む傾向があるなど問題を指摘している。そのほか WebUI 実装の必要はあるが，Web 上でユーザー が入力した質問に対し, 複数の LLM の回答を表示させ，より好ましい回答をユーザーが選択することで評価を行うプラットフォームもある[18].

ここで Zheng ら[18]は, LLM には潜在的な限界があるとして，(1) Position bias ; 選択肢が先のものを好むなど回答の順序に影響を受けるバイアス，(2) Verbosity bias ; 明確でなく, 品質が低く, 正確でないとしても，より長く朵長な回答を好むバイアス，

(3) Self-enhancement bias; 自分で作成した回答を支持するバイアス，を指摘している。同様に Saito ら[19] もVerbosity bias について調査し, 人手評価が短い回答を高く評価している場合, LLM の人手評価との一致度は低くなる傾向を確認している。

以上のように，バイアスにも留意しつつ，LLMを用いた評価を行う必要がある．著者らが確認した限りでは土木分野に上記手法を適用した例は無く, その活用が期待される.

## 2.3 本研究の目的

LLM は大規模なコーパスで学習しており, 土木分野も一部学習している。また，LLM は N-gram ゙ー スの手法のようにキーワードのみではなく，長いコンテキストを踏まえて評価可能と考えた。

本研究では,データ整備が進んでいない状況下で,土木分野においてより適切な自動評価手法の確立を目指し，LLM を用いた評価手法を提案する。

## 3 実験方法

## 3. 1 データセット

評価用データセット作成にあたり，国土技術政策総合研究所の資料[20]青いた. 当資料は橋梁設計分野の実務においても使用され，橋梁計画における基本条件設定やリスク評価について記載された資料である。この資料から人手により，自然言語処理分野で一般的なタスクである Closed-book QA タスクのデータセット（全 50 件）を作成した. 参考として例を付表 1 に示す.なお，作成においては資料の文章から抜き出したものを正解の回答とし, LLM 自体が知識を保有(学習してパラメータに暗黙的に保持) していれば回答できる内容となっている。また前提として, ユーザーが Question を入力した際に欲しい回答として Answer を想定している.

## 3. 2 実験方法

文章生成モデルには Llama 2 -Chat (7B) [21],

GPT-3.5-turbo [22], GPT-4 [23], PaLM 2 (Bison) [24] を使用した。また入出力は日本語とし，以下をプロンプトとして与えた。なお，\{q\}は QA データセットの質問を表す。

\#\# 指示：

橋梁設計技術者として、以下の質問に"日本語で "回答してください。 \#\#\# 制䄪:

一単語や文章を 3 回以上繰り返す出力は禁止します。

一日本語以外の言語の出力は禁止します。

質問: $\{q\}$

\#\#\# 回答：

上記プロンプトで生成したテキストを用い，次節で述べる人手評価と各種自動評価手法を比較した。両結果の比較には Spearman の順位相関係数を用い， どの自動評価手法が人手評価に近いかを評価した。 なお, 回答の生成は全てのモデルで一度のみ行った。

## 3. 3 評価方法

## 3.3. 1 人手評価

人手評価は半自動のキーワード評価を組み合わせる形で実施した.キーワード評価は次の方法で行う.

 \\

自動でキーワード評価を実施する場合は専門用語の抽出が問題となるため，まず著者が人手で正解の回答からキーワードを抽出することでこの問題に対処した. 次に，抽出したキーワードが生成した回答にどの程度含まれるかを算出し, その割合を keyword score とした. なお, 正解および生成した回答に含まれるキーワードはユニークなものを用いた。キーワ一ド評価後, 土木工学系大学院生 4 名によりモデルが生成した文章を 5 段階で評価した. 評価基準は表 1 に示す. 4 名の作業者間の評価結果に相関があることを確認し，これらの平均を正解スコアとした。

## 3. 3.2 自動評価

## 既往手法

既往自動評価手法として, BLEU-4, ROUGE-1 / ROUGE-2 / ROUGE-L, BERTScore の F1 值を算出した。ここで, Zheng ら[18]は LLM を用いた評価手法として次の 3 つを挙げている. (1) Pairwise comparison; LLM に 1 つの質問と 2 つの回答を提示し, どちらが優れているかを判定する方法 (2) Single answer grading; LLM に 1 つの回答を渡し, 直接スコアを割り当てる方法 (3) Reference-guided grading; LLM に reference を提供し, 優れている回答を判定またはスコアリングする方法. 本研究では QA デー タセットを作成し reference を使用可能なため, (3) Reference-guided grading $の$ 方法として G-Eval [17]を採用した. G-Eval について, 原著論文[17]では要約タスクで Coherence, Consistency, Fluency, Relevance を採用している. 本研究では「言語モデルが適切に文章を理解し，土木分野の文脈を考慮して文章を生成できるか」を測るため，生成されたテキストの内容を評価する Relevance のみを採用した。なお，プロンプトは Liu ら[17]のものを和訳して使用した。

## 提案手法

本稿では Liu らの G-Eval [17]をべースに表 1 に示す基準を踏まえてプロンプトを調整した。参考として，使用したプロンプトは付図 1 に示す.
また, 2.2 節で述べたバイアスへの対応も検討するまず，Self-enhancement bias の対応として，今回文章生成に使用していない Google 社の Gemini-Pro[25] を評価モデルに使用することで Self-enhancement bias の影響を軽減できると考えた. さらに提案手法として, Verbosity bias 軽減を目的とし, 生成した文章を要約した上で評価を行う方法を採用した

(Proposed-gpt4 / gemi) . なお Position bias について,本稿ではモデル同士の相対評価は実施しないため, Position bias の影響は受けないと考えている.

今回採用した LLM を用いた評価手法一覧を表 2 に示す.プロンプト，要約・評価モデルの違いにより全 5 ケースとなる. 既往手法との比較およびバイアスへの対応の貢献は，結果とともに次節で示す.

表 2 LLM を用いた評価手法

## 4 結果と考察

表 3 に結果を示す.上段は既往手法，下段は今回新たにプロンプト等を検討した提案手法である．表中の全体評価は全モデルのスコアをまとめて評価した結果，平均は各モデルの結果の算術平均である.

結果から，全体評価は既往手法のうち BERTScore が最も人手評価に近い結果を示した。ただし後述する今回の結果からは，各モデルは異なる特性を持つと考えられ，モデルを跨いだ全体評価は適切な評価指標になり得ないと推察した。よって, 以降は各モデルの評価結果について考察する.

G-Eval および G-Eval-gpt4 は，Llama2 を除いて

BERTScore を超えるスコアを発揮した. Llama2 で相関がやや低くなった原因として，G-Eval は関連性の
表 3 実験結果人手評価と各手法の相関（太字：最高スコア, 下線 : 次点スコア）

強い重要な情報のみで評価しており Llama2 は全体的に低評価となったこと, G-Eval-gpt4 は冗長な回答でも高評価とする傾向があることが挙げられる。また, G-Eval-gemi は G-Eval および G-Eval-gpt4 と比較して同等以下のスコアであった.これらは評価モデルの性能の違いによるものと考えた. Gemini-Proの性能は多くのテキストベンチマークでGPT-4には劣っている[25]. よって G-Eval-gemi が低いスコアとなった原因は, Gemini-Pro よりも GPT-4 の方が評価能力が高く, Self-enhancement bias の影響よりもこの差の影響が大きいためと推察した。この傾向は

Proposed-gpt4/gemi でも確認できる.

Proposed-gpt4 の GPT-4 の評価は, 今回採用した手法の中で最も人手評価との相関が高い結果となった. ここで, 表 4 に各モデルが生成した回答の語彙数および回答の平均長さを示す. なお語彙の抽出は, 出力として日本語を想定していること, および英語の出力は主に Llama2 のものであり, かつ質問文などの繰り返しが大半であることから, 日本語のみを対象としている。表より, Llama2, GPT-3.5, PaLM2 は同程度の語彙数であるのに対し, GPT-4 は回答長が長く, 他モデルの 2 倍程度の語彙を持つ. この結果から, 語彙数が少ない場合には N-gram ベースの手法などの既往手法である程度の評価が可能だが，今回の GPT-4 の結果のように語彙数が多い場合には既往手法では評価が困難であると考えた。加えて， Proposed-gpt4 が GPT-4 の生成した回答の評価において比較的人手に近い評価となったことから, 語彙数が多く回答長が長い場合には回答を要約後に評価する方法が有効に働き, Verbosity bias を軽減できる可能性を示した。一方で Llama2 の評価においては，要約により, 英語による質問文繰り返しなど明らかに不要な表現が除かれたことで人手評価との相関が低くなったと推察した. Proposed-gemi に着目すると，要約により GPT-4の評価スコアは向上しているものの, その他モデルの評価は G-Eval-gemi と同程度となった.この結果から, LLMを用いた評価と人手評価との相関は評価モデルに依存すると考えた.

表 4 各モデルが生成した回答の語彙数と回答平均長さ

## 5 おわりに

本稿では，土木分野の QA タスクにおいて，既往の評価手法と本研究で提案する評価手法について人手評価と比較し, どの手法が土木分野において適切な評価が可能かを検討した。提案手法による評価は既往手法と同等以上のスコアを発揮し, 特に語彙数が多く回答長が長い場合においては, 生成された回答を要約してから評価することで Verbosity bias を軽減できる可能性を示唆した。

本検討に関して留意すべき点として二点挙げる. まずデータ不足について，今回用いたデータセットは 50 件と小規模であり,このバイアスが結果に表れた可能性がある。土木業界全体としてデータ整備が進んでいないため, 業界全体で取り組むべき課題であると考える。また，今回プロンプトは手動で作成した。一方で近年では自動で動的にプロンプトを生成する方法もあり[26], これにより精度が向上する可能性がある. LLM による評価はプロンプトに敏感であり[17], この検討も必要であると認識している.

## 参考文献

[1] 箱石健太，一言正之，菅田大輔. 土木分野における事前学習モデル BERT による精度検証. 土木学会論文集特集号（土木情報学）, 79 巻 22 号, 22-22042, 2023.

[2] 藤井純一郎, 大久保順一, 緒方陸, 天方匡純. LLM を土木分野に適応するための基礎的研究, pp.779-785, $\mathrm{AI}$ ・データサイエンス論文集, 4 巻 3 号, 2023.

[3] 菅田大輔，箱石健太，一言正之.土木・建設分野における大規模言語モデルの利活用に向けた検証と考察，pp.670-676, AI・データサイエンス論文集, 4 巻 3 号, 2023.

[4] 青島亘佐, 宮内芳維. 大規模言語モデルの活用による橋梁点検調書作成の省力化に関する検討, pp.274-284, AI・データサイエンス論文集, 4 巻 3 号, 2023.

[5] 稲富翔伍, 山根達郎, 金崎裕之, 全邦釘. 大規模言語モデルと画像セグメンテーションによる専門知撞融合型土砂災害危険性判断手法, pp.507-514, AI・デ一タサイエンス論文集, 4 巻 3 号, 2023.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: A method for automatic evaluation of machine ranslation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002

[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the ACL Workshop: Text Summarization Branches Out, pp. 74-81, 2004.

[8] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In Proceedings of the Eighth International Conference on Learning Representations, 2020.

[9] Iz Beltagy, Kyle Lo, Arman Cohan. SciBERT: A pre-trained language model for scientic text. In Pro-ceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th Internation-al Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[10] Kexin Huang, Jaan Altosaar, Rajesh Ranganath. ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission. arXiv preprint arXiv:1904.05342, 2019 .

[11] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinform., Vol. 36, No. 4, pp. 1234-1240, 2020

[12] Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann. BloombergGPT: A large language model for finance. arXiv preprint arXiv:2303.17564, 2023.

[13] Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfield, Sushant Prakash, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semturs, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikesalingam, Vivek Natarajan. Towards expert-level medical question answering with large language models. arXiv preprint arXiv:2305.09617, 2023.

[14] Yidong Wang, Zhuohao Yu, Zhengran Zeng, Linyi Yang, Cunxiang Wang, Hao Chen, Chaoya Jiang, Rui Xie,
Jindong Wang, Xing Xie, Wei Ye, Shikun Zhang, Yue Zhang. PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization. arXiv preprint arXiv:2306.05087, 2023.

[15] 笠原智仁，河原大輔，山崎天，新里顕大，佐藤敏紀. Decoder ベースの大規模言語モデルに基づくテキス卜生成の自動評価指標. 言語処理学会第 29 回年次大会, pp.1940-1945, 2023.

[16] Jinlan Fu, See-Kiong Ng, Zhengbao Jiang, Pengfei Liu. GPTScore: Evaluate as You Desire. arXiv preprint arXiv:2302.04166, 2023.

[17] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, Chenguang Zhu. G-Eval: NLG Evaluation using Gpt-4 with Better Human Alignment. In Proceedings of the 2023 Conference on Empirica Methods in Natural Language Processing, pages 2511-2522, Singapore. Association for Computational Linguistics, 2023.

[18] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv preprint arXiv:2306.05685, 2023.

[19] Keita Saito, Akifumi Wachi, Koki Wataoka, Youhei Akimoto. Verbosity Bias in Preference Labeling by Large Language Models. arXiv preprint arXiv:2310.10076, 2023.

[20] 国土技術政策総合研究所国土交通省. 道路橋の設計における諸課題に関わる調査（2018-2019）. 国土技術政策総合研究所資料, No.1162, 2021.

[21] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[22] OpenAI. GPT-3.5. (オンライン) (引用日: 2024.1.11.) https://platform.openai.com/docs/models/gpt-3-5

[23] OpenAI. GPT-4 Technical Report. arXiv preprint, arXiv: 2303.08774v3, 2023.

[24] Google. PaLM 2 Technical Report. arXiv preprint arXiv:2305.10403., 2023.

[25] Gemini TeamGoogle. Gemini: A family of highly capable mul-timodal models. arXiv preprint arXiv:2312.11805, 2023.

[26] Harsha Nori, Yin Tat Lee, Sheng Zhang, Dean Carignan, Richard Edgar, Nicolo Fusi, Nicholas King, Jonathan Larson, Yuanzhi Li, Weishung Liu, Renqian Luo, Scott Mayer McKinney, Robert Osazuwa Ness, Hoifung Poon, Tao Qin, Naoto Usuyama, Chris White, Eric Horvitz. Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine. arXiv preprint arXiv:2311.16452, 2023.

## 付録

付表 1 QAデータセットサンプル

付図 1 調整したプロンプト（紙面の都合上一部改行を割愛）


# IIm-jp-eval: 日本語大規模言語モデルの自動評価ツール

Namgi Han ${ }^{1}$ 植田 暢大 ${ }^{2 *}$ 大获 匡俊 $1 *$ 勝又 智 $3 *$ 鎌田 啓輔 $4 *$ 清丸 寛一 $2 *$ 児玉 貴志 $2 *$菅原 朔 5* Bowen Chen ${ }^{1 *}$ 松田 寛 $6 *$ 宮尾 祐介 $1 *$ 村脇有吾 $2 *$ 劉弘毅 $7 *$

1 東京大学 2 京都大学 ${ }^{3}$ 株式会社レトリバ ${ }^{4}$ Weights \& Biases Japan

5 国立情報学研究所 6 株式会社リクルート 7 株式会社 Citadel AI

\{hng88, otake, bwchen, yusuke\}@is.s.u-tokyo.ac.jp

\{ueda,kiyomaru,kodama, murawaki\}@nlp.ist.i.kyoto-u.ac.jp

satoru.katsumata@retrieva.jp keisuke.kamata@wandb.com

saku@nii.ac.jp hiroshi_matsuda@megagon.ai koki@citadel.co.jp
## 概要

日本語の大規模モデルが次々と発表される中，その自動評価が重要性を増している。本稿では，日本語の大規模言語モデルに対する評価ベンチマー ク llm-jp-eval を提案する. 1lm-jp-eval は 8 カテゴリ,計 12 個の日本語の自然言語処理の公開評価データを用いて，言語モデルの生成結果を自動的に評価する. 評価は全て生成問題に基づくもので，既存の評価データセットにプロンプト形式を適用して自動変換した問題に対する言語モデルの回答を評価する。本稿では $11 \mathrm{~m}$-jp-eval を用いて様々な日本語大規模言語モデルを評価した結果を報告し，既存研究の知見に照らして議論する。

## 1 はじめに

ChatGPT をはじめとする大規模言語モデルの成功は全世界に大きな影響をもたらした. 日本も例外でなく，様々な日本語の大規模言語モデルが発表され続けている.これにともない，大規模言語モデルの性能評価が重要性を増している。

海外では大規模言語モデルが発表される際に，テクニカルレポートで既存の評価データセットを網羅した評価結果を報告する傾向が見られる.1）また Big-Bench [1]をはじめとする，大規模言語モデルの能力を測るためのベンチマークも充実している。それに比べ，日本語では JGLUE [2] が構築されているとはいえ，他の大規模言語モデルに対する評価ベンチマークは少ない.

本研究では，既存研究で提案されている 12 個の日本語の評価データセットを用いて大規模言語モデルの性能を評価するベンチマーク $1 \mathrm{~lm}$-jp-eval を提案する．1lm-jp-eval は，既存の評価データセットにプロンプト形式を適用することで全ての問題を生成問題に変換し，言語モデルが生成した回答に基づき評価を行う. $11 \mathrm{~m}$-jp-eval を用いた評価を公開大規模モデルに適用した結果，パラメータの数と日本語の継続学習が評価スコアに影響を与えることを確認できた. 1lm-jp-eval は Apache License 2.0 のもとオープンソースのソフトウェアとして公開されている. ${ }^{2)}$

## 2 関連研究

大規模言語モデルの評価ベンチマークは英語・中国語を対象として多くのものが提案されている. Chang ら [12]によると現時点で 40 個以上のベンチマークが存在し, その数は今なお増え続けている. また，これらの評価ベンチマークは自然言語推論をはじめとした伝統的な自然言語処理の課題はもちろ几，自動翻訳やコード生成などの生成問題から，社会的バイアスや信頼性などの安全性検証まで幅広くカバーしている. 例えば大規模言語モデルの研究開発が活発化する前に評価ベンチマークとして提案されていた GLUE [13] は9つのタスクで構成され，生成問題や安全性検証などの課題は含まれていない. それに比べ，大規模言語モデルの代表的な評価ベンチマークである Big-Bench は 200 以上の課題で構成され，GLUEが扱っていない様々な言語理解能力を評価している.

日本語の大規模言語モデルは, 2022 年 1 月に $1.3 \mathrm{~B}$

2）この論文の内容は以下のページで公開されている $11.2 .0 を$元に作成された : https://github.com/llm-jp/llm-jp-eval

図 1 llm-jp-eval の評価フレームワーク.

表 1 llm-jp-eval が対応している評価データセット.

パラメータの言語モデルを公開した rinna [14] をはじめ，様々なモデルが公開されるようになった. 2023 年は特にその傾向が強く, ELYZA [15], Japanese Stable LM [16], LLM-jp ${ }^{3}$, OpenCALM ${ }^{4}$, PLaMo [17], rinnaの 3.6B と 4B パラメータのモデル5), stockmark ${ }^{6)}$, Weblab $^{7)}$, Swallow [18] などが発表された.

しかし，日本語の大規模言語モデルの性能を検証するための評価ベンチマークの整備は追いついていない. 日本語の大規模言語モデルの評価に用いられる評価ベンチマークとして, JGLUE [2] の他に JP Language Model Evaluation Harness ${ }^{8)}$ がある. JP

3) https://huggingface.co/llm-jp

4) https://huggingface.co/cyberagent/open-calm-7b

5) https://huggingface.co/rinna/japanese-gpt-neox-3.6b https://huggingface.co/rinna/bilingual-gpt-neox-4b

6) https://huggingface.co/stockmark/ gpt-neox-japanese-1.4b

7) https://huggingface.co/matsuo-lab/weblab-10b

8) https://github.com/Stability-AI/

lm-evaluation-harness/tree/jp-stable
Language Model Evaluation Harness は JGLUE を取り入れつつ, JAQKET [19], JaQuAD [20], JBLiMP [21] のような日本語の評価データセット，そして MGSM [22], WikiLingua [23] XL-Sum [24]，XWinograd [25] のような多言語評価データセットをサポートしている. しかし，JP Language Model Evaluation Harness は課題によって，評価を行う際に評価対象の大規模言語モデルの生成結果ではなく，出力ラベルの対数尤度を使う場合がある.9）そのため，純粋に大規模言語モデルの生成結果で性能を評価していないという限界があった。

大規模言語モデルの対数尤度ではなく, 生成結果を評価する評価ベンチマークが求められる中, JGLUE に対する生成結果を評価した Nejumi リー ダーボード10) が提案された。しかし，Nejumiリー

9) https://note.com/wandb_jp/n/n2464e3d85c1a

10) https://wandb.ai/wandb/LLM_evaluation_Japan/ reports/LLM-JGLUE---Vmlldzo0NTUzMDE2

図 $211 \mathrm{~m}$-jp-eval で自動変換された自然言語推論の問題の例.

ダーボードには JGLUE だけが対象という限界があり，後に JGLUE 以外の評価データセットを新たに取り込んだ Nejumi リーダーボード Neo ${ }^{11 ）}$ と改良されたが，幅広い評価データセットを用いた評価は依然として必要とされている.

大規模言語モデルの出力を評価データセットが提供する正解と比較して評価するのではなく，オープンクエスチョンに対する大規模言語モデルの生成結果を GPT-4 のような相対的に強力な大規模言語モデルに評価させる手法も注目されている [26]. 決まった回答を用意することが困難なこの系列の日本語の評価ベンチマークとして, Japanese MT-Bench ${ }^{12)}$, Japanese Vicuna QA ${ }^{13)}$, Rakuda ベンチマーク14) などがある. しかし，これらの評価ベンチマークは特定の大規模言語モデルに依存しているため, 回答の与え方, 回答の冗長さ, 評価を行うモデルと評価対象のモデルの類似性などのバイアスに影響された評価結果になる可能性がある [26].

## 3 IIm-jp-eval

本研究では，大規模言語モデルの生成結果に基づき評価を行うベンチマーク $11 \mathrm{~m}$-jp-eval を提案する. $11 \mathrm{~m}$-jp-eval の評価フレームワークを図 1 に示す.

lllm-jp-eval は既存研究で提案された日本語の評価データセットを使用する. 表 1 に 1lm-jp-eval が対応している評価データセットを示す. 評価データセットには商用利用が可能なライセンスのもと公開されているものを選定している. 1lm-jp-eval は評価デー タを含んでいないため，評価データは公開先からダウンロードする必要があることに注意されたい.

llm-jp-eval は全ての評価データセットを生成問題として定式化し，回答として生成された文字

11) https://wandb.me/nejumi

12) https://github.com/Stability-AI/FastChat/tree/

jp-stable/fastchat/llm_judge

13) https://github.com/ku-nlp/ja-vicuna-qa-benchmark

14) https://yuzuai.jp/benchmark列と正解の文字列を比較することで評価を行う. 1lm-jp-eval が対応している評価データセットには生成問題として設計されてないものが多く含まれる. そのため，評価データセットはデータセットごとに設計したプロンプト形式15)を適用することで生成問題に変換する．変換された評価データセットの問題の具体例を図 2 に示す. 1lm-jp-eval はこのポリシー によって，大規模言語モデルが回答として生成した文字列を自動評価するという統一された手法を全ての評価データセットに適用する.

評価スコアは評価データセットに用意されている正解データ，大規模言語モデルの生成結果，そして評価データセットごとに決まっている評価指標によって計算される. また, llm-jp-eval はカテゴリー ごとに平均スコアを取った結果も提供している. この結果は JSON ファイルとしてローカルに出力される上，Weights \& Biases [28]を通じてクラウド上で管理する機能もサポートしている。

## 4 IIm-jp-eval による評価例

本稿では日本語の公開大規模言語モデルの一部と，継続学習のベースモデルとして使われている海外の大規模言語モデルの評価結果を示す. 大規模言語モデルは Hugging Face Hub ${ }^{16)}$ に公開されているものを用いた。 ハイパーパラメータ17)とプロンプト形式は同じもので統一した。評価は全て 4-shots で行った. 各カテゴリーのスコアはそのカテゴリーに所属している評価データセットのスコアの平均で計算した。なお，平均スコア（AVR）の計算にはSTS を含めていない。これはSTS が他のカテゴリーと異なり評価指標が相関係数で， -1 から 1 までの数値であるためである.

評価結果を表 2 に示す。その他のモデルを含むよ

表 $21 \mathrm{~lm}$-jp-eval の評価例. AVR は STS を除く評価スコアの平均.

り詳細な評価結果は, Weights \& Biases 上で公開しているリーダーボード18)を参照されたい。

表 2 の上段はパラメータの違いによる評価スコアの違いを示す. OpenCALM と LLM-jp の両方で，パラメータの数が増えるごとに評価スコアも高くなる傾向が確認された. 特に $\mathrm{QA}$ と $\mathrm{RC}$ でその傾向が強く, 言語モデルが大規模であるほど与えられた問題に対する答えの生成能力が高くなるという既存の知見と合致する結果となった.

表 2 の下段は主に英語を対象としている海外の大規模言語モデルと, それに対して日本語の継続学習を行った日本語の大規模言語モデルの評価結果を示す. Swallow, ELYZA, Japanese Stable LM Beta は Llama2 に日本語のコーパスで継続学習を施した言語モデルである. Japanese Stable LM Gamma は Mistral を継続学習したモデルである. どちらの評価スコアも，日本語のコーパスで継続学習を行った言語モデルの方が高く, 継続学習によって日本語の言語理解が改善されていることが分かる．また，こちらでも上と同じく QA と RC で評価スコアの向上が観測された.

しかし，パラメータの数の増加や継続学習の実施により，あらゆるタスクで一貫して性能が向上しているわけではない. NLI，FA，STS の評価スコアがその例である. これらのタスクはそもそも生成問題として設計されていないタスクという共通点はあるが，原因の詳細な分析は今後の課題とする.

## 5 おわりに

本研究では日本語の大規模言語モデルに対する評価ベンチマークである $1 \mathrm{~m}$-jp-eval を構築した. 既

18) https://wandb.me/llm-jp-leaderboard存のベンチマークと同じく, llm-jp-eval は公開評価データセットを評価対象として取り入れている。しかし，その評価データセットを全て生成問題とみなして評価しているという点で異なり，評価対象としているデータセットが全て商用利用可能なライセンスのもと公開されているため, 研究はもちろん企業での大規模言語モデルの開発でも $1 \mathrm{~lm}$-jp-eval を取り込みやすいという利点がある ${ }^{19)}$ 。また，11m-jp-eval による評価例から $1 \mathrm{~lm}$-jp-eval の評価スコアと大規模言語モデルに対する既存の知見を比較し，その結果を議論した。

英語を対象にした評価ベンチマークに比べると， $11 \mathrm{~m}$-jp-eval 含め, 日本語の評価ベンチマーク構築はまだ先が長い. まず足りないものとして，評価デー タセットの数と種類がある. Chang ら [12] は大規模言語モデルが評価されるべき能力として，伝統的な自然言語処理のタスクはもちろん，社会バイアスや毒性表現などに関わる倫理・信頼性, 医療や応用夕スクに関わるドメイン特化能力, 理工学・社会科学のように実世界を理解する能力などをあげている. また，これらの能力を測るべく発表されている評価データセットも数多く報告している. しかし, 日本語の評価データセットはまだ英語圈に比べて提案されているものが少なく, 既存の評価データセットを束ねて評価ベンチマークとする動きも少ない。そのため，新たなデータセットの開発，英語圏の評価データセットの翻訳，多数の評価データセットを取り込む評価ベンチマークの提案などを，日本語の大規模言語モデルの評価に対する今後の課題にしたい.

19）例えば前述した Nejumi リーダーボード Neo では llm-jpeval も有効活用し, 対応する日本語の評価データセットを増やしている.

## 謝辞

本研究の成果の一部は，データ活用社会創成プラットフォーム $\mathrm{mdx}$ を利用して得られたものです.

## 参考文献

[1] BIG bench authors. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. Transactions on Machine Learning Research, 2023.

[2] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[3] Tomoki Sugimoto, Yasumasa Onoe, and Hitomi Yanaka. Jamp: Controlled Japanese temporal inference dataset for evaluating generalization capacity of language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop), pp. 57-68, Toronto, Canada, July 2023. Association for Computational Linguistics.

[4] Hitomi Yanaka and Koji Mineshima. Assessing the generalization capacity of pre-trained language models through Japanese adversarial natural language inference. In Proceedings of the 2021 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP2021), 2021

[5] 川添愛, 田中リベカ, 峯島宏次, 戸次大介. 形式意味論に基づく含意関係テストセット構築の方法論. 人工知能学会全国大会論文集第 29 回 (2015), pp. 1K31-1K31. 一般社団法人人工知能学会, 2015.

[6] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1266-1284, 2022.

[7] 石井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための日本語マルチホップ $\mathrm{QA}$ データセット構築.言語処理学会第 29 回年次大会論文集, 2023.

[8] 関根聡. 百科事典を対象とした質問応答システムの開発. 言語処理学会第 9 回年次大会, 2003.

[9] Takahiro Kubo and Hiroki Nakayama. chABSA: Aspect based sentiment analysis dataset in Japanese, 2018. https://github.com/chakki-works/chABSA-dataset/blob/ master/doc/chabsa-aspect-based.pdf.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始めに対する意味関係タグ付きコーパスの構築とその分析. 自然言語処理, Vol. 21, No. 2, pp. 213-247, 2014.

[11] 堀尾海斗, 村田栄樹, 王昊, 井手竜也, 河原大輔, 天, 新里顕大,中町礼文, 李聖哲, 佐藤敏紀. 日本語における chain-of-thought プロンプトの検証. 人工知能学会全国大会論文集, Vol. JSAI2023, pp. 3T1GS602-3T1GS602, 2023.

[12] Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, Wei Ye, Yue Zhang, Yi Chang, Philip S. Yu, Qiang Yang, and Xing Xie. A survey on evaluation of large language models. arXiv preprint arXiv:2307.03109, 2023.

[13] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. 2019. In the Proceedings of ICLR.

[14] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[15] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. ELYZA-japanese-Llama-2-7b, 2023.
[16] Meng Lee, Fujiki Nakamura, Makoto Shing, Paul McCann, Takuya Akiba, and Naoki Orii. Japanese StableLM Base Alpha 7B.

[17] Preferred Networks, Inc. PLaMo-13B, 2023.

[18] 藤井一喜, 中村泰士, Mengsay Loem, 飯田大貴, 大井聖也, 服部翔, 平井翔太, 水木栄, 横田理央, 岡崎直観. 継続事前学習による日本語に強い大規模言語モデルの構築. 言語処理学会第 30 回年次大会 (NLP2024), March 2024

[19] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[20] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho. JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension, 2022

[21] Taiga Someya and Yohei Oseki. JBLiMP: Japanese benchmark of linguistic minimal pairs. In Andreas Vlachos and Isabelle Augenstein, editors, Findings of the Association for Computational Linguistics: EACL 2023, pp. 1581-1594, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[22] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021.

[23] Claire Cardie Faisal Ladhak, Esin Durmus and Kathleen McKeown. Wikilingua: A new benchmark dataset for multilingual abstractive summarization. In Findings of EMNLP, 2020, 2020.

[24] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, Online, August 2021. Association for Computational Linguistics.

[25] Niklas Muennighoff, Thomas Wang, Lintang Sutawika, Adam Roberts, Stella Biderman, Teven Le Scao, M Saiful Bari, Sheng Shen, Zheng-Xin Yong, Hailey Schoelkopf, Xiangru Tang, Dragomir Radev, Alham Fikri Aji, Khalid Almubarak, Samuel Albanie, Zaid Alyafeai, Albert Webson, Edward Raff, and Colin Raffel. Crosslingual generalization through multitask finetuning, 2022.

[26] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric Xing, et al. Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv preprint arXiv:2306.05685, 2023.

[27] Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B. Hashimoto. Stanford Alpaca: An instruction-following LLaMA model. https://github.com/tatsu-lab/stanford_alpaca, 2023.

[28] Lukas Biewald. Experiment tracking with weights and biases, 2020. Software available from wandb.com.


# 日本語小説の発話者分類における 大規模言語モデルおよび規則の評価

古俣槙山 ${ }^{1}$ 銭本友樹 ${ }^{1}$ 宇津呂武仁 ${ }^{1}$
1 筑波大学大学院 システム情報工学研究群
知能機能システム学位プログラム

## 概要

小説中の発話文の発話者がどの登場人物かを分類する発話者分類タスクは小説や登場人物の分析において重要なタスクである。本論文では大規模言語モデル・規則に基づく手法・BERTをこの発話者分類タスクに適用した際の性能を『現代日本語書き言葉均衡コーパス』とウェブ小説の話者情報アノテー ションデータを用いて評価する。この結果，大規模言語モデルの正答率は他手法より優れた値，あるいは同等の高い値となり，発話者分類における大規模言語モデルの利用が効果的であることを示した。

## 1 はじめに

大規模言語モデルの発展により，自然な応答をする対話システムや，小説生成システムが提案されている。これらでは，キャラクターや対話システムの個性を制御するが，その個性の評価や分析には，実際に特定のキャラクターの言動を収集する必要があ了. 文献 [1] と文献 [2]では，キャラクターの特徴分析と対話システムの構築のために，大人数の協力や特定キャラクターの発言を投稿する Botを利用し，特定のキャラクターの発言を大量に収集している。 しかし人手や Botによる収集は，コストが大きく，収集できるキャラクターの種類にも限界がある。そこで，小説中の発話文の発話者を特定するタスクを解くことで，様々なキャラクターの発言を自動的に大量に収集することが可能となり，より多様なキャラクターの特性と行動の詳細な分析が可能になる。

発話者分類タスクは，図 1 亿示すように，1)小説本文から発話を表す文章を抽出する「発話文抽出」, 2) 発話文に対して，その周囲の地の文から，その発話文の発話者を表すキャラクター・メンションを割り当てる「発話文とキャラクター・メンションの対応付け」,3) 抽出したキャラクター・メンションの
うち，同一のキャラクター・エンティティを指すものをクラスタリングする「同一人物へのキャラクター・メンションのクラスタリング」，という三つのタスクから構成されている．英語小説に対する研究では, Muzny ら [3] は複数のルールを利用して，上に示した三つのタスクすべてを行う発話者分類システムを提案した。また, Cuesta-Lazaro ら [4] は，深層学習を用いた初めての発話者分類システムを提案し，既存のルールベース手法よりも高精度な発話者分類結果を示した。

本論文では，大規模言語モデルには複雑なタスクを解く能力が確認されていることから，この大規模言語モデルの発話者分類への適用を試みる。まず，日本語小説に対して，「発話文とキャラクター・メンションの対応付け」と「同一人物へのキャラクター・メンションのクラスタリング」を規則に基づいて行う手法を示し，これをべースラインとする。次に，「発話文とキャラクター・メンションの対応付け」に対して，大規模言語モデルと BERTを適用し，規則に基づく手法との比較を行う.

## 2 関連研究

日本語小説を対象とした発話者分類の先行研究には，地の文を利用した研究 [5][6] と口調を利用した研究 $[7,8][6]$ が存在する. 文献 [5] では，青空文庫の小説 4 編を対象として，地の文を利用したパター ンマッチによる発話者抽出を試みている。この手法では 0.72 という高い正答率で発話者を抽出できているが，評価に利用した発話文の数は 161 文と少なく，同一人物を指す発話者のクラスタリングは行っていない。文献 [7] と文献 [8] の研究では，ライトノベル中の発話文を対象として，口調の類似性を利用した発話者分類を試みている。しかしこれらの手法は，分類先となる発話者の口調が事前情報として必要であり，任意の発話者への分類には対応していな

図 1 発話者分類の全体像 (本論文では，「地の文」は小説本文中の発話文以外の文章を指す。また，「キャラクター・メンション」は固有名詞(「田中太郎」や「田中」) や代名詞(「彼」や「私」)，あるいは「先生」等の役割語といった，地の文中でキャラクターを指し示す表現のことである．加えて，「キャラクター・エンティティ」はキャラクターの実体のことであり，同一人物に対する「田中太郎」，「田中先生」，「先生」，「彼」といったキャラクター・メンションは，「田中太郎先生」という単一の実体である「キャラクター・エンティティ」を指す。）

い.また，文献 [6] の研究では，地の文を利用したパターンマッチや一人称，口調の類似性を併用した発話者分類を行っているが，地の文において発話動詞の存在を仮定するなど，用いられているパターンが本論文で利用する規則に基づく手法の一部に留まっている.

## 3 規則に基づく発話者分類

## 3.1 データセット

『現代日本語書き言葉均衡コーパス』(BCCWJ) [9] の大規模な公開話者情報アノテーションデータセットを利用する．このデータセットには，1986 年から 2005 年に刊行された計 2,845 個の小説と, 167,917 文の発話者がアノテーションされた発話文が含まれている.これら 2,845 小説のうち，60\%を訓練データ， $20 \%$ を検証データ，20\%をテストデータとし，評価にはテストデータを用いる.

## 3.2 発話者抽出

## 3.2.1 人名抽出・動詞判定

人名抽出では, GiNZA の固有表現抽出器と, 日本語 WordNet [10] から作成した人名単語辞書を用いて，地の文から人名を抽出する．また，この抽出した人名の掛かり先である動詞が発話を意味する場合，その人名は発話者である可能性が高い。そこで，日本語 WordNet [10] から発話動詞辞書を作成し，この辞書中の動詞を発話動詞と判定し，他の全ての動詞を非発話動詞と判定する.

## 3.2.2 発話文とキャラクター・メンションの対応付け

事前分析から，キャラクター・メンションの多くが地の文の主格か主辞として文に存在することがわかった。そこで本論文では図 1 に示すような 3 種類の発話者タイプを定義する。

## 発話動詞の主格位置でのキャラクター・メンション

地の文中の発話動詞の主格が人名である場合に，その人名をキャラクター・メンションとして抽出する。

非発話動詞の主格位置でのキャラクター・メンション地の文中の非発話動詞の主格が人名である場合に，その人名をキャラクター・メンションとして抽出する。

## 文主辞位置でのキャラクター・メンション

地の文の主辞が人名である場合に，その人名をキャラクター・メンションとして抽出する.

特定の発話文の周囲には複数の地の文が存在し，その地の文それぞれでキャラクター・メンションが存在する場合は以下の二つの手続きを順に適用する。

(P1) 各発話文の前後 1 文までの地の文中に存在するキャラクター・メンションを検出する．その範囲に複数のキャラクター・メンションが存在する場合は，そのキャラクター・メンションと発話文の相対位置に着目し，発話文を含む地の文，発話文の後ろの地の文，発話文の前の地の文という優先順位でキャラクター・メンションを抽出する。

(P2) 手続き $(\mathrm{P} 1$ ) において，二つの発話文で同一の

キャラクター・メンションが抽出された場合， そのキャラクター・メンションを両方の発話文に対応させる.

続いて, 手続き $(\mathrm{P} 1)$ 及び手続き $(\mathrm{P} 2)$ 後にキャラクター・メンションが対応付けされなかった発話文を対象として，以下の二つの手続きを適用する。

## 話者交代制約

連続した発話文において, $n$ 番目の発話の発話者が不明で， $(n \pm 2)$ 番目の発話の発話者が判明している場合， $(n \pm 2)$ 番目の発話者を $n$ 番目の発話者とする. 本論文では，連続した発話文を，発話文間に地の文が存在しない発話文の集合とする.

## 発話者としての頻度が最大となる人名の適用

上記手続きで対応付けられなかった発話文は，当該小説内で対応付けられた頻度が最も大きい人名を対応付ける。

以上の手順による発話者抽出手法を「規則に基づく標準手法」とする. この手法の手順を変形した発話者抽出手法については $\mathrm{A}$ 節に記載する.

## 3.3 同一人物へのキャラクター・メンショ ンのクラスタリング

最後に，3.2.1 節で抽出した人名のうち，「固有名詞」か「役割語 (先生・将軍など)」が一致した人名は同一人物を指しているとしてクラスタリングする. 例えば，「田中先生 $\lrcorner$ 「先生」，「田中太郎さん」，「ミスター太郎」という四つの人名が抽出された場合は，それぞれ共通部分を持つため，全て同一人物として分類される.

## 4 大規模言語モデルによる発話者分類

次に，「発話文とキャラクター・メンションの対応付け」タスクに対して, 大規模言語モデルを適用する. 大規模言語モデルとしては, OpenAI 社が提供する ChatGPT ${ }^{1)}$ モデルである GPT-3.52) および GPT-43)を利用する. 大規模言語モデルと規則に基づく手法の比較評価を行うために，ウェブ上に公開されている小説「ずたぼろ令嬢は姉の元婚約者に溺愛される」4) の第 1 話から第 97 話の小説本文に,発話文の発話者情報を付与したデータセット (以下

ウェブ小説データセットとする)を利用する ${ }^{5)}$ ， B. 2 節の手順に従い，このデータセットにおける参照発話者の出現位置の統計を求めた結果においては, 前後 1 文の主格・文主辞位置に参照発話者が存在する発話文が $929(23.3 \%)$ 個，その位置以外に参照発話者が存在する発話文が $3,064(76.7 \%)$ 個となった.このうち, 前後 1 文の主格・文主辞位置以外に参照発話者が存在する 7 割以上の発話文に対しては，規則に基づく手法では，「話者交代制約」や「発話者としての頻度が最大となる人名の適用」でしか対応付けを行えない. しかし，この対応付けは発話文の前後の地の文からキャラクター・メンションを抽出する対応付けよりも，B. 2 節に示す，発話者分類性能の評価指標である人名一致正答率が低くなる点が課題である.

これに対して，大規模言語モデルによる発話者対応付けの場合には，前後 1 文の主格・文主辞位置以外に参照発話者が存在する 7 割以上の発話文の場合でも，適切な対応付けが行えることが期待できる.

一例として，図 2 の例の場合には，規則に基づく手法では適切な発話者対応付けが行えないのに対して, ChatGPT モデルを適用した場合には適切な発話者対応付けを行うことができる．図 2 においては，参照発話者である「ジュニア」が発話文の後ろの 2 文目に含まれている.ここで，規則に基づく手法では，誤った発話者「私」を発話文に対応付ける6)のに対して，大規模言語モデルでは，参照発話者である「ジュニア」を発話文に対応付ける．このように，大規模言語モデルを利用することによって，規則に基づく手法を上回る性能を達成できることが期待できると考えられる.

実験では，大規模言語モデルがキャラクター・メンションを抽出する範囲を，前後 8 文とした場合・前後 1 文とした場合についてそれぞれ発話者分類性能を調べる．この各条件でモデルが抽出したキャラクター・メンションを 3.3 節に示した手法でクラスタリングし，性能を評価する。

5）利用規約に反するため，BCCWJ は ChatGPT の性能分析に利用できない.

6）規則に基づく手法では，3.2.2 節で示す手法に従い，まず発話文の前後 1 文を参照する. この時，発話文の後ろには 「メランダとは、私の呼び名だ。」という地の文が存在するが，この文からはキャラクター・メンションを抽出できない. 次に「話者交代制約」による発話者の対応付け処理を行うが，この例では前後に他の発話文が無いため，発話者の対応付けができない. 最後に，「発話者としての頻度が最大となる人名の適用」によって，発話者として「私」が対応付けられるが，この対応付けは誤りである。
表 1 BCCWJ テストデータ・ウェブ小説データセットに対する各モデルの人名一致正答率

 & $\mathbf{4 5 . 3}\left(\frac{15,091}{33,336}\right)$ & $86.3\left(\frac{10,343}{11,978}\right)$ & $72.7\left(\frac{11,200}{15,396}\right)$ & $45.5\left(\frac{1,815}{3,993}\right)$ & $91.2\left(\frac{847}{929}\right)$ & $73.4\left(\frac{1,179}{1,606}\right)$ \\

図 2 規則に基づく標準手法と大規模言語モデルの比較

## 5 BERT モデルによる発話者分類

最後に「発話文とキャラクター・メンションとの対応付け」タスクに BERT [11]を適用し，大規模言語モデル・規則に基づく手法との比較を行う.この比較にあたり，事前学習済モデルである東北大版 BERT $^{7)}$ を利用する. BERT の訓練には 3.1 節に述べた BCCWJ の訓練・検証データを使用する．発話文の前後 2 文に対してキャラクター・メンションの抽出を行い，4節と同様にキャラクター・メンションをクラスタリングし，発話者分類性能を評価する。

## 6 評価

表 1 に BCCWJテストデータ・ウェブ小説データセットに対する大規模言語モデル・規則に基づく手法・BERTによる発話者分類の評価結果を示す. 評価基準には B. 2 節に示した人名一致正答率を用いる. 表 1 について規則に基づく手法と BERTを比較

7) https://huggingface.co/cl-tohoku/

bert-base-japanese-v3
すると，BCCWJ・ウェブ小説データセットのどちらにおいても，規則に基づく手法が BERT より優れていることが分かる. 次に， ウェブ小説データセットでは，人名一致正答率 $(\mathrm{A})$ ，人名一致正答率 $(\mathrm{C})$ では GPT-4 が最も高い值であるのに対して，人名一致正答率 (B) では規則に基づく手法が最も高い値であることが分かる. この原因として，規則に基づく手法は，キャラクター・メンションを抽出できなかった発話文に対して,「話者交代制約」と「発話者としての頻度が最大となる人名の適用」によって適切な人名を対応付けられる場合があることが挙げられる。一方で，同様の場合でも，大規模言語モデルによる発話者分類ではそうした対応付けを行っていないため，適切な人名を対応付けられない。したがって， GPT-4 の結果に対して同様の処理を追加することで，人名一致正答率 (B) においても規則に基づく手法に劣らない発話者分類を行えると考えられる8).

## 7 おわりに

本論文では，日本語小説に対して，大規模言語モデル・規則に基づく手法・BERT による発話者分類の性能評価を行った. この結果，大規模言語モデルの正答率は他手法より優れた値，あるいは同等の高い値となり，発話者分類における大規模言語モデルの利用が効果的であることを示した.

8）人名一致正答率 (B) の範囲で，GPT-4 (前後 1 文) は 10 個の発話文に対して「不明」という結果を出力した. この 10 個の発話文に対して，人手で「話者交代制約」と「発話者としての頻度が最大となる人名の適用」によって人名を対応付けた結果， 8 件の発話文に適切な人名が対応付けられた。この結果，GPT-4 (前後 1 文) の人名一致正答率 (B) は $93.9 \%$ となり，規則に基づく手法と同等の正答率となった.

## 参考文献

[1] C. Miyazaki, T. Hirano, R. Higashinaka, and Y. Matsuo. Towards an entertaining natural language generation system: Linguistic peculiarities of Japanese fictional characters. In Proc. 18th SIGDIAL, pp. 319-328, 2016.

[2] R. Ishii, R. Higashinaka, K. Mitsuda, T. Katayama, M. Mizukami, J. Tomita, H. Kawabata, E. Yamaguchi, N. Adachi, and Y. Aono. Methods for efficiently constructing text-dialogue-agent system using existing anime characters. Journal of Information Processing, Vol. 29, pp. 30-44, 2021 .

[3] G. Muzny, M. Fang, A. Chang, and D. Jurafsky. A twostage sieve approach for quote attribution. In Proc. 15th EACL, pp. 460-470, 2017.

[4] C. Cuesta-Lazaro, A. Prasad, and T. Wood. What does the sea say to the shore? a BERT based DST style approach for speaker to dialogue attribution in novels. In Proc. 60th ACL, pp. 5820-5829, 2022.

[5] D. Yulong, 白井清昭. 小説からの自由対話コーパスの自動構築. 言語処理学会第 25 回年次大会発表論文集, pp. 623-626, 2019.

[6] 石川和樹, 佐藤理史, 宮田玲, 小川浩平. 複数の手がかりを利用した小説発話の話者推定. 言語処理学会第 29 回年次大会発表論文集, pp. 2170-2175, 2023.

[7] 石川和樹, 宮田玲, 小川浩平, 佐藤理史. 口調ベクトルを用いた小説発話の話者推定. 情報処理学会研究報告, Vol. 2022-NL-253, No. 14, pp. 1-8, 2022.

[8] Yuki Zenimoto and Takehito Utsuro. Speaker identification of quotes in Japanese novels based on gender classification model by BERT. In Proc. 36th PACLIC, 2022.

[9] K. Maekawa, M. Yamazaki, T. Ogiso, T. Maruyama, H. Ogura, W. Kashino, H. Koiso, M. Yamaguchi, M. Tanaka, and Y. Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] F. Bond, H. Isahara, S. Fujita, K. Uchimoto, T. Kuribayashi, and K. Kanzaki. Enhancing the Japanese WordNet. In Proc. 7th ALR, pp. 1-8, 2009.

[11] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. 14th NAACL-HLT, pp. 4171-4186, 2019

[12] E. Amigó, J. Gonzalo, J. Artiles, and F. Verdejo. A comparison of extrinsic clustering evaluation metrics based on formal constraints. Information retrieval, Vol. 12, pp. 461-486, 2009.

## A 「規則に基づく標準手法」および その変形版の説明

3.2.2 節に述べた手法 (規則に基づく標準手法) に対して，以下の点を変形することで手法の変形版が得られる.

(1)発話・非発話動詞の主格位置・文主辞位置のキャラクター・メンションをどの優先順序で抽出するか.

(2)発話文を含む地の文・発話文の後ろの地の文・発話文の前の地の文に存在するキャラクター・メンションをどの順序で抽出するか.

(3)一つのキャラクター・メンションに，一つの発話文のみを対応付けるか，または複数の発話文を対応付ける例を受け入れるか.

これらの点の変形版について以下に示す.

## A. 1 規則に基づく標準手法

この手法は 3.2.2 節に述べた手法に従ってキャラクター・メンションと発話文の対応付けを行う。この時，上に示した変更可能な点を以下のように設定している.

(1)優先順序を付けずに抽出する.

(2)発話文を含む地の文，発話文の後ろの地の文，発話文の前の地の文，の優先順序で抽出する。

(3)一つのキャラクター・メンションに複数の発話文を対応付ける例を受け入れる。

## A. 2 発話動詞の主格キャラクター・メン ション優先

この手法は，「規則に基づく標準手法」の設定のうち (1)を変更し，発話動詞の主格位置，非発話動詞の主格位置, 文主辞位置，の順でキャラクター・メンションを抽出する。

## A. 3 発話文の前の地の文中のキャラク ター・メンション優先

この手法は，「規則に基づく標準手法」の設定のうち (2) を変更し，発話文を含む地の文，発話文の前の地の文，発話文の後ろの地の文，の順にキャラクター・メンションを抽出する。

## A. 4 キャラクター・メンションと発話文 を 1 対 1 対応

この手法は，「規則に基づく標準手法」の設定のうち (3) を変更し，一つのキャラクター・メンションに一つの発話文のみを対応付ける。

## B 規則に基づく手法の評価手順

発話者分類はテストデータを対象として行い，クラスタリング評価と人名一致正答率の 2 種類の評価を行う.

## B. 1 クラスタリングの評価手順

3.3 節における同一人物へのキャラクター・メンションのクラスタリング結果に対して，まず，一つの人名のクラスタを $N$ ，人名のクラスタの集合を $\mathbb{N}$ と表記する。そして，発話者が $N$ 内の人名と予測された発話文の集合を予測クラスタ $P$ とする. この処理を $\mathbb{N}$ 全体に適用し，得られた予測クラスタ $P$ の集合を $\mathbb{P}$ と表記する. 同様に， アノテーションデータから得られた参照クラスタ集合を $\mathbb{R}$ とし， $\mathbb{R}$ 中の一つのクラスタを $R$ と表記する. ここで，本論文では，評価指標として，Cuesta-Lazaro ら [4] と同様に $B^{3}$ の適合率，再現率，F1 值 [12] を用いる。 $B^{3}$ では，発話文一つ一つに対して以下の二つの指標を計算する.

1. 適合率: 一つの予測クラスタ $P$ 内の発話文のうち,参照クラスタ集合 $\mathbb{R}$ において発話者が同一であるとされている発話文の割合.

2. 再現率: 一つの参照クラスタ $R$ 内の発話文のうち,予測クラスタ集合 $\mathbb{P}$ において発話者が同一であると予測された発話文の割合.

そして，予測クラスタ集合 $\mathbb{P}$ および参照クラスタ集合 $\mathbb{R}$ の全体に対して発話文全体における適合率・再現率のミクロ平均を算出し，これをクラスタリングにおける適合率・再現率とする。

## B. 2 人名一致正答率の評価手順

BCCWJ では各発話文に対して一意の参照発話者名を与えている．そこで，予測発話者が正しく参照発話者を指す割合を評価するため，人名一致正答率という評価指標を定義する。人名一致正答率の算出においては，まず発話文の予測発話者と参照発話者との間で 3.3 節の手法を適用し，予測発話者と参照発話者が同一人物かどうかを判定する。そして，この同一人物判定を全ての発話文に対して行い，予測発話者と参照発話者が同一人物であると判定された発話文の割合を「人名一致正答率 $(\mathrm{A}) 」$ として評価する。ここで，テストデータ中の $21,358(64.1 \%)$ 個の発話文は，前後 1 文の主格・文主辞位置に参照発話者を指すキャラクター・メンションが存在しないため，規則に基づく手法によって前後 1 文の範囲からは参照発話者を対応付けることはできない. そこで，地の文を利用した規則に基づく手法の有効性を分析するため，それらの文以外の 11,978 (35.9\%) 個の発話文のみを対象とした場合について，予測発話者と参照発話者が同一人物であると判定された発話文の割合を「人名一致正答率 (B)」として評価する。また，前後 1 文の任意の位置に参照発話者を指すキャラクター・メンションが存在する発話文はテストデータ中に $15,396(46.2 \%)$ 個存在した.これらの発話文のみを対象とした場合について，予測発話者と参照発話者が同一人物であると判定された発話文の割合を「人名一致正答率 $(\mathrm{C})$ 」として評価する。

発話者分類の最終的な目標は，人名一致正答率を $100 \%$ にすることである. しかし，規則に基づく手法では，予測発話者が代名詞や愛称のときに正しく評価できないため，B. 1 節で述べたクラスタリングによる評価も行う.