# 大規模言語モデルを用いた二段階要約における hallucination の分析

榎本昌文 1 竹岡邦紘 ${ }^{1}$ 定政邦彦 1 小山田昌史 ${ }^{1}$
Kiril Gashteovski ${ }^{2}$ Chia-Chien Hung ${ }^{2}$ Wiem Ben Rim $^{2}$ Zhao Xu$^{2}$ Carolin Lawrence ${ }^{2}$
1 日本電気株式会社 データサイエンスラボラトリー
${ }^{2} \mathrm{NEC}$ Laboratories Europe
\{masafumi-enomoto, k_takeoka, sadamasa, oyamada\}@nec.com
\{Kiril.Gashteovski, chia-chien. hung, Wiem. Ben-Rim\}@neclab.eu
\{zhao.xu,carolin. lawrence\}@neclab.eu

## 概要

大規模言語モデル (LLM) は高品質な要約を生成する一方，hallucination と呼ばれる入力文書に含まれない情報を生成する傾向があるため，要約が依拠する情報を利用者が検証できる仕組みが必要である。 そのため，入力文書から要約に用いるテキストを先に抽出して，それらを合成することで説明可能性の高い要約を生成する段階的な方式が提案されている. しかし，入力文書の異なる箇所から抽出されたテキストを合成するため，合成を行うモデルが元々の文脈を理解できずに，誤った情報を生成する可能性がある. 本論文では二段階要約において LLM でテキスト合成を行う際に発生する hallucination の現象分析を行う. 実験結果から，対話文書-長文文書における hallucination の増減の傾向や，指示学習・周辺文脈の追加による hallucination の抑制など，既存研究では不明であった新しい知見が得られた。

## 1 はじめに

大規模言語モデル (LLM) の台頭によって，これまでにない高品質な要約が自動的に生成できるようになった. その品質は, 人手で書かれた要約と同等, もしくはそれ以上と報告されている $[1,2]$. しかし， LLM には hallucination と呼ばれる入力文書に含まれない情報を生成する傾向がある [3]. 例えば，現在公開されている強力なオープンソース LLM である Llama-2 [4] であっても, 生成されたニュース要約において約 $5 \%$ 程度の hallucination が含まれることが分かっている ${ }^{1)}$ 。従って LLMを安全に活用するた

表 1 二段階要約における hallucination の分析に関する既存研究の比較表. Koh et al. [5] は指示学習が行われていない要約特化モデルのみで評価を行っている. Zhang et al [6] は単一のブラックボックス LLM のみで評価を行っている.また両研究とも対話要約タスクにおける分析は行っていない

 &  &  & 長文 & 対話 \\

めには，生成された要約が依拠する情報を，利用者が検証できる仕組みが求められている.

要約の説明可能性を向上させる方法として，入力文書から要約に用いるテキストを先に抽出して，それらを合成することで要約を生成する方式が提案されている $[7,8]$. この二段階方式を用いることで，抽出されたテキストを要約が依拠する情報として利用者に提示できる。この方式は，特に入力文書が長くて一目で確認できないような使用事例, 例えば法律文書や科学論文の要約において有用である。しかし，この方式は入力文書の異なる箇所から抽出されたテキストを合成するため，合成を行う言語モデルが元々の文脈を把握できずに，誤った情報を生成する可能性がある．例えば，入力文書から抽出されたテキストそのものを要約として提示する抽出型要約であっても，連続しない文を結合するため，誤った代名詞の参照関係や文の接続関係が発生することが指摘されている [9]. そのため，二段階方式の合成モデルとして LLMを用いた際の hallucination の現象分析が必要とされている.
二段階要約における hallicination の発生は要約夕スクや合成モデルとして用いる LLM の種類に依存すると考えられるが, 既存研究の現象分析は多様な条件の下で実験が行われていない（表 1 を参照されたい). Koh et al. [5] は，長文要約タスクにおいて抽出済みテキストで追加学習された Pegasus モデル [10] は，テキスト抽出を行わないデータで学習された同モデルよりも，hallucination を生成しやすいと報告している。一方で Zhang et al [6] は, 抽出済みテキストを用いて ChatGPT ${ }^{2}$ に要約させることで，全文を入力して要約させるより hallucination が減少すると報告している．前者は指示学習済みの LLM における分析ではないし，後者は単一のブラックボックスなモデルでしか分析を行っていない. また両研究とも対話要約タスクを含む多様なタスクにおける分析が不足している.

以上の背景から，本論文では大規模言語モデルを用いた二段階要約における hallucination の現象分析を行った. 実験結果から，以下の新たな知見が明らかになった: (1) テキスト抽出によって平均的には hallucination が増加する (2) 対話要約データセットである DialogSum [11] においては特に増加傾向が顕著である (3) 長文要約データセットの MultiNews [12] においては hallucination が減少する. テキスト抽出によって入力長が短くなった結果, モデルのコンテキスト長に収まったことが一因であると分析に基づいて示唆された (4) 指示学習を行っていない要約特化モデルの Pegasus [10] では hallucination の増加傾向が顕著である (5) 周辺文脈をモデルに入力することでテキスト抽出による hallucination を抑制できる.

## 2 実験

## 2.1 実験設定

実験の概要本実験では抽出されたテキストを合成して要約を生成する二段階要約について, 次の問いを検証する: 抽出をしない普通の要約より hallucination は増加するか? 本実験では既存研究 [7] にならって, 要約に含むべき最適なテキストが抽出された前提でテキスト合成を行う．具体的には，入力文書を文単位に分割して，人手で書かれた要約に対する ROUGE スコア [13] が最も高い文の集合を貪欲法で選択する。そして，抽出された各文を合成するように指示が書かれたプロンプトを LLM が受け

2) https://chat.openai.com表 2 SummZoo [14] の各データセット。トークン数の列には，入力文書と要約の平均トークン数を掲載.

取って要約を行う. 抽出をしない場合は, 入力文書の全文を受け取って要約を行う．プロンプト作成に用いたテンプレートは付録の図 3,4 に示す.

データセット要約対象の文書として, SummZoo [14] に含まれる各データセットのテストセットから 100 個のサンプルを無作為に抽出して実験に使用した. 各データセットの種類を表 2 に示す.

大規模言語モデルテキスト合成を行うモデルとして，指示への追従能力を測るMTBench $\left.{ }^{3}\right)$ のスコアが高い以下の指示学習済みモデルを用いた: Llama-2-chat [4], Vicuna [15], Wizardlm [16], Mistral-Instruct [17], TÜLU-2 [18], Mosaic Pretrained Transformer (MPT) [19], Falcon-Instruct [20], Dolly [21], GPT-4 [22]. 上記のモデルに加えて，合成モデルが指示への追従能力を持たない場合の挙動を調べるために，要約タスクに特化した言語モデルである Pegasus [10]を用意した. SummZoo の一部デー タセットの訓練データで追加学習されたモデル ${ }^{4)}$実験に用いた. Pegasusを用いて要約を生成させる際は明示的な指示を与えずに，入力文書もしくは抽出されたテキストの集合を改行してモデルに入力した.

事実整合性の指標要約に含まれる hallucination の多洏を推定するために，入力文書と要約の事実整合性を評価する最先端の自動指標を 3 個用意した. 各指標は 0 から 1 の範囲で正規化されており，要約に書かれている内容が大力文書に包含される度合い—hallucination の少なさ—を示す. (1) AlignScore $_{\text {large }}$ [29] は含意関係認識，質問応答，事実検証などの多様なデータセットで RoBERTa $a_{\text {large }}$ 5) を追加学習したモデルで評価される指標である。(2)

TrueTeacher [30] は LLM によって生成・評価された

 & -18.41 & -13.04 & -9.05 & -5.40 & -18.25 & 4.80 & 0.31 & 1.47 & -7.20 \\

図 1 事実整合性スコアの増減表: 二段階要約のスコアから抽出無し要約のスコアを差し引いた値. 負の値はテキスト抽出によって hallucination が増加したことを意味する. 各行が合成に使用したモデル，各列がデータセットを表す. モデルには事前学習時の入出力トークン数 (コンテキスト長), データセットには入力文書と要約を合計したトークン数の平均を併記した．データセットのトークン数がモデルのコンテキスト長を超過するペアを破線で示す. 最後の行と列は， Pegasus を除く全 LLM と全データの平均スコアを表す.

事実整合性判定用の合成データで FLAN-T5 XXL 6) を追加学習したモデルで評価される指標である。

(3) G-Eval [31] は特定の評価用プロンプトを用いて, LLM で評価される指標である. 評価用モデルとして OpenAI 社の gpt-3.5-turbo-1106 7)を用いた. 全ての指標において，抽出の有無によるスコアの増減傾向が大きく変わらなかっため，本論文ではこれらのスコアの平均を提示した. 各指標の結果は付録の図 $5,6,7$ に示す.

## 2.2 抽出による事実整合性スコアの増減

全体的な傾向図 1 に実験結果を示す. 各セルの値は抽出済みテキストの合成による要約（二段階要約）のスコアから，抽出を行わない要約のスコアを差し引いたものである. 負の値はテキスト抽出による hallucination の増加を意味する. 平均的には二段階要約が hallucinationを増加させることが分かる.全モデルとデータセットの組みあわせの約 $76 \%$ でスコアが減少している. また, 全データセットのスコアの平均を取ると, falcon-7b-instruct 以外のモデルでスコアが減少していることが分かる.

DialogSum データでの傾向対話文書を含む

6) https://huggingface.co/google/flan-t5-xxl

7) https://platform.openai.com/docs/models/gpt-3-5
DialogSum データセットでは， $-7.8 \%$ と平均的には最もスコアが減少した. 特に dolly-v2-12bでは, DialogSum に加えて同じく対話文書を含む SAMsum データセットでもこの傾向が顕著である.この現象は，対話の抽出によって発話内容の把握が難しくなったことが一因だと考えられる．まず対話要約を正しく行うためには，発話と発話者を結びつける必要がある. 対話文書は発話者を示すマーカーと発話内容で構成されるが，文の抽出によって発話内容のみが抽出される可能性がある。加えて，対話文書は口語表現や直接話法で書かれているため，内容の理解のためには非対話文書より長い文脈が必要になると考えられる。

長文要約タスクでの傾向長文のニュース文書を含む MultiNews データセットでは, $2.45 \%$ と平均的に最もスコアが増加した. 特に falcon-7b-instruct では，MultiNewsに加えて長文の学術論文を含む ArXiv データセットでもこの傾向が顕著である. この傾向は，テキスト抽出によって推論時の入出力トークン数が，事前学習時の訓練データのトークン数（以降，コンテキスト長と呼ぶ）に収まることが一因だと考えられる。データセットの入出力トークン数がモデルのコンテキスト長を超過するペア（図 1 にお

図 2 各データセットにおいて，抽出されたチャンクに含まれる文の数 (横軸) と事実整合性スコア (縦軸) の関係を示した図. Pegasus を除く全モデルの平均スコアを折れ線で示した. 破線は抽出無し要約の平均スコアを意味する．各図の右下に，文数の増加に伴うスコアの最大増加量を明記した。

いて破線で表示）のほとんどで，スコアが増加している. 上記のぺアにおいて falcon-7b-instruct のほうが dolly-v2-7b/12bよりスコア増加が著しい傾向は，指示学習で用いたデータに起因すると考えられる。 dolly は文書要約データを含む databricks-dolly- $15 \mathrm{k}^{8)}$ で指示学習されているため, 抽出無し要約でもスコアが相対的に高く，テキスト抽出による恩恵をそれほど強く受けなかったと考えられる。また，入出力トークン数が多い Arxiv/MultiNews/QMsum では，モデルのコンテキスト長が短くなるにつれて, 二段階要約から抽出無し要約のスコアを差し引いた差分が大きくなる傾向がある. GPT-4 と Pegasus を省いたモデル群において，コンテキスト長とスコア差分の相関係数はこれらのデータセットにおいて -0.4 以下である。これらの結果から，推論時の入出力トー クン数がモデルのコンテキスト長に収まることで hallucination が抑制されることが分かる.

指示学習の有無による影響全モデルのうち，指示学習が行われていない Pegasus のスコアの減少が最も顕著だった. LLM において平均的にスコアが増加している MultiNews データセットであっても Pegasus ではスコアが大きく減少している.この結果は，指示学習は二段階要約による hallucination を抑制することを示している。

## 2.3 抽出テキストのサイズが与える影響

二段階要約によって発生する hallucination は，テキスト合成を行う言語モデルが抽出されたテキストの文脈を把握できないことに起因すると考えられ

8) https://huggingface.co/datasets/databricks/ databricks-dolly-15k
る.そこで，抽出される文の周辺にあるテキストをモデルに入力したときの hallucination の増減を確認する. 具体的には，入力文書を複数の文で構成されるテキスト（以降，チャンクと呼ぶ）に分割して， そのチャンクを合成して得られる要約の事実整合性スコアを報告する。

図 2 にチャンクに含まれる文の数 (横軸) と事実整合性スコア (縦軸) の関係を示す。破線は抽出無し要約のスコアを示す. まず，全データセットにおいて，文数の増加に伴ってスコアが向上する傾向が見てとれる. 全データセットで平均すると， $2 \%$ スコアが増加した. この結果から, テキスト抽出によって失った文脈を与えることで， hallucination を抑制できることが分かる. ただし， テキスト抽出によるスコアの減少幅が小さい場合, この抑制の効果も小さい. 例えば，減少幅が小さい ArXiv/QMsum/MultiNews において, 文数の増加に伴うスコアの最大増加量は平均 $1.86 \%$ であるのに対して，それ以外では $2.35 \%$ ある。これらのデータセットは相対的に入力トークン数が多いため，テキスト抽出によって推論時の内挿が可能になった好影響が，文脈を失う悪影響を打ち消したと考えられる。

## 3 まとめ

本論文では，二段階要約において大規模言語モデルでテキスト合成を行う際に発生する hallucination 現象の分析を行った. 実験結果から，対話文書・長文文書における hallucination の増減の傾向や，指示学習・周辺文脈の追加による抑制など，既存研究では不明であった新しい知見が得られた。

## 参考文献

[1] Tianyi Zhang, et al. Benchmarking large language models for news summarization. CoRR, Vol. abs/2301.13848, , 2023.

[2] Xiao Pu, et al. Summarization is (almost) dead. CoRR, Vol. abs/2309.09558, , 2023.

[3] Ziwei Ji, et al. Survey of hallucination in natural language generation. ACM Comput. Surv., Vol. 55, No. 12, pp. 248:1-248:38, 2023.

[4] Hugo Touvron, et al. Llama 2: Open foundation and fine-tuned chat models. CoRR, Vol. abs/2307.09288, , 2023.

[5] Huan Yee Koh, et al. How far are we from robust long abstractive summarization? In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022, Abu Dhabi, United Arab Emirates, December 7-11, 2022, pp. 2682-2698. Association for Computational Linguistics, 2022.

[6] Haopeng Zhang, et al. Extractive summarization via chatgpt for faithful summary generation. In Findings of the Association for Computational Linguistics: EMNLP 2023, Singapore, December 6-10, 2023, pp. 3270-3278. Association for Computational Linguistics, 2023.

[7] Haoran Li, et al. EASE: Extractive-abstractive summarization endto-end using the information bottleneck principle. In Proceedings of the Third Workshop on New Frontiers in Summarization, pp. 85-95, Online and in Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Aviv Slobodkin, et al. Summhelper: Collaborative humancomputer summarization. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, EMNLP 2023 - System Demonstrations, Singapore, December 6-10, 2023, pp. 554-565. Association for Computational Linguistics, 2023.

[9] Shiyue Zhang, et al. Extractive is not faithful: An investigation of broad unfaithfulness problems in extractive summarization. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2023, Toronto, Canada, July 9-14, 2023, pp. 2153-2174. Association for Computational Linguistics, 2023.

[10] Jingqing Zhang, et al. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 11328-11339. PMLR, 2020.

[11] Yulong Chen, et al. DialogSum: A real-life scenario dialogue summarization dataset. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 5062-5074, Online, August 2021. Association for Computational Linguistics.

[12] Alexander R. Fabbri, et al. Multi-news: A large-scale multidocument summarization dataset and abstractive hierarchical model. In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 1074-1084. Association for Computational Linguistics, 2019.

[13] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Yulong Chen, et al. Unisumm and summzoo: Unified model and diverse benchmark for few-shot summarization. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2023, Toronto, Canada, July 9-14, 2023, pp. 12833-12855. Association for Computational Linguistics, 2023.

[15] Lianmin Zheng, et al. Judging llm-as-a-judge with mt-bench and chatbot arena. CoRR, Vol. abs/2306.05685, , 2023.

[16] Can Xu, et al. Wizardlm: Empowering large language models to follow complex instructions. CoRR, Vol. abs/2304.12244, , 2023.

[17] Albert Q. Jiang, et al. Mistral 7b. CoRR, Vol. abs/2310.06825, , 2023.

[18] Hamish Ivison, et al. Camels in a changing climate: Enhancing LM adaptation with tulu 2. CoRR, Vol. abs/2311.10702, , 2023.

[19] MosaicML NLP Team. Introducing mpt-7b: A new standard for open-source, commercially usable llms, 2023. Accessed: 202305-05.

[20] Ebtesam Almazrouei, et al. Falcon-40B: an open large language model with state-of-the-art performance. 2023.

[21] Mike Conover, et al. Free dolly: Introducing the world's first truly open instruction-tuned 11m, 2023.

[22] OpenAI. GPT-4 technical report. CoRR, Vol. abs/2303.08774, , 2023.

[23] Shashi Narayan, et al. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[24] Arman Cohan, et al. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 615-621, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[25] Mahnaz Koupaee and William Yang Wang. Wikihow: A large scale text summarization dataset. CoRR, Vol. abs/1810.09305, 2018.

[26] Byeongchang Kim, et al. Abstractive summarization of Reddit posts with multi-level memory networks. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2519 2531, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[27] Bogdan Gliwa, et al. SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 70-79, Hong Kong, China, November 2019. Association for Computational Linguistics.

[28] Ming Zhong, et al. QMSum: A new benchmark for query-based multi-domain meeting summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5905-5921, Online, June 2021. Association for Computational Linguistics.

[29] Yuheng Zha, et al. Alignscore: Evaluating factual consistency with A unified alignment function. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2023, Toronto, Canada, July 9-14, 2023, pp. 11328-11348. Association for Computational Linguistics, 2023.

[30] Zorik Gekhman, et al. Trueteacher: Learning factual consistency evaluation with large language models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, EMNLP 2023, Singapore, December 6-10, 2023 , pp. 2053-2070. Association for Computational Linguistics, 2023.

[31] Yang Liu, et al. G-eval: NLG evaluation using gpt-4 with better human alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, EMNLP 2023, Singapore, December 6-10, 2023, pp. 2511-2522. Association for Computational Linguistics, 2023.

## A 付録

図 3 二段階要約おいてプロンプトを作成するためのテンプレート. “n_words”と “text_*”には人手で書かれた要約の単語数と抽出されたテキストがそれぞれ代入される.

図 4 抽出無し要約においてプロンプトを作成するためのテンプレート. “n_words”と “document”には人手で書かれた要約の単語数と入力文書の全文がそれぞれ代入される.

図 5 AlignScore $_{\text {large }}$ [29] における事実整合性スコアの増減表. 図の読み方は図 1 を参照されたい.

図 6 G-Eval [31] における事実整合性スコアの増減表．図の読み方は図 1 を参照されたい.

 & -13.87 & -2.37 & 7.05 & -25.13 & 9.04 & 1.33 & 14.48 & -4.61 \\

図 7 TrueTeacher [30] における事実整合性スコアの増減表. 図の読み方は図 1 を参照されたい.


# 算術推論問題における自己回帰型言語モデルの内部機序

工藤慧音 1,2 青木洋一 1,2 栗林樹生 ${ }^{3}$ 谷口雅弥 ${ }^{2}$ 曾根周作 ${ }^{1}$ 坂口慶祐 ${ }^{1,2}$ 乾健太郎 ${ }^{3,1,2}$
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3} \mathrm{MBZUAI}$
\{keito.kudo.q4, youichi.aoki.p2, sone.shusaku.r8\}@dc.tohoku.ac.jp
\{tatsuki.kuribayashi,kentaro.inui@\}@mbzuai.ac.ae masaya.taniguchi@riken.jp
keisuke.sakaguchi@tohoku.ac.jp

## 概要

自己回帰型言語モデルのような逐次的に単語を生成するモデルが「複合的な問題について，いつどのような部分問題を問いているか」という内部機序についての時間方向の解析は現状不十分である. そこで本研究では, 人工的な算術推論タスクを解く際の言語モデル内部機序を分析する. 本論文の前半では，モデルの内部機序の予測が立つ人工的な算術タスクのみで学習されたモデルに対し分析を行い，提案法の妥当性を示した. 後半では，思考の連鎖 [1] を用いて推論を行う事前学習済みの言語モデルに対して提案法を適用し分析を行ない，モデルは推論過程を出力すると同時に途中の計算も行っていることが明らかとなった.

## 1 はじめに

大量のテキストによって学習された自己回帰型言語モデルが自然言語処理のタスクにおいて高い性能を達成している $[2,3]$. しかし, タスクを解く際のモデル内部における処理の種類や導出過程の詳細は未解明である. モデルの内部分析については, 既存研究においても様々行なわれてきたものの $[4,5,6,7]$, とりわけ，自己回帰型言語モデルのような逐次的に単語を生成するモデルが「複合的な問題について， いつどのような部分問題を問いているか」という時間方向の解析については研究が途上である.

本研究では，算術推論タスクを解いた時の自己回帰型の言語モデルの隠れ状態を入力として計算の途中結果を予測するように学習した回帰モデルの性能の違いから, 計算の途中結果がモデル内部のどこに表現されているかを観察 (プロービング) することで，言語モデルが推論を行う際の内部機序を明らかにする。まず，モデルの振る舞いがある程度予測可能な人工的設定かつ，事前訓練をしていないモデル
を用いた実験を通して，今回用いる解釈方法により妥当な観察が得られることを確認した. 次に，事前学習済みの言語モデルに対して提案法を適用し推論時のモデルの内部機序の分析を行った. 結果として，事前学習済み言語モデルは思考の連鎖 (Chain of Thoughts) [1]による推論時，モデル内部で結論を得て後付け的に中間ステップを生成しているのではなく, 推論過程を出力すると同時に途中の計算も行っていることなどが明らかになった.

## 2 分析手法

## 2.1 算術推論タスク

言語モデルが推論を行う際の内部機序を明らかにするため，数量推論タスクを抽象化したような人工的な算術タスクを用いる. 本タスクは，既存研究 [8] で提案された算術タスクをべースとしものであり，タスクを構成する各問題は (i) $\mathrm{A}=1$, (ii) $\mathrm{A}=\mathrm{B}$, (iii) $A=1+2$, (iv) $A=B+2$, という 4 つの基本式の並びと, モデルに出力を求める変数名を示す質問 ( $A=$ ) によって構成されている. ただし，数式中に現れる数字や変数名, 演算子は無作為に選ばれる. 本論文の評価データとして用いる問題例は以下の通りである.

$
\text { 入力: } A=1+B, B=2+3, C=4+5 ; A=\text { 出力: } 6
$

モデルは入力として定義部 $(A=B+1, B=2+3, C=4+5$; と質問部 ( $A=$ ) を受け取り，解答部 (6) の出力を行うように学習を行う. 式 1 は 3 つの基本式からなる問題である. 質問部 ( $A=$ ) で問われている変数の値を求めるためには，最初に B の値を求める必要があるという依存関係が存在する。また，モデルには B の定義よりも先に A の定義が入力されるため, 単純に入力順に変数の値を求めることは不可能であるという特徴を持つ. 加えて, この問題には質問部の変数の値を求めるためには不必要な式 (C=4+5) が含まれて

図 1 本研究の概観. 言語モデルの隠れ状態を入力として計算の途中結果 (図中では B の値) を予測するように学習した回帰モデルの性能の違いから，モデル内部のどこに表現されているかを観察することを通して，言語モデルが推論を行う際の内部機序を明らかにする。

いる。このような性質を持つ問題を解いた際の言語モデルに対する分析結果を観察することで，言語モデルが推論を行う際の内部機序を議論する.

分析のための回帰モデルの学習データ，評価デー タを構築時には，この数式と同様の基本式の並びの問題を，数式中に現れる数字や変数名，演算子を無作為に変更することで大量に生成する。式 1 の場合の各変数の值はそれぞれ，6（=A), 5 (=B), 9 (=C) であり，これらの值を予測する回帰モデルを学習する. 本論文では，説明のために式 1 で用いられている変数名や数字を参照して議論を行う. 実際の評価データでの各事例で使われる変数名や数字は固定ではなく，無作為に変数名や数字が選ばれた 2,000 事例を評価データとして利用していることを留意されたい．その他の詳細は B 節を参照されたい。

## 2.2 回帰モデルの学習

モデルが推論を行う際の内部機序を明らかにするために，本研究では回帰モデルを用いた分析を行う. 具体的には 2.1 節で述べた算術タスクを言語モデルに入力した際の各時刻の隠れ状態を入力とし $\tau$, 問題中の特定の変数の値を出力する回帰モデルを作成し，このモデルの予測を通して，どの変数に対する計算がモデルのどこ (層の深さ)でいつ (時刻)行われたかを分析する。

具体的に，自己回帰型言語モデルに対して， $t$ ト一クン目の入力が与えられた時の $l$ 層目のモデルの出力 (隠れ状態)を $\mathbf{h}_{t}^{l} \in \mathbb{R}^{d}$ とする. ここで， $d$ はモデルの隠れ状態の次元数である. この隠れ状態 $\mathbf{h}_{t}^{l}$ を入力として，特定の変数の値を予測する回帰モデルを学習する。

$
\hat{y}=f_{t}^{l}\left(\mathbf{h}_{t}^{l} ; W_{t}^{l}\right)
$

回帰モデルのパラメータを $W$ とし， $\hat{y} \in \mathbb{R}^{1}$ は回帰モデルの予測値である. 今回用いる数式はフォー マットが固定されており, 変数が 3 つ導入される. それぞれの変数の予測に特化した回帰モデルを個別に学習する. 本研究では回帰モデルとして 2 層の多層パーセプトロンを用いる.この回帰モデルは以下のように，正解の変数の値と予測値の平均二乗誤差を最小化するように学習する。また，この回帰モデルの学習には，対象となる言語モデルが問題に正解した際の隠れ状態のみを用いる．学習データ数等の詳細は A. 1 節を参照されたい。

## 2.3 評価指標

学習した回帰モデルの評価には， $N$ 個の評価デー タに対する回帰モデルの予測値 $\hat{\boldsymbol{y}}_{t}^{l}$ と正解の変数の値 $\boldsymbol{y}$ のピアソンの積率相関係数 $\rho_{t}^{l}$ を用いる.

## 3 人エデータのみで学習した言語モ デルに対する分析

初めに，統制された人工データのみで学習した言語モデルに対して 2 節で述べた提案法を適用し，提案法の妥当性を確認する. 具体的には，2.1 節で述べた算術タスクを解くためのモデル 2つを異なる学習データを用いてそれぞれ学習する。これら $2 \supset の$ モデルに対して 2.2 節で述べた回帰モデルの学習を行い，それぞれのモデルの推論時の内部機序の狙った違いが可視化できることを示す.

## 3.1 実験設定

評価データ本実験では，評価タスクとし式 1 に例として示した基本式の並びの数式を用いる.

学習データとモデル異なる学習データを用いた二つの自己回帰型言語モデルを分析する：

汎用モデル

図 2 人工データで学習したモデルに対する分析結果.横軸は時間方向にモデルに入力されたトークンを表している. 各グラフ上部，折れ線グラフの縦軸は各トークンの位置 $t$ ごとの最大の相関係数をあらわす，またグラフ下部の縦軸は入力から数えた層の深さを表し，各ブロックは問題文中の変数との相関を示している. 解答に不必要な式の値 C との相関の強さがモデル間で異なっていた。

・特化モデル: 評価データと基本式の並びが同一の問題のみを学習データとして用いており，式 1 において，，の値を計算しなくてよいことを知っている.

・汎用モデル: 3 つ以下の基本式のランダムな組み合わせからなる問題を学習データとして用いており，式 1 において，cの值を計算しなくてよいことを知らない.

ハイパーパラメータなどは A. 2 に示す.

## 3.2 実験結果

汎用モデル，特化モデルに対して提案法による分析を行った結果を図 2 に示した. 図 2 において，各グラフの下部のそれぞれのブロックには，言語モデルの入力部分から数えた層の深さ $l$, 横軸はモデルへの入力のトークンの位置 $t$ における隠れ状態を入力として学習した回帰モデルの予測値と正しい変数
の値との相関を表している. 各ブロックに表された棒グラフは， 3 種類の変数 (A, B, C) の值との相関を表している．各グラフ上部の折れ線グラフでは，モデルへの入力のトークンの位置 $t$ ごとの最大の相関值を表している．また，特化モデル，汎用モデルいずれの場合も正解率は評価データに対する正解率は $98.8 \% ， 99.5 \%$ \% あった.

計算の実行タイミング 2.1 節で述べた，式 1 における変数 A，B の依存関係着目すると，いずれのモデル場合でも変数 $\mathrm{B}$ を求めるための数式 $\mathrm{B}=2+3$ がモデルに入力された直後に B の値との強い相関が見られた。その直後に，Bに依存している A との高い相関観察された。このことから，各変数について変数の値が計算可能になった時点で計算を行うという貪欲な戦略，特にプログラミング言語の評価戦略におけるユニフィケーションに相当する戦略をとっていると考えられる。

解答に不必要な数式の扱い 2.1 節で述べたように，式1のような評価タスクに用いる数式には解答に不必要な数式 (C=4+5) が含まれている. このような数式の計算結果 (Cの值) と回帰モデルの予測値の相関は, 汎用モデルにおいては 0.9 程度の高い一方で，特化モデルにおいては最大 0.7 程度と比較的低かった.このことから，汎用モデルは解答に不必要な数式に対しても計算を行っており，全ての計算式についてその值を最終的に生成するかどうかにかかわらず計算を行う戦略を取るモデルであると考えられる。一方で，特化モデルは解答に不必要な数式に対しては厳密に計算を行はず，必要最低限の計算のみを行う効率的な戦略を取っているモデルになっていると考えられ，狙った差異が得られている．以上から，提案法を用いることで言語モデルが推論を行う際の内部機序を議論できる可能性があることが示唆された。

## 4 事前学習済み言語モデルの分析

3 節では，人工データのみで学習した言語モデルに対して提案手法を適用し，言語モデルが推論を行う際の内部機序を可視化する手段として有望であることを示した．本節では，提案法を事前学習済みの言語モデルに対して適用し，言語モデルが推論を行う際の内部機序の分析を行う。特に，事前学習済みモデルが言語モデルが解答を生成する際に，問題に対する答えだけでなく，その解答を導くまでの推論過程を出力させる手法である思考の連鎖 [1] による

図 3 事前学習済み言語モデルに対する分析結果. 横軸は時間方向にモデルに入力されたトークンを表している. 各グラフ上部，折れ線グラフの縦軸は各トークンの位置 $t$ ごとの最大の相関係数をあらわす，またグラフ下部の縦軸は入力から数えた層の深さを表し，各ブロックは問題文中の変数との相関を示している．事前学習済みモデルの場合，出力部で途中の計算結果との比較的強い相関が観察された。

推論時の内部機序に焦点を当てる.

## 4.1 実験設定

評価データ本実験では，2.1 節で述べたタスクと同様の数式を用いる. ただし，解答部は以下のように途中の推論過程も出力するように変更する.

入力: $A=1+B, B=2+3, C=4+5, A=$ ?

出力: $A=1+B, B=2+3, B=5, A=5+1, A=6$

その他の詳細については B 節を参照されたい.

モデルと文脈内学習事前学習済みの言語モデルに評価タスクを解かせるために，文脈内学習 [9]を行う. 本研究では評価タスクと同形式の 3 つの入出力の組を文脈としてモデルに入力し, その後に評価データの入力を与える. 文脈として与える事例は，評価データと同様の形式の数式ではあるが, 評価データに含まれる全ての事例とは異なるものである. 分析対象のモデルには Mistral [10]を用いる.

## 4.2 実験結果

事前学習済み言語モデルに対して提案法による分析を行った結果を図 3 に示した. 本評価タスクに対するモデルの正解率は $98.3 \%$ \%であった.

計算の実行タイミング図 3 の結果から, 各変数の値との相関は入力部分では小さく，モデルが途中の推論過程を生成する過程 (出力部分) で高くなる様子が観察された. したがって，モデルは，問題文が入力された時点では解答を導けているのではなく,推論過程を生成する過程で同時に推論も行い解答に至っていることが示された.

解答に不必要な数式の扱い図 3 の結果から, 解答に不必要な数式の計算結果 (変数 C の值) との相関は最大 0.6 程度と比較的低い結果となった. したがって, 本研究で対象とした事前学習済み言語モデルは, 解答に不必要な数式の計算は行わない効率的な戦略を取っていることが示唆された。

## 5 おわりに

本研究では，算術推論タスクを解く自己回帰型の言語モデルの内部表現を対象に，計算の途中結果がモデル内部のどこに表現されているかを観察することを通して，言語モデルが推論を行う際の内部機序を明らかにした．実験では，初めにモデルの振る舞いがある程度予測可能な人工的設定で，今回用いる解釈方法により妥当な観察が得られることを確認した. 次に，事前学習済み言語モデルに対して提案法を適用し，モデルは推論過程を出力すると同時に途中の計算も行っていることが明らかとなった.

本論文の実験では単一の事前学習済み言語モデル，文脈の設定での分析に留まっている. そのため，今後は提案法を利用して異なるモデルや文脈に対する包括的な分析を行うことが必要である. また, 将来的には算術推論に限らない内部機序の分析手法の検討していきたい.

## 謝辞

本研究は, JST CREST JPMJCR20D2 及び JSPS 科研費 JP21K21343 及び理化学研究所の基礎科学特別研究員制度の支援を受けたものですまた，本研究を進めるにあたり多くの協力を賜りました Tohoku NLPグループの皆様に感謝申し上げます。

## 参考文献

[1] Dingjun Wu, Jing Zhang, and Xinmei Huang. Chain of Thought Prompting Elicits Knowledge Augmentation. In Findings of the Association for Computational Linguistics (ACL), pp. 6519-6534, 2023.

[2] OpenAI. GPT-4 Technical Report. CoRR, Vol. arXiv preprint, cs.CL/arXiv:2303.08774, , 2023.

[3] Gemini Team, Rohan Anil, and Sebastian Borgeaud et al. Gemini: A family of highly capable multimodal models. CoRR, Vol. arXiv preprint, cs.CL/arXiv:2312.11805, , 2023.

[4] Yuta Matsumoto, Benjamin Heinzerling, Masashi Yoshikawa, and Kentaro Inui. Tracing and Manipulating intermediate values in Neural Math Problem Solvers. In Proceedings of the 1st Workshop on Mathematical Natural Language Processing (MathNLP), pp. 1-6, 2022.

[5] Alessandro Stolfo, Yonatan Belinkov, and Mrinmaya Sachan. A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7035-7052, December 2023.

[6] Kenneth Li, Aspen K Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, and Martin Wattenberg. Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task. In The Eleventh International Conference on Learning Representations (ICLR), 2023.

[7] Koyena Pal, Jiuding Sun, Andrew Yuan, Byron Wallace, and David Bau. Future Lens: Anticipating Subsequent Tokens from a Single Hidden State. In Proceedings of the 27th Conference on Computational Natural Language Learning (CoNLL), pp. 548-560, 2023.

[8] Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, and Kentaro Inui. Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning? In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1351-1362, 2023.

[9] Tom Brown, Benjamin Mann, and Nick et al. Ryder. Language Models are Few-shot Learners. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 33, pp. 1877-1901, 2020.

[10] Albert Q. Jiang, Alexandre Sablayrolles, and Arthur Mensch et al. Mistral 7B. CoRR, Vol. arXiv preprint, cs.CL/arXiv:2310.06825, , 2023.
[11] Herbert E. Robbins. A stochastic approximation method. Annals of Mathematical Statistics, Vol. 22, pp. 400407, 1951 .

[12] Xavier Glorot, Antoine Bordes, and Yoshua Bengio. Deep Sparse Rectifier Neural Networks. In Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (PMLR), Vol. 15, pp. 315323, 2011

[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[14] Ilya Loshchilov and Frank Hutter. SGDR: stochastic gradient descent with warm restarts. In 5th International Conference on Learning Representations, ICLR, Toulon, France, April 24-26, 2017, Conference Track Proceedings, 2017.

[15] Susan Zhang, Stephen Roller, and Naman Goyal et al. OPT: Open Pre-trained Transformer Language Models. CoRR, Vol. arXiv preprint, cs.CL/arXiv:2205.01068, , 2022.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS), pp. 5998-6008, 2017.

表 1 回帰モデルの学習時のハイパーパラメータ

## A 学習設定の詳細

## A. 1 回帰モデルの学習設定

2.2 節で述べたように，回帰モデルとして 2 層の多層パーセプトロンを用いる。具体的には，以下のような式で表される関数 $f_{t}^{l}$ を用いる.

$
f_{t}^{l}\left(\mathbf{h}_{t}^{l},{ }^{1} \mathbf{W}_{t}^{l},{ }^{2} \mathbf{W}_{t}^{l},{ }^{1} \mathbf{b}_{t}^{l},{ }^{2} \mathbf{b}_{t}^{l}\right)={ }^{2} \mathbf{W}_{t}^{l} \sigma\left({ }^{1} \mathbf{W}_{t}^{l} \mathbf{h}_{t}^{l}+{ }^{1} \mathbf{b}_{t}^{l}\right)+{ }^{2} \mathbf{b}_{t}^{l}
$

ここで, ${ }^{1} \mathbf{W}_{t}^{l} \in \mathbb{R}^{d},{ }^{2} \mathbf{W}_{t}^{l} \in \mathbb{R}^{1 \times d},{ }^{1} \mathbf{b}_{t}^{l} \in \mathbb{R}^{d},{ }^{2} \mathbf{b}_{t}^{l} \in \mathbb{R}^{1}$ は回帰モデルのパラメータであり， $\sigma$ は活性化関数である. 本研究では $\sigma$ として ReLU [12]を用いる.

また, 回帰モデルの学習は正解の変数の値と予測値の平均二乗誤差を最小化するように行う.

$
\mathscr{L}=\frac{1}{N} \sum_{i=1}^{N}\left(\hat{y}_{i}-y_{i}\right)^{2}
$

ここで $N$ は学習データのサンプル数である. その他のハイパーパラメータについては，表 1 に示す.

## A. 2 人エデータのみで学習するモデル アーキテクチャの詳細

Transformer のデコーダをベースとした自己回帰型の言語モデルを用いる. モデルは 8 層の Transformer 層からなり，アテンションヘッドの数は 16, 隠れ層の次元数 1024 である.アー キテクチャの実装としては Hugging Face Transformers $の$ OPT [15] を用いた.また，入力文のトークナイズは数字単位で行い，各数字の単語埋め込みには Transformer [16] の絶対位置埋め込みとして用いられている埋め込みを利用している。これは，数字の埋め达みが規則的に並ぶことによって. 学習時にモデルが数字の大小関係等を容易に学習できることを期待したものである．また，変数名や演算子等の数字以外の埋め込みについてはランダム初期化した埋め込みを用いる。いずれの埋め込みについても学習時にはパラメータを固定し更新しない.その他のハイパーパラメータについては表 2 に

 \\

示す.表 2 特化モデル，汎用モデルの学習時のハイパーパラメータ

## B 評価データの詳細

## 人エデータのみで学習した言語モデルに対する分析で用いる評価データ 各事例に含まれる数字は 0 から 99 までの自然数，変数名は 25 種類としてい る. また，使用する演算子は足し算または引き算と している.

事前学習済みモデルの分析で用いる評価データ事前学習済みモデルの分析の場合，評価データに含まれる数字は, 出力部も含めて全て 1 桁の自然数となる事例のみを用いている。これは，本実験で用いる事前学習済みモデルである Mistral は数字が桁ごとにトークン化されているため，入出力のトークン数を全ての評価事例で揃えることを目的としている.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 英語中心の大規模言語モデルの言語横断汎化能力

謝素春 ${ }^{1}$ 佐々木翔大 ${ }^{3}$ Yunmeng $\mathrm{Li}^{1}$ 坂田将樹 ${ }^{1,2}$
赤間怜奈 1,2 鈴木潤 1,2
1 東北大学 2 理化学研究所 3 株式会社サイバーエージェント
\{xie.suchun.p7, li.yunmeng.r1, sakata.masaki.s5\}@dc.tohoku.ac.jp
sasaki_shota@cyberagent.co.jp \{akama, jun.suzuki\}@tohoku.ac.jp

## 概要

LLaMA などに代表される大規模言語モデルは，事前学習データの大半が英語で構成されているにも関わらず，英語以外の言語についても文章の生成が可能であることが観察されている．本研究では，英語を中心に学習された大規模言語モデルに対して,英語データのみを用いて微調整学習 (fine-tuning)を実施した場合でも，英語以外の言語におけるタスク性能が向上する言語横断汎化能力に関して分析を行う. 具体的には，英語の微調整学習前後でモデルの異言語間の内部表現に対する分析の結果，英語の微調整学習は言語非依存のタスクの解き方を学習していること，また，事前学習した言語間の類似度より性能汎化を実現していること示す.

## 1 はじめに

言語横断汎化 (cross-lingual generalization) とは, モデルがあるソース言語でのタスク学習を通じて， ソース言語と異なる言語でも同じタスクをこなせるようになることである。言語横断汎化能力の実現は特にデータの少ない低資源言語のタスク性能の改善を期待できるため，重要視されている [16, 15, 12].

昨今，大規模言語モデル（LLM）は顕著な性能向上を遂げており [3]，BLOOM [21]を始めとする多言語 LLM の言語横断汎化に関する研究も盛んである [8, 12]. . 一方で，LLaMA [18] のような事前学習データの大半が英語で構成される大規模言語モデル （以下，「英語中心の LLM」と言う）においても，英語以外の言語，例えば中国語なども生成可能なことが観察されている [23]. また，事前学習に明示的に含まれない言語に対する言語横断汎化能力を示唆する結果も報告されている [26]. しかしながら, 英語中心の LLM の有する言語横断汎化能力に関して分析した研究はまだ限られている. 英語のみでの微調整学習による言語横断汎化性能の解明はより効率的，かつ強力な LLM の構築につながる重要な知見と考えられる。

本研究では，まず事前実験として英語中心の LLM の言語横断汎化性能を多様なタスクにおいて観察した上で，（1）英語中心の LLM の言語横断汎化能力はどこから来たのか，（2）言語横断汎化性能の言語間のばらつきをもたらす要因は何か，という $2 \supset$ の研究課題に関して分析を行う。課題 (1) に関しては，英語のみを使用した対照学習によって多言語モデルの多言語表現の質が向上したという先行研究での報告 [19] に基づき，「英語中心の LLM においても，英語で微調整学習することが，多言語タスクをうまく解くためのより良い多言語表現を獲得することに繋がる」という仮説を立て検証する。具体的には，英語での微調整学習実験で汎化性能を確認した後，微調整学習がモデルの多言語表現能力にどのような影響を与えるかを焦点に当て，この過程で生じる言語間の類似度変化を分析する。 さらに課題 (2) に関して，言語間の類似度と性能汎化の関係性を調査するために，二者の相関性に対して分析を行う.

分析の結果，モデルは事前学習で得られた言語間のアラインメントを手がかりに英語データによる微調整学習ではタスクそのものの解き方を学習することで言語横断汎化能力を獲得していると推測できる.

## 2 関連研究

英語中心の LLM に対する言語横断汎化に関する研究は，言語横断汎化能力に対する調査と分析に分けられる。

言語横断汎化能力調査言語横断汎化能力に対する調査において，Bandarkar ら [2] は英語中心の LLM と従来の事前学習されたモデルとの比較を中心に， LLM に対して文脈内学習（in-context learning）手法

を用いて性能評価を行った，そのほか，Ye ら [26] は英語を含む単言語での微調整学習を用いて，推論タスクにおいて多言語 LLM と英語中心の LLM の言語横断汎化能力を検証した。

言語横断汎化性能分析言語横断汎化能力に対する分析において，Xu ら [22] と Zhu ら [28] はモデルの言語横断汎化性能を向上するために，言語間のアライメントを強化する手法を提案した。また，Zhao ら [27] は微調整学習前後のパラメータに対して分析する手法を用いた. 性能汎化調査の部分では，Ye ら [26] の研究においても分類タスクで英語での微調整学習による汎化性能を検証したが，彼らの研究と違い, 本研究では分類タスクに加えて, 英語中心の LLM が生成タスクにおける言語横断汎化能力の調査しする. さらに，モデルの言語横断汎化能力はどこから来たのかという本質的な問題に対して重点に分析を行う。

## 3 英語中心の LLM の言語横断汎化

事前実験として，英語中心の LLM の言語横断汎化性能を複数の言語と多様なタスクを用いて調査し，研究課題の全体像を把握する．具体的には，英語中心の LLM を英語データのみで微調整学習した際に，英語以外の言語における汎化性能を測る。

モデル英語中心の LLM として LLaMA-7B モデル [18]を使用し, 指示文微調整学習 (instruction tuning) [20]を行った. LLM の効率的な微調整学習手法が多く提案されているが $[9,6,14]$, 本研究では LoRA [9]を採用した.

データセット分類タスクと生成タスクの 2 種類のタスクを用いた. 分類タスクのデータセットは二值分類の言い換え判定タスクである PAWS-X [25] と三值分類のテキスト含意判定タスクの XNLI [4]を用いた. 生成タスクのデータセットは要約データセット XL-Sum [7]を用いた. いずれのデータセットも，英語を含む多言語で構成されている. PAWS-Xにおいては学習データ全件で学習を行い，XNLI と XL-Sum ではそれぞれ学習データセットの 10 万および 5 万件を用いた. プロンプトおよびパラメーター 設定の詳細は表 4に記載した。

評価英語の学習データで微調整学習したモデルを用いて，各言語ごとにテストデータで 0-shot 性能の評価を行った. 詳細設定は表5に示した. 本研究では英語 (en), フランス語 (fr), ドイツ語 (de), スペイン語 (es), 中国語 (zh), 日本語 (ja) の6つの表 1 微調整学習前の事前学習済みモデル (LLaMA-7B) と微調整学習後のモデル (FT) の性能評価結果

言語を対象とした. XNLIに日本語のデータは存在しないため，本研究では JNLI [11] の検証データで評価を行った. 評価時は統一的に英語のプロンプトを使用した。

結果評価結果を表 1に示す. 微調整学習前のモデル（LLaMA-7B）の結果から，微調整学習前のモデルは 3 つのタスクにおいてもランダム回答に近いことがわかる ${ }^{1)}$ 。一方，微調整学習を行った場合，分類タスク（PAWS-X，XNLI）において，英語を含む全言語での性能が顕著に向上していることが観測できた. 分類タスクにおけるこのような観測は $\mathrm{Ye}$ ら [26] の報告と一貫している. さらに, 微調整学習後の XL-Sum の結果は, ROUGE-L スコアが中国語以外の全言語に渡って向上した.これらの結果から，英語のみで微調整された英語中心の LLM である LLaMA が分類タスクだけでなく，生成タスクにおいても言語横断的な汎化能力を有することがわかった.

LLaMA の事前学習では英語中心に，ラテン文字 （en，fr，de，es）及びキリル文字（ru）を使用する言語を用いており [18], 日本語と中国語は事前学習,微調整学習のデータに明示的には含まれていないにも関わらず，日本語と中国語でも性能の向上が見られた. 同時に，他の言語での性能は英語と比較してばらつきがあることが観察され，フランス語とドイツ語は一貫して中国語と日本語より高い性能を達成している．そこで，英語中心の LLM の言語横断汎化能力はどこから来たのか，汎化能力のばらつきはどの要素に影響されるのかという疑問が残される。

1）例外として，要約タスクの XL-Sum では中国語と日本語の ROUGE スコアは比較的に高かったものの, 出力結果に対する定性分析を行ったところ，その 2 つの言語の予測は単に入力文の最初の文を抜き出していることがわかった.
表 2 PAWS-X データセットにおける事前学習済みモデルとファインチューニング済みモデルの Mean-pooling および Last-token 埋め込みに対するコサイン類似度."-P”は対訳文ぺア，”-R”はランダム文ぺアを表す。

## 4 分析と考察

## 4.1 言語間埋め込み類似度の変化

本節では，英語のみで微調整学習する際，英語中心の LLM の言語横断汎化能力がどのような要因によって引き起こされているかについて分析と考察を行う．§3の実験では，微調整学習によって英語以外の言語での性能向上が見られ，モデルの言語横断汎化能力は微調整学習によるものであると推測される. また，多言語モデルの場合，英語のみを使用した対照学習によって多言語の埋め込み表現の質を向上させることが先行研究で報告されている [19]. これらを踏まえ, 英語中心の LLM が言語横断汎化を実現する要因は，英語で微調整学習することを通じて, 多言語タスクをうまく解くためのより良い表現を獲得できたことにある，つまり，異言語で同じ意味を持つ対訳文の埋め込み表現の類似性が向上したことにある，と仮説を立てる。この仮説を検証するために，英語のみでの微調整学習がモデルの内部の各言語表現に，どのような影響を与えるかを定量的に分析を行う，具体的には，微調整学習前後の対訳文の言語間類似度の変化を比較し, 英語のみの微調整学習が他の言語への影響を調査する。なお，本研究では言語間の意味的類似度に焦点を当て, $\mathrm{Li}$ ら [13] の研究に従い，コサイン類似度を用いた言語間類似度を計算する．また，モデルが対訳文の意味を正しく理解できることを検証するため，対訳文ぺアとランダム文べアの類似度をそれぞれ計算する。

手順ソース言語（英語）と各ターゲット言語 （英語以外の言語）の対訳文ペアとランダム文ペアそれぞれに対して，微調整前と後のモデルを用いて文の埋め込み表現を獲得し，文ペアのコサイン類似度を計算する．LLM の文埋め込みを分析する際は，入力文の全トークンの隠れ表現の平均 (Mean-pooling embedding)[17], または入力最後尾のトークンに対応する隠れ表現 (Last token embedding)を文埋め込み [10] とするのが一般的であるが，Decoder-only のモデルにおいて，どちらの手法がより適切な表現を獲得できるかは自明ではないため, 本研究では両方の文埋め込みを用いる。

モデル事前学習済みモデル（LLaMA-7B）と微調整学習した 2 つのモデル (PAWS-X FT，XL-Sum FT）を用いた。

データセット対訳文データとして PAWS-X のテストデータを用いた. PAWS-X の各サンプルは 2 つの文を含むが，1文目を用いた．各言語対のデータ数はそれぞれ 2000 件である。

結果文ペアに対する類似度の平均值の結果を表 2に示す. 表 2より，対訳文ペアのコサイン類似度はランダム文ペアより高く，対訳文ペアに対して内部でアラインメントが高く取れていることが示唆される. 微調整学習前後の対訳文における類似度の変化は，我々の予想に反して小さい（0 から 3 ポイントの範囲内）ことがわかった.この観察と，微調整学習によって言語横断汎化が起きていることを踏まえると，モデルは微調整学習を通じて多言語表現の質を向上させたわけではなく, 事前学習時に既に獲得していた多言語表現に基づき，言語横断的な夕スクを解く能力を学習したことが推察される。

また，対訳文データセットにおいて，分類と生成タスクで微調整学習したモデルは異なる傾向が観察される. Mean-pooling 文埋め込みからでは，微調整したモデルの言語間類似度は 2 つの分類データセットで 1 から 3 ポイントを変化した. Last-token 埋め込みでは, Mean-pooling 文埋め込みの類似度変化より大きく(1〜7 ポイント), 傾向が見られなかった. これは，微調整プロセスが文の末尾の処理において
表 3 英語中心の LLM を英語データのみで微調整学習をした際の性能と，微調整学習前の各言語間の埋め込みのコサイン類似度の Spearman 相関 $(\rho)$. 分類タスクで微調整学習したモデルは Mean-pooling 文埋め込みとの相関係数が高く, 生成タスクで学習したモデルは Last-token 文埋め込みとの相関係数が高いことを表す。

特定の言語表現の偏りをもたらしている可能性を示唆している.

## 4.2 言語間類似度と汎化能力の関係

表 2 に基づくと，微調整学習前の英語とフランス語（en-fr)，やスペイン語（en-es）間のコサイン類似度は英語と中国語（en-zh)，日本語のコサイン類似度（en-ja）よりも一貫して高くなり，汎化性能のばらつきと同じ傾向を示している. LLaMA のような英語中心のモデルでは，他言語の学習データの割合は極めて不均衡という問題があるが，これまでの多言語モデルの研究では, 言語間のアラインメントがモデルの言語横断能力に寄与してると主張されている [5, 24]. そこで，英語のみで学習したタスクの解き方は, 事前学習の段階で構築した言語間表現の類似度を通じて，汎化したのではないかを推測される.

言語間表現の類似度はモデルの言語横断汎化能力との関係を分析するために，表 1で得られた英語以外の 5 つ言語でのモデル性能と, 前節で観察された事前学習済みモデルから取得した文埋め込みの言語間類似度との Spearman の順位相関係数を計算した。

結果結果を表3に示す. 表3より, Spearman の相関係数はいずれも 0.7 より高く, 言語間の類似度と言語横断汎化能力との間に強い相関関係が存在することを示している. また, PAWS-Xのような分類タスクで微調整学習したモデルでは，Last-token 文埋め込みの相関と比べて (相関係数 $0.70, \mathrm{p}$ 値: 0.19), Mean-pooling 文埋め込みの相関は高い值を示している (相関係数 $0.99 ; \mathrm{p}$ 值: 0.01).これは分類タスクで微調整したモデルでは，平均的な文脈情報がモデルの言語横断汎化能力に重要であることを示唆してる.その一方で, 生成タスク (XL-Sum) で学習したモデルでは, Mean-pooling 文埋め込みの相関より, Last-token 文埋め込みの相関が高い傾向が見られる。

考察以上の結果から，モデルの多言語汎化性能は事前学習によって獲得した表現に対する言語間の類似度と強く関連していることが明らかとなった。 すなわち，多言語汎化性能のばらつきは，言語間類似度のばらつきの影響を受けてることが示唆される.また，前節で観察された言語間の類似度変化より，英語で学習したタスクの解き方は，事前学習で学習した英語と各言語間のアラインメントにより,他の言語にも適用されることが考えられる。そのほか, Mean-pooling 文埋め込み類似度と Last-token の文埋め込み類似度をそれぞれいつ使うかを明らかにした. 分類タスクで微調整学習したモデルでは, ソース言語との Mean-pooling 文埋め込み類似度が性能汎化の鍵となり, 生成タスクで微調整したモデルでは，Last-token の文埋め込み類似度が言語横断汎化能力に重要であると分かった. ただし, 事前学習の言語間類似度から言語横断汎化能力を完全に解釈するのは不可能であり，言語間の構造など他の要素からの影響を今後の課題としたい.

## 5 おわりに

本研究では，英語中心の LLM に対して英語のみでの微調整学習を行うことで，同一タスクにおける言語横断汎化性能を有することを示した．それに基づいて，微調整学習前後でモデルの異言語間の内部表現の類似度比較より, 微調整学習は言語非依存のタスクの解き方を学習している可能性を示した. さらに，相関分析により，言語間の類似度と言語横断汎化能力の間には強い相関関係が存在し, 事前学習で得られた言語間の類似度が微調整学習による多言語性能の向上に重要な役割を果たしていることが示唆された. この一連の知見は, 英語中心の LLM の微調整学習と言語横断汎化能力に関する新たな洞察を提供する。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011-35 (fundamental research), JST 次世代研究者挑戦的研究プログラム JPMJSP2114, JST 科学技術イノベーション創出に向けた大学フェローシップ創設事業 JPMJFS2102，JSPS 科研費 JP22K17943 の支援を受けたものです. また，本研究に助言を下さった栗田宙人氏，小林悟郎氏，横井祥氏に感謝致します.

## 参考文献

[1]S. H. Bach, V. Sanh, Z.-X. Yong, A. Webson, C. Raffel, N. V. Nayak, A. Sharma, T. Kim, M. S. Bari, T. Fevry, Z. Alyafeai, M. Dey, A. Santilli, Z. Sun, S. Ben-David, C. Xu, G. Chhablani, H. Wang, J. A. Fries, M. S. Al-shaibani, S. Sharma, U. Thakker, K. Almubarak, X. Tang, X. Tang, M. T.-J. Jiang, and A. M. Rush. Promptsource: An integrated development environment and repository for natural language prompts. In arXiv:2202.01279, 2022.

[2]L. Bandarkar, D. Liang, B. Muller, M. Artetxe, S. N. Shukla, D. Husa, N. Goyal, A. Krishnan, L. Zettlemoyer, and M. Khabsa. The belebele benchmark: a parallel reading comprehension dataset in 122 language variants. In arXiv:2308.16884, 2023.

[3]H. W. Chung, L. Hou, S. Longpre, B. Zoph, Y. Tay, W. Fedus, Y. Li, X. Wang, M. Dehghani, S. Brahma, A. Webson, S. S. Gu, Z. Dai, M. Suzgun, X. Chen, A. Chowdhery, A. Castro-Ros, M. Pellat, K. Robinson, D. Valter, S. Narang, G. Mishra, A. Yu, V. Zhao, Y. Huang, A. Dai, H. Yu, S. Petrov, E. H. Chi, J. Dean, J. Devlin, A. Roberts, D. Zhou, Q. V. Le, and J. Wei. Scaling instructionfinetuned language models. In arXiv:2210.11416, 2022.

[4]A. Conneau, R. Rinott, G. Lample, A. Williams, S. Bowman, H. Schwenk, and V. Stoyanov. XNLI: Evaluating cross-lingual sentence representations. In E. Riloff, D. Chiang, J. Hockenmaier, and J. Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2018.

[5]A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzmán, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov. Unsupervised cross-lingual representation learning at scale. In D. Jurafsky, J. Chai, N. Schluter, and J. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), 2020.

[6]T. Dettmers, A. Pagnoni, A. Holtzman, and L. Zettlemoyer. Qlora: Efficient finetuning of quantized llms, 2023.

[7]T. Hasan, A. Bhattacharjee, M. S. Islam, K. Mubasshir, Y.-F. Li, Y.-B. Kang, M. S. Rahman, and R. Shahriyar. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In C. Zong, F. Xia, W. Li, and R. Navigli, editors, Findings of the Association for Computational Linguistics (ACL-IJCNLP), 2021.

[8]E. Hlavnova and S. Ruder. Empowering cross-lingual behavioral testing of NLP models with typological features. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2023.

[9]E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, and W. Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations (ICLR), 2022.

[10]T. Jiang, S. Huang, Z. Luan, D. Wang, and F. Zhuang. Scaling sentence embeddings with large language models, 2023.

[11]K. Kurihara, D. Kawahara, and T. Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference
(LREC), 2022.

[12]J. Li, H. Zhou, S. Huang, S. Cheng, and J. Chen. Eliciting the translation ability of large language models via multilingual finetuning with translation instructions. In arXiv.2305.15083, 2023.

[13]T. Li and K. Murray. Why does zero-shot cross-lingual generation fail? an explanation and a solution. In Findings of the Association for Computational Linguistics (ACL), 2023.

[14]Y. Li, Y. Yu, C. Liang, P. He, N. Karampatziakis, W. Chen, and T. Zhao. Loftq: Lora-fine-tuning-aware quantization for large language models, 2023.

[15]X. V. Lin, T. Mihaylov, M. Artetxe, T. Wang, S. Chen, D. Simig, M. Ott, N. Goyal, S. Bhosale, J. Du, R. Pasunuru, S. Shleifer, P. S. Koura, V. Chaudhary, B. O'Horo, J. Wang, L. Zettlemoyer, Z. Kozareva, M. Diab, V. Stoyanov, and X. Li. Few-shot learning with multilingual generative language models. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

[16]N. Muennighoff, T. Wang, L. Sutawika, A. Roberts, S. Biderman, T. Le Scao, M. S. Bari, S. Shen, Z. X. Yong, H. Schoelkopf, X. Tang, D. Radev, A. F. Aji, K. Almubarak, S. Albanie, Z. Alyafeai, A. Webson, E. Raff, and C. Raffel. Crosslingual generalization through multitask finetuning. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[17]D. Nikolaev and S. Padó. Investigating semantic subspaces of transformer sentence embeddings through linear structural probing. In Proceedings of the 6th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, 2023.

[18]H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozière, N. Goyal, E. Hambro, F. Azhar, A. Rodriguez, A. Joulin, E. Grave, and G. Lample. Llama: Open and efficient foundation language models. In arXiv:2302.13971, 2023.

[19]Y. Wang, A. Wu, and G. Neubig. English contrastive learning can learn universal cross-lingual sentence embeddings. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

[20]J. Wei, M. Bosma, V. Y. Zhao, K. Guu, A. W. Yu, B. Lester, N. Du, A. M. Dai, and Q. V. Le. Finetuned language models are zero-shot learners. In arXiv:2109.01652, 2022.

[21]B. Workshop and et al. Bloom: A 176b-parameter open-access multilingual language model. In arXiv.2211.05100, 2023.

[22]N. Xu, Q. Zhang, J. Ye, M. Zhang, and X. Huang. Are structural concepts universal in transformer language models? towards interpretable cross-lingual generalization. In Findings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP2023 Findings), 2023.

[23]N. Xuanfan and L. Piji. A systematic evaluation of large language models for natural. In Proceedings of the 22nd Chinese National Conference on Computational Linguistics, 2023.

[24]H. Yang, H. Chen, H. Zhou, and L. Li. Enhancing cross-lingual transfer by manifold mixup. In The Tenth International Conference on Learning Representations (ICLR), 2022.

[25]Y. Yang, Y. Zhang, C. Tar, and J. Baldridge. PAWS-X: A cross-lingual adversarial dataset for paraphrase identification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[26]J. Ye, X. Tao, and L. Kong. Language versatilists vs. specialists: An empirical revisiting on multilingual transfer ability. In arXiv:2306.06688, 2023.

[27]J. Zhao, Z. Zhang, Y. Ma, Q. Zhang, T. Gui, L. Gao, and X. Huang. Unveiling a core linguistic region in large language models. In arXiv:2310.14928, 2023.

[28]W. Zhu, Y. Lv, Q. Dong, F. Yuan, J. Xu, S. Huang, L. Kong, J. Chen, and L. Li. Extrapolating large language models to non-english by aligning languages. In arXiv:2308.04948, 2023.

## A パラメータ設定

## A. 1 学習時のパラーメータ

学習時のパラーメータ設定を表 4 に示す.

表 4 英語のデータのみを用いた微調整学習時のハイパーパラメータ設定

## A. 2 評価時のパラーメータ

評価時のパラーメータ設定を表 5に示す.

表 5 微調整学習したモデルを用いた性能評価時のパラーメータ設定

## B プロンプト設定

本研究で用いたプロンプト設定は PromptSource [1] のテンプレートに基づいたものである。詳細を表 6に示す.

表 6 プロンプト設定

 \\


# 大規模言語モデル群への routing タスクにおける 埋め込みモデルと多数決併用の分析

田村拓也 榎本昌文 秋元康佑 小山田昌史
NEC データサイエンスラボラトリー
\{tamura-takuya, masafumi-enomoto, kosuke_a, oyamada\}@nec.com

## 概要

専門性の異なる多様な大規模言語モデル (LLM) が利用可能な状況において，省コストで質の良い生成物を得るために，タスクに応じて適切なモデルを選択する routing 手法が提案されている. 既存の routing 手法は LLM がタスクを正しくこなす度合いを推定するために，タスクの埋め込みを用いて類似過去タスクを参照するが，埋め込みモデルの違いが性能に与える影響を十分に分析できていない. 本研究では埋め込みモデルによる routing 性能の差異を分析した. その結果，埋め込みによる性能の差異はほとんど無い一方，全タスクで平均的に良い回答を行う LLM に偏ってタスクを割り当てるため，依然として routing 手法に改善の余地があることが分かった. また，複数の候補モデルを routing 手法で選択した後に，多数決で誤答を省くことで，更に性能が改善することも新たに発見した.

## 1 はじめに

2023 年には, LLM の顕著な発展に伴い Llama-2 [1] や Mistral [2], Qwen [3] などの小規模かつ高性能な LLM が数多く公開された. これらの小規模 LLM は追加訓練のコストが低いため, ドメイン特化型の追加学習済みモデルが派生的に構築されている. ただし, 追加学習時の訓練データに含まれないドメインにおいて事前学習済みモデルよりもモデル性能が低下する「破壊的忘却」が起こり，この影響は特に小規模なモデルほど大きい $[4,5,6]$. このような専門性の異なる LLM が多数利用可能な状況では，解きたいタスクに適した LLM を予め選択することで，良質な生成物を得ることが期待できる。

先行研究では，与えられた各タスクを解くにあたって，最も高品質な回答を生成できると推定されるLLM イタスクを割り当てる routing 手法が提案
されている [7, 8]. Shnitzer ら [7] は，過去のベンチマークから検索された解きたいタスクの類似事例の正誤を参照することで当該タスクの正答率を推定し，routingを行う手法を提案した.ここにおける類似性は，LLMへ入力されるプロンプト文たちの埋め込み間の距離によって定義される。この埋め込み空間の距離に基づく割り当てによって，無作為な割り当てよりも高い性能を達成することが示された. しかし，タスクの類似性の捉え方が割り当てに直接寄与するにも関わらず，埋め込みモデルの違いによる routing 性能への影響が分析されていない. 加えて，誤った割り当てを行った際の詳細な傾向も不明瞭であるため，どのような方向に手法改善の余地があるか分からない。そのため本稿では，この Shnitzer ら [7] に倣った正答率推定手法に基づく routign 手法について，以下のリサーチクエスチョン（RQ）に関する実験および分析を行った。

RQ-1: 類似インスタンスの検索に利用する埋め込み空間を変えると, routing 性能がどれほど変化するか？ Shnitzerら [7]は，インスタンスの埋め込み化を Sentence-BERT[9] のみで行なっている。一方で現在文埋め込みモデルには，プロンプトに基づきコンテキストを考慮する手法 $[10,11,12,13]$ や，インストラクションを考慮する手法 [14] など多様なモデルが提案されている。 そこで本稿では，埋め込みモデルの違いによる routing 性能への影響を調査した.結果，単語埋め込みの平均ベクトルを文埋め込みとするモデルから LLM に基づくモデルまで，いずれも routing 性能はおおむね同じであった。

RQ-2: 現状の routing と理想的な routing にはどのような差があるか？ 本稿では， routing の基準となる推定正答率に基づく LLM のランキングと実際の正誤に基づく理想的なランキングとの差を調査した. 結果，スペアマンの順位相関係数は最大でも 0.228 と高くないものの, NDCG@5[15] では 0.625
と高い値が得られた.また，routing の誤り分析を行なったところ, 理想的な rouitng に比べて実際の routing は全タスクで平均的に良い回答を行う LLM へ偏って割り当ててしまう傾向があり, 依然として埋め込み手法を含む routing 手法の改善に余地があることが示唆された。

RQ-3: routing と多数決を併用することにより，性能を向上できるか？ Shnitzer ら [7] は，推定正答率の最も高い LLM 単体にタスクを割り当てている。一方で，LLM の推論において複数の回答候補による多数決が有効に働くことが知られている $[16,17,18]$. そこで本稿では, routing 時に複数の LLM を選んで回答候補を生成したのち多数決によって集約する手法についても実験し，ランダムにサンプリングされた LLM による多数決に比べて高い性能を得ることを新たに発見した。

## 2 手法

本研究では，解きたいインスタンスに対して最も適したLLM 群を選択しそれらによる回答を集約する問題を解く。具体的な問題設定は次の通りである. 新たなインスタンス $x$ が与えられた際に，利用可能な指示学習済みの大規模言語モデルの集合 $\left.\{m_{1}, \cdots, m_{M}\right.\}$ のなかから正答しやすいと推定される上位 $w$ モデル $\left.\{m_{1}^{*}, \cdots, m_{w}^{*}\right.\}$ を選出し, 実際に推論を行った後，回答の集約を行う.

## 2.1 未知インスタンスに対する正答率推定

本研究では，Shnitzer ら [7] に倣い，評価済みベンチマークデータ内にある類似インスタンスの正誤情報を用いる手法を採用した. ここに，ベンチマーク $D$ を，インスタンス $x$ と候補となる各 LLM $m_{i}$ による生成物，そしてそれに対する評価スコア $s_{i}(x)$ の 3 つ組の集合と定義する。

$
D=\left.\{\left(x, m_{i}(x), s_{i}(x)\right)\right.\}
$

まず，ベンチマークの各インスタンスのプロンプト文のうち，指示文や few-shot 事例を除いたインスタンス固有のテキストに対する埋め込みベクトルを予め用意する、ベンチマークに存在しない新たなのインスタンス $x$ が与えられた際には，同様に文埋め込みべクトルへ変換したもの $\phi(x)$ をクエリとして $\mathrm{kNN}$ 探索を行い，過去のベンチマークから類似事例 $\left.\{x^{\prime}\right.\} を k$ 件検索する ${ }^{1)}$. これらの類似事例における

1）本稿における実験では，パラメータチューニングの結果 $k=100$ を採用した.
モデル $m_{i}$ による平均正答率を $x$ に対する推定正答率 $s_{m_{i}}$ とする。

$
s_{m_{i}}(x)=\frac{1}{k} \sum_{x^{\prime} \in \mathrm{kNN}(\phi(x), D)} s_{i}\left(x^{\prime}\right)
$

## 2.2 多数決による回答集約

Shnitzer ら [7] は，単一の最良モデルへの割り当てのみに焦点を当てていた。本研究では，多数決による回答集約が効果的であることを示した先行研究 $[16,17,18]$ を踏まえ，routing に加えて多数決による回答集約を行った．具体的には，候補となる各モデル $\left.\{m_{i}\right.\}$ の推定正答率 $\left.\{s_{m_{i}}\right.\}$ を得た後， $\left.\{s_{m_{i}}\right.\}$ の值が大きい上位 $w$ モデルを取り出し，それらのモデルによる出力の多数決をとる。なお，簡単のため，本稿における実験では選択式もしくは数値による回答が可能なタスクのみを利用した。

## 3 実験

本稿における実験では，埋め込みモデルによる routing 性能への影響の評価と，routing 時に選択された複数の LLM の回答を多数決で集約することによる効果を評価する。

## 3.1 実験設定

## 3.1.1 データセット

本稿における実験では，多様なドメインのタスクを含む場合に適切なモデルへ割り当てが可能かを評価するため，57 のタスクを含む MMLU [19]，数学ドメインに特化した GSM8K（1タスク） [20]，17の夕スクを含む BBH Multi-Choice [21] のテストデータからなるデータセット (計 75 タスク/11,037 インスタンス)を作成した。なお，ここではインスタンスの集合をタスクと定義する。評価にあたっては，作成したデータセットのうち各タスクごとに $20 \%$ のインスタンスを無作為にサンプリングした計 2,216 インスタンスを routing のテストデータとし，残りの 8,821 事例を routing における過去事例として利用した.

## 3.1.2 候補となる LLM

2023 年 12 月現在, Mistral-7B は小規模 LLM の中で最も高性能な LLM の一つであり，多様なデー タセットによる追加学習済みモデルも多数公開されている. 本実験では, Huggingface の Open LLM Leaderboard $^{2}$ ) の上位モデルのうち Mistral-7B をべー
 open_llm_leaderboard

スとした 7 モデルを routing の候補 LLM として採用した。具体的には, Mistral-7B-Instruct-v0.2[2], 数学推論に特化したデータセット MetaMathQA[22] による MetaMath-Mistral-7B, OpenOrca データセット [23] またはそのサブセットによる Mistral-7BOpenOrca[23], Mistral-7B-SlimOrca[24], GPT-3.5/4 の出力を利用し Conditional-RLFT を行った OpenChat3.5-1210[25], Open Heremes による OpenHermes-2.5Mistral-7B, OpenHeremes や Magicoder データセットによる Dolphin-2.6-Mistral-7b を利用した。

## 3.1.3埋め込みモデル

Shnitzer ら [7] は, 各インスタンスの埋め込み化にあたって Sentence-BERT[9] 方式のモデル all-mpnetbase-v2 のみを採用している. ただし，現在では LLM をべースとしたモデルやインストラクションを考慮するモデルなど多様で高性能な埋め込みモデルが提案されている. そこで本稿における実験では，MTEB リーダーボード3)で上位に位置する文埋め込みモデルと，現在では性能の高いモデルはないものの以前は広く利用されていた単語埋め込みの平均に基づくモデルの計 8 モデルについて比較を行った. 具体的には, Glove による単語埋め込みモデルの平均4)，テキストの類似度判定タスクのパフォー マンス向上を図った Sentence-BERT[9] 方式のモデル roberta-large-nli-mean-tokens, all-mpnet-base-v2, より幅広いタスクのパフォーマンス向上を図った T5 ベースのモデル sentence-transformers/sentencet5-large[10], sentence-transformers/gtr-t5-large[11], プロンプトに基づくコンテキストを考慮するモデル embaas/sentence-transformers-e5-large-v2[12], それら同等の性能をプロンプトなしでも達成可能なモデル thenlper/gte-large[13], インストラクションをに基づいて埋め込み位置を配置するモデル hkunlp/instructor-large[14] 5)を利用した.

## 3.2 各タスクにおける候補 LLM の正答率

まず，タスクごと最も性能が高い LLM が異なることを確認するため，各タスクにおける各候補 LLM の性能を評価した. 表 1 に各 LLM の平均正答率を，図 1 には各タスクごとに最も高い正答率の LLM を

示す. 図 1 によれば，OpenChat-3.5-1210が平均的に最も強いモデルである一方，SlimOrca-Mistral-7B は MMLU に強く, OpenHeremes-2.5-Mistral-7B は BBHMC に強いなど LLM によって異なる傾向がみられる.また，MetaMath-Mistral-7B はどのタスクでも最も正答率の高いLLM に含まれていないものの，表 1 によれば GSM8K タスクにおいて 3 番目に正答率の高いモデルとなっており，各モデルで適不適があることが確認できる.

表 1 各候補 LLM の正答率（各行がモデル，各列がタスクを示す. 各データセットで最も正答率の高いモデルを太字で示す.)

図1 各タスクにおいて最も正答率の高いLLMを可視化した図（各行がモデル，各列がタスクを示す. 各タスクで最も正答率の高いモデルを斜線で示す.)

## 3.3 各埋め込みモデルを用いた routing の 結果

本節では，埋め込みモデルにより routing 性能がどのように変化するかについて述べる. routing 手法による推定正答率の最も高い top-1 LLM の回答を用いるだけでなく，ランキング上位の複数 LLM の回答を用いる使用事例も考えられる。例えば，使用者は top-n の回答を確認して，その中から最終的な回答を選択することができる。 そのため, top-1 LLMへ routing した際の正答率のほか, routing 手法を LLM のランキング手法とみなしたときの性能を併せて評価した，具体的には，まず LLM 群が生成した回答に基づいて，正答が上位に位置する理想的なランキングを用意する．そして，推定正答率に基づくランキングと理想的なランキングの spearman の順位相関係数と NDCG@5を算出した. 表 2 に，各埋め込みモデルに基づいて top-1 LLM へ routing した場合の正答率と，相関係数，NDCG@5 の結果を
示す. これによると，7つの候補 LLM の平均正答率 (0.394) やべストモデルである OpenChat-3.5 の正答率 $(0.498)$ に比べ，いずれの埋め込みモデルによる routing も高い正答率 $(0.528 \sim 0.545)$ が得られたことが確認できる. ただし, 埋め込みモデル間で正答率，相関係数，NDCG@5 のいずれもほとんど差がみられない. さらに，タスクイインスタンス単位で理想的な routing ができた際に達成されるオラクルの正答率について算出したところ，依然として routing に改善の余地があることが確認できる.

 \\

roberta-large-nli-mean-tokens & 0.227 & 0.622 & 0.533 \\
all-mpnet-base-v2 & 0.233 & 0.625 & 0.534 \\
sentence-t5-large & 0.228 & 0.623 & 0.535 \\
gtr-t5-large & 0.227 & 0.625 & 0.540 \\
e5-large-v2 & 0.224 & 0.623 & 0.545 \\
gte-large & 0.220 & 0.621 & 0.530 \\
instructor-large & 0.226 & 0.623 & 0.530 \\

Best LLM (OpenChat-3.5-1210) & - & - & 0.498 \\

Oracle by Instance (proposal) & - & - & 0.865

表 2 各埋め込みモデルに基づいて Top1 LLMへ routing した場合の相関係数, NDCG@5, 正答率 (各行は埋め込みモデルを示す. また, 正答率の比較のため, 候補 LLM の平均とべストとタスクイインスタンス単位で理想的な routing ができた際に達成されるオラクルの正答率を示す.）

次に，僅差であるが最も routing 性能の高い埋め込みモデル e5-large-v2 を用いて routing の誤り事例を分析した.ここで，図 2 に routing された LLM と routing すべき LLM の関係を示す.これによれば，本来多様なモデルの回答に正答が含まれているにも関わらず平均的に最も強いモデルである OpenChat-3.5 誤って割り当ててしまうことが多い傾向がある. 逆に，弱いモデルへ誤って割り当ててしまう事例はほとんど見られない.

## 3.4 上位 LLM 群への routing と多数決によ る集約の結果

top-1 モデルのみを利用する場合には依然として routing 誤りや生成失敗による誤答の懸念が残る. そこで，少数の誤答を省くことが可能な多数決を併用することによりランダムにサンプリングされた LLM による多数決よりもさらに性能が向上することを検証する. 図 3 に, e5-latge-v2 に基づいて routing された上位 $w$ モデルを用いて多数決とった場合，および，ランダムにサンプリングされた $w$ モデルによって多数決をとった場合の正答率を示す. ここで, 図中の点 $\mathrm{A}, \mathrm{B}$ の大小関係により routing で

図 2 誤答インスタンスにおける routing すべき LLM と実際に routing された LLM の関係 (行列の $(i, j)$ 成分は $i$ 番目のLLM に routing されたものの誤答しており，実際には $j$ 番目の LLM が正答であったインスタンスがテストデー タに占める割合を示す。単位は\%）

得られた上位 2 モデルによる多数決は, routing による top1 モデルよりも性能を改善できる. また，A,C の大小関係により，ランダムに選ばれた 2 モデルによる多数決に比べて, routing による top1 モデルの方が高い性能を得られる上，推論に必要なコストを半減できることが確認できた。

図 3 候補 LLM 数とそれらの回答を多数決させたときの正答率の関係 ( $x$ 軸は多数決における候補 LLM 数 $w$ を, $y$ 軸は多数決により集約された回答の正答率を示す.)

## 4 おわりに

本研究では，専門性の異なる多様な LLM が利用可能な状況において，インスタンスに応じて適切な LLM を選択する routing 手法で利用される埋め込みモデルと, routing と多数決併用の効果について分析を行った. その結果，埋め込みによる性能の差異はほとんど無い一方，全タスクで平均的に良い回答を行う LLM に偏ってタスクを割り当てるため，依然として routing 手法に改善の余地があることが分かった. また, 複数の候補モデルを routing 手法で選択した後に，多数決によって誤答を省くことで，更に性能が改善することも確認できた。

## 参考文献

[1] H. Touvron, L. Martin, K. Stone, P. Albert, A. Almahairi, Y. Babaei, N. Bashlykov, S. Batra, P. Bhargava, S. Bhosale, D. Bikel, L. Blecher, C. Canton-Ferrer, M. Chen, G. Cucurull, D. Esiobu, J. Fernandes, J. Fu, W. Fu, B. Fuller, C. Gao, V. Goswami, N. Goyal, A. Hartshorn, S. Hosseini, R. Hou, H. Inan, M. Kardas, V. Kerkez, M. Khabsa, I. Kloumann, A. Korenev, P. S. Koura, M.-A. Lachaux, T. Lavril, J. Lee, D. Liskovich, Y. Lu, Y. Mao, X. Martinet, T. Mihaylov, P. Mishra, I. Molybog, Y. Nie, A. Poulton, J. Reizenstein, R. Rungta, K. Saladi, A. Schelten, R. Silva, E. M. Smith, R. Subramanian, X. E. Tan, B. Tang, R. Taylor, A. Williams, J. X. Kuan, P. Xu, Z. Yan, I. Zarov, Y. Zhang, A. Fan, M. Kambadur, S. Narang, A. Rodriguez, R. Stojnic, S. Edunov, and T. Scialom. Llama 2: Open foundation and fine-tuned chat models. CoRR, Vol. abs/2307.09288, , 2023.

[2] A. Q. Jiang, A. Sablayrolles, A. Mensch, C. Bamford, D. S. Chaplot, D. de Las Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, L. R. Lavaud, M.-A. Lachaux, P. Stock, T. Le Scao, T. Lavril, T. Wang, T. Lacroix, and W. El Sayed. Mistral 7b. ArXiv, Vol. abs/2310.06825, , 2023.

[3] J. Bai, S. Bai, Y. Chu, Z. Cui, K. Dang, X. Deng, Y. Fan, W. Ge, Y. Han, F. Huang, B. Hui, L. Ji, M. Li, J. Lin, R. Lin, D. Liu, G. Liu, C. Lu, K. Lu, J. Ma, R. Men, X. Ren, X. Ren, C. Tan, S. Tan, J. Tu, P. Wang, S. Wang, W. Wang, S. Wu, B. Xu, J. Xu, A. Yang, H. Yang, J. Yang, S. Yang, Y. Yao, B. Yu, H. Yuan, Z. Yuan, J. Zhang, X. Zhang, Y. Zhang, Z. Zhang, C. Zhou, J. Zhou, X. Zhou, and T. Zhu. Qwen technical report. CoRR, Vol. abs/2309.16609, , 2023.

[4] Y. Luo, Z. Yang, F. Meng, Y. Li, J. Zhou, and Y. Zhang. An empirical study of catastrophic forgetting in large language models during continual fine-tuning. ArXiv, Vol. abs/2308.08747, , 2023.

[5] Y. Zhai, S. Tong, X. Li, M. Cai, Q. Qu, Y. J. Lee, and Y. Ma. Investigating the catastrophic forgetting in multimodal large language models. ArXiv, Vol. abs/2309.10313, , 2023.

[6] Y. Lin, L. Tan, H. Lin, Z. Zheng, R. Pi, J. Zhang, S. Diao, H. Wang, H. Zhao, Y. Yao, and T. Zhang. Speciality vs generality: An empirical study on catastrophic forgetting in fine-tuning foundation models. ArXiv, Vol. abs/2309.06256, , 2023.

[7] T. Shnitzer, A. Ou, M. Silva, K. Soule, Y. Sun, J. Solomon, N. Thompson, and M. Yurochkin. Large language model routing with benchmark datasets, 2023.

[8] K. Lu, H. Yuan, R. Lin, J. Lin, Z. Yuan, C. Zhou, and J. Zhou. Routing to the expert: Efficient reward-guided ensemble of large language models, 2023.

[9] N. Reimers and I. Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] J. Ni, G. Hernandez Abrego, N. Constant, J. Ma, K. Hall, D. Cer, and Y. Yang. Sentence-t5: Scalable sentence encoders from pretrained text-to-text models. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 1864-1874, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] J. Ni, C. Qu, J. Lu, Z. Dai, G. Hernandez Abrego, J. Ma, V. Zhao, Y. Luan, K. Hall, M.-W. Chang, and Y. Yang. Large dual encoders are generalizable retrievers. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 9844-9855, Abu Dhabi, United Arab Emirates, December 2022.
Association for Computational Linguistics.

[12] L. Wang, N. Yang, X. Huang, B. Jiao, L. Yang, D. Jiang, R. Majumder, and F. Wei. Text embeddings by weakly-supervised contrastive pre-training. ArXiv, Vol. abs/2212.03533, , 2022.

[13] Z. Li, X. Zhang, Y. Zhang, D. Long, P. Xie, and M. Zhang. Towards general text embeddings with multi-stage contrastive learning. ArXiv, Vol. abs/2308.03281, , 2023.

[14] H. Su, W. Shi, J. Kasai, Y. Wang, Y. Hu, M. Ostendorf, W. t. Yih, N. A. Smith, L. Zettlemoyer, and T. Yu. One embedder, any task: Instruction-finetuned text embeddings. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 1102-1121, Toronto, Canada, July 2023. Association for Computational Linguistics.

[15] C. J. C. Burges, T. Shaked, E. Renshaw, A. Lazier, M. Deeds, N. Hamilton, and G. N. Hullender. Learning to rank using gradient descent. Proceedings of the 22nd international conference on Machine learning, 2005.

[16] A. Lewkowycz, A. J. Andreassen, D. Dohan, E. Dyer, H. Michalewski, V. V. Ramasesh, A. Slone, C. Anil, I. Schlag, T. Gutman-Solo, Y. Wu, B. Neyshabur, G. Gur-Ari, and V. Misra. Solving quantitative reasoning problems with language models. In Alice H. Oh, Alekh Agarwal, Danielle Belgrave, and Kyunghyun Cho, editors, Advances in Neural Information Processing Systems, 2022.

[17] X. Wang, J. Wei, D. Schuurmans, Q. V. Le, E. H. Chi, S. Narang, A. Chowdhery, and D. Zhou. Self-consistency improves chain of thought reasoning in language models. In The Eleventh International Conference on Learning Representations, 2023.

[18] D. Oniani, J. Hilsman, H. Dong, F. Gao, S. Verma, and Y. Wang. Large language models vote: Prompting for rare disease identification, 2023.

[19] D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song, and J. Steinhardt. Measuring massive multitask language understanding. Proceedings of the International Conference on Learning Representations (ICLR), 2021.

[20] K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, C. Hesse, and J. Schulman. Training verifiers to solve math word problems. ArXiv, Vol. abs/2110.14168, , 2021.

[21] M. Suzgun, N. Scales, N. Schärli, S. Gehrmann, Y. Tay, H. W. Chung, A. Chowdhery, Q. Le, E. Chi, D. Zhou, and J. Wei. Challenging BIG-bench tasks and whether chain-of-thought can solve them. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 13003-13051, Toronto, Canada, July 2023. Association for Computational Linguistics.

[22] L. L. Yu, W. Jiang, H. Shi, J. Yu, Z. Liu, Y. Zhang, J. T. Kwok, Z. Li, A. Weller, and W. Liu. Metamath: Bootstrap your own mathematical questions for large language models. ArXiv, Vol. abs/2309.12284, , 2023.

[23] W. Lian, B. Goodson, E. Pentland, A. Cook, C. Vong, and Teknium. Openorca: An open dataset of gpt augmented flan reasoning traces. https://https://huggingface.co/Open-Orca/ OpenOrca, 2023.

[24] W. Lian, B. Goodson, E. Pentland, A. Cook, C. Vong, and Teknium. Slimorca: An open dataset of gpt-4 augmented flan reasoning traces, with verification, 2023.

[25] G. Wang, S. Cheng, X. Zhan, X. Li, S. Song, and Y. Liu. Openchat: Advancing open-source language models with mixed-quality data. ArXiv, Vol. abs/2309.11235, , 2023.


# 多言語ゼロショット学習における推論言語に関する分析

大平竬人 1 金輝燦 2 小町守 3
1 東北大学 2 東京都立大学 ${ }^{3}$ 一橋大学
souto@komachi.live kim-hwichan@ed.tmu.ac.jp mamoru.komachi@r.hit-u.ac.jp

## 概要

現在，Large Language Model (LLM) におけるincontext learning に関する研究が活発に行われている. in-context learning に用いるプロンプトが適切に設計されていれば，LLM は様々なタスクを実行することができる. 本研究では，そのフレームワークを拡張することによって定義される Multilingual Large Language Model (MLLM)のゼロショット学習に注目する. 現在，使用する言語ごとに，どの言語をプロンプトのテンプレートとバーバライザーの言語に用いるかでタスクの性能が大きく異なることが分かっている。そこで本研究では, 事前学習時の各言語のデータ量や英語との言語的近さの観点から，この違いの原因を分析する。

## 1 はじめに

GPT-3 のような LLM において in-context learning は幅広いタスクに適用することができる。これらの利点としては，LLM のパラメータの更新を必要としないため，パラメータ全体を微調整する従来の方法と比較して, 遥かに計算機の訓練コストが低いことである [1,2]. しかし， GPT-3 は非英語のテキストはほとんど含まれていない英語中心の訓練データで学習されており, 英語に特化したモデルである.近年では，言語バランスを考慮し，より多言語のデータを用いて学習した Multilingual LLM (MLLM) が開発されている $[3,4]$. MLLM は英語中心のデー タで学習された LLM と比較して, 非英語における in-context learning を高精度に行うことができる.

この事前学習時の言語バランスによってプロンプトに様々な言語の組み合わせを用いることで，MLLM の推論能力を引き出すことが考えられる. 実際にLin ら [3] によって, MLLM の in-context learning において，テンプレート言語およびバーバライザー言語の組み合わせが精度を大きく左右することが示されている. また本研究ではテンプレート

図1多言語テンプレートとバーバライザーの例

言語とバーバライザー言語が同じ場合のみを扱うため，以下ではこれらに使われる言語 2 つをまとめて推論言語と呼ぶことにする. 多言語ゼロショット学習とは，推論言語とターゲット言語に異なる言語を用いたゼロショット学習のことである.

直感的には，上記に示したように推論言語にター ゲット言語と同じ言語を使うことが最適であると考えられる。しかし, 全ての設定でそれが最適であるとは限らないことが示されている．Lin ら [3] は XGLMを用いて，多言語ゼロショット学習を行った. Lin らは推論言語にターゲット言語と同じ言語を用いた設定と，ターゲット言語によらず英語を推論言語として用いた設定で実験を行った.その結果，特定のタスクにおいて推論言語にターゲット言語とは異なる英語を用いた方が大幅に精度が高くなるような言語が存在することが明らかになった。具体的には，XNLI タスクにおける中国語の評価では，中国語を推論言語とするよりも，英語を推論言語として用いた方が，10 ポイントほど精度が高い. また,これは事前学習時のデータ量や言語間の近さが関係している可能性があると指摘されている.

本研究では，MLLMを用いたゼロショット学習の推論において，各ターゲット言語に対し，様々な推論言語を用いた場合について分析し，指摘されていた指標と精度に相関があることを確かめることを目的とする。

具体的には以下の 3 つの問いを立て分析を行う.

1. 各ターゲット言語に対して，推論言語によって精度が大きく異なるという現象は，複数の

MLLM で同様に起こるものなのか

2. 事前学習データに含まれる言語比率と性能に相関があるか

3. ターゲット言語が，事前学習時に含まれる最もデータ量の多い英語と言語的に近いほど，英語を推論言語にすることで性能に高くなる傾向があるか

実験では，XGML [3]， mGPT [4] という $2 \supset の$ MLLM に対しXNLI [5] をタスクとして性能評価を行った. 全ての MLLM で各ターゲット言語に対して, 最適な推論言語が必ずしもターゲット言語ではないことを確認した. 次に，モデルの事前学習時の各言語のデータ量とターゲット言語・推論言語ごとの性能の相関を見たが，明確な相関は得られなかった. 最後に，推論言語をターゲット言語と英語の 2 つに絞り， 2 つの観点（構造的，音韻論的）での英語との言語的な近さと性能の差の相関を測った. 前者ではトルコ語を除けば，構造的に近いほど性能の差が縮まるといった結果が得られた. 後者についても音韻論的に近いほど性能の差が縮まるといった結果が得られた。

## 2 研究課題

Brown ら [1] はゼロショット学習の一つであるフレームワークを提案し, LLM がタスク固有の微調整をしなくともある程度のタスク実行能力を獲得していることを示した. 彼らが提案したフレームワー クでは，ターゲット言語 $t$ と同じ言語のテンプレー ト $\mathscr{T}_{t}$ ， バーバライザー $v_{t}$ を用いる. ここで，テンプレート $\mathscr{G}_{t}$ はテスト事例 $x_{t}$ を [MASK] トークンを含む穴埋め形式の文に変換する関数で ${ }^{1)}$, バーバー ライザー $v_{t}: \mathcal{Y} \rightarrow \mathscr{V}_{t}$ は各候補ラベル $y \in \mathcal{Y}$ を自然言語の単語，またはトークン $\mathscr{T}_{t}$ に対応づける関数である.このフレームワークでは， $\mathscr{T}_{t}\left(x_{t}\right)$ の [MASK] を $v_{t}(y)$ に置換する関数 $\mathscr{P}$ を用いて，以下のように定義される值を最大化する予測ラベル $\hat{y}$ を求める.

$
\hat{y}=\underset{y \in \mathcal{Y}}{\operatorname{argmax}} \sigma\left(M, \mathscr{P}\left(\mathscr{T}_{t}\left(x_{t}\right), v_{t}(y)\right) .\right.
$

ただし $\sigma$ は $\mathscr{P}\left(\mathscr{T}_{t}\left(x_{t}\right), v_{t}(y)\right)$ を入力した時のモデル川から得られる尤度を示す。

Lin ら [3] は $川$ XGLM として, このフレームワークを拡張し, ゼロショット学習を行った。

1）例えば，XNLI タスクの場合，英語テンプレート $\mathscr{T}_{\mathrm{EN}}$ は前提, 仮説の二文 $x_{\mathrm{EN}}^{\text {pre }}, x_{\mathrm{EN}}^{\text {hyp }}$ を大力としてとり, “ $x_{\mathrm{EN}}^{p r e}$, right? [Mask], $x_{\mathrm{EN}}^{\text {hyp, }}$ のような形式に変換する.
Brown らとの相違点として， Lin らはターゲット言語 $t$ と同じ言語のテンプレート $\mathscr{T}_{t}$, バーバライザー $v_{t}$ を用いた設定に加えて，ターゲット言語によらず英語のテンプレート $\mathscr{T}_{\mathrm{En}}$, バーバライザー $v_{\mathrm{En}}$ を用いた設定で実験を行った.

そこで本研究ではこのフレームワークを用いて，以下の 3 つの問いを立て分析を行う。

RQ1: 推論精度の言語依存の一般性 Lin ら [3] は XGLM を用いてテンプレート言語とバーバライザー 言語によってターゲット言語における推論精度が大幅に変わることを示した．しかし，XGLM 以外の MLLM に関しては上記の現象が起こるかは示されていない.

本研究では，ターゲット言語と最適な推論言語が必ずしも一致しないという問題が，XGLM 特有の現象ではないことを示すために，複数の MLLMを用いて実験を行う．Lin らに倣い，各ターゲット言語 $t$ のテンプレート $\mathscr{T}_{t}$, バーバライザー $v_{t}$ を用いる設定と，英語をテンプレート言語とした $\mathscr{J}_{\mathrm{En}}$ と英語をバーバライザー言語とした $v_{\mathrm{En}}$ を用いる設定で実験を行い性能を比較する。

RQ2: 事前学習データの言語比率との関係 Lin ら [3] によって, 事前学習時のデータ内に多く含まれる言語が推論言語として有効に働く可能性があると指摘されている. そのため, ターゲット言語 $t$ のデータが事前学習時のデータに十分に含まれる場合は，ターゲット言語のテンプレートとバーバライザーを用いて有効に働くことが考えられる。一方で，ターゲット言語のデータが乏しい場合，英語のような事前学習時のデータ内に多く含まれる言語のテンプレートとバーバライザーを使った方が良いと考えられる。

そこで，本研究では，各ターゲット言語 $t_{1}, \ldots, t_{n}$ の事前学習データに含まれる割合 $r=\left.\{r_{t_{1}}, \ldots, r_{t_{n}}\right.\}$ と各言語のテンプレート，バーバライザーを用いた場合の精度 $a c c^{t}=\left.\{a c c_{t_{1}}^{t_{1}}, \ldots, a c c_{t_{n}}^{t_{n}}\right.\}$ を計測し，相関を測る. 正の相関がある場合, 事前学習データにター ゲット言語が多く含まれるほど，ターゲット言語のテンプレート，バーバライザーを用いることで MLLM が高精度に推論を行えることが示される。

RQ3: 英語との言語的な類似性との関係

Lauscher ら [6] は，言語間転移においてソース言語とターゲット言語の関係性について分析を行い，両者が言語的に類似している場合や事前学習時のデータ量が多い言語ほど，多言語の転移学習を高
精度に行えることを示した。

そこで，本研究では，ターゲット言語の推論において，異なる言語のバーバライザーを用いることはある種の言語間転移と考え, 英語と言語的に近いターゲット言語の推論を行う場合，英語のテンプレート，バーバライザーが有効に機能するという仮説を立て検証を行う。具体的には，英語のテンプレートとバーバライザーを用いた場合の精度 $a c c_{t_{i}}^{\mathrm{En}}$ と各ターゲット言語 $t_{i}$ 自身を用いた場合の精度 $a c c_{t_{i}}^{\mathrm{t}_{\mathrm{i}}}$ を計算し, 差分スコア $a c c_{t_{i}}^{\mathrm{En}}-a c c_{t_{i}}^{t_{i}}$ を求める. 次に各ターゲット言語について, 英語との言語間の近さを構造的，音韻論的観点で測り，最後に差分スコアとの相関を測る。

各ターゲット言語について，距離と差分に正の相関がある場合，英語と近いターゲット言語の推論を行うほど，英語のテンプレート，バーバライザーを使うことで高精度な推論を行うことができることを意味する。

## 3 実験

## 3.1 実験設定

本研究では，XGLM-1.7B [3] $]^{2} ，$ mGPT-1.3B [4] ${ }^{3)}$ の 2つの MLLM を用いる. タスクとしては XNLI [5] を用いて，評価指標としては accuracy を採用する。本研究では英語 (En), フランス語 $(\mathrm{Fr})$, スペイン語 (Es), 中国語 $(\mathrm{Zh})$, トルコ語 $(\mathrm{Tr})$ の 5 つの言語に関して実験を行う. 表 2 に実験で用いた各言語のテンプレートとバーバライザーを示す.これらは Lin ら [3] と同様のものである.

英語とターゲット言語の言語的近さを測るために Lang2Vec [7] を用いて，構造的，音韻論的な類似度の両方を測定し， accuracy との相関を観察した。 Lang2Vec では WordNet などの様々なデータセットを用いて, 特徵を機械学習で抽出し, その特徴の有無を 0 と 1 から成るべクトルで表現している.

## 3.2 実験結果

RQ1 XGLM (1.7B), mGPT (1.3B) 2 つの MLLM に対してゼロショット学習を用いてXNLIによって性能評価を行い，表 1 に結果を示した. 2 つのモデルで似たような結果が得られたことから，おおよそ

2) https://huggingface.co/facebook/XGLM-1.7B

3) https://huggingface.co/ai-forever/mGPT

4) https://github.com/antonisa/lang2vec

図 2 MLLM の事前学習データ量の比率とターゲット言語自身と英語を推論言語とした場合の精度

推論言語の性能の傾向はモデルに依らないことが分かった.このことは $\mathrm{RQ} 2, \mathrm{RQ} 3$ の結果を見るとより明確に分かる.

RQ2 図 2 に事前学習時のデータ量の比率と, ターゲット言語と同じ推論言語を用いた場合と，英語を推論言語とした場合の性能の関係をそれぞれ描いたが，両者に関して明確な相関は得られず，Lin ら [3] によって指摘されていた, 事前学習時のデー タ量と性能との相関の関係性が今回の結果では否定された. ${ }^{5)}$

RQ3 英語との構造的な近さによって，英語を推論言語とした方が性能が高いのかを確かめた. その結果, 図3が示しているように，トルコ語を除けば英語と構造的に近ければ近いほど性能が下がるといった，距離と性能の差の間に正の相関が得られた. また次に，音韻論的な近さに注目した実験を行った. その結果, 図 4 が示しているように距離と性能の差に正の相関が得られた。

## 4 考察

RQ1 については表 1 の実験結果より，MLLM における多言語 in-context learning での高い性能を達成するような推論言語の選択方法を，モデルの種類に依らずに言語ごとに決められる可能性が示唆される. 図 2 より, 今回の場合は事前学習時のデータ量と性能との関係はモデルごとに違っていることが分かったが，これは mGPT の結果が事前学習時の全データ量ではなく，その一部である $\mathrm{mC4}$ のデータ量に基づいた結果であるなどの理由が考えられる.
 4$ と Wikipedia からのデータを用いていたが，Wikipedia からの詳細なデー 夕量が得られなかったため, 図 2 については, $\mathrm{mC4}$ のデー タ比率のみを考慮して描いている。
}
表 $1 \mathrm{RQ} 1$ （推論精度の言語依存の一般性）の実験結果

図 3 構造的な近さと英語およびターゲット言語を推論言語とした場合の精度の差

一方，図 3，4 から分かるように，言語的近さの観点についてはおおよそモデルに依らない結果が得られたため，この観点は推論言語の選択の際に役立ちうると考えられる。このようなモデルに依らない結果が得られたのは，XGLM と mGPT が Brown ら [1] によって提案されたアーキテクチャーと訓練手順にどちらもほぼ従っているなどの事前学習時の共通点によると考えられる $[3,4]$.

また RQ2 については図 2 が示すように，事前学習時のデータ量と性能との間に明確な相関は見られなかった. Lin ら [3] によってモデルサイズが大きいほど多言語 few-shot in-context learning でのプロンプト内の例を効率的に活用できる可能性があるということが指摘されている. 今回の場合はモデルサイズが小かったため，プロンプトによる多言語ゼロショット学習での言語間転移の恩恵が十分に得られなかった可能性が考えられる。

RQ3 の実験では図 3 と図 4 が示すように，構造的，音韻論的どちらの観点の距離に関しても，一部のデータ点（図 3 でのトルコ語）を除けば，英語を推論言語とした場合とターゲット言語自身を推論言語とした場合の性能の差について, 正の相関が得られた。これらは小さいモデルではプロンプトによる言語間転移を十分に行えないために, 英語と構造的，音韻論的に近い言語ほどターゲット言語との区別がつかず，ノイズとなってしまうなどの可能性が考えられる。

図 4 音韻的な近さと英語およびターゲット言語を推論言語とした場合の精度の差

## 5 まとめ

今回は，MLLM の多言語ゼロショット学習での推論言語と性能との間の関係性が，モデルに依らず，事前学習時のデータ量や言語的近さの観点から説明できるのか確かめるために，様々な実験を行った.

まず得られた結果が，モデルに依らないということを確かめるために 2 つのモデルを用い，おおよそ性能の傾向はモデルに依らないということが確かめられた。

また，モデルの事前学習時のデータ量と英語またはターゲット言語自身をラベルに用いた場合の性能との関係を分析したが，今回の限られた実験設定では，この 2 つには目立った相関が得られず，モデル間で傾向が違っていた.

最後に構造的，音韻論的 2 つの言語的近さに注目して，これらと英語を用いたときにターゲット言語自身を用いた場合と比べた性能の関係を分析した。 トルコ語を除けばどちらの場合でも英語に近いほど英語を用いた方が性能が下がるといった結果が得られた。

今後は様々なモデルや言語を扱い，テンプレート言語とバーバライザー言語を異なるものとした実験など様々な状況下で実験を行うことがより深い分析を行う上で重要になってくると考えられる。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, S. Buch, Dallas Card, Rodrigo Castellon, Niladri S. Chatterji, Annie S. Chen, Kathleen A. Creel, Jared Davis, Dora Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li Fei-Fei, Chelsea Finn, Trevor Gale, Lauren E. Gillespie, Karan Goel, Noah D. Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson, John Hewitt, Daniel E. Ho, Jenny Hong, Kyle Hsu, Jing Huang, Thomas F. Icard, Saahil Jain, Dan Jurafsky, Pratyusha Kalluri, Siddharth Karamcheti, Geoff Keeling, Fereshte Khani, O. Khattab, Pang Wei Koh, Mark S. Krass, Ranjay Krishna, Rohith Kuditipudi, Ananya Kumar, Faisal Ladhak, Mina Lee, Tony Lee, Jure Leskovec, Isabelle Levent, Xiang Lisa Li, Xuechen Li, Tengyu Ma, Ali Malik, Christopher D. Manning, Suvir P. Mirchandani, Eric Mitchell, Zanele Munyikwa, Suraj Nair, Avanika Narayan, Deepak Narayanan, Benjamin Newman, Allen Nie, Juan Carlos Niebles, Hamed Nilforoshan, J. F. Nyarko, Giray Ogut, Laurel Orr, Isabel Papadimitriou, Joon Sung Park, Chris Piech, Eva Portelance, Christopher Potts, Aditi Raghunathan, Robert Reich, Hongyu Ren, Frieda Rong, Yusuf H. Roohani, Camilo Ruiz, Jack Ryan, Christopher R'e, Dorsa Sadigh, Shiori Sagawa, Keshav Santhanam, Andy Shih, Krishna Parasuram Srinivasan, Alex Tamkin, Rohan Taori, Armin W. Thomas, Florian Tramèr, Rose E. Wang, William Wang, Bohan Wu, Jiajun Wu, Yuhuai Wu, Sang Michael Xie, Michihiro Yasunaga, Jiaxuan You, Matei A. Zaharia, Michael Zhang, Tianyi Zhang, Xikun Zhang, Yuhui Zhang, Lucia Zheng, Kaitlyn Zhou, and Percy Liang. On the opportunities and risks of foundation models. ArXiv, 2021.

[3] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual generative language models. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Meth- ods in Natural Language Processing, pp. 9019-9052, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[4] Oleh Shliazhko, Alena Fenogenova, Maria Tikhonova, Vladislav Mikhailov, Anastasia Kozlova, and Tatiana Shavrina. mgpt: Few-shot learners go multilingual, 2022.

[5] Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel Bowman, Holger Schwenk, and Veselin Stoyanov. XNLI: Evaluating cross-lingual sentence representations. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2475-2485, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[6] Anne Lauscher, Vinit Ravishankar, Ivan Vulić, and Goran Glavaš. From zero to hero: On the limitations of zeroshot language transfer with multilingual Transformers. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4483-4499, Online, November 2020. Association for Computational Linguistics.

[7] Patrick Littell, David R. Mortensen, Ke Lin, Katherine Kairis, Carlisle Turner, and Lori Levin. URIEL and lang2vec: Representing languages as typological, geographical, and phylogenetic vectors. In Mirella Lapata, Phil Blunsom, and Alexander Koller, editors, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 8-14, Valencia, Spain, April 2017. Association for Computational Linguistics.
表 2 MLLM によるゼロショット XNLI 実験で用いたテンプレート


# 意味的プロービングデータセットの構築と言語モデルの評価: イタリア語の倒置を例に

今井咲良 ${ }^{1}$ Giovanni Pasa ${ }^{2}$ 小田博宗 ${ }^{2}$ 折田奈甫 1 河原大輔 1
1 早稲田大学理工学術院 2 東京大学大学院総合文化研究科
sakura_imai@toki.waseda.jp, \{dkw, orita\}@waseda.jp
giov.pasa@gmail.com, hiromuneoda@g.ecc.u-tokyo.ac.jp

## 概要

言語特有の現象を利用した意味的プロービングは、言語モデルにとって挑戦的な検証タスクであり、今後の言語モデルの発展のために必要不可欠である。しかし、英語以外の言語での実施が少ない状況にある。本研究では、多言語への展開を目的として、イタリア語の主語・述語の倒置に着目した意味的プロービングデータセットを作成し、事前学習済み BERT がどの程度の意味識別能力を有するかを観察する。イタリア語の容認性判断タスクを行い、文の持つ統語・意味的性質に対する容認性識別能力の変化を調査した結果、不定代名詞や再帰代名詞など意味解釈と関わりの深い性質をもつ文の容認性識別能力が大きく変動することがわかった。

## 1 はじめに

近年、大規模言語モデルの発展が著しく、様々な自然言語処理タスクにおいて高い精度を達成している。しかし、その高い精度を出すための原理には未だ解明されていない点が多く、いかにしてタスクを解いているのかが注目されている。特に、言語モデルが統語的・意味的にどの程度の言語知識を有しているのか多くの検証が行われている $[1,2,3]$ 。言語モデルの統語的知識を評価するためのベンチマークに、CoLA [4] や BLiMP [5] などがある。これらは文法的な容認性を二值で判断するタスクであり、英語や日本語をはじめとして様々な言語で構築されている。また、言語モデルの意味に関する知識を評価するベンチマークとしては、文脈中の単語の意味判別を行う $\mathrm{WiC}[6]$ などがある。

言語モデルの意味的評価では、言語特有の構文や特徴を用いた検証も行われているが、このような検証は英語での実施に限られる $[7,8]$ 。しかし、英語以外の言語でも、言語モデルにとって挑戦的な言語固有の構文や現象がある。本研究では、言語モデルの学習や評価に広く用いられる英語以外の言語において言語モデルの意味的判断を検証するため、イタリア語の主語と述語の倒置に焦点を当てる。文中で使用される単語は非倒置文と同じだが、倒置によって語順が変化することで文の意味が変化する。倒置は様々な言語で使用される、自然言語一般に備わる性質である。

本研究では、言語モデルが倒置により生じる意味の変化を識別できるか確かめるため、イタリア語の主語・述語倒置データセットを作成し、意味的プロービングを行う。言語間転移学習によりどの程度の意味的識別能力が転移されるかを検証するため、 イタリア語で事前学習されたモデルだけでなく、他の言語で事前学習されたモデルも用いて評価する。 また、イタリア語版 CoLA データセット ItaCoLA [9] を用いた容認性判断のタスクを行い、文の持つ統語・意味的性質に対する容認性識別能力の変化を調査する。その結果、イタリア語への言語転移を行った他言語の事前学習モデルは、再帰代名詞や不定代名詞など意味解釈と関わりの深い性質をもつ文の識別能力が変動しやすいことがわかった。

## 2 関連研究

意味的プロービングとは、言語モデルが意味的な識別能力をどれほど有しているかを検証するためのタスクである。英語を対象とした意味的プロービング研究として、Weissweiler ら [7] は、比較相関構文を取り上げ、言語モデルが比較相関構文と似た文との文意の違いを識別できるか検証した。言語モデルは比較相関構文の構造を認識する一方で、その意味の識別精度は低かった。Radford ら [10] は、ゼロショットの GPT-2 では、対話形式の質問応答タスク

など、初歩的な読解能力が必要なタスクでは教師あり学習を行ったベースラインと遜色ない性能を示すが、要約などの意味的な理解が必要なタスクでは不十分であることを確認した。また、言語モデルの意味習得における限界に焦点を当てた研究 [11] では、否定などの自然言語の意味表現の識別能力は、事前学習では獲得できていないことを示した。

このように、意味的な識別能力を必要とするタスクは、近年その発展が著しい言語モデルにとっていまだに挑戦的であり、今後の言語モデル、ひいては自然言語処理の発展のためには必要不可欠な評価である。一方、現時点でデータセットの構築やモデルの評価は英語での実施に限られており、十分に検証が行われているとは言い難い。多言語での実施とさらなる検証が必要である。

## 3 文意判別能力を測る課題の提案

本研究では、新たな意味的プロービング課題の提案にあたり、イタリア語の「主語と述語の倒置」現象に着眼する。主語と述語の倒置は、文中で使用される単語は非倒置文と同じだが、語順によって意味が異なることから、単なる単語の構成性以上の情報が含まれている。このような語順による意味の変化は英語をはじめとした様々な言語に強調などの用法として見られ、自然言語一般に備わる性質である。意味的プロービングで主に使用されてきた英語以外の言語でも、言語モデルがこの種の意味の違いを判別する能力を獲得することができるのか検証するため、本研究ではイタリア語の倒置を意味的プロービング課題として選択する。

## 3.1 イタリア語の主語と述語の倒置

イタリア語における主語と述語の倒置は、口語的な日常会話で頻繁に用いられ、強調などの効果を持つ。特に、例 (1) のような近過去の時制の文では頻繁に倒置が用いられ、二文とも実質的に同じ意味の文として知覚される。しかし、特定の種類の単語を用いた場合やイディオムとして用いられる表現では、例 (2)のように倒置文と非倒置文において聞き手に受け取られる意味が大きく変化する場合がある。これは、動詞に自動詞用法と他動詞用法の両方がある場合や、他動詞を用いる文において目的語が省略された場合に起こりやすい。本研究では、主語と述語の倒置により解釈されやすい文の意味が強調の範囲を超えて変化しない文ぺアを変化しないセッ表 1 OpenAI gpt-3.5-turbo API で倒置文を生成する指示

Please output pairs of simple Italian sentences followed by their English translations. The order should be: Italian sentence 1, Italian sentence 2, English translation.

Each sentence must consist only of an intransitive verb and a subject.

Each Italian sentence pair consists of two sentences, where in the first the verb comes after the subject, while the second presents an inversion in the order of the verb and subject.

output: Maria ha telefonato., Ha telefonato Maria., Maria called.

トとし ((1)を参照)、それ以上に文の意味が変化する文ぺアを変化するセットとする ((2)を参照)。

(1) a. Il pacco è arrivato.

the package is arrived

"The package has arrived."

b. È arrivato il pacco.

is arrived the package

"The package has arrived."

(2)

a. Il cane mangia.

the dog eats

"The dog eats."

b. Mangia il cane.

eats the dog

"(She/He) Eats the dog."

## 3.2 イタリア語主語・述語倒置データセッ トの作成

本研究では、倒置の有無による当該の意味の変化を言語モデルが識別できるか確かめるため、評価用のデータセットを作成する。倒置文データセットは、文ペアが同じ意味だと解釈される変化しないセット、文ペアが違う意味だと解釈される変化するセットで構成され、テンプレートおよび大規模言語モデルの APIを用いて作成する。

テンプレートによる作成主語、述語、目的語に対して単語を選定し、それらを組み合わせることで文を生成する。倒置による意味の変化は主に動詞に起因するため、述語スロットの動詞候補はイタリア語ネイティブ話者が選定した。主語や目的語は、 Marvin ら [12] が容認性判断データの構築に使用したテンプレートから抜粋する。

API による作成 OpenAI gpt-3.5-turbo モデル1)の API を使用し、倒置文の文ペアを生成する。API に与えた指示と生成例を表 1 に示す。

イタリア語母語話者による確認テンプレートと API を用いて生成した文ぺアは、大学院レベルの言

語学のトレーニングを受けたイタリア語母語話者が全て確認した。基本的な確認項目は、(i) 文ぺアに主語と述語の倒置が含まれており、文法的に正しいこと、(ii) 文を単独または特定の文脈下で使用することができることである。それらに加え、変化しないセットでは、倒置の有無により文ぺアで解釈される意味が変化しないこと、変化するセットでは解釈される意味が変化することを確認する。これらの過程を経て、変化しないセット 608 ペア、変化するセット 791 ペアを作成した。

## 4 実験

本研究では、言語モデルの意味的判別能力と統語的判別能力を評価するための 2 種類の実験を行う。意味的判別能力を測る実験では、 3.2 節で述べたイタリア語の主語・述語倒置データセットを用いる。統語的判別能力を測る実験では、イタリア語版 CoLA データセット ItaCoLA [9]を用いる。各実験は 2 段階で構成する。はじめにイタリア語データでモデルを追加学習し、次に評価実験を行う。

## 4.1 主語・述語倒置文ペアの意味判別実験

実験設定本実験では、文ぺアに対して言語モデルから文脈を捉えたべクトルを取得し、文ぺアの類似度を測ることにより意味的プロービングを行う。はじめに、イタリア語の文脈を捉えたべクトルを取得するため、事前学習済み BERT モデルをイタリア語データで追加学習する。この追加学習は、 Sentence-BERT [13] の手法を用いたファインチュー ニングである。その後、 3.2 節で構築したイタリア語の主語・述語倒置データセットを用いて倒置文ぺアの意味判別実験を行う。使用するモデルはイタリア語、スペイン語、英語、ドイツ語の事前学習済み BERT モデルである。詳細を付録 A に示す。

追加学習イタリア語の文脈ベクトルを得るための追加学習は、Sentence-BERT [13] のファインチューニングと同様の手法および設定を使用する。使用するデータの設定は、NLI (Natural Language Inference)のみ、STS (Semantic Textual Similarity)のみ、NLI で追加学習を実施した後に STS の追加学習の 3 パターンを用いる。NLI は、UINAUIL [14] の Textual Entailment セットを使用し、STS は STSb Multi MT [15] のイタリア語セットを使用する。

主語・述語倒置文ペアの意味判別実験 BERT モデルを追加学習した後、倒置文ぺアを用いた意味判別実験を行う。ぺアの各文に対して、追加学習済み Sentence-BERT モデルから全トークンのベクトルを平均した文脈ベクトルを取得する。各文ペアに対して、2つの文脈ベクトルのコサイン類似度を計算する。この類似度を文ぺアの意味的な類似度として評価するため、ROC 曲線と AUC を算出する（図 1)。

## 4.2 ItaCoLA の容認性判断実験

実験設定本実験では、事前学習済み GPT-2 モデルをイタリア語 CLM (Causal Language Modeling) 夕スクで追加学習し、モデルのパープレキシティに基づく容認性判断タスクを行う。使用するモデルはイタリア語、スペイン語、英語、ドイツ語の事前学習済み GPT-2 モデルである。詳細を付録 A に示す。

追加学習イタリア語データを用いて GPT-2 モデルを追加学習するために、UINAUIL [14] の Textual Entailment セット (NLI)、および CONcreTEXT [16] (CCT) のテキストを使用する。各データセットを用いて CLM タスクで追加学習する。

容認性判断実験追加学習済みモデルを用いて、 ItaCoLA の各文に対してパープレキシティを計算する。このとき、パープレキシティが閾値より小さければ容認可能 (文法的)、大きければ容認不可能 (非文法的)として容認性判断タスクを行い、ROC 曲線と AUC を算出する (図 2)。

## 5 結果と議論

## 5.1 主語・述語倒置文の意味識別実験

図 1 に各言語の事前学習済み BERT モデルに対して、NLIのみ、STS のみで学習した場合、および NLI 学習後にSTS で学習した場合において主語・述語倒置データセットを用いて意味的プロービングを行った際の ROC 曲線を示す。

本実験では、イタリア語テキストを用いた追加学習の手法を 3 種類比較した。Sentence-BERT [13] のファインチューニング設定から、NLI 学習後に STS 学習を行う手法で最も効果的に主語・述語倒置文の意味的判別能力を獲得できるのではないかと推測された。しかし、図1から、イタリア語への言語転移によって AUC が改善した英語およびスペイン語モデルでは、STS 学習のみの場合に AUC が向上した。 これは、複数のデータによる追加学習は、特定の意味的判別能力の向上には必ずしも最も効果的ではないことを示している。また、追加学習による AUC

図 1 イタリア語の主語・述語倒置文を用いた意味判別実験の結果。左からイタリア語、英語、スペイン語、ドイツ語で事前学習された BERT モデル。

図 2 パープレキシティに基づくItaCoLA 容認性判断タスクの結果。左からイタリア語、英語、スペイン語、ドイツ語で事前学習された GPT-2 モデル。

の変動は、モデルが事前学習された言語によって異なる。英語、スペイン語モデルでは、イタリア語の追加学習によって AUC が向上しているが、ドイツ語モデルではほぼ変化がない。これは、イタリア語との類似性が関係していると推測される。

個々の文ペアのコサイン類似度を観察する。英語モデルの変化するセットでは、例 (3) のように主語、動詞、目的語の 3 つの要素から構成され、 raggiungere "to reach" $や$ guardare "to look at" など自動詞・他動詞用法を両方持つ動詞を含む文ぺアにおいてコサイン類似度が大きくなりやすい傾向があった。この種の文は、動詞と目的語の連続が主語と動詞の連続より強く意識されるため、倒置により意味が変化しやすい。しかし、言語モデルはこのような意味の変化を捉えることが難しいと考えられる。

(3) a. Gli insegnanti guardano le ragazze. the teachers look the girls "The teachers look at the girls."

b. Guardano gli insegnanti le ragazze. look the teachers the girls "The girls look at the teachers."

## 5.2 ItaCoLA の容認性判断実験

図 2 に、各言語の事前学習済み GPT-2 モデルに対して、追加学習なし (vanilla)、NLI、CCT の設定において ItaCoLA 容認性判断を行った AUC スコアを示す。非イタリア語モデルのうち、全体スコアはスペ
イン語、英語、ドイツ語モデルの順で下がっている。したがって、ItaCoLAを用いた評価においても言語間の類似度の影響が推測され、イタリア語の倒置文を用いた意味判別実験の結果と一貫している。

非イタリア語モデルでは、特に再帰代名詞と不定代名詞の特徴を持つ文で追加学習による AUC の変動が大きい (図 2)。ItaCoLA の不定代名詞の特徵を持つ容認不可能な文は、文法は正しいが語彙の組み合わせが不適切なものが多いことが観察された (付録 (5b))。したがって、この AUC の変動は、イタリア語の追加学習を行うことにより、非イタリア語モデルの語彙の意味的な適切さを判別する能力が向上することを示唆している。しかし、ItaCoLA の不定代名詞を含むとされる文に、不定代名詞が含まれず、不定冠詞のみが含まれている例が複数確認されており、これが結果に影響している可能性がある。

## 6 おわりに

本研究では、イタリア語の主語・述語倒置に着目した意味的プロービングデータセットの作成およびプロービング評価を行った。実験では、ItaCoLAを用いたパープレキシティに基づく容認性判断の評価を行い、事前学習済みモデルの意味的判別能力の獲得について検証した。本研究で選択したイタリア語の倒置以外にも、言語モデルに対して挑戦的になり得る構文や現象がある。さらなる言語モデルの検証と多言語への展開は、今後の課題としたい。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Lining Zhang, Mengchen Wang, Liben Chen, and Wenxin Zhang. Probing GPT-3's linguistic knowledge on semantic tasks. In Jasmijn Bastings, Yonatan Belinkov, Yanai Elazar, Dieuwke Hupkes, Naomi Saphra, and Sarah Wiegreffe, editors, Proceedings of the Fifth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 297-304, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[2] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN language models learn about fillergap dependencies? In Tal Linzen, Grzegorz Chrupa la, and Afra Alishahi, editors, Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5523-5539, Online, July 2020. Association for Computational Linguistics.

[4] Alex Warstadt, Amanpreet Singh, and Samuel R. Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, 2019.

[5] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 2020.

[6] Mohammad Taher Pilehvar and Jose Camacho-Collados. WiC: the word-in-context dataset for evaluating contextsensitive meaning representations. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1267-1273, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Leonie Weissweiler, Valentin Hofmann, Abdullatif Köksal, and Hinrich Schütze. The better your syntax, the better your semantics? probing pretrained language models for the English comparative correlative. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 1085910882, Abu Dhabi, United Arab Emirates, December
2022. Association for Computational Linguistics.

[8] Lindia Tjuatja, Emmy Liu, Lori Levin, and Graham Neubig. Syntax and semantics meet in the "middle": Probing the syntax-semantics interface of LMs through agentivity. In Alexis Palmer and Jose Camacho-collados, editors, Proceedings of the 12th Joint Conference on Lexical and Computational Semantics ('SEM 2023), pp. 149164, Toronto, Canada, July 2023. Association for Computational Linguistics.

[9] Daniela Trotta, Raffaele Guarasci, Elisa Leonardelli, and Sara Tonelli. Monolingual and cross-lingual acceptability judgments with the Italian CoLA corpus. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 29292940, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[11] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.

[12] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1192-1202, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[13] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Valerio Basile, Livio Bioglio, Alessio Bosca, Cristina Bosco, and Viviana Patti. UINAUIL: A unified benchmark for Italian natural language understanding. In Danushka Bollegala, Ruihong Huang, and Alan Ritter, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations), pp. 348-356, Toronto, Canada, July 2023. Association for Computational Linguistics.

[15] Philip May. Machine translated multilingual sts benchmark dataset. 2021.

[16] Lorenzo Gregori, Maria Montefinese, Daniele Paolo Radicioni, Andrea Amelio Ravelli, and Rossella Varvara. Concretext @ evalita2020: The concreteness in context task. EVALITA Evaluation of NLP and Speech Tools for Italian - December 17th, 2020, 2020.

## A 学習および評価に使用したモデ ルの詳細

イタリア語の主語・述語倒置の意味判別実験に使用するモデルはイタリア語2)、スペイン語3)、英語4)、ドイツ語5)の事前学習済み BERT モデルである。また、ItaCoLA の容認性判断実験に使用するモデルはイタリア語6)、スペイン語7)、英語8)、ドイツ語9)の事前学習済み GPT-2 モデルである。

## B 議論

本節では、5 節で述べた結果に関する議論を補足する。

## B. 1 主語・述語倒置文の意味識別実験

個々の文ぺアのコサイン類似度を観察すると、モデルが事前学習された言語に関わらず、単語数の少ない現在時制の文ぺアでコサイン類似度が低くなりやすく、単語数の多い文ぺアではコサイン類似度が高くなりやすい傾向があった。変化しないセットにおける、短い文 (4a) と長い文 (4b) の例を示す。単語数の多い長い文では場所を表す句等が追加されている場合が多い。変化しないセットでは動詞の性質によって意味の変化が生じる場合が多いため、文長に対して明らかに同じ意味を表す部分が多いことからコサイン類似度が高まりやすいことが推測される。

(4) a. I manager ridono.

"The managers laugh."

b. Il chirurgo soggiorna a casa.

"The surgeon stays at home."

## B. 2 ItaCoLA の容認性判断実験

5.2 節で述べたように、ItaCoLA の不定代名詞の特徴を持つ文では、不適切な語彙の組み合わせにより容認不可能となる例が観察された。(5a) に語彙の組み合わせが適切な例、(5b) に語彙の組み合わせが不適切な例を示す。

表 2 イタリア語モデルとスペイン語モデルのイタリア語テキストのトークナイズの違い

テキスト: Se stesso inganna Lorenzo. (Lorenzo deceives himself.) イタリア語モデル: ['Se', 'stesso', 'inganna', 'Lorenzo', '.'] スペイン,語モデル: ['Se', 's', 'tes', 'so', 'in', 'gan', 'na',

(5)

a. Sofia si è pigliata una forte cotta per Riccardo.

"Sofia had a strong crush on Richard."

b. *La zanzara si è pigliata una forte cotta per Riccardo.

"The mosquito had a strong crush on Richard."個々のモデルに対して、ItaCoLA の文の特徵とパープレキシティの値を観察する。イタリア語の再帰代名詞と同様の用法があるスペイン語のモデルは、vanillaでは、非文である再帰代名詞 se stesso “oneself” と自動詞が共存する文に対して高いパープレキシティを付与しているため、再帰代名詞を他動詞とのみ使用できることを理解していると推測される。しかし、CCT で追加学習したモデルでは、再帰代名詞と自動詞の組み合わせに対してパープレキシティを比較的低めに出力している。これは、イタリア語モデルスペイン語モデルのトークナイズの違いに起因しているのではないかと考えられる。表 2 にモデルによるイタリア語テキストのトークナイズの結果を示す。イタリア語モデルでは、se stesso を正しく単語区切りしているのに対し、スペイン語モデルでは stesso を文字区切りにしている。したがって、トークナイズの違いにより追加学習でイタリア語テキストの学習が逆効果になっていることを示している。


# 対話モデルにおけるキャラクター特性の実現法の探索

山田 和志 ${ }^{1}$ 篠崎 隆志 ${ }^{1,2,3}$
1 近畿大学 理工学部 情報学科
${ }^{2}$ 近畿大学 情報学部 情報学科
${ }^{3}$ 近畿大学 情報学研究所
tshino@kindai.ac.jp

## 概要

対話型 AI の爆発的な普及は社会にまさに変革をもたらしているが，さらなる浸透のためには個々の AI が独立したキャラクター特性を持つことが必要と考えられる. 本研究では LLM への入力を適切に構成することによって, 単一のモデルで複数のキャラクター特性を実現する手法を探索する. 日本語特有の語尾によるキャラクター特性の実現について注目し, 対話 LLM の入力の構成要素である Persona と History を操作することで, ファインチューニングなしでのキャラクター付けを実現，人間による感性評価によって, Persona と History についての適切な構成を明らかにした。本手法によって，ゲームにおける多数の Non-Player Character (NPC) や, ご当地キヤラとの対話を実現できると考えられる.

## 1 はじめに

## 1.1 本研究の背景

近年, ChatGPT[1]のような自然言語処理モデルが注目されている. ChatGPTは, OpenAIによって開発された大規模言語モデルで, 同社の開発した Generative Pre-trained Transformer (GPT) [2] と呼ばれる言語モデルによる文章生成によって，人間のような対話の生成を実現している.

GPT をはじめとする大規模言語モデル（Large Language Model, 以下, LLM）では, 基本構造として Transformer[3]というネットワークが使われている. Transformer は深層ニューラルネットワークを用いた言語モデルで, 従来のモデルである Long Short Term Memory（LSTM）等で用いられていた再帰構造を避け, 代わりに単語間の依存関係を表現する注意機構と呼ばれるメカニズムを導入したアーキテクチャである. Transformer は自然言語処理にとどまらず, 画像処理[4]やマルチモーダル信号[5]など, 多岐
にわたるタスクで優れた性能を発揮している.対話型 AI によって生成される文章のキャラクタ一特性は学習に用いたデータに依存しているが，学習のための文章量が豊富な英語の処理においては,入力を調整することによってキャラクター特性をある程度コントロールできることが知られている．日本語の場合においても, 雑談対話において LLM を利用することは有効[6]であることが示されており，学習データの前処理を適切に行うことで, その応答の生成にキャラクターの口調や個性が反映されることが示されている[7].

しかし, 日本語特有の語尾によるキャラクター特性の表現に関しては, その特殊性から十分な研究がなされていない. 本研究では LLM において, 会話の語尾を変更させることでキャラクター特性を実現することを試みる。

## 1.2 本研究の目的

例えば多数の Non-Player Character（NPC）が登場するゲームにおいて，NPC との対話を実現するためには, NPC ごとに特徴付けされたキャラクター特性が必要とされる. しかし, LLM にキャラクターごとに適した会話やセリフを学習させるために必要なフアインチューニングは, 膨大な手間とリソースを要する. また，キャラクターごとに独立したモデルを用いるとすると，極めて多くのハードウェアリソー スを必要とするという問題もある.

そこで, 本研究では, GPTのような汎用の大規模言語モデルを使用しつつも，メモリの使用量を抑えたキャラクター特性を実現する方法を探索する。具体的には，ファインチューニングをせずに，単一のモデルで効率良くキャラクター付けを可能にする方法を提案する. 対話モデルへの入力を制御することによって, 生成される文章の語尾を変更させ, キャラクター特性の実現，その実現度合いを感性評価によって検証する。

## 2 研究内容

## 2.1 対話 AI, Persona, History の構成

本研究では, LLM の入力を適切に構成することによって, 対話 AI において単一のモデルで複数のキャラクター特性を実現することを目的とする.

「対話 $\mathrm{AI}\rfloor とは ，$ 自然言語処理技術と人工知能を組み合わせたシステムである. 人間のような対話を理解し, 応答することができる人工知能エージェン卜を指す. 最近の研究では, 大規模な言語モデルの開発や転移学習の導入により, 対話 AI の性能が大きく向上している[8,9]. これによって対話 AI は, コンピュータとユーザーの双方向のコミュニケーションを可能にしており,さらなる品質向上のためにも,個々のユーザーやシナリオ等の前提情報に適応できる柔軟性が求められている.

対話 LLM における一般的な入力の構成では，対話自体の入力以外に, Persona と History という補助的な内容が前文として毎回入力されている[8].

「Persona」とは，対話 AI においてユーザーまたはエージェントが持つ特性を持つようにするために設計された, 入力の冒頭に付加される説明文を表わす.これによって, 会話の一貫性や姿勢, ユーザー エクスペリエンスの向上が実現されている. Persona は，特定のトピックに関する知識や言い回し，スタイルなどを包括することがある．例えば会話モデリングのデータセットである「PERSONA-CHAT」では，各ユーザーが異なる Persona を持ち, それに基づいた対話が行われる[10]. 実際にモデルに Persona が組み込まれることで, 対話の個別化と魅力を高められている.このことからも Persona は対話エージエントがユーザーに対してより個別化されたサービスを提供する手段として重要である.

「History」とは，対話における事前のコンテキストを指す.これは，過去のユーザーの発言やエージエントの応答など，対話の流れ全体を含んだものである. GPT を含む Transformer[3]では self-attention という仕組みを通じて長い文脈を捉えることができることから, History を効果的に取り扱うことによって，対話 AI の一貫性と理解を向上させることが可能となる[8]. 特に, 長い対話や複雑な質問応答タスクでは, 精確に管理された History を用いることによって，過去の対話コンテキストを正確に把握し, より洗練された対話が可能となる.

図 1 対話 LLM における一般的な入力の構成

## 2.2 使用した言語生成モデル

本研究では, rinna 社による GPT2 の日本語 medium モデル（以降，「rinna-2」とする） [11], LINEヤフ一社による日本語 36 億パラメータモデル（以降,「line-3.6b」とする) [12], およびその対話モデル（以降,「line-3.6b-is」とする) [13], Preferred Networks 社による日本語 130 億パラメータモデル（以降,

「PlaMo-13B」とする）[14]の 4 つの LLM モデルを使用する. 近年, 極めて多数の LLM がリリースされているが，予備実験での結果や使用する言語モデルの多様性のため, 上記のモデルを選定した.

## 2.3 実験の概要

近年 LLM のサイズは拡大の一途をたどっていることから，ファインチューニングに必要とされるハ ードウェアリソースの要求仕様も高まっており,個々のキャラクター付けのためにファインチューニングを利用することはさらに困難となりつつある. そこで本研究ではファインチューニングしない単一の LLM で効率良くキャラクター付けを可能にする方法を提案し, これを検証する.より具体的には，日本語特有の会話の語尾を変更することによるキャラクター特性を実現し, 評価者による認知の基づいた点数付けによってその有効性を検証する. これによって, 将来的には単一のモデルで複数のキャラクター特性を実現し得るようなシステムの実現を目指す.

図 1 に対話 LLM における一般的な入力の構成[8] を示す. なお, ここで「出雲」とあるのは，内部的に設定されたチャットモードのコードネームである.図 1 ではユーザー側の対話自体の入力は最下段の Query にのみ反映されるが，それ以外に Persona と History という補助的な内容が毎回入力されている.本研究では, この Persona と History を操作すること

で，ファインチューニングせずに，単一のモデルでキャラクター付けを実現する方法を検証する．例えば，語尾を「ござる」とすることによって，忍者のようなキャラクター付けをすることを考える。このとき, Persona と History のそれぞれについて, 忍者のような「ござる」語尾を付加することによって目的とする特性を実現することを試みる。

なお, 開始時に設定された Persona と History の補助的な内容の他に, ユーザーと LLM による対話についても, Historyを更新しながら入力されるようにしている。実験では, Persona と History の量（トー クン数）や使用する学習済み言語モデルを変更することで，それぞれの変更が会話のキャラクター付けにどれだけ寄与するのかを明らかにし, より効率のよいシステムを模索する。

## 2.3.1 Persona の変更

本研究で用いる Persona は，キャラごとに内容の異なる Persona を用意するのではなく, 内容は同じで，それぞれの Persona の語尾を変化させたものを用い, Persona の語尾の変化のみで, 会話にどれだけ影響があるかを検証する．なお，LLM のの Persona の性格の作成には, 16Personalities[15]を参考にした.作成された Persona はいわば対話 AI の特性の定義文であるが, LLM で実現するキャラクター特性に合わせて，これら定義文の語尾を変更する。さらに Persona のトークン数についても変更させ, その影響も検証する。

## 2.3.2 History の変更

本研究で用いる History は, Persona と同様に, キヤラごとに内容の異なる History を用意せず, 同一の内容の History について目的とする語尾へと変化させたものである．曖昧な言葉，質問と応答のやりとりなどを含んだ History を用意し, LLM で実現するキャラクター特性に合わせて, 応答文の語尾の変更を行う. また, Persona と同様に, History の量の変化による影響も検証する。

## 2.3.3 会話のやりとり

本研究では, Persona と History の変更によって, キャラクター付けにどのような影響があるかを確かめるため, 実験でのユーザー側の発言は出来る限り統一する必要がある. そこで, 今回の実験で行った会話は, ユーザーが LLM に, 冬休みの旅行として城崎温泉[16]に行く予定を話している，という前提でユーザー側の発言を行うことにより，条件の統一を図った。ただし，LLM の返答によってユーザー側の返答も変える必要があるため必ずしも内容は一定とはならない.そのような場合であっても可能な限り条件を統一するため, 会話の流れが自然な範囲で， ユーザー側の返答の具体的な順番は適宜変更しつつ,試行間で同様の情報量の返答が行われるように努めた.

## 2.3.4 対話の評価

生成された対話は 5 人の評価者によって, 会話としての妥当性と, キャラクター特性を, それぞれ 10 点満点, 合計 20 点満点で感性評価を行った. 1 セットの会話は 10 文の応答を含むことから, ある応答が妥当である場合，もしくは適切なキャラクター特性である場合は 1 点，そうでない場合は 0 点とし， 10 文の合計値をその対話における Score とした。

## 3 実験内容

本章では，どのモデルが語尾の変更に適しているか, また, 適していると考えられるモデルで Persona や History の量を変更した場合などについて，それぞれの実験の内容と結果を記述する. 検証には 10 会話 (入力文と生成文を合わせて 20 文)の対話を用いた.

## 3.1 モデル探索

表 1 に, rinna-2, line-3.6b, line-3.6b-is, PLaMo-13B の各モデルにおけるキャラクター付けで語尾が「ござる」となるようにした場合の結果を示す. 表中で Persona と History はそれぞれのトークン数, GPU は推論時のメモリ使用量を GB で, Score は 5 人の評価者の平均値を示す.

表 1 各モデルの実験結果

表 1 から，GPU のメモリ使用量が多いものの PLaMo-13B の Score が高いことがわかる.また line-3.6b についてもメモリ使用量が少ないにも関わらず良好なスコアであることが確認された。＃1 の

Persona および History の量が他と著しく異なるのは,

ら，以降の実験では PLaMo-13B のみを使用し， Persona と History の量を変更させた場合の性能を検証する.

## 3.2 Persona と History の有無

表 2 に，PLaMo-13B において入力する Persona と History の量を変更した場合の結果を示す.

History のみ（\#5），または Persona のみ（\#6）では, 両方入力した場合 (\#4) と比べて, メモリの使用量が少なくなっている. しかし，\#6の Score は, その他の実験と比べて, 著しく悪いことが分かる. これは，語尾の使い方を，会話の流れを通して予想することができないため, Score が低くなったと考えられる. 裏を返すと, 語尾の使い方を示すことができる History があれば, ある程度キャラクター付けができると考えられる.そこで History の量を一定としたままで Persona の量を削減した場合（\#7）を検証したところ，最も良いScore を記録した。

## 3.3 History だけ変更

表 2 の\#5 から, Persona が無く, History だけという場合でも，ある程度キャラクター付けができることが分かった. そこで今度は, Persona の量を 0 に固定し, History の量のみを変更させた場合での検証を行った. 表 3 に PLaMo-13B において Persona を入力せず History の量を変更した場合の結果を示す.

表から History が 113 トークンと著しく短い場合 （１0）では，キャラクター特性は反映されにくいことが分かった.一方で History の量を著しく増やしたとしても，それに比例して語尾が反映されるわけではなく頭打ちが見られ (\#11，\#12），ある程度の History の量があれば十分な性能が見込めることが確認された $(\# 5, \# 8)$.表 3 History の量を変更した実験結果

## 4 考察

実験結果から, Persona 258 トークン程度, history を 462 トークン程度, それぞれ, 適したキャラクタ一特性のものを用意することで，より会話の語尾が変更されるようなキャラクター特性の実現が可能である。また，会話の噛み合わせもよく，かつ，メモリ効率のよいシステムとなる. 今回の実験では LLM の生成時パラメータである temperature, top_p, top_k, repetition_penalty などは一定にして行っていたが， これらの変更によって, 例えばより temperature が高く, 生成文の変動が大きい条件下では，より長い Persona や History が必要である可能性が考えられ， これらについてのさらなる検証が必要である.

さらに，一口に LLM といっても，「質問した内容に対する答え」を生成するもの，「入力した文章の続きを生成するもの」など，モデルの目的は様々なので，「会話」を目的としたモデルなら，よりキヤラクター特性が反映されやすい可能性がある. 例えば表 1 のように, line-3.6b モデル[12]では少ない GPU メモリ使用量にも関わらず高い Score を実現している。一方で対話へのファインチューニングが行われた場合[13]の方が今回の手法への適合度が低下しており，特に複数のキャラクターを演じさせる場合のモデル選定，あるいはベースとなるモデルの構築法について, さらなる検証が必要とされる.

本研究の結果から, 会話の噛み合わせの良い LLM を一つ使用し, キャラクターごとの Persona や History を用意することで, 例えばオンラインゲームなどで，複数のキャラクターを個別のキャラクター 特性で演技させることができると考えられる.また， ゲーム以外についても，例えばご当地キャラの会話文生成においても提案手法の応用が可能であることが見込まれ, 精度の高い演出が可能となることが期待され，幅広い応用が見込まれる。

## 参考文献

[1] OpenAI, ChatGPT, 2022. (参照 2023-12-20). https://openai.com/blog/chatgpt.

[2] OpenAI, Improving language understanding with unsupervised learning, 2018. (参照 2023-12-20). https://openai.com/research/language-unsupervised.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need. Advances in neural information processing systems 30, 2017.

[4] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations (ICLR), 2020.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever. Learning Transferable Visual Models From Natural Language Supervision. arXiv preprint arXiv:2103.00020, 2021.

[6] 山崎天, 坂田亘, 川本稔己, 小林滉河, グエントウン,上村卓史, 中町礼文, 李聖哲, 佐藤敏紀. ペルソナ一貫性の考慮と知識ベースを統合した HyperCLOVAを用いた雑談対話システム, 人工知能学会研究資料言語・音声理解と対話処理研究会 93 回, p.113-118, 人工知能学会, 2021.

[7] 秋山一馬, 稲葉通将. 小説から生成した擬似対話に基づくキャラクター対話システムの構築，人工知能学会全国大会論文集 36 回，一般社団法人人工知能学会, 2022.

[8] Thomas Wolf, Victor Sanh, Julien Chaumond, Clement Delangue. TransferTransfo: A Transfer Learning Approach for Neural Network Based Conversational Agents, arXiv preprint arXiv:1901.08149, 2019.

[9] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse,
Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei. Language Models are Few-Shot Learners. Advances in neural information processing systems 33, 2020

[10] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too?, arXiv preprint arXiv:1801.07243, 2018.

[11] rinna Co., Ltd. 日本語に特化した GPT-2 の大規模言語モデルを開発しオープンソース化, 2021. (参照 2023-10-20).

https://rinna.co.jp/news/2021/04/20210407.html.

[12] Shun Kiyono, Sho Takase, Toshinori Sato(overlast). 36 億パラメータの日本語言語モデルを公開しました, LINE Engineering Blog, 2023. (参照 2023-10-20). https://engineering.linecorp.com/ja/blog/3.6-billion-paramet er-japanese-language-model.

[13] Koga Kobayashi, Tomoya Mizumoto. Instruction Tuning により対話性能を向上させた $3.6 \mathrm{~B}$ 日本語言語モデルを公開します, LINE Engineering Blog, 2023. (参照 2023-10-20).

https://engineering.linecorp.com/ja/blog/3.6b-japanese-lan guage-model-with-improved-dialog-performance-by-instru ction-tuning.

[14] Hiroaki Mikami. PLaMo-13Bを公開しました, Preferred Networks Blog, 2023. (参照 2023-10-20). https://tech.preferred.jp/ja/blog/llm-plamo/.

[15] NERIS Analytics Limited. 性格タイプ, (参照 2023-11-01)

https://www.16personalities.com/ja/\%E6\%80\%A7\%E6\% А0\%ВC\%Е3\%82\%BF\%E3\%82\%A4\%Е3\%83\%97.

[16] 城崎温泉観光協会. 城崎温泉観光協会, (参照 2023-11-24). https://kinosaki-spa.gr.jp/.