# 大規模言語モデルは自身の Hallucination を検知できるか？

門谷宙 西田光甫 西田京介 齋藤邦子
日本電信電話株式会社 NTT 人間情報研究所
\{sora.kadotani, kosuke.nishida, kyosuke.nishida, kuniko.saito\}entt.com

## 概要

大規模言語モデルは，流暢で説得力のある応答を生成できるが, hallucination を引き起こすことがある. 本研究では，大規模言語モデルが自身の hallucination を検知できるか検討する. hallucination 検知をある文の真偽判定タスクとして定式化し， LLM の hallucination 検知性能を測るフレームワークを提案する。また，LLMのパラメータから上手く知識を引き出すために Chain-of-Thought を用いる真偽判定手法も提案する. 実験の結果, GPT-3.5 Turbo は自身の hallucinationを $58.2 \%$ 検知することができ，検知率は LLM のパラメータに内包されている知識量に関係することが明らかになった。

## 1 はじめに

GPT-3 [1] や PaLM [2], LLaMA [3] などの大規模言語モデル (LLM) は，ユーザからの様々な入力に対し $\tau$, 非常に流暢で説得力のある応答を生成できる. その一方で，LLMは入力に対する答えが分からない場合でも平然と嘘をつき，事実に基づかない応答をすることがある.この現象は hallucination $[4,5]$ と呼ばれ，LLM の大きな課題として世界中で注目されている. LLM は文章自動作成や情報検索など多くのアプリケーションで使用されており, hallucination はアプリケーションの信頼性を低下させるため，開発者は hallucination を検知して防ぐ必要がある.

既存の hallucination 検知手法として，LLM の内部状態を用いる手法 $[6,7]$ と外部知識を用いる手法 $[8,9]$ がある. LLM の内部状態を用いる手法は， トークン予測確率が低い部分には hallucination が含まれている可能性が高いと仮定することで検知する.しかし, ChatGPT などの外部 API を通してアクセスするシステムの場合，ユーザは内部状態を得られないため内部状態に依存する手法は使えない. また，外部知識を用いる手法は，データベースやウェブから根拠となる文書を取得し, 生成テキスト
に事実と矛盾する内容が含まれていないか確認する.しかし，この手法は LLM とは別に知識べースや retriever などの外部モジュールが必要なので，すべてのユーザが手軽に使えるとは限らない.

LLM が自身で生成した誤情報を検知することは困難だと考えられるが，LLM hallucination 検知器として使うことができれば次に挙げるメリットがある. LLMを hallucination 検知器として用いる手法は，内部状態にアクセスできない LLM にも適用できる. さらに，外部モジュールが不要なので，すべてのユーザが手軽に使える。よって，本研究では以下のリサーチクエスチョン (RQ) に取り組む: $\boldsymbol{L} \boldsymbol{L} \boldsymbol{M}$ は自身の hallucination を検知できるか?

本研究では, hallucination 検知をある文の真偽判定タスクとして定式化し，LLM の hallucination 検知性能を測るフレームワークによって RQを検証する。 このフレームワークは，文中の知識がトリプルで表される文から構成されるデータセットを用いる。本研究において, トリプルとは (subject, relation, object) で表される実世界の事実を意味する。まず，LLMを用いてデータセット内の各文から真害の文と虚偽の文を生成する，そして，LLM 自身にそれぞれの文の真偽を判定させ，真偽判定精度を測定することで， RQ を検証する．さらに，LLMのパラメータに内包されている知識を引き出すために Chain-of-Thought (CoT) $[10,11]$ を用いる真偽判定手法を提案する.

LAMA データセット [12]を用いた実験の結果，GPT-3.5 Turbo は CoTを用いることで，自身の hallucination $58.2 \%$ 検知できることを確認した. また，LLM には hallucination 検知が得意な分野と不得意な分野が存在し，得意な分野では $80 \%$ 以上検知できることが分かった. 生成文中の object フレー ズを [MASK] に置き換えて予測したところ，フレー ムワークで生成した虚偽の文と一致するサンプルが存在したことから，フレームワークで生成する虚偽の文は LLM が引き起こしやすい hallucination を再現できていると考えられる. さらなる分析の結果，

図 1 真実の文の生成例

図 2 虚偽の文の生成例

LLM が hallucination を検知できない大きな原因は知識不足であり，パラメータに十分な知識が内包されていれば検知できる可能性が高いことが分かった.

## 2 検証フレームワーク

本フレームワークは，一つ以上のトリプルを含む文から構成されるデータセットを用いる。データセット内の各文について LLM を用いて，真実の文の生成，虚偽の文の生成，生成文の真偽判定を順に行う．以降，各処理について詳しく説明する。

## 2.1 真実の文の生成

LLM を用いて，データセット内の文の言い換え文を生成する，その際，object フレーズを使うように指示する。また, In-context Learning (ICL) [1]を用いて，問題と解答例のぺアを $k$ 例提示する.

図 1 亿実行例を示す。なお，図 1 から図 4 において太字部分は LLM の出力を表す. 実行例において， LLM が生成した言い換え文は元の文と同じトリプル (Paul Monusey, place of birth, Scotland) を含む真実の文である. 3 章において GPT-3.5 Turbo を用いて生成した真実の文をランダムに 100 件サンプリングして人手評価した結果， $99 \%$ が指示通りに生成された真実の文であった.

## 2.2 虚偽の文の生成

LLMを用いて, 2.1 節で生成した真実の文の object フレーズを書き換えて虚偽の文を生成する。その際，一見本当に見える文を生成するように指示する

図 3 生成文の真偽判定例

図 $4 \mathrm{CoT}$ を用いた生成文の真偽判定例

ことで，検知が難しい虚偽の文を生成させる。

図 2 に実行例を示す. 実行例において, 生成された文は誤ったトリプル (Paul Monusey, place of birth, Ireland) を含む虚偽の文である. 3 章において GPT-3.5 Turbo を用いて生成した虚偽の文をランダムに 100 件サンプリングして人手評価した結果, 99\% が指示通りに生成された虚偽の文であった. 生成した虚偽の文に含まれる hallucination が実際に生成され得るかは 3.3 節にて検証する。

## 2.3 生成文の真偽判定

LLM を用いて，2.1 節と 2.2 節で生成した文の真偽を判定する．回答は”yes / no” で生成させる。

図 3 に実行例を示す. 害行例において，入力文は誤ったトリプル (Paul Monusey, place of birth, Ireland)含む虚偽の文であるため，"yes”と回答している.

## 2.4 CoT を用いた生成文の真偽判定

LLM の知識はパラメータに埋め込まれており [13], 外部知識に頼らず文の真偽を判定するには， パラメータに内包されている知識の活用が重要であると考えられる。よって，パラメータから知識を上手く引き出すために CoTを用いる手法を提案する.

図 4 に実行例を示す。実行例において，LLM は入

図 5 relation ラベルごとの hallucination 検知率

力文を意味のまとまりごとに分割し, 文頭から順に誤情報が含まれるか確認している. その際, 根拠となる事実をパラメータに内包されている知識に基づき生成することで，文の真偽判定に成功している.

## 3 実験

データセットとして，LAMA データセットを用いる. LAMA データセットは, 言語モデルの知識量を評価するためのデータセットであり，トリプルの情報が付与された英文で構成されている.

## 3.1 設定

予備実験において，LLM が代名詞を含む文の真偽を判定する場合，代名詞の指示先が分からないという理由で回答を控える挙動を確認した. そのため，前処理として NLTK [14]を用いて，代名詞を含む文を除去する．実験には 4 つのカテゴリのうち Wikipedia に基づいている T-REx [15]を用いる. T-REx には 41 種類の relation ラベルがあり, 前処理後のテストデータは 26,803 文である.

LLM として，GPT-3.5 Turbo ${ }^{1)}$ を用いる. システムには OpenAI の $\mathrm{API}^{2)}$ を通してアクセスする。 temperature は 0.0 に設定し, 10 -shot で生成する. ICL の例は， T-REx の検証データの relation ラベルが異なる 41 文をもとに人手で作成し，ランダムに選択する。確信度が低いために LLM が回答を控えた場合は，hallucination を検知したとみなす。

評価指標には, hallucination 検知の recall, precision, $\mathrm{F}$ 値，正解率を用いる. hallucination を見逃す偽陰性は偽陽性より深刻な誤りであるため recall は最も重要な評価指標であり, hallucination 検知率とも呼ぶ.

1） $2023 / 11 / 6$ 版のモデルを用いた.

2) https://platform.openai.com/docs/api-reference表 1 実験結果 (値は \% 表示， $\mathrm{R}$ は recall， $\mathrm{P}$ は precision)

## 3.2 結果

表 1 亿実験結果を示す. CoTを用いない手法は recall が $21.9 \%$ しかない. CoT を用いることで， recall が $36.3 \%, \mathrm{~F}$ 值が $33.8 \%$, 正解率が $14.5 \%$ 向上した.このように，GPT-3.5 Turbo は CoTを用いないと hallucination 検知器として使うことは難しいが, CoT によってパラメータに内包されている知識を引き出すことで検知性能が向上することが分かった.

その一方で，precision は $1.3 \%$ 低下した。これは CoTを用いることで詳細な知識を引き出せるようになり，事実や表現が曖昧な部分も誤情報として検知するようになったことが原因だと考えられる.

図 5 に GPT-3.5 Turbo (with CoT) の relation ラベルごとの hallucination 検知率を示す. 地理や企業に関する分野の hallucination 検知率は $80 \%$ 以上である (図の緑の部分) が，人物やエンタメに関する分野の hallucination 検知率は $40 \%$ 以下である (図の橙の部分).このように，LLMには hallucination 検知が得意な分野と不得意な分野が存在することが分かった.

## 3.3 分析

## 生成した虚偽の文は意図しない hallucination を再現するか？ 本フレームワークで生成する虚偽 の文に含まれる hallucination は指示文を用いて意図的に発生させたものであり，実際の意図しない hallucination と厳密には異なっている可能性がある. しかし, 本フレームワークの虚偽の文は LLM の出

カトークンの確率分布に従って生成されるため, LLM が引き起こしやすい hallucination を再現できていると考える．フレームワークで生成する虚偽の文に含まれる hallucination が実際に発生するか確認するために，GPT-3.5 Turbo を用いて [MASK] に置き換えられた object フレーズを予測したところ， $1.13 \%$ が虚偽の文と一致した (詳細な実験設定は付録で述べる). このことから，フレームワークで生成する虚偽の文は LLM の誤りとして発生し得る hallucination を再現できていると考えられる。

## hallucination 検知率はモデルの知識量と関係が

あるか？ 2.4 節において，LLM が文の真偽を判定するにはパラメータに内包されている知識を活用する必要があると仮定し，知識を引き出すために CoTを用いる手法を提案した. 本節では，LLM の hallucination 検知率と知識量の関係を分析する。

あるエンティティに関する LLM の知識量は，事前学習コーパスに関連するテキストがどれだけ含まれているかに依存する $[16,17,18]$. LLM の事前学習コーパスはウェブ上のあらゆるテキストデー タで構成されているため，あるエンティティに関連するテキスト量とそのエンティティの popularity には相関があると考えられる [19]. よって，LLM の hallucination 検知率とトリプルの popularity の関係を調査する. 本研究では, 先行研究 [19] に従ってエンティティの popularityを該当する Wikipedia ページの閲覧数 ${ }^{3}$ と定義し, トリプルの popularity は subject と object の閲覧数の合計とする.

テストデータをビンに振り分けて，ビン内の GPT-3.5 Turbo (with CoT) の hallucination 検知率とトリプルの平均 popularityを計算する. そして, Scipy [20] を用いて Spearman の順位相関係数を求める. hallucination 検知の難易度を popularity から説明できるか調べるために，トリプルの popularity に従って 20 個のビンに等しく振り分ける. また, relation ラベルごとの hallucination 検知の難易度を popularity から説明できるか調べるために, relation ラベルに従って 41 個のビンに振り分ける.

表 2 に分析結果を示す. いずれの振り分け方でも正の相関があった. 特に，トリプルの popularity に従って振り分けた際の相関係数は 0.60 であり，相関が有意に高い。このことから，LLM の hallucination 検知率は知識量に関係しており，パラメータに十

表 2 hallucination 検知率と popularity の相関

分な知識が内包されていれば検知できる可能性が高いことが分かった. また, relation ラベルごとの hallucination 検知の難易度を popularity からある程度説明できることが分かった。

## 4 関連研究

内部状態を用いる hallucination 検知手法は，主にトークン予測確率からモデルの確信度を推定する $[21,22,7]$.

外部知識を用いる手法はファクトチェックの分野で活発に研究されており，クレーム抽出，根拠検索，矛盾推定という多段階の処理を順に行う手法 $[23,9]$ が主流である．近年は，LLM が生成したテキストのための手法 [24] も提案されている.

## 5 おわりに

本研究では, hallucination 検知をある文の真偽判定タスクとして定式化し, LLM の hallucination 検知性能を測るフレームワークによって $\boldsymbol{L} \boldsymbol{L} \boldsymbol{M}$ は自身の hallucination を検知できるか? という $\mathrm{RQ}$ を検証した. また，LLMのパラメータから知識を引き出すために CoTを用いる真偽判定手法を提案した. 実験と分析の結果，LLM はパラメータに十分な知識が内包されていれば，自身の hallucination を検知できることを明らかにした. 本研究の貢献を以下に示す.

本研究の独自性. 本研究は，LLM が自身の hallucination を検知できることを初めて定量的に示した. LLMを hallucination 検知器として用いる手法には，内部状態にアクセスできない LLM にも適用でき外部モジュールなしですべてのユーザが手軽に使えるという，既存手法にはない特徴がある。

本研究の重要性. 本研究では，LLM の hallucination の改善に向けて，検知タスクとして定式化した. 提案したフレームワークは，各 LLM がどのような分野で hallucination を引き起こしやすいかを評価する研究の足掛かりとなる. また, hallucination 検知と popularity との関係を見ることで，hallucination 検知の性能と LLM の知識量に関連があることを発見し，事前学習コーパスの量の重要性を示した.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, 2020.

[2] Aakanksha Chowdhery, et al. Palm: Scaling language modeling with pathways. In arXiv:2204.02311, 2022.

[3] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. In arXiv:2302.13971, 2023.

[4] Nouha Dziri, Sivan Milton, Mo Yu, Osmar Zaiane, and Siva Reddy. On the origin of hallucinations in conversational models: Is it the datasets or the models? In NAACL-HLT, pp. 5271-5285, 2022.

[5] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Comput. Surv., Vol. 55, No. 12, 2023.

[6] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evaluating generated text as text generation. In NeurIPS, 2021.

[7] Lorenz Kuhn, Yarin Gal, and Sebastian Farquhar. Semantic uncertainty: Linguistic invariances for uncertainty estimation in natural language generation. In ICLR, 2023.

[8] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a large-scale dataset for fact extraction and VERification. In NAACL-HLT, pp. 809-819, 2018.

[9] Zhijiang Guo, Michael Schlichtkrull, and Andreas Vlachos. A survey on automated fact-checking. TACL, Vol. 10, pp. 178-206, 2022.

[10] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. In NeurIPS, 2023.

[11] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In NeurIPS, 2023.

[12] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In EMNLPIJCNLP, pp. 2463-2473, 2019.

[13] Gautier Izacard, Patrick Lewis, Maria Lomeli, Lucas Hosseini, Fabio Petroni, Timo Schick, Jane Dwivedi-Yu, Armand Joulin, Sebastian Riedel, and Edouard Grave. Atlas: Few-shot learning with retrieval augmented language models. In JMLR, 2022.

[14] Steven Bird, Ewan Klein, and Edward Loper. Natural lan- guage processing with Python: analyzing text with the natural language toolkit. 2009.

[15] Hady Elsahar, Pavlos Vougiouklis, Arslen Remaci, Christophe Gravier, Jonathon Hare, Frederique Laforest, and Elena Simperl. T-REx: A large scale alignment of natural language with knowledge base triples. In LREC, 2018.

[16] Yasaman Razeghi, Robert L Logan IV, Matt Gardner, and Sameer Singh. Impact of pretraining term frequencies on few-shot numerical reasoning. In EMNLP Findings, pp. 840-854, 2022.

[17] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, and Chiyuan Zhang. Quantifying memorization across neural language models. In ICLR, 2023.

[18] Nikhil Kandpal, Haikang Deng, Adam Roberts, Eric Wallace, and Colin Raffel. Large language models struggle to learn long-tail knowledge. In ICML, 2023.

[19] Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, and Hannaneh Hajishirzi. When not to trust language models: Investigating effectiveness of parametric and non-parametric memories. In ACL, pp. 9802-9822, 2023 .

[20] Pauli Virtanen, Ralf Gommers, Travis E. Oliphant, Matt Haberland, Tyler Reddy, David Cournapeau, Evgeni Burovski, Pearu Peterson, Warren Weckesser, Jonathan Bright, Stéfan J. van der Walt, Matthew Brett, Joshua Wilson, K. Jarrod Millman, Nikolay Mayorov, Andrew R. J. Nelson, Eric Jones, Robert Kern, Eric Larson, C J Carey, Ilhan Polat, Yu Feng, Eric W. Moore, Jake VanderPlas, Denis Laxalde, Josef Perktold, Robert Cimrman, Ian Henriksen, E. A. Quintero, Charles R. Harris, Anne M. Archibald, Antônio H. Ribeiro, Fabian Pedregosa, Paul van Mulbregt, and SciPy 1.0 Contributors. SciPy 1.0: Fundamental Algorithms for Scientific Computing in Python. Nature Methods, Vol. 17, pp. 261-272, 2020.

[21] Andrey Malinin and Mark Gales. Uncertainty estimation in autoregressive structured prediction. In ICLR, 2021.

[22] Yijun Xiao and William Yang Wang. On hallucination and predictive uncertainty in conditional language generation. In EACL, pp. 2734-2744, 2021.

[23] Wanjun Zhong, Jingjing Xu, Duyu Tang, Zenan Xu, Nan Duan, Ming Zhou, Jiahai Wang, and Jian Yin. Reasoning over semantic-level graph for fact checking. In ACL, pp. 6170-6180, 2020.

[24] I-Chun Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, and Pengfei Liu. Factool: Factuality detection in generative ai - a tool augmented framework for multi-task and multidomain scenarios. In arXiv:2307.13528, 2023.

図 6 object フレーズ予測の実行例

## A object フレーズ予測の実験設定

2 章のフレームワークで生成する虚偽の文に含まれる hallucination が実際に発生するか確認するために, 生成文中の object フレーズを [MASK] に置き換え，[MASK] に入る適したフレーズを LLM に予測させる. 文の生成や真偽判定と同様に ICLを用いて問題と解答例のペアを $k$ 例提示し，[MASK] に入るフレーズのみを回答させる.

図 6 に GPT-3.5 Turbo の実行例を示す. 実行例において，文中の [MASK] に入る正しい object フレー ズは "Manhattan”である. GPT-3.5 Turbo は [MASK] に入るフレーズを "Brooklyn” と誤答しており，これは虚偽の文と同一の hallucination であった。

## B 真実の文を誤判定した例

表 1 において，CoTを用いることで hallucination 検知の precision が低下している。これは CoTを用いることで，LLM のパラメータからより詳細な知識を引き出せるようになり，事実や表現が曖昧な部分も誤情報として検知するようになったことが原因だと考えられる。

図 7 に GPT-3.5 Turbo (with CoT) が真実の文を誤判定した例を示す.この例において，GPT-3.5 Turbo はダッジ・ニトロという車が 2007 年から 2012 年まで製造されたという部分を誤情報として検知しており，正しくは 2006 年から 2011 年であると生成している. 実際に，ダッジニトロの 2007 年モデルは 2006 年に製造が開始されており，2011 年を持って生産が終了されたと記載しているウェブページ4)が存在する。このように CoTを用いると，真実の文であっても曖昧な部分が含まれていると虚偽の文と判定することがある.

2. "was manufactured by Dodge from 2007 to the $\mathbf{2 0 1 2}$ model year": This part of the sentence is inaccurate. The Dodge Nitro was actually manufactured from 2006 to 2011 , not until the 2012 model year.

So, the sentence contains misinformation in the second part where it incorrectly states the manufacturing timeline for the Dodge Nitro.

Answer: yes

図7CoTを用いて真実の文を誤判定した例

表 3 GPT-4 Turbo の実験結果 (值は\% 表示，R は recall，P は precision)

## C GPT-4 Turbo を用いた実験

LLM として GPT-4 Turbo5)を用いて，本研究のフレームワークを実施する．実験設定は 3.1 節に従う。

表 3 に実験結果を示す. CoT を用いない手法は recallが $23.3 \%$ しかない. CoTを用いることで, recall が $35.1 \%$ ，F 值が $32.4 \%$ ，正解率が $14.1 \%$ 向上した. このように， GPT-4 Turbo であっても CoT がないと hallucination 検知器として使うことは難しいが，CoT によってパラメータに内包されている知識を引き出すことで検知性能が向上することが分かった.

表 3 を表 1 と比較すると，GPT-4 Turbo (with CoT) と GPT-3.5 Turbo (with CoT) $の$ hallucination 検知率にほとんど差がないことが分かる。この理由は， GPT-4 Turbo で生成した虚偽の文は GPT-3.5 Turbo で生成した虚偽の文よりも真実味があり検知が難しいからである可能性がある。しかし，GPT-4 Turbo で生成した文の真偽を GPT-3.5 Turbo (with CoT) で判定したときの hallucination 検知率は $58.1 \%$ であり, GPT-4 Turbo (with CoT) $の$ hallucination 検知率とほとんど差がなかった。 halucination 検知には LLM の知識量が重要だったことを考えると，LLM のパラメー タに内包されている知識量においては GPT-4 Turbo と GPT-3.5 Turbo にほとんど差がない可能性がある.


# 大規模言語モデルにおける日本語ゼロ照応解析能力の分析

野末慎之介 ${ }^{1}$ 石月由紀子 1,2 松林優一郎 1,2 坂口慶祐 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{nozue.shinnosuke.q5, yukiko.ishizuki.p7\}@dc.tohoku.ac.jp
\{y.m,keisuke.sakaguchi\}@tohoku.ac.jp

## 概要

GPT-4 に代表される大規模言語モデルは言語処理の様々な下流タスクで好成績を収めることが明らかになっているが，その能力が真に言語の基礎的理解能力に由来するものであるかは明らかではない．本研究では，自然言語処理の基礎解析タスクの中でも困難なものの一つとされてきたゼロ照応解析タスクについて，大規模言語モデルの能力を評価する．実験の結果，GPT-4 はゼロ照応解析において十分な性能を発揮しないことが明らかになった. その原因を特定するための検証実験とエラー事例分析の結果から，ヨ格とニ格に関する格フレーム知識と，二格に関する選択選好知識の不足が原因であると示唆された.

## 1 はじめに

日本語では述語の項が頻繁に省略される。そのような省略された項（ $\phi$ ）を同定するゼロ照応解析 （図 1）は，最先端のモデルにおいても $F_{1}$ 値が $64 \%$程度であり [1]，解析が困難なタスクの一つである.一方で，GPT-4 [2] は，日本語理解能力を測るべンチマークの JGLUE において大規模言語モデルの中で最高性能を示し，特定のタスクで追加学習された BERT[3] などのモデルを一部タスクで上回った $[4,5]$. 日本語の文章にはゼロ照応表現が多く含まれるため, 日本語理解に優れた GPT-4 はゼロ照応解析においても高い性能を発揮する可能性がある.

本研究では，日本語理解に最も優れた大規模言語モデルのゼロ照応解析性能を明らかにすることを目的として，同タスクの主要なベンチマークデータである NAIST Text Corpus (NTC) 1.5 [6,7] における GPT-4 の性能を評価した. 実験の結果，GPT-4 の性能は最先端モデルと比較して大きく劣ることが明らかになった. さらにいくつかの詳細な実験とエラー事例の分析により原因の考察を行ったところ，

図 1 ゼロ照応解析の例. 省略された項は $\phi$ で表される. タスクでは，「向かう」のガ格に項があること，およびその照応先が「私」であることを推定している.

GPT-4 の解析性能は，ヨ格とニ格に関する格フレー 么知識と，二格に関する選択選好知識の不足に起因することが示唆された。

## 2 日本語ゼ口照応解析

本研究のゼロ照応解析タスクは，主要なベンチマークコーパスである NTC 1.5 の仕様に従う．NTC では，ゼロ照応解析は述語の項を同定する述語項構造解析タスクの一部として内包されている。また，項の特定に関しては，ガ格，ヨ格，二格の必須格の項のみがアノテーションされているため $[6,7]$, 本研究でも，これらの 3 つの格について評価を行う. また，既存研究では一般に，述語と直接係り受けの関係にある項の解析を dep と呼び，ゼロ照応解析のうち，述語と項が同じ文内にある事例を intra，述語と項が別の文にある事例を inter，項が存在するものの，文書内に明示的に表出していない事例を exophora と呼び, 区別している $[1,8,9]$. 本研究での解析性能評価もこの区分に従う.

## 3 手法

## 3.1 GPT-4 によるゼロ照応解析

本研究では，項を GPT-4 に生成させることによりゼロ照応解析タスクを実現する．入力するプロンプトでタスクの指示と複数文で構成された文脈を与え，述語の位置と格を指定する．出力の形式は「〜」+格助詞（が,を,にいずれか 1 つ）+述語1）

とし，「〜」に入るフレーズを問う．出力されたフレーズの文脈における位置を特定し，その位置を解答として記録した. 出力されたフレーズが文脈にない場合は exophora であるとみなし，そのフレーズが一人称を表すものであれば author，二人称を表すものであれば reader，この 2 つに当てはまらない場合は general としてその細分類を記録した. 項が存在しないと判定した場合には「該当なし」と出力させた. また，共参照関係によって正解の項が文脈の複数の位置に含まれる場合はその全てを正解とした.

プロンプトプロンプトはタスク説明と文脈に分けられる．タスク説明では，タスクの指示，対象の述語の文脈における位置，1つの格を指定した。夕スクの指示として受身形の述語は能動形として考えるよう指定した。これは，NTC 1.5 のアノテーションが能動形を基準に作られているためである. 文脈は、述語の文とその前方 3 文を合わせた 4 文とした.文書において述語の前方が 3 文に満たない場合, 後方から満たない行数文だけ抽出した. 文書自体が 4 文に満たない場合は文書の全文を抽出した. 文脈内では対象の述語を「**」で囲み，述語の位置を指定した.

few-shot 文脈内学習 5 -shot の設定では $d e p$, intra, inter, exophora の 4 つに, 正解の項がない問題を加えた 5 つの例を見せることで文脈内学習を行った. 5 つの例はそれぞれ訓練セットから引用した. zero-shot, 5-shot のそれぞれのプロンプト例と出力例は付録の A に示す.

## 4 実験

ベースラインモデル本研究では NTC 1.5 における最先端モデルである Konno ら [1] のモデルをベースラインとする. Konno らは bert-base-japanese を使用し，ゼロ照応解析を Cloze テスト形式の項の選択問題として定式化した. これは, 系列の先頭に [CLS], 文の境界に [SEP] が挿入された複数の文から構成された系列 $X$ について, その末尾に [MASK]+格助詞（が，を，にいずれか $1 つ ）+$ 述語2)で構成されるクエリフレーズを追加した系列 $X^{\prime}$ を入力とし， [MASK] に入るトークンを系列 $X$ から選択させるというものである.トークンが系列 $X$ 中に存在しない場合には, [CLS] が選択される. [CLS] が選択された場合は，4つのカテゴリ author, reader, general, noneから 1 つを選択させる. author, reader, general

表 1 NTC 1.5 の評価セットにおける $F_{1}$ 値.太字は最良のスコアを示す. Konno らのスコアは論文より引用 [1]. GPT-4 は評価セットの 1 割（2557 述語）で評価した結果であるため，厳密な比較はできない。

表 2 5-shot における格ごとの適合率，再現率， $F_{1}$ 値.

は上述の通り, exophora の細分類であり, none は該当する項が存在しないことを表す.

実験設定 GPT-4 の評価は zero-shot と 5-shot で行った. 使用した GPT-4 のバージョンとパラメータは付録の B に示す。

データセット分割 Konno ら [1] に倣い，データセットは Taira らの分割法 [10] に従って訓練・開発・評価セットの 3 つに分割した. GPT-4 のプロンプトエンジニアリングには訓練・開発セットを用い，評価には評価セットを用いた。

## 4.1 結果

結果を表 1 に示す. ただし，GPT-4の值は評価セットの 1 割の事例数で評価した段階で顕著にべー スラインを下回っていたため，この時点で評価を終了した, したがって, 表の数字は評価セット内のランダムな 1 割の事例で算出したものである. zero-shot, 5-shot のいずれも全項目でベースラインを大幅に下回った. その一方で, 5-shotでは, zero-shot と比較して全項目でスコアの改善が見られたことから，文脈内学習の効果はあるといえる。

GPT-4 の解析能力の低さををより詳細に分析するため, 5-shot モデルの 4 カテゴリ全体におけるの格ごとのスコアを表 2 に示した. 特にヨ格とニ格については，再現率と比較して適合率が著しく低いことが明らかになった. この理由をさらに詳しく分析するため，GPT-4 のエラーを，1. 正解の項があるが誤った項を出力，2. 正解の項があるが「該当なし」 と出力，3. 正解の項がないが項を出力の 3 つに分類した（表 3). 分類の結果から，3 のパターンが最多のエラーであることが明らかになり，GPT-4 は，本
表 3 GPT-4 が誤った事例の分類.

表 4 GPT-4 が誤った事例.太字は対象の述語を示し，中央の列は判別対象の格を示す.

 & Э格 &  \\

来存在しない格助詞を必要以上に回答するエラーを多数引き起こしていることが分かった. 次節ではこの要因を特定をするために更に詳細な分析を行う。

## 5 エラー事例分析

上述した 3 のパターンの出力例を表 4 に示す. まず， 1 行目と 2 行目の事例では，述語がどの文脈でもとり得ない格を判別できていない. 1 行目の事例の「隣接する」はヨ格をとらない。また，2行目の例では，「出る」は「内側から外へ移動する. $」^{3)}$ という語義で，「店を出る」のようにヨ格をとる場合もあるが，この文脈の「物が産出される.」当)という語義で使われる場合にはヲ格はとらない。このように，述語がどの格をとり得るかは，その述語の性質と語義によって決まる. 述語がどの格をとる可能性があるか記録したものを格フレームといい，本研究ではこの知識を格フレーム知識と呼ぶ。これらの事例から GPT-4 の格フレーム知識の不足が疑われる.

次に, 3 行目の事例では, 述語はとり得るが, 対象の文脈ではとらない格を判別できていない。通常，「述べる」の二格には相手を表す言葉が入り，場を表す言葉はデ格の項になる. しかし，この事例ではニ格に「述べる」場を表す言葉として「白書」が入っている.このことから，GPT-4 はニ格とデ格でとる言葉の属性を混同していると推測される.この述語が格によってどのような属性の言葉をとるかについての選好性を選択選好といい，本研究ではこの知識を選択選好知識と呼ぶ. このような事例から GPT-4 の選択選好知識は不足していることが疑われる。以上から 6 節では， 4.1 節の実験におけるヨ格，ニ

3）スーパー大辞林を参考に作成.表 5 GPT-4 による述語の格フレーム理解度の検証結果。

格の適合率が低いことが，格フレーム知識と選択選好知識の不足に起因するかを検証する。

## 6 知識の検証

本実験は 2 段階で構成される.まず，入力プロンプトで述語，語義，格をそれぞれ 1 つずつ指定し，指定された語義に対して述語がその格をとるかどうかを「はい」か「いいえ」を出力させた。この出力を正解の格フレームで正誤判定し，格フレーム知識の理解度を測る。次に最初の問いに対する回答が 「はい」である場合に，述語が対象の格をとる例を 3 文出力させた．出力のうち，例として自然な文章の割合によって，選択選好知識の理解度を測る. プロンプトと出力の例は付録のD に示す.

## 6.1 実験設定

評価方法格フレーム知識に対する評価には $F_{1}$値を用いた。続いて，選択選好知識に対する評価は，人手評価により正解率を求めた. ただし，正解率の算出には最初の問いで正解ラベルが「はい」である事例（以下，述語が対象の格をとる事例）のみを用いたが，エラー事例の分析には，正解ラベルが 「いいえ」である事例（以下，述語が対象の格をとらない事例）を含めた。

データセット NTC 1.5 の評価セットからランダムに抽出した 100 個の異なる述語を問題として扱った. 正解となる述語の格フレームは, 京都大学格フレーム [11] に基づき，事前に著者ら 3 名によって定められた。京都大学格フレームは語義ごとに格フレームが分類されているため，述語の語義を特定することで適切な格フレームが定まる。そこで語義は述語の文脈とスーパー大辞林を参照して特定した. データセットの作成手順は付録のＣに示す.

## 6.2 格フレーム知識の検証結果

結果を表 5 に示す.ガ格とヨ格の $F_{1}$ 値は $90 \%$ \%超えており高いものといえるが，二格は他の格に比べて $15 \%$ 以上低く，相対的にニ格に関する格フレー 么知識が不足しているといえる。

## 6.3 選択選好知識の検証結果

正解率はガ格が $90.72 \%$, Э格が $92.35 \%$, 二格が $80.67 \%$, 全体で $88.78 \%$ であった．ガ格，ヨ格に関する選好選択知識の正解率が 90\%以上である一方で，二格は他の格に比べて $10 \%$ 以上正解率が低く，二格に関する選好選択知識の理解度は相対的に低い。

## 6.4 検証におけるエラー事例分析

まず述語が対象の格をとる事例における主な誤りは，他の語義であればその格でとるが，指定した語義ではその格でとらないようなフレーズを答えた事例であった. 例えば，「終わりにする. $」^{3)}$ という語義の「閉じる」のヲ格では「生涯を閉じる」のように，終わりとなる対象を表す項をとる。 しかし，GPT-4 は「ドアを閉じる」のような「開いていたものをふさがった状態にする. ${ }^{3)}$ という語義の例を生成しており, 一部の述語では語義によって項の選択選好性を識別できていない.

次に述語が対象の格をとらない事例における主な誤りは，述語が他の格のフレーズとしてとるものを，述語がとらない格の項として答えた事例であった. 例えば「全壊する」という述語は「家」という言葉に対してガ格をとり，いずれのフレーズに対しても习格をとらないが，「家を全壊する」というような不自然な日本語が生成された。このことから，一部の述語では，その述語がとりうる格，およびその格に対する適切な選択選好性を理解できていないといえる. 特にヨ格においては，この事例がほとんどであった. また，二格では係り受け関係を理解していないような事例も見られた。例えば「非難する」 の二格の例として「彼女は社長に非難するためのレターを送った.」という文が生成された。この「社長に」は「非難する」ではなく，「送った」の二格であり，係り受け関係を誤読していることがわかる。

## 7 考察

6 節の結果から 4.1 節の結果の原因を検討する. ただし，GPT-4 のガ格の格フレームと選択選好に対する理解度は高く, 今回の仮説以外の原因がガ格に対するゼロ照応解析性能に影響することが示唆されたため，本節ではヨ格とニ格について議論する。

まず表 5 から， ヨ格とニ格の適合率が低さが明らかになった. これは GPT-4 がヲ格やニ格をとると認識している述語のうち，それぞれ約 $15 \%$ と約 $25 \%$ の述語が誤っていることを示す。6.4節から，GPT-4がヨ格やニ格に関する格フレームを誤る原因として，他の格でとるフレーズをヨ格やニ格でとるフレー ズだと誤認していることがいえる。また，二格においては，二格に関連する係り受け関係を誤読してしまっていることから，格フレームに関連する他の基礎的な知識も不足していることが示唆された. 以上のことが原因となり表 4 の 1,2 行目のようなエラー が起きていると考えられる。

次に 6.3 節から，二格では約 $20 \%$ の述語で項の選好性に対する認識が誤っており，二格をとると正しく推測した場合でも文脈から誤った項を選択する可能性が他の格に比べて高いといえる．6.4 節より， その主な原因は語義ごとに異なる項の選好性を理解できていないことであるといえ，このような選択選好知識の不足により表 4 の 2 行目のようなエラーが起きると考えられる。

以上の議論から，GPT-4 にはヨ格とニ格に関する格フレーム知識と，二格に関する選択選好知識が不足していることがヲ格とニ格におけるゼロ照応解析性能を下げていると考えられる。

最後に本実験とは直接関係しないが，データセッ卜作成時に，NTC 1.5 上でニ格がアノテーションされていない事例を発見した。これはNTC 1.5 のポリシーによるものだと考えられる．今回抽出した述語のうち，二格がアノテーションされていない述語は 89 個であるが，そのうち 16 個はこのような事例であった．そのため 4.1 節におけるエラーのうち，一部は違うポリシーであれば正解になる可能性がある.しかしながら，そのよう事例を除いたとしてもエラー数は依然多いため，エラーの根本的な原因を探索する試みには大きな意義があるといえる。

## 8 おわりに

本研究では GPT-4 を自然言語処理の基礎解析タスクの 1 つであるゼロ照応解析で評価し，最先端モデルに対して性能が著しく劣ることを明らかにした。 さらにその原因を解明すべく，エラー事例分析により格フレーム知識と選択選好知識の不足が原因であるという仮説を立て，実験を行った. 実験の結果と分析から，GPT-4 のヨ格とニ格に関する格フレーム知識と，二格に関する選択選好知識の不足により， ゼロ照応解析の性能を下げていると示唆された.

## 謝辞

本研究の有意義なコメントをいただいた Tohoku NLP Group の守屋彰二氏，塩野大輝氏，矢野一樹氏に感謝いたします。本研究は JSPS 科研費 $21 \mathrm{~K} 21343$ の助成を受けたものです.

## 参考文献

[1] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3790-3806, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] OpenAI. GPT-4 technical report. March 2023.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[5] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[6] Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a japanese text corpus with PredicateArgument and coreference relations. In Proceedings of the Linguistic Annotation Workshop, pp. 132-139, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[7] Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. NAIST Text Corpus: Annotating Predicate- Argument and Coreference Relations in Japanese, pp. 1177-1196. Springer Netherlands, Dordrecht, 2017.

[8] Tomohide Shibata and Sadao Kurohashi. Entity-centric joint modeling of Japanese coreference resolution and predicate argument structure analysis. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 579-589, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wentau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Asso- ciation for Computational Linguistics.

[10] Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A Japanese predicate argument structure analysis using decision lists. In Mirella Lapata and Hwee Tou Ng, editors, Proceedings of the $\mathbf{2 0 0 8}$ Conference on Empirical Methods in Natural Language Processing, pp. 523-532, Honolulu, Hawaii, October 2008. Association for Computational Linguistics.

[11] 大輔河原, 禎夫黒橋. 高性能計算環境を用いた web からの大規模格フレーム構築. 情報処理学会研究報告 = IPSJ SIG technical reports, Vol. 2006, No. 1, pp. $67-73,012006$.

## A ゼロ照応解析実験のプロンプト

5-shot，zero-shot それぞれのプロンプト例とその出力を表 6 と表 8 に示す.

表 6 zero-shot におけるプロンプトの例. 本文部分は 9510ED-0016-951012044.ntc より抜粋.

## B GPT-4 のバージョンとパラメータ

本研究で使用したモデルのバージョンは gpt-4-0613，各パラメータの值は temparature が 1.0 , Top P が 0.8 , Max length が 100 であった.

## C 格フレーム知識問題の作成手順

以下の (1) から (5) までの操作を 100 回（100 述語分）完了するまで繰り返す. (1) 述語を NTC 1.5 の test からランダムに抽出. (2) 述語が「A は B だ」の B であるような場合と，抽出した述語の原型の表層形と同じ述語がすでに問題として作成されている場合は操作を終了して 1 に戻る. (3) 述語をスーパー大辞林で検索し，ガ格・ヨ格・ニ格のヒントが含まれていないような語釈を抽出し，問題の手がかりとなる部分は削除・改変する ${ }^{4)}$.この際，スー パー大辞林の検索でヒットしない場合操作を終了して 1 に戻る。また，格フレームの手がかりとなる部分を削除する操作を加えると語釈が歪んでしまう場合は操作を終了して (1) に戻る. (4) 格フレームで述語を検索し，3で抽出した語釈の場合の格フレームを特定し, 正解を作成. この際，語が格フレームに収録されていない場合，もしくは語釈に適した格フレームがない場合は操作を終了して (1)に戻る. (5) ガ格・ヨ格・二格，それぞれを聞くプロンプトを作成.この手順は著者ら 3 名で行った. まず， 1 名が一連の操作を行った後，(5) で作成した正解が妥当なものであるか 2 名が確認して適宜修正した。

## D 知識模証のプロンプト

GPT-4 の格フレーム知識と選択選好知識を検証する際に使用したプロンプトとその出力例を表 7 に示す.

4）例えば，「少ない」はスーパー大辞林において「数や量が小さい.」という語釈文であるが，「数や量が少ない」と置き換えても意味が変化しないため，「少ない」がガ格をとると推測できてしまう. このような手がかりは GPT-4 が本来持っている知識を引き出す問題としてノイズになるため削除した.表 7 知識の検証実験に用いたプロンプトプロンプト:「笑う」という述語が「に」という格助詞をとるかどう例を3つ答えてください。ただし、笑う」は「あざける。嘲笑する。 という意味の場合を考えてください。また、格助詞をとるとは、格助詞十述語という表現ができることを表し、真体的には「〜に笑う」という表現が日本語としてあり得るものかを聞きたいです。しかし、「先汭や「帰り纪」といった時間を表す表現や、「〜ように」や「遠巻きに」といった様態を表す表現は「に」をとるとみなしません。

出力: はい

1. 彼は彼女の失敗に笑った。

2. 私は彼の㝋談に笑った

3. 私たちはその皮肉なコメントに笑った。

表 8 5-shot におけるプロンプトの例.

プロンプト: 以下の文章内で、「**」で囲まれた「見て」という述語は、

誰をもしくは何を、見るか分かるでしょうか。もし、「〜を見る」に

式で答えてください。述語が受け身形の場合は、原型の述語に対卞る

「〜を見る」の形で考えてください。「〜を見る」という表現が不自曻

だったり、具体的なフレーズがこの本文からでは推測できない場合は該当なし」と答えてください

【本文】

この数字を**見て**ほしい。答えは数字を見る

以下の文章内で、「**」で囲まれた「知ら」という述語は、誰を、もし

ください。述語が受け身形の場合は、原型の述語に対する「〜を知るの形で考えてください。「〜を知る」という表現が不自然だったり、真体的なフレーズがこの本文からでは推測できない場合は「該当なし」 と答えてください。

【本文】

日本の政府開発援助の総額が、世界最大級だとはよく**知ら**れている。答えは総額を知る

以下の文章内で、「**」で囲まれた「言えば」という述語は、誰を、も

るフレーズがあれば、そのフレーズを「〜を言う」という形式で答えてください。述語が受け身形の場合は原型の述語に対する名然だっ言 b、具体的なフレーズがこの本文からでは推測できない場合は該当なし」と答えてください。

【本文】

「言うは銀、默すは金」ということかざが英語にある。旦本語流に**言

以下の文章内で、「**」で囲まれた「訂正し」という述語は、誰を、も

する「〜艺訂正する」の形で考えてください。「〜を訂正する」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。

【本文】

おわびして***訂正し**ます。答えは誤りを訂正する

以下の文章内で、「**」で囲まれた「なる」という述語は、誰を、もし

ください゙か述語が受け身形の場合は、原型の述語に対する「〜をなるの形で考えてください。「〜をなる」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」 と答えてください。

【本文】

もう二十日近くに**なる**。答えは該当なし

以下の文章内で、「**」で囲まれた「出し」という述語は、誰をもし

フレーズがあれば、そのフレーズを「〜を出す」という形式で答えての形で考えて述語が受け身形の場合は、原型の述語に対然だったり、具体的な゙フレてズがこの本文からでは推測できない場合は「該当なし」 と答えてください

【本文】

事件報告を受けた直後の大蔵省の事情聴取も、大和銀施設で食事、ビー ル付きで行われたという。大蔵省は大和銀に対して、近く業務改善命

は**たいところだ。

答えは

出力: 業務改善命令を出す

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# LLM 生成コンテンツの SEO 観点での品質評価

益子怜 ${ }^{1}$ 木村賢 ${ }^{2}$ 越仲孝文 ${ }^{1}$
1 横浜市立大学大学院データサイエンス研究科
2 サイバーエージェント SEO ラボ
y235620a@yokohama-cu.ac.jp

## 概要

様々な分野で大規模言語モデル (LLM) の活用が進む中, Webコンテンツ制作における LLM の有用性に着目する. 検索エンジン最適化 (SEO) においてしばしば行われる,ユーザによるコンテンツの主観評価 (ユーザ評価) のスキームにならい, LLM が生成するテキストコンテンツを定量評価する. Google 検索により収集したコンテンツにユーザ評価ラベルを付与したデータからユーザ評価予測モデルを構築し，いくつかの LLM (GPT-3.5, GPT-4, CyberAgentLM2) が生成したコンテンツの自動ユーザ評価を行った. 結果, 文字数が比較的少ない LLM 生成コンテンツはユーザ評価において不利であるものの, 10 段階評価で 7, 8 程度という高品質のコンテンツを生成できることを確認した。

## 1 はじめに

ChatGPT に象徵される大規模言語モデル (LLM) は, 様々な業務で活用が進められている. Webコンテンツ制作もその一つであり, 今やネット上では AI 生成コンテンツと思われる (ほとんど違和感はないがやや不自然な) 文体の Web ページもみられる. Web コンテンツ制作の最重要目的はページビュー 向上, すなわちできる限り多くの人々に閲覧されること,ひいては Google などの検索エンジンで上位に表示されることであり, そのために検索エンジン最適化 (SEO) と呼ばれる方法論が研究されている. SEO において, 検索エンジンでの自ページの表示順位はもちろん重要な指標であるが, ユーザ評価, すなわちユーザがページの内容や品質の良し悪しを 10 段階等で評価した主観評価結果も重視される. 現在の LLM が生成するコンテンツがユーザ評価でどの程度の水準にあるのかはいまだ明らかではない. そこで本研究では, ユーザ評価ラベルが付与された Web テキストコンテンツを用いてユーザ評価予測
モデルを構築し,いくつかの LLM (GPT-3.5, GPT-4, CyberAgentLM2) が生成したコンテンツの自動ユー ザ評価を行う．これにより, 既存のコンテンツと比較して現在の LLM 生成コンテンツがどの程度の品質を有するのかを明らかにする. さらに, ユーザ評価における LLM 間の比較結果も示す.

## 2 関連研究

言語モデルを利用したランキング予測は, Nogueira ら [1] が事前学習モデルの一つである BERT [2] の有用性を示して以来, 多く研究されている. T5 [3] を利用した研究 [4] では sequence-to-sequence モデルを用いて「Query: [Q] Document: [D] Relevant:」の形で入力,クエリとテキストの関連がある場合には true を出力, 関連がない場合には false を出力する様に学習することで, エンコーダのみのモデルより優れていることを示した. ChatGPT の登場以降では LLM に対してプロンプトエンジニアリングやファインチュー ニングを行い,レコメンドシステムなどに利用する研究が行われ, 有用性が示されている [5].

また, LLM を用いたデータ拡張の手法も研究されている.クエリの生成を行なった研究としては InPars-v2 [6] が挙げられる. GPT-J-6Bを用いて, テキストに対するクエリを生成, さらに MS MARCO デー タセット [7] でファインチューニングした monoT5 を用いて関連性の高いクエリとテキストのぺアのみを抽出して追加の訓練データセットとして利用することで, BEIR ベンチマーク [8] において最先端のものと同等の結果を獲得した.テキストの生成では Askari ら [9] の研究が挙げられる. クエリに関連するテキストを ChatGPT で生成することにより訓練データセットを作成, ドメイン外タスクにおける有用性を示した。

本研究では, Google 検索によってクエリと文書のペアを収集し，その検索結果の妥当性を測るためのユーザ評価を行う。さらにそれらを用いて任意の文

図 1 Google 検索で収集したテキストの文字数 (平均: 約 4,811 文字, 中央值: 3,374 文字)

書に対してユーザ評価を得るユーザ評価予測モデルを構築する. LLM (CyberAgentLM2, GPT-3.5, GPT-4) を用いてコンテンツを生成し,ユーザ評価の比較を試みる. 予測モデルはペアワイズ (pairwise), リストワイズ (listwise) などのランキング学習 (learning to rank)の指標に基づいて最適化する.すなわち, Google 検索によってクエリとの関連性が高いとされた文書に対して,ユーザ評価によるリランキングを行うモデルを構築し, 生成コンテンツの評価を行うことが本研究の目的である. なお, LLM が生成するテキストの品質を調べる研究としては, 尾崎ら [10] がオンラインディベートフォーラム kialo から議題と立論と模範反論のセットを収集し, LLM で生成した反論と比較した例があるが, SEO というユースケースで予測モデルを用いた自動品質評価を行う試みは, 筆者らが知る限り本研究が最初である。

## 3 実験の概要

## 3.1 ユーザ評価データ

情報を求める際に検索されるクエリ (インフォメーショナルクエリ) 100 件 (訓練データ 60 件, 検証データ 20 件, テストデータ 20 件) に対し, 上位 50 件ずつのテキストを取得した. 60 文字以下のテキストの除去を行なった結果計 4,594 件のテキストを取得した. テキスト,クエリの文字数を図 1 , 図 2 に示す.テキストの平均の長さは約 4,811 文字, 中央值が 3,374 文字,クエリの平均の長さは約 7 文字であった. クエリは質問形式の文ではなく1つか複数の単語である. 取得したデータセットに対し, 1 つのテキストに対して 5 人ずつのユーザー評価を行い, その平均

図 2 Google 検索に用いたクエリの文字数 (平均: 約 7 文字)

図 3 各テキストの 5 人のユーザ評価の平均の分布 (平均:約 7.3)

をテキストのユーザ評価とした. ユーザ評価は「検索需要にあっているか？」,「ページ・サイトの品質は高く信頼できるか？」,「使いやすいか？」の 3 点に基づいて, 1〜10の 10 段階評価で行った. 大きいほど高評価とした. 次にユーザ評価の分布を図 3 に示す. 平均は約 7.3 である.

## 3.2 ユーザ評価予測モデル

LINE 社が Hugging Face 上で公開している linecorporation/japanese-large-lm-3.6bを利用した. モデルの最大トークン数が 2,048 トークンであるため, デー タセットの 50\%以上は全てのテキストを含めて学習が可能である. 最大トークンを超える長さのテキストは, 2,048 トークンの位置で打ち切った. 学習の際には QLoRA [11]を用い, LoRA の行列のランクを 8 とし, 注意層を適応化した。

クエリを $q$, 対応するテキストを $d_{q}$ とし，「検索ク

図4 ユーザ評価予測モデル

USER: 以下のクエリに対する記事を生成してください。

クエリ:q

キーワード:keyword 1, keyword $_{2}, \cdots$, keyword $_{10}$ ASSISTANT:

図 5 コンテンツの作成に利用したプロンプト

エリ: $q$ テキスト $: d_{q} \perp$ の形で入力を行い, 最後のトー クンの隠れ層の出力をフィードフォワードニューラルネットワークに入力してスコアを算出する. バッチサイズを 12 とし, 損失関数は approxNDCG [12] を用いてリストワイズ形式で学習した. ユーザ評価予測モデルの概略を図 4 に示す. ユーザ評価をランキング形式で学習するため, モデルの出力はユーザ評価ではなく,スコアとなっている点に注意.

なお, 上記モデルの他に BERT や T5 を, またポイントワイズやペアワイズなどの形式の損失関数も評価した上で, 最良のモデルを選択した.

## 3.3 コンテンツ生成

サイバーエージェント社が Hugging Face 上で公開している cyberagent/calm2-7b-chat (以下, CALM2)を利用してコンテンツを生成した. 生成時のパラメー タは最大長を 2,048 トークン,サンプリング法を用い, それ以外のパラメータは Transformers の generate 関数の初期設定とした. 生成の際に利用したプロンプトを図 5 に示す. ユーザ評価データとは別に用意したインフォメーショナルクエリ 100 件に対し 1表 1 実験結果

コンテンツずつ, 合計 100 件のコンテンツを生成, ユーザ評価予測モデルを利用してスコアを付与した. SEO においては一般に, コンテンツ作成の際にはクエリに対応したキーワードを含めることが重要と知られている。そこで,コンテンツを生成する際にクエリだけでなく,キーワードを与えた. 各クエリの Google 検索における上位 50 件のテキストを取得し， MeCabを用いて形態素解析を行い, 名詞, 形容詞, 動詞を取得. TF-IDFを用いてテキストごとに単語重要度を算出, 各クエリに対応する検索結果の単位で単語重要度の平均をとり,上位 10 単語をキーワードとした.コンテンツ生成に利用した 100 件のクエリと Google 検索から取得したテキストには,ユーザ評価のラベルが付いていないため, ユーザ評価予測モデルの訓練や評価には利用していない (できない). また, 比較のため, GPT-3.5, GPT-4 を用いて同様にコンテンツの生成と評価を行なった. 生成コンテンツの例を付表で示す。

## 4 実験結果と考察

ドキュメント検索タスクにおける評価指標の一つである Normalized Documented Cumulative Gain (NDCG)を用いてユーザ評価予測モデルの評価を行なった. NDCG の関連性スコアとしてユーザ評価を用い, クエリごとに NDCG@10を計算し, その平均をモデルの評価とした. 実験の結果を表 1 に示す. NDCG@10において0.689を獲得し, ユーザ評価予測モデルの妥当性が確認できる.

次にテストデータおよび生成したコンテンツに対する予測スコアの分布を図 6 に示す. また, 同様に各コンテンツの文字数の分布を図 7 に示す.「評価: $n$ 」 はテストデータにおけるユーザ評価の小数第一位を四捨五入した值を $n$ とし,$n$ ごとのスコアの分布を表す. 評価: 10 , 評価:3 以下は少ないため, それぞれ評価:9, 評価:4 にまとめた. また, 第 3 四分位点 + 四分位範囲の 1.5 倍を超える値, 第 1 四分位点 - 四分位範囲の 1.5 倍を下回る値を外れ値とした.テストデー タではユーザ評価が高いほど好スコアを獲得していることが確認できる. 生成コンテンツは評価:7 と評価:8 の間程度のスコアとなっていることが確認できる. また, 高スコアのコンテンツはほとんど生成でき

図 6 ユーザ評価予測モデルによる予測スコア (「評価: $n$ 」 はテストデータにおけるユーザ評価の小数第一位を四捨五入した值を $n$ とし, $n$ ごとのスコアの分布を表す)

図 7 テストデータのユーザ評価ごとの文字数と生成コンテンツの文字数

ていないことが確認できる. GPT-4 と他の 2 つのモデルの精度に有意な違いがあるかどうかを確認するため, 対応のある $\mathrm{t}$ 検定を行なったところ $\mathrm{p}$ 值が 0.05 以下となり, 有意にスコアが高いことが確認された. GPT-3.5 と CALM2 では有意な差は認められなかった. ただ, CALM2 が生成するコンテンツはばらつきが大きく, 時に評価 9 以上の高品質なテキストが出力されることもあった.

最後にユーザ評価と文字数の関係について確認した. 図 6, 図 7 の結果に基づいてユーザ評価予測モデルの予測スコアと文字数の相関係数を計算したところ, 0.40 と正の相関が確認された. また, LLM により生成されたコンテンツはテストデータと比較すると文字数が短いにもかかわらず, ユーザ評価 7,8 程度のスコアを獲得している. このことから, 評価が高いコンテンツを出力することができているが, コンテンツの文字数が足りていない可能性が考えられる.

## 5 おわりに

本研究では Google 検索から取得したテキストに対するユーザ評価データを用いて, 任意のテキストコンテンツのユーザ評価を予測するモデルを構築し, LLM (CALM2, GPT-3.5, GPT-4) で作成したコンテンツの評価を行なった. ユーザ評価予測モデルを用いて評価をすることで, 10 段階のユーザ評価で $7 \sim 8$程度のスコアのコンテンツを生成できることが確認できた. また, ユーザー評価予測モデルの予測值と文字数に正の相関があること, および生成コンテンツの文字数はテストデータと比較して短いことが確認できた. 生成コンテンツの品質は比較的高いことが示唆される。一方で, より文字数の多いコンテンツを生成できることが必要であり, 今後の課題である.

## 参考文献

[1] Rodrigo Frassetto Nogueira and Kyunghyun Cho. Passage Re-ranking with BERT. CoRR, Vol. abs/1901.04085, , 2019.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Rodrigo Nogueira, Zhiying Jiang, Ronak Pradeep, and Jimmy Lin. Document Ranking with a Pretrained Sequence-to-Sequence Model. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 708-718, Online, November 2020.

[5] Wenqi Fan, Zihuai Zhao, Jiatong Li, Yunqing Liu, Xiaowei Mei, Yiqi Wang, Zhen Wen, Fei Wang, Xiangyu Zhao, Jiliang Tang, and Qing Li. Recommender Systems in the Era of Large Language Models (LLMs), 2023. arxiv:2307.02046.

[6] Vitor Jeronymo, Luiz Bonifacio, Hugo Abonizio, Marzieh Fadaee, Roberto Lotufo, Jakub Zavrel, and Rodrigo Nogueira. InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval, 2023. arxiv:2301.01820.

[7] Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, and Li Deng. MS MARCO: A Human Generated MAchine Reading COmprehension Dataset. In Tarek Richard Besold, Antoine

Bordes, Artur S. d'Avila Garcez, and Greg Wayne, editors, Proceedings of the Workshop on Cognitive Computation: Integrating neural and symbolic approaches 2016 co-located with the 30th Annual Conference on Neural Information Processing Systems (NIPS 2016), Barcelona, Spain, December 9, 2016, Vol. 1773 of CEUR Workshop Proceedings. CEUR-WS.org, 2016.

[8] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. In J. Vanschoren and S. Yeung, editors, Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks, Vol. 1. Curran, 2021.

[9] Arian Askari, Mohammad Aliannejadi, Evangelos Kanoulas, and Suzan Verberne. A Test Collection of Synthetic Documents for Training Rankers: ChatGPT vs. Human Experts. In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management, CIKM '23, p. 5311-5315, New York, NY, USA, 2023. Association for Computing Machinery.

[10] 尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史, 新谷篤彦. 大規模言語モデルによる高品質反論文の自動生成. 人工知能学会全国大会論文集, Vol. JSAI2023, pp. 4Xin111-4Xin111, 2023.

[11] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. QLoRA: Efficient Finetuning of Quantized LLMs, 2023. arxiv:2305.14314.

[12] Sebastian Bruch, Masrour Zoghi, Mike Bendersky, and Marc Najork. Revisiting Approximate Metric Optimization in the Age of Deep Neural Networks. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '19), pp. 1241-1244, 2019.

CALM2 以下は、AI 技術を活用した行政取り組みに関する記事の具体例です。 1. AIで自治体の業務効率化を進める動き行政業務において、AI 技術の活用が一層進んでいます。例えば、自治体は、チャットボットを業務に導入することで、住民からのさまざまな問い合わせに迅速かつ正確に回答することができます。また、行政手続きのオンライン申請に対応するAI-OCRを噵入することで、住民の入力情報の正確性を高めることも可能です。さらに、道路の渋滞予測などのビックデー タ分析にも AI 技術を活用することで、合理的な道路交通計画を策定することもできます。今後も自治体による AI 技術を活用した行政取り組みが期待されています。

2. 北海道庁が $\mathrm{AI}$ 活用した行政手続きのオンライン申請を推進

北海道庁は、2022年4月ょり市民向けのオンライン申請システムを導入しました。24 時間 365 日、いつでもどこからでも申請可能なことから、多くの住民が利用しています。これは、従来の紙による申請から、AI-OCR と入力支援AIを活用したオンライン申請に変えていくというものであり、業務の効率化と市民の利便性向上に向けた取り組みとして注目されています。

3. AI とチャットボットによる住民サービスの向上事例と課題オンライン申請システムの導入による市民サービスの向上や、AI 技術を駆使したチャットボットの導入による問い合わせ対応の迅速化など、行政におけるAI 技術の活用が進んでいます。しかし、一部の自治体では、AIやチャットボットの導入に苦戦しているという声も上がっています。これらの課題を解決するためには、AIやチャットボットに対する理解を深めた職員の育成や、市民向けの説明会の実施など、行政と住民の双方が協力していく必要があります。

4. AIによる行政手続きの転記作業自動化で人的ミスの防止 (文字数:782)

GPT-3.5 AI が自治体の行政業務に導入される事例と活用方法がどのようになっているかを見ていきます。近年、自治体ではDX（デジタルトランスフォーメーション）の一環として AIを積極的に活用し、行政サービスの効率化や住民へのより良いサポートを目指しています。例えば、自治体のウェブサイトや市民サービスセンターでチャットボットを活用することで、住民からのさまざまな問い合わせに即座に回答することが可能になります。また、AIを活用守ることで、住民のニーズや要望を分析し、より効果的な施策の立案や予算の配分を行うことができます。

さらに、行政業務全般において AIを活用することで、データの分析や業務の効率化が図られ、スムーズな行政運営が可能となります。具体的な事例としては、人口動態の予測や福祉施策の推進などが挙げられます。

このように、AIの導入により自治体の行政業務が効率化され、住民へより良いサービスが提供されることで、地域全体の発展が促進されると期待されていきす。AI の活用は今後も進み、さらなる行政サービスの向上に貢献することでしょう。(文字数:468)

GPT-4 タイトル：AIを軸にデジタルトランスフォーメーションを進める自治体の行政取り組み近年、AI（人工知能）は様々な分野で注目されていますが、行政の世界にも大きな変革の波が押し寄せています。自治体レベルでのデジタルトランスフォーメーション (DX) の進展を促進寺る中、AIの活用により業務の効率化や住民サービスの向上が期待されています。本記事では、自治体における AI 導入の事例とその取り組みの詳細について解説していきます。 \#\#\# 自治体における $\mathrm{AI}$ 導入事例

\#\#\#\#チャットボットを活用した問い合わせ対応

多くの自治体では、住民からの問い合わせ対応業務にチャットボットが導入されています。 24 時間 365 日、住民の疑問に応えるチャットボットは、待ち時間を減らし、より手軽绩報を得ることができるようになりました。例えば、住民登録の手続きや各種証明書の発行方法、税金の納付に関する質問など、基本的な問い合わせに即座に答えることが可能です。

\#\#\#\# 行政業務における文書の自動作成

$\mathrm{AI}$ 用いて、行政文書の自動作成システムが開発されている自治体もあります。議会質問の回答書など、特定のフォーマットに基づいた文書を AIが自動生成し、職員は細部の修正や追記の作業搏念することができます。これにより、業務の速度と精度が向上し、職員の負担を大幅に軽減しています。

(以下略, 文字数:1,217)


# 物語文に対する大規模言語モデルの読解能力の分析

板橋康知 ${ }^{1}$ 松林優一郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
itabashi.yasutomo.q7@dc.tohoku.ac.jp y.m@tohoku.ac.jp

## 概要

GPT-4 に代表される大規模言語モデル（LLM）は，知的に高度な人間のための資格試験においても高い能力を示している。本研究では、LLM の心情理解能力を評価する目的で，公立高校入試の国語物語文問題における，LLM の読解能力を調査した。調査対象として, ChatGPT（GPT-3.5-turbo, GPT-4）を調査対象とし、2017 から 2023 年の物語文読解問題から 108 問の 4 択問題をランダムに選び分析した。その結果、GPT-4 はランダム選択期待值を大きく上回り、GPT-3.5-turbo はわずかに上回った。両モデルは正解した問題の解答理由やテキスト参照箇所も適切であった。分析の結果, GPT-4 は特に文章全体の表現の特徴を問う問題に強い一方で，局所的な部分を参照し読み解く問題においでは，能力の向上が求められることが分かった.

## 1 はじめに

大規模言語モデル (LLM) は広範なテキストデー タの学習により、複雑な言語表現を理解し、人間の言語運用を模倣する能力を高い水準で獲得している.これらのモデルは, 様々な一般的タスクだけでなく，実際に人間が受験するような試験においても人間の水準に匹敵し注目を浴びている [1]. 英語に対しては，米国医師免許試験（The USMLE）やアメリカの司法試験である Uniform Bar Exam（4 択問題） において合格ラインかそれを大きく上回る水準に到達している $[2,3]$. 日本語においても，一般的な言語理解能力のベンチマークである JGLUE において, GPT-4 が人間の回答に非常に近い優れた成績を得ることが報告されているほか [4], 日本の医師国家試験において合格水準を上回ったと示されている [5].

他方，自然言語処理分野では，大規模言語モデルが心情・感情を理解する能力を持っているのかについての研究にも注目が集まっている. 他者の心の状態，目的，意図，知識，信念，志向，疑念などを推測する心の機能を，認知科学の分野で「心の理論 （Theory of Mind）」と呼び，この能力は効率的かつ効果的なコミュニケーションのために重要とされている [6]. Choi らは「心の理論」は大規模言語モデルを含む現代の人工知能にとっての課題であると指摘している [7]. 大規模言語モデルが人間とのコミュニケーションや人間間の相互理解を助けるような応用の場面では，「心の理論」のような社会的知能を獲得することが必要と言える.

この分野での研究例として, GPT-3 は人間の 3 歳児に，そして GPT-4 は人間の 7 歳児に匹敵する「心の理論」の能力を持っていると示されている [8]. しかし，大規模言語モデルの「心の理論」に関する研究はほとんどが英語での設定で，かつ，サリーとアン課題 [9] のような短文の設定で行われており，長い文脈の中から人間の心情を理解する能力を測った研究はまだほとんど行われていない。

本研究では，公立高校入試国語の物語文という多くの受験生が実際に受ける試験問題を用いて，最新の大規模言語モデルが人間にとって必要とされる心的な読解能力を備えているかを調査することを試みる。公立高校入試では多くの都道府県で出題の方針や各問のねらいが公開されており，国語の物語文については，例えば東京都では「叙述や描写などに即して，語句や文の意味，登場人物の様子，心情などを正しく理解する能力をみる」[10]，岡山県では 「登場人物の言動の意味や心情を文章の展開に即して理解したり，理解したことを適切に表現したりする力をみる」としており [11]，他者の心的状態への理解力をはじめとした能力を測る問題だと言える。本研究では物語文を扱うことによって，従来研究より広範かつ複雑な文脈下における LLM の心情理解能力について分析する.

モデルによる出力の評価には, 解答の正誤のほか，回答根拠の妥当性，受験者の正答率との比較，問いの内容別の性能などの観点から詳細な分析を与えた。結果として，問題全体としてはラン
本文 : 中学一年生の「わたし」は〜

設問 : (1)の時の「わたし」の心情を説明したものとして最も適当なものは、ア〜エのうちのどれか。

解答理由・本文の根拠箇所を明示して答えなさい

ア〜 イ

## 妥当な根拠をもとに適切に解答できるか?

図 1 実験の概要図

ダム選択期待値の $25 \%$ GPT-4 は大きく上回り、 GPT-3.5-turbo はわずかに上回った。正答率ごと，問いの内容ごとについては，特定のカテゴリーの問題について正解率が高い又は低いといった明確な結果は見られなかった.また，両モデルは正解した問題の解答理由やテキスト参照箇所も適切であり，少なくとも正解した問題に関しては論理的に破綻した根拠は見られなかった。分析の結果，gpt4 は特に文章全体の表現の特徴を問う問題に強い一方で，局所的な部分を参照し読み解く問題においでは，能力の向上が求められることが分かった.

## 2 分析対象

データセット分析の対象データとして，一般に公開されている公立高校入試国語の物語文の問題を利用する．実際の入試においては受験生の学力を測る指標が多岐に渡るため，国語の物語文では人物の心情を問う問題以外の問題も含まれている. 本研究では，単に漢字の読み書きや慣用句の意味を問うといった読解を必要としない問題は調査対象から除外した. また，一般に LLM に入力することが困難な図表を元に解答する問題, LLM が指定字数通りに出力することが困難な記述式問題についても除外することとし, テキストのみで問題の入力が可能でかつ読解を必要とする記号選択問題を扱うこととした。 また，人間の正答率との比較を行う目的で，正答率が公開されている都道府県の問題を対象とした。以上の条件にもとづき，2017 年度～2023 年度の問題のうち， 4 択問題となっているものをランダムに 108 問抽出した.このような問題の具体例を図 1 の上部に示す. 問題は抜粋された物語本文と設問，選択肢からなる，モデルに与えられるタスクは，設問に対し適切な選択肢を一つ選択することである。この際，我々の実験では後の分析のために回答理由や

図 2 プロンプトの概要.スペースの都合上，実際の問題の一部を（略）とした。

参照した本文箇所も出力させるが，実際の問題にはこのような要件は含まれてはいない。

問題の分類モデルが出力する解答の正誤について，より詳細に分析するため，分析対象の問題を人間の正答率別，問題類型別に分類した. 人間の正答率別については，10\%刻みに 10 の区間に分類した.結果として，0\%〜20\%の区間が 0 問，30\%〜と $40 \%$ の区間がそれぞれ 5 問， $50 \%$ ～から $80 \% \sim$ の 4 つの区間がそれぞれ 20 問， $90 \%$ の区間が 18 問となった. 問題の類型化に関しては，読み手が読解の中で生成するとされる推論としてよく用いられる 13 タイプの推論 [12] に基づいて実験者が人手で行った. 分類結果は, Class 1: 登場人物の行為意図や動機，目的への推論（例：A さんが〜のような行動を取った目的を答えなさい。）が 1 問，Class 6: 登場人物の心情に対する推論（例：～の時の Aさんの気持ちを答えなさい。）が 74 問，Class 8: 名詞句が具体的に示すものへの推論（例：ここでの「トロフィー」はどのようなものを例えていますか。）が 5 問，Class 11: 状況，特性，位置，信念等への推論 （例：〜から伺える Aさんの刺紼に対する考えを答えなさい。）が 12 問，Class 13: 筆者の意図や考えへの推論（例：～によって筆者は何を表現しようとしていますか。）が 12 問であり，分析対象とした物語文の問題は心情理解の問題を $69 \%$ 程度含み，その他，意図や状況を把握させる問題を含む。

## 3 回答モデル

本研究では，大規模言語モデルに上述の物語文に関する読解問題を解かせ，その解答や解答理由を分析することで，妥当な根拠をもとに解答できている

図 3 人間の正答率ごとの正解・不正解数 (GPT-3.5-turbo)

図 4 人間の正答率ごとの正解・不正解数 (GPT-4)

かや，どのような問題に正答又は誤答するかの傾向を調べる. 分析対象のモデルには，社会適用が急速に進みつつある GPT-3.5-turbo，GPT-4 を選択した。

プロンプト抽出された問題を, ChatGPT が読み取り可能な形式に成形し, プロンプトとして入力する. 具体的には，実際の入試問題では棒線部で示される部分があるが，このような表示は ChatGPT では読み取り不可能のため，鉤括弧を用いたような表示に変更する．また，ChatGPT の解答が，ランダムに生成された解答ではなく，根拠に基づいた妥当な解答であるか確認するため，解答の理由と参照した本文中の箇所を示させるようなプロンプトを追加した. プロンプトの概要を図 2 示す.

出力上記プロンプトに対して出力された解答について，選択肢については正答と照らし合わせ，解答の妥当性については解答理由と参照箇所をもとに，許容可能か否かを著者らが人手で評価する.

## 4 結果と考察

## 4.1 結果

全体としての正解率は，GPT-4 が 108 問中 94 問正解となり，正解率 $87.0 \%$ とランダム選択によ

図 5 問題類型ごとの正解・不正解数 (GPT-3.5-turbo)

図 6 問題類型ごとの正解・不正解数 (GPT-4)

る期待值 $25 \%$ を大きく上回った. GPT-3.5-turbo は 108 問中 41 問正解となり，正解率 $37.9 \%$ となり， ランダム選択による期待値をやや上回る程度の結果となった. 解答の理由や本文の参照箇所を人手評価した結果，両モデルとも正解した問題については，明らかに誤った理由や参照箇所を出力するケースはなく，すべてのケースで許容範囲内の合理的な理由を持って正答していると判断された.

図 2, 図 3 には，人間の正答率別の正解数を示す. いずれのモデルについても，問題の難易度と正答率の間に意味のある相関は見られず，誤答はどの難易度にも傾向なく分布していた. したがって, 現状の LLM に関しては，人間にとっての難易度の高い問題と, LLM にとっての難易度の高い問題は必ずしも一致しないことがうかがえる.

図 4, 図 5 には，問題類型別の正解数を示す. 問題類型ごとについても同様に，特定の類型の問題について正解率が高いまたは低いといった明確な傾向はいずれのモデルにも見られなかった.

## 4.2 考察

より高い成績を示した GPT-4 において，どのような性質の問題を正解できたのか，またどのような問
題を間違える傾向にあるのかを分析した. まず，どの程度の問題まで正解できたのかについてであるが，今回扱った問題の中で最も人間正答率が低かったのは $30 \%$ －台の問題の計 5 問であった. GPT-4 はそのうちの 4 問に正しく解答することが可能であった. 正しく解答できた具体例を図 6 に示す. 図 6 における問 7 は, 本文全体を通して文章の表現の特徴を答える問題であり, 本文の中に示したような, 特徵が現れているいくつかの箇所を適切に参照して解答することができている。このような文章全体の表現の特徵を答える問題については図 6 の例以外にも GPT-4 はすべて正解しており, 解答が得意な種類の問題だと考えられる。

次に，どのような問題を間違える傾向にあるのかについてであるが，GPT-4 が解答を誤った問題は計 14 問あり，代表的なものをいくつか挙げる. 例えば，図７の問いは棒線部より少し前の発言を根拠にして解答するべき問題であるが，gGPT-が誤って選んだ解答のイに含まれる「他の仕事との兼業までして店を運営していこうと思っている「私」と言うのは，棒線部より後の発言の内容であり，物語の時間軸的にも整合性が合わない. 文章全体を通した理解に得意さを持つことが示唆された一方で，対照的に本来棒線部直前のみを参照すべき問題に関しては,棒線部の後ろまたは更に前まで参照したことで結果解答を誤っており, 印象的な結果となった. この結果は, 言語モデルが物語の時系列や物事の因果の関係性について，十分な理解を得られていない可能性を示唆する。

## 5 おわりに

本研究では，物語文における大規模言語モデルの読解能力について分析を行った. 結果として, 人間正答率別と問題類型別の両方において, 特定の問題についての解答能力に明らかな差は見られなかった. 一方で，GPT-4 の解答に着目すると，文章を広く捉えることに強みをもつ一方で, 反対に棒線部直前といった局所的な箇所を参照できず解答を誤る場合があるということが示され，今後のより詳細な分析を方向づける示唆が得られた. 今後は, 大規模言語モデルの出力に対しての妥当性を評価する手法についてより定性的なアプローチを行うことに加え，大規模言語モデルが問題に応じて柔軟に対応し解答能力が向上するような改善手法の追及について検討したい.

## 【本文】

(略)

まだ白い実をむしりとっている銀河と同じ年頃の子どもに、恵介は熟した赤い実を渡してやる。銀河と、少し前の銀河が四十三人集まっていると思えば、怒ったりはできなかった。 (略)

ふと恵介は思った。そういえば、銀河にはまだ一度も、俺の採りたて莓を食べさせてないな、 と。

(略)

銀河と同じだ。何かを口に入れる時にはまず、口を食べ物と同じ大きさに開く。

(略)

【設問】

問7この文章の表現の特徵について説明したものとして最も適当なのは、ア〜エのうちではどれですか。一つ答えなさい。

ア恵介と園览たちの短い会話を連続させることによって、園児たちに恐る恐る声をかける恵介のぎこちない態度を表現している。

イ園児たちを銀河と重ね合わせて描写することによって、園児たちを息子同様に温かく見守っている恵介の様子を表現している。

ウ比唋表現を使わないで具体的に説明することによって、園児たちのかわいらしい表情やしぐさをより生き生きと表現している。

エ物語中の出来事を常に恵介の視点で語ることによって、園児たちに対する恵介の行動や気持ちの变化を客観的に表現している。

【解答】

問7：適当な答えは「イ」です。【本文】では、恵介が園児たちを銀河と重ね合わせる描写が何度もあります。例えば、園児たちが菖を食べるシーンでは、恵介は銀河にも同じ体験をさせたいと考えるなど、彼の息子に対する思いやりが園児たちにも向けられています。これにより、恵介が園览たちを息子のように見守っている様子が表現されています。

(正答 : 1 正答率 : $36.0 \%$ )

図 7 GPT-4 が正解した正答率の低い問題の例. スペースの都合上，実際の問題および解答の一部を（略）とした.

図 8 GPT-4 が解答を誤った問題の例. スペースの都合上，実際の問題および解答の一部を（略）とした。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020

[2] Tiffany H Kung, Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo, et al. Performance of chatgpt on usmle: Potential for ai-assisted medical education using large language models. PLoS digital health, Vol. 2, No. 2, p. e0000198, 2023.

[3] OpenAI. Gpt-4 technical report. ArXiv, Vol. abs/2303.08774, , 2023

[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[5] Jungo Kasai, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, and Dragomir Radev. Evaluating gpt-4 and chatgpt on japanese medical licensing examinations, 2023.

[6] Maarten Sap, Ronan LeBras, Daniel Fried, and Yejin Choi. Neural theory-of-mind? on the limits of social intelligence in large $1 \mathrm{~ms}, 2023$.

[7] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration, 2020.

[8] Michal Kosinski. Theory of mind might have spontaneously emerged in large language models, 2023.

[9] Simon Baron-Cohen, Alan M Leslie, and Uta Frith. Does the autistic child have a "theory of mind" ? Cognition, Vol. 21, No. 1, pp. 37-46, 1985.

[10] 東京都教育委員会. 令和 5 年度東京都立高等学校入学者選抜学力検査結果に関する調査報告書. 東京都教育委員会, 2023 .

[11] 岡山県教育委員会. 一般入学者選抜 [第 I 期] のための学力検査の概要. 岡山県教育委員会, 2023 .

[12] Arthur C Graesser, Murray Singer, and Tom Trabasso. Constructing inferences during narrative text comprehension. Psychological review, Vol. 101, No. 3, p. 371, 1994.


# インタラクティブフィクションにおける大規模言語モデルの 性能

Zhuo Binggang $^{1}$ 村田真樹 ${ }^{1}$
1 鳥取大学 工学研究科
zhuobinggang@gmail.com murata@tottori-u.ac.jp

## 概要

インタラクティブフィクションにおける人工知能ェージェントは主に強化学習に基づいているが、近年の大規模言語モデルの急速な発展を考慮し、我々は大規模言語モデルを使用してインタラクティブフィクションタスクを解く方法を提案する。我々が選んだテストデータセットは TextWorld Commonsense (TWC) である。TWC ゲームでは、 エージェントのタスクは部屋を整理し、アイテムを適切な位置に配置することであり、タスクを上手く解くにはエージェントが「どのアイテムがどの位置に属するか」という常識を持つ必要がある。提案手法の性能をテストした結果、大規模言語モデルは微調整を受けずに、トレーニングセットで学習された強化学習ベースラインと同等ぐらいの性能を持っていることが分かる。具体的には、GPT4.0 one-shot は Easy および Medium レベルの総計 10 個の TWC ゲームですべてのタスクを完璧に遂行し、Hardレベルのゲームでは、提案手法（スコアは 0.52 ）は性能の一番良いベースライン $(0.57)$ に負けたが、この差はプロンプトの改良によって補われる可能性がある。

## 1 はじめに

インタラクティブフィクション (IF)、あるいはテキストアドベンチャーゲームでは、プレイヤーの命令とエンジンの応答がすべて自然言語で行われる。言語を理解するだけでなく、高い得点を獲得するためには、人工知能 (AI) エージェントは他の複雑なスキル、例えば、長期記憶、計画、常識などを持つ必要がある。報酬がスパースであるため、過去のIF の分野における AI エージェントは主に強化学習技術を基にしていたが、近年の大規模言語モデル (LLMs) の急速な発展を考慮し、我々は LLMs を使用してIF タスクを解く方法を提案する。

我々は提案手法に基ついて GPT 3.5 turbo と GPT 4.0 turbo の性能を TWC データセット [1](詳しい説明は 4.1 節を参照してほしい)でテストした。実験の結果、LLMs は微調整なしで、トレーニングセットで学習された強化学習モデルと競り合う性能を持っていることが示された。

## 2 関連研究

## 2.1 データセット

人間プレイヤー向けに設計された IF は既存の $\mathrm{AI}$ エージェント (LLMs を含む) にとってまだ非常に難しい課題であることが分かる $[2,3,4]$ 。難しい IF から研究するよりも、我々は簡単な IF 環境で AI エージェントの性能を段階的に向上させたいと考えている。適切な難易度を持つIF 環境を容易く作れるようにするために、Côté らは TextWorld[5]を提案した。TextWorld は、ユーザーがIF 環境を手動で作成するか、生成メカニズムを使用して自動的にIF を構築することを可能にするサンドボックス環境である。TWC[1] は TextWorld 上に構築された IF 環境であり、主な目的はエージェントが常識を活用する能力を検証することである。TWC の後には、 より複雑な IF 環境がいくつか登場している。例として、Science World[6] や Complex World[7]がある。 Science World の問題点は環境が特定の領域 (科学) に特有であるため、この環境で良いパフォーマンスを示すェージェントは他の環境に対応できない可能性がある。一方、Complex World は TWC よりも複雑であり、Complex World での研究は我々の今後の課題となる。

## 2.2 人工知能エージェント

IF の報酬がスパースであるため、この分野における AI ェージェントは主に強化学習に基づいている。LSTM-DQN[8] はこの領域の最初の成果の一つであり、Karthik らは LSTM を使用してテキストの説明を隠れた状態にエンコードした。DRRN[9] は LSTM-DQN をベースにしており、状態とアクションをエンコードするニューラルネットワークを分離する。この改善により、モデルのパフォーマンスと安定性が向上した。KG-A2C[10] は探索の過程で知識グラフを生成し、モデルの探索をさらにガイドする。この方法はエージェントの学習効率とパフォー マンスを向上させたことが報告されている。これらの手法は TWC の論文 [1] でベースラインとして使用されている (LSTM-DQN が LSTM-A2C として実装されていることが要注意)。また、この論文で提案されたモデルである TWC Agent は ConceptNet から常識知識を抽出し、常識知識の導入によりべー スラインより良し性能を達成した。

## 3 提案手法

## 3.1 問題設定

TWC ゲームでの人工知能ェージェントのタスクは、部屋を整理することであり、具体的には特定の物体を光の属する場所に戻すことである。たとえば、使ったティッシュペーパーはゴミ箱に入れるべきであり、污れた服は洗濯機に入れるべきである。物体が特定の位置に属するかどうかの判断基準は常識であり、これらの物体-位置のペアの妥当性は人間の評価者によって確認されている [1]。

TWC ゲームをプレイする時、各時間ステップで、 プレイヤーやェージェントはゲームエンジンからの発見 (observation) を取得する。この発見は自然言語の形で提示される。觉の後、エージェントは行動を選択し、光の行動が実行された後、ゲームエンジンは新しい発見を返す。このサイクルには 2 つの終了条件がある。一つはェージェントがすべてのタスクを完了した場合であり、もう一つはエージェントが行動回数の上限を超えた場合である。本研究では行動回数の上限が 20 に設定される。ゲームエンジンが返す発見には以下の内容が含まれる。
- Action Result: 行動が実行された場合、ゲー ムエンジンからのフィードバックを意味す
る。行動で報酬を得た場合、爫の報酬もフィー ドバックに含まれる。例えば、とあるゲー ムステートで「insert dirty yellow T-shirt into washing machine」という行動を実行すると、 ゲームエンジンは「You put the dirty yellow T-shirt into the washing machine.Your score has just gone up by one point.」というフィードバックを返す。
- Environment Description: 現在の環境に関するテキストの説明である。
- Inventory: 現在所持しているアイテムの説明である。

$\cdot$ Available Action List: 現在実行できるアクションのリストである。

## 3.2 プロンプト

プロンプトは我々が提案する手法で最も重要な部分である。LLM に提供するプロンプトには、エンジンから受け取った発見の中にあるすべての要素が含まれる: Action Result、Current Environment、 Inventory、Available Action List。これらの要素について 3.1 節で説明した。これに加えて、プロンプトにはタスクの説明 (Task)、行動履歴 (Action history)、モデルの出力を構造化するための回答テンプレート (Question、Consideration、Next action) も含まれている。例を以下に示す (長過ぎる文章を省略している)。

Task: You are a experienced text game player, your goal is put things in there proper locations and improve your score.

Action history: Action 0: examine suspended shelf - $>$ The suspended shelf is reliable. Action 1: take dirty singlet -> You pick up the dirty singlet from the ground.

Inventory: You are carrying: a dirty singlet

Current enviroment: $-=$ Laundry Room $=-$ You've entered a laundry room. You begin to take stock of what's here.You can see a washing machine. Empty!

Action you can take:
* close clothes drier
* close laundry basket
* put dirty singlet on work table

Question: To put things in there proper locations
and improve your score, what should you do? Think step by step then choose 'one' action from above list.

Consideration: $<$ fill in $>$

Next action: $<$ fill in $>$

「Task」とはタスクの説明で、固定されている文字列である。「Action history」とは行動履歴で、行動の回数とともに増加し、「行動 ->フィードバック」の形式でテキスト化される。「Current Environment」 とは現在の環境のテキストの説明である。「Action you can take」とはゲーム環境から取得した可能な行動のリストである。「Question」、「Consideration」 および「Next action」は「Task」と同様に固定された文字列であり、モデルの出力を構造化するためのテンプレートである。上記のプロンプトに対する gpt4.0 turbo の出力は以下の通りである。

Consideration: To properly place the dirty singlet, it should be put somewhere related to laundry processing. Inserting it into the washing machine seems like the most appropriate step since typically, dirty clothes need to be washed before they are dried or placed in a laundry basket.

Next action: insert dirty singlet into washing machine

回答テンプレートが存在するため、GPT 4.0 の出力は整然としていて、この出力から行動を自動的に抽出することができる。しかし、GPT 3.5 の出力はテンプレートに合わないことが多いため、出力を行動リストに対応させるためのテクニック (grounding) が必要である。本研究では、LLMs の出力を人手で行動に変換する。具体的には、モデルの出力の一部（上記の例では「Next action」の後の部分）をコピーし、ゲームエンジンのインターフェー スに貼り付けるだけである。

先行研究では、例を提供することが LLMs の性能向上に役立つとされている。觉のため、我々はゲームの流れを例としてプロンプトに追加し (「Example walkthrough」と名付ける)、例が一つの場合 (one-shot) を研究した。このゲームの流れは、人間プレイヤーがテストセット外の難易度が hard である一つのゲームでプレイし、最短経路でゲー ムを完了したものである。「Example walkthrough」 の形式は「行動 ->フィードバック」で、「Action history」の形式と完全に一致している。「Example walkthrough」以外のプロンプトは zero-shot と同様である。one-shot のプロンプトは以下である。

Task: You are a experienced ......

Example walkthrough: Action 0: insert dirty yellow dress into washing machine ->You put the dirty yellow dress into the washing machine.Your score has just gone up by one point. ...... Action 14: insert dirty maroon dress into washing machine ->You put the dirty maroon dress into the washing machine.Your score has just gone up by one point. ${ }^{* * *}$ The End ${ }^{* * *}$

Action history:

Next action: <fill in $>$

## 3.3 API でプロンプトを使用

本節では、API でのプロンプトの使用方法について説明する。我々は OpenAI API を使用して gpt4.0 turbo（具体的なモデル名は gpt-4-1106-preview）および gpt3.5 turbo（モデル名は gpt-3.5-turbo）を呼び出す。Python コードは次の通りである。

Listing 1 API を使用する Python コード

ここで、system_msg と user_msg は文字列変数であり、本研究では乥れ光れ以下のテキスト内容を含んでいる。

$\cdot$system_msg: タスク (Task)、ゲームの流れの例 (Example walkthrough)、行動履歴 (Action history)、インベントリ (Inventory)、現在の環境 (Current enviroment)
- user_msg: 可能な行動リスト (Available Action List)、回答テンプレート (Question、Consideration、Next action)

## 4 実験

## 4.1 データセット

手法の性能を評価するために我々が使用するデータセットは TWC であり、このデータセットは

GitHub から入手できる1)。このデータセットには、 easy、medium、hard の 3 つの難易度があり、難易度ごとに 5 つのゲームが含まれている。ゲームの難易度は整理する必要のあるアイテムや部屋の数で区別する。難易度が最も低いゲームには整理する必要のあるアイテムが 1 つと部屋が 1 つしか含まれておらず、難易度が最も高いゲームには整理する必要のあるアイテムが 7 つと異なる 2 つの部屋が通路でつながっている。エージェントは「go east」のような行動で部屋間の移動ができる。

## 4.2 実験設定

モデル : GPT4.0 turbo (具体的なモデル名は gpt-4-1106-preview) と gpt3.5 turbo（モデル名は gpt-3.5-turbo）を呼び出すために OpenAI API を使用し、具体的なコードは 3.3 節で説明した。微調整： すべての LLMs は微調整されていない。行動回数上限 : 各ゲームについて、モデルが取ることができる行動の上限を 20 と規定する。重複実験 : 重複実験はしていない。すべてのスコア (normalized score) は 1 回の実行結果である。評価指標：評価指標は TWC 論文と同樣に normalized score (エージェントが達成されたスコア $\div$ 最大の可能なスコア) を使用する。

したがって、モデルと例の数に基づいて、提案手法は次のとおりである：GPT 3.5 zero-shot、GPT 3.5 one-shot、GPT 4.0 zero-shot、GPT 4.0 one-shot。

## 4.3 ベースライン

本研究で使用されるベースラインには、LSTMA2C、DRRN、KG-A2C、およびTWC Agent (常識知識は Numberbatch で導入) が含まれており、これらのベースラインの特徴について 2.2 節で紹介した。ベースラインのスコアは TWC の論文から直接取得し、再実装およびテストを行っていないことに注意してほしい。ベースラインのスコアは、10 回の繰り返し実験の平均値である [1]。

## 5 結果

実験結果は表 1 に示す。すべてのスコアは normalized score で、エージェントが達成したスコアをゲームで達成可能な最高スコアで割ったものである。注意すべきのは、各難易度レベルには 5 つ表 1 実験結果

のゲームが含まれ、スコアはエージェントが 5 つのゲームで達成したスコアの平均值である。

表 1 によると、Easy と Medium レベルのゲームでは、GPT4.0 (zero-shot および one-shot) が安定してすべてのアイテム整理タスクを遂行した。一方、hardレベルのゲームでは、GPT4.0 one-shot が TWC-Agent および LSTM-A2C に敗れた。ただし、 すべてのベースライン手法はトレーニングセットで 100 エピソードのトレーニングを行っており、LLMs には微調整を行っていない。また、我々が採用したプロンプトは非常に単純なものであり、プロンプ卜の改良がモデルの性能向上につながる可能性がある。

## 6 おわりに

本研究では、大規模言語モデルを使用してインタラクティブフィクション分野の人工知能ェージェン卜を実現する方法を提案した。従来の強化学習手法と比較して、我々の手法はシンプルで性能が優れている。TextWorld Commonsense データセットでは、微調整を行わなくても、我々の手法はトレーニングセットで学習された強化学習モデルと同等レベルの性能を持っている。具体的には、GPT4.0 one-shot は Easy および Medium の合計 10 のゲーム環境ですべてのタスクを完璧に遂行した。Hard レベルのゲーム環境では、我々の手法の性能 (0.52) は性能の一番良いベースライン $(0.57)$ を上回ることはできないが、この差はプロンプトの改良によって補われる可能性がある。
 /$ tree/master/games/twc
}

## 参考文献

[1] Keerthiram Murugesan, Mattia Atzeni, Pavan Kapanipathi, Pushkar Shukla, Sadhana Kumaravel, Gerald Tesauro, Kartik Talamadupula, Mrinmaya Sachan, and Murray Campbell. Text-based rl agents with commonsense knowledge: New challenges, environments and baselines. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 9018-9027, 2021.

[2] Matan Haroush, Tom Zahavy, Daniel J. Mankowitz, and Shie Mannor. Learning how not to act in textbased games. In 6th International Conference on Learning Representations, ICLR 2018, 2018. Publisher Copyright: $\oplus$ 6th International Conference on Learning Representations, ICLR 2018 - Workshop Track Proceedings. All rights reserved.; 6th International Conference on Learning Representations, ICLR 2018 ; Conference date: 30-04-2018 Through 03-05-2018.

[3] Shunyu Yao, Karthik Narasimhan, and Matthew Hausknecht. Reading and acting while blindfolded: The need for semantics in text game agents. arXiv preprint arXiv:2103.13552, 2021.

[4] Chen Feng Tsai, Xiaochen Zhou, Sierra S Liu, Jing Li, Mo Yu, and Hongyuan Mei. Can large language models play text games well? current state-of-the-art and open questions. arXiv preprint arXiv:2304.02868, 2023.

[5] Marc-Alexandre Côté, Akos Kádár, Xingdi Yuan, Ben Kybartas, Tavian Barnes, Emery Fine, James Moore, Matthew Hausknecht, Layla El Asri, Mahmoud Adada, et al. Textworld: A learning environment for text-based games. In Computer Games: 7th Workshop, CGW 2018, Held in Conjunction with the 27th International Conference on Artificial Intelligence, IJCAI 2018, Stockholm, Sweden, July 13, 2018, Revised Selected Papers 7, pp. 4175. Springer, 2019.

[6] Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, and Prithviraj Ammanabrolu. Scienceworld: Is your agent smarter than a 5 th grader? arXiv preprint arXiv:2203.07540, 2022.

[7] Shreyas Basavatia, Shivam Ratnakar, and Keerthiram Murugesan. Complexworld: A large language model-based interactive fiction learning environment for text-based reinforcement learning agents. In International Joint Conference on Artificial Intelligence, 2023.

[8] Karthik Narasimhan, Tejas Kulkarni, and Regina Barzilay. Language understanding for text-based games using deep reinforcement learning. arXiv preprint arXiv:1506.08941, 2015.

[9] Ji He, Jianshu Chen, Xiaodong He, Jianfeng Gao, Lihong Li, Li Deng, and Mari Ostendorf. Deep reinforcement learning with a natural language action space. arXiv preprint arXiv:1511.04636, 2015.

[10] Prithviraj Ammanabrolu and Matthew Hausknecht.
Graph constrained reinforcement learning for natural language action spaces. arXiv preprint arXiv:2001.08837, 2020.

## 7 付録

## 7.1 zero-shot プロンプトの具体例

## zero-shot プロンプトの具体例を示す (省略なし)。

Task: You are a experienced text game player, your goal is put things in there proper locations and improve your score.

Action history: Action 0: examine suspended shelf - $>$ The suspended shelf is reliable. Action 1: take dirty singlet -> You pick up the dirty singlet from the ground.

Inventory: You are carrying: a dirty singlet Current enviroment: $-=$ Laundry Room $=-$ You've entered a laundry room. You begin to take stock of what's here.You can see a washing machine. Empty! What kind of nightmare TextWorld is this? You make out an opened clothes drier. The clothes drier is empty! What a waste of a day! You can see a laundry basket. Hmmm... what else, what else? The laundry basket is empty! What a waste of a day! You can see a suspended shelf. The suspended shelf is ordinary. But oh no! there's nothing on this piece of garbage. You move on, clearly infuriated by TextWorld. You scan the room, seeing a bench. But the thing hasn't got anything on it. Oh! Why couldn't there just be stuff on it? You make out a work table. But oh no! there's nothing on this piece of garbage.

Action you can take:
* close clothes drier
* close laundry basket
* close washing machine
* drop dirty singlet
* examine bench
* examine clothes drier
* examine laundry basket
* examine suspended shelf
* examine washing machine
* examine work table
* insert dirty singlet into clothes drier
* insert dirty singlet into laundry basket
* insert dirty singlet into washing machine

$*$ look
* put dirty singlet on bench
* put dirty singlet on suspended shelf
* put dirty singlet on work table

Question: To put things in there proper locations and improve your score, what should you do?

Think step by step then choose 'one' action from above list.

Consideration: $<$ fill in $>$

Next action: $<$ fill in $>$

## 7.2 one-shot プロンプトの具体例

$\ulcorner$ Example walkthrough $\lrcorner$ 以外のプロンプトは zeroshot と同樣である。文章が長過ぎるため、省略された部分がある。

Task: You are a experienced ......

Example walkthrough: Action 0: insert dirty yellow dress into washing machine ->You put the dirty yellow dress into the washing machine.Your score has just gone up by one point. Action 1: take dirty yellow $\mathrm{T}$-shirt from bench ->You take the dirty yellow T-shirt from the bench. Action 2: insert dirty yellow T-shirt into washing machine ->You put the dirty yellow T-shirt into the washing machine.Your score has just gone up by one point. Action 3: take wet azure dress from suspended shelf $->$ You take the wet azure dress from the suspended shelf. Action 4: insert wet azure dress into clothes drier ->You put the wet azure dress into the clothes drier.Your score has just gone up by one point. Action 5: take white cap from bench ->You take the white cap from the bench. ...... Action 14: insert dirty maroon dress into washing machine ->You put the dirty maroon dress into the washing machine.Your score has just gone up by one point. *** The End $* * *$

Action history: ......

Inventory: ......

Current enviroment: ......

Action you can take:

Question: ......

Consideration: $<$ fill in $>$

Next action: $<$ fill in $>$


# 大規模言語モデルに対する 語彙置換継続事前学習の有効性の検証

野崎雄太 ${ }^{1}$ 中島大 ${ }^{1}$ 佐藤諒 ${ }^{1}$ 伊藤真也 ${ }^{1}$ 近藤宏 ${ }^{1}$ 麻場直喜 ${ }^{1}$ 川村晋太郎 ${ }^{1}$ 1 株式会社リコーデジタル戦略部 デジタル技術開発センター 言語 AI 開発室 \{yuta. nozaki1, dai. nakashima, ryo.sato4, shinya.itoh, hiroshi.xx.kondoh, naoki.asaba, shintaro.kawamura\}@jp.ricoh.com
## 概要

英語モデルに日本語データを継続事前学習することによって日本語性能を高めるというアプローチにおいて，最も重要な課題の 1 つに日本語に最適化されていないトークナイザーによる学習効率の低下が挙げられる。トークナイザー の語彙拡張など様々な対策手法があるが，モデルパラメータの増大という副作用もある。そこで本研究ではトークナイザーの語彙拡張をせずに，既存モデルの埋め込みを活用することによって学習効率と精度を高める手法, 語彙置換継続事前学習を提案する。検証の結果，語彙拡張と同等の精度が確認された。

## 1 はじめに

近年 Transformer [1] ベースの大規模言語モデルの研究が加速し, 様々な LLM が公開されている. しかし，その大部分 $[2,3]$ は大量の英語テキストによって学習された英語特化モデル (英語モデル)であり，日本語に特化したモデル (日本語モデル) は少ないのが現状である. 主な理由として, 日本語の良質な大規模コーパスは英語と比較して少量であり, 学習データ量を増やすことで言語モデルとしての性能が向上するという法則 [4] の上で制約となっていることが考えられる。

いわゆる低リソース言語に特化したモデルを構築する場合，十分なデータ量で学習された英語モデルにその言語データを継続事前学習させるというアプローチがある [5,6]. 日本語の事例でも英語モデルに日本語データを継続事前学習することで日本語モデルを構築したという報告がある [7]. しかしこの場合，既存のモデルはトークナイザーの語彙の大半が英語であるため, このまま日本語データを継続事前学習すると同一バッチ内で学習できる文字列長が英語と比較して少なくなってしまい，学習効率が非常に悪い. そのため日本語の語彙が多く含まれるトー クナイザーを構築して学習を行うことが求められる。

トークナイザーに変更を加えて継続事前学習を行う手法には以下のようなものが挙げられる。
- Scratch: 新規トークナイザーで継続事前学習

・Extend: トークナイザー語彙を拡張して継続事前学習

Scratch はトークナイザーの語彙と既存モデルの語彙の埋め込みべクトルの一致率が著しく低くなり，既存の重みを活用できず，精度が低くなってしまう可能性がある。一方で Extend は拡張された語彙の埋め込みべクトルの初期値を工夫することによって既存モデルの重みを活用しながら日本語に特化したトークナイザーで継続事前学習ができる. BERT [8] などのエンコーダモデルに対する低リソース言語の継続事前学習 $[6,9]$ やドメイン適応の分野でもこの手法は一般的である $[10,11,12,13]$. しかし，トークナイザーの語彙を拡張すると, 同時にモデルサイズが語彙数に応じて増加し, 最終的に GPUメモリや学習時間などコストが増大する。 また，語彙数を一定以上増やしても性能は飽和するという報告もある [14]. これらの問題を解決するために, 本研究では既存トークナイザーの語彙の一部を置換することで，既存の埋め込みを活用しながら語彙数を拡張せずに継続事前学習を行う手法, 語彙置換継続事前学習を提案する. 具体的には，新しくトークナイザーを構築し，既存トークナイザーのみに含まれる語彙を新規トー クナイザーのみに含まれる語彙に置換する。また，置換した語彙に対応するモデルの埋めこみベクトルはその語彙を構成するトークン列の埋め込みべクトルの平均に置換する。これによっ

て語彙数を増やさずに既存モデルの埋め込みを活用しながら継続事前学習を行うことができる.

## 2 関連研究

[15] はトークナイザーの効率を評価する指標として，トークンあたりの文字列長 (length per token) を挙げており，多言語トークナイザーを構築する場合，一定の語彙数の水準で length per token が飽和することを確認した. 本研究ではこの事例をべースに英語語彙数が減少したことによる英語タスク精度げの影響の検証も行う。

## 3 語彙置換継続事前学習

語彙置換継続事前学習は語彙の置換と埋め込みの置換の 2 つの手法を組み合わせている. 図 1 に概略を示す。

## 3.1 語彙の置換

トークナイザー $T$ を語彙 $V$ と語彙から語彙 ID をマッピングする関数 $f$ の組 $(T, f)$ と定義し,既存のトークナイザー $T_{A}$ と新規トークナイザー $T_{B}$ とする. それぞれのトークナイザーは語彙 $V_{A}, V_{B}$ で同じ語彙数を持つ.

$
\begin{aligned}
& V_{A}=\left.\{v_{1}^{A}, v_{2}^{A}, \ldots, v_{n}^{A}\right.\} \\
& V_{B}=\left.\{v_{1}^{B}, v_{2}^{B}, \ldots, v_{n}^{B}\right.\}
\end{aligned}
$

$T_{A}$ の各語彙 $v_{i}^{A}$ に対する語彙 ID $k_{i}^{A}$ をマッピングする関数 $f_{A}$, 同様に $T_{B}$ の各語彙 $v_{1}^{B}$ に対する語彙 ID $k_{i}^{B}$ をマッピングする関数 $f_{B}$ を定義する。

$
f_{A}\left(v_{1}^{A}\right)=k_{i}^{A}, \quad f_{B}\left(v_{i}^{B}\right)=k_{i}^{B}
$

$V_{A}$ と $V_{B}$ の共通語彙を $V_{\text {com }}, V_{A}$ の独自語彙を $V_{\text {uniA }}, V_{B}$ の独自語彙を $V_{\text {uniB }}$ とする.

$
\begin{gathered}
V_{\text {com }}=V_{A} \cap V_{B}, \\
V_{\text {uniA }}=V_{A}-V_{B}, \quad V_{\text {uniB }}=V_{B}-V_{A}
\end{gathered}
$

$V_{\text {uniA }}$ の全ての語彙 $v_{i}^{A}$ を $V_{\text {uniB }}$ の語彙 $v_{i}^{B}$ に置換し，置換済み語彙集合を $V_{A}^{\prime}$ とする。また，新しいマッピング関数 $f_{A^{\prime}}$ を定義する。 $f_{A^{\prime}}$ は $T_{B}$ の各語彙 $v_{i}^{B}$ に対して,$T_{A}$ の対応する語彙 ID $k_{i}^{A}$ を割り当てる。

$
f_{A^{\prime}}\left(v_{i}^{B}\right)=k_{i}^{A}
$

$V_{A}^{\prime}$ と $f_{A^{\prime}}$ を持つトークナイザーを語彙置換トー クナイザー $T_{A^{\prime}}$ とする. $T_{A^{\prime}}$ は $T_{A}$ をべースとしていることから, $f_{A}\left(V_{\text {com }}\right)=f_{A^{\prime}}\left(V_{\text {com }}\right)$ となる. つまり $T_{A}$ で学習したモデルの埋め込みべクトルとの対応関係も維持される。

## 3.2 埋め込みの置換

3.1 で置換したトークナイザーの語彙は既存モデルの埋め込みベクトルとは意味的な対応関係がない。そのため先行事例 [11] と同様に，既存モデルのトークン列の平均ベクトルで埋め込みべクトルも置換する．具体的には，語彙を辞書としてテキストをトークン分割しトークン列 $L$ を返す関数 Tokenize $(V$, text $)$ を定義し, 既存トークナイザー $T_{A}$ の語彙 $V_{A}$ を辞書として， $v_{i}^{B} \in V_{\mathrm{uniB}}$ をトークン分割し，トークン分割されたトークンを $S_{v_{i}^{B}}$ とする. $S_{v_{i}^{B}}$ の各トークンに対する既存モデルの埋め込みべクトル $\overrightarrow{S_{v_{i}^{B}}}$ を取得し，平均埋め込みベクトルを計算する。この平均埋め込みべクトルは $v_{i}^{B}$ の意味を表すべクトル $\overrightarrow{v_{i}^{B}}$ となる.

$
\overrightarrow{v_{i}^{B}}=\frac{1}{\left|S_{v_{i}^{B}}\right|} \sum \overrightarrow{S_{v_{i}^{B}}}
$

既存モデルの埋め込みベクトル集合 $\overrightarrow{V_{A}}$ におい $\tau, v_{i}^{B} \in V_{\mathrm{uniB}}$ の各トークンに対応する埋め込みベクトルは語彙 $v_{i}^{A}$ の意味を持つべクトル $\overrightarrow{v_{i}^{A}}$ である. そのため $\overrightarrow{V_{A}}$ のうち, $v_{i}^{A} \in V_{\text {uniA }}$ となる全ての $\overrightarrow{v_{i}^{A}}$ を, $\overrightarrow{v_{i}^{B}}$ に置換し，置換済み埋め込みべクトル集合 $\overrightarrow{V_{A^{\prime}}}$ とする.この $\overrightarrow{V_{A^{\prime}}}$ は語彙置換トークナイザー $T_{A^{\prime}}$ の語彙 $V_{A^{\prime}}$ の意味がより正確に表現されているべクトルであると考えられ，学習がより効率的になると考えられる。

## 4 検証実験

語彙置換のみを適用して継続事前学習した手法 (Replace) と埋め込み置換も行った手法 (Embedding-Replace) の有効性を検証する.

## 4.1 実験設定

実験で使用するベースとなる既存トークナイザーおよびモデルは Llama 2 7B Chat [3] とした.新規トークナイザーは日本語データ (Wikipedia・ CC-100）と英語データ（Wikipedia）を 7：10の割合でサンプリングしたデータから構築し，提案手法を用いて語彙置換トークナイザー $T_{A^{\prime}}$ を構築した. 比較手法として, 既存トークナイザー $T_{A}$ を使った手法 (Keep), 新規トークナイザー $T_{B}$ を使って継続事前学習した手法 (Scratch), 語彙拡張トークナイザー $T_{E}$ を使った手法 (Extend) を設定する. Extend は先行研究 [11] の手法に準拠した. $V_{A} \cup V_{B}$ で得られる語彙集合を $V_{E}$ とし

図 1 語彙置換継続事前学習の概略図

て, $\left|V_{E}\right|$ まで埋め込みべクトルの数を増加させた. トークナイザー $\mathrm{A}$ によって $V_{E}$ をトークナイズし，その埋め込みべクトルの平均を埋め込みべクトル $\overrightarrow{V_{E}}$ として設定した.

これらの設定でモデルを学習した．また，継続事前学習データは日本語データ (Wikipedia) を利用した。

## 4.2 トークナイザー評価

既存・新規・語彙置換・語彙拡張トークナイザーのそれぞれの日本語及び英語語彙数と 1 トークンあたりの平均文字数 (length per token) を検証した. 日本語の検証データは CC-100 データセット，英語は $\mathrm{mC4}$ データセットを使用した。結果を表 1 に示す. 既存と比較すると語彙置換や語彙拡張は日本語では約 2 倍となっており,語彙拡張が最も length per token の値が高かったが，語彙置換と比較して大きな差はなかった。 また，英語では語彙置換は英語語彙数が少なくなるため, length per token の值は低くなることが予想されるが，大きく低下していないことが確認された.これは [15] と同様の結果と同じことを示している。これによって語彙拡張でなくても，同水準に推論効率を向上できることが確認された。また，語彙と埋め込みべクトルの一致率を確認した。一致率が高いほど既存のモデルの埋め込みを直接活用できることを表す. 結果を表 1 に示す。一致率は $35.6 \%$ ，拡張は $60.82 \%$ であった。

$\square$ Scratch $\square$ Replace $\square$ Embedding-Replace $\square$ Extend $\square$ Keep

図 2 埋め込みベクトルの変化率の平均値

## 4.3 モデル評価

続いて，日本語および英語タスクによる精度評価，共通語彙の埋めこみ及び独自語彙の埋め込みの変化率 (学習前後のベクトルの L2 ノルムの平均)を比較する.

最初にモデル学習後の日本語タスクの精度比較を行う。表 2 に各タスクにおける精度を示す. 結果は Keep が一部のタスクを除き，最
表 1 トークナイザーの統計

 &  &  &  &  &  \\

表 2 日本語タスク, 英語タスクの精度評価結果 : タスク名 (ショット数, 評価指標)

 &  &  &  &  &  &  &  &  &  \\

も精度が良いことが確認された。また，同時に Embedding-Replace と Extend が同水準の精度であることが確認され，語彙置換継続事前学習の有効性が確認された。一方で Scratch は他の手法と比較してタスクの精度が大幅に落ちていることが確認された。これは埋め込みとトークナイザーの語彙が対応していないことが原因と考えられる。この結果により，語彙置換手法の有効性が確認された。また，Embedding-Replace と Replace を比較すると, Embedding-Replace の精度が良いことから，埋め込み置換手法の有効性も確認された。

次に英語タスクの精度比較を行う。本実験では日本語データのみで継続事前学習を行ったため，英語を忘却し，英語タスクの精度低下が想定される。また，語彙置換トークナイザーは英語語彙数を減少させているので，EmbeddingReplace や Replace で破滅的な忘却が発生する可能性がある．英語の各タスクを用いて Extend と比較した精度の低下を検証した. 検証の結果， Embedding-Replace は Extend と同等の水準の精度であることが確認された。このため，語彙数を減少したことによる大幅な精度の低下は見られないことが確認された。

続いて埋め込みべクトルの変化率の評価を行
う. 図 2 に結果を示す. Keep の埋め込み変化率に比べて，その他の手法は共通語彙，独自語彙共に変化率が高いことが確認された. Scratch では 266 件の共通語彙のほとんどが意味を持たないトークンであったため, 独自語彙と同程度の変化率となったと推察される. Replace や Embedding-Replace, Extend では概牧独自語彙の変化率が高く, 共通語彙の変化率が低いことが確認された. 一方で Embedding-Replace の独自語彙の変化率が他の手法と比較して非常に高いことが確認されている.

## 5 おわりに

本論文では語彙数を増加させず，語彙や埋め込みの置換を行って継続事前学習を行う手法を提案した. 検証実験の結果，語彙置換継続事前学習の有効性が確認され, 語彙拡張手法と同水準の性能であることが確認された。また，共通語彙および独自語彙間で埋め込みべクトルの変化率に一定の差があることが確認された。

今後の展望として, 語彙と埋め込みベクトルの一致率と精度の相関関係について調査を行うことが挙げられる.

本研究の成果を用いて，より大規模に継続学習を行い，日英モデルを構築した [16].

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[2] OpenAI, :, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, et al. Gpt-4 technical report, 2023.

[3] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and finetuned chat models, 2023.

[4] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models, 2020.

[5] Zheng Xin Yong, Hailey Schoelkopf, Niklas Muennighoff, Alham Fikri Aji, David Ifeoluwa Adelani, Khalid Almubarak, M Saiful Bari, Lintang Sutawika, Jungo Kasai, Ahmed Baruwa, , et al. BLOOM+1: Adding language support to BLOOM for zero-shot prompting. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11682-11703, Toronto, Canada, July 2023. Association for Computational Linguistics.

[6] Zihan Wang, Karthikeyan K, Stephen Mayhew, and Dan Roth. Extending multilingual BERT to lowresource languages. In Trevor Cohn, Yulan $\mathrm{He}$, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2649-2656, Online, November 2020. Association for Computational Linguistics.

[7] elyza. elyza/elyza-japanese-llama-2-7b $\cdot$ hugging face, 2023. https://huggingface.co/elyza/ ELYZA-japanese-Llama-2-7b.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Jonas Pfeiffer, Ivan Vulić, Iryna Gurevych, and Sebastian Ruder. UNKs everywhere: Adapting multilingual language models to new scripts. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10186-10203, Online and Punta Cana, Dominican Republic, November
2021. Association for Computational Linguistics.

[10] Arata Suganami and Hiroyuki Shinnou. Construction of Japanese BERT with fixed token embeddings. In Shirley Dita, Arlene Trillanes, and Rochelle Irene Lucas, editors, Proceedings of the 36th Pacific Asia Conference on Language, Information and Computation, pp. 356-361, Manila, Philippines, October 2022. Association for Computational Linguistics.

[11] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 460-470, Online, August 2021. Association for Computational Linguistics.

[12] Hirotaka Tanaka and Hiroyuki Shinnou. Vocabulary expansion of compound words for domain adaptation of bert. In Proceedings of the 36th Pacific Asia Conference on Language, Information and Computation, pp. 379-387, 2022.

[13] 照乃梶浦, 美唯佐藤, 菜生相馬, 舞衣高橋, 百々雅小原, 君郎倉光. 多言語事前学習済みモデル $\mathrm{mt} 5$ への python 言語モデルの追加学習. 情報処理学会論文誌プログラミング（PRO）, Vol. 16, No. 2, pp. 29-29, 062023.

[14] Wenlin Chen, David Grangier, and Michael Auli. Strategies for Training Large Vocabulary Neural Language Models. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1975-1985, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] 中島大, 野崎雄太, 佐藤諒, 麻場直喜, 川村晋太郎, (in press). BPE を用いたトークナイザーの性能に対する, 言語・語彙数・データセットの影響. 言語処理学会第 30 回年次大会発表論文, 2024.

[16] 麻場直喜, 野崎雄太, 中島大, 佐藤諒, 池田純一, 伊藤真也, 近藤宏, 小川武士, 坂井昭一朗, 川村晋太郎 press). 語彙置換継続事前学習による日英バイリンガルモデルの構築と評価. 言語処理学会第 30 回年次大会発表論文, 2024.


# NoisylCL: A Little Noise in Model Parameters Can Calibrate In-context Learning

趙羽風 ${ }^{1}$ 坂井吉弘 ${ }^{1}$ 井之上直也 ${ }^{1,2}$
${ }^{1}$ Japan Advanced Institute of Science and Technology, ${ }^{2}$ RIKEN
\{yfzhao, y.sakai, naoya-i\}@jaist.ac.jp
}

\begin{abstract}
In-Context Learning (ICL), where language models learn tasks in a generative form from few-shot demonstrations without parameter update, is emerging while scaling up the language models. Nevertheless, the performance of ICL is still unsatisfactory. Some previous studies suggested that it is due to under-calibration and they fine-tuned language models for better ICL performance with enormous datasets and computing costs. In this paper, we propose NoisyICL, simply perturbing the model parameters by random noises to strive for a calibration. Our experiments on 2 models and 7 downstream task datasets show that NoisyICL helps perform ICL better. Our further analysis indicates that NoisyICL can enable the model to provide more fair predictions, with less unfaithful confidence. So, NoisyICL can be considered as an effective calibration.
\end{abstract
## 1 Introduction

Scaling up language models is beneficial for many emergent abilities [1]. Among them, one of the most noticeable ones is In-Context Learning (ICL), in which language models can learn tasks in a generative form from few-shot input-label demonstrations in natural language without explicit parameter updates. Therefore, ICL has been a highly promising application of language models [2].

Nevertheless, the performance of ICL is still below the pre-training and fine-tuning models [3]. Therefore, there has been some effort in fine-tuning or calibrating language models towards ICL tasks $[4,5,6]$. These works focus on remedying the difference between the pre-training knowledge and the ICL task, and produce significant improvements in the ICL performance, while the computation cost is quite high to fine-tune these enormous language models on the additional data.
We believe that adding noise to model parameters, which is beneficial in the pre-training and fine-tuning paradigm $[7,8]$, can be a bridge from the pre-training to ICL. In this paper, we propose NoisyICL, simply add noise to language model parameters, and then perform ICL on the modified models.

Our experiments on 2 models and 7 datasets show that an appropriate perturbation can significantly improve the performance of the ICL with low computational complexity, as shown in Fig. 1. Moreover, to verify whether NoisyICL can calibrate language models, we conduct further analysis and point out that: 1. NoisyICL can neutralize bias among label tokens introduced by the pre-training and 2. NoisyICL can relent the over- and under-confidence in the prediction, which is considered harmful to the model predictions $[9,10,11]$.

## Our contribution can be summarized as:
- We propose NoisyICL, simply add noise into the language models and then perform ICL ( $\$ 2)$. Our experiment shows that NoisyICL can obtain a better ICL performance ( $\$ 3.3$ ).
- We show that adding noise can be an effective calibration for language models to reduce the pre-training bias and unfaithful confidence in ICL (§3.4).

## 2 NoisyICL

Here we introduce the basic form of ICL and our perturbation method named NoisyICL.

In-context Learning. Given a supervised dataset $\mathscr{D}=$ $\left.\{\left(x_{i}, y_{i}\right)\right.\}, i=1, \ldots, n$, where $x_{i}$ is an input, and $y_{i} \in U$ is the corresponding label in the label space $U$, for each query input $x_{q}$ to be predicted by the language model, we sample a demos sequence $\left.\{\left(x_{a_{j}}, y_{a_{j}}\right)\right.\}, j=$ $1,2, \ldots, k$, where the $k$ is the number of demos, and

Figure 1 While noise is being added to the model, the ratio of ICL accuracy on the models with NoisyICL to the models without NoisyICL on downstream tasks will reach peaks. This indicates that an appropriate noise perturbation can improve the accuracy of ICL.

construct a prompt input in natural language form $s=$ $f\left(x_{a_{1}}, y_{a_{1}}, x_{a_{2}}, y_{a_{2}}, \ldots, x_{a_{k}}, y_{a_{k}}, x_{q}\right)$ with a pattern $f$. Then, we input $s$ into the language model $P_{\theta}(\cdot)$ with parameters $\theta$ and get an output token distribution $P_{\theta}(s)$. We choose the label token $l$ with the maximum probability among the label space as the prediction $\hat{y_{q}}$, that is:

$
\hat{y_{q}}=\underset{l \in U}{\operatorname{argmax}} P_{\theta}(l \mid s)
$

Notice that we only construct prompts to drive the model to predict labels generatively, without any parameter updates. Such a paradigm is In-context Learning.

NoisyICL. For every parameter matrix $\theta_{i}$ in the language model used for ICL, in this paper, we simply do an interpolation between the parameter matrix and a noise matrix sampled from $N\left(0, \sigma^{2}\right)$ with intensity $\lambda$, that is:

$
\theta_{i}^{\prime}=(1-\lambda) \theta_{i}+\lambda N\left(0, \sigma^{2}\right)
$

the $\lambda$ and $\sigma$ are model and task-wise hyperparameters. Then we perform the aforementioned ICL on the modified model. We call this NoisyICL.

## 3 Experiments and Results

We conduct comprehensive experiments to investigate the effectiveness of NoisyICL. First, we search for the most suitable noise intensity for each task and model (\$3.2). Then, we confirm that NoisyICL can improve ICL performance (\$3.3). Moreover, we demonstrate that NoisyICL is a kind of model calibration, that is, it can effectively alleviate the model's bias and unfaithful confidence (\$3.4).

## 3.1 Experimental Settings

Here we introduce the datasets, models, and other details of our experiments.
Data. In the experiments, we use 7 downstream task datasets, whose details are shown in Appendix A. Unlike the common methods that only use the training sets for demos and testing sets for queries, we sample the demos and queries from all the labeled data. In detail, for each labeled data in the whole dataset, we treat it as the query and contrast a prompt with the demos sampled from the whole dataset (except the query).

Models. We use GPT-2 [12] and GPT-J [13]. The model checkpoints are loaded from huggingface ${ }^{1}$.

Hyperparameters. We fix the $\sigma$, the standard deviation of the normal distribution, to 0.02 , which is the same as the initialization of both models. In advance, we search the value of $\lambda$, the intensity of noise, as described in $\S 3.2$. Other details. We default to use 4 demos and a very simple template for each prompt as shown in Appendix B. We repeat each experiment 20 times.

## 3.2 The Intensity of Noise

First, we determine the most suitable noise intensity by a simple search method for each dataset and model. In detail, we use various intensities to test the performance and find the one with the best result as the candidate. Some examples are shown in Fig. 1, and the full results are in Appendix C. The selected intensities are shown in Table 1. These optimal intensities are concentrated in $(0,0.2]$.

## 3.3 NoisyICL Can Improve Performance

Then, we test the accuracy and Macro-F1 on the 7 downstream task datasets with and without appropriate-noised NoisyICL. Our experimental results are shown in Table 1.

The results show that NoisyICL has an improvement up

1) huggingface.co/gpt2, and huggingface.co/EleutherAI/ gpt-j-6b

Table 1 Accuracy and Macro-F1 results $\left(\%\right.$, mean $\left._{s t}, k=4\right)$. A better result is in bold. $\lambda$ : The intensity of noise, Acc.: Accuracy, MF1: Macro-F1; w/o: Not using NoisyICL, w/: Using NoisyICL; Datasets: PS: poem_sentiment, HS: hate_speech18, SE'14R: SemEval 2014-Task 4 Restaurants, SE'14L: SemEval 2014-Task 4 Laptops, RTE: GLUE-RTE, MRPC: GLUE-MRPC, Ethos: ethos.

to $74 \%$ and average around $11 \%$ to the ICL performance. We infer that the pre-training datasets and objectives are not consistent with the ICL tasks [14], that is, the language models are overfitted on pre-training. And NoisyICL, which adds noise into models, can bridge such a gap.

However, such gains vary depending on the dataset. In some combinations of datasets and models, competitive results cannot be obtained. We speculate that it is due to the difficulty of these datasets, where the models cannot predict these tasks intrinsically, while NoisyICL doesn't provide new knowledge for these tasks.

## 3.4 NoisyICL Is A Calibration

Some previous studies have proposed calibration on large language models for better ICL performance $[4,5$, $6,15]$. These calibrations are mainly aimed at a $\mathbf{1}$. fairer output distribution [5, 15], that is, when no valid query is given, the labels should be assigned with the same likelihood. However, in original language models, the output is unfair due to the pre-training bias. Moreover, some researchers pointed out that 2 . unfaithful predictions are harmful [10,11], and making the model output with more faithful confidence is also a form of calibration [10, 16]. Some scholars also try some demonstration selection methods to obtain outputs with more faithful confidence [9].

In this section, we find that the NoisyICL can also solve both calibrations above. In detail, the model with NoisyICL can not only produce outputs with less bias but also

Figure 2 The correlation between the normalized entropy $H_{n}$ and the noise intensity $\lambda$ with no query. When the noise gets stronger, the $H_{n}$ becomes higher, which indicates a fairer output.

with suitable confidence. Therefore, we consider NoisyICL as a kind of calibration with a relatively small time and space cost.

1. NoisyICL alleviates pre-trained bias. We calculate the normalized entropy $H_{n}$ of the model output distribution when no valid query is given. In detail, for language model $P_{\theta}$ with a vocabulary size $|V|$, we construct a semantic-less input $x_{0}$ (such as a space, or "Label: "), and calculate the $H_{n}$ as:

$
H_{n}=\frac{\sum_{i=1}^{|V|} P_{\theta}\left(i \mid x_{0}\right) \ln P_{\theta}\left(i \mid x_{0}\right)}{\ln |V|}
$

The $H_{n}$ is higher on a fairer output and $H_{n}=1$ on a random output.

We test $H_{n}$ for both models with 2 different $x_{0}$ and various noise intensities. The results are shown in Fig. 2. While the noise is getting stronger, the normalized entropy is getting larger, which means the model is giving a fairer

Table 2 The $E C E_{1}$ results $\left(\downarrow, \%\right.$, mean $\left._{s t d}, k=4\right)$.

output.

2. NoisyICL promotes faithful confidence. The Expected Calibration Error $\left(E C E_{p}\right)$ [17] is a widely-used indicator for faithfulness of model confidence:

$
E C E_{p}=\mathbf{E}\left(\left|\max (\hat{z})-\mathbf{E}\left(1_{y=\operatorname{argmax}}^{i} \hat{z}_{i}\right)\right|^{p}\right)^{\frac{1}{p}}
$

where the $\hat{z}$ is the predicted probability vector by a classification model, and the final prediction $\left(\underset{i}{\operatorname{argmax}} \hat{z_{i}}\right.$ ) can be obtained with a confidence $(\max \hat{z})$, and the true label is $y$.

Let the $p=1$, we use the $E C E_{1}$ to investigate the overand under-confidence of the ICL output. A lower $E C E_{1}$ means more faithful confidence, and better calibration, that is, the confidence becomes a prediction of accuracy [18]. We test both models with and without the appropriatenoised NoisyICL for $E C E_{1}$ on the 7 datasets, the results are shown in Table 2.

In most situations, the $E C E_{1}$ is lower with NoisyICL than the unperturbed one, meaning the confidence is more faithful with NoisyICL. This suggests that NoisyICL can make the model output with more faithful confidence, that is, less over-confidence in wrong predictions, and less under-confidence in correct predictions.

Such results suggest that NoisyICL can be considered as a kind of calibration.

## 3.5 NoisyICL Furtherance Correct ICL

Moreover, we find that in some cases, unperturbed ICL can't benefit correctly from scaling the number of demos, while, the NoisyICL can help the model correct this issue, as shown in Fig. 3. These unperturbed models exhibit an overfitting-like phenomenon and also low accuracies, while NoisyICL can relieve it.

Figure 3 The impact of demos quantity on accuracy. NoisyICL can make the model learn from the demos correctly.

We speculate the reason is the mismatch between the pretraining knowledge and ICL inputs. This leads to a decrease in the model's in-context task learning [19] ability, while NoisyICL reduces such a gap between pre-training data and ICL style data, which makes models extract information from ICL inputs better.

## 4 Conclusion

In this paper, we propose NoisyICL, simply adds random noise to the parameters of language models to build a bridge between the pre-training knowledge and the ICL. We show that NoisyICL can not only improve the ICL performance but also calibrate the model for fairer outputs and more faithful confidence.

Limitations. Unlike the fine-tuning on additional ICLstyle datasets $[4,5,6]$, NoisyICL does not provide new knowledge for the model, so the calibrated model can not discover tasks that are not potentially included in the pretraining data [20]. Meanwhile, a simple search for the noise intensity is not efficient and satisfactory.

Future Works. Besides fixing the limits, future works can focus on where and how the noise should be introduced. In Transformer-based models, different layers have different abilities [21,22]. So, treating these layers differently may be an effective improvement of NoisyICL. Noise sampling methods also should be discussed.

Moreover, adding noise to model parameters can be a rollback of pre-training [23], so, the search for $\lambda$ is the search for the best pre-training checkpoints. With these checkpoints, we can determine [24, 25] which data is disadvantageous to ICL, to better reveal the essence of ICL.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 19K20332. The authors would like to thank Mr. Daichi Haraguchi at JAIST and MSc. Tongyuan Wei at the University of Cambridge, for their constructive criticism.

## References

[1] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint arXiv:2206.07682, 2022.

[2] Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Zhiyong Wu, Baobao Chang, Xu Sun, Jingjing Xu, and Zhifang Sui. A survey for incontext learning. arXiv preprint arXiv:2301.00234, 2022.

[3] Marius Mosbach, Tiago Pimentel, Shauli Ravfogel, Dietrich Klakow, and Yanai Elazar. Few-shot fine-tuning vs. in-context learning: A fair comparison and evaluation. arXiv preprint arXiv:2305.16938, 2023.

[4] Sewon Min, Mike Lewis, Luke Zettlemoyer, and Hannaneh Hajishirzi. Metaicl: Learning to learn in context. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2791-2809, 2022.

[5] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In International Conference on Machine Learning, pp. 12697-12706. PMLR, 2021.

[6] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In International Conference on Learning Representations, 2021.

[7] Chuhan Wu, Fangzhao Wu, Tao Qi, and Yongfeng Huang. Noisytune: A little noise can help you finetune pretrained language models better. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 680-685, 2022.

[8] Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q Weinberger, and Yoav Artzi. Revisiting few-sample bert fine-tuning. In International Conference on Learning Representations, 2020.

[9] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 80868098, 2022.

[10] Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q Weinberger. On calibration of modern neural networks. In International conference on machine learning, pp. 1321-1330. PMLR, 2017.

[11] Julia Grabinski, Paul Gavrikov, Janis Keuper, and Margret Keuper. Robust models are less over-confident. Advances in Neural Information Processing Systems, Vol. 35, pp. 39059-39075, 2022.

[12] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[13] Ben Wang and Aran Komatsuzaki. GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https://gi thub.com/ kingoflolz/mesh-transformer-jax, May 2021.

[14] Seongjin Shin, Sang-Woo Lee, Hwijeen Ahn, Sungdong Kim, HyoungSeok Kim, Boseop Kim, Kyunghyun Cho, Gichang Lee, Woomyoung Park, Jung-Woo Ha, et al. On the effect of pretraining corpora on in-context learning by a large-scale language model.
arXiv preprint arXiv:2204.13509, 2022.

[15] Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu $\mathrm{Ma}$, et al. Symbol tuning improves in-context learning in language models. arXiv preprint arXiv:2305.08298, 2023.

[16] Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, and Christopher D Manning. Just ask for calibration: Strategies for eliciting calibrated confidence scores from language models fine-tuned with human feedback. arXiv preprint arXiv:2305.14975, 2023.

[17] Mahdi Pakdaman Naeini, Gregory Cooper, and Milos Hauskrecht. Obtaining well calibrated probabilities using bayesian binning. In Proceedings of the AAAI conference on artificial intelligence, Vol. 29, 2015.

[18] Charles Corbière, Nicolas Thome, Avner Bar-Hen, Matthieu Cord, and Patrick Pérez. Addressing failure prediction by learning model confidence. Advances in Neural Information Processing Systems, Vol. 32, , 2019.

[19] Jane Pan, Tianyu Gao, Howard Chen, and Danqi Chen. What in-context learning" learns" in-context: Disentangling task recognition and task learning. arXiv preprint arXiv:2305.09731, 2023.

[20] Yuxian Gu, Li Dong, Furu Wei, and Minlie Huang. Pre-training to learn in context. arXiv preprint arXiv:2305.09137, 2023.

[21] Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, and Xu Sun. Label words are anchors: An information flow perspective for understanding in-context learning. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 9840-9855, Singapore, December 2023. Association for Computational Linguistics.

[22] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does bert learn about the structure of language? In ACL 2019-57th Annual Meeting of the Association for Computational Linguistics, 2019.

[23] Gabriel Ilharco, Marco Tulio Ribeiro, Mitchell Wortsman, Ludwig Schmidt, Hannaneh Hajishirzi, and Ali Farhadi. Editing models with task arithmetic. In The Eleventh International Conference on Learning Representations, 2022.

[24] Xiaochuang Han, Daniel Simig, Todor Mihaylov, Yulia Tsvetkov, Asli Celikyilmaz, and Tianlu Wang. Understanding in-context learning via supportive pretraining data. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 12660-12673, 2023.

[25] Xiaochuang Han and Yulia Tsvetkov. Orca: Interpreting prompted language models via locating supporting data evidence in the ocean of pretraining data. arXiv preprint arXiv:2205.12600, 2022.

[26] Emily Sheng and David Uthus. Investigating societal biases in a poetry composition system, 2020.

[27] Ona de Gibert, Naiara Perez, Aitor García-Pablos, and Montse Cuadros. Hate Speech Dataset from a White Supremacy Forum. In Proceedings of the 2nd Workshop on Abusive Language Online (ALW2), pp. 11-20, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[28] Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos, and Grigorios Tsoumakas. Ethos: an online hate speech detection dataset, 2020.

[29] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval2014 task 4: Aspect based sentiment analysis. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp. 2735, Dublin, Ireland, August 2014. Association for Computational Linguistics.

[30] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2018.

## A Datasets

The datasets used in this paper are shown in the Table 3

Table 3 Datasets used in this paper.

*To construct inputs of appropriate length, we remove data points with lengths exceeding 500 from the Ethos, and the number of the remaining data is 980 .

## B Prompt Patterns

In this paper, we use a minimum prompt template. For each task, we design various templates as shown below.

For single-sentence classification datasets $(x, y)$, we use:

Input: <x>, Label: <y> \n

..

Input: $\langle x\rangle$, Label:

For aspect-based sentiment classification datasets $((x, a), y)$, we use:

Input: <x>, Aspect: <a>, Label: <y> \n

Input: <x>, Aspect: <a>, Label:

For double-sentence classification datasets $\left(\left(x_{1}, x_{2}\right), y\right)$. we use:

Input: <x1>, Text 2: <x2>, Label: <y> \n

Input: <x1>, Text 2: <x2>, Label:

## C Full Results: $\lambda$ - Accuracy

The rest of the results in 3.2 and Fig. 1 are shown in Fig. 4.

GPT-J, SemEval'14-Laptops

GPT-J, GLUE-RTE

Figure 4 The rest of the results in 3.2 and Fig. 1.
 .