# 部分空間法に着想を得た Transformer のアテンションヘッドにおける特徵抽出

前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1,3 大関洋平 4
1 北陸先端科学技術大学院大学 2 東京電機大学 3 ロンドン大学シティ校 4 東京大学
\{akihiro.maeda, shhidaka\}@jaist.ac.jp
tak.torii@mail.dendai.ac.jp, oseki@g.ecc.u-tokyo.ac.jp

## 概要

Transformerをベースとした言語モデルは，幅広い自然言語処理タスクにおいて高い性能を示している. 本研究は，文における単語分散表現の合成メカニズムを解明するため，Transformer のアテンションヘッドに注目し，その内部計算を部分空間への射影と捉え，ノルムの変化率により各へッドで捕捉される言語的な特徴を同定する新たな手法を提案する。事前学習済み BERT を用いた実証実験では，各アテンションヘッドが異なる特徴を抽出している可能性が示唆される.

## 1 はじめに

Transformer [1]をべースとした大規模言語モデル (LLM) が人間並の意味理解や意味生成を実現するなど高い性能を示している．LLM は単語ベクトルを入力とした演算を内部で行い質問応答などのタスクを実行するが，モデルが複雑であることから，その内部計算の解釈は困難である. Transformer ベースの言語モデルに関して，その内部解明を試みる研究は BERTology [2] と呼称されるほど盛んであり，分類器を用いて符号化されている言語的情報を調べるなど多くの研究手法が提案されている [3]. 特に，アテンションと呼ばれる計算過程（自己注意機構）の分析から，Transformer が文の句構造など統語的関係を捕捉していると考えられる [4].

本研究では，Transformer ベースの言語モデルにおける単語分散表現の合成メカニズムを明らかにすることを目的として，アテンション内部における計算過程の解釈に取り組む. アテンションヘッドと呼ばれるサブユニットでは，入力ベクトルを低次元べクトルへ変換した上で，べクトル間の演算が行われる.この線型写像は特徴抽出を行う部分空間への射影と見做すことができる．部分空間法と呼ばれるパターン認識の手法 [5] においてノルムを最大化する部分空間を用いて特徴べクトルのクラス分類を行うことに着想を得て，射影によるノルムの変化率に着目した新たな指標を定義する。その上で，この指標を用いてへッドに対応する部分空間が抽出している言語的特徴を同定する手法を提案する．Transformer ベースの言語モデルの一つである BERT[6] の学習済みモデルを用いた実験において，各アテンションヘッドが異なる言語的特徵を抽出している可能性があることを示す.

## 2 分析のためのアプローチ

## 2.1 Transformer の概要

Transformer [1] は，自己注意機構を特徴とする深層学習モデルである. 各レイヤーは，アテンションとフィードフォワードと呼ばれる二つのサブレイヤーから構成される. 入力文の各単語に対応する単語埋め込みとトークンの位置を表す位置ベクトルの和を状態ベクトルとして，レイヤーでの演算処理が行われる。

アテンションは，文中のトークン間の関連性を，対応するべクトル間の内積により評価した上で，その関連単語のベクトルを元単語の状態ベクトルに重み付け加算する。そのウェイトは，動詞-目的語の依存関係など文の統語構造を反映していることが知られており [4,7]，アテンションは文における意味合成機能を担っていると考えられる。

一方，フィードフォワードは，事前学習された内部パラメータに基づいて算出されたべクトルを加算し，状態ベクトルを更新する。内部パラメータには学習時に獲得された世界知識や言語知識が記憶されており [8], 主題の肥沃化 (subject enrichment) が行わ

れていると考えられる [9].

状態ベクトルが各レイヤーにおいて算出されたベクトルにより加算・更新されていくプロセスを residual stream と捉え [10], 加算されるべクトルを言語的に解釈する分析手法が提案されている [11].

## 2.2 アテンションにおける計算過程

入力文のトークン数1) $n$ ，各トークンに対応する状態べクトルを $x \in R^{d}$ とする. この時，各レイヤーに入力処理されるのは，状態べクトル（行ベクトル）を垂直にスタックした行列 $X \in R^{n \times d}$ となる. $l \in\{1, \ldots, L\}$ 番目のレイヤーに入力される状態べクトルを集めた行列を $X_{l}$ とする。

各レイヤーの $h \in\{1, \ldots, H\}$ 番目のアテンションヘッドでは, 状態ベクトルを query, key, value の 3 つの $d^{\prime}$ 次元べクトルへ線型写像する（式 1).

$
Q_{l}^{h}=X_{l} W_{q_{l}^{h}}, \quad K_{l}^{h}=X_{l} W_{k_{l}^{h}}, \quad V_{l}^{h}=X_{l} W_{v_{l}^{h}}
$

$Q_{l}^{h}, K_{l}^{h}, V_{l}^{h} \in \mathbb{R}^{n \times d^{\prime}}$ は文中のトークンに対応する 3 つのベクトルをスタックした行列であり，それらを得る線型写像を表現する行列 $W_{q_{l}^{h}}, W_{k_{l}^{h}}, W_{v_{l}^{h}} \in \mathbb{R}^{d \times d^{\prime}}$ はモデル訓練時に学習される. $d^{\prime}=\frac{d}{H}$ (ただし， $H$ はへッド数）である. 次に, query と key の内積を計算し，それぞれのトークンが文中の他の単語に対して向けるべきアテンションのウェイトを表す行列 $A_{l}^{h}$ が式 (2)により与えられる.

$
A_{l}^{h}=\operatorname{softmax}\left(\frac{Q_{l}^{h} K_{k}^{h T}}{\sqrt{d^{\prime}}}\right)
$

最後に, valueベクトルの重み付き総和を $V_{l}^{h} A_{l}^{h}$ により求め, これを行列 $W_{o_{l}^{h}} \in \mathbb{R}^{d^{\prime} \times d}$ により $d$ 次元へ戻すことでアテンションの出力 $Y_{l}^{h}$ を得る（式 3).

$
Y_{l}^{h}=V_{l}^{h} A_{l}^{h} W_{o_{l}^{h}}
$

複数の並行的なアテンションヘッドは, 文中間で一つのトークンが複数の統語的関係に関与する状況を捕捉しているとされる [12].

## 2.3 部分空間法からの着想

パターン認識における部分空間法は，特徵べクトルが高次元空間の中の非常に次元の小さい部分空間に偏在することに着目して，部分空間を利用してクラス分類を行う手法である [5].

BERT の base モデルの場合 ${ }^{2}$, query, key, value を求める行列計算は，768 次元のベクトル空間から

1）文頭やパディングを表すタグを含む.

2) ハイパーパラメータ $L=12, H=12, d=768$
64 次元への線型写像であり, 部分空間への射影と考えることができる. 図 1 は，3つのベクトル

図1 各ヘッドの部分空間への射影

$\vec{a}, \vec{b}, \vec{c} \in \mathbb{R}^{768}$ が行列 $P \in \mathbb{R}^{64 \times 768}$ により写像され，部分空間において 3 つのベクトル $P \vec{a}, P \vec{b}, P \vec{c} \in \mathbb{R}^{64}$ が得られる様を示す. ベクトル $\vec{a}, \vec{b}$ は，射影後の部分空間においても十分なノルムを持つので，共通の特徵を有していると見られる一方，そうでない $\vec{c} のノ$ ルムは減退する。部分空間法では，各クラスごとにそのクラスを表現する低次元の部分空間を用意し，未知サンプルを射影した際に最大ノルムを示す部分空間に対応するクラスへ分類する.

これを逆に考えると，行列 $W_{q_{l}^{h}}, W_{k_{l}^{h}}, W_{v_{l}^{h}}$ による線型写像は，それぞれ異なる特徴を抽出する部分空間のクラスに対応していると考えられる．従って， ノルムの伸縮を調べることにより，それぞれのへッドが抽出している特徵を同定できると考えられる.

## 3 提案手法

## 3.1 部分空間のノルム伸縮率の定義

ベクトル $x \in \mathbb{R}^{d}$ を行列 $P \in \mathbb{R}^{d^{\prime} \times d}$ により $d^{\prime}$ 次元ベクトル $P x$ へ射影するとき，射影前後でそのノルムを比較するための指標として，ノルムの伸縮率を式 (4) により定義する。

$
\psi:=\frac{\|P x\|}{\sqrt{d^{\prime}}} / \frac{\|x\|}{\sqrt{d}}
$

定義域と値域の次元数の違いを反映して，ノルムを次元数の二乗根で正規化している. 例えば, $(1,1,1)^{T} \mapsto(1,1)^{T}$ の場合, 正規化後のノルムは $\sqrt{3} / \sqrt{3}=1$ と $\sqrt{2} / \sqrt{2}=1$ となり,ノルム伸縮率 $\psi=1.0$ となる. 正規分布に従う値を持つ高次元べクトルの場合，次元数 $d$ が大きくなるとノルムは $\sqrt{d}$ に近づく（球面集中現象）ので，次元数の二乗根によりノルムは正規化される。 $\psi$ が大きいべクトルほど当該部分空間が抽出する特徴を有し， $\psi$ が小さいベクトルほど特徴を有しないと解される.
$\psi$ の二乗は正規化したレイリー商である.

$
\frac{\|P x\|^{2}}{\|x\|^{2}}=\frac{(P x)^{T} P x}{x^{T} x}=\frac{x^{T} M x}{x^{T} x}=: R(M, x)
$

但し, $M=P^{T} P$ はエルミート（対称）行列である. レイリー商 $R(M, x)$ は，その最大（小）值が行列 $M$ の最大 (小) 固有值に等しいという性質を持つ [13].廿はレイリー商の定数 $\left(\frac{d}{d^{\prime}}\right)$ 倍の二乗根であるので， ノルム伸縮率は行列 $M$ の最大固有值に対応する固有ベクトルに沿うような分散表現を持つ単語を抽出していると言える.

アテンションの各へッドでは, query, key, value それぞれの部分空間への射影が行われているため, $P=W_{q_{l}^{h}}, W_{k_{l}^{h}}, W_{v_{l}^{h}}$ として, それぞれごとにノルム伸縮率 $\psi_{q}, \psi_{k}, \psi_{v}$ を計算する. [14] は，アテンションの出力ベクトルに対して, query と key の内積から得られるウェイトだけではなく, valueのノルムの大きさもインパクトをもたらす因子であることを指摘している. すなわち，一見ウェイトが大きな単語間の組み合わせであっても, valueのノルムが小さいためアテンションの出力全体に影響を与えないケースがある.これを踏まえて, 本研究では query, key, value の 3 つの部分空間における統合的な特徴抽出を評価するため, 3 つのノルム伸縮率の積 $\psi_{q k v}:=\psi_{q} \cdot \psi_{k} \cdot \psi_{v}$ を用いる.なお, query のトークンと, key, value のトークンは一般に異なるので， $\psi_{q k v}$ の値に関わらず，組み合わせ次第で出力にインパクトを与える可能性がある．同一ベクトルに対するノルム伸縮率のみに着目した本指標は，ヘッドが抽出する特徴を近似的に同定するためのものであることに留意する。

## 3.2 単語埋め込みの類型化

前節に定義したノルム伸縮率はトークン単位で計算されるが，各へッドが傾向的にどのような言語的特徴を抽出しているかを調べるために，トークンをグループ分けした上で，ヘッドで高い伸縮率を示すグループを特定することを試みる． BERT の入力に用いられる隠れ状態べクトルには, WordPiece と呼ばれる, 機械翻訳のためにあらかじめ学習された静的な単語埋め込み [15] が用いられている. 従って, BERT が用いているトークン数 30,522 の語彙に対応した単語埋め込みに対して k-means 法 [16] によるクラスタリング（クラスタ数を 1000 と設定）を行う. クラスタリングの結果例を表 1 に示す.

クラスタリング結果に基づいて，それぞれのクラスタをさらに著者がマニュアルでタイプ分けを行表 1 単語埋め込みのクラスタ例（クラスタ数 1000）

なった (表 1 中の Type として 6 種類を表示). 結果例に示すように，クラスタは，類似するトークンのタイプや，Words タイプであれば品詞などの統語的範疇や意味的範疇の観点で類似度の高い単語を含んでいることが観察された. クラスタリング結果全体の概要を付録 A に示す.

ユークリッド距離の近いべクトルは写像における挙動も類似することから，クラスタのノルム伸縮率を見ることで，クラスタ共通の言語的特徴が部分空間でどのように抽出されているかを調べることが可能である.

モデルに入力する状態ベクトルは，単語埋め込みと位置ベクトルの和であるところ (2.1 節)，両べクトル間の直交性を踏まえ（付録 B), 本研究では単語埋め込み部分に対してノルム伸縮率を計算する.

## 4 実験

## 4.1 データ

事前学習済み言語モデルとして, Hugging face が提供する BERT_base_uncased[17]を用いる. 同モデルのハイパーパラメータは, $L=12, H=12, d=$ $768, d^{\prime}=64$ である. 全 144 個 $(L \times H)$ のヘッドごとに3つの射影に対応する行列の学習済みパラメータを抽出して用い，バイアス項は用いない. また前節 3.2 の通り，単語埋め込み $(30,522$ トークン) も同モデルのものを用いた.

## 4.2 クラスタ別のノルム伸縮率

各へッドごとにトークンのノルム伸縮率 $\psi_{q k v}$ を計算し，クラスタに含まれるトークンの平均値をクラスタのノルム伸縮率とした. 図 2 に示す 12 個のグラフは各レイヤーに対応し，それぞれの折れ線は

12 のヘッドに対応する. いずれのヘッドにおいて

図 2 ヘッド別ノルム伸縮率（横軸クラスタ降順）

も，グラフは上位少数のクラスタにおいて大きな値を示したのち，他のクラスタ領域では平坦である. アテンションウェイトの算出に用いられる Softmax 関数の性質より，各ヘッドは少数の選別されたクラスタを抽出していることが示唆される。

## 4.3 結果と分析

表 2 に，ヘッドにおけるノルム伸縮率上位のクラスタに属するトークンの例を示す。例えば，L3-H2

（レイヤー 3 におけるへッド番号 2 の略記. 以下同じ.）のヘッドにおいて大きなノルム伸縮率を示したクラスタは，西暦を表すと見られる Numbers タイプのクラスタ（ID357, ID347) および暦月を表す Words タイプのクラスタ (ID332, ID199)であり，「年月」という意味的特徵が抽出されていると考えられる. 同様に，L3-H11 は，句読点記号やタグのクラスタ (ID268, ID419) と冠詞・代名詞・接続詞などの機能語のクラスタ (ID675, 523, 176) を抽出しており,文構造を捕捉していると見られる。また，L4-H6 は活用形を含む動詞単語のクラスタを抽出している。

図 3 は，全へッドにおけるノルム伸縮率上位 3つのクラスタのトークンタイプを図示しており，レイヤー別の傾向が明らかである．低層（L0-L3）では，

図 $3 \psi_{q k v}$ 上位 3 タイプ（縦軸レイヤー；横軸へッド）

Symbols, Tags, Special タイプに属するクラスタが多く出現している.また，Wordsタイプでも機能語のクラスタが多く出現している。低層のヘッドでは文の構造把握を行なっていることが推察される. 中層 （L4-L7）では，Words と Subwords タイプのクラスタが多く見られるようになり，形態素から意味を把握する，あるいは単語を組み合わせ句の意味を合成するなどの処理が行われていることが示唆される．高層 (L8-11) では，Words と Numbers タイプのクラスタが中心であり，一つのへッドの中でも単一のタイプのみが観察されるようになる。なお，異なるタイプが混在するへッドでも実質的に共通の特徴をもつクラスタを抽出している場合がある。

## 5 考察と結論

本研究の提案するノルム伸縮率を用いた分析手法により, Transformer のアテンションヘッドが解釈可能な言語的特徴を共有するクラスタを抽出していることが明らかになった. Transformer が文の意味理解や意味合成を実現していることを踏まえると，各ヘッドはそのために必要な言語的特徴を抽出していることが示唆される.

今後の研究として，単語ベクトルの意味合成メカニズムを解明する観点からは，Words タイプのクラスタに対応するへッドにおいて，高いノルム伸縮率を示す単語の組み合わせにおいて実行されている状態ベクトルの更新をトークンレベルで分析することが考えられる。その際，位置ベクトルがアテンションにおいて相対位置を指示する [18]こと，また位置ベクトルと単語埋め込みは直交していること（付録 B）を踏まえた分析を行う必要がある.

## 謝辞

本研究は科研費基盤研究 B（一般）JP23H0369, JST さきがけ JPMJPR20C9, JPMJPR21C2, JST CREST JPMJCR23P4 の助成を受けて行われた。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[2] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in BERTology: What we know about how BERT works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2020.

[3] Yonatan Belinkov and James Glass. Analysis methods in neural language processing: A survey. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 49-72, 2019.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D. Manning. What does BERT look at? an analysis of BERT's attention. In Tal Linzen, Grzegorz Chrupa la, Yonatan Belinkov, and Dieuwke Hupkes, editors, Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] 石井健一郎, 上田修功, 前田英作, 村瀬洋. わかりやすいパターン認識. オーム社, 2001.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Mor Geva, Avi Caciularu, Kevin Wang, and Yoav Goldberg. Transformer feed-forward layers build predictions by promoting concepts in the vocabulary space. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 30-45, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.
[9] Mor Geva, Jasmijn Bastings, Katja Filippova, and Amir Globerson. Dissecting recall of factual associations in auto-regressive language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 12216-12235, Singapore, December 2023. Association for Computational Linguistics.

[10] Nelson Elhage, Neel Nanda, Catherine Olsson, Tom Henighan, Nicholas Joseph, Ben Mann, Amanda Askell, Yuntao Bai, Anna Chen, Tom Conerly, Nova DasSarma, Dawn Drain, Deep Ganguli, Zac Hatfield-Dodds, Danny Hernandez, Andy Jones, Jackson Kernion, Liane Lovitt, Kamal Ndousse, Dario Amodei, Tom Brown, Jack Clark, Jared Kaplan, Sam McCandlish, and Chris Olah. A mathematical framework for transformer circuits. Transformer Circuits Thread, 2021. https://transformercircuits.pub/2021/framework/index.html.

[11] Guy Dar, Mor Geva, Ankit Gupta, and Jonathan Berant. Analyzing transformers in embedding space. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16124-16170, Toronto, Canada, July 2023. Association for Computational Linguistics.

[12] Ashish Vaswani. Stanford CS224N: Transformers and selfattention, 2019. https://youtu.be/5vcj8kSwBCY? si=MWmbBwoBUekksSuR.

[13] Grégoire Allaire, Sidi Mahmoud Kaber, Karim Trabelsi, and Grégoire Allaire. Numerical linear algebra, Vol. 55. Springer, 2008.

[14] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attnetion is not only a weight: Analyzing transformers with vector norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 7057-7025, 2020.

[15] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.

[16] scikit learn. sklearn.cluster.kmeans, 2024. https://scikitlearn.org/stable/modules/generated /sklearn.cluster.KMeans.html.

[17] Hugging Face. BERT base model (uncased), 2024. https://huggingface.co/bert-base-uncased.

[18] 山本悠士, 松崎拓也. 自己注意機構における注意の集中が相対位置に依存する仕組み. 言語処理学会第 29 回年次大会発表論文集, pp. 633-638, 2023.

## A クラスタリングの概要

BERT において用いられている 30,522 個のトークンの埋め込みを k-means 法により 1000 個のクラスタにクラスタリングした結果の概要を表 3 に示す.

表 3 単語ベクトルのクラスタリング

 &  &  &  &  \\

Subwords & 248 & 5,561 & 22.4 & 1.61 & 1.06 \\
Symbols & 13 & 1,096 & 84.3 & 1.35 & 0.75 \\
Numbers & 43 & 973 & 22.6 & 1.45 & 0.60 \\
Special & 1 & 995 & 995.0 & 1.16 & 0.71 \\
Tags & 1 & 2 & 2.0 & 1.33 & 0.71 \\

表中の Type はトークンのタイプを表し, 著者がマニュアルで分類した. クラスタ間の類似性を調べるために，1000 のクラスタに対して再度クラスタリングを行った. 具体的には，各クラスタのセントロイド（ベクトル）に対して，（上位）クラスタ数を 7 として k-means 法を適用した. その結果，7つの上位クラスタのうち，2つの上位クラスタは，ほとんど Words に対応するクラスタを含んでおり，残りの 5 つの上位クラスタに含まれるクラスタは Words 以外のタイプにそれぞれ対応していた。

一方, Words タイプに属しているクラスタ 694 個のうち 65 個は， 100 語以上の単語を含んでいる. すなわち, Words タイプのトークンの一部に対応するベクトルが密な部分空間に存在している. より詳細な言語的特徴に基づく分析を行う場合は，これら密に存在するべクトルは下位クラスタに再分割することが望ましい. 下位クラスタへのクラスタリングにより，詳細な統語的・意味的なカテゴリを共有するクラスタへ細分類することが期待される。

## B 位置ベクトルとの直交性

BERT に入力されるトークン列の状態ベクトルには，それぞれのトークンに対応する単語埋め込み $X_{e m b} \in \mathbb{R}^{n \times d}$ とそのトークンの文中の位置番号に対応した位置べクトル $X_{p o s} \in \mathbb{R}^{n \times d}$ の和 $X:=X_{e m b}+X_{p o s}$ が用いられる. 位置べクトルは文長の個数だけ存在し, BERT の base モデルの場合は 512 個が事前学習により獲得されている.

単語埋め込みと位置ベクトル（いずれも 768 次元のベクトル）について主成分分析結果（図 4）より両者は分離された部分空間に住むことがわかる.

図 4 単語埋め込みと位置ベクトルの主成分分析

図 5 は，単語埋め込みと位置ベクトルの組み合わせ $30,522 \times 512$ 対のコサイン類似度の分布を示す. これは，単語埋め込みと位置べクトルが多くの場合直交することを示す. 例外的に文頭を表すタグ [CLS] に対応する単語埋め込みと, トークン位置 0 に対応する位置ベクトルのコサイン類似度は 0.99 であり，直交する空間と補空間の交線上にある.

図 5 単語埋め込みと位置ベクトルの直交性

位置ベクトルは単語間の相対位置を符号化しており [18], 図 6 に示すように一部のへッドは, skip-gram のように機能している.

図 6 位置ベクトルから計算されるへッド別アテンションウェイト (Layer0 の例)


# Dynamic Inference Thought in Large Language Models

鈴木 拓真 川本 樹 三山 航
目黒拓己 鈴木中穂美 高木友博
明治大学大学院
stakuma9912@gmail.com tatsuki.00.0306@gmail.com chinpanzi914@gmail.com
takumimeguro1321@gmail.com nsuzuki1900@gmail.com takagit@gmail.com

## 概要

本論文では、LLM が必要に応じて事前知識を参照しながら動的に推論を進める新しいフレームワー クを提案する。私たちのアプローチでは、LLMによる推論とその推論を改善するプロセス、そして現在の思考が十分かを LLM により判断して最終的な回答を推論する。高度な推論を複数の単純な推論に分割すること、多段推論を動的に行うことにより、推論精度の向上を達成する。ANLI データセットを用いて、このフレームワークの有効性を検証しており、先行研究と比較して、最大で $32 \%$ の精度向上を達成した。また、定性的評価も行い、本アプローチが従来手法よりも論理的に推論を行えていることを確認した。

## 1 はじめに

近年、ChatGPT などの大規模言語モデル (LLM) は、多くの自然言語処理や関連分野において素晴らしい性能を示しており、特に推論タスクにおいて、推論能力向上のための様々なプロンプトエンジニアリングに関する研究がなされている $[1,2,3]$ 。

依然として、LLM は人間には問題のない一般的な計画/推論タスクで受け入れ可能なパフォーマンスを持っておらず、それは現在最も優れた LLM である GPT-4 においても同様である $[4,5]$ 。

これは、推論を多段で行う機構を持っておらず、 このような推論プロセスを一回の呼び出しのみで実行することが求められる通常のアプローチでは、不十分なパフォーマンスを引き起こす。そして、その課題解決のために、様々な推論精度向上のための研究が行われている。

例えば、推論過程を例示するChain of Thought(CoT)[6] や、外部メモリを活用して、LLMが事前に推論した大量の問題と推論結果を利用する
Memory of Thought(MoT)[7] などがある。しかし、これらのアプローチによる推論のサポートは暗黙的であり、LLM に求められる処理の難しさは単一呼び出しのアプローチと同じため、問題は本質的に解決されていない。

そこで、私たちはこの課題に対処するために、新しいフレームワークを導入し、LLM の推論過程を明示的かつ多段にし、各推論を単純化することによる推論精度の向上を達成する。私たちのフレームワー クの考え方は主に 2 つの既存研究にインスパイアされている。複雑な 1 つのタスクを複数の単純なタスクに分割して解いていくことによって精度を向上する Least-to-Most Prompting(L2M)[8] と与えられたコンテキストから文を選択する選択モジュールと、選択された文から 1-hop 推論を行う推論モジュー ルを使用し、二つのモジュールを交互に繰り返すことで multi-hop 推論を行う Selection-Inference(SI)[9] である。

SI では、選択と推論の反復回数をハイパーパラメータとして事前に設定する必要があるが、適切な解を出すのに必要な推論ステップ数は事前に決まることはなく、ステップ数の過不足は推論精度低下の原因となる。そのためステップ数は推論過程で動的に決定する必要があり、これは SI の本質的な欠点であるといえる。

私たちは、SIにおける反復のような思考の改善をいつ止めるべきかについてを、LLM に判断させ、思考の改善に関しても、必要に応じて LLM が持つ事前知識を利用し、補完することにより上記の課題に対処した。

これにより、例えば、「Xはイギリスで生まれた」 という仮説に対して、コンテキスト中に「Xはロンドンで生まれた」というような記述しかない場合においても、「X はロンドンで生まれた」という事実と、「ロンドンはイギリスにある」という事実を組

(3) 改善

図 1 提案フレームワークの概要

み合わせて「X はイギリスで生まれた」と推論することができる。

## 2 関連研究

Chain of Thoughts（CoT）[6] は、モデルが問題を解決する際に、中間ステップや推論の過程を明示的に生成し、最終的な答えに至るまでの思考の流れを卜レース可能にするアプローチである。これにより、精度向上とモデルの判断基準や推論プロセスの透明化を達成している。一方で、 100 億パラメータ以上のモデルサイズやメモリ機能が要求されており、本質的な解決には至っていない。

Selection Inference（SI）[9] は、LLM を複数回呼び出すシンボリックアプローチである。しかし、反復回数は固定されており、事前に設定する必要があるため、タスクには必要な推論ホップの固定回数を持つ必要がある。これに対して、Faithful Reasoning[10] は SI がステップ数において反復をいつ停止するかを判断できない問題を解決し、推論が十分であるかどうかを判断する LLM「Halter」を用意した。Halter は自身で停止反復を決定することができるが、各夕スクごとに追加で Language Model をファインチュー ニングする必要があり、Halter では様々なタスクに対して動的に対応することができない。

Tree of Thoughts（ToT）[11] は、タスク解決までの中間プロセスをツリー構造で表現し、同時並行で複数の思考を追求するアプローチである。CoT のような線形推論経路では、各サブ問題には複数の適切なオプションがある場合に思考を制限してしまう問題に対処しており、各サブ問題に対して可能なオプションを考慮して、外部のツリーサーチメカニズム （例：BFS、DFS）によって決定木を探索できる。また、LLM の評価能力を効率性向上のためのノード刈り込みに使用している。
Graph of Thoughts (GoT) [12] は、LLMによって生成された情報を任意のグラフとしてモデル化するフレームワークである。このフレームワークにより、思考の改善、思考の分解、思考の集約により柔軟に組み合わせて答えに至ることが可能になり、より人間の思考プロセスに近づけている。GoT では、思考の単位をノードとしてグラフ内に表し、これらの思考間の依存関係や接続をエッジとして描く。この構造は、人間の思考プロセスを線形のチェーンだけでなく、人間が考えるより複雑で非線形な方法を反映するネットワークとしてもモデル化が可能である。

一方で、ToT、GoTでは、どのタイミングで推論を止めるかについては動的に判断することを行なっていない。推論の手順を事前に生成することで対応しているが、プランの生成には GPT-4 のような高度な推論スキルが必要であるため、CoT と同様に本質的な解決には至っていない。

## 3 モデル

このセクションでは、私たちが提案する、論理的で正確な推論のためのフレームワークについて記述する。提案手法の主な考え方に関しては図 1 に示しており、問題から結論までのプロセスは以下の 4 ステップに分けられる。

1. 中間推論ステップ

与えれた入力に対する推論（ここでは中間推論とよぶ）を行う。

2. 改善の必要性判断ステップ

問題に回答するために十分な結論が得られているかどうかを LLM が判断する。

3. 改善ステップ

(2) で改善が必要だと判断された場合に、問題に付属するコンテキストもしくは、事前知識を用いて中間結論を改善する。

図 2 実験上における実装モデル

## 4. 最終推論ステップ

(2) で改善が必要なしと判断された場合に、それまでの中間結論を最終的な結論とする。

## 4 Experiment

## 4.1 実験設定

提案するフレームワークの有効性を確認するために、ANLI データセット [13] を用いて実験を行った。各データでは、コンテキスト c と仮説 h、そして答えaが与えられており、コンテキスト cには仮説 hに関する記述がある場合 (Entailment)、関係する記述がない場合 (Neutral)、対立する記述がある場合 (Contradiction) の 3 つのパターンが存在し、モデルは各データがどのパターンに該当するかをに関して推論を行う。コンテキスト中には、回答をサポートする文章だけでなく回答には不必要な情報も含まれる。また、コンテキスト c と仮説 h の整合性判断のためには、コンテキスト中に記述された情報だけでは不十分で、一般的知識を用いて補完する必要がある場合も存在する。

私たちは、このデータセットから A1 の 1000 個のデータを使用し、評価実験を行った。モデルは、 LLaMA2-13b-chat[14]を利用している。各モジュー ルに関しては、 3 ショットプロンプトを使用しており、例題に関しては訓練データからサンプルしている。

## 4.2 実験における提案モデル

NLI タスクを用いた実験時には、精度向上のため細かい処理をいくつか追加しており、詳細を図 2 に示す。各モジュールに関しては以下の通りである。

1. Neutral 判定モジュール

仮説に関する文が文脈中に存在するかを推論。
Neutral の場合、多段推論の必要がないため、最初の段階で判断する。

2. 中間推論モジュール

文脈を参照し、仮説に対して推論を行う。

3. 判断モジュール

現在の中間推論が、仮説とコンテキストとの整合性を推論するために十分な情報を持っているかを判断する。

4. 改善モジュール

中間推論が不十分であると判断された場合に、 コンテキスト中もしくは、LLM が持つ事前知識を利用して中間推論の改善に必要な情報を生成する。

5. 整形モジュール

中間推論に、改善モジュールで生成した情報を組み込み、新たな中間推論として整形する。

6. 回答モジュール

中間推論を用いて、最終的な仮説とコンテキストの内容との整合性判断の推論を行う。

## 4.3 比較手法

・IO：モデルには仮説とコンテキストが入力され、モデルが回答のみを生成する。
- CoT：仮説とコンテキストがモデルに入力され、 モデルが推論過程と回答を生成する。

・SI：モデルはコンテキスト中から 2 つの文を選択し、選択した 2 つの文から 1 つの推論を行う。この選択と推論を 1 ステップとして扱われる。SI ではステップ数はハイパーパラメータであり、今回は 3 ステップとして設定している。比較するすべての手法において、3-shot で推論を行っている。

(a) IO

(b) CoT

(c) SI

(d) Ours

図 3 各アプローチによる出力の違い

## 4.4 定性評価

各方法の出力を検証することによって、私たちのフレームワークが動的に推論を進めることができるかを確認する。例題と、それに対する各手法の出力の違いは図 3 に示す。IO、CoT では、誤った回答をしており、その原因も不明、または曖昧な状態である。SIでは、回答は誤ったままであるが、推論過程は明確である。最初に BFS に資金提供しているのはアメリカであることをコンテキストから推論している。しかし、コンテキストに含まれない「アメリカがメキシコの上側にある国である」という一般常識的な知識を利用できず、推論が発展せず、結果として最後の推論時に誤った回答をしてしまっている。一方で、提案手法では、思考の改善段階で、仮説の表現に従って「アメリカがメキシコの上側にある国」という必要な情報を付加することにより推論を改善を行えることが確認された。

## 4.5 定量評価

生成された回答が真実の回答と一致するかにより精度を測定した。定量的評価の結果を表 1 に示す。私たちが提案したフレームワークが最良の精度を達成し、本フレームワークの有効性を示している。 CoT の精度は IO よりも精度が上がっており、これは LLaMA2-13b-chat の推論精度が高いことを示しており、簡単なタスクであれば十分な推論能力を持っ
ていることがわかる。

表 1 実験結果

## 5 結論と展望

本論文では、LLMが必要に応じてコンテキスト中もしくは、事前知識を参照しながら動的に推論を進める新たなフレームワークを提案した。このフレー ムワークでは、推論プロセスを複数のモジュールに分割することによる各推論の簡易化や、動的な思考の改善により LLM がより精度の高い推論を行うことをサポートしている。ANLI データセットを用いた精度による定量評価や、実際の推論過程を確認する定性評価を通して本フレームワークの有効性を示した。

一方で、提案するフレームワークでは、現状単一の推論過程のために、思考が大幅に制限されている。関連研究にある ToT[12]、GoT[13]のように複数の思考を展開することは、推論精度の観点から重要な要素である。そのため、将来的に本フレームワー クの複数思考への拡張を考えている。

## 参考文献

[1] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie, Holy Lovenia, Ziwei Ji, Tiezheng Yu, Willy Chung, Quyet V. Do, Yan Xu, and Pascale Fung. A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity, 2023.

[2] Vedant Gaur and Nikunj Saunshi. Reasoning in large language models through symbolic math word problems, 2023.

[3] Jie Huang and Kevin Chen-Chuan Chang. Towards reasoning in large language models: A survey, 2023.

[4] Karthik Valmeekam, Alberto Olmo, Sarath Sreedharan, and Subbarao Kambhampati. Large language models still can't plan (a benchmark for llms on planning and reasoning about change), 2023.

[5] Konstantine Arkoudas. Gpt-4 can't reason, 2023.

[6] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models, 2023.

[7] Xiaonan Li and Xipeng Qiu. Mot: Memory-of-thought enables chatgpt to self-improve, 2023.

[8] Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Claire Cui, Olivier Bousquet, Quoc Le, and Ed Chi. Least-tomost prompting enables complex reasoning in large language models, 2023.

[9] Antonia Creswell, Murray Shanahan, and Irina Higgins. Selection-inference: Exploiting large language models for interpretable logical reasoning, 2022.

[10] Antonia Creswell and Murray Shanahan. Faithful reasoning using large language models, 2022.

[11] Jieyi Long. Large language model guided tree-of-thought, 2023.

[12] Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Lukas Gianinazzi, Joanna Gajda, Tomasz Lehmann, Michal Podstawski, Hubert Niewiadomski, Piotr Nyczyk, and Torsten Hoefler. Graph of thoughts: Solving elaborate problems with large language models, 2023.

[13] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial nli: A new benchmark for natural language understanding, 2020.

[14] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan
Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模言語モデル事前学習の安定化

高瀬翔 1,2 清野舜 1,2 小林颯介 ${ }^{3}$ 鈴木潤 3
${ }^{1}$ LINE ヤフー株式会社 ${ }^{2}$ SB Intuitions 株式会社 3 東北大学
\{sho. takase, shun.kiyono\}@lycorp.co.jp
sosk@preferred.jp jun.suzuki@tohoku.ac.jp

## 概要

大規模言語モデルの事前学習では損失スパイクがしばしば起きることが知られている。損失スパイクはモデルの性能を低下させ，学習が失敗してしまうこともある.この損失スパイクの原因を探るため，本研究では中間層の勾配に着目する. 理論的な分析を通じて，大規模言語モデルの事前学習では LN 層が勾配爆発を引き起こすこと，および，その解決法を示す. 実験を通じて LN 層の勾配爆発を抑制することで損失スパイクも抑制されることを示す。

## 1 はじめに

GPT をはじめ大規模言語モデル（Large Language Model，以降本稿では LLM と記す）は様々なアプリケーションの根幹となっている $[1,2,3]$. LLM は大規模な訓練データで事前学習した大量のパラメー タを持つニューラル言語モデルであり，性能はパラメータ数と訓練データ量に対数比例することが知られている [4]. 事前学習は大量の計算資源を必要とするため学習が失敗するリスクを極力低減することが求められている.

Transformer [5] は多くの LLM に採用されているニューラルモデルであるが，その挙動の包括的な理論的理解には至っていない. 例えば，図 1 の Vanilla のように，Transformerを用いた LLM の事前学習では損失関数の値が跳放上がり（損失スパイク），また，しばしば発散してしまう現象が知られているが [2]，なぜ発生するのかは明らかにされていない.損失スパイクへの対処として様々な手法が提案されているが $[2,6,7]$, これらの理論的な正当化もなされていないため，既存研究の報告と異なるパラメー タ数のモデルなど，状況が異なる場合でも適用できるかには疑問が残る。

本研究では LLM の事前学習における損失スパイクの理論的な分析を行う. 特に初期化手法が学習に

図 117 億パラメータの，Transformer を用いた LLM の事前学習における訓練データでの損失関数の值の例. Vanilla は学習初期の段階で損失スパイクが何度か発生し, 13000 ステップで発散してしまっている. 開発データでの損失関数の値は付録 A の図 4 (a) に示す.

与える影響について議論する。Transformer を LLM に用いる場合，Self-attention 層と FFN 層の出力べクトルの標準偏差が小さくなる初期化を行うと学習が安定することが経験的にも理論的にも示されている $[8,6,9,10]$. 一方で，本研究では，このような初期化を行った場合には Layer Normalization (LN)層 [11] が勾配爆発を引き起こしてしまうことを示す.さらに，LN 層での勾配爆発を防ぐための要件を示し，モデルの簡易な修正でこの要件を達成できることを示す.

理論的な分析を検証するため LLM の事前学習の実験を行う．上記の，LN 層での勾配爆発を防ぐ要件を満たしている場合には損失スパイクが発生せず，満たしていない場合には，仮に既存研究で損失スパイクへの対処として提案された手法であっても損失スパイクが発生してしまうことを示す.

## 2 議論の準備

## 2.1 Pre-LN Transformer

本研究では，GPT $[12,13,1]$ などでも用いられている，Pre-LN Transformer [14] を対象に分析を行う. Pre-LN Transformer はオリジナルの Transformer より

も学習が安定することが示されている $[14,15,16]$. Transformer のある層への入力を $x \in \mathbb{R}^{d}$ としたとき， その層の出力 $y$ は以下の式で得られる：

$
\begin{aligned}
y & =x^{\prime}+\operatorname{FFN}\left(\operatorname{LN}\left(x^{\prime}\right)\right) \\
x^{\prime} & =x+\operatorname{Attention}(\operatorname{LN}(x))
\end{aligned}
$

以降では，式 (1)，(2)の第 1 項，すなわち， $x$ と $x^{\prime} を$ residual branch と呼ぶ. また, FFN と Attention の定義は以下のとおりである1):

$
\begin{aligned}
\operatorname{FFN}(x) & =\mathscr{F}\left(x W_{1}\right) W_{2}, \\
\operatorname{Attention}(x) & =\operatorname{concat}\left(\operatorname{head}_{1}(x), \ldots, \operatorname{head}_{h}(x)\right) W_{O}, \\
\operatorname{head}_{i}(x) & =\operatorname{softmax}\left(\frac{x W_{Q i}\left(X W_{K i}\right)^{\mathrm{T}}}{\sqrt{d_{\text {head }}}}\right) X W_{V i},
\end{aligned}
$

ここで F は活性化関数2)，concat は大力されたべクトルを結合する関数，softmax はソフトマックス関数, $W_{1} \in \mathbb{R}^{d \times d_{f f n}}, W_{2} \in \mathbb{R}^{d_{f f n} \times d}, W_{Q i} \in \mathbb{R}^{d \times d_{\text {head }}}$, $W_{K i} \in \mathbb{R}^{d \times d_{\text {head }}}, W_{V i} \in \mathbb{R}^{d \times d_{\text {head }}}, W_{O} \in \mathbb{R}^{d \times d}$ は重み行列である. また， $X$ は Self-attention 計算のために，系列分の層への入力ベクトルをまとめた行列である.

## 2.2 初期化手法

初期化手法はニューラルモデルの学習の挙動に多大な影響を及ぼすことが知られており，Transformer の初期化についても様々な手法が提案されている $[17,18,19,20]$. 本研究では, LLM の事前学習において広く使われている初期化手法 $[8,6,9]$ を用いる前提で議論を行う.この初期化手法では $\sigma=\sqrt{2 / 5 d}$ とし $[18], W_{2}$ と $W_{O}$ 以外の重み行列を $\mathcal{N}(0, \sigma)$ の正規分布を用いて初期化する. $W_{2}$ と $W_{O}$ については標準偏差がより小さな値となるよう， $\mathcal{N}(0, \sigma / \sqrt{2 N})$ を用いて初期化を行う。なお， $N$ は層の数である.

## 3 事前学習の不安定性の分析

我々は勾配爆発が学習を不安定にし，損失スパイクを引き起こしていると考えている. 本節では, $\mathrm{LN}$ 層が勾配爆発を引き起こすこと，また，勾配爆発を防ぐ手法を紹介する。

## 3.1 LN 層での勾配爆発

Xiong らは下記式のように，LNの勾配のノルムは入力ベクトルのノルムに依存することを証明し

1）簡略化するために本稿ではバイアス項を抜いている.

2）議論を単純にするために，本稿では恒等写像を仮定する.
た $[14]^{3)}:$

$
\left.\|\frac{\delta \operatorname{LN}(x)}{\delta x}\right.\|_{2}=\sigma\left(\frac{\sqrt{d}}{\|x\|_{2}}\right),
$

ここで， $x$ が正規分布に従うとすると,$x$ の平均は 0 であり $x$ のノルムは標準偏差に比例するため，標準偏差を考えればノルムが得られる。具体的には， $\operatorname{std}(x)$ を $x$ の標準偏差とすると, $\|x\|_{2}=\sqrt{d} \operatorname{std}(x)$ となる. よって上記の式は下記のように変形できる：

$
\left.\|\frac{\delta \mathrm{LN}(x)}{\delta x}\right.\|_{2}=\sigma\left(\frac{1}{\operatorname{std}(x)}\right)
$

すなわち, $\operatorname{std}(x) \ll 1$ の場合に $\mathrm{LN}$ 層は勾配のノルムを著しく増加させる．勾配がどこで増加しているかを推定するため，LNに入力されるべクトルの標準偏差を調べていく.

2.1 節で記したように, 各中間層の出力が $\mathrm{LN}$ 層への入力となる. すなわち，式 (1)，(2)のように， residual branch と $\operatorname{FFN}(x)$ もしくは Attention $(x)$ の和が次の層の $\mathrm{LN}$ 層への入力となる. ここで， $\operatorname{var}(x)$ をべクトル $x$ の分散とすると，正規分布に従うべクトル同士の和については下記が成り立つ：

$
\operatorname{var}(x+y)=\operatorname{var}(x)+\operatorname{var}(y) .
$

従って, $\operatorname{FFN}(x)$ および Attention $(x)$ で得られるべクトルもまた正規分布に従うと仮定した場合 ${ }^{4}$,各層の出力の分散については, residual branch, $\operatorname{FFN}(x), \operatorname{Attention}(x)$ の分散を考えれば良い. 第 1 層目の residual branch は埋め込み表現であり，埋め込み表現は $\mathcal{N}(0, \sigma)$ で初期化されている. 2.2 節より, $\sigma=\sqrt{2 / 5 d} \ll 1$ であるため, $\operatorname{std}(\mathrm{FFN}(x))$ と $\operatorname{std}(\operatorname{Attention}(x))$ が 1 よりも十分小さければ，式 (8) より各層の出力の標準偏差も 1 より十分小さく, LN 層によって勾配が爆発する。

学習初期の $\operatorname{var}(\mathrm{FFN}(x))$ は以下の式で得られる：

$
\operatorname{var}(\mathrm{FFN}(x))=d_{f f n} d \operatorname{var}(x) \operatorname{var}\left(W_{1}\right) \operatorname{var}\left(W_{2}\right)
$

なお，式 (1) にあるように FFN の計算前には LN が適用されるので $\operatorname{var}(x)=1$ である. 多くの研究で採用されている值と同様に $d_{f f n}=4 d$ とし, $\operatorname{var}\left(W_{1}\right)$ と $\operatorname{var}\left(W_{2}\right)$ については 2.2 節での値を代入すると，

$
\begin{aligned}
\operatorname{var}(\operatorname{FFN}(x)) & =4 d d \frac{2}{5 d} \frac{2}{5 d} \frac{1}{2 N} \\
& =\frac{8}{25 N}
\end{aligned}
$

3）Xiong らの証明は RMSNorm [21] にも適用できるため，本稿での議論は LNを RMSNorm に代えても成立する.

4）各パラメータを正規分布で初期化しているため，F゙恒等写像と置き， Attention $(x)$ のヘッドが 1 の場合にはこの仮定は成立する．実際のモデルにおいてどの程度現実的な仮定となっているかの検証は今後の課題である.

図 2 事前学習初期の Transformer の各層の勾配のノルム.一般にLLM においては $N>10$ であるため, $\operatorname{std}(\mathrm{FFN}(x))=\sqrt{8 / 25 N} \ll 1$ となる.

次に $\operatorname{var}(\operatorname{Attention}(x))$ について考える。まず $\operatorname{var}\left(\operatorname{head}_{i}(x)\right)$ について考える. $Z=\frac{x W_{Q i}\left(X W_{K i}\right)^{\mathrm{T}}}{\sqrt{d_{\text {head }}}}$ とすると $\operatorname{var}\left(\operatorname{softmax}\left(\frac{x W_{Q i}\left(X W_{K i}\right)^{\mathrm{T}}}{\sqrt{d_{\text {head }}}}\right) X\right)=\operatorname{var}(\operatorname{softmax}(Z) X)$ と書ける． $X$ は LN を適用されたべクトルをまとめたものであるため, $\operatorname{var}(\operatorname{softmax}(Z) X)$ は $\operatorname{softmax}(Z)$ が 1-hot ベクトルである場合に最大値である 1 となる5). 従って，式 (5) の分散は以下で得られる：

$
\begin{aligned}
\operatorname{var}\left(\operatorname{head}_{i}(x)\right) & =\operatorname{var}(\operatorname{softmax}(Z) X) d \operatorname{var}\left(W_{V i}\right) \\
& =\operatorname{var}(\operatorname{softmax}(Z) X) d \frac{2}{5 d} \\
& <\frac{2}{5}
\end{aligned}
$

従って, $\operatorname{var}(\operatorname{Attention}(x))$ は以下の式で得られる：

$
\begin{aligned}
\operatorname{var}(\operatorname{Attention}(x)) & =\operatorname{var}(\operatorname{head}(x)) d \operatorname{var}\left(W_{O}\right), \\
& =\operatorname{var}(\operatorname{head}(x)) d \frac{2}{5 d} \frac{1}{2 N}, \\
& =\operatorname{var}(\operatorname{head}(x)) \frac{1}{5 N} \\
& <\frac{2}{25 N}
\end{aligned}
$

$\operatorname{std}(\mathrm{FFN}(x))$ の際と同様に $N>10$ であるため, $\operatorname{std}(\operatorname{Attention}(x))<\sqrt{2 / 25 N} \ll 1$ となる. これらから，特に浅い層において ${ }^{6)}$, 式 (1)，(2) の出力べクトルの標準偏差は 1 より十分小さく, LN 層によって勾配が爆発する。

## 3.2 LN 層の勾配の安定化手法

$\mathrm{LN}$ 層での勾配爆発を防ぐためには $\mathrm{LN}$ 層へ入力するべクトルの標準偏差が 1 に近い値である必要が

5）なお, $\operatorname{softmax}(Z)$ が一様分布となる場合に最小值となり,入力系列が長いほど値が小さくなる. Li らは学習初期の入力系列は短い方が安定すると報告しているが [22], 本稿の議論から, $\operatorname{var}(\operatorname{softmax}(Z) X)$ の值が小さくなりすぎないように抑制する効果があるためと推測される.
6) $\mathrm{FFN}(x)$ と $\operatorname{Attention}(x)$ は層が深くなるごとに足されていくため，出力の標準偏差は層が深くなるほど大きくなっていく. 例えば，最終層では $N$ 回足されているため, 式 (10) と (12) の分母の $N$ を除去できる.
ある.これを達成するためには次のいずれかの方法がある：1. residual branch の標準偏差を大きくする， 2. $\operatorname{FFN}(x)$ と Attention(x) の標準偏差を大きくする. しかしながら，2 の場合には層が深くなるに連れての各層の出力のノルムの増加が著しく，これによって LN 層に起因しない勾配爆発が生じてしまう．悪影響を及ぼすことなくLN 層の勾配爆発を防ぐために，1を選択する。

第 1 層目の residual branch は埋め込み表現であるため，埋め込み表現の標準偏差を 1 に近づければ residual branch の標準偏差も 1 に近づく.これを達成する手法はいくつか考えられるが7)，本稿では2 種，Scaled Embed と Embed LN を紹介する． Scaled Embed は適切な值で埋め込み表現をスケーリングするものである．例えば，埋め込み表現に $\sqrt{d}$ を掛け合わせると ${ }^{8)}$ ，埋め込み表現の標準偏差は $\sqrt{2 / 5}$ となる. Embed LN はLNを埋め込み表現に適用するもので，既存研究でも損失スパイクを防いだと報告されている [6]. 学習初期での各層の勾配のノルムを図 2 に示す.この図から，何も対処をしていない場合（Vanilla）は層が浅くなるに連れて勾配が大きく増大しているが， Scaled Embed と Embed LN は勾配のノルムが一定であることが分かる. すなわち， Scaled Embed と Embed LN は LN 層による勾配爆発を防いでいることが分かる。

## 4 実験

本稿での理論分析について，実際に LLM の事前学習を通して検証する。すなわち，勾配爆発を抑える要件を満たす手法は損失スパイクが発生しないこと，要件を満たしていない手法は既存研究では損失スパイクの抑制に効果があるとされていてもスパイクを引き起こしてしまうことを示す.

## 4.1 データセット

事前学習の訓練・開発データとしては Common $\mathrm{Crawl}^{9)}$ から抽出した英語コーパスである，C4 [25] を用いる. 語彙は Byte Pair Encoding（BPE）[26] で構築されている，GPT-2 [13] の語彙を用いる. 事前学習したモデルの評価には WikiText [27] と

7）例えば埋め込み表現と出力層のパラメータ共有 $[23,24]$ を行わない場合，埋め込み表現の初期化における $\mathcal{N}(0, \sigma)$ について $\sigma=1$ とすれば良い. 本稿では初期化は 2.2 節で紹介したものを用いる前提で議論を進める.

8）この手続きはオリジナルの Transformer では行われていたが [5]，近年の実装では削除されている。

9) https://commoncrawl.org/

(a) 開発データでの損失関数の値.

(b) 勾配のノルム.

図 3 各手法の更新回数に対する開発データでの損失関数の值と勾配のノルム.

LAMBADA [28] データセットを用いてパープレキシティを計算する.

## 4.2 モデル設定

2 節で記したように，Pre-LN Transformer を用い， LLM の事前学習で広く使われている手法 $[8,6]$ で初期化する. モデルパラメータは 17 億とし, 層数 $N=24$, 各層の次元数 $d=2304$ とする. 入力の系列長は 2048 とし, 勾配ノルムを 1.0 でクリッピングする. 学習率 (lr) は $5.0 \times 10^{-4}$ とする ${ }^{10)}$ ．詳細な八イパーパラメータは付録 B に記す.

## 4.3 比較手法

3 節で言及した Vanilla，Embed LN，Scaled Embed に加え, Embed Detachを比較手法とする. Embed Detach では下記式のように，埋め込み表現の勾配を部分的に計算グラフから切り離すことで勾配を縮小する [29]：

Embed $=\gamma$ Embed $+(1-\gamma)$ Detach $($ Embed $)$, ここで $\gamma$ はイパーパラメータであり，Detach は入力を計算グラフから切り離す関数である. Zeng らは Embed Detach を LLM の事前学習に適用することで学習が安定したと報告しているが，この手法は本稿で説明した勾配爆発を防げてはいないため，本質的には損失スパイクを抑制できていないはずである. 本実験では Zeng らと同様に $\gamma=0.1$ とする.

## 4.4 結果

図 3 に更新回数に対する各手法の開発データでの損失関数の值と勾配のノルムを示す.この図から分かるように, Vanilla と Embed Detach では損失スパイ

表 1 各手法のパープレキシティ.

クおよび勾配のノルムのスパイクが起きているが, Embed LN と Scaled Embed では起こっていない. すなわち，3 節で示した勾配爆発を防ぐ要件を満たす手法では損失スパイクが起きておらず，勾配爆発の抑制が LLM の事前学習の安定させることが分かる.

表 1 に各手法の WikiText と LAMBADA でのパー プレキシティを示す.この表から, Embed LN と Scaled Embed は Vanilla や Embed Detach よりも高い性能を達成していることが分かる. この結果は，損失スパイクを防ぐことは学習したモデルの性能向上にも貢献すると示唆している。また, Embed LN と Scaled Embed は同等の性能を達成していることから，損失スパイクを抑制していれば，手法間には性能に有意な差はないと考えられる.

## 5 おわりに

本研究では LLM の事前学習においてしばしば発生する，損失スパイクの原因を分析した. 勾配に着目し，LLM の事前学習では LN 層が勾配を増大させていること， residual branch の標準偏差を 1 に近づけることで勾配の増加を抑制できることを理論的に示した. 実験を通して, residual branch の標準偏差を 1 に近づける手法，すなわち， Embed LN と Scaled Embed は実際に損失スパイクや勾配のノルムのスパイクを抑制し, LLM の事前学習を安定化させることを示した.

## 謝辞

本稿の執筆にあたり理研 AIP の Benjamin Heinzerling 氏に有用な助言をいただきました。感謝いたします.

## 参考文献

[1] T. Brown, B. Mann, N. Ryder, et al. Language models are fewshot learners. In Advances in Neural Information Processing Systems 33 (NeurIPS), pages 1877-1901, 2020.

[2] A. Chowdhery, S. Narang, J. Devlin, et al. PaLM: Scaling language modeling with pathways, 2022.

[3] H. Touvron, L. Martin, K. Stone, et al. Llama 2: Open foundation and fine-tuned chat models, 2023

[4] J. Kaplan, S. McCandlish, T. Henighan, et al. Scaling laws for neural language models, 2020.

[5] A. Vaswani, N. Shazeer, N. Parmar, et al. Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS), pages 5998-6008. 2017.

[6] T. Le Scao, T. Wang, D. Hesslow, et al. What language model to train if you have one million GPU hours? In Findings of the Association for Computational Linguistics: EMNLP 2022, pages 765-782, 2022.

[7] A. Zeng, X. Liu, Z. Du, et al. GLM-130b: An open bilingual pre-trained model. In The Eleventh International Conference on Learning Representations (ICLR), 2023.

[8] M. Shoeybi, M. Patwary, R. Puri, et al. Megatron-lm: Training multi-billion parameter language models using model parallelism, 2020.

[9] S. Biderman, H. Schoelkopf, Q. Anthony, et al. Pythia: A suite for analyzing large language models across training and scaling. In Proceedings of the 40th International Conference on Machine Learning (ICML), pages 2397-2430, 2023.

[10] S. Takase, S. Kiyono, S. Kobayashi, and J. Suzuki. Spike no more: Stabilizing the pre-training of large language models, 2023.

[11] J. L. Ba, J. R. Kiros, and G. E. Hinton. Layer normalization, 2016.

[12] A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever. Improving language understanding by generative pre-training. 2018.

[13] A. Radford, J. Wu, R. Child, et al. Language models are unsupervised multitask learners. 2019.

[14] R. Xiong, Y. Yang, D. He, et al. On layer normalization in the transformer architecture. In Proceedings of the 37th International Conference on Machine Learning (ICML), pages 10524-10533, 2020.

[15] L. Liu, X. Liu, J. Gao, W. Chen, and J. Han. Understanding the difficulty of training transformers. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 5747-5763, 2020.

[16] S. Takase, S. Kiyono, S. Kobayashi, and J. Suzuki. B2T connection: Serving stability and performance in deep transformers. In Findings of the Association for Computational Linguistics: ACL 2023, pages 3078-3095, 2023.

[17] H. Zhang, Y. N. Dauphin, and T. Ma. Fixup initialization: Residual learning without normalization. In Proceedings of the 7th International Conference on Learning Representations (ICLR), 2019.

[18] T. Q. Nguyen and J. Salazar. Transformers without tears: Improving the normalization of self-attention. In Proceedings of the 16th International Conference on Spoken Language Translation (IWSLT), 2019.

[19] B. Zhang, I. Titov, and R. Sennrich. Improving deep transformer with depth-scaled initialization and merged attention. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 898-909, 2019.

[20] H. Wang, S. Ma, L. Dong, et al. Deepnet: Scaling transformers to 1,000 layers, 2022.

[21] B. Zhang and R. Sennrich. Root mean square layer normalization. In Advances in Neural Information Processing Systems 32 (NeurIPS), 2019.

[22] C. Li, M. Zhang, and Y. He. The stability-efficiency dilemma: Investigating sequence length warmup for training gpt models. In Advances in Neural Information Processing Systems 35 (NeurIPS), pages 26736-26750, 2022.

[23] O. Press and L. Wolf. Using the output embedding to improve language models. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pages 157-163, 2017.

[24] H. Inan, K. Khosravi, and R. Socher. Tying word vectors and word classifiers: A loss framework for language modeling. In Proceedings of the 5th International Conference on Learning Representations (ICLR), 2017.

[25] C. Raffel, N. Shazeer, A. Roberts, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[26] R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pages 1715-1725, 2016.

[27] S. Merity, C. Xiong, J. Bradbury, and R. Socher. Pointer Sentinel Mixture Models. In Proceedings of the 5th International Conference on Learning Representations (ICLR), 2017.

[28] D. Paperno, G. Kruszewski, A. Lazaridou, et al. The LAMBADA dataset: Word prediction requiring a broad discourse context. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pages 1525-1534, 2016.

[29] M. Ding, Z. Yang, W. Hong, et al. Cogview: Mastering textto-image generation via transformers. In Advances in Neural Information Processing Systems 34 (NeurIPS), pages 1982219835, 2021.

(a) 17 億パラメータ, $\mathrm{lr}=1.0 \times 10^{-3}$.

(b) 17 億パラメータ, $1 r=5.0 \times 10^{-4}$.

(c) 17 億パラメータ, $\mathrm{lr}=1.0 \times 10^{-4}$.

(d) 130 億パラメータ, $1 r=3.0 \times 10^{-4}$.

(e) 130 億パラメータ, $\operatorname{lr}=1.0 \times 10^{-4}$.

図 417 億パラメータおよび 130 億パラメータで学習率を変えた際の各手法の開発データでの損失関数の値.

表 217 億パラメータの各手法の各学習率におけるパープレキシティ。

表 3130 億パラメータの各手法の各学習率におけるパープレキシティ。

## A パラメータ数・学習率を変えた実験

本節では 4 節での 17 億パラメータ，学習率 $5.0 \times 10^{-4}$ に加え，17 億パラメー タで学習率を $1.0 \times 10^{-3}, 1.0 \times 10^{-4}$ とした場合，および， 130 億パラメータでの実験を行う. 130 億パラメータは実際の LLM の事前学習の状況により近くなるよう，バッチサイズを大きな值とし，Adamの $\beta_{2}=0.95$ とした. $\beta_{2}=0.95$ は事前学習を安定にすると報告されている値である。また，学習率は Llama 2 [3] で用いられている $3.0 \times 10^{-4}$ と，より低い值である $1.0 \times 10^{-4}$ を用いた。 4 節と同様に，訓練・開発データは C4を，語彙には GPT-2のものを用いた．計算資源の都合上，ここでは Vanilla と Scaled Embed のみを対象に実験を行う.

図 4 に各手法の各設定での更新回数に対する開発データ上での損失関数の値を示す. 17 億パラメータについてである，図 (a), (b), (c) から明らかなように， Vanilla では学習率を大きくするほど損失スパイクが頻繁に発生するようになっている. 特に， 17 億パラメータのモデルを学習率 $1.0 \times 10^{-3}$ で学習した際には，

表 4 実験に用いたハイパーパラ

Vanilla では損失関数の値が発散してしまい，学習が失敗してしまっている。一方で，Scaled Embed については学習が安定しており，損失関数の値は更新回数に応じて一貫して下がっている. 130 億パラメータについては， $\beta_{2}=0.95$ としているからか，Vanillaでも学習率 $1.0 \times 10^{-4}$ で損失スパイクは見られない. しかしながら，高い学習率，すなわち， $\mathrm{lr}=3.0 \times 10^{-4}$ では損失関数の値が発散してしまっており，学習が失敗してしまっている. この結果から， $\beta_{2}=0.95$ のような学習を安定化させると報告されている状況においても，より安定した学習のために， residual branch の標準偏差を 1 に近づけることは必要と言える. 表 2, 表 3 に 17 億パラメータと 130 億パラメータの WikiText と LAMBADA データセットでのパープレキシティを示す. これらの表から， 17 億パラメータ，130 億パラメータ共に，学習率を変えた場合でも Scaled Embed は Vanilla と同等か，より高い性能を達成できていることが分かる.

## B ハイパーパラメータ

表 4 に実験に用いたハイパーパラメータを示す.


# 大規模言語モデルに対する サンプリングを活用したメンバーシップ推論攻撃

綿 祐貴 ${ }^{1}$ 金子 正弘 ${ }^{2,1}$ Youmi Ma ${ }^{1}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ MBZUAI
\{yuki.wata@nlp.,youmi.ma@nlp., okazaki@\}c.titech.ac.jp
Masahiro.Kaneko@mbzuai.ac.ae

## 概要

本研究は，与えられたテキストがモデルの学習データに含まれていたかを判定するメンバーシップ推論攻撃に取り組む. 従来手法は，モデルが計算する尤度を必要としており，適用できるモデルが限られる．そこで，本研究では出力テキストだけから検出するサンプリングベース・メンバーシップ推論攻撃を提案する。提案手法は検出対象のテキストを参照テキスト，サンプルされたモデルの複数出力を候補テキストとし，それらの一致度合を計算し，テキストがモデルの学習データに含まれていたか判定する. 提案手法は尤度を利用しないにも関わらず，実験では既存手法と肩を並べる性能を発揮し，特に長いテキストを対象とした検出で高い性能を示した.

## 1 はじめに

大規模言語モデル (Large Language Models; LLM) の学習コーパスの規模が拡大するにつれ，GPT-4 [1] や PaLM 2 [2] などの開発者は, 組織の競争力を維持するため，学習データの準備や出典などの詳細の公表を控えるようになった。その結果，事前学習に用いた文書が分からないため，LLM が生成したテキストが剽窃にあたるか判断できず，著作権者および利用者の双方にリスクが生じうる [3]. 更に，評価用のベンチマークが LLM の学習データに含まれる場合，モデルの性能を適切に評価できない $[4,5,6]$.

本稿が取り組むタスクは，メンバーシップ推論攻撃（Membership Inference Attacks; MIA）[7] である. MIA タスクは，検出対象のテキストとモデルが与えられた際に，対象テキストがモデルの学習データに含まれていたかを判定するものである。一般に，モデルはデータに適合するように学習されるため，学習データに含まれるテキストは含まれないテキスト

図 1 サンプリングベース・メンバーシップ推論攻撃

よりも高い尤度を示す $[8,9]$. MIA の既存研究はこのアイディアに基づくため，モデルの尤度が計算できることを前提としており $[8,10,11,12,13]$ ，尤度を提供しないモデルには適用できない。一方，尤度を出力できるモデルの多くは学習データが公開されており $[14,15,16]$ ，MIAを使わずとも対象テキストが含まれるかを直接確認できる。そのため，MIAを適用したい対象は学習データが非公開のモデルであるにも関わらず，そのような LLM の多くは尤度を出力しないため $[1,2,17,18]$ ，MIAを実際に利用できる場面が限られている。

本稿では，尤度に依存しない MIA としてサンプリングベース・メンバーシップ推論攻撃（Samplingbased Membership Inference Attacks; SaMIA）を提案する。学習データが検出対象を含む場合，LLM は学習した正解テキストをそのまま出力すれば良いため，対象テキストと生成されたテキストは表層の一致率が高い $[10,19]$. 図 1 は SaMIA の具体的な検出手順を示している。対象テキストの冒頭部分をLLM に与え，その続きをサンプリングにより複数生成する。そして，生成された系列を候補テキス

ト，対象テキストの先頭以降の系列を参照テキストとみなし，それらのテキストの単語の一致度合を計算する。一致度合が閾値以上であれば対象テキストが LLM に学習されたと判定する。

SaMIA の有効性を検証するため，事前学習済みモデルに対し, 本手法の検出性能を既存手法と比較した. その結果, ROUGE-1 [20] とzlib 圧縮エントロピー [21]を併用した提案手法は尤度を利用していないが，既存手法と肩を並べる性能を発揮し，特に長いテキストを対象とした検出で高い性能を示した.分析では, グラム長, 候補テキストの数, 検出対象のテキスト長が SaMIA の性能に与える影響を調査した. SaMIA の性能は単語ユニグラムのときに高く, 候補テキスト数の増加に伴い改善され, テキストが長いほど効果的であるという知見が得られた。

## 2 サンプリングのみを活用した MIA

## 2.1 MIA タスクの定義

MIA は，モデル $f_{\theta}$ の学習データセット $D_{\text {train }}$ に対象テキスト $x$ が含まれるか否かの二値分類タスクである. 攻撃者の目標は, 適切な攻撃関数 $A_{f_{\theta}}: X \rightarrow\{0,1\}$ を設計し, テキスト空間 $X$ 中の事例 $x$ に対し $x \in \mathscr{D}_{\text {train }}$ の真偽を判定することである.

## 2.2 SaMIA

本稿では，LLM からサンプルした出力だけを活用する SaMIA を提案する. 本手法はモデル $f_{\theta}$ が損失 $\mathscr{L}$ やトークン尤度 $P_{\theta}$ を提供しない前提にあるため，より厳しい利用条件のもとにある. 提案手法は損失と尤度を利用しないため，任意の LLM に対して適用できる. 具体的な方法は, 長さ $n$ の検出対象のテキスト $x=\left(w_{1}, w_{2}, \ldots, w_{n}\right)$ を単語数に応じて前半と後半に分割し，前半を LLM に与えるプレフィックス $x_{\text {prefix }}=\left(w_{1}, w_{2}, \ldots, w_{\lfloor n / 2\rfloor}\right)$, 後半を参照テキスト $x_{\mathrm{ref}}=\left(w_{\lfloor n / 2\rfloor+1}, w_{\lfloor n / 2\rfloor+2}, \ldots, w_{n}\right)$ として使用する。 LLM は $x_{\text {prefix }}$ に続くテキストをサンプリングにより $m$ 個生成し, これらを候補テキスト $x_{\text {cand }}^{j}(j=1, \ldots, m)$ として検知に用いる.

LLM は学習した事例をそのままの形で漏洩する可能性がある $[10,19]$. そのため SaMIA は, 候補テキスト $x_{\text {cand }}^{j}$ と参照テキスト $x_{\text {ref }}$ の表層的な一致率が高い場合，元のテキスト $x$ が LLM の学習データに漏洩していると考える. テキスト間の一致率の評価指標には，参照テキストの単語の再現率である
ROUGE-N [20]を利用する．LLM が生成した候補テキスト $x_{\text {cand }}$ と，参照テキスト $x_{\text {ref }}$ が与えられたとき, ROUGE-N $\in[0,1]$ は式 1 に従って計算される.

ROUGE-N $\left(x_{\text {cand }}, x_{\text {ref }}\right)=\frac{\sum_{\text {gram }_{n} \in x_{\text {ref }}} \operatorname{Count}_{\text {match }}\left(\text { gram }_{n}\right)}{\sum_{\text {gram }_{n} \in x_{\text {ref }}} \operatorname{Count}\left(\text { gram }_{n}\right)}$

ここで， $n$ は n-gram の長さを表す.また，数式の分母は参照テキストの n-gram の総数であり，分子は候補テキストと参照テキストに共起する n-gram の総数を表す. 例えば ROUGE-1 は，参照テキスト中の単語が LLM に生成されるほど高い値となる.

SaMIA は，LLM が生成した各候補テキスト $x_{\text {cand }}^{j}$ と参照テキスト $x_{\mathrm{ref}}$ の間の ROUGE-Nを計算し，それら $m$ 個の平均が閾値 $\tau$ を超えるテキスト $x$ は学習データに含まれると判定する（式2）。

$
A_{f_{\theta}}(x)=\mathbb{1}\left[\frac{1}{m} \sum_{j=1}^{m} \operatorname{ROUGE}-\mathrm{N}\left(x_{\text {cand }}^{j}, x_{\text {ref }}\right)>\tau\right]
$

この検出指標の解釈は直接的で，テキスト $x$ が学習に用いられた場合，LLM は参照テキスト中の n-gram を多く生成するという仮説に基づく. SaMIA の疑似コードを付録 B の Algorithm 1 にまとめる.

## 2.3 サンプルの情報量を利用した改善

既存手法である PPL/zlibでは生成テキストの冗長性の特徴を利用して評価するために，zlibが計算する情報量を用いた [10]. 未学習データのサンプルは繰り返し生成 (例: “I love you. I love you...”) を含む傾向があり，そのようなサンプルの zlib 圧縮後の情報量が小さくなると考えられる．PPL/zlibは，サンプル $x$ のパープレキシティと zlib 圧縮後のビット数 $\operatorname{zlib}(x)$ の比率を検出指標する（式 3）.

$
A_{f_{\theta}}(x)=\mathbb{1}\left[\frac{\prod_{i=1}^{n} P_{\theta}\left(x_{i} \mid x_{1: i-1}\right)^{-\frac{1}{n}}}{\operatorname{zlib}(x)}<\tau\right]
$

ここで， $\operatorname{zlib}(x)$ はテキスト $x$ を zlib 圧縮したときのエントロピーをビット数で表す。

$\operatorname{zlib}(x)$ はテキスト $x$ の文字情報のみに依存する指標であるため，SaMIA にも適用できる。また， SaMIA（式 2）は候補テキスト $x_{\text {cand }}^{j}$ における繰り返し生成の有無は考慮できないため, zlib との併用により性能改善が期待できる（式 4).

$
\begin{aligned}
& A_{f_{\theta}}(x) \\
& =\mathbb{1}\left[\frac{1}{m} \sum_{j=1}^{m} \operatorname{ROUGE}-\mathrm{N}\left(x_{\text {cand }}^{j}, x_{\text {ref }}\right) \cdot \operatorname{zlib}\left(x_{\text {cand }}^{j}\right)>\tau\right]
\end{aligned}
$
表 1 提案手法と比較手法の AUC スコア

## 3 実験

## 3.1 比較手法

SaMIA との比較に用いる既存手法を説明する. LOSS [8] は最もシンプルな MIA であり, サンプル $x$ の損失（負の対数尤度） $\mathscr{L}$ が閾値 $\tau$ より小さい場合に学習データに含まれると判定する（式 5).

$
A_{f_{\theta}}(x)=\mathbb{1}\left[\mathscr{L}\left(f_{\theta}, x\right)<\tau\right]
$

PPL/zlib [10] では，テキスト $x$ の zlib 圧縮エントロピーを活用し， $x$ のパープレキシティとの比率を検出指標とする（式 3). Lowercase [10] はLOSS を拡張した手法の 1 つで，対象テキスト $x$ を小文字化した $x_{\text {lower }}$ の損失との差を検出指標とする（式 6).

$
A_{f_{\theta}}(x)=\mathbb{1}\left[\mathscr{L}\left(f_{\theta}, x\right)-\mathscr{L}\left(f_{\theta}, x_{\text {lower }}\right)<\tau\right]
$

LOSS はテキスト $x$ の全トークンを用いて検出する一方，Min-K\% Prob [13] は $x$ の中で尤度の低い $k \%$ トークン $\operatorname{Min}-\mathrm{K} \%(x)$ のみを検出に用いる（式 7）.

$
A_{f_{\theta}}(x)=\mathbb{1}\left[\frac{1}{E} \sum_{x_{i} \in \operatorname{Min}-\mathrm{K} \%(x)} \log P_{\theta}\left(x_{i} \mid x_{1: i-1}\right)>\tau\right]
$

ここで， $E=|\operatorname{Min}-\mathrm{K} \%(x)|$ は選出されたトークンの総数を表す. Min-K\% Prob のハイパーパラメータである $k$ の値は原著論文で推奨された $k=20$ とする.

## 3.2 実験設定

データセット既存研究 [13] に倣い，本稿ではべンチマークに WikiMIA ${ }^{1)}$ を用いる. MIA の性能はテキスト長に依存するため [13]，異なる単語数 ${ }^{2}$ （32， 64，128，256）の WikiMIA に対して検出性能を評価する. WikiMIA は, Wikipedia から収集されたイべントページにより構成される. 2023 年以降のイベ

1) https://huggingface.co/datasets/swj0419/WikiMIA

2） WikiMIA の各事例は，スペース区切りで指定の単語数となるよう切られている.
ントを未学習データ，2017 年以前のイベントを学習済データとする，イベントページは特定の時期に関連する情報であるため, 未学習データは事前学習されていない新しい情報であることが保証される。また, Wikipedia は事前学習データの一般的な情報源であり, 学習済データは事前学習に使われたとする。

モデル提案手法および既存手法の性能を，GPTJ-6B [16], OPT-6.7B [14], Pythia-6.9B [15], LLaMA2-7B [22]を用いて評価する。これら 4 つの LLM は，事前学習データのカットオフ日が 2022 年 9 月以前であるため，WikiMIA の使用要件を満たす。

評価指標既存研究 $[12,13]$ に倣い，検出方法の有効性を真陽性率（True Positive Rate; TPR）と偽陽性率（False Positive Rate; FPR）を用いて評価する。各間値 $\tau$ における TPRと FPRを用いて ROC 曲線を描画し, ROC 曲線下の領域面積である AUC と低 FPR における TPR（TPR@10\%FPR）を評価指標とする.

実装の詳細 SaMIA（式 2）と SaMIA*zlib（式 4） には ROUGE-1 を用い，サンプル数は $m=10$ と設定した。事前学習済みモデルは HuggingFace3) で公開されているものを使用した。 トークン生成時のパラメータは全て, temperature $=1.0$, max_length $=1024$, top_k=50, top_p=1.0 に統一した.

## 3.3 実験結果

AUC の評価結果を表 1 に示す. 表の右端の Avg. には行の平均值を掲載している. SaMIA*zlib の AUC は, 256 単語の WikiMIA において全ての比較手法を上回ったが，32 単語においては性能が低かった. また, zlib は SaMIA を改善しており, サンプルの冗長性の考慮が有効であることを確認できる. 更に, Avg. では SaMIA*zlib の性能が一番高いことから，提案手法は総合的に最も性能が優れていると言える.TPR@10\%FPR の結果は付録 A の表 2 に記載しており，AUC と似た傾向を示している。これらの

図 2 ROUGE-1 vs. ROUGE-2（モデル：OPT-6.7B）

図 3 サンプル数 $m$ と SaMIA の性能 (モデル：OPT-6.7B）結果から，SaMIA は尤度や損失を用いずとも，それらを用いた検出手法を上回る，もしくは匹敵する性能を達成できることが分かる.

## 4 分析

SaMIA の性能に影響を与える要因としてグラム長，サンプル数，テキスト長の観点から分析する.

グラム長主要な結果である表 1 には，ROUGE-1 を検出指標に用いた SaMIA の性能を掲載した. 単語バイグラムの方が検出しやすくなるかを検証するため，ROUGE-2 を指標に用いた SaMIA（式 2, $\mathrm{N}=2$ ）の性能を調べた. 図 2 より，ROUGE-2による検出は ROUGE-1 よりも劣る結果となり，単語ユニグラムを用いた方が良いという知見が得られた。

サンプル数表 1 では，LLM が生成した 10 サンプルを用いた SaMIA の性能を報告した. ここで， サンプル数 $m$ を変化させた際の SaMIA の性能への影響を調査する．直感的には，多くのサンプルがより堅牢な比較を提供すると考えられる。図 3 の結果は，この仮説の正当性を裏付けており，サンプル数 $m$ を増やすことで性能が改善することを示している. しかし，サンプル数が 5 を超えると，全てのテキスト長において検出性能は横ばいとなるため，推論コストを考慮しても $m=5$ が最適である.

図 4 単語数 32 の WikiMIA の ROUGE-1 分布 (OPT-6.7B)

図 5 単語数 256 の WikiMIA の ROUGE-1 分布 (OPT-6.7B)

テキスト長表 1 によると，SaMIA の性能は対象テキストの長さに依存している。 そこで，テキスト長が ROUGE-1 の検出指標（式 $2, \mathrm{~N}=1$ ）に与える変化をより詳細に分析する．異なる単語数（32，256） における未学習データと学習済データの ROUGE-1 分布を図 4，5 に示す（64，128 単語における分布は付録 A の図 6, 7 に載せる). この図が示すように，長いテキストを対象とした検出では，事前学習の有無が ROUGE-1 に大きな差を生んでいる。この現象は直感的にも正しく，(1) モデルに与えるプレフィックス $x_{\text {prefix }}$ が長いとき，モデルは記憶を特定しやすくなり，(2) 参照テキスト $x_{\mathrm{ref}}$ が長い場合，正解に関する情報が増えて評価が安定すると考えられる．

## 5 おわりに

本稿では，メンバーシップ推論攻撃において尤度に依存せず，サンプリングのみを活用する手法 SaMIA を提案した。本手法を WikiMIA で評価したところ，既存手法と同等の性能を示し，特に長いテキストを対象とした検知では高性能を示した。この結果は，尤度を提供しない LLM に対しても，メンバーシップ推論が可能であることを示唆している.

今後は，短いテキストに対する SaMIA の検知性能の改善を目指したい.

## 謝辞

本研究は JSPS 科研費 19 H01118 の助成を受けたものです。

## 参考文献

[1] OpenAI. Gpt-4 technical report. ArXiv, Vol. abs/2303.08774, , 2023.

[2] Rohan Anil, Andrew M. Dai, Orhan Firat, Melvin Johnson, Dmitry Lepikhin, Alexandre Passos, Siamak Shakeri, Emanuel Taropa, Paige Bailey, Zhifeng Chen, Eric Chu, Jonathan H. Clark, Laurent El Shafey, Yanping Huang, Kathy Meier-Hellstern, Gaurav Mishra, Erica Moreira, Mark Omernick, Kevin Robinson, Sebastian Ruder, Yi Tay, Kefan Xiao, Yuanzhong Xu, Yujing Zhang, Gustavo Hernandez Abrego, Junwhan Ahn, Jacob Austin, Paul Barham, Jan Botha, James Bradbury, Siddhartha Brahma, Kevin Brooks, Michele Catasta, Yong Cheng, Colin Cherry, Christopher A. ChoquetteChoo, Aakanksha Chowdhery, Clément Crepy, Shachi Dave, Mostafa Dehghani, Sunipa Dev, Jacob Devlin, Mark Díaz, Nan Du, Ethan Dyer, Vlad Feinberg, Fangxiaoyu Feng, Vlad Fienber, Markus Freitag, Xavier Garcia, Sebastian Gehrmann, Lucas Gonzalez, Guy Gur-Ari, Steven Hand, Hadi Hashemi, Le Hou, Joshua Howland, Andrea Hu, Jeffrey Hui, Jeremy Hurwitz, Michael Isard, Abe Ittycheriah, Matthew Jagielski, Wenhao Jia, Kathleen Kenealy, Maxim Krikun, Sneha Kudugunta, Chang Lan, Katherine Lee, Benjamin Lee, Eric Li, Music Li, Wei Li, YaGuang Li, Jian Li, Hyeontaek Lim, Hanzhao Lin, Zhongtao Liu, Frederick Liu, Marcello Maggioni, Aroma Mahendru, Joshua Maynez, Vedant Misra, Maysam Moussalem, Zachary Nado, John Nham, Eric Ni, Andrew Nystrom, Alicia Parrish, Marie Pellat, Martin Polacek, Alex Polozov, Reiner Pope, Siyuan Qiao, Emily Reif, Bryan Richter, Parker Riley, Alex Castro Ros, Aurko Roy, Brennan Saeta, Rajkumar Samuel, Renee Shelby, Ambrose Slone, Daniel Smilkov, David R. So, Daniel Xuezhi Wang, Pidong Wang, Zirui Wang, Tao Wang, John Wieting, Yuhuai Wu, Kelvin Xu, Yunhan Xu, Linting Xue, Pengcheng Yin, Jiahui Yu, Qiao Zhang, Steven Zheng, Ce Zheng, Weikang Zhou, Denny Zhou, Slav Petrov, and Yonghui Wu. Palm 2 technical report, 2023.

[3] Kent Chang, Mackenzie Cramer, Sandeep Soni, and David Bamman. Speak, memory: An archaeology of books known to chatgpt/gpt-4. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023.

[4] Oscar Sainz, Jon Ander Campos, Iker García-Ferrero, Julen Etxaniz, and Eneko Agirre. Did chatgpt cheat on your test?, 2023. https: //hitz-zentroa.github.io/lm-contamination/blog/.

[5] Inbal Magar and Roy Schwartz. Data contamination: From memorization to exploitation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 157-165, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Arvind Narayanan and Sayash Kapoor. Gpt-4 and professional benchmarks: the wrong answer to the wrong question, 2023. https://www. aisnakeoil. com/p/gpt-4-and-professional-benchmarks.

[7] R. Shokri, M. Stronati, C. Song, and V. Shmatikov. Membership inference attacks against machine learning models. In 2017 IEEE Symposium on Security and Privacy (SP), pp. 3-18, Los Alamitos, CA, USA, may 2017. IEEE Computer Society.

[8] Samuel Yeom, Irene Giacomelli, Matt Fredrikson, and Somesh Jha. Privacy risk in machine learning: Analyzing the connection to overfitting. In 31st IEEE Computer Security Foundations Symposium, CSF 2018, Oxford, United Kingdom, July 9-12, 2018, pp. 268-282. IEEE Computer Society, 2018

[9] Alexandre Sablayrolles, Matthijs Douze, Cordelia Schmid, Yann Ollivier, and Hervé Jégou. White-box vs black-box: Bayes optimal strategies for membership inference. In Proceedings of the 36th International Conference on Machine Learning, pp. 5558-5567, 2019.

[10] Nicholas Carlini, Florian Tramèr, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom B. Brown, Dawn Song, Úlfar Erlingsson, Alina Oprea, and Colin Raffel. Extracting training data from large language models. In Michael D. Bailey and Rachel Greenstadt, editors, 30th USENIX Security Symposium, USENIX Security 2021, August 1113, 2021, pp. 2633-2650. USENIX Association, 2021.

[11] Jiayuan Ye, Aadyaa Maddi, Sasi Kumar Murakonda, Vincent Bindschaedler, and Reza Shokri. Enhanced membership inference attacks against machine learning models. In Proceedings of the 2022 ACM SIGSAC Conference on Computer and Communications Security, pp. 3093-3106, 2022

[12] Justus Mattern, Fatemehsadat Mireshghallah, Zhijing Jin, Bernhard Schoelkopf, Mrinmaya Sachan, and Taylor Berg-Kirkpatrick. Membership inference attacks against language models via neighbourhood comparison. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 11330-11343, Toronto, Canada, July 2023. Association for Computational Linguistics.

[13] Weijia Shi, Anirudh Ajith, Mengzhou Xia, Yangsibo Huang, Daogao Liu, Terra Blevins, Danqi Chen, and Luke Zettlemoyer. Detecting pretraining data Terra Blevins, Danqi Chen, and Luke Zettlemoyer. Detecting pretraining data Processing Systems (NeurIPS), 2023

[14] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. Opt: Open pre-trained transformer language models, 2022.

[15] Stella Biderman, Hailey Schoelkopf, Quentin Gregory Anthony, Herbie
Bradley, KyleO’ Brien, Eric Hallahan, Mohammad Aflah Khan, Shivanshu Purohit, USVSN Sai Prashanth, Edward Raff ほか. Pythia: A suite for analyzing large language models across training and scaling. In International Conference on Machine Learning, pp. 2397-2430. PMLR, 2023.

[16] Ben Wang and Aran Komatsuzaki. GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/ ter Autoregressive Language Model.

[17] James Manyika and Sissie Hsiao. An overview of bard: an early experiment with generative ai, 2023 .

[18] Anthropic. Model card and evaluations for claude models, 2023

19] Jie Huang, Hanyin Shao, and Kevin Chen-Chuan Chang. Are large pre-trained language models leaking your personal information? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 2038-2047, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[20] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[21] Jean loup Gailly and Mark Adler. zlib compression library, 1995

[22] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoging Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

## A 更なる実験結果

提案手法と比較手法の TPR@10\%FPR による評価結果を表 2 に示す.表の右端のAvg. には行の平均値を掲載している.

表 2 提案手法と比較手法の TPR @ $10 \%$ FPR

WikiMIA の 64, 128 単語のデータセットにおける，未学習データと学習済データの ROUGE-1 分布を図 6, 7 に示す.

図 6 単語数 64 の WikiMIA の ROUGE-1 分布（OPT-6.7B）図 7 単語数 128 の WikiMIA の ROUGE-1 分布（OPT-6.7B）

## B SaMIA の詳細


# 大規模言語モデルにおける評価バイアスの尤度に基づく緩和

大井聖也 ${ }^{1}$ 金子 正弘 ${ }^{2,1}$ 小池 隆斗 ${ }^{1}$ Mengsay Loem ${ }^{1}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ MBZUAI
\{masanari.ohi@nlp., ryuto.koike@nlp., mengsay.loem@nlp., okazaki@\}c.titech.ac.jp
masahiro.kaneko@mbzuai.ac.ae

## 概要

大規模言語モデル (Large Language Model; LLM) は言語生成タスクの評価器として用いられている。ところが、ある文章の意味を変えずに語順や構造を変更した文章を作ると、LLM が計算する尤度が大きく変化することがある。そのため、LLM 評価器には、尤度が低い文章を不当に低く、尤度が高い文章を不当に高く評価する尤度バイアスが存在すると考えられる。本研究では、尤度バイアスが LLM 評価器の性能を低下させることを明らかにし、Few-shot によるバイアス緩和手法を提案する。実験では、複数の LLM が data-to-text タスクと文法誤り訂正タスクで尤度バイアスを持つ可能性を示し、その緩和に成功した。

## 1 はじめに

LLM は優れた言語理解能力と文章生成能力を示し、最近は文生成タスクの自動評価手法としても活用されている $[1,2,3,4]$ 。例えば、評価対象の文章の尤度を LLM に計算させ、評価スコアとして使用する方法 $[2,5]$ や、LLM に文章の評価スコアを直接出力させる方法 [1,3] が提案されている。BLEU [6] や ROUGE [7] などの従来の自動評価手法と比べ、LLM による自動評価は多くのタスクで人間の評価とより高い相関を示すことが報告されている。LLM の学習は膨大な事前学習データ $[8,9]$ と指示学習デー 夕 $[10,11]$ の尤度最大化であり、文章生成も尤度に基づいている。ゆえに、尤度を直接的に評価スコアとする方法だけではなく、評価スコアを生成させる方法においても、評価対象の文章の尤度が評価結果に影響を与えると考えられる。

ところが、LLMが計算する尤度は文章の流暢性や文法性、意味などの良し悪しを捉えているとは限らない。例えば、ある文章の語順や構造を変更して言い換えると、LLM の尤度が変動することが報告さ

図 1: 尤度バイアスの例。人間の採点であれば同じスコアをつけられるべき出力のうち、尤度の低い出力 (上側) が尤度の高い出力（下側）よりも不当に低く評価されていることを表す。

れている [12]。この場合、文章の意味に関する評価を行う際に、尤度の変動が LLM の評価結果に悪影響を及ぼしうる。言い換えると、LLM の尤度と文章の良し悪しのずれが、さまざまな評価項目で評価バイアスを引き起こしている可能性がある。本研究では、LLMが文章の評価スコアを出力する際、尤度の低い文章を（人間の評価よりも）不当に低く評価し、尤度の高い文章を不当に高く評価するという評価バイアスの存在を仮定し、これを尤度バイアスと呼ぶ。尤度バイアスの例を図 1 に示す。この図ではデータから文を生成するタスク（data-to-text）において、人間の採点であれば同スコアになる出力のうち、尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す。

この問題に対処するため、我々は尤度バイアスを (1) 定量的に測定し、(2) 緩和する手法を提案する。本研究は LLM 評価器における評価時のバイアスを緩和する初めての試みである。まず、LLM の尤度と、LLM と人手評価のスコアの差の相関に着目し、尤度バイアスの定量的な測定を行う。実験の結果、GPT-3.5 と Llama2 13B [13] の 2 つの LLM が data-to-text と文法誤り訂正タスク (GEC) の2つのタスクにおいて尤度バイアスを持つ可能性を示した。
次に、訓練データから尤度バイアスの強い事例（タスクの入出力のペア）を特定し、それらの事例に人手評価スコアを付与し、Few-shot 事例として LLM 評価器に与えることで、評価時の尤度バイアスを緩和する。提案手法により、ほとんどのモデル・タスクにおいて LLM の尤度バイアスが緩和され、評価性能（人手評価スコアとの順位相関係数）も向上することが分かった。

## 2 提案手法

先行研究 $[1,4]$ に倣い、本研究では LLM に文章の評価を指示するプロンプトを与え、評価スコアを計算する。また、Liu ら [1]に倣い、LLM に評価スコアを直接出力させるのではなく、評価スコアの候補値 （例: $\{1, \ldots, n\} ）$ を予測させ、その尤度からスコアの期待値を計算し、最終的な評価スコアとする (これを Score $\mathrm{m}_{\mathrm{m}}$ と書く)。先行研究では、タスクの説明・評価項目・評価対象文章の 3 つでプロンプトを構成していたが、我々はこれに加えて Few-shot 事例をモデルに与えることで出力を安定化させ、より正確に尤度バイアスを測定・緩和することを目指す1)。

## 2.1 尤度バイアスの測定

本研究では、人間の評価と比較して LLM が尤度の低い文章を不当に低く評価し、尤度の高い文章を不当に高く評価するという評価のバイアスを尤度バイアスと呼ぶ。まず、その定量的な測定方法を提案する。 $t_{i}$ を大力文章、 $t_{o}$ を出力文章とし、これらをまとめて評価対象の事例 $t=\left(t_{i}, t_{o}\right)$ と書く。 $d$ をタスクの説明、 $\theta$ をモデルのパラメータ、 $P$ をデルによる尤度とすると、LLM の尤度による指標 LS (likelihood score) は次式で計算される。

$
\operatorname{LS}(t)=\log P\left(t_{o} \mid t_{i}, d ; \theta\right)
$

次に、LLM がどれだけ不当な評価をしているかを表す指標 US (unfairness score)として、LLMによる評価スコア $\left(\right.$ Score $\left._{\mathrm{m}}\right)$ と人手評価スコア $\left(\right.$ Score $\left._{\mathrm{h}}\right)$ の差を次式で計算する2)。

$
\mathrm{US}(t)=\operatorname{Score}_{\mathrm{m}}(t ; \theta)-\operatorname{Score}_{\mathrm{h}}(t)
$

LLM による評価スコア Score $_{\mathrm{m}}$ を計算するときは、訓練データからランダムに選んだ Few-shot 事例をプロンプトに含める。

1） Score $_{\mathrm{m}}$ を計算するために用いた実際のプロンプトや計算式、Few-shot の事例数などを付録 A に記載する。

2） LLM と人手によるスコアの値域が異なる場合を考慮し、 Score $_{\mathrm{m}}$ と Score $_{\mathrm{h}}$ は同じ値域になるように正規化する。

図 2: 仮想の評価器における尤度バイアスを可視化した図。A はバイアスがある、B はバイアスがなく高性能、C はバイアスがなく低性能な評価器を表す。

LS、US を用いて LLM の持つ尤度バイアスの強さを示す指標であるBiasScoreを計算する。 BiasScore は、事例の集合であるデータセット $D=\left.\{t^{(1)}, t^{(2)}, \ldots, t^{(n)}\right.\}$ 全体における LS と US のスピアマンの順位相関係数 $\rho$ として計算する。

$
\begin{aligned}
\mathrm{LS}_{\mathrm{D}}= & {\left[\mathrm{LS}\left(t^{(1)}\right), \operatorname{LS}\left(t^{(2)}\right), \ldots, \operatorname{LS}\left(t^{(n)}\right)\right] } \\
\mathrm{US}_{\mathrm{D}}= & {\left[\mathrm{US}\left(t^{(1)}\right), \mathrm{US}\left(t^{(2)}\right), \ldots, \operatorname{US}\left(t^{(n)}\right)\right] } \\
& \text { BiasScore }=\rho\left(\mathrm{LS}_{\mathrm{D}}, \mathrm{US}_{\mathrm{D}}\right)
\end{aligned}
$

BiasScore は $[-1,1]$ の範囲を取り、 1 は最も強いバイアスを表し、0はバイアスがないことを表す。

## 2.2 尤度バイアスの緩和

図 2 に複数の仮想の評価器による尤度バイアスを可視化した散布図を示す。横軸は LS (式 1)、縦軸は US (式 2)、点は評価事例、点の回帰直線の傾きが BiasScore を表す。各図は次のように解釈される。

・A の散布図は尤度バイアスを持つ評価器を表す。評価器は尤度の高い事例に不当に高いスコアを与えており（右上部分）、尤度の低い事例に不当に低いスコアを与えている（左下部分）。 バイアスの緩和前の LLM 評価器はこの状態であると想定する。

・B の散布図は尤度バイアスを持たない評価器を表す。US が 0 に近いため、評価性能は高いと考えられる。

・C の散布図も尤度バイアスを持たない評価器を表すが、US の値がランダムに分布しているため、評価性能は低いと考えられる。

提案手法による尤度バイアスの緩和では、バイアスのある状況 (A) から、評価性能が高くバイアスのない状況 (B) に変化させることを目指す。その際、評価性能が低くバイアスのない状況 (C) にならないように、バイアスが強い事例（A の図の右上・左下） を特定し、その評価を集中的に是正する。そのため、事例 $t$ のバイアスの強さを示す指標として、RS

を導入する。

$
\operatorname{RS}(t)=\left|\mathrm{LS}^{*}(t)+\mathrm{US}^{*}(t)\right|
$

ここで、 $\mathrm{LS}^{*}$ と US* はそれぞれ、データセット $D$ に対して平均值が 0 、値域が $[-1,1]$ になるように LS と US を正規化したものである。 $\operatorname{RS}(t)$ は事例 $t$ が図 2 の A において右上か左下に近づくほど大きな值を取る。評価バイアスの軽減のため、訓練データから $\mathrm{RS}(t)$ が大きな事例、つまりバイアスの強い事例を抽出し、人手評価のスコアを付与したうえで Few-shot 事例として用いることで、評価における尤度バイアスを緩和する。

## 3 実験結果

## 3.1 使用したタスク・データ

実験では、data-to-text と GECの2つのタスクにおける尤度バイアスの測定・緩和を行う。data-to-text タスクでは、WebNLG+ [14]をデータセットとして用いた。2846 個の英語の各事例に対して、text structure, relevance, fluency, correctness, data coverage $の$ 5 つの評価項目に関する人手評価スコア Score $_{\mathrm{h}}$ が付与されている。GECでは、TMU-GFM-Dataset [15] をデータセットとして用いた。4221 個の英語の各事例に対して、grammar, fluency の 2 つの評価項目に関して人手評価スコア $\mathrm{Score}_{\mathrm{h}}$ が付与されている3)。

これらのデータはそれぞれ、4:1 の割合で訓練・評価データに分割した。また、タスク全体での傾向を調べるために、すべての評価項目のマイクロ平均を新たな評価項目 total として導入した。

## 3.2 使用した LLM

実験には、OpenAI 社が API として提供する GPT-3.54)と、オンプレミスで動作する Llama2 13B (L-13B) [13]をLLM として用いた。ただし、GPT-3.5 はトークンの尤度を出力しないため、代わりに Llama2 13B で尤度を計算する。まず、これらの LLM の評価器としての性能を確かめるために、人手と LLM による評価スコアのスピアマンの順位相関係数を計算した。結果を表 1,2 の「評価性能」の「緩和前」列にそれぞれ示す。全体的な傾向として、

3）データセットやその評価項目の説明を付録 B に示す。 GEC のデータセットでは 3 つ目の評価項目として meaning が存在するが、データセットを作成した研究 [15] で meaning における結果が全体の評価にほとんど寄与しないことが示されているため、本実験からは除外した。

4） gpt-3.5-turbo-instructを API 呼び出しに用いた。 data-to-text では GPT-3.5 が Llama2 13B よりも高い性能を示し、GEC ではどちらのモデルも同程度の性能を示した。

## 3.3 尤度バイアスの測定

2.1 節で述べた手法を用い、data-to-text と GEC の評価データにおける尤度バイアスを測定した。

data-to-text での結果表 1 の「BiasScore」の「緩和前」列における数值はほとんどのモデル・評価項目で 0.20 を超える結果を示している。BiasScore は相関係数であり、 0.20 は弱相関を表すため、この結果は尤度バイアスの存在を示唆していると言える。評価項目 total においては GPT-3.5 (0.38) が Llama-2 13B (0.17) よりも大きな BiasScore を示しており、他の評価項目においても同じ傾向が観察される。また、評価項目 relevance がどちらのモデルにおいても全ての評価項目の中で最も大きな値を示した。

GEC での結果表 2 の「BiasScore」・「緩和前」列における数値はすべてのモデル・評価項目で 0.20 を超える結果になっており、data-to-text と同様に尤度バイアスの存在を示唆している。また、評価項目 total においても同様に GPT-3.5 (0.43) が Llama2 13B (0.21)よりも大きな BiasScore を示しており、他の評価項目についても同じ傾向が観察される。

評価項目ごとの尤度バイアスの比較 data-to-text の評価項目ごとの尤度バイアス (表 1 の「BiasScore」・「緩和前」列）に着目すると、どちらのモデルにおいても fluency と text structure が比較的小さな BiasScore を示している。これらの項目は、入力によるタスク固有の制約は考慮せず、生成された文章に内在する自然さや文構造のような特性のみに基づいて評価する。そして、どちらのモデルにおいても relevance と data coverage は、BiasScore が小さい内在的評価の項目とは対照的に大きな BiasScore を示している。これらの項目は、生成された文章に対して外在する入力との関連性や情報の有無などのタスク固有の制約を用いて評価する。これらのことから、内在的評価の項目は、外在的評価の項目よりも小さい尤度バイアスを持つといえる。出力の尤もらしさは内在的な特性に強く依存することを鑑みると、文章の尤度と内在的評価による文章の優劣には正の相関があると予想される。よって、内在的評価においては、LLM 評価器が尤度に影響を受けていることが、過小または過大評価のように必ずしも悪い結果につながらないと考えられる。一方で、評価に寄与する特性が異
表 1: data-to-text での尤度バイアス緩和前後の BiasScore と評価性能。緩和後の值における太字はバイアスの緩和が狙い通りに作用したことを、*はバイアス緩和前後での並べ替え検定による有意な差 $(p<0.05)$ を、 †は有意な傾向の差 $(p<0.06)$ を表す。

表 2: GEC での尤度バイアス緩和前後の BiasScore と評価性能。太字、*、†は表 1 と同じ意味で使用した。

なるため、外在的評価では尤度からの影響が LLM 評価器に悪影響を及ぼしていると考えられる。

## 3.4 尤度バイアスの緩和

尤度バイアス緩和のため、2.2 節で説明した手法を用いて訓練データからバイアスを持つ事例を 8 つ取得し、Few-shot 事例として用いた。表 1,2の「緩和後」列にバイアス緩和後の BiasScore と評価性能を示す。太字はバイアスの緩和が狙い通りに作用した（BiasScore の絶対値が減少した・評価性能が向上した）ことを表す。また、 $R=100000, \alpha=0.05$ として並べ替え検定を行い、バイアス緩和前後で有意な差 $(p<0.05)$ が確認されたものを*、有意な傾向の差 $(p<0.06)$ が確認されたものを†で表した。

data-to-text での結果表 1 の「BiasScore」と「評価性能 $\rho\lrcorner の 「$ 緩和後」列における数値から、提案手法によってほとんどのモデル・評価項目で BiasScore の絶対値が減少し、同時に評価性能が向上したことがわかる。GPT-3.5 では text structure (0.13), relevance (-0.12), data coverage (-0.08) において、 Llama2 13B では text structure (-0.15), fluency (-0.20), correctness (-0.20) において BiasScore の絶対値が有意に減少している。同時に、GPT-3.5 では fluency $(+0.14)$, total (+0.10) において評価性能が有意に向上している。また、GPT-3.5 で text structure (+0.07), data coverage (+0.10) において、Llama2 13B で fluency （+0.19）において評価性能の向上に有意な傾向が確認された。したがって、モデル・タスク全体を通し
て尤度バイアスの緩和が狙い通り成功し、それによって評価性能が向上していることが確認できた。

GEC での結果表 2 の「BiasScore」と「評価性能 $\rho\lrcorner の 「$ 緩和後」列における数値から、提案手法によってほとんどのモデル・評価項目で BiasScore の絶対値が減少し、同時に評価性能が向上したことがわかる。有意な傾向のバイアス緩和が確認されたのは GPT-3.5 の grammar (-0.09) のみだったが、少なくとも提案手法がバイアスの緩和を促進し、評価性能を向上させる影響を与えたと考える。

以上の結果から、尤度バイアスを緩和する提案手法が data-to-text と GEC における LLM 評価器の尤度バイアスを緩和し、同時に評価性能を向上させることに成功したと考える。

## 4 おわりに

本研究では LLM が尤度の低い文章を不当に低く、尤度の高い文章を不当に高く評価する傾向を尤度バイアスとして定義し、定量化する方法を提案した。 また、我々はバイアスの強い事例を特定し、Few-shot 事例として用いることで尤度バイアスを緩和する方法を提案した。実験の結果、data-to-text、GEC の 2 つのタスクにおいて複数の LLM が龙度バイアスを持つ可能性を示した。さらに、尤度バイアスを緩和し評価性能を向上することに成功した。今後は、他モデルでの尤度バイアスの測定や、バイアスが強い事例を抽出する別手法の検討、ファインチューニングを用いるバイアスの緩和などに取り組みたい。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究（22501）により得られたものです。また、本研究は JSPS 科研費 19H01118 の助成を受けました。論文執筆にあたっては、ケンブリッジ大学の Simone Teufel 先生から助言をいただきました。

## 参考文献

[1] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, and Chenguang Zhu. G-eval: Nlg evaluation using gpt-4 with better human alignment, 2023.

[2] Jinlan Fu, See-Kiong Ng, Zhengbao Jiang, and Pengfei Liu. Gptscore: Evaluate as you desire, 2023.

[3] Tom Kocmi and Christian Federmann. Large language models are state-of-the-art evaluators of translation quality. In Mary Nurminen, Judith Brenner, Maarit Koponen, Sirkku Latomaa, Mikhail Mikhailov, Frederike Schierl, Tharindu Ranasinghe, Eva Vanmassenhove, Sergi Alvarez Vidal, Nora Aranberri, Mara Nunziatini, Carla Parra Escartín, Mikel Forcada, Maja Popovic, Carolina Scarton, and Helena Moniz, editors, Proceedings of the 24th Annual Conference of the European Association for Machine Translation, pp. 193-203, Tampere, Finland, June 2023. European Association for Machine Translation.

[4] Cheng-Han Chiang and Hung-yi Lee. Can large language models be an alternative to human evaluations? In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 15607-15631, Toronto, Canada, July 2023. Association for Computational Linguistics.

[5] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evaluating generated text as text generation. In M. Ranzato, A. Beygelzimer, Y. Dauphin, P.S. Liang, and J. Wortman Vaughan, editors, Advances in Neural Information Processing Systems, Vol. 34, pp. 27263-27277. Curran Associates, Inc., 2021.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Pierre Isabelle, Eugene Charniak, and Dekang Lin, editors, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[8] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.
[9] OpenAI. Gpt-4 technical report, 2023.

[10] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In International Conference on Learning Representations, 2022.

[11] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744. Curran Associates, Inc., 2022.

[12] Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, and Kentaro Inui. Language models as an alternative evaluator of word order hypotheses: A case study in Japanese. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 488-504, Online, July 2020. Association for Computational Linguistics.

[13] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[14] Thiago Castro Ferreira, Claire Gardent, Nikolai Ilinykh, Chris van der Lee, Simon Mille, Diego Moussallem, and Anastasia Shimorina. The 2020 bilingual, bi-directional WebNLG+ shared task: Overview and evaluation results (WebNLG+ 2020). In Thiago Castro Ferreira, Claire Gardent, Nikolai Ilinykh, Chris van der Lee, Simon Mille, Diego Moussallem, and Anastasia Shimorina, editors, Proceedings of the 3rd International Workshop on Natural Language Generation from the Semantic Web (WebNLG+), pp. 55-76, Dublin, Ireland (Virtual), 12 2020. Association for Computational Linguistics.

[15] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In Donia Scott, Nuria Bel, and Chengqing Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, pp. 6516-6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

## A LLM 評価器の設定

尤度の計算式 1 に示す通り、我々はモデルの文章に対する尤度を、タスク説明 $d$ 、タスク入力 $t_{i}$ で条件付けしたタスク出力 $t_{o}$ の対数尤度として計算する。単純に条件付けを行わず $\log P\left(t_{o} ; \theta\right)$ を計算するよりも、条件付けを行うことでタスクと入力に関する情報を考慮した尤度が得られることが期待できる。タスク説明は以下の文章を用いた。
- data-to-text: Please generate a description of the following xml data.
- GEC: Please modify the following English text to make it grammatically correct.

Score $_{\mathrm{m}}$ の計算方法先行研究 $[1,4]$ に倣い、我々はタスク説明・評価項目で構成されるプロンプト $I$ と評価対象の事例 $t$ を LLM に与えることで、LLM による評価スコア Score $_{\mathrm{m}}$ を計算する。我々はこれに加えて Few-shot 事例 $F$ を LLM に与えることでモデルの出力を安定させることを狙う。 $F$ は、バイアス測定の際はランダムに、バイアス緩和の際はバイアスの強い事例を訓練データから 8 つ抽出して用いる。また、先行研究 [1] に倣い、LLM がスコアを出力する確率を用いてスコアの期待値を計算し、それを Score $_{\mathrm{m}}$ として用いる。LLM に直接スコアを出力させる代わりにスコアの期待値を計算することで、 スコアが 1 つに集中せず、より詳細な值が得られることが期待できる。スコアの候補を $\{1,2, \ldots, n\}$ 、スコア $i$ をLLM が出力する確率を $Q(i \mid t, F, I ; \theta)$ とすると、 Score $_{\mathrm{m}}$ は以下のように計算される。

$
\operatorname{Score}_{\mathrm{m}}(t ; \theta)=\frac{\sum_{i=1}^{n} i \times Q(i \mid t, F, I ; \theta)}{\sum_{j=1}^{n} Q(j \mid t, F, I ; \theta)}
$

また、タスク説明と評価項目を含んだプロンプトの例を以下に示す。

data-to-text で correctness を評価するプロンプト

You will be given an xml data and an English sentence that represents $\mathrm{xml}$ data. Your task is to rate the sentence that represents xml data on one metric. Please make sure you read and understand these instructions carefully. Please keep this document open while reviewing, and refer to it as needed.

Evaluation Criteria: Correctness: (1-5) - does the text describe predicates with correct objects and does it introduce the subject correctly? 1 is the lowest score, 5 is the highest.

## GEC で fluency を評価するプロンプト

You will be given an English sentence that may have grammatical errors and a sentence that is the corrected version of the sentence. Your task is to rate the corrected sentence on one metric. Please make sure you read and understand these instructions carefully. Please keep this document open while reviewing, and refer to it as needed.

Evaluation Criteria: Fluency: (0-4) - How natural the sentence sounds for native speakers; 4: Extremely natural, 3: Somewhat natural, 2: Somewhat unnatural, and 1: Extremely unnatural, and 0: Other.

## B データセット

data-to-text data-to-text では、WebNLG+ [14] (CC BY-NC-SA 4.0) から人手評価スコアが付与されている事例を抜き出し、データセットとして用いた。 2846 個の英語の各事例に対して、以下の 5 つの評価項目における人手評価スコア Score $\mathrm{h}_{\mathrm{h}}$ が 0 から 100 までの 1 点刻みで付与されている。
- text structure: 出力が文法的に正しく構成されているかどうか
- relevance: 出力が入力データに基づいているかどうか

・fluency: 出力が自然な文章かどうか

・ correctness: 出力が大力データを正しく説明しているか

・ data coverage: 出力が入力データの情報を全て含んでいるか

GEC GEC では、TMU-GFM-Dataset [15] (CC BY 4.0) をデータセットとして用いた。 4221 個の英語の各事例に対して、以下の 3 つの評価項目における人手評価スコア $\mathrm{Score}_{\mathrm{h}}$ が 0 から 4 までの 1 点刻みで付与されている。
- grammar: 出力が文法的に正しいか

$\cdot$ fluency: 出力が自然な文章かどうか

・ meaning: 出力が入力と同じ意味を持つか

3.1 節の脚注で述べたように、データセットを作成した研究 [15] で meaning はタスク全体の評価スコアにほとんど寄与していないことが明らかにされているので、本実験からは除外した。


# 事前学習済み Llama2 モデルを活用した言語間転移日英モデルの作成

佐藤諒 麻場直喜 野崎雄太 中島大 近藤宏 川村晋太郎
株式会社リコー デジタル戦略部 デジタル技術開発センター 言語AI 開発室
\{ryo. sato4, naoki. asaba, yuta. nozaki1, dai. nakashima, hiroshi.xx. kondoh,
shintaro. kawamura\}@jp. ricoh.com

## 概要

近年英語を中心に事前学習済み大規模言語モデルが多く公開されてきた。本研究ではそれらのモデルの中でも、ここ最近で高スコアを出した Meta 社の Llama2 13B Chat モデルを再利用し、できるだけ性能の高い日本語モデルを作成することを試みる。特に言語間転移、カリキュラムラーニングの知見を投入し、なるべく事前学習の量を減らした継続学習を行い、日本語を優先した日英モデルの作成の検証結果を報告する。

## 1 はじめに

近年中程度の大規模言語モデル ( $10 \mathrm{~B}$ 前後) が多く作成されオープンなモデルとして公開されている。一方、日本語では学習データ、学習環境の制限もあり、性能の高い大規模モデルを作るのは以前困難な課題である。そのため、既にある性能の高い英語モデルを再利用し、日本語の継続学習をすることは十分に価値がある。

今回我々も可能な限りオリジナルモデルのアーキテクチャを変えずに既存英語モデルで性能の高いものを利用し、日本語モデルとしての性能の高いモデルへ変化させる試みを行う。本研究では英語データが日本語データよりも多く公開されている状況に合わせて、最初 $3: 1$ の割合で英語: 日本語データで学習し、その後 $1: 3$ の割合で学習する転移学習を主とする効果を確認する。また学習の成功率を上げるために良質なデータから広範なデータへといった学習順序も含めて計画し、カリキュラムラーニングの要素ありで学習を進める。この二つの効果を確かめるために設定を理想形から外したモデルの作成、比較も行う。すなわち、両言語のデータを同比率で訓練した場合と割合を変えた場合の比較実験、データ順序を考慮する場合としない場合との比較実験、元々
の英語モデルの重みを再活用する場合としない場合の比較実験の結果を公開する。

## 2 セットアップ

## 2.1 スタートモデルの準備

継続学習をスタートするにあたって、まずは学習開始モデルである既存の Llama2(Meta 社 Llama 2 13B Chat [1])モデルを理解することが必要である。素の Llama2 モデルは英語を中心に学習されており、英語 $90 \%$ に対して日本語はわずか $0.1 \%$ である [2]。Tokenizer についてもそれを受けており、英語語彙がほとんどを占めている。実際に計測してみると、800 語程度(CJK, HIRAGANA, KATAKANA の計)であり、全体の 32000 語彙と比べると少量である。このままで継続学習すると、日本語の文章分解能自体が下がり、学習効率が低下する可能性が高い。そこで tokenizer の改良にも取り組む。

最初、日英両言語に対応できる tokenizer を作るために、日英で wikipedia コーパスを用いて学習する。手法は SentencePiece[3]で、BPE 構築行い作成する。この学習により、(LATINを含む)英語が 13841 語彙、日本語(CJK, HIRAGANA,

KATAKANA)が 17033 語彙の結果になった。ここで語彙数合計数が 32000 に満たないのはその他の文字を含むためである。ここで文章分解能(Length per Token)を計算すると、32000 語彙全て日本語語彙の場合と比べて、 $84.88 \%$ の長さであり、 32000 語彙全て英語語彙の場合と比べると $88.92 \%$ の長さであり、同じ文章に対しての token 分解数は微増の結果となった。これは tokenizer の語彙数と文章分解能の関係が $\log$ で近似できるからである[4]。この日英対応の tokenizer を本体の重みと結合する。

Tokenizer は学習をし直したことにより、元の tokenizer と一致する語彙と、一致しない語彙を持つ。一致する語彙に関しては embedding の重みと合

うように語彙 ID の順番を合わせる(並び替える)。 また、一致しない語彙に関しては ID を合わせないで適当な embedding の重みに結合する。こうすることでなるべく大量の英語データで学習された

Llama2 モデルの重みを再活用することができる。 ここでは詳しく触れられなかったが、他の tokenizer と embedding の結合方法は[5]で触れる。

## 2.2 学習データの準備

英語から日本語に強いモデルに継続学習で改造するために、コーパスは日英どちらも用意する。しかしながら、オープンのデータでは日本語データよりも英語データのほうが多いという事情があるため、日本語データに合わせて必要な英語データの数を決める。バイリンガルモデルを学習する際には主言

図 1 各実験モデルのデータ比率

(0) or (2)

(3)

語:サブ言語のデータ比率
を2:1 で学習すると良いという先行研究がある[4]。今回は日本語データが不足している背景と、より緩急を付けた割合で学習して違いを見るために敢えて 3:1の割合で学習を行う。日本語データで用いるのは公開データの Wiki(0.7B token), C100(12.5B token), OSCAR(21.0B token)である。ここで B は 10 億の略である。このとき、データの品質は Wiki, C100, OSCAR の順で低下していきよりデータ量の多い、広範なデータとなる。なるべく品質の高いデータから学習したほうがよいカリキュラムラーニング[6] の文脈ではこの順番で行う。一方で英語データのほうでは比較的品質の高い Wiki+Book のデータを一貫して用意し、日本語とトータルで同量分確保する。

## 2.3 比較学習モデル設定

これまで述べてきたそれぞれの観点で比較が可能なように 4 つのモデルを作成して検討する(図1)。実験()番のモデル：

・事前学習済夕の Llama 2 13B Chat モデルの重みを利用する。Tokenizer は 2.1 節で説明した通りの設定とし、他は元の Llama2 のアーキテクチャをそのまま利用する。
- 英: 日 $=3: 1$ のデータ割合で最初学習し、その後、英:日=1:3 のデータ割合で学習する。こうすることで最初に英語の出力本位だったのが、徐々に日本語本位になることが予想され、また英日データが緩急を付けた割合で学習が進むことから英語で獲得した知識の忘却を防ぎつつ、英語から日本語に強いモデルへの転移を期待できる。

・日本語デー夕は前半にwiki, CC100, OSCAR の順で学習するというカリキュラムラーニングの文脈でいう品質の高い順に相当する。また後半は逆に OSCAR, CC100, wiki の順で学習し、最後のデータに出力が引きずられやすいことを考慮して、品質の高いwiki データで締めくくる。以上の三点を抑える。実験(1)番のモデル:

比較用に(1)の設定の中で英: 日 $=3: 1 \rightarrow 1: 3$ の割合で学習するところを $1: 1$ で学習するように変える。

（言語間の特性を無視する場合）

実験(2)番のモデル:

()の設定の中で Llama 2 13B Chat モデルの重みを利用せずにスクラッチから学習をスタートする。

(継続学習をしない場合)

実験(3)番のモデル:

()の設定の中で wiki, CC100, OSCAR の順番にせず、 シャッフルして学習する。

(カリキュラムラーニングを無視する。)

これらの 4 つのモデルを比較し、特に学習結果に効く方法を確認し、また一部で途中のデータ区切りごとにチェックポイントの保存を行ったため、チェツクポイントごとの評価を行うことで、言語間転移の様子を観測できると期待できる。

## 2.4 学習環境と詳細設定

本実験の学習環境は Amazon EC2 Trn1 インスタンス (trn1.32xlarge) 64 ノードを使用した。学習フレー ムワークは AWS Neuron Reference for NeMo Megatron であり、Llama 2-13b の学習コードサンプルをべー スに改造し、本実験の継続学習、カリキュラムラー ニングが可能な状態にして使用した。AWS Neuron SDK のバージョンは 2.14 である。ハイパーパラメ一タとして、バッチサイズは Llama 2 [2] と同様に 4M トークンであり、学習率は Loss が比較的安定しているラインの $8.0 \times 10-5$ にした. カリキュラム学習における学習データのつなぎ時には学習率ウォームアップを実施して学習の安定化を図った。

## 3 実験結果と考察

## 3.1 各実験のモデル精度評価

2 節で行った各学習モデルに対して下流タスクの性能評価を行った。性能評価に関しては公開評価デ ータセットとベンチマークツールを用いた自動評価を行った。具体的には日本語版は stabilityAI 社の $1 \mathrm{~m}-$ evaluation-harness [7]、英語版は EleutherAI 社の $1 \mathrm{~m}$ evaluation-harness [8]を用いた。

lm-evaluation-harness の設定はfew_shot 数を一貫して 3 に固定して行った。英語の $1 \mathrm{~m}$-evaluation-harness

について行う。これらの推論タスクの結果を見て、学習が進んだとしても英語での推論能力が残存するか確認する。一方、日本語の $1 \mathrm{~m}$-evaluation-harness は JCommonsenseQA, JNLI, MARC-ja, JSQuAD, Jacket_V2, MGSM, JCoLA, JAQuAD という複数の夕スクについて行う。それぞれのタスクの設定は表 1 に記載した。

実験() (3)のモデル対して評価スコアの平均を計算した結果が表 2 である。表 $1 \mathrm{~lm}$-evaluation-harness (日) でのタスク設定

表 $21 \mathrm{~lm}$-evaluation-harness 英日ベンチマーク結果

結果的に最も精度が良くなるようセットアップした実験(ののモデルが良いスコアを出した。またモデルの重みにおいてスクラッチから学習が開始されている実験(2)のモデルに関しては英語で十分に事前学習された Llama2 の性能を活用できない手法であるため、他の実験モデルと比べ、大きく精度を落とした。 またこれは見方を変えると、圧倒的に英語事前学習の多い元の Llama2 モデルの重みを再利用することで、少量の数十 B 程度の継続学習で高英語性能から高日本語性能への言語間転移をしたということができる。

わずかな差であるが、実験(1)との比較により、前半に英語の割合を多くして学習し、後半で日本語を多く学習したほうが日英を均等に学習するよりも効率的に英語の知識転移を行えることが分かった。また、実験(3)との比較により、日本語だけでも高品質なデータから学習することは精度の改善に寄与することが分かった。これは日本語に関して、元の Llama2 モデルでは性能が高くないことから、新たに継続学習で入る日本語に対応するために品質に拘ったデータから加える必要があることを示唆している。

さらに英語のスコアを見ると、こちらも日本語同様に実験のの結果が最も良いスコアを出した。それだけではなく、実験(1)、実験(3)のスコア順も変化していない。2.1 節で説明した Tokenizer の重み利用の方法より、英語主体の元の Llama2 の embedding か

ら始まる重みを活用出来てはいるが、一部の重みはそうでないため、今回の継続学習で英語部も多少再学習が始まっていることになる。このときに、英語データの学習総量は実験(1)、実験(3)で変わらないが、日本語データの品質順に影響を受けて英語推論能力が実験(1)と実験(3)で変化する言語間波及が起きていると考えられる。

## 3.2 チェックポイントにおける評価

3.1 節では各実験の大きな単位で結果を評価したが、日本語の性能がどう変化しているか見るため、途中チェックポイントでも同様に精度を評価する。 $1 \mathrm{~m}$-evaluation-harness $の$ 中でも特に知識獲得+読解力を調べるため JCommonsenseQA, JSQuAD, Jacket_V2, JAQuADのタスクを測定した。タスク設定は表 1 と同様である。平均スコアで比較した結果が図 2 である。横軸は学習データの切り替え時の刻みであり、学習 step 数ではない。具体的には実験 (1)のデータ区分をもとに決めており、前半日本語 wiki, CC100, OSCAR データの学習終わりをそれぞれ $1 / 6,1 / 3,1 / 2$ とし、後半日本語 OSCAR, CC100, wikiデータの学習終わりをそれぞれ $2 / 3 、 5 / 6 、 1$ としている。

図 2 を見ると、最終的に精度が高いのは 3.1 節でも説明したように実験(ののモデルであるが、学習前半途中のチェックポイント (0.333) では、日英 $1: 1$ の割合で学習した実験(1)のモデルが高い精度を出している。これは実験(1)で学習の前半に英語の学習が優先されるような比率で行なっているため、日本語の性能が前半は上がり切っていない学習途中の様相を呈しているからである。しかしながら、基礎的な日本語能力を獲得し、後半に日本語の学習データが上昇した領域では両者の精度が逆転している。これは前半では英語が易しいデータに、日本語が難しいデータに相当するとも考えることができる。この傾向は日本語の学習データを難易度によらずシャッフルしている実験(3)の結果が実験(1)同様のなだらかな上がり幅をしているのを見れば関連を推測することができる。また、実験(1)、実験(1)共に品質の高い wiki のデータ学習時が高いスコアを出しており、途中のデータでデータ量確保のために品質を下げて学習データを増やした場合、最終的に品質の高いデ一タで学習し終える必要性も示している。図 2 各チェックポイントの日本語タスク性能

## 4 おわりに

本稿では，オープンな大規模言語モデルである Llama 2 13B Chat に対して日英コーパスデータを用いて語彙置換継続事前学習を行い，言語間転移について調査した結果を報告した。Tokenizer を改良し、 なるべく元のモデルの重みを再利用しながらカリキユラムラーニングを行うことで、ある程度の英語能を残したまま、性能の高い日本語モデルを作成することに成功した。また本稿の結果は Ricoh モデルの学習途中のものであり、ここからさらに継続学習した結果は[9]の発表を参照されたい。今後の展望としては、データセットをコーパス種や言語での大きな区分でなく、もっと小さいセクションでカリキュラムラーニングの手法を活用することである。またここまで実験した日英 2 言語に中国語を混ぜた三言語に拡張し、さらに大規模な 70B パラメーターのモデル作成にも取り組む予定である。

## 謝辞

本研究のモデル構築、開発実験にあたり， アマゾンウェブサービスジャパン合同会社の AWS LLM 開発支援プログラムにより多大な助力を受けました。感謝申し上げます。

## 参考文献

[1] "meta-llama/Llama-2-13b-chat $\cdot$ Hugging Face." Accessed: Jan. 11, 2024. [Online]. Available: https://huggingface.co/meta-llama/Llama-2-13bchat

[2] Hugo Touvron, et al., Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv preprint arXiv: 2307.09288, 2023.

[3] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[4] 中島大, 野崎雄太, 麻場直喜, 佐藤諒, 川村晋太郎，BPE を用いたトークナイザーの性能に対する、言語・語彙数・データセットの影響. 言語処理学会第 30 回年次大会, 2024.

[5] 野崎雄太，中島大，佐藤諒，伊藤真也，近藤宏，麻場直喜, 川村晋太郎. 大規模言語モデルに対する語彙置換追加事前学習の有効性の検証. 言語処理学会第 30 回年次大会, 2024.

[6] Yoshua Bengio, et al., Curriculum learning. ICML '09: Proceedings of the 26th Annual International Conference on Machine Learning, June, 2009. Pages 41-48.

[7] JP Language Model Evaluation Harness https://github.com/Stability-AI/lm-evaluationharness

[8] Language Model Evaluation Harness https://github.com/EleutherAI/lm-evaluationharness

[9] 麻場直喜, 野崎雄太，中島大，佐藤諒，池田純一伊藤真也, 近藤宏, 小川武士, 坂井昭一朗,川村晋太郎，語彙置換継続事前学習による日英バイリンガルモデルの構築と評価. 言語処理学会第 30 回年次大会, 2024 .


# 言語モデルの思考連鎖的推論における探索戦略の動的変化

青木洋一 ${ }^{1,2}$ 工藤慧音 1,2 曾根 周作 ${ }^{1}$ 栗林樹生 ${ }^{3}$
谷口雅弥 2 坂口慶祐 1,2 乾健太郎 ${ }^{3,1,2}$
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3} \mathrm{MBZUAI}$
\{tatsuki.kuribayashi, kentaro.inui\}@mbzuai.ac.ae,
masaya.taniguchi@riken.jp, keisuke.sakaguchi@tohoku.ac.jp
}

\{youichi.aoki.p2, keito.kudo.q4, sone.shusaku.r8\}@dc.tohoku.ac.jp,
## 概要

大規模言語モデルは探索が必要な複雑な推論問題においても一定の性能を示している．例えば推論過程を出力させる思考連鎖指示を用いることで，与えられた前提やゴールに対し, 方向感のある推論が可能である. 本研究では，大規模言語モデルの一連の推論において，探索に用いる手がかりが動的に変化していることを明らかにする．具体的には，思考連鎖的な推論の初期段階で，モデルは文の位置や質問文との類似度などの表層的な手がかりを用いた探索を行い，推論が進むにつれて最短経路を暗に計算する効率的な探索を行うことが分かった。

## 1 はじめに

与えられた事実や規則から結論を導く推論問題において，大規模言語モデル $[1,2]$ が一定の性能を示している. 例えば図 1 のように, 推論過程を出力させる思考連鎖（思考連鎖：与えられた前提やゴー ルに対して，段階的に思考をする過程を出力）を用いる事で推論能力が向上する $[3,4,5]$ 推論問題を見通しょく解くためには，次にどの事実や規則を選び適用すればよいかという探索を行う必要がある（探索: 与えられた前提やゴールから妥当な結論を導くこと） [6]. しかしながら，大規模言語モデルがどのような方針で探索を行なっているのかは分かっていない. 本研究では，思考連鎖指示の下で行われる推論について，推論が進む（ゴールへの距離が近づく）につれて，言語モデルの探索戦略が動的に変化している事を明らかにした．具体的には，思考連鎖的推論の段階では，大規模言語モデルは文の位置や質問文との類似度など表層的な特徴を活用した探索を行い，推論が進むにつれ，論理的に妥当な演算を行うことなどが分かった.

図1 思考連鎖を用いた場合，言語モデルは入力 $x$ に対して, 各推論ステップで推論過程 $z_{i}$ を出力する役割を担っている. 具体的には, 入力として $x=p_{1}, p_{2}, \ldots$ が与えられた時，推論ステップ $i$ では複数の推論経路候補の中から出力確率 $P\left(z_{i}\right)$ が最も高い推論経路 $z_{i}$ を出力する.

## 2 関連研究

## 2.1 思考連鎖

先行研究では, 推論問題に対する大規模言語モデル性能を向上させる方法として，少数の思考連鎖例を言語モデルに与える手法が提案された [3]. この研究では思考連鎖が $100 \mathrm{~B}$ 以上のモデルでのみ大幅な性能向上をもたらすことを発見し，思考連鎖を用いた推論を行うためには十分なモデル規模が必要であることを示した. その後の研究ではモデルの性能をさらに向上させるための思考連鎖手法の拡張が様々提案された $[7,8,9]$.

## 2.2 思考連鎖を用いた探索

先行研究では大規模言語モデルが深さ優先探索や幅優先探索を模倣した出力が可能である事が示された [4]. また，簡単な数当てゲームでは，大規模言語モデルが通常の深さ優先探索よりも効率が良い探索

図 2 言語モデルが探索時に次の推論経路の決定を行うための指標として使用している入力文中の情報は大きく分けて 2 つ考えられる．1）表層的な特徴: 質問文と類似する経路を選択するなど 2) 最短経路探索: 問題文中に含まれる論理的関係から，次の推論経路の選択を行う。

を行なっている事を発見した研究もあり，大規模言語モデルが何かしらの指標を用いて効率的な探索を実現している事が示された [5]. 本研究では，こうした探索が表層的な特徴や論理的関係を用いて行われている事を明らかにした。

## 3 問題設定

本研究では，推論問題における探索を考える。図 1 のように，言語モデルは与えられた問題文 $x$ に対して推論過程列 $z=\left[z_{1}, \cdots, z_{l}\right]$ を出力し, 最終的に結論 $\hat{y}$ 出す. ここで各推論ステップ $z_{k}$ は，1 文で表されるような命題とする.

本研究では，多段の推論が必要な数量推論データセットである GSM8K や人工的に作成されたデー タセットを用い，図 1 のような，いわゆる算数文章題を解くことを考える。問題文 $x$ は，前提集合 $\mathscr{P}=\left.\{p_{1}, \cdots, p_{m}\right.\}$ と問い $q$ からなる. 各前提 $p_{m}$ は 「太郎がりんごを 5 もっている」「次郎は太郎よりもりんごを 2 個多く持っている」といった事実であり，問い $q$ は「次郎はりんごを何個を持っているか」といったものである．問いに対する正解 $y$ は，特定の前提を順に「考慮」することで導くことができる. したがって，各推論ステップで出力される推論過程 $z_{i}$ は問題文中の前提集合 $\mathscr{P}$ 中のいずれかに言及することが望まれている。なお前提集合の中には，回答に関係のない情報も含まれている。正解 $y$ を導くための，過不足のない理想的な推論過程列 $z^{*}=\left[z_{1}^{*}, \cdots, z_{n}^{*}\right]$ を最短経路と呼び，最短経路を経た質問から回答までの一連の軌跡 $\left[q, z^{*}, y\right]$ を解と定義する. データセットに理想的な推論過程が付与されている場合は，それらを最短経路，解とする。

ここで問いになるのが，モデルが各推論ステップ $i$ において，どのような方針で推論過程 $z_{i}$ を選ぶかである。問題文中には質問と関係のない命題もあるため，例えば風潰しに前提を選んでいく戦略の場合，回答にたどり着くまでに冗長な前提を述べることになる。一方で，最短経路に準ずる前提を選ぶには，問いから関連する前提を逆算して同定しておく可能性があり，推論の高度な理解が求められる. 本研究では，言語モデルの推論能力の理解に向けて， どのような戦略で推論過程を生成しているかを調査する。

## 4 言語モデルの探索戦略

大規模言語モデルが適用する可能性のある推論過程探索戦略を列挙する。なお，どれかただ一つの戦略を採用しているという仮説ではなく，これらの組み合わせで探索している可能性も想定している.

## 4.1 最短経路選択

問題文を読んだ時点で，問いに答えるための最短経路を暗に計算し，推論過程として最短経路に従う前提を（ある種後付的な説明として）生成していく. 推論の理解および説明の冗長性という観点で，理想的な戦略である。

## 4.2 表層的な手がかりに基づく戦略

言語モデルは，しばしばデータの表層的手がかりに依存した振る舞いをする [10]. 大規模言語モデルが推論過程の探索で活用する可能性のある手掛かりとして，質問文との類似度, 語彙的特徴, 位置的特徴の 3 項目に焦点を当てる [10].

類似文選択：質問文と類似度の高い前提を推論過程として選んでいく. 大規模言語モデルは 2 つの入力間の特徴の重なりを表層的な手がかりとして活用する傾向があることが知られている $[11,12]$.

否定文回避：否定文では回答に関連する情報が増えていない可能性があるため, 否定文を避けて前提を選んでいく．例えば，言語モデルが否定語の有無を表層的な手がかりとして問題を解く振る舞いが観察されている $[13,14]$.

文位置バイアス： 問題文の先頭または末尾といった特定の位置で述べられている前提を優先的に選んでいく. モデルが位置を手がかりにして問題を解くふるまいもしばしば観察される [15].

## 5 実験設定

実験では，GPT-3.5-turbo，GPT-4 を評価対象とする. 推論問題として GSM8K を使用する。これは多段の推論が必要な数量推論データセットであり, 約 $1 \mathrm{~K}$ の評価データが含まれている.まず 6 節では，言語モデルが実際に 4.2 節で言及したような表層的バイアスを用いているかを調べる。次に 7 節において，この表層的バイアスに基づく探索が，特に序盤の推論過程を探索する段階でより好まれていることを示す.

## 6 実験 1 : 表層的手がかりの活用

## 6.1 データ

GSM8K の各問題に，表層的手がかりに基づく探索において選択されやすそうであり，かつ回答に関係のない文（ディストラクタ）を挿入し，推論過程表 1 GSM8K-overlap：GSM8K に対して,解答に無関係な文を 1 文追加したデータセット. 追加した文の主語には質問文の主語が必ず含まれている. 下線部分が新たに追加された文

Context: James's mother decides to run 2 sprints 2 times

a week. James decides to run 3 sprints 3 times a week.

James runs 60 meters each sprint.

Question: How many total meters does James run a week?

Answer: James sprints $3 * 3=\ll 3 * 3=9 » 9$ times..

表 2 GSM8K-not-overlap : GSM8K に対して,解答に無関係な文を 1 文追加したデータセット. 追加した文の主語には質問文の主語が含まれていない. 下線部分が新たに追加された文.

Context: Bob decides to run 2 sprints 2 times a week.

James decides to run 3 sprints 3 times a week. James runs 60 meters each sprint.

Question: How many total meters does James run a week? Answer: James sprints $3 * 3=\ll 3 * 3=9 » 9$ times..

を出力する際にモデルがそのデストラクタに言及してしまうかを調査する、モデルが推論過程を全て出力し質問に回答するまでの間に，一度でもディストラクタに言及してしまった場合，言及があったとする. それぞれの手がかりについて，ディストラクタを以下のように設計し，各設定で実験を行った。

類似文選択各問題における質問文の主語と同じ主語をもつ文をディストラクタとして追加する (GSM8K-overlap)．対照実験として，質問文と主語が同じでない文を追加したデータも作成し, 同様の実験を行う（GSM8K-not-overlap）。表 1 と 2 に例を示す. 両データセットに新たな文を追加する際，元の GSM8K の問題文その解答に矛盾や変化が起きないように追加を行った．詳細は appendixAを参照. 追加した文が思考連鎖上で使用される確率を GSM8K-overlap と GSM8K-not-overlap で測定した.

否定文回避 GSM8K の各問題に Xavier haven't 4 apples, Xavier have 4 apples のような not が含まれる文，または含まれない文を追加し，GSM8K-pos/neg として同様の実験を行った。

文位置バイアス GSM8K の各問題の先頭・末尾に新たな文を追加したデータセットをそれぞれ GSM8K-head/tail として作成し，同様の実験を行った.

## 6.2 結果

結果は表 3 のようになった. いずれの表層的手がかりにおいても，手がかりに合致する文のほうが推論過程で言及される可能性が高く, 多かれ少なか
表 3 解答を得るために必要のない文を 1 文追加した際に, LLM が CoT 中にその文を参照した確率. 質問文との重なりが大きい文, 肯定的な文や文頭に存在する文の参照確率は高い

表 4 言語モデルが最短経路を出力しないようにバイアスを与えた形式言語データセット. 最短経路上の推論過程には質問文とは異なる主語を使用。

Context: Peggy has 5 apples. Walter has 2 more apples than Peggy. Judy's mother has 3 less apples than Peggy. ...

Question: How many apples does Judy have?

Reasoning Processes: Peggy has 5 apples. Walter has 2 more apples than Peggy. ...

れ，探索時にこれらの手がかりを活用する傾向にあることが分かる. 特に，類似文選択によるバイアスが強いことも分かる.

## 7 実験 2 : 探索戦略の動的変化

次に，これらの表層的手がかりが推論過程全体のうち，特にどのタイミング（1 ステップ目など）で特に用いられやすいかを調査する。この実験では，類似文選択を表層的な手がかりとする文を，最短経路上にない推論過程の出力を促すディストラクタとして含め，形式言語データを用意した. データはそれ以外のバイアスが生じないように統制されており,このデータ上で最短経路に合致する前提を選択できた場合は，最短経路選択戦略を実現できていると積極的に言える. 表 4 にデータの例を示す. 形式言語データセットは解の最短経路の長さが 3 になるように作成した. また, 形式言語データを 100 例作成し，モデルは GPT-3.5-turbo と GPT-4を使用した.

このようなデータ上で推論における各ステップにおいて，入力文中に表層的な特徴を有する文（ディストラクタ）を加え，次の推論ステップにおいて， モデルが最短経路上の前提を選択（出力）するか, ディストラクタを選択（出力）するかを測定した. なお推論ステップ $n(n>1)$ の設定の場合, $n-1$ ステップ目までの推論過程としては，最短経路における最初 $n$ ステップをモデルに与えている.

図 3 に結果を示す. 緑の線が，最短経路上の前提を出力した割合であり，オレンジの線がディストラ

図 3 最短経路の長さが 3 の形式言語データセットを用意. 緑：言語モデルに最短経路の 02 ステップまでを与えた時に推論過程 $z_{i}$ として $\left[z_{1}^{*}, z_{2}^{*}, z_{3}^{*}\right]$ を出力した割合. オレンジ：言語モデルが論理的に妥当だが最短経路に含まれない推論過程 $z_{i}$ を出力した割合

クタを選択した割合である. 緑とオレンジの線に当てはまらない事例としては推論過程候補に存在しない，論理的に誤った出力が挙げられる. 結果として, GPT-3.5, GPT-4 共に推論が進むにつれて表層的な手がかりに依拠した出力は起こりにくくなり，最短経路に合致する出力が増加することがわかった. したがって，推論の初期段階では広い探索空間から解答へと近づく最短経路を判断できず表層的な手がかりを用い，探索空間が狭まるにつれて最短経路を発見できることを示唆する。また，GPT-4 は GPT-3.5 と比較して, 最短経路の選択が広い探索空間であっても高い確率で最短経路選択を行う能力を保持している事が分かった. これは， モデルサイズの増加に伴いより効率的な探索の実現可能性を示唆している.

## 8 おわりに

本研究では，大規模言語モデルの段階的推論において，探索に用いる手がかりが動的に変化することを明らかにした．具体的には，思考連鎖推論の初期段階では文の位置や質問文との類似度などの表層的な手がかりを用いた探索を行い，推論が進むにつれて最短経路を暗に計算する効率的な探索を行っている. 本実験ではモデルとして GPT 系列のモデルのみを採用したが，今後はより多くのモデルを対象にしていきたい. また，本論文で示した結果はあくまでモデルの振る舞いから推察されるものであり，モデル内部においてどのような処理がされているかを直接確かめられたわけではない. 今後, 本論文で示したような，大規模言語モデルが行なっている探索戦略の変化を内部表現に着目して検証していくことも目指す。

## 謝辞

本研究は，JST CREST JPMJCR20D2 及び JSPS 科研費 JP21K21343 及び理化学研究所の基礎科学特別研究員制度の支援を受けたものである.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurélien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. CoRR, Vol. abs/2302.13971, , 2023.

[3] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In NeurIPS, 2022.

[4] Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, and Karthik Narasimhan. Tree of thoughts: Deliberate problem solving with large language models. CoRR, Vol. abs/2305.10601, , 2023.

[5] Bilgehan Sel, Ahmad Al-Tawaha, Vanshaj Khattar, Lu Wang, Ruoxi Jia, and Ming Jin. Algorithm of thoughts: Enhancing exploration of ideas in large language models. CoRR, Vol. abs/2308.10379, , 2023.

[6] Herbert A. Simon. Search and reasoning in problem solving. Artif. Intell., Vol. 21, No. 1-2, pp. 7-29, 1983.

[7] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. In NeurIPS, 2022.

[8] Andrew K. Lampinen, Ishita Dasgupta, Stephanie C. Y. Chan, Kory W. Mathewson, Mh Tessler, Antonia Creswell, James L. McClelland, Jane Wang, and Felix Hill. Can language models learn from explanations in context? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, Abu Dhabi, United Arab Emirates, December 7-11, 2022, pp. 537-563. Association for Computational Linguistics, 2022.

[9] Eric Zelikman, Yuhuai Wu, Jesse Mu, and Noah D. Goodman. Star: Bootstrapping reasoning with reasoning. In
NeurIPS, 2022.

[10] Mengnan Du, Fengxiang He, Na Zou, Dacheng Tao, and Xia Hu. Shortcut learning of large language models in natural language understanding: A survey. CoRR, Vol. abs/2208.11857, , 2022.

[11] Yuxuan Lai, Chen Zhang, Yansong Feng, Quzhe Huang, and Dongyan Zhao. Why machine reading comprehension models learn shortcuts? In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL/IJCNLP 2021, Online Event, August 1-6, 2021, Vol. ACL/IJCNLP 2021 of Findings of ACL, pp. 989-1002. Association for Computational Linguistics, 2021.

[12] Priyanka Sen and Amir Saffari. What do models learn from question answering datasets? In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2429-2438. Association for Computational Linguistics, 2020.

[13] Mengnan Du, Varun Manjunatha, Rajiv Jain, Ruchi Deshpande, Franck Dernoncourt, Jiuxiang Gu, Tong Sun, and Xia Hu. Towards interpreting and mitigating shortcut learning behavior of NLU models. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek HakkaniTür, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pp. 915-929. Association for Computational Linguistics, 2021.

[14] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Anna Korhonen, David R. Traum, and Lluís Màrquez, editors, Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 4658-4664. Association for Computational Linguistics, 2019.

[15] Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, and Jaewoo Kang. Look at the first sentence: Position bias in question answering. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 1109-1121. Association for Computational Linguistics, 2020.

## A GSM8K の拡張データセットの作成方法

GSM8K の各拡張データセットを作成するため， まず初めに以下のような前処理を行う.
- GSM8K の各問題文に対して，「人名または人称代名詞が含まれている」かつ「数値が含まれている」文を抽出し，各問題文に追加する文の候補として保存する

-「問題文中に登場する人物が 1 人ではない」または「人名または人称代名詞が含まれていない」または「各問題文に追加する文候補がない」問題を削除する。

・すべての人称代名詞をその人称代名詞が指している人物名に変更
- 問題文に追加する文候補の数值を変更

続いて，各拡張データセット毎に，保存済みの文候補から各問題に文を 1 つ追加する処理を行う.

## A. 1 GSM8K-over/not-over

GSM8K-over，GSM8K-not-over では GSM8K の各問題に追加する文の主語を以下のように変化させた。
- over: 質問文中の人物名 $+「 s$ mother"|"’s father"|"’s son"|"'s neighborhood」
- not-over: 質問文中に登場しない人物名

この処理によって，新たに追加した文と質問文の重なりが相対的に大きい/小さいデータセットとして， GSM8K-over/GSM8K-not-over が作成できる.

## B プロンプト

実験 2 : 探索戦略の動的変化では表 5 のプロンプトを使用した。表 5 形式言語データセットを解く際の入力プロンプト

Answer the context question according to the following example.

Context: Walter has 1 apples. Ursula has 3 more apples than Walter. Victor has 3 more apples than Ursula. Quentin has 2 more apples than Ursula. Nancy has 3 more apples than Walter. Zoe has 3 more apples than Nancy. Heidi has 3 more apples than Nancy. Carol has 4 apples. Xavier has 3 more apples than Carol. Peggy has 4 more apples than Xavier. Dave has 3 more apples than Xavier. Bob has 1 more apples than Carol. Alice has 3 more apples than Bob. Sybil has 2 more apples than Bob.

Question: How many apples does Dave have?

Answer:

Carol has 4 apples, and Xavier has 3 more apples than Carol. So, Xavier has 7 apples.

Xavier has 7 apples, and Dave has 3 more apples than Xavier. So, Dave has 10 apples.

The final answer is 10.

Context: Context: Zoe has 6 more apples than Larry. Ivan has 4 more apples than Nancy. Olivia has 3 apples. Zoe has 3 less apples than Sybil. Sybil has -1 apples. Nancy has 0 apples. Carol has 5 less apples than Olivia.

Question: How many apples does Zoe have?

Answer:

Sybil has -1 apples, and Zoe has 3 less apples than Sybil.

So, Zoe has -4 apples.

The final answer is -4 .

Context: Context: Zoe has 10 more apples than Dave. Eve has 2 apples. Dave has 3 more apples than Eve. Yvonne has 3 more apples than Quentin. Yvonne has 3 less apples than Zoe. Zoe has 3 more apples than Grace. Trent has 3 more apples than Zoe. Ivan has 3 apples. Ursula has 3 more apples than Zoe. Grace has 3 apples. Zoe has 3 more apples than Ivan.

Question: How many apples does Yvonne have?

Answer: Eve has 2 apples, and Dave has 3 more apples than Eve. So, Dave has 5 apples.

Dave has 5 apples, and Zoe has 10 more apples than Dave. So, Zoe has 15 apples.

Zoe has 15 apples, and Yvonne has 3 less apples than Zoe. So, Yvonne has 12 apples.

The final answer is 12. Context: Victor has 1 more apples than Mallory. Judy has 3 less apples than Peggy. Rob has -2 more apples than Eve. Peggy has -5 apples. Walter has 3 more apples than Peggy. Eve has 3 apples. Peggy has 3 more apples than Walter. Mallory has 3 more apples than Eve.

Question: How many apples does Victor have?

Answer: Eve has 3 apples, and Mallory has 3 more apples than Eve. So, Mallory has 6 apples.

Mallory has 6 apples, and Victor has 1 more apples than Mallory. So, Victor has 7 apples.

The final answer is 7 .