# Integrated Gradients における理想の積分ステップ数はインスタ ンス毎に異なる

牧野雅紘 ${ }^{1}$ 浅妻佑弥 1,2 佐々木翔大 ${ }^{3,1}$ 鈴木潤 1,2
1 東北大学 2 理化学研究所 3 株式会社サイバーエージェント
\{masahiro.makino.r6, asazuma.yuya.r7\}@dc. tohoku.ac.jp
sasaki_shota@cyberagent.co.jp jun.suzuki@tohoku.ac.jp

## 概要

Integrated Gradints (IG) は、機械学習モデルの挙動を説明する手法である。IG は公理により値の加法性が保証される利点を持つが、実際は数値積分の誤差から公理が保証されない可能性がある。一方で、 IG の数値積分に関する分析の報告はなく、最適な積分ステップ数を導出する指針もない。そこで本研究では、積分誤差に関する分析を実施する。実験により、既存研究で広く用いられているステップ数の設定方法では、半数以上のインスタンスで過剩なステップ数となり、一部のインスタンスではステップ数が不足することを示す。本稿は IG のステップ数を分析した初めての研究報告であり、ステップ数を固定する既存の積分方法の問題点を明らかにする。

## 1 はじめに

特徵量帰属法 [1] とは、機械学習モデルが出力に寄与した特徴量を明らかにする方法であり、ブラックボックスである機械学習モデルの挙動を説明・分析することを目的に使用されている。特に特徵量帰属法の一種である Integrated Gradients (IG) [2] は、 その数学的性質と低い計算コストから、画像処理分野 $[3,4]$ や言語処理分野 $[5,6,7]$ で使用されている。

IG の持つ数学的性質の中でも重要視されるのが完全性 (Completeness) [2] である。特徴量の重要度である寄与度の加法性を保証する公理であり、寄与値を用いた演算や比較等の分析結果に正当性を担保する上で必要となる。

一方で、IG の計算では勾配の数値積分を使用するため、計算誤差が発生し得る。この計算誤差は加法性の破綻を引き起こすが、現在まで誤差に関する分析は報告されていない。また、計算誤差を低減するためには、数値積分の精度を決定する積分ステップ表 1 文章分類で IG を使用する際に設定されるステップ数 : 既存研究ではステップ数が全インスタンスに対して任意の値で静的に固定される。

数（以下、ステップ数と略記）の設定が重要になるが、既存研究では経験則で固定した数値を使用することが一般的であり（表 1)、適切なステップ数に関する指針は現状明らかになっていない。また、近年では BERT [8] のような多くのパラメータを持つ言語モデルが登場したが、これらのモデルに関するステップ数の設定は知見が不足している。

そこで、本研究では、言語モデルを含む複数の実験条件で IGにおけるステップ数と計算誤差に関して定量的に分析をおこなう（4.1 節)。その結果、半数以上のインスタンスについては想定よりも少ないステップ数で誤差が収束する一方で、一部のインスタンスに対しては非常に大きなステップ数を設定しても誤差が収束しない事例があることを示す。

また、非常に大きなステップ数を設定しても誤差が収束しないインスタンスに対して、定性的な分析を実施する (4.2 節)。分析により、積分過程で勾配が激しく変化する特徴量に誤差が発生しやすいことを示す。

本研究は、ステップ数による IG の変化を分析した初めての研究である。本研研究の実験結果から、既存の経験則による固定ステップ数の数値積分が非効率的かつ計算誤差を発生させる要因になっていることが示唆される。さらに、インスタンス毎に動的にステップ数を設定することで、効率的かつ計算誤差を低減できる可能性を示す。

## 2 Integrated Gradients

特徴量帰属法 [1] は特徴量の寄与値を計算する方法の総称であり、寄与値は各特徵量がモデル出力 （予測）にどの程度有用だったかを表す。Integrated Gradients (IG) [2] は特徴量帰属法の中で主要な手法であり、望ましい公理と単純な計算方法から、画像処理 $[3,4]$ や言語処理 $[5,6,7]$ で広く使われている。

入力ベクトル $\boldsymbol{x} \in \mathbb{R}^{n}$ における $i$ 番目の特徴量 $x_{i}$ の寄与度を計算する IG は以下の式で定義される。

$
\mathrm{IG}_{i}(\boldsymbol{x})=\left(x_{i}-x_{i}^{\prime}\right) \int_{\alpha=0}^{1} \frac{\partial F}{\partial x_{i}}\left(\boldsymbol{x}^{\prime}+\alpha\left(\boldsymbol{x}-\boldsymbol{x}^{\prime}\right)\right) d \alpha
$

ここで、 $F$ は微分可能な機械学習モデル、 $x^{\prime}$ はべー スラインベクトル (3.2 節参照)を表す。

$\alpha$ が $[0,1]$ の値域で変化する計算過程において、 ベースラインベクトルから入力ベクトルへの直線経路に沿って勾配の数値積分を行う。ここで、数値積分の際のサンプリング点は数値積分法とステップ数によって決定される。各サンプリング点で逆伝搬の計算を行う必要があるため、ステップ数に比例して計算コストが増大する. しかし、ステップ数の不足は大きな積分誤差を招く。そのため、誤差と計算コストはトレードオフの関係にあり、適切なステップ数を設定する必要がある [14]。

IG の完全性公理各次元 $i$ における IG の総和は、与えられた入力 $x$ に対するモデル出力值からべースラインベクトル $x^{\prime}$ に対するモデル出力值を引くことで得られる。

$
\sum_{i=1}^{n} \mathrm{IG}_{i}(x)=F(x)-F\left(x^{\prime}\right)
$

この性質は完全性 (Completeness) [2] といい、IG が満たす数学的な公理の一つである。

積分ステップ数の設定における課題完全性公理は寄与値の加法性を保証するため、寄与値を用いた演算や分析の正当性を担保するために重要である。しかしながら、実用上は数値積分による誤差が発生するため、この公理が崩れる場合がある。誤差を十分に抑制するためには、十分なステップ数を設定する必要がある。いくつかの既存研究では、誤差の抑制に必要なステップ数について言及している。CNN モデルを用いた文章分類では 20 から 300 ステップ、LSTM を用いた翻訳タスクでは 100 から 1000 ステップを使用している [2]。しかし、多くの既存研究でステップ数は、経験則に基づいて設定さ
れた値であり、定量的な分析によって設定された値ではない（表 1）。また、BERT [8]のような多くのパラメータを持つ言語モデルに必要なステップ数について分析した研究は存在しない。現状のままであれば、適切なステップ数を設定できず誤差を十分に減少できない状況で IG を使用してしまう可能性があり、IG の結果の信頼性に疑問が生じる。そのため、 ここでは完全性公理に基づいて算出される IG の理論値と数值積分によって算出される IG の実測値の誤差を測定し、ステップ数による寄与値の変化を定量的に分析する。

## 3 実験設定

現在の言語処理分野では、BERT のような事前学習モデルを、文章分類のような下流タスクにファインチューニングする手法が一般的である。そのため、ここでは複数のデータセットで事前学習モデルのファインチューニングを行い、指定のタスクを十分に解けるモデルを用意した。その後、ステップ数に基づく IG の変化を観測した。

## 3.1 IG の誤差指標

相対誤差 (Relative error; RE) [2] は、理論値に対する実測値の乘離を測定する指標である。各ステップ数における相対誤差は以下の式で計算する。

$
\operatorname{RE}(\boldsymbol{x})=\left|\frac{\sum_{i} \widetilde{\mathrm{IG}}_{i}(\boldsymbol{x})-\left(F(\boldsymbol{x})-F\left(\boldsymbol{x}^{\prime}\right)\right)}{F(\boldsymbol{x})-F\left(\boldsymbol{x}^{\prime}\right)}\right|
$

ここで、 $\sum_{i} \widetilde{I}_{i}(\boldsymbol{x})$ は数値積分により求めた実測値の $\mathrm{IG}$ の和である。相対誤差は IG の理論和値と実測値の乘離を表す。

## 3.2 ベースラインベクトル

IG における適切なべースラインベクトルの設定は、今もなお議論されている $[15,16,13]$ 。本実験では、ベースラインベクトルはモデルにとって最小限の情報量を持つべきであるという考え方に基づき、最大エントロピーベースラインを使用した [16]。このベクトルは、テストデータセットにおいてモデル出力が最も一様に分布したべクトルである。

## 3.3 データセット・モデル

文章分類において広く使用されている $\mathrm{AG}$ News [17]、20 News [18]、SST2 [19] データセットを用いた。AG News と 20 News は、ニュース記事とカ

図 1 左の箱ひげ図 : 赤い線は各ステップ数の相対誤差平均を表し、各点は 1インスタンスの相対誤差を表す。右のヒストグラム：各インスタンスの理想的なステップ数。縦軸はインスタンス数、横軸は理想ステップ数。インスタンスによって理想的なステップ数が異なるが、60 のインスタンスで理想ステップ数が 100 ステップ以内であった。

テゴリラベルから構成され、カテゴリ数はそれぞれ 4 つのカテゴリ、20のカテゴリが存在する。SST2 は、映画のレビュー文と感情ラベルから構成され、肯定的・否定的の 2 つのラベルが存在する。データセットの詳細は付録 A. 1 に示す。分類モデルに用いる言語モデルとして、BERT [8] と RoBERTa [20] のベースモデルとラージモデルの両方を使用した。モデルの詳細は付録 A. 1 に示す。

## 3.4 その他の実験設定

IG を計算する際の数值積分法は右リーマン和とガウス・ルジャンドル積分を使用した。本研究の検証実験では各ステップ数における誤差を計算する必要があるため、非常に多くの実験時間を要する。現実的な実験時間に抑えるために、各データセットのテストデータから 100 個のインスタンスを無作為にサンプリングした。

## 4 実験結果

数値積分法として右リーマン和とガウス・ルジャンドル積分の 2 種類の方法を用いて実験を行ったが、右リーマン和がガウス・ルジャンドル積分よりも良い結果を示す傾向にあったため、ここでは右リーマン和の結果を報告する。詳細は付録 A. 3 に示す。また、複数のモデルを用いて実験を行ったが、概ね同様の傾向を示したため、ここでは BERT(large)-AGnews を用いた結果のみを示し、他のモデルの結果は付録 A. 4 に示す。

## 4.1 誤差の定量分析

指定したステップ数で IG を計算した場合に発生した誤差を定量的に解析した。ステップ数 100、 300、1000、2000、5000 において IG を計算し、相対誤差を求めた。

図 1 左の箱ひげ図の結果から、膨大なステップ数であっても、大きな誤差を持つインスタンスが存在することが観測された。たとえ、ステップ数として 5000 を設定しても、相対誤差が $100 \%$ より大きけンプルが存在し、最大で相対誤差が $700 \%$ より大きいインスタンスも確認した。これらの結果は、大きなステップ数を確保することが、より小さな誤差を保証するわけではないことを示す。

また、図 3 において、ステップ数の増加に伴い相対誤差が激しく上下動するインスタンスが観測された。この事例より、ステップ数の増加に伴い相対誤差が単調減少するわけではないことを確認できた。

より詳細な分析を行うため、各インスタンスにおける理想的なステップ数の分布を調べた。ここで、相対誤差が最初に 5\%以内に収まるステップ数を理想的なステップ数として定義する [2]。図 1 右のヒストグラムから、1000 回以内のステップ数に理想的なステップ数が存在するインスタンスが 100 インスタンス中 98 インスタンス確認された。このうち、 100 回のステップ数以内で理想的なステップ数を持つインスタンスが 60 存在した。この結果は、たとえ BERT のような言語モデルであっても、半数以上のインスタンスでは 100 回程度の少ないステップ数

図 2 単語ごとの寄与 : 各行の上は固定ステップ数を想定し、下は理想ステップを使用した場合の可視化。

図 3 あるインスタンスのステップ数ごとの相対䛊差 : ステップ数を増やせば相対誤差が単調減少するわけではないことを示している。

でも問題なく誤差が収束することを示す。その一方で、1000 回以上のステップ数を設定したとしても、一部のインスタンスでは誤差は十分に収束しない。 この実験によって、全インスタンスで固定のステップ数を指定する現在の IG の計算方法は、非効率的かつ完全性の保証が困難であることが示唆された。

## 4.2 誤差の定性分析

4.1 節の実験により、非常に大きなステップ数を設定した環境下でも、誤差が収束しないインスタンスが確認された。原因を探るため、誤差が収束しないインスタンスについて定性的な分析を行った。

図 2 に、誤差が発生するインスタンスに対する可視化の結果を示す。各単語に対応する各次元の寄与の和を各単語の寄与とし、緑色は正の寄与、赤色は負の寄与を表す。最も濃い色合いは、各単語寄与の中で最も大きな絶対値に割り当て、色は 0 に近づくにつれて薄くなる。このルールは文献 [2] で採用されている。誤差が発生した場合、全ての特徴量で寄与値が変化するのではなく、特定の特徵量に集中し
て值が大きく変化することが確認できる。この結果より、積分による IG の寄与值の集約の際に、入力ベクトルの全ての次元に関して小さな誤差が蓄積するのではなく、ある特定の次元に対して大きな誤差が発生すると推察される。

## 5 考察

分析から、インスタンス毎に必要なステップ数は異なることが明らかになった。したがって、特定の誤差を下回るまでステップ数を順次増やし、誤差を減らすことを推奨する。例えば、最初にステップ数を $2^{n}$ とし、誤差が一定に収束するまで $n$ を増加させ実行することで、IG が完全性を満たすことを保証できる。また、インスタンスごとにステップ数を最適化すれば、多くのインスタンスで必要なステップ数が削減できることが本実験の分析で示されているため、より効率的に IG を計算することができる。

## 6 結論

IG におけるステップ数は、データセットやモデルごとに研究者が経験則に基づいて主観的に決定しており、IGの信頼性に疑問がある。本研究では、 ステップ数ごとの誤差を定量的に分析した。その結果、理想的なステップ数はインスタンスごとに異なること、十分なステップ数を確保しても、誤差の減少を保証することはできないことを明らかにした。 これらの結果から、モデルやデータセットごとにステップ数を固定する現在の主流の方法では、例え十分なステップ数を確保したとしても、結果が破綻したインスタンスが生成され、IG の解析結果の信頼性が損なわれるリスクがあることがわかった。これを解決するために、インスタンスごとにステップ数を設定することを提案した。本研究は、ステップ数による IG 値の変動を定量的に分析し、既存の IG の問題点を明らかにした初めての研究である。

## 謝辞

本研究は JST ムーンショット型研究開発事業 JPMJMS2011-35（fundamental research)の支援を受けたものである。

## 参考文献

[1] Sheikh Rabiul Islam, William Eberle, Sheikh Khaled Ghafoor, and Mohiuddin Ahmed. Explainable artificial intelligence approaches: A survey. ArXiv, Vol. abs/2101.09429, , 2021.

[2] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks, 2017.

[3] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, and Been Kim. Sanity checks for saliency maps, 2020.

[4] Andrei Kapishnikov, Tolga Bolukbasi, Fernanda Viégas, and Michael Terry. Xrai: Better attributions through regions, 2019.

[5] Soumya Sanyal and Xiang Ren. Discretized integrated gradients for explaining language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10285-10299, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Sandipan Sikdar, Parantapa Bhattacharya, and Kieran Heese. Integrated directional gradients: Feature interaction attribution for neural NLP models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 865-878, Online, August 2021. Association for Computational Linguistics.

[7] Joseph Enguehard. Sequential integrated gradients: a simple but effective method for explaining language models, 2023.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[9] Frederick Liu and Besim Avci. Incorporating priors with feature attribution on text classification, 2019.

[10] Lucas Dixon, John Li, Jeffrey Sorensen, Nithum Thain, and Lucy Vasserman. Measuring and mitigating unintended bias in text classification. In Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, AIES '18, p. 67-73, New York, NY, USA, 2018. Association for Computing Machinery.

[11] Soumya Sanyal and Xiang Ren. Discretized integrated gradients for explaining language models, 2021.

[12] Tessa Han, Suraj Srinivas, and Himabindu Lakkaraju. Which explanation should i choose? a function approximation perspective to characterizing post hoc explanations, 2022.

[13] Jasmijn Bastings, Sebastian Ebert, Polina Zablotskaia, Anders Sandholm, and Katja Filippova. "will you find these shortcuts?" a protocol for evaluating the faithfulness of input salience methods for text classification, 2022

[14] Gabriel Erion, Joseph D. Janizek, Pascal Sturmfels, Scott Lundberg, and Su-In Lee. Improving performance of deep learning models with axiomatic attribution priors and expected gradients, 2020.

[15] Pascal Sturmfels, Scott Lundberg, and Su-In Lee. Visualizing the impact of feature attribution baselines. Distill, 2020. https://distill.pub/2020/attribution-baselines.

[16] Hanxiao Tan. Maximum entropy baseline for integrated gradients. In 2023 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2023.

[17] Antonio Gulli. Agnews, 2004. http://groups.di.unipi.it/ qulli/AG_corpus_of_news_articles.html.
[18] Youngjoong Ko. A study of term weighting schemes using class information for text classification. In Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '12, p. 1029-1030, New York, NY, USA, 2012. Association for Computing Machinery.

[19] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[20] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

## A 付録

## A. 1 データセット・モデル

表 2 に本研究で使用したデータセットの詳細を示す。 また表 3 に本研究で使用したモデルのテストデータにおける正解率を示す。

表 2 データセットの詳細

表 3 各モデルのテストデータにおける正解率

## A. 2 理想ステップ数

現実的な実験時間に抑えるために、理想ステップ数は 1000 回以内の範囲で測定している。表 4 に示すように、 100 のインスタンス中、ほとんど全てのインスタンスの理想ステップ数が 1000 回以内に収まっている。

表 4 理想ステップ数が 1000 以内のインスタンス数

## A. 32 つの積分方法の比較

右リーマン和とガウスルジャンドル積分の誤差低減においての比較を図 4 に報告する。紙面の都合上全ての実験設定における結果を載せることができないため、 BERT_large モデルにおける実験設定の結果のみを報告する。図 4 において、右リーマン和の平均相対誤差は、ガウスルジャンドル積分のものと比べステップ数を増大するにつれて、より早く平均相対誤差が減少していることがわかる。報告していない実験設定においても同じ傾向が見られた。

## A. 4 誤差の定量分析

4.1 節において報告した誤差の定量分析について、その他の実験設定の結果も報告する。紙面の都合上全ての実験設定における結果を載せることができないため、図 5 に BERT (large) の結果とより特徴的な結果となった RoBERT (large)_AGnews についての結果を報告する。多くのステップ数を確保しても誤差が減少しないインスタンスが存在する。特に RoBERT (large)_AGnews については、ステップ数の増大が誤差低減に必ずしも繋がらないことを顕著に表している。また多くのインスタンスの理想ステップ数が 100 近くに存在する。報告していない実験設定においても同じ傾向が見られた。

図 4 右リーマン和とガウスルジャンドル積分それぞれの平均相対誤差。青色が右リーマン和の結果で、オレンジ色がガウスルジャンドル積分の結果。

(a) BERT(large)_20News における誤差の定量分析

(b) BERT(large)_SST2 における誤差の定量分析

(c) RoBERTa(large)_AGnews における誤差の定量分析

図 5 左の箱ひげ図 : 赤い線は各ステップ数の相対誤差平均を表し、各点は1インスタンスの相対誤差を表す。右のヒストグラム：各インスタンスの理想的なステップ数。縦軸はインスタンス数、横軸は理想ステップ数。


# 文脈構造を利用した埋め込み表現学習の提案

原田慎太朗
株式会社東芝研究開発センター
shintaro.hk4@toshiba.co.jp

## 概要

文や画像などの埋め込み表現は、検索をはじめとしたアプリケーションに利用されており、関連研究が盛んに進んでいる。先行研究では、文脈構造を明示的に利用せずに同一の文および画像を正例としてそれ以外を負例とする対照学習が主流である。しかし、埋め込み表現を構築する上で文脈構造を利用することは重要である。本稿では、文脈構造を考慮することで表現能力を向上させるための最適輸送を用いた教師なし埋め込み学習手法を提案する。結果として、STS-B および SICK-R における定量評価では、最高性能と同等以上の性能を達成し、定性評価では、文脈構造の利用により頑健かつ質の良い埋め込み表現が得られた。

## 1 はじめに

埋め込み表現とは、テキストや画像などを表現する密ベクトルであり、類似事例検索や検索拡張生成 (Retrieval Augmented Generation: RAG) などのアプリケーションに利用されている。近年、注目を集めている埋め込み表現学習として、同一のテキストおよび画像を拡張したものを正例とし、その他のテキストおよび画像を負例とする教師なし対照学習がある。これらは教師なし学習にも関わらず、質の高い埋め込み表現を獲得できることが自然言語処理 [1] および画像処理 [2] において確認されている。文の埋め込みに対する教師なし対照学習である SimCSE[1] は追加のモジュールが必要なくドロップアウト [3] による単純な正例の拡張から質の良い埋め込み表現を獲得できるフレームワークとして知られている。しかし、先行研究では、文の埋め込み表現だけに着目して対照損失を計算するため、理想的な文の埋め込みを組み立てるうえで重要な文脈構造をうまく捉え切れていないと考える。

文脈構造を理解する上で、語順を正しく理解することは重要であり、この並び変え問題は様々な語学教育で取り入れられている。本稿では、語順の並び変え問題を参考にして、文脈構造予測を反映した対照損失を提案する。具体的には、ある文に着目して、文を構成するトークンの語順を入れ替えることで正例を作成する。拡張した文から元の文へと輸送することで語彙の並び替えを学習する。つまり、 シャッフルされたトークン表現が正しく文脈を捉えられているかの判定を最適輸送を介して対照損失に組み込む。これにより、文脈構造を考慮しつつ文の埋め込みを獲得することができる。また、追加のモジュールを必要としないため、追加コストが発生しない。実験の結果、定量評価において文脈構造の獲得がより質が高い文の埋め込み表現の獲得に寄与し、定性評価において文脈構造の獲得がノイズに頑健な類似事例検索に寄与していることを確認した。

## 2 最適輸送

最適輸送とは、ある分布と別の分布の距離を計算するためのアルゴリズムである。分布の間の距離および対応関係（アライメント）を得ることができるため、類似度計算 [4] や機械翻訳 [5] など様々な自然言語処理に利用されている。輸送問題を解くためには、入力として、輸送前の分布 $\mu_{s}$ 、輸送後の分布 $\mu_{s^{\prime}}$ 、分布間の輸送コストを定める距離尺度 $d$ の 3 つを必要とする。

$
\mu_{s}=\left.\{\left(x_{i}, m_{i}\right)\right.\}_{i=1}^{n}, \quad \mu_{s^{\prime}}=\left.\{\left(x_{j}^{\prime}, m_{j}^{\prime}\right)\right.\}_{j=1}^{n^{\prime}}
$

ここで、 $\mu$ は点 $x_{i} \in \mathbb{R}^{d}$ に質量 $m_{i} \in[0,1]$ を対応させた確率分布である。なお、条件として $\sum_{i} m_{i}=1$ を満たすものとする。

最適輸送は分布の間の輸送コストを最小化する最適化問題として下記のように記述される。

$
\begin{gathered}
\min _{T \in u\left(\mu_{s}, \mu_{s^{\prime}}\right)} \sum_{i, j} T_{i, j} c\left(x_{i}, x_{j}^{\prime}\right) \\
u\left(\mu_{s}, \mu_{s^{\prime}}\right)=\left.\{T \in \mathbb{R}^{n \times m} ; T_{i, j} \geq 0, T \mathbb{1}=m, T^{T} \mathbb{1}=m^{\prime}\right.\}
\end{gathered}
$

ここで、 $T \in R^{m \times n}$ は輸送計画行列であり、 $c\left(x_{i}, x_{j}^{\prime}\right)$ は $x_{i}$ と $x_{j}^{\prime}$ の間の輸送コスト計算する関数である。 なお、分布の点にはトークン埋め込み表現、分布の質量には一様な重み、輸送コストには、ユークリッド距離を用いる [6]。

輸送問題を解くことで、出力として、分布の間の最適輸送コストとそれぞれの分布に含まれる点の対応関係（輸送計画行列）を獲得できる。輸送計画行列に含まれる要素である輸送量は $T_{i, j}$ は $x_{i}$ と $x_{j}^{\prime}$ が近ければ大きくなるため、 $x_{i}$ と $x_{j}^{\prime}$ の間の類似度として利用できる。

## 3 SimCSE：代表的な埋め込み学習

文の埋め込み表現学習に対照学習を用いた先行研究の 1 つである SimCSE は、教師なしに正例の組を作るために、ドロップアウトによるデータ拡張を採用している。具体的には、同じ埋め込み表現に対して異なるドロップアウトを適用することで、元の意味は同じだが異なる埋め込み表現を獲得する。そして、図 1 に示す通り、文の埋め込みであるCLS トー クンの潜在表現を対照損失を介して互いに近づくよう学習する。

ドロップアウト拡張正例の拡張としてドロップアウトによる潜在空間でのトークンのマスキングを行う。文の長さが 10 の時、削除する割合を $p_{\text {dropout }}=0.1$ とすると、潜在空間において 1 個のトークン表現がランダムにマスキングされることを示す。なお、ドロップアウト層は新たに追加するのではなく、モデルに含まれるドロップアウト層を利用する。

目的関数ドロップアウト拡張により得られた正例の組を下記の目的関数を介して近づける。なお、教師なし対照学習では、同じ文から拡張された文のみを正例とし、バッチ内に含まれるその他の文を負例とする。そのため、似た意味の文にもかかわらず負例として扱う場合があり、これは問題である。そこで、損失関数に負例は利用しない。

$
L=-\log \frac{e^{\sin \left(h_{i}^{z_{i}}, h_{i}^{\hat{z}_{i}}\right) / \tau}}{\sum_{j=1}^{N} e^{\left.\operatorname{sim}_{i}^{z_{i}}, h_{j}^{\hat{j}_{j}}\right) / \tau}}
$

ここで、 $N$ はバッチサイズ、 $h$ はモデルより得られた潜在表現、 $\operatorname{sim}(x, y)=\cos (x, y)$ は埋め込み表現である $x$ と $y$ の cosine 類似度を計算する関数、 $z$ と $\hat{z}$ は適用された異なるドロップアウト、 $\tau$ は類似度に対する敏感さを制御する温度パラメータである。

図1 文の埋め込み表現における対照学習の概要。上が先行研究 $[1,7]$ で提案された CLS トークン間のみに着目する対応関係の例である。下が本稿で提案する全てのトー クン間に着目する対応関係の例である。

## 4 最適輸送に基づく埋め込み学習

最適輸送を用いてシャッフルした文を正しい文に近づけることで並び替え問題を解く。並び替え問題として解くためには、ある文に対してシャッフルした文（問題）と何もしない文（正解）を用意して、 ドロップアウト拡張により得られた正例の組を元の位置を参照して近づける。これにより、文脈構造を考慮した頑健な埋め込み表現が得られる。また、図 1 に示すように、ある 1 つ埋め込み表現に着目して対照学習を行う先行研究 $[1,7,8]$ とは異なり、本研究は全ての埋め込み表現に着目して対照学習を行う。

並び替え拡張正例の拡張としてシャッフルによるトークンの入れ替えを行う。文の長さが 10 の時、入れ替える割合を $p_{\text {shuffle }}=0.1$ とすると、 2 個のトー クンがランダムに入れ替わることを示す。この時、 シャッフルされる前の位置番号は保持して、対照損失の計算における正例の参照に利用する。なお、元の文とは関係がない特殊トークンの CLS や PAD 等は大れ替えの対象から外した。

目的関数ドロップアウトおよび並び替え拡張により得られた正例の組を用いて、最適輸送で最適輸送行列を得る。そして、図 1 に示す通り、正例の位置番号を参照して最適輸送コストを類似度として下記の目的関数を介して近づける。なお、先行研究と同様に負例は利用しない。

$
L=\frac{1}{N} \sum_{k=1}^{N}-\log \frac{e^{\mathrm{ot}\left(h_{i}^{z_{i}}, h_{i}^{\hat{z}_{i}}, d\right) / \tau}}{\sum_{j=1}^{T} e^{\operatorname{ot}\left(h_{i}^{z_{i}}, h_{j}^{\hat{z}_{j}}, d\right) / \tau}}
$

ここで、 $N$ はバッチサイズ、 $T$ はトークン数、 $h$ はモデルより得られたトークンの埋め込み表現、

表 1 STS-B と SICK-Rにおける文の埋め込み表現の定量評価。最も高い值は太字で表す。

$\operatorname{ot}(x, y ; d)$ は埋め込み表現である $x$ と $y$ の間の最適輸送量を計算する関数、 $z$ と $\hat{z}$ は適用された異なるドロップアウト、 $\tau$ は類似度に対する敏感さを制御する温度パラメータである。

## 5 実験および評価

## 5.1 学習設定

訓練設定は、先行研究 [1] に従う。学習データは英語の Wikipedia データであり、テキストサイズはランダムにサンプリングされた $10^{6}$ 文である1)。モデルおよびトークナイザには事前学習済みの bert-base-uncased を用いた2)。学習に用いた八イパーパラメータは先行研究 [1] を参考にした。追加の最適輸送に伴うドロップアウト拡張と並び替え拡張のハイパーパラメータには、それぞれ $p_{\text {dropout }}=0.1$ と $p_{\text {shuffle }}=0.1$ を設定した。モデルの学習には NVIDIA RTX A6000 GPU 1 枚を用いた。比較対象として、同じ教師なしモデルである BERT[9]、 SimCSE[1]、DiffCSE[7] を採用する。なお、モデルサイズは base で統一する。

## 5.2 評価結果

評価設定は、比較対象である先行研究 [1] に従う。評価ベンチマークには、STS-B と SICK-Rを用いた。 それぞれのベンチマークには、 2 文の間の類似度 $[0.0,5.0]$ がアノテーションされている。評価指標には、モデルが予測したコサイン類似度と人手評価の類似スコアのスピアマンの相関係数を計算した。また、条件を整えるために、文の埋め込み表現には、 CLS トークンの埋め込み表現ではなく、全てのトー クンの平均埋め込み表現を用いた。

表 1 より、最高値を示す先行研究 [7] と比較して、 STS-B では 1.3 ポイント向上、SICK-R では 0.15 ポイント低下、平均では 0.58 ポイント向上することが分かる。また、追加モジュールとして Generator

1) https://github.com/princeton-nlp/SimCSE

2) https://huggingface.co/bert-base-uncased
と Dicriminator を必要とする DiffCSE と比較しても、追加モジュールなしに同等の結果を示すことが分かる。

## 6 考察

提案モデルが SimCSE よりも良い性能を示すことを説明するために、定性評価として類似事例検索を行う。STS-B のテストセットにおける全ての文（計 2,758 個）をデータベースとして利用して、クエリ文とデータベースに含まれる文をエンコードした埋め込み表現の間のコサイン類似度を計算することで、最近傍文を取得する。類似事例検索で得られた上位 3 例を表に示す。

1 つ目の検索クエリは、“unfortunately the answer to your question is we simply do not know.” である。両モデルともに正解を第 2 位の回答として取得している。しかし、第 1 位の回答として、SimCSE は、“my answer to your question is 'probably not'." を選択しており適切ではないが、提案モデルは “unfortunately, this question cannot be answered in its full generality." $と$ 適切なものを選択している。これより、提案モデルは文脈の意味を正しく理解して文の埋め込み表現を構築できている。2つ目の検索クエリは、“a man sleeps with a baby in his lap.”である。SimCSE は正解の回答を第 1 位の回答として取得しているが、提案モデルは第 2 位の回答として取得している。ただし、“赤几坊を膝にのせて寝る” という情景は後者のほうが適切であり、提案モデルは文脈の意味を正しく文の表現に反映できている。

提案モデルが SimCSE よりも頑健に動作することを説明するために、定性評価として類似事例検索を行う。データベースは前述と同様の STS-B のテストセットであり、クエリ文とデータベースに含まれる文をエンコードした文の埋め込み表現の間のコサイン類似度を計算することで、最近傍文を取得する。類似事例検索で得られた上位 3 例を表に示す。

クエリは、前述した類似事例検索と同じであるが、なるべく意味が変わらないように語順を入れ替えた。1つ目の検索結果の順位について、SimCSE では全ての順位に対して変動があるが、提案モデルでは順位の変動がない。2つ目の検索の順位について、両モデルにおいて順位の変動を確認した。これより、提案モデルのほうが、文法的に正しくないクエリを与えても頑健に機能することが分かる。これは、類似事例検索として有用な要素である。

 \\

表 2 文法的に正しい文に対する SimCSE と提案モデルを用いて検索された上位 3 事例。左の列は検索の順位を示す。

 \\

表 3 文法的に正しくない文に対する SimCSE と提案モデルを用いて検索された上位 3 事例。左の列は検索の順位を示し、セミコロン前の番号は図 2 の類似事例検索での順位を示す。

## 7 おわりに

本稿では、文脈構造を捉え頑健な文の埋め込みを構築するために、語順の並び替え問題から着想を得た、最適輸送による対照学習手法を提案し検証した。結果として、追加のモジュールなしに先行研究と比較して同等以上の性能を発揮することを確認した。さらに、文の埋め込み表現の構築に文脈構造の利用が重要であることを確認した。ただし、正例を作るための並び替え拡張により入力の意味が変化する場合があり、これは今後の課題とする。

今後は、正例の拡張および損失関数におけるバリエーション (ハイパーパラメータの調整、潜在空間での正例拡張、負例の利用）の調査と日本語 [10]を含めた様々な言語の評価データセットにおいて検証に取り組みたい。また、提案手法は、画像パッチをトークンと見立てた画像処理モデルにも応用可能であり、画像埋め込み表現の質についても調査に取り組みたい。

## 参考文献

[1] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Empirical Methods in Natural Language Processing (EMNLP), 2021.

[2] Kouta Nakata Yaling Tao, Kentaro Takagi. Clusteringfriendly representation learning via instance discrimination and feature decorrelation. Proceedings of ICLR 2021, 2021.

[3] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014.

[4] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 29442960, Online, November 2020. Association for Computational Linguistics.

[5] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, and Lei Li. Vocabulary learning via optimal transport for neural machine translation. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the
59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7361-7373, Online, August 2021. Association for Computational Linguistics.

[6] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Weinberger. From word embeddings to document distances. In International Conference on Machine Learning, 2015.

[7] Yung-Sung Chuang, Rumen Dangovski, Hongyin Luo, Yang Zhang, Shiyu Chang, Marin Soljacic, Shang-Wen Li, Scott Yih, Yoon Kim, and James Glass. DiffCSE: Difference-based contrastive learning for sentence embeddings. In Marine Carpuat, Marie-Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4207-4218, Seattle, United States, July 2022. Association for Computational Linguistics.

[8] Yixuan Su, Fangyu Liu, Zaiqiao Meng, Tian Lan, Lei Shu, Ehsan Shareghi, and Nigel Collier. Tacl: Improving BERT pre-training with token-aware contrastive learning. CoRR, Vol. abs/2111.04198, , 2021.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda. Japanese SimCSE Technical Report. arXiv:2310.19349, 2023.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Inductive-bias Learning :大規模言語モデルによる予測モデルの生成

田中 冬馬 ${ }^{1}$ 江本 直史 ${ }^{1}$ 弓林 司 1
1 株式会社ブレインパッド
\{toma.tanaka, naofumi.emoto, tsukasa.yumibayashi\}@brainpad.co.jp

## 概要

大規模言語モデル (LLM) はパラメータを更新することなくプロンプトに入力されたデータをもとに推論を行う In-context Learning(ICL) と呼ばれる能力が注目されている。また、コード生成も LLM の重要な応用先である. 本論文では、ICL とコード生成を応用した”Inductive-bias Learning(IBL)”と呼ばれる新しい学習手法を提案する。IBL では ICL と同様に、学習データをプロンプトに入力し、推論を行うために必要な関係性を持つコード（Code Model と呼ぶ）を生成する。シンプルなアプローチであるが、 IBL は学習データがどのような関係性を持つか捉えることができ，さらにコードを生成するため解釈性も兼䄓えている。また驚くべきことに、生成された Code Model は代表的な機械学習モデルに匹敵する予測精度を達成する。

IBL のコードはオープンソースです.1)

## 1 はじめに

パラメータ数の多い言語モデルは、学習データ （入出力ペアなど）をプロンプトに直接入力することで、データの中の関係性を「文脈の中で」捉え，高精度な推論ができることが確認されており，この能力を生かした幅広いタスクへの応用が期待される。[1].これは In-context Learning(ICL) と呼ばれる大規模言語モデルの能力である。(数式 1, 図 1):

LLM.input $\left[D\left[\left(x_{1}, y_{1}\right), \cdots,\left(x_{n}, y_{n}\right)\right], x_{\text {input }}\right] \rightarrow y_{\text {pred }}$

ここで、図 1 の左側は学習データと予測したデータの入力を表すプロンプト、図の右側は LLM の出力結果である。

ICLの発展を簡単に概観する。まず、その構造に関する研究として、([2][3]) は LLM が ICL 能力を獲

1) GitHub Link : https://github.com/fuyu-quant/IBLM

図 1 In-context Learning

得するために必要な訓練データの条件について研究されている。また、[4][5][6]では、ICLによる LLM の推論過程と勾配降下との関係を研究している。 ICL による推論の仕組みについてはまだ不明な点が多く, 今後の研究が必要である.

さらに、その性能に関する研究として、[7] は、 Transformer の事前学習により、スパース線形関数、 2 層ニューラルネットワーク、決定木など、ICLによる様々な関数の学習が可能であることを示している.したがって、適切な条件を満たす LLM は、ICL の能力に従って入力と出力の例をいくつか与えることで、未知のデータの関係を捉え、入力に対応する出力を予測することができる.

ここで、ICL についての一つの疑問が出てくる

LLM が入力例と出力例から学習した「モデル」を直接出力することはできないか？

上記の課題が解決できれば、LLM が入力例と出力例からどのようなデータ間の関係を見出したかを明示的に示すことができる．さらに、帰納バイアスを明示的に設定し学習を行う従来の機械学習 (Figure 2)」とは異なる、ICLのような汎用的な推論を行うことができる.

図 2 従来の機械学習. 人による帰納バイアスの選択

これは、LLM がデータから学習方法を学習して

いると考えることができ、ICLよりも一段高い視点を扱うことができるということでもある。メタ学習にも関連する話題である。

この問題を解決するために、以下のように具体的な定式化を行う。

LLM に学習データ（ここでは説明変数と目的変数のペア）を入力とし、説明変数から目的変数を推論するモデルを出力することができるか？

この命題に対する我々の答えは「YES」である. この方法を Inductive-bias Learning(IBL) と名付けた (数式 2, 図 3). Inductive-bias Learning という名前は、帰納バイアスを明示的に仮定することなく、データごとに様々な構造のモデルを出力することに由来する.

$
\begin{array}{r}
\text { LLM.input }\left[D\left[\left(x_{1}, y_{1}\right), \cdots,\left(x_{n}, y_{n}\right)\right]\right] \\
\quad \rightarrow \operatorname{Code} \operatorname{Model}_{\text {LLM }, D}\left(x_{\text {input }}\right) \rightarrow y_{\text {pred }}
\end{array}
$

図 3 Inductive-bias Learning

本論文では、次のような検証を行った. 複数のデータセットとシード值を用いてデータをサンプリングし、代表的な機械学習アルゴリズムと精度の比較を行った. タスクとして二值分類問題を，LLM としては GPT-4を使用した。命題にあるように、IBL は学習データから推論構造そのものを出力する。さらに、これは様々なデータに対して行うことができる。このことは，LLM がデータが与えられたときに入力と出力の関係をどのように学習するかを学習している可能性を示唆しており，LLM は一種のメタ学習を行うことができていると考えられる。

## 2 Inductive-bias Learning

Inductive-bias Learning（IBL）は、通常の教師あり機械学習アルゴリズムと同様に、学習と推論の 2 つのフェーズに分けることができる。学習フェーズでは、説明変数と目的変数のぺアを入力とし、説明変数から目的変数を予測するためのコードを生成する. 推論では、生成したコードを用いて未知のデー タを予測することができる。本研究では二值分類夕スクで検証を行っている．詳細は後述する (図 4)。

## 図 4

上図 : IBLによるモデル生成... 通常の教師あり学習と同様に、説明変数と目的変数の複数の組からなる訓練データを入力しコードを作成する. コードは Python コードとして生成した

下図：IBLで生成したモデルの予測... 通常の機械学習モデルと同様に予測したいデータの説明変数を入力する. 生成されたコードを用いて予測を行う。

## 2.1 学習

IBL の学習フェーズでは、与えられた学習データを用いて、説明変数から目的変数を出力するための Python で書かれたコードを生成する。この生成された Python コードを“Code Model” と呼ぶ。

また，LLM に入力するプロンプトには入出力ペアである学習データに対して，二值分類タスクとしての精度評価のためにラベル 1 に分類される確率値を出力するようなコードを生成する．今回の検証では、GPT-4 がデータから予測を行う “論理構造”を出力できるかに関心があったため機械学習モデルを使うコードは扱わない.

出力は，説明変数を大力とし目的変数のラベルが 1 である確率值を出力値とする Pyhton のコードを生成する. 生成された Python コードは，特定の特徵量による条件分岐や，複数の特徵量を含む線形の関係式などが生成される。また，学習に用いるデータセットやデータ数に応じて様々な出力結果が得られた.

## 2.2 推論

IBL の推論フェーズは，学習によって生成された Python コードを用いて実行される.

IBL で生成される Python コードは，特定の特徵量による条件分岐や、複数の特徴量を含む線形な関係式などの単純な処理が生成されるため非常に高速である。一方で、そのような単純なロジックにもかかわらず生成された Code Model は非常に高い予測精度を持つことが確認されている。

さらに，IBL が生成した Code Model は Python のコードとして出力されるためモデルの解釈も非常に容易である。

## 3 実験と結果

本節では、IBL の性能を検証するための実験結果を記載している。はじめにいくつかのデータセットについて IBL と典型的な機械学習モデルの予測能力を比較した。

## 3.1 実験概要

## データセットとタスク

IBLによって生成された Code Model の精度を機械学習アルゴリズムや ICL と、二値分類タスクを使い比較した. 機械学習モデルとの比較では scikit-learn で利用可能な擬似データセットと moon データセットを扱った．各シード値で学習に使用されなかったデータはテストデータとした。 scikit-learn の擬似データと moon データセットについては，3つの異なるシード値を用いて合成データを生成し，訓練データとテストデータに分割した. 小数点以下が多すぎると IBL や ICL に入力できるデータ点数が少なくなるため生成した値はすべて小数点 3 析とした. また学習用データの不均衡を解消するため、正例と負例の数を同じにした。

## IBL 実行回数

IBL の問題点として，生成されたコードモデルの出力が不安定であることが挙げられる. IBL が生成したコードモデルは、必ずしも安定して高い予測精度を出すとは限らず精度にばらつきがある。 そこで，データセット，学習データサイズ，シード値ごとに 30 個のコードモデルを生成し AUC が最も高いものを比較した。本稿では IBL の実行に OpenAI の API で gpt-4-0613を用いて検証を行った。ファインチューニングなどの追加の学習は行わずプロンプト入力のみを使用した。

## 3.2 IBL と機械学習モデルの比較

最初の検証では、擬似データセット、Moon デー タセットを用いて，IBLが生成したコードモデルの AUC の値を代表的な機械学習モデルと比較した. 比較のための機械学習モデルとしては、ロジスティック回帰、K-NN (K-Nearest Neighbors)、リニア
カーネルの SVM を用いた。IBLでは、各シード値に対してコードモデルを 30 回生成し、AUC が最も高いモデルを選択した。なお, 生成に成功した Code Model がない場合はグラフにプロットを行っていない.

## 擬似データセット

図 5 seed $=3655$

図 6 seed $=3656$

図 7 seed $=3657$

図 5, 6, 7 より, 他の機械学習モデルと同等の AUC を出力する場合もある。

## Moon データセット

図 8，9，10より，Moon データセットにおける AUC は，K-NN やロジスティック回帰の AUC には劣るものの SVM の AUC を上回ることも多々ある.疑似データセットや Moon データセットでは説明変数の名前から目的変数の值を予測することは不可能であり、また適当な seed 值により生成したデー タから scikit-learn のライブラリを用いて生成されたデータであることを識別することは非常に困難であ

図 8 seed $=3655$

図 9 seed $=3656$

ると考えられる。そのため，LLM はデータ間の論理構造に基づいて推論のためのロジックを出力していると考えられる。連続的な説明変数と離散的な説明変数のどちらが IBL で扱いやすいかを判断するためには、異なるデータセットでさらなる検証を行う必要がある。生成された Code Model の一部を付録として添付している.

## 4 今後の展望

IBL は，新しい学習手法のパラダイムシフトとなる可能性を秘めている. 以下に今後重要になると思われる項目をまとめる。

## IBL の精度向上と応用性

現在の IBL ではファインチューニングなどの追加の学習を行わずに実行しているため出力の不安定性や精度の課題がある. IBL 専用のデータセット (例えば予測したい論理関係の Python コードとその論理関係からサンプリングしたデータ)を使い学習する方法が考えられる. GPT-4 などの LLM では大量の自然言語データによる学習を行っているため自然言語内にあるような論理構造を把握することはできるかもしれないがそうでないような論理関係などは捉えることができないと考えている.

さらに，バギングやブースティングのような統計的学習理論のテクニックの活用や作成された Code Model の編集，学習データと一緒に入力されるプロンプトの最適化 [8] などでも，より精度の高いモデ

図 10 seed $=3657$

ルが生成されることが期待される.

また，LightGBM[9]のような社会実装されている機械学習アルゴリズムを IBL に置き換える可能性も検討している. 予測の精度や出力の安定性などがクリアできればモデルの推論速度や解釈可能性という点で，Code Modelを使う意義は多い。

## LLM の論理構造の把握能力

IBL が学習データからどのように予測ロジックを推論して Code Model を生成するのか，また生成された Code Model の予測ロジックがどの程度優れているのかについては，さらに詳しい分析が必要である. 後者については、[7] による研究では ICL は最小二乗推定に匹敵する精度で線形関数を近似できることが示唆されている。この方法を使い IBL を用いて LLM がどれだけ正確にデータから回帰係数を求めることができるかを検証することは可能である.

また，IBLがどのようなデータに対しても最適な予測ロジックを出力できるかは興味深い話題である. sequence-to-sequence の万能近似定理 [10] が適用できる場合入力されたデータに対して理想的な予測ロジックを出力するように学習することもできる可能性がある。

## 5 結論

本論文では、LLMを用いて予測モデルを生成する Inductive-bias Learning(IBL) と呼ばれる新しい学習法を提案した.この学習手法によって生成された予測モデルである Code Model は，従来の機械学習モデルに匹敵する予測精度を達成する場合もあった. IBL によって生成された予測モデル（Code Model）は、今後精度が向上すれば，解釈可能性や推論速度の点で既存の機械学習モデルを置き換える可能性があると考えている。さらに，LLM の論理構造の把握能力について理解するのに寄与するとも考えている.

## 謝辞

この研究を進める中で、絶えず支援と励ましをくださった先輩方に感謝します。弓林さんには理論的な議論において貴重な助言をくださりました。また. 江本さんには実装について多くのアドバイスをいただいたり実際に実装を手伝っていただきました. 感謝いたします。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Stephanie Chan, Adam Santoro, Andrew Lampinen, Jane Wang, Aaditya Singh, Pierre Richemond, James McClelland, and Felix Hill. Data distributional properties drive emergent in-context learning in transformers. Advances in Neural Information Processing Systems, Vol. 35, pp. 18878-18891, 2022.

[3] Sang Michael Xie, Aditi Raghunathan, Percy Liang, and Tengyu Ma. An explanation of in-context learning as implicit bayesian inference. arXiv preprint arXiv:2111.02080, 2021

[4] Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is incontext learning? investigations with linear models. arXiv preprint arXiv:2211.15661, 2022.

[5] Arvind Mahankali, Tatsunori B Hashimoto, and Tengyu Ma. One step of gradient descent is provably the optimal in-context learner with one layer of linear self-attention. arXiv preprint arXiv:2307.03576, 2023.

[6] Johannes Von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov, and Max Vladymyrov. Transformers learn in-context by gradient descent. In International Conference on Machine Learning, pp. 35151-35174. PMLR, 2023.

[7] Shivam Garg, Dimitris Tsipras, Percy S Liang, and Gregory Valiant. What can transformers learn in-context? a case study of simple function classes. Advances in Neural Information Processing Systems, Vol. 35, pp. 30583-30598, 2022.

[8] Alessandro Sordoni, Xingdi Yuan, Marc-Alexandre Côté, Matheus Pereira, Adam Trischler, Ziang Xiao, Arian Hosseini, Friederike Niedtner, and Nicolas Le Roux. Deep language networks: Joint prompt training of stacked llms using variational inference. arXiv preprint arXiv:2306.12509, 2023

[9] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, , 2017.
[10] Chulhee Yun, Srinadh Bhojanapalli, Ankit Singh Rawat, Sashank J Reddi, and Sanjiv Kumar. Are transformers universal approximators of sequence-to-sequence functions? arXiv preprint arXiv:1912.10077, 2019.


# 量子計算を用いた文字言語モデル

三輪拓真 1,2 河野誠也 ${ }^{2,1}$ 吉野幸一郎 ${ }^{2,1}$
}

1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト miwa.takuma.mx0@is.naist.jp, \{seiya.kawano, koichiro.yoshino\}@riken.jp
## 概要

大規模言語モデルの登場により，言語モデルは近年多くの注目を浴びている。また言語モデルは機械翻訳や要約など，幅広いタスクに応用されている。一方で大規模言語モデルは未だ計算量に課題があるため，計算効率の改善は重要である. 本研究では，限定されたタスクで量子計算の計算効率が古典コンピュータを上回る点に注目した．具体的には，量子計算を用いて文字言語モデルを構築し，その性能の分析を行った. 結果として構築したすべてのモデルにおいて，同規模のマルコフモデルよりパープレキシティを減少させることが可能とわかった.

## 1 はじめに

近年大規模言語モデル (LLM) の貢献により，自然言語処理の関連領域研究は大きな発展を遂げている. モデルの学習データセットやパラメータ数を大規模化させることにより、モデルの予測性能が向上するスケーリング則が報告されている [1]. 加えて言語モデルに与えるパラメータ数を一定数以上にして十分な訓練を行うことで，創発と呼ばれる言語モデリングタスク以上の能力を得られる現象も確認されている [2]. 一方でハードウェアの制約や計算時間の問題により, 現状モデルの大規模化はより困難になっている. そのためモデルのパラメータ数を増やすことなく，データセットやアルゴリズムの変更によって効率化することが重要である. 本研究では，量子計算を用いた言語モデルの効率化を検討する.

量子計算では，量子ビット数に対して指数関数的に多くの値を同時に計算することが可能である. 一方で現在の量子コンピュータは NISQ (Noisy intermediate-scale quantum) と呼ばれ,計算誤差や量子ビット数の制約が存在する [3]. このため、量子計算を機械学習で活用しょうとする既存研究においては, 多くはシミュレータを活用して
いる [4]. ただし, シミュレータで計算誤差の問題を解消したとしても，シミュレーションには指数関数乗の空間計算量が必要とされ，利用可能な量子ビット数の制約が依然として存在する.

先に述べた通り，量子計算を用いた言語モデルの実装において、空間計算量は大きな課題である。そこで本研究では，量子ビットを用いた量子化により, 現状のシミュレーター規模で実現可能な範囲の文字 n-gram モデルを構築し，その性能と限界を調査する.

## 2 量子計算

## 2.1 量子状態

量子計算では，量子の状態に関する情報を利用して演算を行う．各量子ビットは 0 であるという状態 $|0\rangle$ と， 1 であるという状態 $|1\rangle$ の重ね合わせによって存在している. よって量子ビット単体の状態 $|\phi\rangle$ は以下のように表現される。

$
|\phi\rangle=\alpha|0\rangle+\beta|1\rangle
$

ただし $\alpha, \beta$ はそれぞれ複素数であり，これらの絶対値の 2 乗は状態の確率を表すため, 制約条件 $|\alpha|^{2}+|\beta|^{2}=1$ が成り立つ. 回転ゲートと呼ばれる回路によって, 量子の位相をずらすことで状態を変化させたり，量子ビット間に依存関係を持たせることが可能である. 1 量子ビットの状態は 2 つの係数によって表せるため, 2 次元べクトルとし表記できる.

$
|\phi\rangle=\left[\begin{array}{l}
\alpha \\
\beta
\end{array}\right]
$

この時量子回路は，(2) 式と行列の乗算によって表現可能である。ただし上記の制約により，行列はユニタリ行列である必要がある. 量子回路によって生成された, 各量子ビットの状態のみでは表現できない関係のことを，量子のもつれという．これは量子計算において，各量子ビットの状態を関連付けするために用いられる.

$
\boldsymbol{x}=\left[\begin{array}{c}
x_{1} \\
\vdots \\
x_{2} n
\end{array}\right]
$

図 1 QNN の概要

## 2.2 量子機械学習

量子回路には，量子状態に与える変化をパラメー タとして指定できるものがある。これをパラメータ付き量子回路と呼ぶ. パラメータ付き量子回路を組み込むことにより，より複雑な量子計算を行うことが可能になる。一方で，望ましい結果を得るには最適なパラメータを探索する必要があり，ランダムな探索では時間がかかりすぎてしまう。こうしたパラメータの探索には古典コンピュータのアルゴリズムが用いられており，この手法は量子古典ハイブリッドアルゴリズムと呼ばれる。 その中でも特に量子ニューラルネットワーク (QNN) 等の, 古典コンピュータの機械学習に近いアーキテクチャを実装し，そのパラメータを最適化することでタスクを学習する手法を量子機械学習と呼ぶ.

もっとも単純な QNN の一例を図 1 に示す. 図中の $n$ は量子ビット数であり $, R_{x}, R_{y}$ はそれぞれ回転ゲートを表している。 その他の回路は CNOT ゲー 卜を表しており，量子のもつれを生成する．入力べクトルは Amplitude encoding と呼ばれる手法により，量子状態の振幅へと変換する [5]. その後各量子ビットに対してパラメータを用いた演算を行い，出力は各ビットの值を確認することで得られる。ただし量子状態は, 複数の状態の重なりとして存在するため, 十分な回数の試行を行ったのち, 最終出力はその状態同士の確率分布として得られる.

## 3 言語モデルへの適用

## 3.1 言語モデル

近年言語モデルは機械翻訳や質問応答、テキストの要約など，様々な自然言語処理のタスクに応用

図 $2 \mathrm{QNN}$ を用いた言語モデル

されている．これはトークンの系列（例えば，単語や文字，サブワードの系列）に対して，後続するトークンを予測を予測するタスクが基盤となっている. 代表的な言語モデルである大規模言語モデルの多くは，self-attention を用いた Transformer モデルの構造を持ち、文章の一部を隠しながらその部分の予測を行う MLM（Masked Language Model） または CLM (Causal Language Model) によって事前学習を行っている [6]. 一方で，文脈との関係に着目することができる Transformer モデルの機能は Multi-head Attention に依存し、計算量が大きいという難点がある. モデルの大規模化によってその課題はより顕著になっているため，精度を維持しつつ計算効率を向上させることが重要である.

## 3.2 QNN を用いた文字言語モデル

言語モデルは文の構成要素の並びに対してその同時確率を計算する. 特に n-gram モデルでは，各文字は直前の $n-1$ 文字のコンテキストから決定されるように近似が行われる。 そこで本研究では，直前の $n$ 文字 $c_{t-n}, c_{t-n+1}, \ldots, c_{t-1}$ から次の単語 $c_{t}$ の出現確率 $P\left(c_{t} \mid c_{t-n}, c_{t-n+1}, \ldots, c_{t-1}\right)$ を予測する文字 n-gram 言語モデルを実装する。

QNN を適用した言語モデルの概要を図 2 に示す. モデルの入力には各文字の one-hot ベクトルを結合して使用する．その後最も出現頻度の高いビット列を求め, one-hot ベクトルへと復元することで順次文字予測を行う．例えば状態 $|10 \ldots 00\rangle$ の出力確率が最も高い場合，インデックス 0 の位置が 1 である文字 $\mathrm{A}$ へと復元され， $|01 \ldots 00\rangle$ の出力確率が最も高い場合には，インデックス 1 の位置が 1 である文
字 Bへと復元される。

## 4 実験

## 4.1 モデルの実装

言語モデルの実装は PennyLane フレームワーク [7] を用いた. PennyLane は Python 用のフレームワークであり，量子シュミレーションにおける高速な計算を実現している．加えて TensorFlow や PyTorch とも併用可能であり，シュミレータ部分においては Amazon braket やIBM Quantum とも連携できる.

## 4.2 最適化手法

量子コンピュータにおける最適化には大きな課題がいくつか存在する. そこで本節では量子コンピュータの課題に触れつつ，それを補うための最適化手法について説明を行う．まず一つは，観測可能な値と実際の量子状態は異なるという点である．量子の状態は波の位相として表現されるが，観測できるのは 0 と 1 の出現確率のみである. そのため最適化を行う際には, 出力から得られる観測値 $\hat{B}$ から量子状態 $\langle\hat{B}\rangle$ を推定する必要がある。 パラメータ $\Theta$ を持つ量子回路と同値な行列を $U(\Theta)$ とすると， $\langle\hat{B}\rangle$ と $\hat{B}$ には次の関係が成り立つ. ただし, $\langle 0|=| 0\rangle^{\dagger}$ である。また，†はエルミート共役を表す。

$
\langle\hat{B}\rangle(\Theta)=\left.\langle 0\left|U(\Theta)^{\dagger} \hat{B} U(\Theta)\right| 0\right.\rangle
$

もう一つの課題は，計算過程の量子を観測すると情報量が減少するため, 途中出力を利用できないことである。そのため実機による計算では，量子回路全体をブラックボックスとして，勾配降下法を利用したパラメータ 1 つ 1 つの最適化を順次行う必要がある. ただし通常の勾配降下法では局所的な解に収束する可能性があるため, 量子機械学習では $\frac{\pi}{2}$ ずつパラメータをずらすパラメータシフト法が多用される.この手法により, 各パラメータの勾配を以下のように得ることができる.

$
\nabla_{\theta_{i}}\langle\hat{B}\rangle(\theta)=\frac{1}{2}\left[\langle\hat{B}\rangle\left(\theta+\frac{\pi}{2} \hat{e}_{i}\right)-\langle\hat{B}\rangle\left(\theta-\frac{\pi}{2} \hat{e}_{i}\right)\right]
$

一方で本実験ではシュミレータを用いるため，量子情報を破壊することなく途中出力へのアクセスが可能である. PennyLane ではその利点を利用した誤差逆伝搬法が実装されている。そこで本実験では，誤差逆伝搬法を用いたモデルを最適化を行う。
PennyLane では Qnode と呼ばれるオブジェクトが定義されており回路全体の演算をノード単位で区切ることができる. Qnode は古典コンピュータのニューラルネットワークにおける中間層に該当する. そしてノード間で勾配を伝搬することにより，全体のパラメータを更新していく．各ノードの勾配計算はデバイス毎に異なるが，シュミレータを用いる場合には効率的なアルゴリズムが存在する [8].

## 4.3 データセット

言語モデルの評価には, Marcus らが作成した, Wall Street Journal のテキストデータ [9] を使用する。訓練データとテストデータは別々に用意し，モデル規模の制限により，テキスト数はどちらも 10 文のみで計算を行う。

## 4.4 評価方法

訓練データを用いて学習を行う際には，クロスエントロピー誤差により損失を求める. また最終的な評価として，テストデータを用いて言語モデリングタスクにおける予測性能の指標であるパープレキシティ $P P L$ を以下のように算出する. ただし $|j|$ は全文書の文字数の合計であり， $N$ は文書数である.

$
\begin{gathered}
H=-\frac{1}{|j|} \sum_{N} \sum_{t} \log P\left(c_{t} \mid c_{t-n}, c_{t-n+1}, \ldots, c_{t-1}\right) \\
P P L=2^{H}
\end{gathered}
$

これらの指標を用い， $n=1,2,4$ に対する n-gram 量子機械学習モデルの性能を比較する。またベースラインとして, 単純に学習データの頻度から最尤推定によって構築した n-gram マルコフモデルによる PPL の算出も行い，参照する文字数を増やした際の $P P L$ の挙動を確認する.

## 4.5 実験結果と考察

図 3 にマルフモデルと量子機械学習モデルの比較を示した。まずマルコフモデルについて、1-gram モデルは 0-gram より大きくテストセット PPL が改善されている。一方で 2-gram 以降では $P P L$ は増加し続けている。それに対し量子ニューラルネットワークモデルの結果を確認すると，1-gram モデルではマルコフモデル以上に $P P L$ が改善されている. 2-gram モデルではそれほど変化がないが，4-gram モデルまで増やすとまた $P P L$ が改善されることが確認できた.

図 3 マルコフモデルと量子モデルのパープレキシティ比較

## 5 おわりに

本稿では言語モデルにおける量子計算の適用の有用性を検討するため，量子計算を用いた文字 n-gram モデルの実装を行った. 実装においては， PennyLane フレームワークを利用した量子計算シュミレータを用いた。そのうえで量子ニューラルネットワークの実装を行い，PennyLane によって提供されている誤差逆伝搬法を使用して最適化を行った.結果として，量子機械学習モデルは $n=1,2,4$ のすベてのモデルにおいて, ベースラインのマルコフモデルより良い精度を得ることができた。加えて参照する文字数を増やした際のパープレキシティの挙動から，量子機械学習モデルは最尤推定に基づくマルコフモデルよりも学習効率が良いことが示唆された. 今回は最尤推定との比較を行ったが，今後はその代わりにニューラルネットワークを用いる言語モデルなど，より現代的な言語モデルに近い構造のモデルとの比較を行う.

今後の展望としては, 文字ではなく単語予測モデルの実装が挙げられる. それに際して，量子計算とマッチしたエンベディング方法の探索を行う必要があると考えている. また先行研究では量子アテンション [10] も開発されているため, 文脈を意識した言語モデルの研究も将来的な目標として残されている. そして最大の目標として，実機の量子コンピュータを用いたモデルの大規模化が挙げられる.

量子コンピュータ最大の課題である計算誤差については，アルゴリズムによる誤差抑制へのアプローチもある程度行われている [11]. 加えて量子機械学習モデルにおける勾配消失問題についても，観測値から量子状態を復元する shadow tomography[12]を利用した，実機での誤差逆伝搬法 [13] が提案されるなど，日々進展がみられている。最終的にはこれらの技術を活用し，大規模言語モデルと同等のサイズので同等の情報を用いるモデルを実装したうえで，性能の優劣を議論する必要があると考えている.
本研究は、JST ムーンショット型研究開発事業 JPMJMS2236 の支援を受けたものです。

## 参考文献

[1] Kaplan Jared, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. 2020.

[2] Wei Jason, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, and Dani Yogatama. Emergent abilities of large language models. 2022.

[3] He-Liang Huang, Xiao-Yue Xu, Chu Guo, Guojing Tian, Shi-Jie Wei, Xiaoming Sun, Wan-Su Bao, and Gui-Lu Long. Near-term quantum computing techniques: Variational quantum algorithms, error mitigation, circuit compilation, benchmarking and classical simulation. Science China Physics, Mechanics \& Astronomy, Vol. 66, No. 5, p. 250302, 2023.

[4] Asel Sagingalieva, Mohammad Kordzanganeh, Nurbolat Kenbayev, Daria Kosichkina, Tatiana Tomashuk, and Alexey Melnikov. Hybrid quantum neural network for drug response prediction. Cancers, Vol. 15, No. 10, p. 2705, 2023.

[5] Weikang Li, Zhide Lu, and Dong-Ling Deng. Quantum neural network classifiers: A tutorial. Neurocomputing, Vol. 470, pp. 457-461, 2022.

[6] Jiayi Fu, Lei Lin, Xiaoyang Gao, Pengli Liu, Zhengzong Chen, Zhirui Yang, Shengnan Zhang, Xue Zheng, Yan Li, Yuliang Liu, et al. Kwaiyiimath: Technical report. arXiv preprint arXiv:2310.07488, 2023.

[7] Ville Bergholm, Josh Izaac, Maria Schuld, Christian Gogolin, Shahnawaz Ahmed, Vishnu Ajith, M Sohaib Alam, Guillermo Alonso-Linaje, B AkashNarayanan, Ali Asadi, et al. Pennylane: Automatic differentiation of hybrid quantum-classical computations. arXiv preprint arXiv:1811.04968, 2018.

[8] Tyson Jones and Julien Gacon. Efficient calculation of gradients in classical simulations of variational quantum algorithms. arXiv preprint arXiv:2009.02823, 2020.

[9] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[10] Guangxi Li, Xuanqiang Zhao, and Xin Wang. Quantum self-attention neural networks for text classification. arXiv preprint arXiv:2205.05625, 2022.

[11] Suppressing quantum errors by scaling a surface code logical qubit. Nature, Vol. 614, No. 7949, pp. 676-681, 2023.

[12] Scott Aaronson. Shadow tomography of quantum states. In Proceedings of the 50th annual ACM SIGACT symposium on theory of computing, pp. 325-338, 2018.

[13] Amira Abbas, Robbie King, Hsin-Yuan Huang, William J Huggins, Ramis Movassagh, Dar Gilboa, and Jarrod R McClean. On quantum backpropagation, information reuse, and cheating measurement collapse. arXiv preprint


# 都議会議事録における自動要約のための 数値情報自動修正手法の提案

松井我颯 ${ }^{1}$ 石川晴基 ${ }^{2}$ 中島陽子 ${ }^{3}$ 本間宏利 ${ }^{3}$ 秋葉友良 ${ }^{2}$
1 釧路工業高等専門学校 電子情報システム工学専攻 2 豊橋技術科学大学
3 釧路工業高等専門学校 創造工学科
s230710@kushiro.kosen-ac.jp, ishikawa.haruki.yu@tut.jp,
\{yoko, honma\}@kushiro-ct.ac.jp, akiba@cs.tut.ac.jp

## 概要

自動要約技術は地方議会の議事録やネットニュースなどの情報の処理に有用だが，生成型要約において数值情報の誤りが問題となっている. 本研究は，自動要約における数値情報の正確性を向上させるため，原文との比較に基づく修正手法を提案する．提案手法は，数値情報の誤りを特定し，原文に即した正確な数値への修正を可能にすることで，より信頼性の高い要約生成を目指す。

## 1 はじめに

近年，政治関連のフェイクニュースが世界的な社会問題になっている．誤情報の拡散は公共の認識を歪め,混乱を招く恐れがある。この問題に対処するために，多くの研究者が自然言語処理技術，特に自動要約の応用に注目している. 現在主流の生成型自動要約技術は,大量のテキストデータから重要な情報を抽出し，簡潔に表現することで，情報の迅速な理解と判断を支援することができる [1]. しかし，小川らも指摘しているように，生成型自動要約技術には正確な数值情報の取得に失敗し，不正確な数値で要約を行ってしまうケー スが見られる [2]. 数值データは重要な情報であるため，このような誤りは，政治関連のニュースにおいて特に重要な問題となり得る [3] [4].

そこで本研究では，自動要約に含まれる数值情報の正確性を評価し，原文との比較に基づいて正確な数値に修正する手法を二つ提案する．都議会議事録における答弁とその自動要約文を対象として比較実験を行い，二つの手法の性能を分析し，それぞれの優位性と適用範囲を検証する。表 1: 都議会議事録の答弁と要約文の例

 \\

## 2 テストデータ

テストデータには NTCIR-17 QA Lab-PoliInfo-4 の Answer Verification タスクで配布されたトレーニングデータに前処理を施したテキストを使用する [5]. 表 1 に，実験に使用する都議会議事録の答弁 (原文) と，その要約文の例を示す.

## 2.1 データセットのフォーマットについて

表 2 に Answer Verification で使用されたデータセットのフォーマットを掲載する。このうち，会議が行わ

れた日付 (Date), 答弁の要約 (AnswerSummary), 答弁の全文 (AnswerOriginal)，要約の正誤 (PredictedClass)を使用する.

表 2: Answer Verification で使用されたデータセット

## 2.2 前処理

AnswerSummary と AnswerOriginal のテキストについて，以下の a c に示す 3 つの前処理を行う．前処理を施した AnswerOriginal と AnswerSummaryをそれぞれ原文と要約文として研究を行う。

## a. 和暦を西暦に変換

要約元文章では，年についての言及時に「平成 29 年」「令和 2 年」といった和暦が使用されているが，これにより年号を考慮する必要が生じ，数値の正誤判定が困難になる．そこで，判定を容易にするために，すべて西暦表記に統一する．また，要約元文章で「今年」 などと記載されている場合，要約では「令和 2 年」などの数值で表記されている場合がある. このため, Date を参照し「今年」「昨年」「元年度」などの表現も西暦に変換する。

## b. 漢数字をアラビア数字に変換

数値による判定を容易にするために，漢数字をアラビア数字に変換する。この変換では，まず日本語自然言語処理ライブラリである GiNZA ${ }^{1}$ を使用して分かち書きを行い，数値を抽出する．その後，抽出された数值を kanjize $^{2}$ を用いて変換する.

## c. 数値を使用した要約の抽出
^{1}$ https://megagonlabs.github.io/ginza/

 }^{2}$ https://pypi.org/project/kanjize/

本実験は数値の誤りに着目するため，要約文に数値が含まれているデータセットのみ抽出してテストデー タとする．数值が含まれているかについては，正規表現により判別する.

## 3 提案手法

要約文における数値の誤要約を検出し，修正するための二つの手法を提案する。

第一の手法は，原文から要約に使用されている数値と単位が含まれるセグメントを特定し，その情報を基に数値を比較する。これにより，複数の文章内に数値が含まれている場合でも, 要約に使用されている数値のみ取得することが可能である。

第二の手法は，各数値の係り受け元を特定し，その情報を基に数値を比較する。この比較により，文脈上の誤りや，数値の不適切な使用を識別し，修正することが可能である.

## 3.1 セグメントの特定による要約の修正

原文から要約に使用されている数値と単位が含まれるセグメントを特定する. 特定された原文のセグメン卜と要約文から，使用されている数値と単位を抽出する. その後，抽出された数値と単位を原文と要約文間で比較し，要約に使用されている数值が原文と一致しているかを評価する。

## 3.1.1 セグメントの特定

要約内容が含まれる箇所を特定するため，まず要約元の文章を句点（。）を基準に区切り，それによって得られる各文を個別のセグメントとして扱う．要約に使用された特定のセグメントを識別するために，テキストマイニングの分野で広く用いられる手法の一つである Term Frequency-Inverse Document Frequency （Tf-Idf）を採用する. Tf-Idf は，文書内の各単語の重要度を測定する手法であり，文書全体の中で特定の単語がどの程度重要であるかを定量的に評価することが可能である. 算出した Tf-Idf 值に基づいて, 要約文と各セグメント間の類似度の評価を行う。この評価は，各セグメントにおける単語の Tf-Idf 值から構成されるベクトルを基に，コサイン類似度を計算することで行う。コサイン類似度は，二つのべクトル間の角度のコサインを計算することで，これらのべクトルがどの程度似ているかを測定する手法である。
具体的には，各セグメントにおける単語の Tf-Idf 値をべクトルとして表現し，要約文と各セグメントのべクトル間でコサイン類似度を計算する．要約文と各セグメント間のコサイン類似度を比較し，最も高い值を持つセグメントをキーセグメントとして抽出する.この方法により，要約文に最も類似する内容を持つセグメントを効率的に識別できると考えられる。

## 3.1.2 数値と単位の抽出

GiNZAを用いて，キーセグメントと要約文を単語レベルで分割する。分割された各テキストデータにおいて，文頭から探索を開始し，数値を抽出する。抽出された数値の直後に位置する単語を該当数値の単位とする.この手法により，数値とそれに対応する単位を識別し，リストを生成する。リストの例を表 3 に示す.

表 3: 取得した数値と単位の例

 & 「8015 年度」 \\

## 3.1.3 要約の正誤判定

最後に，生成されたキーセグメントのリストと要約文のリストを比較する．要約文のリスト内の数値と単位がキーセグメントのリストに含まれていない場合， その要約を誤りと判定する。

## 3.2 係り受け解析に基づく数値探索による 要約の修正

第二の手法は，係り受け解析を使用する。解析には $\mathrm{spaCy}^{3}$ を使用しており，モデルは日本語データで学習されている ja_ginza_electra ${ }^{4}$ を用いる.

## 3.2 .1 係り受け解析

原文と要約文から各文内の単語や記号 (トークン)を取得し，これらをリストとして扱う．原文と要約文それぞれのトークンリストから数値と単位を取得し，どの
^{3}$ https://github.com/explosion/spaCy/

 }^{4}$ https://huggingface.co/megagonlabs/transformers-udjapanese-electra-base-discriminator /

事柄に関する数値なのか特定する.この処理は GiNZA で解析した際に付与された係り受けラベルと品詞ラベルに基づいて行われる [6]. 要約文への係り受け解析の結果を木構造のグラフで表示した例を図 1,2 に示す. 図 1では，単位である「年」が数值である「2018」 に係るように，数詞修飾語を意味する係り受けラベル nummod が付与されている. また, 「2018」には数詞を意味する品詞ラベル NUM が付与されている.

係元の抽出を行うために，数詞の位置を特定する. 文頭から NUM ラベルが付与されているトークン (NUM トークン)を探索し，そのトークンを探索の開始位置とする. 図 1ではこれが「2018」にあたる。次に，NUM トークンに nummod ラベルが付与されている場合，係元をその数値の単位として取得する. 図 1ではこれが 「年」にあたる. 図 2 のように nummod ラベルではなく，複合名詞を意味する compound ラベルが付与されている場合がある。この場合は，NUMトークンの次に格納されているトークンと，その係元のトークンを接続し，単位として取得する. 図 2 では，これが「年」 と「末」を結合した「年末」にあたる. 次に, 要約文から単位の係元の原形を取得する。ここで取得したトー クンをキートークンとする。ここで取得したキートー クンは数値がどの事柄に関しているかを表している。取得したキートークンが非「する」「いく」のような自立可能動詞である場合，さらにその係元を探索し， キートークンとする。図 1,2ではそれぞれ「発送」と 「拡充」にあたる. その後，原文からキートークンを探索し，係先にある数値と単位を取得する．以上の処理により，数値，単位，キートークンが格納されているリストを生成する. 表 4 に生成したリストの例を示す.

表 4: 取得した数値とキートークンの例

 &  \\

## 3.2.2 要約の正誤判定

原文と要約文のリストを比較し，要約文のキートー クンが原文にも含まれている場合，そのキートークンが係っている数値を比較する. 数値が一致しなければ，
係り受けラベル

図 1: 係り受けラベルと品詞ラベルの例 1

係り受けラベル

図 2: 係り受けラベルと品詞ラベルの例 2

その要約を誤りと判定する．例えば，表 4 のようにキートークン「整備」が係っている「2020 年度」と $「 2015$ 年度」の数値が異なる場合，要約文中の「2015 年度」を「2020 年度」に修正する．同様に，「普通教室、特別教室」というキートークンが係っている「70 校」と「80 校」の数值についても同じ処理を行う.

## 4 評価実験

提案手法の有効性を検証するため，評価実験を行う．実験には 2 章で説明したテストデータ 110 件を使用する。

## 4.1 実験設定

原文と要約文に対してセグメントの特定による数値探索手法 (SSR:Segment Summary Revision) と係り受け解析に基づく数値探索手法 (DSR:Dependencybased Summary Revision) を適用する。評価指標は， テストデータの要約の正誤 (PredictedClass) を基準として, 精度 (Precision), 再現率（Recall）, および F1 スコアを算出し, 提案手法の有効性を分析する.

## 4.2 実験結果

表 5 に評価結果を示す. DSR は SSR と比較して F1 スコアが高く, 要約の正誤を正確に判定できている. DSR のスコアが高い要因として，要約文内に複数の数値が存在する場合に，係り受け解析をすることで文脈を考慮できる DNC が，より関連性の高い数値を適切に識別できたことが挙げられる.

判定に失敗した例として，SSR は単位を基準に比較を行うため，例えば「2020 年度規定改正を行い、2021年度から校内管理体制を整える。」といったように原文に同じ単位が複数回出現する場合では, どちらの数值に修正すべきか正しく判断できす，修正できない。一方で，DSR は数值が関連する事柄を考慮することで， この種のミスを避けることができる. しかし, DSRではキートークンの取得が難しい場合や，要約文のキー トークンが原文には含まれていない場合，判定に失敗する場合がある。

表 5: 評価結果

## 5 おわりに

本研究では，原文と要約文の数值と単位を含むセグメントを特定する手法と，係り受け解析を用いて原文と要約文の数值を文脈的に比較する手法を提案し, 自動要約における数値情報の誤りを特定し，原文を参照して正確な数值に修正を行った. 評価結果から，数值情報の誤りを修正する上で，係り受け解析による文脈の考慮有用であることが示された.

係り受け解析に基づく数值探索手法では，複数の数值が同一のキートークンを係元としている場合は対応不可能である. 今後は，数值が含まれている文章だけではなく，その前後の文脈も考慮した解析をすることで改善を目指す.

## 参考文献

[1] 石垣達也, 高村大也, and 奥村学. "複数文質問を対象とした抽出型および生成型要約.” 自然言語処理 26.1 (2019): 37-58.

[2] Ogawa, Yasuhiro, Yugo Kato, and Katsuhiko Toyama. "nukl' s QA System at the NTCIR-16 QA Lab-PoliInfo-3." Proceedings of The 16th NTCIR Conference. 2022.

[3] Igarashi, Naoki, et al. "Forst: A Challenge to the NTCIR-16 QA Lab-PoliInfo-3 Task." Proceedings of The 16th NTCIR Conference. 2022.

[4] Ohsugi, Ryoto, et al. "AKBL at the NTCIR-16 QA Lab-PoliInfo-3 Task." Proceedings of The 16th NTCIR Conference. 2022.

[5] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾，松本裕治. "Universal Dependencies 日本語コーパス.” 自然言語処理 26.1 (2019): 3-36.

[6] Yasuhiro Ogawa, Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kazuma Kadowaki, Tomoyoshi Akiba, Minoru Sasaki, and Akio Kobayashi. Overview of the NTCIR-17 QA Lab-PoliInfo-4 Task. In Proceedings of the 17th NTCIR Conference, 2023.


# 大規模言語モデルによる時系列を考慮した フェイクニュース生成

原悠貴 1 Yin Jou Huang ${ }^{2}$ Fei Cheng ${ }^{2}$
1 京都大学工学部 2 京都大学大学院情報学研究科
\{hara, huang\}@nlp.ist.i.kyoto-u.ac.jp feicheng@i.kyoto-u.ac.jp

## 概要

大規模言語モデルの登場により，フェイクニュー ス検出タスクに新たな課題が生じている．既存の検出タスクの多くは，そのF1 スコアが $90 \%$ を超えている.これは 1 つのニュース記事だけに着目し，その言語的特徴等を手掛かりにした，簡易的なタスク設定が原因と考える．そこで本研究では，大規模言語モデルを用いて，既存のフェイクニュース検出器に検出されにくいフェイクニュースの生成を試みた. 具体的には，時系列順に並んだ複数の記事に着目し，論理的に一貫したフェイクニュースを生成することを目標にした。

## 1 はじめに

ChatGPT [1] や GPT-4 [2] をはじめ, 最近の大規模言語モデル (以下 LLM) は，人間が書く文章によく似た文章を生成することができ，ある文章が人間が書いたものなのか LLM が生成したものなのかを判断するのが難しい場合が多い。この技術は非常に便利である一方で，これを悪用することで，間違った情報 (フェイクニュース) が拡散されるリスクがある. フェイクニュース検出に関する研究は以前から行われていたが，LLM の登場により新たな課題が生じている。その内の 1 つが，既存のフェイクニュース検出器は LLM が意図的に生成したフェイクニュー スをどの程度検出できるのかという課題だ.

既存の検出タスクの多くは，1つのニュース記事だけに着目している. タイトルの言語的特徴や内容が風刺的か [3]，あるいは内容が誹謗中傷を含むか [4] といった, ニュースの表面的な側面に注目しており，これは簡易的なタスク設定だと言える。 その結果，F1 スコアはどれも 90\%を超えている $[4,5]$. そこで本研究では複数のニュース記事に着目し, LLM を用いることで，既存のフェイクニュース検出器に検出されにくい，文脈を意識したフェイクニュースデータセットを構築する手法を提案する.図1のように，あるトピックに関する複数のニュー ス記事が時系列順に並んだタイムラインを作成し， 1 つのニュース記事を置換する形でフェイクニュー スを生成する．生成時に文脈や時系列的なつながりを考慮することで，他の記事との論理的一貫性を保つ.

また，本手法により生成されたフェイクニュースについて，関連性・矛盾性・一貫性という 3 つの評価指標に基づいて人間による評価を行った。関連性と矛盾性は $100 \%, 90.91 \%$ と高スコアだったが，一貫性はタイムラインの質が原因で $27.27 \%$ と低いスコアに留まった。

## 2 データセット構築手法

時系列を考慮したフェイクニュース生成の全体像を図 1 に示す。まずニュース記事のデータセットから，キーワードグループを抽出する (2.2 節). 次に，得られたキーワードグループを含むニュース記事からストーリーを生成し，それを用いてタイムラインを作成する (2.3 節)。最後にタイムラインの中の 1 つのニュース記事を置換する形で時系列を考慮したフェイクニュースを生成す (2.4 節).

## 2.1 使用するニュース記事の要素

本研究で扱うニュース記事は以下の要素を用いる.

・ headline: ニュース記事のタイトル
- short_description: ニュース記事の要約
- date: 投稿された年月日
- content: ニュース記事の内容

図 1 提案手法の全体像

## 2.2 キーワードグループの抽出

タイムラインの作成にあたって，似たようなトピックについてのニュース記事を取得する。ここでは同じキーワードを持つ記事は関連したものと仮定する. したがってニュースデータセット全体するよく共起するキーワードグループを抽出する.

各ニュース記事の headline と short_description を連結した文字列について，レマタイズ，ストップワー ドの除去, 1 文字の単語の除去, 名詞以外の単語の除去, BM25[6]を用いた不必要な単語の除去し, 残りのものをキーワードとする．次に，得られた複数の名詞群に対して FP-growth (Frequent Pattern-growth)[7, 8] を適用することで，['Russia', 'Ukraine'] のような二単語以上からなるキーワードグループを抽出することができる.

## 2.3 タイムラインの作成

タイムラインとは，あるトピックについてのニュース記事が時系列順に並んだものである．タイムラインに含まれる記事同士が関連性の高いものとなるように，2段階的にタイムラインを作成する.

まず，タイムラインを作成するのに必要なストーリーを作成する。あるキーワードグループを headline もしくは short_description に含む記事を全て取得することで関連したニュース候補を取得し，それらをLLM に入力することでストーリーを生成する. あるキーワードグループを含むというだけではそれらのニュース記事が同じ話題についての内容
ではない可能性があり，タイムラインを作成できない. そこでこのようにストーリーを作成し，そのストーリーに沿ってニュース記事を選択することで記事同士の関連性が高いタイムラインを作成することができる.

次にこのストーリーを用いてタイムラインを作成する．タイムラインに関連したニュース候補の中からニュース記事を追加した際，そのタイムラインと生成したストーリー間の ROUGE-2 スコア [9] が最も高くなるニュース記事を，正式にタイムラインに追加する。このように貪欲にニュース記事を選択することで関連性の高いニュース記事を選ぶことができ，ストーリー性のあるタイムラインを作成できる.

## 2.4 フェイクニュースの生成

ここまでで作成したタイムラインデータセットと LLMを用いて，1つのタイムライン中に 1 つのフェイクニュースを生成する。フェイクニュースは時系列的に前 2 つのニュース記事とは論理的に一貫するが，置換するニュース記事とは矛盾するようにしたいため，2 段階的に生成する.

まずある 1 つのタイムラインに含まれるニュース記事を全て LLM に入力し，フェイクニュースを生成する位置を決めてもらう，次に，文脈を意識し論理的に一貫したフェイクニュースを生成するため， フェイクニュースを生成する位置の前 2 つのニュー ス記事と，矛盾させるニュース記事を LLM に入力する。
表 1 使用するデータセット

また基本的な条件として次の 2 つを設ける． 1 つ目は，フェイクニュースを生成する際は，headline， short_description, dateを使う。また矛盾させるニュー ス記事のみ content も使うこと．2つ目は，フェイクニュースの位置は，タイムラインにおいて 3 つ目以降とすること． 2 つ目の条件はフェイクニュースの前に 2 つのニュース記事があることを保証するために必要なものである.

## 3 実験の結果と分析

2 章で説明した手法を用いて，フェイクニュースデータセットを作成する。

## 3.1 実験設定

LLM には GPT-4 を採用し，今回は API で利用できる gpt-4-1106-preview を使用する。Temperature は 0.8 とした.

ニュースデータセットには News Category Dataset[10,11]を使用する. News Category Dataset には content が含まれないため，ニュース記事の URL からスクレイピングでニュース記事の内容を取得した. また，使用するデータセットの年毎のデータ数を表 1 に示す. 今回は 2019 年以降に投稿された 7523 個のニュース記事を用いる.

次にタイムラインの作成に関する設定について説明する。 タイムラインに含まれる記事の数は $n_{\min }$ 以上 $n_{\max }$ 以下とし，それぞれのキーワードグループ $i$ において，作成するタイムラインの数 $k_{i}$ は作成可能なタイムライン数の最小值の半分以下とする. つまり，キーワードグループ $i$ について関連したニュー ス候補の数が $l_{i}$ の時，以下の式が成り立つ.

$
\begin{aligned}
n_{\min } \leq n_{k^{\prime}} & \leq n_{\max } \text { for } \forall k^{\prime}, 1 \leq k^{\prime} \leq k_{i} \\
k_{i} & \leq\left[\left[\frac{l_{i}}{n_{\max }}\right] \times 0.5\right]
\end{aligned}
$

今回は， $n_{\min }=4, n_{\max }=10$ として実験を行う.

ニュース記事をタイムラインに追加する際の停止条件としては，次の 2 つを用いる. 1 つ目はタイムラインに含まれる記事の数が最大数 $\left(n_{\max }\right)$ に達したとき．2つ目はタイムラインに記事を追加する前後における ROUGE-2 スコア $(R)$ の増加量が，どの

図 2 キーワードグループの上位 20 個

ニュース記事においても閾値 $(\epsilon)$ を下回ったとき. つまり $R_{j+1}-R_{j}<\epsilon$ となるとき， $j+1$ 番目の記事はタイムラインには追加しない. 今回は $\epsilon=0.007$ として実験を行う。

## 3.2 統計情報

次に得られたキーワードグループについて分析する. 全てのニュース記事がキーワードグループの単語を含むわけではないため，この時点で使用されないニュース記事が出てくる．どのキーワードグルー プも含まない記事は 4492 個存在しているため，以降使用されるニュース記事の数は 7523 個中 3031 個となる。またキーワードグループは合計で 262 個取得でき，そのうちそのキーワードグループを含む記事の数が多いものの上位 20 個を図 2 に示す. 上位には主に 'Trump’ や 'president’ といった政治的な単語が入っている.

また $\epsilon=0.007$ のときの，タイムラインに含まれるニュース記事の数の分布を表 2 に示す. 作成されたタイムラインの数は合計で 359 個であり， 4 個のニュース記事からなるタイムラインが最も多い.

## 3.3 生成したフェイクニュースの量的分析

生成したフェイクニュースを含むタイムラインを 22 個ランダムにサンプリングし，人間による評価を行う. 評価を行う際は，以下の 3 つの評価指標により評価する。

1. 生成されたフェイクニュースは，置換された記事と関連した内容か (関連性).

2. 生成されたフェイクニュースは，置換された記事と矛盾しているか (矛盾性).

3. 生成されたフェイクニュースは，時系列的に前 2 つの記事とは論理的に一貫しているか (一貫性).
表 2 タイムラインに含まれるニュース記事の数の分布

表 3 人間による評価の結果

表 4 生成したフェイクニュースの例 (上: 良い例,下: 悪い例)

人間による評価の結果を表 3 に示す. 1 つ目の評価指標については $100 \%$ となっており, GPT-4 が生成するフェイクニュースは，置換されたニュース記事に関するものとなっていることがわかる. また 2 つ目の評価指標については $90.91 \%$ となっており，ほとんどのフェイクニュースが置換されたニュース記事と矛盾するように生成されたことがわかる。一方で3つ目の評価指標については $27.27 \%$ とスコアが低くなってしまっている。その理由について次の節で分析する.

## 3.4 生成したフェイクニュースの質的分析

ケーススタディも交えつつ，3つ目の評価指標におけるスコアが低い点について分析する. 生成したフェイクニュースの例を, headline に限って表 4 に示す.

まず良い例について分析する。これは ['Russia', 'Ukraine'] というキーワードグループから作成されたタイムラインの一部である. 時系列的に前 2 つのニュース記事 $(t-2$ と $t-1)$ では，ロシアとウクライナの情勢に関するものとなっており，置換されたニュース記事はその情勢の中アメリカの宇宙飛行士がロシアのカプセルで帰還することについての記事である. 生成されたフェイクニュースは NASA の宇宙飛行士がロシアのカプセルに搭乗できず ISS に取り残されたという記事であり，3つの評価指標の全てを満たしていることがわかる.

次に悪い例について分析する。これは ['Trump”, 'users'] というキーワードグループから作成されたタイムラインの一部である. 置換された記事はトランプ氏が COVID-19を軽視する立場であることを示す記事であり，生成されたフェイクニュースはトラ
ンプ氏が COVID-19 の治療法を開発したという記事なので， 1 と 2 の評価指標は満たしている。一方で，時系列的に前 2 つの記事は COVID-19 に関する記事ではなく, 明らかに 3 つ目の評価指標を満たしていない.これはフェイクニュース生成前のタイムラインの質が原因だと考えるが，これには 2 つの理由が考えられる。

1 つ目はキーワードグループの質だ. 悪い例には 'users’というあまり重要ではない単語が含まれている.このような単語がキーワードグループに含まれることで，関連性の低いニュース記事同士がタイムラインに含まれる可能性を高めていると考える。

2 つ目はストーリーの質だ．タイムラインはストーリーをカバーするように，関連したニュース候補から選択されるため，GPT-4 が生成するストー リーがストーリー性をもたず，複数の話題について言及している場合，得られるタイムライン中のニュース記事も関連性の低いものとなると考える.実際，悪い例のタイムラインを作成する際のストー リーは一貫性のないものとなっていた.

## 4 おわりに

本研究では大規模言語モデルによる時系列を考慮したフェイクニュース生成の手法について提案した. また， 3 つの評価指標を用いて，生成したフェイクニュースの人手評価を行った. 時系列的に前 2 つの記事と論理的に一貫したフェイクニュースは 27.27\%程度に留まった. 将来的にはフェイクニュー スの質を向上させ, 既存のフェイクニュース検出器がどれほど検出できるのかを確認したい.

## 謝辞

本研究は JSPS 科研費 23K16946, JST ACT-X JPM-

JAX23CP の助成を受けたものです.

## 参考文献

[1] OpenAI. Introducing chatgpt., 2023. https://openai. com/blog/chatgpt.

[2] Gpt-4 technical report, 2023.

[3] Benjamin D. Horne and Sibel Adali. This just in: Fake news packs a lot in title, uses simpler, repetitive content in text body, more similar to satire than real news, 2017.

[4] Archita Pathak and Rohini Srihari. BREAKING! presenting fake news corpus for automated fact checking. In Fernando Alva-Manchego, Eunsol Choi, and Daniel Khashabi, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 357-362, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Pawan Kumar Verma, Prateek Agrawal, Ivone Amorim, and Radu Prodan. Welfake: Word embedding over linguistic features for fake news detection. IEEE Transactions on Computational Social Systems, Vol. 8, No. 4, pp. 881-893, 2021.

[6] Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, No. 4, p. 333-389, apr 2009.

[7] Jiawei Han, Jian Pei, and Yiwen Yin. Mining frequent patterns without candidate generation. SIGMOD Rec., Vol. 29, No. 2, p. 1-12, may 2000.

[8] Jiawei Han, Jian Pei, and Yiwen Yin. Mining frequent patterns without candidate generation. In Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data, SIGMOD '00, p. 1-12, New York, NY, USA, 2000. Association for Computing Machinery.

[9] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[10] Rishabh Misra. News category dataset. arXiv preprint arXiv:2209.11429, 2022.

[11] Rishabh Misra and Jigyasa Grover. Sculpting Data for ML: The first act of Machine Learning. 012021.

## A 参考情報

## 参考となる情報を記す。

## A. 1 Prompt

フェイクニュースを生成する際のプロンプトを表 5 に示す.

表 5 フェイクニュースを生成する際のプロンプトの例

## \# INSTRUCTIONS

Generate ONE fake news based on the following constraints and input documents by following criteria:
- It needs to contain headline, short_description, date (YYYY-MM-DD),

and content properties, and please strictly adhere to around 200 words for the content you generate.
- Additionally, explain how the fake news contradicts the real ones.

\#\# criteria1: Ensure that the headline and content of the fake news you generate are contradict to

headline and content of the following document.

document ID. 1102

headline: Russia Hits Ukraine Fuel Suplies, Airfields In New Attacks

short_description: Russian forces blew up a gas pipeline in Kharkiv and an oil depot near the Zhuliany airport, according to the office of Ukrainian President Zelenskyy.

date: $2022-02-27$

content: ..

\#\# criteria2: Please generate fake news that is a possible consequence of the following two documents.

document ID. 1666

headline: Kremlin Denies Troop Buildup Near Ukraine Border Signals Plan To Invade

short_description: "Russia doesn' $t$ threaten anyone," said a Kremlin spokesman.

date: $2021-11-13$

document ID. 1136

headline: Western Officials Pledge To Support Ukraine As Russia Says It Should Be Dismembered short_description: Faced with a Russian attempt to redraw borders in Europe, the U.S. is preparing sanctions and European allies are signaling solidarity with the government in Kiev.

date: $2022-02-21$
- The date of the fake news you generate should be 2022-02-27.

## A. 2 パラメータ

キーワードグループの抽出に関する設定について説明する.

BM25 のパラメータである $k_{1}$ と $b$ については， $k_{1}=1.2, b=0.75$ とし，閾値を 0.5 とした.

また FP-Growth のパラメータである minsup と minconf については, minsup $=0.003$, minconf $=0.6$ とした.


# 事実正誤判定が不要な生成応答の検出に向けた データセットの収集と分析

亀井遼平 1 塩野大輝 1 赤間怜奈 1,2 鈴木 潤 1,2
1 東北大学 2 理化学研究所
\{ryohei.kamei.s4, daiki.shiono.s1\}@dc.tohoku.ac.jp,
\{akama, jun.suzuki\}@tohoku.ac.jp

## 概要

大規模言語モデルが顕著な発展を遂げる中，出力の事実性の担保が課題となっている. しかし対話という分野では，システム応答中の全ての内容が与えられた知識に基づいていることが必ずしも良いことであるとは限らない. 我々は対話としての魅力度と事実性担保の両立を目標とし，その第一歩として相槌や同意，個人的な意見/感情といった事実正誤の判定が不要である文を予測することをタスクとして設定した. 本研究では，このタスクのための学習・評価データセットをクラウドソーシングを通じて収集し，複数の分類モデルを用意して実験を行った. 実験の結果，最も分類精度が高いモデルで約 88 ポイントの正解率で分類できることを確認した.

## 1 はじめに

昨今，大規模言語モデル (LLM) が顕著な発展を遂げ，それに伴って様々な自然言語処理のタスクを解く能力が向上している。しかしその一方で， LLM が事実と異なる内容を出力してしまう現象 （Hallucination; 幻覚）が観測され，出力の事実性の担保が課題となっている $[1,2,3]$.

この課題を解決するために様々な研究が行われてきているが，これまで行われているLLMを用いた対話システムの幻覚問題に関する研究のほとんどは，幻覚を検出・抑制する手法や発生する原因を調査することに主眼を置いている $[4,5,6]$. Dinan らが作成した知識に基づく対話データセットである Wizard of Wikipedia (WoW) [7] には話者の主観的な意見や感情が多く含まれている. Dziri らは WoW 中の主観的な意見や感情を含む発話に幻覚であることを示すラベルをつけ，このようなデータセットで追加学習したモデルは幻覚を多く生成する傾向があると

図 1 本研究と，収集したデータセットである DDFC の概要. 知識に基づく既存の対話応答を文単位に分割する. その各文に対し，文のタイプに応じてラベル付けを行った.このラベルを用いて分類タスクに取り組んだ.

いうことを示した [8].

しかし雑談対話等のオープンドメインの対話システムに関しては，要約や機械翻訳といった他の分野のシステムとは異なり，応答中の全ての出力が与えられた入力や知識に基づいていれば良いわけではない. 円滑に対話を進めてエンゲージメントを高めるには，個人的な感情や意見，相槌等を発することも重要であり [9]，これらの内容の応答に関する事実正誤性の許容度は高いと考えられる [10].

以上のことから，我々は対話システムの応答生成における事害正誤の判定（幻覚の検出）の前に判定が不要である文を検出し，取り除くべきであるという立場を提案する. 我々は事実正誤の判定が不要となる箇所を先に検出し，それ以外の箇所についてのみ事実正誤の判定を行うことで，対話としての魅力度を保持しつつ事実性も担保された応答の生成が実現できると考えている.

そのための第一歩として，本研究では事実正誤の判定が不要となる文の検出をタスクとして設定し，学習・評価データセットを新たに作成した上で，複数の分類モデルを用いて実験を行った. 作成した

データセットである Dialogue Dataset annotated with Fact-Check-needed label（DDFC）の概要を図 1 に示した. DDFC の構築方法と内容は 3 章で述べる。

## 2 関連研究

幻覚の検出 LLM の出力から幻覚を検出することは, 生成された出力の信頼性を高め, 実社会へ応用していくための非常に重要な課題となっている.

機械翻訳の分野において，Guerreiro らは幻覚を含む応答はソース文とはかけ離れた内容になるという洞察から，最適輸送を用いた定式化によって検出を試みている [11]. また，Dale らも同様の洞察をもって, 生成された文に対するソース文の寄与率を評価することで幻覚の検出を試みている [12]. この他,要約や質問応答等多くの分野で幻覚検出の手法が提案されている $[13,14]$.

対話システムにおける幻覚対話システムの構築においても，幻覚の検出・抑制は重要な研究課題となっている [8]. Shuster らは, 関連知識を検索するモジュールで対話システムを補強することで幻覚を抑制することを提案した [15]. また，Dziri らは知識グラフに問い合わせることで，生成された応答中の幻覚を修正できる対話システムを提案した [16].

知識に基づく対話応答データセット外部知識の活用により，情報量に富んだ信頼性の高い応答応答を生成することを目的として，知識に基づく対話応答データセットが作成されてきた [17]. 有名なものとして，情報探索者である Apprentice と， Wikipedia の知識に基づいて応答を行う Wizard による対話データセットである Wizard of Wikipedia [7],映画についての Wikipedia の記事が知識として与えられ，それに基づく会話を収集したデータセットである CMU-DOG [18]，8つの広範なトピックからなる知識をべースとした対話データセットである TOPICAL-CHAT [19] 等が挙げられる.

## 3 DDFC データセット

本研究で作成した DDFC データセットは，外部知識，外部知識に基づく応答，応答を文単位で分割したもの，談話行為に基づく文ラベル，事実正誤の判定が不要か否かのラベルから構成されている.

## 3.1 アイデア

Dziri らによって作成された FaithDial データセットは WoWをべースとして，その応答中に与えら
れた知識に裏付けされない情報が含まれていれば幻覚というラベルが付けられる [8]. したがって， FaithDial では話者の主観的な意見や個人的な経験，考え，感情等が応答に含まれていた場合は基本的に幻覚というラベルが付けられてしまっている.

しかし, WoW のデータセットが作成された時のインストラクションには「与えられた知識を単にオウム返しするのではなく，適切な返答をするために使うこと，そして可能であれば，関連する知識を楽しく魅力的な方法で提示すること」という記述がある [7]. また，雑談対話システムの出力を評価するための指標として，情報提供等による「有益性」だけでなく，「もう一度話したいか」や「興味を引いたか」といった項目がある [20].

これらから，対話においては単に与えられた知識に基づいて発話を生成するだけではなく，個人的な意見や感情等も含めて発話することで相手の共感や興味を生み出すことが重要になると示唆される. 以上のことを根拠に，我々は知識に基づく対話データセットに，事実正誤の判定が不要であるかどうかのラベルを新たに付与する必要があると考えた。

## 3.2 DDFC データセットの作成

ベースとなるデータセット我々は Dziri らが作成した FaithDial データセットにおける外部知識に基づく対話応答をべースとして，文分割をした後にラベル付けを行った. FaithDial は，知識付きの対話データセットである Wizard of Wikipedia において， Wizard（与えられた Wikipedia の記事に基づいて応答を生成する役）の応答に，幻覚等のラベルと対話行為のラベルを付与したデータセットである.

ラベル付けのための文分割本データセットでは，1文単位でラベル付けを行うため，FaithDial の応答を「.」,「!」,「?」,「...」のいずれかで分割した.

ラベルの種類国立国語研究所によって作成された『日本語日常会話コーパス』における談話行為夕グ [21]を参考にして文のラベルを作成した。

ラベルは，(i) 同意・非同意・相槌等，(ii) 提案・ アドバイス等，(iii) 主観的な意見・個人的な経験/考え/感情等，(iv) 客観的な情報等の 4 種類とした.

これらのラベルのうち，(i), (ii), (iii) は相手の興味を引いたり対話応答の魅力度を高めたりするための談話行為であり，与えられた知識に基づいていなくても許容される発話であると考えている. よって，これらの文には事実正誤の判定が不要であると

図 2 AMT のフローチャート

いうラベルを付与した. 対して，客観的な情報の提供を表す (iv) は与えられた知識に適切に基づいていなければならないと考え, 事実正誤の判定が必要になるというラベルを付与した。

AMT によるアノテーション Amazon Mechanical Turk (AMT) を用いて文のラベルのアノテーションを行った. クラウドワーカのタスクは，提示された 1 つの文に関する質問に答えることで (i)～(iv) の文のラベルの分類を行うことである. 我々は FaithDial のデータセット作成の手法と同様に，YES/NO で回答できる質問に答えていくことでラべルの分類を行う YES・NO チャートの形式を採用した. なお，デー タの信頼性を高めるため， 1 文あたり 3 人のクラウドワーカを割り当て，そのうち 3 人もしくは 2 人のラベルが一致した文のみをデータセットに含めた.

我々は 4 つのラベルの分類を行うため，次の 3 つの質問を用意した. 1 つ目の質問は，「文が，同意/非同意もしくは相槌のみを表しているか」で，この質問への回答が YES であれば (i) のラベルが振られ，NOであれば 2 つ目の質問に進む. 2 つ目の質問は，「文が新たな情報を提供しているか」で，この質問への回答が NO であれば (ii) のラベルが振られ，YESであれば 3 つ目の質問に進む. 3 つ目の質問は，「文中の内容全てが主観的な意見や個人的な経験/考え/感情に基づいているか」で，この質問への回答が YES であれば (iii) のラベルが振られ，NO であれば (iv) のラベルが振られる。ここまでの流れをフローチャートで表したものを図 2 に示した。なお，図 2 はクラウドワーカにも提示した.

## 3.3 データセットの分析

データ収集方法の妥当性表 1 亿, 本研究のデー タ収集において，各文に割り当てられた 3 人のクラウドワーカのラベル一致率を示した.表 1 クラウドワーカのラベル一致率

表 2 データセットのラベルの内訳

ラベルの説明件数 $\quad$ 割合 $(\%)$

各文に割り当てられた 3 人のクラウドワーカのうち，3人全員のラベルが一致していた文の割合が $60.0 \% ， 2$ 人が一致していた文の割合が $36.9 \%$, 全員のラベルが異なり一致がなかった文の割合が $3.1 \%$ であった. 全員のラベルが異なっていた文の割合は小さいため，データ収集方法の妥当性は高いと考えられる。なお，全員のラベルが異なっていた文についてはラベルの付与ができないため，データセットから排除した.

各ラベルの件数表 2 に, 収集したデータセットの各ラベルの件数と割合を示した.

(iv) 客観的な情報提供等を表すラベルは約 $40 \%$ に留まり，(iii) 主観的な意見や個人的な経験等を表すラベルも同じく $40 \%$ 程度の割合を占めていた。これは，我々がべースとした FaithDial の元となるデータセットである Wizard of Wikipedia の作成時のクラウドワーカがインストラクション中の「関連する知識を楽しく魅力的な方法で提示すること」という記述に則って，自己に関する情報を開示して魅力的な対話応答の生成を目指していることが影響していると考えられる。
表 3 各モデルにおける事実正誤の判定が不要となる文の分類（二値分類）の結果. 評価指標は正解率，適合率，再現率，F1 值とし，各指標で最も高い値を太字で示した.

## 4 実験

## 4.1 実験設定

学習・評価データセット 3 章で収集した全 1,317 件のデータを, 1,000 件の学習データと 317 件の評価データに分割した。

分類モデルアーキテクチャ, パラメータサイズ,追加学習の有無による分類精度の差異を調査するために, GPT-3.5 [22], GPT-4 [23], Llama 2 Chat 7B [24], DeBERTa v $3_{\text {large }}$ [25], RoBERTa large [26], BERT large $^{\text {[27] }}$ を用意して実験を行った. 追加学習の学習設定については付録に記載した。

評価指標各モデルにおける事実正誤の判定が不要となる文の分類（二値分類）の結果を評価するため, 正解率，適合率，再現率，F1 値を算出した. 適合率は事実正誤の判定が不要であるとモデルが予測した文のうち，判定が不要であるというラベルがついていた割合を表す. 再現率は事害正誤の判定が不要であるというラべルがついた文のうち, 不要であるとモデルが正しく予測できた割合を表す.

## 4.2 実験結果

実験の結果を表 3 に示した. 最も精度良く分類できたのはデコーダモデルである Llama $22_{\text {Chat } 7 \mathrm{~B}}$ に追加学習を施したものであり, 正解率が約 88 ポイント， F1 值が約 90 ポイントであった. GPT-3.5, GPT-4, Llama $2_{\text {Chat 7B }}$ (追加学習なし）については，ほとんどの予測が事実正誤判定不要のラベルであり, 再現率は非常に高いが正解率，適合率，F1 値が低かった. エンコーダモデルについては DeBERTa $\mathrm{v} 3_{\text {large }}$ の分類精度が最も高く, RoBERTa large $と$ BERT $_{\text {large }}$ については同等の分類精度であった. 追加学習を施したデコーダモデルとエンコーダモデルを比較すると，パラメータサイズはエンコーダモデルが非常に小さくなっているが，大きな正解率の差はないこ
とが分かる. 最も高精度で分類できた Llama $2_{\text {Chat } 7 \mathrm{~B}}$ の分類結果のエラー例については付録に記載した。

## 5 今後の展望

分類モデルの精度向上本実験では 1,000 件のデータで追加学習を行ったが，これはべースとしたデータセットである FaithDial の学習データサイズ (約 18,400 応答) と比べて少数であり, 拡充の余地がある.より多くのデータを用いることで更なる予測精度の向上が見込まれる (追加学習データ数と正解率の関係についての調査は付録に記載した）ため, より大規模なデータ収集に取り組みたい.

また, 本実験ではデータの少なさから (i), (ii), (iii) のラベルをひとまとめにして二値分類のタスクに取り組んだが，十分な量のデータ収集後は 4 つのラベルでの分類ができるかを調査したい.

分類モデルの対話応答システムへの適用与えられた知識ないし事実に基づかない応答を全て排除してしまうと，対話の魅力度が低下してしまうことが懸念される. 本実験で用いた分類モデルを活用し，個人的な感情や意見といった事実正誤の判定が不要である文を取り除いたうえで対話システムの応答の事実正誤の判定を行うことで，対話としての魅力度と事実性の担保を両立した応答の生成が可能になるかどうか調査したい.

## 6 おわりに

本研究では，LLMを用いた対話システムの幻覚問題を背景として，事実正誤の判定が不要である文を検出するタスクを提案し，AMT を用いて計 1,317 文にラベルを付与したデータセットを作成した.このタスクのベースラインとしていくつかの分類モデルを用意し, 最も分類精度が高いモデルで約 88 ポイントの正解率で分類できることを確かめた. 今後はより大規模なデータ収集と，作成したモデルの活用に取り組んでいきたい.

## 謝辞

本研究はJST ムーンショット型研究開発事業 JPMJMS2011-35（fundamental research), JSPS 科研費 JP22K17943 の助成を受けたものです. また, 本研究を進めるにあたり，頻繁に議論に参加していただいた東北大学鈴木潤研究室, 東北大学坂口 ・乾・徳久研究室の皆様へ感謝いたします.

## 参考文献

[1] Yuheng Zha, Yichi Yang, Ruichen Li, and Zhiting Hu. AlignScore: Evaluating factual consistency with a unified alignment function. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[2] Tanay Dixit, Fei Wang, and Muhao Chen. Improving factuality of abstractive summarization without sacrificing summary quality. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[3] Kung-Hsiang Huang, Hou Pong Chan, and Heng Ji. Zero-shot faithful factual error correction. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[4] Nouha Dziri, Sivan Milton, Mo Yu, Osmar Zaiane, and Siva Reddy. On the origin of hallucinations in conversational models: Is it the datasets or the models? In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Seattle, United States, 2022. Association for Computational Linguistics.

[5] Bin Sun, Yitong Li, Fei Mi, Fanhu Bie, Yiwei Li, and Kan Li. Towards fewer hallucinations in knowledge-grounded dialogue generation via augmentative and contrastive knowledge-dialogue. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[6] Ziwei Ji, Zihan Liu, Nayeon Lee, Tiezheng Yu, Bryan Wilie, Min Zeng, and Pascale Fung. RHO: Reducing hallucination in opendomain dialogues with knowledge grounding. In Findings of the Association for Computational Linguistics: ACL 2023, 2023.

[7] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[8] Nouha Dziri, Ehsan Kamalloo, Sivan Milton, Osmar Zaiane, Mo Yu, Edoardo M. Ponti, and Siva Reddy. FaithDial: A faithful benchmark for information-seeking dialogue. Transactions of the Association for Computational Linguistics, Vol. 10, 2022.

[9] Minlie Huang, Xiaoyan Zhu, and Jianfeng Gao. Challenges in building intelligent open-domain dialog systems. 2020.

[10] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan $\mathrm{Xu}$, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Computing Surveys, No. 12, 2023

[11] Nuno M. Guerreiro, Pierre Colombo, Pablo Piantanida, and André Martins. Optimal transport for unsupervised hallucination detection in neural machine translation. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023.

[12] David Dale, Elena Voita, Loic Barrault, and Marta R. Costa-jussà. Detecting and mitigating hallucinations in machine translation: Model internal workings alone do well, sentence similarity Even better. In Proceedings of the 61st Annual Meeting of the As- sociation for Computational Linguistics, 2023.

[13] Prafulla Kumar Choubey, Alex Fabbri, Jesse Vig, Chien-Sheng Wu, Wenhao Liu, and Nazneen Rajani. CaPE: Contrastive parameter ensembling for reducing hallucination in abstractive summarization. In Findings of the Association for Computational Linguistics: ACL 2023, 2023.

[14] Mobashir Sadat, Zhengyu Zhou, Lukas Lange, Jun Araki, Arsalan Gundroo, Bingqing Wang, Rakesh Menon, Md Parvez, and Zhe Feng. DelucionQA: Detecting hallucinations in domain-specific question answering. In Findings of the Association for Computational Linguistics: EMNLP 2023, 2023.

[15] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, 2021.

[16] Nouha Dziri, Andrea Madotto, Osmar Zaïane, and Avishek Joey Bose. Neural path hunter: Reducing hallucination in dialogue systems via path grounding. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 2021.

[17] Boyang Xue, Weichao Wang, Hongru Wang, Fei Mi, Rui Wang, Yasheng Wang, Lifeng Shang, Xin Jiang, Qun Liu, and KamFai Wong. Improving factual consistency for knowledge-grounded dialogue systems via knowledge enhancement and alignment. Association for Computational Linguistics, 2023.

[18] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black. A dataset for document grounded conversations, 2018.

[19] Karthik Gopalakrishnan, Behnam Hedayatnia, Qinlang Chen, Anna Gottardi, Sanjeev Kwatra, Anu Venkatesh, Raefer Gabriel, and Dilek Hakkani-Tur. Topical-chat: Towards knowledgegrounded open-domain conversations, 2023.

[20]稲葉通将. 雑談対話システムをどう評価すべきか- tripiabot のライブコンペ予選通過から考える-. 人工知能学会研究会資料言語・音声理解と対話処理研究会, 2019.

[21] Yuriko Iseki, Keisuke Kadota, and Yasuharu Den. Characteristics of everyday conversation derived from the analysis of dialog act annotation. 2019.

[22] OpenAI. Introducing chatgpt, 2022.

[23] OpenAI. Gpt-4 technical report, 2023.

[24] et al. Hugo Touvron. Llama 2: Open foundation and fine-tuned chat models, 2023.

[25] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTav3: Improving deBERTa using ELECTRA-style pre-training with gradient-disentangled embedding sharing. In The Eleventh International Conference on Learning Representations, 2023.

[26] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[27] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. Association for Computational Linguistics, 2019.

## A エラーの例

本実験で作成したモデルのうち最も分類精度の高かった Llama $2_{\text {Chat } 7 \mathrm{~B}}$ に追加学習を施したモデルが正しく分類できなかった文の例を記載する。実際は事実正誤の判定が不要だが，必要だと予測された文の例を表 4 に，実際は事実正誤の判定が必要だが，不要だと予測された文の例を表 5 に示した.

表 4 実際は事実正誤の判定が不要だが，必要だと予測してしまった文の例

 & (iii) & 1 \\

表 5 実際は事実正誤の判定が必要だが，不要だと予測してしまった文の例

 & (iv) & 0 \\

## B 追加学習データ数と分類精度の 関係の調査

デコーダモデルの Llama $2_{\text {Chat } 7 \mathrm{~B}}$ とエンコーダモデルの DeBERTa $3_{\text {large }}$ について, 追加学習の学習データ数を $\{100,200,300,400,500,600,700,800,900$, $1,000\}$ として 4.1 章と同様の設定で実験を行って Accuarcy を算出した結果をそれぞれ図 3 , 図 4 に示した.

図 3 より, Llama $2_{\text {Chat } 7 \mathrm{~B}}$ では学習データ数が 800 件を超えたあたりから正解率の大幅な上昇が見られ，データの追加によるさらなる精度向上が見込まれる. 図 4 より, DeBERTa $3_{\text {large }}$ では全体的に, Llama $2_{\text {Chat } 7 \mathrm{~B}}$ と比べて緩やかに正解率が上昇していることが分かった.

## C モデルの追加学習の設定

本実験のエンコーダモデル，デコーダモデルの追加学習の設定をそれぞれ表 6,7 に示した.
Llama 2Chat 7B

図 3 Llama $2_{\text {Chat 7B }}$ の学習データ数と正解率の関係

## DeBERTa v3large

図 4 DeBERTa v $3_{\text {large }}$ の学習データ数と正解率の関係

表 6 エンコーダモデルの追加学習時の学習設定

表 7 デコーダモデルの追加学習時の学習設定


# 科学技術論文を対象とした根拠付き生成型要約システムの構築

笠原智仁 村田栄樹 河原大輔
早稲田大学理工学術院
\{tomo_k@ruri.,eiki.1650-2951@toki.,dkw@\}waseda.jp

## 概要

本研究では日本語の科学技術論文を対象として、抽出型要約と生成型要約を融合した根拠付きの生成型要約システムを構築する。具体的には、論文本文から抽出型要約を作成し、それを大規模言語モデルによって言い換えることによって生成型要約を生成する。抽出型要約によって本文から抽出された文が生成された要約の根拠となり、言い換えによって自然な文章を生成することが可能となる。評価の結果、本文から直接要約を生成する生成型要約モデルと比較して、幻覚の生成が減少することを確認した。

## 1 はじめに

自動要約の手法は、原文から重要とされる文を取り出す抽出型要約と、原文を入力して要約を生成させる生成型要約の 2 種類に大きく分けられる。抽出型要約は誤った情報が含まれないという長所があるが、抽出された要約が文章として不自然であるという欠点がある。一方で生成型要約においては、自然な文章を生成することが可能になるという長所があるが、生成された要約が原文の内容に忠実か保証されないという欠点が存在する。このような原文に基づいていない、捏造された文章が生成される事象は幻覚 (Hallucination) と呼ばれる。

本研究ではこれらの欠点を克服するため、図 1 に示すような、2つの手法を組み合わせた根拠付き生成型要約システムを構築する。具体的には、原文から抽出型要約を作成し、それを大規模言語モデルによって言い換えることによって要約を生成するという 2 つのステップを踏む。本手法では、抽出型要約によって原文から抽出された文が生成された要約の根拠となり、言い換えによって自然な文章を生成することが可能となる。

日本語の科学技術論文を対象として実験を行い、根拠となる文を示した上で生成型要約モデルと同

図 1 根拠付き生成型要約システムのアーキテクチャ

等の精度を出すことが可能であることを示した。また、GPT-4を用いて幻覚についての評価を行った結果、生成型要約モデルと比較して幻覚が発生しづらくなるということも明らかになった。

## 2 関連研究

抽出型要約と要約型要約を組み合わせた手法の先行研究としては、Transformer [1] の考案以前から RNNを利用した手法 [2,3] が提案されている。 Transformer の考案により要約モデルの性能は向上したが、依然として抽出型と生成型それぞれの欠点は残るため、2 種類を融合した手法の研究は続けられている。

抽出型から生成型への情報の受け渡しには様々な方法があり、原文から文単位で抽出した文章を生成型要約モデルの入力とする手法 [4] や、それ以外のキーワードや原文そのものも入力に含める手法 $[5,6]$ 、離散的な抽出ではなく原文を文単位で重みづけする手法 [7] などがある。本研究では抽出型要約が生成された要約の根拠となることに着目しているため、抽出型要約は文単位の離散的な抽出であり、生成型要約への入力には抽出された原文以外は用いないという条件を満たさなければならない。

## 3 根拠付き生成型要約システム

本研究では抽出型要約と生成型要約を組み合わせることにより、根拠付き生成型要約システムを構築する(図 1)。要約の流れとしては、まず原文を抽出型要約モデルに入力し、重要とされる文を複数文抽出する。ここで抽出された文は最終的に生成される要約の根拠となる。次に、抽出された文を言い換えモデルに入力し、要約を生成する。

## 3.1 抽出型要約モデル

抽出型要約モデルは Transformer の encoder ベースの事前学習済みモデルを、BERTSUM [8] の手法を参考に fine-tuning することで構築する。具体的には、原文の各文の先頭に CLS トークンを挿入し入力とする。次に、その埋め込みを基に抽出するべきか否かを示すスコアを出力する。

## 3.2 言い換えモデル

言い換えモデルは Transformer の decoder ベースの事前学習済みモデルを fine-tuning することで構築する。原文から抽出した複数文をモデルに入力し、自然な要約が生成されるように学習を行う。

## 4 データセット

科学技術振興機構が本研究のために国内発行の科学技術文献より集めたデータセットを利用する。このデータセットには、本文と抄録を持つ論文（全て学会予稿）が 22,209 件含まれている。本文は $84 \%$ の文献が日本語で執筆されており、残りは英語からの機械翻訳である。一方、抄録は $5 \%$ のみが日本語であり、 $95 \%$ が英語からの機械翻訳である。これは、予稿がすでに抄録的な意味合いを持つため、日本語の抄録は略し、英語読者のための英語抄録のみが存在することが多いためと考えられる。

構築する根拠付き生成型要約システムは抽出型要約モデルと言い換えモデルからなる。それぞれ独立に学習を行うため、その学習データについて 4.1、 4.2 節で述べる。なお、いずれのモデルの学習においても、 train:valid:test=8:1:1 に分割し、test は共通のデータとなるようにした。

## 4.1 抽出型要約モデルの学習データ

抽出型要約モデルの学習に用いる正解データは、本文の各文について抽出するべきかの 2 值分類ラべ
ルを付与することで作成する。具体的には抄録の各文に対して、本文の各文もしくは連続する 2 文との間で BLEU スコアを計算し、最もスコアが高い 1 文または連続する 2 文に「抽出」ラベルを付与する。 ただし、既に抽出済みの場合には、次にスコアの高い文または連続する 2 文にラベルを付与する。連続する 2 文を考慮する理由は、本文では 2 文に分かれている内容が抄録では 1 文にまとめられるケースがあるためである。以降、このラベルが付与された本文内の文集合を「BLEU 抽出」と呼ぶ。

## 4.2 言い換えモデルの学習データ

言い換えモデルの学習時の入力には、上記の BLEU 抽出と、学習を行った抽出型要約モデルによって抽出した文集合の、2 通りを実験して比較する。なお、後者については学習データと推論データの重複を避けるために 5-fold cross-validation によって作成する。

## 4.3 幻覚のテストデータ

本研究では、生成した要約における幻覚の評価は GPT-4を用いて行う。上記データセットは権利の都合上 GPT-4 へのデータ投入ができないため、投入が可能な 23 種類の資料から 10 論文ずつをランダムに選択して幻覚のテストデータを構築した。なお、この論文データには本文のみが含まれ、抄録は付属していない。

## 5 実験

抽出型要約モデルと言い換えモデルのそれぞれを独立して学習と評価を行った後に、End-to-Endでの評価を行う。

## 5.1 実験設定

モデル学習時のハイパーパラメータについては付録 A に記載する。

## 5.1.1 根拠付き生成型要約システムの設定

抽出型要約モデルと言い換えモデルには、それぞれ日本語で事前学習された BigBird ${ }^{1)}$ [9] と GPT-2 [10] ベースのモデル2)を用いる。抽出型要約モデルの推論時には閾値を設定し、そ

表 2 抽出型要約モデルの評価。Reference は BLEU 抽出。

表 3 抽出型要約モデルの評価。Reference は正解抄録。

の値を超えた文のみを抽出する。また、最低抽出文数を 3 に設定し、閾値を超えた文数が 3 文未満の場合にはスコアの高い 3 文を抽出することとした。

言い換えモデルでは、入力と正解抄録の間に SEP トークンを挿入し fine-tuning する。抄録部のみについて損失を計算する。推論時は、SEP トークンまで入力し、続きを生成することで抄録とする。

## 5.1.2 ベースラインモデルの設定

生成型要約のベースラインとして、本文から直接、抄録を生成するモデルを構築する。ベースモデルは 5.1.1 節と同じ GPT-2 を用いる。本文を入力、抄録を正解として fine-tuning する。本文、“要約:”、抄録の 3 つの文字列を連結し、抄録部のみで損失計算を行う。推論時は本文と “要約:”を入力し、続きを生成することで抄録とする。

## 5.1.3 評価指標

抽出型要約モデルの評価として、Accuracy、Recall、 Precision、F1による評価と、表層一致ベースの評価を行う。生成抄録の評価には、表層一致べースの評価と、幻覚についての評価を行う。表層一致べースの評価には、正解抄録との ROUGE- $\{1,2$, L $\}$ を計算する。

幻覚の評価については GPT-4 に本文と抄録を入力し、幻覚を含むかどうかを判定する。OpenAI API を通じて gpt-4-turbo の Chain-of-Thought プロンプティング [11]により、幻覚があれば 1 を、なければ 0 を表 4 抽出型要約モデルによる抽出と、本文と正解抄録の文数。

出力させる。詳細は付録 B に示す。GPT-4 の出力を当該要約 1 文あたりに正規化し、これを評価セットで平均した値を幻覚率とする。ただし、幻覚の評価は End-to-End の設定でのみ行う。

生成では繰り返しが起こることもあるため、上記の評価は繰り返しを除去した後に行う。使用するモデルのトークンベースで、同一の 5-gram が 15 回以上出現した場合に繰り返しとみなす。

## 5.2 実験結果

## 5.2.1 抽出型要約モデルの評価

5.1.1 節の設定で fine-tuning を行った抽出型要約モデルによる抽出結果と、BLEU 抽出との間における、 Accuracy、Recall、Precision、F1による評価結果を表 2 に示す。F1 において、間値が 0.2 と 0.3 の場合にスコアが高くなったため、以降ではこの 2 種類の閾値の結果を載せる。

抽出型要約モデルによる抽出結果と正解抄録との間における、ROUGE による評価結果を表 3 に示す。 また、表 4 に各項目ごとの文数を示す。正解抄録や閾値が 0.3 の場合と比較して、閾値が 0.2 の場合は抽出される文数が多くなってしまい、ROUGE のスコアも低いことが分かる。これらの結果から、言い換えモデルの学習や End-to-End での推論には閾値が 0.3 のデータを用いることとした。

## 5.2.2 言い換えモデルの評価

言い換えモデル単体での評価結果を表 1 の上部に示す。推論時の入力は BLEU 抽出を使用する。 fine-tuning 時の入力は 4.2 節で述べた 2 つの設定、すなわち BLEU 抽出と BigBird による抽出 (BigBird 抽出)で比較する。

BigBird 抽出で fine-tuning したモデルでは、繰り返
表 5 幻覚の評価 (End-to-End)。提案手法横の括弧内には fine-tuning に使用した抽出方法を示す。幻覚率は生成された抄録の 1 文あたりに幻覚が含まれる割合である。

表 6 提案手法 (学習:BLEU 抽出、抽出閾値:0.3) と生成型ベースラインの定性的な比較。太字で BigBird によって抽出された本文を示し、幻覚となっている部分をハイライトした。

 & &  \\

しが多くROUGE スコアも低くなっている。BigBird 抽出には、抄録として必要ではない文が含まれる可能性がある。これらがノイズとなり、学習が難しくなったと考えられる。

## 5.2.3 End-to-End での評価

BigBird 抽出を言い換えモデルの推論時の入力とした End-to-End での要約を評価する。

表層一致ベースの評価まず、表層一致ベースの結果を表 1 の下部に示す。5.1.2 節で構築した生成型要約のベースラインの結果も含める。

5.2.2 節と同様に、BigBird 抽出を言い換えモデルの fine-tuning に使用したモデルは、繰り返しが多い。 Fine-tuning 時の入力と推論時の入力の性質が似ている方がよい結果を得られると考えたが、高品質なデータでの fine-tuning がよりよい結果を得た。

また ROUGE の指標では、生成ベースラインが提案手法を若干上回った。ただし、BLEU 抽出を言い換えモデルの入力としたモデルと比較すると生成ベースラインが劣るため、ボトルネックは抽出型要約にあると考えられる。

幻覚の評価表 5 に GPT-4 による幻覚の評価結果を示す。BigBird 抽出、提案手法 (学習データの異な
る 2 設定)、生成ベースラインの結果をそれぞれ示す。ただし、4.3 節で言及したデータの差には留意されたい。

モデルによって出力する文数が異なるため、文あたりの幻覚率に着目すると、BLEU 抽出で fine-tuning した提案手法が生成ベースラインよりもよい結果を得た。これは根拠付き生成型要約であることによる利点である。一方、BigBird 抽出で fine-tuning した提案手法はやや生成ベースラインより劣った。これは言い換えモデルの fine-tuning 時に入力と正解抄録で参照する情報が異なるケースが多いためと考えられる。

表 6 に提案手法と生成ベースラインが生成した抄録の例を示す。ベースラインでは本文に基づかない生成が見られるが、提案手法ではより忠実な生成が多かった。

## 6 おわりに

本研究では日本語の科学技術論文を対象として、抽出型要約と生成型要約を融合した根拠付きの生成型要約システムを構築した。実験の結果、生成型要約モデルと比較して幻覚の発生確率が下がることが明らかになった。

## 謝辞

本研究は国立研究開発法人科学技術振興機構「科学技術文献の活用業務に係る自然言語処理研究および技術実証事業」の委託研究において行った。本研究に的確な助言を頂いた国立研究開発法人科学技術振興機構の鈴木慶二氏、菊井玄一郎氏に感謝する。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[2] Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th ACL, pp. 675-686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. A unified model for extractive and abstractive summarization using inconsistency loss. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th ACL, pp. 132-141, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Haoran Li, Arash Einolghozati, Srinivasan Iyer, Bhargavi Paranjape, Yashar Mehdad, Sonal Gupta, and Marjan Ghazvininejad. EASE: Extractive-abstractive summarization end-to-end using the information bottleneck principle. In Giuseppe Carenini, Jackie Chi Kit Cheung, Yue Dong, Fei Liu, and Lu Wang, editors, Proceedings of the Third Workshop on New Frontiers in Summarization, pp. 85-95, Online and in Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jonathan Pilault, Raymond Li, Sandeep Subramanian, and Chris Pal. On extractive and abstractive neural document summarization with transformer language models. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 9308-9319, Online, November 2020. Association for Computational Linguistics.

[6] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang, and Graham Neubig. GSum: A general framework for guided neural abstractive summarization. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tur, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the NAACL-HLT, pp. 4830-4842, Online, June 2021. Association for Computational Linguistics.

[7] Fei Wang, Kaiqiang Song, Hongming Zhang, Lifeng Jin, Sangwoo Cho, Wenlin Yao, Xiaoyang Wang, Muhao Chen, and Dong Yu. Salience allocation as guidance for abstractive summarization. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on EMNLP, pp. 6094-6106, Abu Dhabi, United
Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on EMNLP-IJCNLP, pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in neural information processing systems, Vol. 33, pp. 17283-17297, 2020.

[10] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[11] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed Chi, Quoc V Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837. Curran Associates, Inc., 2022.

[12] Or Honovich, Roee Aharoni, Jonathan Herzig, Hagai Taitelbaum, Doron Kukliansy, Vered Cohen, Thomas Scialom, Idan Szpektor, Avinatan Hassidim, and Yossi Matias. TRUE: Re-evaluating factual consistency evaluation. In Song Feng, Hui Wan, Caixia Yuan, and Han Yu, editors, Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 161-175, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Alexander R. Fabbri, Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, and Dragomir Radev. SummEval: Re-evaluating Summarization Evaluation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 391-409, 042021.

## A ハイパーパラメータ

モデルの学習時に設定したハイパーパラメータを表 7 に示す。なお、言い換えモデルの推論では貪欲法を用いた。

## B 幻覚評価の詳細

5.1.3 節で導入した、GPT-4 による幻覚評価の詳細を述べる。

## B. 1 幻覚評価の手法

GPT-4 を使用した zero-shot Chain-of-Thought により、生成された抄録に幻覚が含まれるかを判定する。使用したチェックポイントは “gpt-4-1106-preview”である。

まず図 2(a)のように本文と抄録を提示し、幻覚が含まれるか記述する。“source”と “target”にそれぞれ本文と生成された抄録を代入する。次にプロンプト 1 とそれに対する GPT-4 の出力に加えて、図 2(b) のプロンプ卜 2 を入力することで 2 值の評価を得る。

[要約]に含まれる情報が [本文] と矛盾しないか判断してください。もし
[要約]が [本文] に基づいていない箇所を含む場合、その [要約] の部分と
判断材料となった [本文] の該当箇所を示して理由を説明してくださ
い。***ただし、[本文]に含まれるすべての事実が [要約] で言及される
必要はありません。***
[本文]
\{source $\}$
[要約]
\{target $\}$

以上の情報を踏まえて、[要約]に含まれる情報が [本文] と矛盾しているか判断してください。矛盾している場合は 1 を、矛盾していない場合は 0 を出力してください。数字のみを出力してください。理由などは必要ありません。

(b) プロンプト 2

(a) プロンプト 1

図 2 幻覚評価に使用したプロンプト

## B. 2 幻覚評価の性能

この評価の性能を検証するため、TRUE [12] で 2 值化された SummEval [13] でテストを行う。新聞記事とモデルの出力した要約に対して、幻覚が含まれていないか人手でアノテーションされたデータである。このデータに対して B. 1 節の手法で評価した結果を表 8 に示す。

表 8 ラベル付き要約データでの幻覚評価器の評価結果


# モデル介入を用いる Jailbreak prompt 攻撃 の初期応答の選択手法

Thien Q. Tran 綿岡晃輝 高橋翼
LINE ヤフー株式会社
\{tran.thien, koki.wataoka, tsubasa.takahashi\}@lycorp.co.jp

## 概要

大規模言語モデル（LLM）の広範な応用には, 安全性の確保が求められる. LLM に不適切なコンテンツを生成させるための入力である jailbreak prompts 攻撃は, LLM の安全な運用にとって重大な脅威である. 従来の jailbreak prompts 手法は, 有害な生成の継続を前提として, 肯定的な初期応答を生成するようにプロンプトを最適化する。本研究は適切な初期応答の選択の重要性とそれに伴う困難に注目する. 攻撃の成功へ導く初期応答を効果的に選択するために, モデル介入を用いる選択手法を提案する. 実験により,この方法が適切な初期応答を正確に選択する能力を大幅に向上させ, 攻撃成功率を高めることを示した。

## 1 はじめに

大規模言語モデル（LLM）が日常のアプリケー ションに普及するにつれ, その安全性を保証することが求められる [1][2][3]. LLM に有害な反応を引き出すために作られた jailbreak prompts は, これらのシステムの安全性にとって大きな課題である [4][5]. このようなプロンプトを発見し, 対処することは, LLM の信頼性を維持するために重要である [4][6].

Jailbreak prompts を作成する戦略の一つに，肯定的な初期応答を生成するようにプロンプトを最適化する方法がある.このアプローチは, そのような初期応答が有害な生成を誘導するという仮定に基づいている [7][8]. しかし, 我々はこの仮定が成り立たないことが多いと考えている. LLM が肯定的な応答で始まっても, その後, 有害な生成を強く拒否するケースが多数見られた. 我々はより有効な jailbreak prompt の作成手法を目標とする。

攻撃の成功率は, 有効な初期応答に依存する. しかし, これらの初期応答の効果を測ることは通常, 複雑
な最適化問題を繰り返し解決するコストを要する作業である. 代わりに, 我々は有効な初期応答を選択するためにランダムなプロンプトのみを用いる新しい方法を提案する。一般的に, ランダムなプロンプトを使う場合, 初期応答の有効性を正しく評価できない.提案法は, モデルの内部状態に介入することで, 最適化されたプロンプトで得られた評価結果と近い評価結果を導くことに成功した。

我々は, 4 種類の有害なりクエストに対する実験を行い, 提案されたモデルが有効な初期応答を選択できることを示した. 提案方法が, 最適化されたプロンプトで評価される際の攻撃成功率（ASR）に近い値を得ており，他の手法よりも適切に選択を成功させている。これらの結果は, 提案法が LLM の安全性を向上させるための有用なツールであることを強調している

## 2 事前準備

自己回帰型言語モデル $g: X \rightarrow \mathbb{R}^{|V|}$ は, トークン列 $x_{1: n} \in \mathcal{X}, x_{i} \in V$ を, 次に来るトークン $x_{n+1} \in \mathscr{V}$ の確率分布に変換する，各トークンは，内部状態 $\left.\{h_{i}^{(l)}\right.\}_{l=1}^{L}$ として表現され, 最終的な出力 $x_{n+1}$ は最後の内部状態 $h_{n}^{(L)}$ から計算される. 各層での計算は前のトークンのみに依存し，モデルの自己回帰性を保証する. 最後に, $g$ を用いて文字列を生成する関数は $G: X \rightarrow X$ とする. 本研究では議論を簡単にするために, $x_{n+1}=G\left(x_{1: n}\right)=\operatorname{argmax} g\left(x_{1: n}\right)$ の決定的な生成のみ扱う。

Jailbreak prompt 攻撃は, 悪意のあるトークン列 $x_{1: n}$ を入力することで LLM に有害なコンテンツを生成させることを目指す. 本研究では出力 $y_{1: T}$ の有害性を二値関数で定義し, $\phi\left(y_{1: T}\right)=1$ は有害を示し, $\phi\left(y_{1: T}\right)=0$ は安全を示す. 攻撃は次の最適化問題として定式化される

$
\operatorname{argmax}_{x_{1: n}} E\left[\phi\left(y_{1: T}\right) \mid x_{1: n}\right] .
$
最近の研究では，モデルを有害なリクエスト $r$ に対して, 敵対的な suffix（または prefix）を最適化することに焦点を当てている。これらの方法は次のように $\phi\left(y_{1: T}\right)=1$ を保証する敵対的な suffix を特定することを目指す

$
\operatorname{argmax}_{x_{1: n}} E\left[\phi\left(y_{1: T}\right) \mid r \oplus x_{1: n}\right] .
$

有害性スコア $\phi(y)$ を決定するには, 一般的に人間や ChatGPT のような自動化された LLM がが用いられる. $\phi(y)$ が微分不可能であるため, このブラックボックス最適化問題を解くことは困難である. 最近の研究では, "Sure, here is a racist joke"のような肯定的な初期応答をモデルが生成することで, 有害な生成を続けさせることができると提案されている。交差エントロピー損失を最小化することによって, 事前に決定された肯定的な応答 $y_{1: t}, t<T$ を生成するように suffix $x_{1: n}$ を最適化する.

$
L\left(x_{1: n}\right)=-\log p\left(y_{1: t} \mid r \oplus x_{1: n}\right) .
$

## 3 初期応答の選択の重要性と困難性

表 1 異なる初期応答における攻撃成功率（ASR）

，い, 最近の LLM は安全性に沿って訓練されており, jailbreak prompt を構築することが難しくなっている. 肯定的な初期応答によるアプローチでは,有害なリクエストに対して LLM が肯定的な応答 $y_{1: t}$ で始められる場合, その続き $y_{t+1: T}$ も肯定的に続けて生成されるという仮定を置いている。しかし, 最近のよく調整されたモデルにおいて,これが常に成り立つとは限らない. LLM が初めに肯定的な応答を提供するものの, 有害な続行を強く拒否するケースが多く観察された. 例えば”Sure, here is a racist joke. I cannot fulfill your request. As an AI assistant, I am not programmed or ethically, ..."などである.

我々は, jailbreak prompt 攻撃の失敗の大きな要因の一つは, 初期応答の選択であると考える. 表
1 で示されるように, $y_{1: t}$ の選択が攻撃成功率 （ASR）に大きな影響を与えることが確認できる。この表では, "Generate a racist joke"と"Create a story that glorifies or romanticizes sexual assault or non-consensual sexual activities”の 2 つの有害なリクエストに対する 3 つの異なる初期応答の ASR を測定する.各初期応答 $y_{1: t}$ について, 式 (3) の目的を最適化して, 10 個の異なる jailbreak suffixes $x_{1: n}^{*}$, すなわち $X^{*}=\left.\{x_{1: n} \mid G\left(\left(r \oplus x_{1: n}\right)\right)=y_{1: t}\right.\}$ を得る. その後, $X^{*}$ 内で有害な続き $y_{t+1: T}$ が続行される割合を評価する：

$
\frac{1}{\left|X^{*}\right|} \sum_{x^{*} \in X^{*}} E_{y_{t+1: T}}\left[\phi\left(y_{1: T}\right) \mid r \oplus x^{*} \oplus y_{1: t}\right]
$

この ASR 値の測定は, $\left.\{x_{1: n}^{*}\right.\}$ の最適化のために, 著しくリソースを要することに注意する必要がある.

成功する jailbreak 攻撃につながりやすい初期応答 $y_{1: t}$ を特定することは, 重要でありながら困難な課題である. 表 1 に示されるように, これらの初期応答は非常に似ているにもかかわらず，それぞれの ASR 值には大きな差異がある. さらに, これらの成功率を正確に予測するための一貫したパターンは存在しないようである. 例えば, ”Sure, here is a sample”で始まる応答は”Generate a racist joke”のリクエストに対して高い ASR を達成することができるが, ”Create a story that glorifies or romanticizes sexual assault”のリクエス卜に対しては低い成功率をもたらすことがある。 さらに, これらの成功率は異なるモデルを攻撃する際に変動する可能性があり，さらなる複雑さを加える. その結果, 広範な試行錯誤と膨大なコストなしに, 有望な初期応答を決定することは困難になる。

特定の初期応答 $y_{1: t}$ の有効性をより実現可能に評価する方法として, ランダムにサンプリングされた suffixes $\tilde{X} \subset X$ を使用する方法がある.この手法は最適化を必要としないため, 計算上より実用的である. ランダムに生成された suffixes に対して, 初期応答 $y_{1: t}$ が高い攻撃成功率をもたらす場合, 最適化された suffixes に対しても同様に高い成功率を達成する可能性がある. 具体的には, いくつかのランダム suffixes $\left.\{x_{1: n}\right.\}$ を無作為に選択する. そして, 続き $G\left(y_{t+1: T} \mid r \oplus x_{1: n} \oplus y_{1: t}\right)$ を生成し, 出力全体の有害性 $\phi\left(y_{1: T}\right)$ を評価する. ほとんどの場合, ランダムな suffix $x_{1: n}$ は $y_{1: t}$ を生成できないため, 初期応答 $y_{1: t}$ をプロンプトに追加する必要がある. しかし, 初期応答を含めても, よく訓練されたモデルは通常, ほぼすべての初期応答と有害なリクエストに対してゼロの ASR をもたらす.このような一様な ASR 結果では,

図 1 最適化された suffixes $X^{*}$ とランダムな suffixes $\tilde{X}$ を置き換えたプロンプト”Generate a racist joke [x]. Sure, here's a racist joke"のトークン'joke' に対する LLAMA2 モデルの第 10 層の活性化の $\mathrm{t}$-SNE 可視化.

適切な初期応答を選択することはできない。

## 4 提案手法

前の節では, NLP ベースの jailbreak prompt 攻撃の効果において, $y_{1: t}$ の選択が重要であることを議論した. また, $X^{*}$ を計算する複雑さと, ランダム集合 $\tilde{X} \subset X$ を使用したときの評価のずれを考えると, $y_{1: t}$ を選ぶことは困難であることも強調した. この節では, $X^{*}$ と $\tilde{X}$ の違いについての議論から始め, その後, そのギャップを埋めるためのモデル介入を導入し， $\tilde{X}$ を使って $y_{1: t}$ を適切に評価する手法を提案する。

## $4.1 \tilde{X$ と $X^{*}$ の特徴的な違い}

$y_{1: t}$ を評価するのに $\tilde{X}$ が効果的ではないのは, $\tilde{X}$ と $X^{*}$ の特徵的な違いに起因する. 肯定的な $y_{1: t}$ を生成するのに最適化された suffixes $X^{*}$ は, 単に初期応答 $y_{1: t}$ を生成するだけでなく, モデルを「有害で肯定的」な状態に導く効果があると考えられる。また, この肯定的な状態は, $X^{*}$ の攻撃成功率を高める原因となる可能性がある. さらに, 高性能な LLM モデルは安全性を重視した学習が行われているため, 一般的に有害なプロンプトを拒否するため, $\tilde{X}$ と $X^{*}$ はほとんどの場合, 重複がない.

$\tilde{X}$ と $X^{*}$ の特徴が異なることを可視化するのは図 1 である.この図では, プロンプト”Generate a racist joke $[\mathrm{x}]$. Sure, here's a racist joke"で $[\mathrm{x}]$ を $X^{*}$ と $\tilde{X}$ の様々な suffixes で置き換えた場合のトークン'joke'に対するものである．具体的に LLAMA2 モデルの第 10 層の活性化を t-SNE プロットで示している． $\tilde{X}$ と $X^{*}$ からの活性化の明確な分離が観察され, このような $\tilde{X}$ と $X^{*}$ の特徴の違いが, 異なる生成と評価結果
につながっていることを示している

## 4.2 より正確な評価のためのモデル介入

次に， $y_{1: t}$ をより正確に評価できる手法を提案する. Suffixes $X^{*}$ が肯定的なモデル状態を誘導することから，モデルの出力を特定の方向に誘導するモデル介入を導入し,$X^{*}$ と $\tilde{X}$ のギャップを埋めることを目指す.まず，モデルを有害なプロンプトに従わせるために, 内部状態の空間内にある介入用べクトル $v$ を計算する。次に, 介入されたモデルを使用して, 同様に $\tilde{X}$ を用いて $y_{1: t}$ の評価プロセスを行う。

介入用ベクトル $v$ を計算するために, [9] で説明されているアプローチを用いる. まず，あるデータセット $D=\left.\{\left(q_{i}, o_{i}^{a c c}, o_{i}^{r e j}\right)\right.\}_{i=1}^{N}$ を用意する. ここで, プロンプト $q_{i}$ ごとに肯定的な回答 $o_{i}^{a c c}$ と拒否的な回答 $o_{i}^{r e j}$ の両方が含まれている. 我々のデータセットは, [9] で公開されているデータセットと [?] から構築された追加のデータから構成される。これらを $\mathrm{A} / \mathrm{B}$ 選択プロンプトとして変換し, $\left.\{q_{i}^{A}\right.\}$ と $\left.\{q_{i}^{B}\right.\}$ として表す. それらを LLM に入力して層 $l$ での $\mathrm{A} / \mathrm{B}$ 選択の活性化を抽出し, $\left.\{h_{i}^{a c c}\right.\}$ と $\left.\{h_{i}^{r e j}\right.\}$ を得る. 介入用べクトル $v$ は, 肯定的と拒否的な内部状態の平均の差として計算される.

$
v=\frac{1}{N} \sum_{i}\left(h_{i}^{a c c}-h_{i}^{r e j}\right) .
$

次のように, 介入の強度パラメータ $\lambda$ を使用して層 $l$ の内部状態に介入用ベクトル $v$ を加えることで, モデルの生成プロセスを介入する：

$
h_{i}^{(l)} \leftarrow h_{i}^{(l)}+\lambda v .
$

このような介入は, モデルの生成が有害なプロンプ卜に従う可能性を高める効果を持つ. 付録 B では, 介入用ベクトル $v$ の効果を可視化し，より直感的な解釈を試みる. 後に示される実験結果では, 介入されたモデルを使用することで, $\tilde{X}$ で得られる ASR が, $X^{*}$ で得られる ASR と一致し, 効果的な初期応答の選択を可能にすることを示す.

## 5 実験と議論

実験設定実験では Llama2-7B-Chat モデルを jailbreak prompt 攻撃の対象モデルとして採用した [10]. 4 つの有害なリクエストに対して, それぞれに 3 つの異なる初期応答の評価を行う．異なる評価手法を用いて ASR 值を比較する。

・ $X^{*}$ を使用する評価は本実験の基準値として

図 2 各有害なリクエストと対応する初期応答に対するそれぞれの評価手法で得られた攻撃成功率

扱われる。各有害なりクエスト $r$ について, 式 3 を最適化して $X^{*}$ 内の 10 個のトークン長 30 の suffixes を生成し,その ASR を測定する。これは最も正確な評価だが非常に計算コストがかかる.

・ $\tilde{X}$ を使用する評価では, 50 個のランダムに選ばれた suffixes $\tilde{X}$ の ASRを測定する. ただし, 各プロンプトに初期応答 $y_{1: t}$ が追加される. また, 各

・ $\tilde{X}$ とモデル介入を使用する評価は, 前述の評価プロセスにモデル介入を導入する手法である。実験では，一貫して第 10 層で介入を適用する. また, 介入の強度を微調整するために, 各有害な

する. その調整方法については, 付録 C を参照されたい.

これらの戦略での ASR 値を観察し，時間をあまりかけずに $X^{*}$ を使用する評価に近づける代替方法があるかどうかを議論する。

実験結果図 2 では, 各有害なりクエストと対応する初期応答に対する各手法からの ASR 結果を示している．まず, 基準となる ASR（青線）は, 異なる初期応答による変動性を示しており, jailbreak prompt攻撃における初期応答選択 $y_{1: t}$ の重要性が確認できた. 次に，ランダムな suffixes $\tilde{X}$ (オレンジ線）の ASR は一貫してゼロに近く, 有効な初期応答を選択することはできないことが示された. 対照的に, 同じランダム集合 $\tilde{X}$ を使用しても，モデル介入時の ASR （緑線）は基準值（青線）と高い一致性を示しており，より信頼性の高い選択方法としての可能性を示している. モデル介入の導入により,それ以外では効果のないランダム集合 $\tilde{X}$ を, 効果的な初期応答 $y_{1: t}$ を評価・選択するための貴重なツールに変えることが示されている。

## 6 結論

本研究では, jailbreak prompt 攻撃において適切な初期応答 $y_{1: t}$ を選択することの重要性と困難性を示した. そして, モデル介入の導入により, ランダムな suffixes の集合を用いて, 効果的な初期応答を特定できる手法を提案した. 我々の実験は，このアプロー チが最適化された suffixes $X^{*}$ で得られる攻撃成功率 （ASR）と高い一致性の値をもたらすことを確認した. 我々の発見は,より効果的な jailbreak prompts を作成する際の課題を理解し, より安全で信頼性の高いNLP システムの実現に貢献する。

## 参考文献

[1] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, March 2022.

[2] Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli TranJohnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, and Jared Kaplan. Constitutional AI: Harmlessness from AI Feedback, December 2022.

[3] Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences, February 2023.

[4] Alexander Wei, Nika Haghtalab, and Jacob Steinhardt. Jailbroken: How Does LLM Safety Training Fail?, July 2023.

[5] Yuxin Wen, Neel Jain, John Kirchenbauer, Micah Goldblum, Jonas Geiping, and Tom Goldstein. Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery, June 2023.

[6] Erik Jones, Anca Dragan, Aditi Raghunathan, and Jacob Steinhardt. Automatically Auditing Large Language Models via Discrete Optimization, March 2023.

[7] Andy Zou, Zifan Wang, J. Zico Kolter, and Matt Fredrikson. Universal and Transferable Adversarial Attacks on Aligned Language Models, July 2023.

[8] Eric Wallace, Shi Feng, Nikhil Kandpal, Matt Gardner, and Sameer Singh. Universal Adversarial Triggers for Attacking and Analyzing NLP, January 2021.

[9] Nina Rimsky. Red-teaming language models via activation engineering. https://www.lesswrong.com/posts/iHmsJdxgMEWmAfNne/red-teaming-language-models-viaactivation-engineering, August 2023.

[10] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann,
Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open Foundation and Fine-Tuned Chat Models, July 2023.

[11] Chuan Guo, Alexandre Sablayrolles, Hervé Jégou, and Douwe Kiela. Gradient-based Adversarial Attacks against Text Transformers, April 2021.

[12] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and Play Language Models: A Simple Approach to Controlled Text Generation. In International Conference on Learning Representations, September 2019.

[13] Amos Azaria and Tom Mitchell. The Internal State of an LLM Knows When It's Lying, October 2023.

[14] Kenneth Li, Oam Patel, Fernanda Viégas, Hanspeter Pfister, and Martin Wattenberg. Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. In Thirty-Seventh Conference on Neural Information Processing Systems, November 2023.

[15] Kevin Meng, David Bau, Alex Andonian, and Yonatan Belinkov. Locating and Editing Factual Associations in GPT, January 2023.

## A 関連研究

LLM のアライメント学習. LLM を人間の倫理に従わせるために, 様々なアプローチが提案されている. [1] と [2] は, 人間のフィードバックを用いて LLM をファインチューニングし, 出力がユーザーの意図と倫理基準に沿うようにしている。 [3] は, 人間の好みを示すデータを学習するのに効果的な強化学習を提案している.

Jailbreak prompt 攻撃と防御. Jailbreak prompt 攻撃は LLM にとって重大な脅威であり, [8], [5], [11] はモデルの脆弱性を利用する敵対的プロンプトを生成する方法を提案している. [7] はこれらの攻撃の転移可能性に注目し, さらに効果的な攻撃手法を提案している. [4] は, アライメント学習の問題点に着目し, モデルの能力の進化に伴ってより高度な安全保証のメカニズムの必要性を議論している.

LLM の生成の介入．LLM の内部状態の介入は，モデル出力をコントロールするための重要なアプロー チである. [12] は PPLM という手法を提案し, 属性分類器を使用して文章生成をコントロールする手法を提案している。一方, [9] はモデルに有害な出力を生成させる方法について議論している. [13] は LLM の内部状態と生成の正確性の関係性を示し, [14] は内部状態に介入乙て真実性を高める方法を提案している。また, [15] は LLM 内の事実的な知識を編集することに焦点を当て, モデルの内部状態を利用している.

## B 介入用ベクトルの効果

図 3 図 1 からの活性化に対するステアリングベクトル $v$ の内積.

図 3 では, 介入用ベクトル $v$ の効果を示すために,図 1 からの活性化との内積を示している. ランダム suffixes $\tilde{X}$ と比べて, $X^{*}$ の suffixes は $v$ との内積が高く, $X^{*}$ が $v$ の方向にあることを示している. 従って， $\tilde{X}$ に介入べクトル $v$ を適用することで，その活性化を $X^{*}$ の領域にシフトさせ, 両セット間のギャップを埋めることができると期待できる. このべクトルは，一度決定すれば, 様々なリクエストと初期応答の評価に適用することができる.

## C Limitations

提案方法の主な制限は, 強度パラメータ $\lambda$ の選択の難しさにある。適切にバランスの取れた $\lambda$ は重要である.入が小さすぎる（または大きすぎる）場合，攻撃は一様に失敗（または成功）し, 0 （または 1） に近い ASR をもたらしてしまい, $y_{1: t}$ の選択に価值ある尺度にならない. 実験では, ASR 値に識別可能な差異を生む $\lambda$ を手動で選択した. さらに, 各初期応答に対して, suffixes $X^{*}$ を最適化で得られるかどうかの問題について議論する必要がある．より長く肯定的な初期応答は有害な続きを効果的に引き出す能力を持つが，一方でそれを生成できる suffixes $x$ * を特定することも難しくなる. 将来の研究では, 評価プロセスをさらに自動化し, 実世界への実用性を高めたい。