# DDSTM:Spike and Slab 事前分布を用いた動的スパース・トピッ クモデル

増田樹
慶應義塾大学大学院経済学研究科
t.masuda@keio.jp
}

中川慧

野村アセットマネジメント株式会社

kei.nak.0315@gmail.com

星野 崇宏

慶應義塾大学経済学部 理化学研究所 AIP センター bayesian@jasmine.ocn.ne.jp
## 概要

トピックモデルは文書生成をモデル化する自然言語処理手法の一つで，トピックと単語の分布に基づいて単語を生成する. 既存の推定手法には $\mathrm{plSA}$ やLDA などがあるが，これらは時系列性を考慮しない. 本研究では，時系列変化と分布のスパース性を同時に扱う新しいモデル，動的スパース・トピックモデル (DDSTM) を提案する. DDSTM は動的トピックモデル (DTM) を基にし, Spike and Slab Prior を事前分布として使用し，スパース性を保ちながら時系列変化をモデル化する。この手法により，トピックと単語の分布のスパース性と時系列変化を統合し，解釈性を高めることができる. 実証分析では，実データを用いて提案モデルの特徴を確認する.

## 1 はじめに

トピックモデルとは自然言語処理における文書の確率的生成モデルの一つである. トピックモデルにおいて文書を構成する単語の生成過程はトピック分布にしたがってトピックを選択し，選んだトピックの持つ単語分布にしたがって生成される. ここでトピック分布とは各文書におけるトピックの条件付き分布，単語分布とは各トピックにおける単語の条件付き分布を意味する．文書がトピックモデルから生成されたと仮定した上で，実際に観測された文書から各トピック分布および単語分布を統計的に推定することで，文書に含まれる話題の比率や，話題を構成する単語の分布を知ることができる。トピックモデルの推定手法は多数提案されており, 点推定手法の一つとして PLSA [1]があげられる. PLSA
では，EM アルゴリズムを用いた推定を行うことで, 点推定量を求めることができる。一方で, 近年, トピックモデルのベイズ推定も提案されており，例えば Blei らによって提案された Latent Dirichlet Allocation (LDA [2]) があげられる． LDA は，事前分布としてディリクレ分布を仮定し，トピック分布と単語分布に多項分布を仮定することで，MCMC や変分推論を用いたべイズ推定が可能となる.

しかし，一般に LDA において，時系列性は考慮されないため, トピック分布や単語分布の時系列的な推移を追うことはできない，そこでトピックの時系列性を考慮する LDA である DynamicTopic Model(DTM [3]) が提案された．DTM では，データセットは指定された時間ごとに均等に分割され，文書のトピック分布のパラメータおよび各トピックの単語の分布は時間とともに変化する。

一方で，トピックモデルでは文書によっては数百のトピックが分布として仮定されることがあるが，実際の文章としてはその中から特定の重要なトピックによって表現されていると想定するのが妥当である.また単語分布についても同様に，多数の単語が含まれる単語分布のうち，トピックごとに特定の重要な単語で構成されていると想定するのが自然である. すなわち，トピック分布および単語分布にこのようなスパース性を導入することが重要である。この観点から，スパース性を考慮したトピックモデルである Dual Sparse Topic Model [4] や，Sparse Topical Coding [5] が提案されている. しかし，これらのモデルでは前述の時系列性は考慮されていない。

そこで，本研究では，これらの時系列性およびスパース性の問題に対応するために，動的スパー ス・トピックモデル (DDSTM) を提案する (図 1 およ

び Algorithm 1). 提案手法は，DTMを基礎とし，トピック分布および単語分布に事前分布に Spike and Slab Prior [6] を仮定することで, 縮小推定を行うことができる.これによりトピック分布と単語分布のスパース性を先行研究のモデルである Dual Sparse Topic Model と同程度に担保できることを証明する。 また, 単語分布とトピック分布の時系列変化を確認できることに加えて，スパース性により各トピックや単語分布の解釈が容易になる利点を有する．以上の提案手法の有効性を確認するために人工データおよび実際のテキストデータを用いた実証分析を行う.

## 2 準備: 動的トピックモデル

動的トピックモデル (DTM) [3] は既存のトピックモデルに時系列性を取り入れ, 文書のトピック分布のパラメータおよび各トピックの単語分布が時間とともに変化するモデルである. LDA は多項分布の母数の事前分布として共役事前分布であるディリクレ分布からサンプルすることで，各トピックの確率的表現を行うと同時に，各パラメータの反復推定を容易にしている.

一方で，LDAを含むトピックモデルでは，各文書・トピックは独立性が仮定されており，それらの間に存在する時系列的な構造を把握することが難しい，そこで，動的トピックモデルでは，状態空間モデルを参考にトピックモデルの事前分布を改良している. 状態空間モデルは, システムモデル $H_{0}$ と観測モデル $H_{1}$ を仮定し, Kalman-filter や H-M Algorithm 等といった手法を用いることで， パラメータ更新を行う．動的トピックモデルでは，システムモデルを正規分布からなる確率過程，観測モデルを LDA と仮定することで, 状態空間モデルのパラメータ更新手法と同様に多項分布の母数の事前分布として正規分布にソフトマックス関数を使用している。これにより，推定コストが増えるものの，時系列的なトピック構造や文書構造を考慮したトピックモデルの構築が可能となった. 本研究では, DTM のトピック分布および単語分布にスパース性を導入する。

## 3 提案手法: 動的スパース・トピッ クモデル

本稿で提案する動的スパース・トピックモデルは, Spike and Slab 事前分布 [6] のように，一点分布 (ベルヌーイ分布) と連続分布 (平滑化パラメータ表 1 : 提案手法における記法

と弱平滑化パラメータ)の混合を含んでおり，Dual Sparse Topic Model(DSTM) [4] を時系列に拡張した手法である. 提案手法における記法およびパラメータは表 1 の通りである.ここで， $\gamma \gg \bar{\gamma}, \pi \gg \bar{\pi} て ゙ あ ~$ る. 提案手法のグラフィカルモデルは図 1 に示し,確率生成モデルは Algorithm 1 の通りであり，スパー ス性を持つ二重の確率生成構造からなる.

図 1: 提案手法のグラフィカルモデル

提案手法におけるスパース性は, spike and slab と同様のアイデアからもたらされている.ここでの 「spike」は， ベルヌーイ分布に従う $\beta_{k r}$ である. $\beta_{k r}$ は，事前分布として $b_{k}$ を持つべルヌーイ分布に従う変数で, $b_{k}$ の大きさに応じて, ベルヌーイ分布により各トピックが「注目される」か，「注目されない」かを決定している. その後，「slab」として， $(\gamma, \bar{\gamma})$ による平滑化を加えることで，実質的に一点分布と連続分布の混合分布に近い性質を持たせて

いる. このアプローチは noise OR model [7] や aspect Bernoulli model [8] でも使用されている. なお，もし $\bar{\gamma}=0$ すなわち， $\bar{\gamma} による$ 弱平滑化がない場合， $\vec{\beta}_{k}=\mathbf{0}$ の時に, Dirichlet $\left(\gamma \vec{\beta}_{k}\right)$ を定められない $[9,4]$. そのため, 本稿におけるDDSTM でも，平滑化パラメータと弱平滑化パラメータという二種類のパラメータで平滑化を行うことで，上記の問題に対処している.

## 3.1 理論的性質

先行研究 $[9,4]$ 同様にスパース性を以下のように定義する.

定義 1 (スパース性)， $B_{k}$ をトピック $k$ において注目されている単語の集合としたとき，スパース性 $\operatorname{sparsity}(k)_{t}$ は

$
\operatorname{sparsity}(k)_{t}:=1-\sum_{r=1}^{|V|} \frac{\beta_{k r}}{|V|}=1-\frac{\left|B_{k}\right|}{|V|}
$

と定義される.定理 1 (informal). 無情報事前分布 (ベータ分布にお $いて ~ a=b=1$ ) を仮定した場合，提案手法と Dual Sparse Topic Model のスパース性の期待値は変わらない.

証明 Dual Sparse Topic Model [4] において，トピック生成過程における sparsity の期待値を考える. まず， ベルヌーイ分布のパラメータ $b_{k}$ を使用して，条件付期待值を考える。また，途中で，無情報なべー タ分布として $a=b=1$ であるとすると，

$
\begin{aligned}
\mathbb{E}\left(\operatorname{sparsity}(k)_{t}\right) & =\mathbb{E}_{b_{k}}\left(\mathbb{E}\left(\operatorname{sparsity}(k)_{t} \mid b_{k}\right)\right) \\
& =1-\mathbb{E}_{b_{k}}\left(b_{k}\right) \\
& =1-\frac{a}{a+b} \because b_{k} \sim \operatorname{Beta}(a, b) \\
& =0.5
\end{aligned}
$

本稿で提案する DDSTM において，トピック生成過程における sparsity の条件付き期待値を考えると，同様に，

$
\begin{aligned}
\mathbb{E}\left(\operatorname{sparsity}(k)_{t}\right) & =\mathbb{E}_{b_{k}}\left(\mathbb{E}\left(\operatorname{sparsity}(k)_{t} \mid b_{k}\right)\right) \\
& =1-\mathbb{E}_{b_{k}}\left(b_{k}\right) \\
& =1-\mathbb{E}\left(\operatorname{logistic}\left(N\left(\mu_{t-1}\right)\right)\right)
\end{aligned}
$

ここで，logistic 関数は全ての実数で微分可能な関数なため，デルタ法を使用し，漸近平均を考えると，

$
\text { (8) } \begin{aligned}
& \text { 式 } \xrightarrow{d} 1-\operatorname{logistic}\left(\mu_{t-1}\right) \\
& =1-\frac{\exp \left(\mu_{t-1}\right)}{1+\exp \left(\mu_{t-1}\right)}
\end{aligned}
$

ここで,$\mu_{t-1}=0$ であるならば，(10) 式 $=0.5$ となり，(5)と同じ值になることが確認できた.

上記の定理から，無情報事前分布や，無情報な母数を与えた場合には，動的にモデルを組んだとしても，その全体としてのスパース性能には影響を与えないことを示すことができた.

## 4 実証分析

## 4.1 実験設定

本実験では，ロイターニュース1)から 2021 年のビジネスニュース記事のへッドラインを利用する。特にオミクロン株の発生した 2021 年 11 月 26 日の前後 1 週間，すなわち 2021 年 11 月 19 日から 12 月 3 日までの 15 日分のニュース, 計 542 記事を抽出した. 本実験の対象期間は 5 日間と短期であるた

1) https://jp.reuters.com/

(a) LDA

(c) DSTM によるトピック分布

(b) 提案手法

(d) 提案手法の推移図 2: 各手法によるトピック分布の比較

め，トピック分布は期間中変化する一方で，トピック内の単語分布の変化は相対的に小さいことが想定される．そのため，実験ではスパース性をトピック分布 $\theta$ のみに持たせる. なお，提案モデルの入力は，ヘッドラインに含まれる語を正規化，数詞を取り除いた後に，辞書として Mecab Neologd[10] を使用し名詞 $\left.{ }^{2}\right)$ の表層形を抽出し，一日を一つの時間間隔 $t$ として集計した BoW 形式の特徴量とする. 提案モデルの評価としては，学習結果として得られるトピック推移を算出し, LDA および DSTM との比較を定性的に行う. 提案手法の各パラメータについては次のように設定した. $K_{t}=5, \sigma=1, \gamma=0.1, \bar{\gamma}=$ $1 e-7, \pi=0.1, \bar{\pi}=1 e-7, s=1, v=1$ なお, モデルの学習には，マルコフ連鎖モンテカルロ法 (MCMC)を使用した。

## 4.2 結果

図 2 は，各手法によって得られたトピック分布を示している。まず図 $2 \mathrm{a}$ の通常の LDA では，ほとんどの値が 0.2 周辺に値が集まっていることがわかる. 一方で, 図 $2 \mathrm{~b}$ に示す提案手法の DDSTM では二種類の平滑化により, 多くの值が 0 周辺に分布し

2）なお，本稿では計算時間の削減のため，品詞のうち以下の属性を持つものに絞った. ["名詞,一般,*,*”,"名詞,引用文字列,*,*, , "名詞, 形容動詞語幹,*,*", "名詞, 固有名詞,一般,*, "名詞, 固有名詞, 人名, 一般”, "名詞, 固有名詞, 人名, 姓”, "名詞, 固有名詞, 人名, 名”, ”名詞, 固有名詞, 組織,,”, ”名詞, 固有名詞, 地域,一般, ,"名詞, 固有名詞, 地域, 国”]
ており，スパース性が確認できる。また， slab の影響により， theta の中央值が 0.05 周辺であることも確認できた. 提案手法のトピックの単語分布 $\phi$ について確認すると， topic 1 が「インフレ」, topic 2 が 「労働市場」, topic 3 が「コロナ」, topic 4 が「中央銀行」，topic 5 が「海外」に関連する単語の重要性が高くなっている. オミクロン株の発生後に topic 3 が大きく上昇していることから，動的にすることで，コロナの影響を正しく推定することがすることができたと考える。

次に，図 $2 \mathrm{c}$ は全時点のデータを使用し推定した結果を各時点 $t$ で期待值をとったもの，図 $2 \mathrm{~d}$ は $\mathrm{DSTM}^{3}$ にたおける，時点 $t$ ，トピック $k$ ごとの $\theta$ の期待値の推移を示している．DSTM では時点毎に独立を仮定しているため各パラメータが大きく上下に振れているものの，提案手法では時系列性を考慮しているため上下の変動を比較的抑えることができたといえる。その一方で，オミクロン株の発生した 2021 年 11 月 26 日の前後でトピックを表すパラメータの変動を捉えることができている.

## 5 まとめ

本研究の貢献は以下の通り.

・DSTM の一般化を行い，新しいモデルである動的スパーストピックモデル (DDSTM) を提案した.

-DDSTM の理論的性質を確認し，スパース性能は不変であることを確認した。

・実際の経済ニュースデータを用いた数値実験によって，トピック分布のスパース性を確認した.

なお，本稿では，トピックの時間推移をとらえることが目的であるため， $\beta$ のみを動的にしたが， $\alpha$ についても同様に動的にすることは容易に可能である.また，今回は離散的な時間として動的トピックモデルを発展したが，モデルを連続時間に発展させることで，より精緻にトピックの趨勢を把握すること可能であると考えられる。

3）なお，本稿では提案手法との比較の観点から $\phi$ についての sparse 性は実装していない.

## 参考文献

[1] Thomas Hofmann. Probabilistic latent semantic analysis. In Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence, pp. 289-296, 1999.

[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[3] David M Blei and John D Lafferty. Dynamic topic models. In Proceedings of the 23rd international conference on Machine learning, pp. 113-120, 2006.

[4] Tianyi Lin, Wentao Tian, Qiaozhu Mei, and Hong Cheng. The dual-sparse topic model: mining focused topics and focused terms in short text. In Proceedings of the 23rd international conference on World wide web, pp. 539-550, 2014.

[5] Jun Zhu and Eric P Xing. Sparse topical coding. In Proceedings of the Twenty-Seventh Conference on Uncertainty in Artificial Intelligence, pp. 831-838, 2011.

[6] Hemant Ishwaran and J Sunil Rao. Spike and slab variable selection: frequentist and bayesian strategies. 2005.

[7] Eric Saund. A multiple cause mixture model for unsupervised learning. Neural Computation, Vol. 7, No. 1, pp. 51-71, 1995.

[8] Ella Bingham, Ata Kabán, and Mikael Fortelius. The aspect bernoulli model: multiple causes of presences and absences. Pattern Analysis and Applications, Vol. 12, pp. 55-78, 2009.

[9] Chong Wang and David Blei. Decoupling sparsity and smoothness in the discrete hierarchical dirichlet process. Advances in neural information processing systems, Vol. 22, , 2009.

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 230-237, 2004.


# ゼロショットテキスト分類による TCFD 推奨開示項目の自動判定

土井惟成 1,3 小田悠介 2,4 中久保菜穂 4 杉本 淳 4
1 株式会社日本取引所グループ 2 奈良先端科学技術大学院大学 先端科学技術研究科
3 東京大学大学院工学系研究科 4 シェルパ・アンド・カンパニー株式会社
n-doi@jpx.co.jp yusuke.oda@naist.ac.jp
\{naho.nakakubo, jun.sugimoto\}@cierpa.co.jp

## 概要

サステナビリティ情報開示への要請は世界的な潮流として高まっている。この動向を受け，TCFD は，気候変動に関する 11 の推奨開示項目を設定し，実際の開示に対する規範としての活用を求めている。開示情報は多様な形式で記載されるため，推奨開示項目の充足状況の調査には膨大な資料の分析が必要となり，多大なコストを要する。機械的に開示箇所の判定を行う手法により，このコストを一定程度削減できると考えられる．本稿では，TCFD 推奨開示項目の開示箇所判定のために実施した一連の施策を報告する，具体的には，各項目の自動判定のためのより基本的な単位 (TCFD 推奨開示項目クライテリア)への分解と, 各クライテリアに対するゼロショットテキスト分類の性能を検証した。

## 1 はじめに

気候変動への対応をはじめとするサステナビリティ (ESG 要素を含む中長期的な持続可能性) に関する課題は, 中長期的な企業価値の向上を目指す中で，重要な経営課題であるとの意識が高まっている。この中で，金融安定理事会によって気候関連財務情報開示タスクフォース (Task Force on Climate-related Financial Disclosures, TCFD) ${ }^{1)}$ が設立され，投資家に適切な投資判断を促すための効率的な気候関連財務情報開示に関する議論が行われてきた。2017 年に公表された「Recommendations of the Task Force on Climate-related Financial Disclosures」[1] (以下，TCFD 提言) では，気候変動に関する「ガバナンス」「戦略」「リスク管理」「指標と目標」の 4 点からなる構成要素と，これらに連なる 11 の推奨開

1) https://www.fsb-tcfd.org/

図 1 本研究の流れ

示項目 (以下，TCFD 推奨開示項目) が設定された。

日本取引所グループでは上場会社によるサステナビリティ情報に関する開示 (以下，サステナビリティ情報開示) における TCFD 提言の充足状況の把握のため，実態調査を実施している [2]. サステナビリティ情報開示は各社の資料上に自然言語を始めとした多様な形式で記載され，情報が構造化されていないことから，TCFD 推奨開示項目の充足状況の調査には必然的に資料の読解が必要となる．上場会社全ての資料に対して人手での分析を実施する負担は高く，自動的な開示項目の該当箇所の手法が望まれる。しかしながら，従来の機械学習に基づく手法では，学習データの構築に係るコストが大きい。

本研究では，上場会社の有価証券報告書におけるサステナビリティ情報開示を対象に，大規模言語モデル (以下，LLMs) を用いたゼロショットテキスト分類により，TCFD 推奨開示項目の充足状況を機械的に分類する手法を提案する。 また，原文の 11 項目の TCFD 推奨開示項目では，判断基準の曖昧さに起因して，人手の判断に高い専門性を要する。そこで，TCFD 提言で開示が推奨されている 11 項目について，各企業の開示内容がそれぞれの項目に沿った情報開示であるかどうかを検討するための判断基準

として, 合計 27 種類からなる TCFD 推奨開示項目クライテリア (以下，本クライテリア)を作成した。 そして，本クライテリアのそれぞれに対して，人手で作成した 100 件の正解データを元に，提案手法の性能を検証した．本研究の流れを図 1 に示す.

## 2 関連研究

関連研究として，TCFD 推奨開示項目に関する研究と, LLMs を用いたゼロショットテキスト分類に関する研究について述べる。

まず，TCFD 推奨開示項目に関する研究について述べると, Binger ら [3] は, ClimateBERT[4] という学習済みモデルを用いて, 英語の入力文を, Governance, Strategy, Risk, Metrics, Noneの 5 クラスのいずれかに分類するモデルを開発し，このモデルを利用して，TCFD の勧告が世界各国の TCFD 支持企業の開示に大きな影響を与えていないことを報告した. 次に，TCFD は，2023 年の Status Report[5] において，会社の開示資料を対象に，その記載内容が TCFD 推奨開示項目の 11 項目に適合するかどうかを判定する分類モデルを，訓練用データを作成のうえ，RoBERTa[6] の言語モデルをファインチュー ニングすることで開発した. そして，そのモデルを用いて，TCFD 提言に沿った開示害態の調査を行った. また, Friederich ら [7] は, ヨーロッパの企業の年次報告書を対象に，RoBERTa[6] を始めとする複数の機械学習手法を用いて, 5 種類の気候関連リスクに分類するモデルを開発した. これらに対する本研究との相違点として, 入力文を日本語としていること, ゼロショットテキスト分類を利用していること, 分類先が 27 種類のマルチクラスであることが挙げられる.

LLMs を活用したゼロショット学習は, 特にデー タセットの構築やラベル付けに関連するコストを大幅に削減することで注目されている. 具体的には，特定のタスクに対する事前の訓練なしに，未知のテキストに対する分類や分析を可能にする. Kuzman ら [8] は, 英語とスロベニア語のデータセットを対象に，ニュースやプロモーションといった 9 種類の文のゼロショットテキスト分類に OpenAI の ChatGPT $^{2}$ を利用したところ，ファインチューニングされたモデルよりも精度が上回ったことを報告している. Doi ら [9] は, 日本の上場会社が開示する監査報告書の記載事項の一つである，監査上の主要

2) https://chat.openai.com/chat
な検討事項を対象に， 10 種類のトピックへの分類のために複数のモデルを試し，ChatGPT のモデルの一つである GPT-4 が最も精度が優れていることを報告した. これらを踏まえ，本研究においても，ゼロショットテキスト分類のモデルとして LLMs の有用性を示すことを目指す.

## 3 サステナビリティ情報開示

TCFD 提言は，日本において顕著な支持を得ており，2020 年 10 月末時点では 1,500 を超える企業や金融機関，公的機関等が支持を表明している [2]. TCFD 提言以外にも様々なサステナビリティ情報開示を促す試みが実施されている．例えば，東京証券取引所は, 2021 年のコーポレートガバナンス・コー ドの改訂を通じて，上場会社に対してサステナビリティへの取り組みを強く求めている [10].

更に，2023 年 1 月の「企業内容等の開示に関する内閣府令」の改正を迎え，有価証券報告書におけるサステナビリティ関連の開示要件が一層強化された [11].これにより，2023 年 3 月期以降の有価証券報告書より，上場会社はサステナビリティ情報に関する開示が求められている．ただし，「推奨開示項目の中には企業の開示負担が大きいものがある」といった観点から，「ガバナンス」と「リスク管理」は全ての企業が開示するものとしつつも,「戦略」と 「指標と目標」は，各企業が重要性を判断して開示するものとした [12].

サステナビリティ情報開示の増加は，企業の透明性と責任を高め，投資家や利害関係者にとって重要な意思決定の基盤を提供する．しかしながら，情報の開示には一定のばらつきがあり, 特に中小企業や新興市場企業では，開示の範囲や質が大企業と比較して不十分である場合が多い。本研究では，TCFD 推奨開示項目の適切な判定を通じて，このような情報の多様性を踏まえながらも，一貫性のある分析を可能とすることを目指す.

## 4 データセット

サステナビリティ情報開示の媒体として，有価証券報告書，統合報告書，アニュアルレポート， ESG/CSR/環境/サステナビリティレポート, TCFDレポート等が考えられる [2]. 有価証券報告書以外の媒体は，上場会社が任意で開示するものであり，また，これらの多くはPDF形式で開示されている. そのため, 本研究では, 一貫性のある分析の実現とい

う観点から，有価証券報告書を分析の対象とする.

本研究では，上場会社の有価証券報告書から，サステナビリティ情報開示に関連するテキストを集約したデータセットとして，サステナビリティ情報開示データセット (以下，本データセット)を作成した. 本データセットの作成の手順は, 有価証券報告書の収集，有価証券報告書からのテキスト抽出，サステナビリティに関するテキスト欄の抽出，XBRL タグに応じたテキストの抽出から構成される.

有価証券報告書の収集 2023 年 10 月 31 日までに開示された，2023年 3 月期以降の，その時点で日本の証券取引所に上場している, 各上場会社の最新版の有価証券報告書を，EDINET API を通じて収集した。

有価証券報告書からのテキスト抽出有価証券報告書のサステナビリティ情報開示は, 「第 2 事業の状況」の「サステナビリティに関する考え方及び取組」に記載されている。当該闌には，固有の XBRL タグが付与されており，当該タグに囲まれている全ての要素のテキストを抽出した. 当該タグを含まない，あるいは極端に文字列長が少ない有価証券報告書は対象外とした. なお，表は，リスト形式の文字列に変換し，図に関する情報は対象外とした。

XBRL タグに応じたテキスト抽出前述で抽出されたテキストの中には，より細かい粒度の XBRL タグが含まれている. 本研究では, XBRL タグの名称に「Governance」「Strategy」「Risk」「Metrics」のいずれかが含まれているXBRL タグのテキストのみを抽出の対象とした。

この結果, 本データセットは, 全 2,272 社による 13,944 件のテキストが抽出された. そして，13,944 件から，4つの構成要素のそれぞれに該当するテキストを， 100 件ずつ，合計 400 件抽出し，これを評価対象のテキストとした。

## 5 TCFD 推奨開示項目クライテリア

本クライテリア3) ${ }^{3}$ は，TCFD 推奨開示項目のそれぞれの項目が，1 つ以上のクライテリアで構成されると考え，そのクライテリアを集約することで作成した.この結果, TCFD 推奨開示項目の 11 項目に対し, 本クライテリアの総数は 27 となった. 本クライテリアを作成する時, 気候関連財務情報開示に関
 https://github.com/cierpa/tcfd_criteria
するガイダンス 3.0 (以下，TCFD ガイダンス 3.0)[13] を参照することで，各 TCFD 推奨開示項目に必要な条件を過不足なく本クライテリアに記載した。言い換えると，本クライテリアは，TCFD 推奨開示項目と TCFD ガイダンス 3.0 を平易化したものである.更に，あるクライテリアの適合の如何が他のクライテリアの結果に依存しないよう，つまり，互いのクライテリアの判断基準は独立するよう，注意深く設計した. TCFD 推奨開示項目と本クライテリアの関係を，付録 $\mathrm{A}$ の表 3 に記載する。

また，本クライテリアの作成の過程では，本デー タセットを踏まえ，現時点における日本の上場会社の開示実態を反映させるよう，修正を施した.このような修正の例として，TCFD 推奨開示項目では曖昧な用語に対して，開示実態で用いられている用語を例示として付与することが挙げられる。 なお，本データセットに基づく開示実態を踏まえた本クライテリアへの反映の時には，本データセット全体を対象とするのではなく, Latent Semantic Analysis[14] と K-means を組み合わせることで，4つの構成要素ごとに 30 件の代表的なテキストを抽出し，これを対象として分析を行った。

## 6 提案手法

本研究で提案する手法は，LLMsを活用したゼロショットテキスト分類アルゴリズムに基づいている.この手法は，事前にラベル付けされたデータセットを必要とせずに，未知のテキストを分類する. 具体的には, LLMs によって生成されたプロンプトを用いて，各テキストが TCFD 推奨開示項目クライテリアの全 27 種類の各クライテリアに該当するかを判定する。また，各クライテリアを満たす場合は True，満たさない場合は False を出力するようにプロンプトに明記した。

LLMs によるテキスト分類の精度は，プロンプトの設計に大きく依存する. 本研究では，TCFD 推奨開示項目クライテリアをプロンプトに入力し, 補足すべき情報を備考として入力した. プロンプトの例を付録 Bに示す。

## 7 実験

## 7.1 実験環境

本実験では，OpenAIの ChatGPTを利用し，APIを通じてプロンプトを実行する。この時，使用したモ
表 1 クライテリアごとの実験結果

表 2 構成要素ごとの実験結果

デルは GPT-4 の，gpt-4-1106-preview である. 評価対象のデータは，4つの構成要素のそれぞれに該当する各 100 件，合計 400 件のテキストである．1つのテキストごとに，「ガバナンス」については計 7 クライテリア分，「戦略」については計 10 クライテリア分，「リスク管理」については計 4 クライテリア分，「指標と目標」については計 6 クライテリア分のプロンプトを実行する。

本研究の実験結果を評価するため, 各クライテリアと構成要素ごとの正解率 (Accuracy), 適合率 (Precision)，再現率 (Recall) を用いた.

## 7.2 実験結果及び考察

クライテリアごとの実験結果を表 1 ，これを踏まえた構成要素ごとの実験結果を表 2 に示す. 各クライテリアの概要は，付録 $\mathrm{A}$ の表 3 に譲る. 全体的に
は高い正解率が得られているが，適合率と再現率にはばらつきが見られる．以下では，個別の傾向について考察する。

「ガバナンス」と「リスク管理」は，「戦略」と「指標と目標」と比較すると正解率が低い傾向があった. 更に，これらの中には，ID 01-04 (再現率: 0.32) をはじめとして，再現率が顕著に低いクライテリアが複数認められた．再現率が低いということは，実際に「True」と該当するテキストの多くが分類器によって見逃されていることを意味する。これは，該当するテキストに曖昧な表現が多く含まれているか，あるいは表現の多様性が高いために，LLMs がこれらを正しく識別できていない可能性がある．特に，「ガバナンス」の領域は，上場会社によって記載内容のばらつきが大きく，そのために各テキストが特定のクライテリアにどの程度適合しているかを評価する基準が曖昧になることがある。これを解決する方法として，プロンプトに「True」の例を追記するという，Few-shot[15] の手法が考えられる.

「戦略」と「指標と目標」では，概ね，再現率は高いものの，適合率は低い傾向が認められた。これは，プロンプトが特定のクライテリアを過度に広く判定していることを意味している。従って，これを解決する方法として，より厳密なクライテリアやプロンプトの設計が求められる.

以上を踏まえると，提案手法は，特定のクライテリアや構成要素に対して高い効果を発揮しているが，一部のクライテリアでは改善が必要であることが分かった。これらにおいては，クライテリアやプロンプトの設計を再考する必要がある.

## 8 おわりに

本研究では，LLMs を用いたゼロショットテキス卜分類による TCFD 推奨開示項目の分類手法を提案し，その有効性を実証した。このアプローチは， サステナビリティ情報開示の分析において，高い効率性と精度を実現し，持続可能な企業経営と財務報告の透明性向上に貢献する可能性を秘めている.今後の研究では，本クライテリアを含む分類手法の改善と，提案手法のサステナビリティ情報開示データセット全体への適用，有価証券報告書以外の開示媒体への展開が考えられる. これらの研究を通じて,上場企業が気候変動関連情報を開示する際の参考となる情報を提供し，より高い透明性とサステナビリティを目指す企業の取り組みの促進を期待する。

## 謝辞

本稿の作成に当たっては，株式会社日本取引所グループの関係者から有益なコメントを頂いた. ここに深く感謝申し上げる.

## 参考文献

[1] TCFD (Task Force Clim. Relat. Financ. Discl.). Recommendations of the task force on climate-related financial disclosures. 2017.

[2] ESG 情報開示枠組みの紹介一日本取引所グループ,（2024-01 閲覧）. https: //www.jpx.co.jp/corporate/sustainability/ esgknowledgehub/disclosure-framework/02.html.

[3] Julia Anna Bingler, Mathias Kraus, Markus Leippold, and Nicolas Webersinke. Cheap talk and cherry-picking: What climatebert has to say on corporate climate risk disclosures. Finance Research Letters, Vol. 47, p. 102776, 2022 .

[4] Nicolas Webersinke, Mathias Kraus, Julia Anna Bingler, and Markus Leippold. Climatebert: A pretrained language model for climate-related text. CoRR, Vol. abs/2110.12010, , 2021.

[5] Task Force on Climate-related Financial Disclosures. Task force on climate-related financial disclosures 2023 status report,（2024-01 閲覧）. https://www.fsb.org/ wp-content/uploads/P121023-2.pdf.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[7] David Friederich, Lynn H. Kaack, Alexandra Luccioni, and Bjarne Steffen. Automated identification of climate risk disclosures in annual corporate reports. CoRR, Vol. abs/2108.01415, , 2021.

[8] Taja Kuzman, Igor Mozetič, and Nikola Ljubešić. Chatgpt: Beginning of an end of manual linguistic data annotation? use case of automatic genre identification, 2023.

[9] N. Doi, Y. Nobuta, and T. Mizuno. Topic classification of key audit matters in japanese audit reports by zero-shot text classification. In 2023 14th IIAI International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 540545, Los Alamitos, CA, USA, jul 2023. IEEE Computer Society.

[10] 株式会社東京証券取引所. コーポレートガバナンス・コード，(2024-01 閲覧）.https://www.w3.org/ TR/jlreq/.

[11] 金融庁. サステナビリティ情報の記載欄の新設等の改正について（解説資料），（202401 閲覧）.https://www.fsa.go.jp/policy/kaiji/ sustainability01.pdf.

[12] 金融庁. 金融審議会ディスクロージャーワーキング・グループ報告, (2024-01閲覧).https://www.fsa. go.jp/singi/singi_kinyu/tosin/20220613/01.pdf.

[13] TCFD Consortium. 気候関連財務情報開示に関するガイダンス 3.0, （2024-01閲覧）. https://tcfd-consortium.jp/pdf/news/ 22100501/TCFD_Guidance_3.0_J.pdf.

[14] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. Journal of the American society for information science, Vol. 41, No. 6 , pp. 391-407, 1990.

[15] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

## A TCFD 推奨開示項目と本クライテリアの関連

 \\

## B LLMsに入カしたプロンプトの例

プロンプトの例

以下は，上場会社の開示資料の一部と，TCFD 推奨開示項目に関するクライテリアです.

\#\# 上場会社の開示資料の一部

(ここに分類対象のテキストを入力)

\#\# クライテリア

取締役会または委員会が，気候関連問題について，報告を受けるプロセスを述べているか.

\#\# 備考

委員会には，監査委員会やリスク委員会等が例として考えられる。

気候関連問題とは，気候関連のリスクや機会のことを言う。

サステナビリティへの取り組みは，気候関連問題に関係していると見なす。

今後の予定に関する内容は考慮しない。

\#\# タスク

入力した上場会社の開示資料の一部が，クライテリアを満たしている場合は True を，そうではない場合は False を出力してください.

\#\# 出力

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 有価証券報告書の活用による事業セグメント関連語の拡張

伊藤友貴 ${ }^{1}$ 平松賢士 ${ }^{2}$
${ }^{1}$ 三井物産株式会社 ${ }^{2}$ 株式会社アイフィスジャパン
${ }^{1}$ Tomok.ito@mitsui.com ${ }^{2}$ kenji.hiramatsu@ifis.co.jp

## 概要

各企業はIR（Investor Relations）活動として，決算短信や有価証券報告書等を通し，機関投資家や個人投資家等へ企業の情報を開示する．IR 活動において，自社の発信内容に対する外部からの評価の把握は重要な事項である．特に事業セグメント単位での評価の把握は有用だと考えられる。このような背景のもと, 本研究では, 金融文書からの「事業セグメント言及文抽出手法」の開発を目指す. セグメント情報の抽出に関する既存アプローチとして，事業セグメント名の検索をべースとするアプローチがある。一方，本アプローチでは関係会社の記載やサー ビス名・取扱商品のみが書かれた文の抽出には対応できないという課題がある。そこで，本研究では大規模言語モデル及び有価証券報告書内の事業セグメント説明記載を利用することで検索単語を拡張し，既存アプローチを改善することを提案する。 さらに, 本取組みの発展として, アナリストレポートのセグメント別センチメント分析や決算短信へのアナリスト反応の生成を試みる ${ }^{1)}$.

## 1 はじめに

各企業はIR（Investor Relations）活動として，決算短信や有価証券報告書, 統合報告書等の開示を通し，機関投資家や個人投資家等へ企業の情報を開示する.このIR 活動は，透明性の確保，企業と投資家との間の信頼関係の構築，市場の期待値の管理，危機管理, 競争優位の獲得, 等の上で重要な活動の一つである [1]. 特に 2023 年 1 月 31 日，金融庁が「企業内容等の開示に関する内閣府令」等の改正を公表した. 結果，各企業は ESG やSDGs 等の非財務情報の開示も求められており、各企業の IR 活動は益々重要なものになると想定される. ここで，各企業の IR 担当者にとって「自社 IR が機関投資家にどう捉
向には関係ありません.
えられるかを把握できること」は重要な課題の一つであると考えられる．特に，株主還元への施策や各事業セグメントの説明に関する自社発信内容に対する外部専門家の評価を各項目毎に把握できるとは各企業の IR 担当者にとって有用であると期待される.

このような背景のもと, 本研究では IR 文書やアナリストレポート等の金融文書からの「事業セグメント言及文抽出手法」の開発を目指す。特に，新規上場会社や組織改組等により事業セグメントが変更された場合における活用を考慮し，教師なしでの抽出手法開発を目指す.ここで，アナリストレポートとは，証券アナリストが企業の経営状態や収益力などを分析・調査し，まとめたレポートのことであり，その記載内容が株式リターンや各企業の業績の増減に関連することが報告されている [10, 9]. 例えば，アナリストレポートと決算短信，双方から事業セグメントに関して言及している文を抽出し，セグメント単位で紐づけることで，自社発信内容に対する外部の反応を把握することが可能となる.

「教師なし」での「事業セグメント言及文抽出」 に関する取組みの一つに「セグメント名の検索」をベースにしたアプローチ $[6,7]$ があり，その有効性も検証されている。一方，本アプローチでは関連会社やサービス名・商材等のみを記載する文の抽出には対応できないという課題がある.

そこで，本研究では，有価証券報告書上の事業セグメント説明記載から各事業セグメントに関連する単語を取得し，検索に利用する単語を良質な形で拡張することで「関連会社やサービス名・商材等にも対応可能」にすることを提案する．関連語の取得には，自然文への対応のため大規模言語モデル（LLM ）を活用する．実データを用いた検証の結果，提案手法を用いることで「事業セグメント名」をべースとする既存アプローチに比べ高い性能で「事業セグメント言及文」を抽出できることを実証できた。

さらに発展として，アナリストレポートの「セグメント別センチメント分析」及び「決算短信からの

アナリスト反応 (セグメント別) の生成」を試みた.

## 2 関連研究

IR 情報の分析に関する取組みとして，例えば [4] では決算説明会議事録から抽出される感情極性と株式リターンに関する分析を行い，質疑応答セクションの極性とイベント (決算説明会) 後の収益率の相関を分析した．また [5] では有価証券報告書や統合報告書から各企業の「環境活動」に関する情報を抽出の上, 各活動の自動評価，及び活動の改善案を自動生成を試みている。

IR 文書からのセグメント情報抽出に関連する取組みや手法の提案も既にいくつか報告されている. [6] では「事業セグメント名」の検索をべースに業績要因文・業績結果文の抽出を行っている。また， [8] では，事前に用意された学習データに基づく，教師あり学習をべースとする抽出手法を提案している.これらの手法は有効である一方，[8] のような教師あり学習を前提とする手法では訓練データを構築する必要があり，その利用範囲が限定される. 例えば新規上場会社や組織改組等により事業セグメメントが変更された場合に，[8] のアプローチでの対応は難しい. また, [6] のような「事業セグメント名」の検索をべースとするアプローチに関しては 1 節にて説明した課題がある。

## 3 事業セグメント関連語の拡張

本節では有価証券報告書内の事業セグメントに関する説明記載に対し LLM を活用することで事業セグメント文抽出時の検索単語を良質に拡張することを提案する. 本手法は以下 2 Step から構成される.

Step 1: 有価証券報告書からの「事業セグメント説明記載」の抽出（3.1 節）

Step 2: 事業セグメント関連語の抽出（3.2 節）

IR 文書やアナリストレポート等の文書から各事業セグメントに関する記述を文単位で抽出する際に，事業セグメント名のみを検索の対象とする既存のアプローチ [6] では，サービス名、及び関係会社名のみが記載される文には対応できない。上記のように検索の範囲を拡げることで，このような文にも対応できることが期待される.

## 3.1 有価証券報告書からの事業セグメン 卜説明記載の抽出

本 Step ではまず「事業セグメント説明記載」を有価証券報告書（PDF）から抽出する. 有価証券報告書では多くの場合, 図 1 のように表形式で事業セグメントのサービス名や関係会社名が記載される. 図 1 の例 ${ }^{2}$ では各サービス名や会社名が句点で区切られており処理が容易だが，処理が難しい形で記載される例も多くある. 本ステップではまずこの表をルールベースで抽出する，具体的には【事業の内容】と記載されるぺージ及びその次のぺージから pymupdf ${ }^{3}$ を用いて表を抽出する. その後「セグメント」という文字が記載の列，または左端の列からセグメント名を検索し，各行の文字列を全て抽出する.

## 3.2 事業セグメント関連語の抽出

Step 1 の出力結果を用いて, 以下の形式のプロンプトを LLM に入力することで，事業セグメント関連語として「サービス名」「取り扱い商品名」及び 「関係会社名」を出力する。

質問次の取扱商品またはサービスの内容及び関係会社に関する説明から取扱商品名、サービス名、または関係会社名を全て抽出し、, , 区切りて出力してください。

説明事業セグメント説明記載 (Step 1 出力結果)

出力された文字列をカンマ (，）または句点（、）で区切り，事業セグメント関連語を抽出する。文書内の各文に関してこの事業セグメント関連語が含まれた文を抽出し，事業セグメント言及文を抽出する。

## 4 事業セグメント言及文抽出

本節では，前節にて提案した「事業セグメント関連語の拡張」の手法を利用することで，「事業セグメント言及文抽出」の性能を向上できるか否かを実データを用いて検証する。

## 4.1 検証データ

検証データには「アナリストレポート」及び「決算短信（IR)」の二つのデータセットを用いた.

当社グループの連結決算対象会社の総数は506社であり、その内訳は連結子会社が海外209社、国内74社、持分法適用会社が海外178社、国内45社となっています。

 & 主要な子会社 & 主要な持分法適用会社 \\

図 1 事業セグメントに関する記載例. 三井物産株式会社第 101 期有価証券報告書

## 4.1.1 アナリストレポート

本データセットには，総合商社セクター 5 社 （8001 伊藤忠，8002 丸紅，8031，三井物産，8053 住友商事， 8058 三菱商事）発行の各 2020 年度 $4 \mathrm{Q}$ 決算短信に対し，証券会社 3 社から発行されたアナリストレポート計 44 レポート（各商社 4～5レポートずつ）に記載の文が含まれる．各文へは各事業セグメントの内容を「含む」または「含まない」のラベルが付与され，本データセットは 291 の「含む」ラベルと 4,285の「含まない」ラベルから構成される.

## 4.1.2 決算短信（IR)

本データセットには総合商社セクター 5 社（8001 伊藤忠，8002丸紅，8031, 三井物産, 8053 住友商事, 8058 三菱商事）の 2020 年度 $4 \mathrm{Q}$ 決算短信（連結）に記載される文が含まれる．各文へは各事業セグメントの内容を「含む」または「含まない」のラベルが付与され，本データセットは 501 の「含む」ラベルと 7,278 の「含まない」ラベルから構成される.

## 4.2 ベースライン

性能検証のため，以下の手法と性能比較をした。

GPT 3.5: gpt-3.5-turbo ${ }^{4}$ によるゼロショット推論.

4) https://platform.openai.com/docs/models/gpt-3-5
ベースライン: 事業セグメント名のみを検索に利用する手法.

評価指標には「含む」ラベルの抽出に対する F1 值を用いた。提案手法では 2020 年度 $3 Q$ 以前に発行かつセグメントの説明が記載された有価証券報告書の中で最新のものを利用した.

## 4.3 検証結果

検証結果は表 1 及び表 2 の通りである. 提案手法の有効性が実証された。また，抽出結果を見ると， ベースライン手法では三菱商事株式会社の関係会社であるローソンに関する記載が抽出に失敗したものの，提案手法では成功している等の事象が見られた. 提案手法による検索単語の拡張が，性能改善につながったものと思われる。

## 5 応用タスクへの活用

更に「アナリストレポートのセグメント別センチメント分析」や「アナリスト反応の生成」等の応用タスクへの提案手法の活用可能性を検証した.

## 5.1 セグメント別センチメント分析

本検証では，まず 3 節にて提案の手法と同様に 「事業セグメント関連語を含む段落」を抽出する.

表 2 セグメント言及文抽出結果 (決算短信)

その後，抽出した段落に対し，「各事業セグメント」 に関するセンチメントが「ポジティブ (+1)」「ネガティブ (-1)」「ニュートラル (0)」のいずれであるかを LLM を用いて推定する. その後，その結果を平均することで各ラベルを付与する. 尚，LLM の推論は GPT 3.5 (ゼロショット) で実施した. また，「事業セグメント関連語を含まない段落」については 「記載なし」と判定する。

## 5.1.1 データセット

検証データには 4 節で利用したアナリストレポー トから構築された，データセットを用いた. 本デー タセットには各段落に対し, 以下のように各セグメント単位でのセンチメントが付与されている.

\{"金属資源": "ポジティブ", "鉄鋼製品": "ネガティブ",...,"化学品": "記載なし"\}

ラベルの種類は「ポジティブ」「ネガティブ」「ニュートラル」「記載なし」の４種であり，ラベル数の内訳は $160,44,33,1,422$ である.

## 5.1.2 ベースライン

性能検証のため, 以下の手法と性能比較をした。評価指標には $\mathrm{F} 1$ 值（マクロ平均）を利用した。

GPT 3.5: GPT 3.5 を活用したゼロショット推論. ベースライン: 段落抽出時にセグメント名のみ使用する手法.

## 5.1.3 検証結果

結果は，表 3 の通りである。提案手法を用いると, ベースライン手法から F 1 值が向上することを確認できた.表 3 セグメント別センチメント分析検証結果

## 5.2 決算短信からのアナリスト反応生成

本取組みの更なる延長として「自社発信内容に対する外部専門家の各事業セグメント反応の生成」を試みた。まず，提案手法を活用し，決算短信及び対応するアナリストレポート双方から，各事業セグメントに関する記載内容を抽出した。その後，この 「決算短信上の記載」と「対応するアナリストレポー ト上の記載」のセグメントレベルでの組に関するデータセットを用いて「自社発信内容に対する外部専門家の各事業セグメントの反応」を生成した. 生成には, 本文中学習 (事例数 5) を利用した few-shot 推論を利用した. 学習サンプルは 2019 年度 $4 \mathrm{Q}$ に発行された総合商社 5 社の決算短信, 及びそれに対応するアナリストレポート 10 本から，提案手法を用いて生成された「各セグメント単位での決算短信上での記載 (入力)」と「各セグメント単位でのアナリストレポート上での記載（出力）」の組を用いた.出力結果やその定性評価等は当日紹介する.

## 6 結論

本研究では、有価証券報告書の事業内容に関する説明記載に関して LLM を活用し適切に変換した上,検索時に利用する事業セグメント関連語を拡張することで「金融文書からの事業セグメント情報の抽出手法」を改善することを提案した。また，実データを用いた検証により提案手法の有効性を実証した。 さらに，発展として応用タスクである「アナリストレポートのセグメント別センチメント分析」及び 「決算短信記載内容からのアナリストのセグメント別コメント生成」への提案手法の活用を試みると共に，活用時における提案手法の有効性を実証した。

一方，今回，実施した検証は総合商社セクターのみに留まり，本手法の他セクターへの有効性に関する検証は今後の課題となる。また，各手法の性能向上，統合報告書やサステナビリティレポート等への拡張や抽出項目の拡張等も今後の課題となる.

## 参考文献

[1] 東京証券取引所，「コーポレートガバナンス・コー ド〜会社の持続的な成長と中長期的な企業価值の向上のために〜」，東京証券取引所， 2018.

[2] Kei Nakagawa, Shingo Sashida, Ryozo Kitajima, and Hiroyuki Sakai. What do good integrated reports tell us?: An empirical study of japanese companies using text-mining. In 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 516-521. IEEE, 2020.

[3] 片山喬博, 特集「非財務情報開示の潮流」, PwC's View, 第 42 号, 2023. https://www.pwc.com/jp/ja/knowledge/prmagazine/pwcs-view/202302/42-01.html.

[4] 黒木裕鷹, 真鍋友則, 指田晋吾, 中川慧. 決算説明会テキストデータの感情極性と株式リターンの分析. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 47-53, 2022.

[5] 児玉実優, 酒井浩之, 永並健吾, 高野海斗, 中川慧, 企業における環境活動の改善案の自動生成, 人工知能学会第二種研究会資料, Vol. 2023, No.FIN-031, pp. 75-80, 2023.

[6] 高野海斗, 酒井浩之, 北島良三, 有価証券報告書からの事業セグメント付与された業績要因文・業績結果文の抽出, 人工知能学会論文誌, Vol. 34, 2019.

[7] 伊藤友貴, 小林暁雄, 関根聡, 決算短信からの事業セグメント情報抽出, 言語処理学会第 24 回年次大会, 2018.

[8] Tomoki Ito, Hiroki Sakaji, Kiyoshi Izumi, Segment Information Extraction from Financial Annual Reports Using Neural Network," Annual Conference of the Japanese Society for Artificial Intelligence, pp.215-226, Niigata, Japan, June, 2019

[9] 北島良三, 酒井浩之, 上村龍太郎, 坂地泰紀, 平松賢士, 栗田昌孝, アナリストレポートと企業業績の関係解析 (第一報), 人工知能学会第 22 回金融情報学研究会, pp.53-56, 2019.

[10] 平松賢士, 酒井浩之, 坂地泰紀, 極性付与されたアナリストレポートと株式リターンとの関連性, 人工知能学会第 20 回金融情報学研究会, pp.54-60, 2018.

[11] 平松賢士, 三輪宏太郎, 酒井浩之, 坂地泰紀, アナリストレポートのトーンの情報価値, 証券アナリストジャーナル, Vol.59, No.2, pp.86-97, 2021.


# 重要技術語を対象とした 特許技術の時系列トレンド分析手法 Patent-GLIPICA の開発

1 長岡技術科学大学大学院工学研究科 2 サイバーエージェント
3 理化学研究所 GRP 4 愛知工業大学
s225041@stn.nagaokaut.ac.jp hentona_asashi@cyberagent.co.jp
seiya.kawano@riken.jp \{harakawa,iwahashi\}@vos.nagaokaut.ac.jp
hnonaka@aitech.ac.jp

## 概要

本研究では，特許情報に基づく技術トレンド分析手法として，特許文書中の重要技術要素を抽出し, それらの時系列連動性を分析する手法「Patent-GLIPCA」を提案する。「Patent-GLIPCA」は特許文書構造を考慮したグラフベース手法を使用し, 精度よく重要技術要素を抽出したうえで時系列連動性を分析する手法である。評価実験においては，特許文書からの重要技術語抽出およびトレンドのクラスタリング性能が比較手法よりも優れていることを示した．また，携帯電話に関する技術分野に適用したところ，ベース技術およびベース技術と異なるトレンドを持つ技術群を特定できることを確認した.

## 1 はじめに

特許情報に基づいてどのような技術がどのように時系列で変化しているのか，その技術トレンドを分析することは新技術の発見や技術動向分析に役立ち [1]，R\&D 戦略策定に有益である。また，特許情報は M\&Aをはじめとする投資戦略策定の際に重要となる企業価値の評価に応用できることも示唆されている [2]. これらのことから，技術トレンドを分析する手法としての主流は特許文書中の引用情報に基づくものである. 特に HITS[3] や PageRank[4] のように引用ネットワーク構造を評価する手法を用いて技術トレンドを分析する手法が確立されており [5],特許中の技術トレンドと無形資産価格との関連を調べる研究がこれまでに行われている [6]. しかしながら，引用情報をべースとする技術トレンド手法の欠点はタイムラグが大きくリアルタイムでの分析を行うのが難しい点と具体的な技術内容はコンテンツベースの手法と組み合わせて分析する必要がある点があげられる。この課題を補うためには，具体的な技術要素を特許文書中から抽出してその時系列推移を分析する手法との併用が重要となる．特許や技術要素の技術的な推移に基づく分析手法としては [7] や[8]が提案されている. しかしながら，これらの手法には静的に特許文書をクラスタリングする手法 [7] は文書単位でのクラスタリングであるため粒度の細かな技術要素の推移をおうことはできないという問題がある。また技術要素をべースとする時系列推移を分析する手法 [7] も技術要素は特にフィルタリングせずに抽出しており技術語の抽出精度に課題が存在した. さらに PCAを実行して静的に技術的な語をまとめ上げた後に時系列推移を分析する手法であるため，時間変化の相関を見ておらず技術要素の連動性までは分析できなった. 本研究はこれらの課題を解決するため，精度よく特許文書中から発明の主題となっている重要な技術要素のみを抽出したうえで，疑似相関を排して時系列連動性を分析できる手法として Patent-GLIPICAを提案する。

## 2 提案手法

提案手法の概要を図 1 に示す. 本手法では，抽出された各クラスタの Purity の平均で評価する. Purity は，クラスタリングアルゴリズムの性能を評価するために一般的に使用される尺度である。 Purity が高いほど，優れたクラスタリングアルゴリズムを示す. クラスタ $C_{i}$ の Purity である $P\left(C_{i}\right)$ は以
下の式で計算される.

$
\mathrm{P}\left(\mathrm{C}_{i}\right)=\frac{1}{n_{i}} \max _{k} n_{i, k}
$

ここで,$n_{i}$ はクラスタ $C_{i}$ 内の単語数であり,$n_{i, k}$ はクラスタ $C_{i}$ 内のクラス $k$ に属する単語数である.

クラスタの抽出方法は, 特許からの重要技術語抽出 2.1，重要技術語の時系列トレンドクラスタリング 2.2 からなる.

図 1: 提案手法の概要

## 2.1 重要技術語の抽出

特許からの重要技術語抽出は, 特許文書構造を考慮したグラフベース手法を使用して抽出する. 本手法は，特許文書内の項目間の意味関係を有向グラフとして表現した，教師なしのグラフベース手法である. 構築した有向グラフの例を図 2 に示す.

図 2: 特許から構築される有向グラフ

請求項、要約、符号の説明といった項目に含まれる技術語候補は重要である。そのような技術語候補の PageRank スコアが高くなるように有向グラフを構築している。

技術語候補 $T_{i}$ は，(形容詞)*(名詞)+の正規表現パターンに一致するフレーズとし, 要約, 特許請求の範囲，明細書から抽出する．重要詳細文は坂地らの
Cross-Bootstrapping 法 [9] にを用いて抽出した。重要詳細文の例を図 3 に示す.

図 3: 重要詳細文の例

最後に各ノードの PageRank スコアを計算し，スコア上位 $\mathrm{N}$ 件の技術語候補を特許文書における重要技術語として抽出する。

## 2.2 時系列トレンドクラスタリング

本手法の重要技術語のトレンドクラスタ抽出は,原川らのトレンドクラスタリング手法 GLIPCA[10] を改良したものであり，G-GLIPCA と表記する。入力するデータは，平滑化，標準化を施した時系列データである.

GLIPCA はまず，グラフィカル・ラッソ・アルゴリズム [11]を使用する。このアルゴリズムは，直接相関を持つ単語のみを接続する部分相関ネットワークの構築を可能にする．具体的には，グラフィカル・ラッソ・アルゴリズムは共分散行列 $\mathrm{S}$ を用いて，精度行列のスパース推定を次の式で計算することによって得られる。

$
\hat{\Sigma}^{-1}=\underset{\Sigma^{-1}}{\operatorname{argmax}}\left.\{\ln \operatorname{det}\left(\Sigma^{-1}\right)-\operatorname{tr}\left(S \Sigma^{-1}\right)-\rho\left.\|\Sigma^{-1}\right.\|_{\ell_{1}}\right.\}
$

次に精度行列 $\Sigma^{-1}$ から偏相関行列を求め，第一主成分を取得する. 第一主成分を取得は具体的には次の式を満たす $u=\left[u_{1}, u_{2}, \ldots, u_{M}\right]^{T}$ を計算する.

$
L^{T} u=\lambda u
$

$\lambda$ は第 1 主成分， $u$ は対応する固有べクトルである. 各固有ベクトルの值は，各単語に対応する。固有べクトルの値が一定以上の場合，その単語はクラスタ要素として抽出される。 クラスタに含まれた単語を偏相関ネットワークから除いてから，式 (3) に戻って次のクラスタを取得する。この手順を繰り返し実行することで、重複のないクラスタを得ることができる。GLIPCA の流れを図4 に示す。

クラスタリング結果は，モジュール性 $\mathrm{Q}$ によって定量的に評価され， $Q$ が最大となる時系列データの平滑化期間 B とグラフィカルラッソ正則化強さ $\rho$ が一意決定される。モジュール性 $\mathrm{Q}$ とは，ネットワークやグラフのクラスタリングの評価指標の一つ

図 4: GLIPCA 概要

であり，ネットワーク内のノードがクラスタにどれだけ密に結合し，クラスタ間がどれだけ疎に結合しているかを評価するものである.

GLIPCA は入力時の単語の時系列情報に基づいて作成された偏相関行列から，クラスタを取得した後, ネットワーク $L$ を更新することで繰り返しクラスタを取得している. しかし，更新されたネットワークは入力時の単語の時系列情報に基づいたものではない。そのため，G-GLIPCA では，クラスタ取得後，クラスタに含まれた単語を削除し，式（2）から実行し直す. G-GLIPCA のクラスタリングの流れを図 5 に示す。

図 5: G-GLIPCA 概要

## 3 実験

## 3.1 重要技術語の抽出

本研究では，重要技術語の抽出性能を評価するために 1993-2002 年の IPCコードのセクション A H に属する特許をセクションごとに 10 件ずつランダムサンプリングした．また，評価のために，特許分析を専門とするアノテータ複数名で重要技術語のアノテーションを行った．なお，化学・治金分野のセクション C の特許はデータセットから除外した. 化学・冶金分野の特許は，発明において重要な要素が化学式で表現されることが多いためである.

提案手法の有効性を検証するために，複数の教師
なしキーワード抽出手法との間で重要技術語抽出の性能の比較を行った。比較手法として，統計的手法の TF-IDF，グラフベース手法の TextRank[12], PositionRank[13] を選択した. 抽出性能の評価指標には Precision(P)，Recall(R)，F 值 (F1)を用いた.

## 3.2 時系列トレンドクラスタリング

対象とした特許は，日本国特許庁が定める FI ター ム H04M1/02C に分類されるもので，1996-2002 年までの 1990 件を対象とした.

G-GLIPCA の有効性を検証するために，GLIPCA との比較と行った. 特許 1 件から抽出する重要技術語の個数は 5 個とした. 重要技術語は特許公開年月に基づいて出現回数とカウントし，期間中 1 回しか出現しない単語は削除した。平滑化期間 $B$ は 1-12 ヶ月，グラフィカルラッソの正則化強さ $\rho$ は 0.1-1の 0.1 間隔の間で最適化パラメータを決定した。抽出性能の評価指標には各クラスタの平均 Purityを用いた。

## 4 結果

## 4.1 重要技術語抽出

評価結果を表 1 に示す. 全セクションでの評価結果を見ると，提案手法は $\mathrm{F}$ 值が $67.93 \%$ と最も高かった.これは，比較手法の中で最も抽出性能が高い PositionRank よりも F 值が 49.85 ポイント高い. さらに，各セクションごとの結果でも，提案手法が一貫して最も高い抽出性能を示している.

表 1 : 重要技術語抽出の評価結果

## 4.2 時系列トレンドクラスタリング

評価結果を表 2 に示す. G-GLIPCA では Purity が 0.704 であり, GLIPCA よりも Purity が 0.033 ポイン卜高い.

次に，各手法によって抽出されたクラスタのを図 6 に示す. 抽出されたクラスタは 4 つであり，抽出された順に第 $1,2,3,4$ クラスタとし，それぞれ青，
表 2: クラスタリングの評価結果

緑，黄，赤で表示している. さらに各クラスタのトレンドを図 7 に示す. 縦軸は特許 1 件あたりに各クラスタの何\%の単語が含まれるかを年ごとに集計したものを示す．横軸は対象期間である。

(a) G-GLIPCA

(b) GLIPCA図 6: 抽出されたクラスタ

(a) G-GLIPCA

(b) GLIPCA

図 7: クラスタのトレンド

## 5 考察

## 5.1 重要技術語抽出

比較手法のスコアが低い要因として，技術語候補スコアの算出方法が挙げられる. 提案手法と同様にしてスコア算出の単位を単語から技術語候補に変更すると，ほとんどの技術語候補の出現頻度が非常に低くなる可能性があるため，TF-IDF のような頻度に基づく手法は，技術語候補のスコアがうまく計算できなくなる恐れがある。一方で，TextRank や
PositionRank といった従来のグラフベースの手法では，ある範囲内での候補単語・フレーズの共起に基づいてエッジを設けている．このことは，多くの修飾語句を用いて用語の意味を限定する記述をしている特許文書 [14] において技術語周辺の修飾語句の影響が強く現れてしまう可能性がある．従来のグラフベースの手法は，これらの理由から，語の統計量に依存している従来手法のアプローチでは，重要技術語抽出は困難であることが示唆される。一方，提案手法は，特許文書の意味的な構造に着目することで上記の問題を回避しており, 結果として最も高い抽出性能を示したと考えられる。

## 5.2 クラスタリング

比較手法である GLIPCA でスコアが低い要因として, 2 個目以降のクラスタの算出方法が挙げられる. GLIPCA では，クラスタに所属している単語が除かれることによる統計情報の変化を加味せずに，次のクラスタを生成してしまうことがスコアの低下につながったと考えられる。一方で，G-GLIPCA はクラスタ生成ごとに変わる統計情報に基づいて，毎回偏相関行列を計算し直すため，上記の問題を解決しており，GLIPCA の Purityを上回ったと考えられる。

クラスタごとに含まれている単語は, G-GLIPCA, GLIPCA 両方で，第 1 クラスタにベース技術，第 2 クラスタに折りたたみ式携帯技術，第 $3 ， 4$ クラスタは周辺機器のような, ベース技術とそれとはかけはなれたトレンドをもつ群がそれぞれ抽出された。第1クラスタはベースとなる技術ということもあり特に特徴のないトレンドとなった. また，第 2 クラスタは上昇トレンドを描いた。これは当時折りたたみ式携帯電話が主流になった時期であり，開発が著しく増加した背景を示していると考えられる。第 3 は低い位置，第 4 は下降傾向にあり，当時，開発されつくして低迷傾向にあった技術群が抽出されたと考えられる。

## 6 まとめと今後の展望

本研究では，特許情報に基づく技術トレンド分析手法として，「Patent-GLIPCA」を開発した。比較実験の結果，従来手法と比べて高い性能を示すことを確認した．また，評価実験によりトレンドの異なる技術群を特定できることを確認した. 今後は，さらなる手法の改良と企業価値評価や技術予測などの夕スクに応用することを行っていく．

## 謝辞

本研究は JSPS 科研費 JP19K12116 の助成を受けたものです.

## 参考文献

[1] Péter Bruck, István Réthy, Judit Szente, Jan Tobochnik, and Péter Érdi. Recognition of emerging technology trends: class-selective study of citations in the U.S. Patent Citation Network. Scientometrics, Vol. 107, No. 3, pp. 1465-1475, June 2016. Company: Springer Distributor: Springer Institution: Springer Label: Springer Number: 3 Publisher: Springer Netherlands.

[2] Hirofumi Nonaka, Daiki Kubo, Toru Hiraoka Kimura, Takahisa Ota, Shigeru Masuyama, et al. Correlation analysis between financial data and patent score based on hits algorithm. In 2014 IEEE International Technology Management Conference, pp. 1-4. IEEE, 2014.

[3] Jon M. Kleinberg. Authoritative sources in a hyperlinked environment. Journal of the ACM, Vol. 46, No. 5, pp. 604-632, September 1999.

[4] The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN Systems, Vol. 30, No. 1-7, pp. 107-117, April 1998. Publisher: Elsevier.

[5] Kensei Nakai, Hirofumi Nonaka, Asahi Hentona, Yuki Kanai, Takeshi Sakumoto, Shotaro Kataoka, Elisa Claire Alemán Carreón, and Toru Hiraoka. Community Detection and Growth Potential Prediction Using the Stochastic Block Model and the Long Short-term Memory from Patent Citation Networks, April 2019.

[6] Yuta Yamamoto, Asahi Hentona, Koji Marusaki, Kohei Watabe, Seiya Kawano, Tokimasa Goto, Yutaka Hada, Kazuhisa Fukuzawa, and Hirofumi Nonaka. Development of the patent values evaluation method considering growth of technical community. In 2021 IEEE Symposium Series on Computational Intelligence (SSCI), pp. 1-6, February 2021.

[7] Patent text mining based hydrogen energy technology evolution path identification. International Journal of $\mathrm{Hy}$ drogen Energy, Vol. 49, pp. 699-710, January 2024. Publisher: Pergamon.

[8] Technology Roadmapping of Emerging Technologies: Scientometrics and Time Series Approach.

[9] 坂地泰紀, 野中尋史, 酒井浩之, 増山繁. CrossBootstrapping: 特許文書からの課題・効果表現対の自動抽出手法. 電子情報通信学会論文誌 D, Vol. J93-D, No. 6, pp. 742-755, 2010.

[10] Ryosuke Harakawa, Tsutomu Ito, and Masahiro Iwahashi. Trend clustering from COVID-19 tweets using graphical lasso-guided iterative principal component analysis. Sci Rep, pp. 5709-5709, 2022.

[11] Friedman J, Hastie T, and Tibshirani R. Sparse inverse covariance estimation with the graphical lasso. Biostatistics (Oxford, England), Vol. 9, No. 3, July 2008. Publisher: Biostatistics.

[12] Rada Mihalcea and Paul Tarau. TextRank: Bringing Order into Text. pp. 404-411, July 2004.
[13] Corina Florescu and Cornelia Caragea. PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents. pp. 1105-1115, July 2017.

[14] 潮田明. 特許分における長い名詞句表現の自動解析について. In Japio YEAR BOOK, Vol. 6, pp. 274-279, 2012.


# 大規模言語モデルを用いた金融テキストに対する 推論ベースの極性付与

高野海斗 ${ }^{1}$ 中川慧 ${ }^{1}$
1 野村アセットマネジメント株式会社
$\{$ k-takano, k-nakagawa $\}$ @nomura-am.co.jp

## 概要

金融テキストマイニングでは，極性付与は重要なタスクであり，大規模言語モデル (LLM) の進歩により，適用が広がっている。一方，従来の分析対象は決算短信やニュースが中心であり，極性がテキストに直接記載されている，推論が不要なタスクである.しかし，実務上の投資判断を鑑みると，直接的に極性が記載されていないテキスト情報に対して， バックグラウンドを踏まえつつ極性を推論することが求められる. そこで本研究では, LLM の推論能力を活用し，業種に関する情報を入力し，ある特定の重大イベントが当該業種に与える影響を推論させる極性付与タスクに取り組む. そして，その出力が実務的にどの程度有用であるか検証する。

## 1 はじめに

金融に関連する膨大なテキストから業務効率化や投資意思決定に有益な情報を識別・抽出し，その情報と金融市場の関係性を発見・分析する技術は金融テキストマイニングと呼ばれている [1].

金融テキストマイニングにおいて，特に重要な夕スクの一つに，極性 (センチメント) の付与がある.極性を付与する方法は辞書べースの手法と機械学習ベースの手法に大別できる (2 章参照). 後者の手法に関連し，大規模言語モデル (LLM) の技術進展, 特に OpenAI が開発した ChatGPT の API を介した利用が容易に可能となった. それに伴って，これまで困難であった様々なタスクに対して実務で使用できる高精度の結果をもたらし，その応用領域が拡大している $[2,3,4]$.

極性付与のタスクにおいても，Lopez ら [5] は， ChatGPT はニュースのヘッドラインの極性を適切に評価でき，その後の株式リターンに有意に正の相関関係があることを実証した。しかし，GPT-1，

図 1 従来の極性付与の設定 (上図) と実務的な極性付与 (下図)

GPT-2，BERT などのモデルでは相関関係が見られないこともあわせて報告されている。また， Pelster ら [6] は，アウトオブサンプルの検証においても， ChatGPT の決算発表の極性評価と将来の業績発表および株式リターンとの間に正の相関関係があることを実証した。

一方で，金融テキストマイニングにおける極性付与は，日々の企業業績に関するニュースや決算短信，有価証券報告書に記載されている文を対象にしている。これらデータに対する極性分析は，事後的に過去の状況を分析するには非常に有力である。ただし，ある企業についてのテキストの情報がポジティブまたはネガティブかは直接記載されているものが大多数であるため，推論が不要な極性付与タスクであるといえる。しかしながら，実際の資産運用における投資判断を鑑みると，運用者は将来または仮定したイベントに対して推論を行い，業績あるいは株価に対してポジティブかネガティブかを判断し意思決定を行っている（図 1 参照）.

この点を考慮すると，直接的な業績への影響などが記載されていない，あるイベントに関して記載された文や文章に対して，業種特性などを踏まえてポジティブなのか，ネガティブなのかを推論することができるかという極性付与タスクに取り組んでいく
必要がある．例えば，Covid-19 が世界的に流行する前 (2020 年 1 月) の段階で, 感染力の強いウィルスが世界的に大流行した場合に，各業種に対してどのような影響が考えられるかを，理由と合わせて極性を付与することが期待される。 そこで本研究においては，LLM の推論能力を活用し，業種に関する情報を入力し, ある特定の重大イベントが当該業種に与える影響を推論させる極性付与タスクに取り組む. 具体的には，LLM に対して，あるイベントが特定の業種おいてどのような極性を持つのかをプロンプトとして入力し, その出力が実務的にどの程度有用であるか検証する（付録の図 2 参照）。

## 2 金融極性付与タスクのレビュー

前章で述べた通り，文に対して極性を付与する方法は辞書べースの手法と機械学習ベースの手法に大別できる。辞書べースの手法は，極性語とその極性值が組となった極性辞書に基づいて, 文や文章に極性を付与する [7]. 辞書べースの利点は, 辞書に基づいて極性が付与されることから，解釈が容易である点があげられる. 辞書べースの問題点は，単純な方法では文脈を考慮した極性付与ができない点である. 例えば, 「コロナ感染者数の増加 (2.312) に伴い、売上高は減少 (-1.998)いたしました。」のような文の極性は， 0.314 （ポジティブ）となるが，明らかにネガティブな文である．例に挙げたように，何が増加したかによって，「増加」のスコアを変化させるべきだが，一般的な極性辞書は，そのような問題に対処できない. 解決策として, 「感染者数の増加 (-1.315)」，「売上の増加 (3.312)」のように表現を拡張した辞書を作成することが挙げられる [8]. しかし，全ての表現を辞書で作成することは困難であり，類似表現に対しても，辞書に登録されていなければ極性を付与できない問題がある. また，表現を拡張できたとしても，「見込んでいた売上減少はなかったものの、」のような否定表現などに対応できないことも問題点としてあげられる。 その他にも，広く利用されている一般的な極性辞書に含まれるネガティブ表現が，金融の分野において，約 4 分の 3 も該当しないことを示した研究もある [9]. したがって，極性分析を行うためには，目的に応じて極性辞書を探したり，場合によっては自作する必要がある.

一方，機械学習ベースの手法は，文や文章と極性が紐づいたデータを用いて学習させたモデルによって極性を付与する．金融に特化した機械学習ベース
の極性付与モデルとしては，FinBERT ${ }^{1}$ が有名である [10]. 機械学習ベースの利点は，文脈を考慮した極性を付与できる点である。また，辞書べースの手法は，辞書に含まれている語が文に含まれていないと極性が付与できないのに対して，機械学習ベースの手法によっては，類義語が含まれていれば極性の付与が可能である. 問題点として, 機械学習ベースの手法は，解釈性の問題が残るため [11]，解釈性に着目したモデルの研究も盛んに行われている [12].

従来の金融テキストマイニングにおける極性付与は，該当企業にとって，ある出来事がポジティブまたはネガティブかの情報が直接記載されているものが大多数であり，推論が不要な極性付与タスクである.したがって，LLM が持つ推論能力を十分に活用できていないタスクであるといえる.

## 3 実験

## 3.1 実験設定

LLM に対して，あるイベントの極性を業種を踏まえた上で推論させ，その出力が実務的にどの程度有用であるか確認する. 入力として与えるイベントは，未知のウィルスの世界的な流行，極端な円安， ロシアとウクライナの紛争とする．また，業種は， ゲーム, 飲食, 海運, 観光, 医薬品とする. 使用するプロンプトは以下の通りである。なお，<>内は，前述したイベントや業種が入る。

入力に使用するプロンプト
<イベント>は、日本の＜業種＞業界にどのよ
うな影響を与えますか？

使用するモデルは, OpenAIが公開している「gpt-41106-preview」,「gpt-4-0613」,「gpt-3.5-turbo-0613」を使用する。以降，それぞれのモデルを gpt-4-1106, gpt-4-0613, gpt-3.5 と本論文では表記する. gpt-41106 は，2023 年 4 月までのデータを使用して学習が行われており, 残り二つのモデルは, 2021 年 9 月までのデータを使用して学習が行われている2).なお，ハイパーパラメータは再現性のため， temperature のみ 0 に設定し，後はデフォルトの値を使用する。

評価に関しては，定性的な評価を行う．方法論が確立されていないため，定量的な評価は今後の課題

1) https://huggingface.co/ProsusAI/finbert

2) https://platform.openai.com/docs/models
表 $1 \mathrm{gpt}-4-1106$ の出力結果の集計

表 2 gpt-4-0613 の出力結果の集計

とする.

## 3.2 実験結果

参考として，ロシアとウクライナの紛争が飲食業界に与える影響について，得られた出力をモデルごとに付録 A に示す。また，表 1 ，表 2，表 3 は，各モデルの出力結果に記載されていた影響を極性別に集計したものである.

## 4 考察

## 4.1 集計結果からの考察

表 1 から表 3 より，数の変動はあるももの，モデルによってポジティブな影響とネガティブな影響の大小関係が逆転することはなかった。

まず注目したいのは，ウィルスの流行に対して，多くの業界でネガティブな影響が優勢の中，医薬表 $3 \mathrm{gpt}-3.5$ の出力結果の集計

業界はポジティブな影響の方が多く出力されている点である。例えば，FinBERTに「Global outbreak of unknown virus.」と入力すると，「negative: 0.752, neutral: 0.230 , positive: $0.018 」$ と出力される. しかしながら，本研究の主題通り，業界という背景によって極性は異なるべきであり，今回の結果はそれを顕著に示している。

次に，ウィルスの流行に対するゲーム業界の結果からわかる通り，ポジティブ，ネガティブの個数を用いた分析では不十分である。 ゲーム業界は，コロナ流行による外出自粛の影響を受けて需要が急増し, 多くの企業で収益が増加した. ゲーム需要の増加は各モデルの出力に含まれているものの，その他に懸念されるリスクや変化が多く記載されており， どの項目がどれだけのインパクトがあるのかを記載内容から考慮する必要がある。

## 4.2 モデルに着目した考察

表 1 から表 3 より，gpt-4-1106 は他のモデルが平均 5 つを下回る影響を出力するのに対して，平均 7 つを超える影響を出力した。これは，モデルのアップデートに伴い全体的に精度が低下するという黒木ら [3] や Chen ら [13] の指摘とは異なり，モデルのアップデートに伴い，より多様な出力が可能になっていることを示唆している.

次に，モデルを学習させているデータの学習期間に着目すると，付録 A の出力結果に示した通り， gpt-4-1106 は，「価格が上昇しました。のように実際に起こった事実として出力していることがわかる.このような出力になった要因は，2022 年 2 月からロシアはウクライナへ本格的な軍事侵攻を開始
しており，gpt-4-1106 が 2023 年 4 月までのデータを使用して学習されているためである. したがって， 2021 年 9 月までのデータを使用して学習された残り2つのモデルには，「しました。のような表現が含まれず，「可能性があります。」という表現が多様されている. 厳密なアウトオブサンプルの分析をするのであれば，未知のウィルスの世界的な流行に対する推論は，2019年までのデータを用いて学習されたLLM を用いるべきである．なぜなら，2020 年以降，コロナウィルスが世の中に与えた影響に言及するテキスト情報は多数存在しており, 本論文で使用したモデルは，それらの情報を学習済みである．仮に 2019 年までのデータを用いて学習されたモデルを使用する場合には，出力の悪化が想定される. 実際の運用を考えると，将来のデータを使用することは不可能であり，LLMを用いた分析は充分に注意が必要である.

より詳細にモデルごとの出力結果を見ると， gpt-3.5 の出力は「紛争」によって生じる一般論となっており，各国の国名を別の国名に置換しても，内容にほとんど矛盾が生じない出力である. それに対して，gpt-4-0613 は付録 A で太字で示した通り，「ウクライナは世界最大級の穀物輸出国」という記載があり, gpt-3.5 よりも優れた出力となっている. さらに, 学習データの leakはあものの, gpt-4-1106 は，「ロシアとウクライナは小麦やひまわり油などの農産物の大きな輸出国」,「ロシアは天然ガスや石油の大手輸出国」などの情報も出力に追加されている. 本論文の検証結果から想定される現段階の LLM におけるシンプルな推論の限界は，実際に起こっていないことに関しては，「款物価格の上昇」 から食材のコストが増加することまで推論が可能であり，実際に起こったことがあることに関しては，「パンや麺類、揚げ物など」のように，その食材によって作られる食品の推論までが可能であった. 実際に，ウクライナからの穀物輸出が減ったことで，間接的に大きな影響を与えている食材の一つに卵があるが3)，そこまでの推論は，実際に起こった出来事でもまだ推論することは難しい。しかし，gpt-3.5 に「卵の価格上昇要因を教えてください。」というプロンプトを与えると, 出力される要因の一つに 「飼料価格の上昇：鶏の飼料（主に穀物や大豆）の価格が上昇すると、養鶏業者の生産コストが増加します。」のような記述が含まれるため，1step ではな

く，複数 step で推論を行う方法に拡張することで，現状のモデルでも，より深い推論が実現できるかもしれない。

また，LLM において Hallucination $[14]^{4)}$ が問題となるが，gpt-3.5 は特に多く発生した. その中でも極端な円安においては，「円安により、日本のゲーム会社は海外からの人材を採用しやすくなる可能性があります。5)」や「円安により、海外企業の製品が日本市場で競争力を持つ可能性もあります。6)」のような，事実とは正反対の出力が顕著に生じていた．極性分析において, 正反対の内容の出力は, 極性が反転するため, Hallucination の発生しにくいモデルを使用することや，その発生を抑制する工夫が重要となる。

## 5 おわりに

本研究では，LLM の推論能力を活用し，業種に関する情報を入力し，ある特定の重大イベントが当該業種に与える影響を推論させる極性付与タスクに取り組んだ. 出力結果からは，一部期待するような結果を得ることができたが，課題も山積みである．付録 A に示した結果の通り，過去に起こった出来事に対しての推論は, 詳細な要素の出力も多く含まれるため，個人の投資家が思考の壁打ちをするツールとして有力であるが，ベテランの運用者やエコノミストからすると周知の事実がほとんどであるため，もう少しプロンプトや方法に工夫が必要である．推論能力を向上させるために，因果関係データセットの構築も重要な課題の 1 つである [15].

また, 4.1 節の中で医薬業界の結果を取り上げたが，実際に医薬業界の中でも，コロナウィルスに関連する取り組みを行い業績を伸ばした企業も存在すれば，在宅自粛などによって従来の風邪やインフルエンザの患者数が激減したことで，業績が落ち込んだ企業も存在する。したがって，より具体的な事業概要や過去の業績結果などをプロンプトに組み込むで，個々の企業にどのような影響が推論がどの程度可能であるか検証を行いたい（付録の図 3 参照）.

## 参考文献

[1] 中川慧, 伊藤友貴. 機械が読む英文開示. 企業会計, Vol. 75, No. 3, pp. 339-348, 2023.

[2] Irene S Gabashvili. The impact and applications of chatgpt: a systematic review of literature reviews. arXiv preprint arXiv:2305.18086, 2023.

[3] Yutaka Kuroki, Tomonori Manabe, and Kei Nakagawa. Fact or opinion?-essential value for financial results briefing. In 2023 14th International Congress on Advanced Applied Informatics (IIAI-AAI). IEEE, 2023.

[4] 高野海斗, 中川慧, 藤本悠吾. Chatgpt を活用した運用報告書の市況コメントの自動生成. 人工知能学会第二種研究会資料, No. FIN-031, pp. 61-67, 2023.

[5] Alejandro Lopez-Lira and Yuehua Tang. Can chatgpt forecast stock price movements? return predictability and large language models. arXiv preprint arXiv:2304.07619, 2023.

[6] Matthias Pelster and Joel Val. Can chatgpt assist in picking stocks? Finance Research Letters, p. 104786, 2023.

[7] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259, 2018.

[8] 今井康太, 酒井浩之, 永並健吾, 稲垣真太郎. 債券市場における金融極性辞書の自動構築. 知能と情報, Vol. 34, No. 4, pp. 673-682, 2022.

[9] Tim Loughran and Bill Mcdonald. When is a liability not a liability? textual analysis, dictionaries, and $10-\mathrm{Ks}$. The Journal of Finance, Vol. 66, No. 1, pp. 35-65, 2011.

[10] Dogu Araci. FinBERT: Financial sentiment analysis with pre-trained language models. arXiv preprint arXiv:1908.10063, 2019

[11] David Gunning and David William Aha. DARPA's explainable artificial intelligence program. AI Magazine, Vol. 40, No. 2, pp. 44-58, 2019.

[12] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita, and Kiyoshi Izumi. Word-level contextual sentiment analysis with interpretability. In AAAI, Vol. 34, pp. 4231-4238, 2020.

[13] Lingjiao Chen, Matei Zaharia, and James Zou. How is chatgpt's behavior changing over time? arXiv preprint arXiv:2307.09009, 2023

[14] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Computing Surveys, Vol. 55, No. 12, pp. 1-38, 2023.

[15] 張辰聖子, 持橋大地, 小林一郎. 手がかり表現に基づく非論理的な言語推論の学習. 言語処理学会第 29 回年次大会, pp. 494-499, 2023.

図 2 従来の極性付与 (左図) と本研究の極性付与 (右図)

## A ロシアとウクライナの紛争が飲食業界に与える影響の推論結果

gpt-3.5

ロシアとウクライナの紛争は、日本の飲食業界に以下のような影響を与える可能性があります。

1. 食材の供給不足：ロシアやウクライナからの食材の輸入が制限される可能性があります。これにより、日本の飲食業界は特にロシアやウクライナからの食材に依存しているレストランや食品メーカーに影響を与える可能性があります。代替の供給源を見つける必要があるかもしれません。

2. 輸出市場の減少：ロシアやウクライナは日本の飲食業界にとって重要な輸出市場です。紛争が激化すると、両国の経済が停滞し、需要が減少する可能性があります。これにより、日本の飲食業界は輸出市場の減少に直面することになります。

3. 国際関係の影響：ロシアとウクライナの紛争は国際的な関係にも影響を与えます。日本は国際社会での立場を考慮しながら外交政策を運営しており、紛争による国際的な緊張が日本の飲食業界にも波及する可能性があります。

4. 消費者の意識の変化：紛争が報道されると、消費者の意識が変化する可能性があります。例えば、ロシアやウクライナと関連する食品やレストランへのボイコットが起こるかもしれません。これにより、日本の飲食業界においてロシアやウクライナとの関係が影響を受ける可能性があります。

以上のような要素が組み合わさり、日本の飲食業界にはロシアとウクライナの紛争が様々な影響を与える可能性があります。ただし、具体的な影響は紛争の進展や国際情勢の変化によって異なる可能性があります。

gpt-4-0613

ロシアとウクライナの紛争が日本の飲食業界に与える影響は、主に以下のようなものが考えられます。

1. 食材の輸入制限や価格変動：ロシアやウクライナから輸入している食材がある場合、紛争により輸出が制限されたり、価格が変動する可能性があります。特にウクライナは世界最大級の豰物輸出国であり、紛争が長引くと穀物価格の上昇や供給不安が生じる可能性があります。

2. 為替レートの変動：紛争によりロシアルーブルやウクラ

イナ通貨の為替レートが変動すると、それらの国からの輸入コストが変わる可能性があります。これは飲食業界だけでなく、他の業界にも影響を及ぼす可能性があります。 3. 消費者の意識の変化: 紛争により消費者の意識が変わる可能性もあります。例えば、ロシアやウクライナの食材を使った料理を提供している店舗は、消費者の反ロシア感情や反ウクライナ感情により売上が下がる可能性があります。

4. ロシアやウクライナの観光客の減少 : 紛争によりロシアやウクライナからの観光客が減少すると、特に彼らをター ゲットにした飲食店の売上が下がる可能性があります。以上のような影響が考えられますが、具体的な影響は紛争の進行状況やその後の国際的な対応によります。

図 3 個別企業の情報を加味した推論べースの極性付与 gpt-4-1106

ロシアとウクライナの紛争は、世界的な経済に多くの影響を与えており、日本の飲食業界にも様々な形で影響を及ぼしています。以下はその影響のいくつかです：

1. 原材料の価格上昇 : ロシアとウクライナは小麦やひまわ

り油などの農産物の大きな輸出国です。紛争によりこれら

の商品の供給が不安定になり、国際市場での価格が上昇し

ました。これは、パンや麺類、揚げ物などを提供する飲食店にとってコスト増加の要因となります。

2. エネルギー価格の上昇：ロシアは天然ガスや石油の大手輸出国であり、紛争によってエネルギー価格が上昇しました。これは、飲食店の運営に必要な電気やガスのコストを押し上げ、経営に影響を与える可能性があります。

3. 物流コストの増加：紛争により、特定の航路や輸送ルー トが使用できなくなる可能性があります。これにより、食材の輸入コストが上昇し、飲食店の仕入れ価格が高騰する可能性があります。

4. 消費者の心理的影響：紛争による経済的不安定さや物価の上昇は、消費者の支出意欲に影響を与える可能性があります。不安定な経済状況の中で、消費者は外食に対して慎重になり、飲食業界の売上に影響を及ぼすかもしれませ几。

5. メニューの変更や価格の見直し：原材料の価格上昇に対応するため、飲食店はメニューの内容を変更したり、価格を見直したりする必要が出てくるかもしれません。これにより、顧客の選択肢や価格感に影響を与えることになります。

6. サプライチェーンの再構築：長期的には、紛争によるサプライチェーンの不安定さを避けるために、飲食業界はより多様な供給源を確保する必要があるかもしれません。これには、国内産の食材へのシフトや、他の国からの輸入に依存するなどの戦略が含まれます。

これらの影響は、紛争の進展や国際的な対応によって変化する可能性があります。飲食業界は、これらの変動に柔軟に対応し、経営戦略を適宜調整することが求められます。


# LLM を用いたタカハトセンチメント付与タスクの検証

川原一修 1
${ }^{1}$ Japan Digital Design 株式会社
\{takanobu.kawahara\}@japan-d2.com

## 概要

中央銀行の要人発言にタカハトセンチメントを付与するタスクは, 金融実務家にとって重要でありながら, 商用利用可能なアノテーション付き学習デー タの提供はまだ行われていない. 本研究では, プロンプトエンジニアリングを用いて, 大規模言語モデル （LLM）を活用したセンチメント推定の精度向上を検証した. その結果, センチメント付与ガイドラインを含むプロンプトを用いることで,ファインチュー ニングされた小型モデルよりも高い精度を達成するケースが存在することが明らかになった.

## 1 はじめに

米国の連邦準備制度（Federal Reserve System, 以下「Fed」と略称）は, 2022 年 3 月に長らく $0 \%$ 付近で維持されていた政策金利を引き上げ,2023 年 7 月までの約 1 年半で合計 $5 \%$ のき上げを行った.これに伴い, 米国の 10 年国債の指標金利も約半年間で $2 \%$ 上昇し, FTSE 世界国債インデックスは最大 $19 \%$, S\&P500 種指数は最大 $17 \%$ 下落し1) 投資家に大きな影響を及ぼした. 中央銀行の金融政策が市場与える影響は大きく, その動向を分析することは市場参加者にとって重要な課題である. Fed 高官のスピーチや公開市場委員会 (Federal Open Market Committee, 以下「FOMC」と略称）の議事録は, 政策決定者からの直接的なメッセージであり, 金融政策や経済環境に対する彼らの見解が反映されている. これらを詳細に分析することで Fed の政策がタカ派 （緊縮的）か, ハ卜派（緩和的）かを判断することの価値は大きい。

自然言語処理技術を用いた Fed のテキストデータ分析は多く行われており, 例えば [1] や [2] は, LDAを用いたトピック抽出と極性辞書によるセンチメント分析を組み合わせ, 資産価格への影響を分析している.しかし,[3] が指摘するように Fed 要人の発言には

1） Bloomberg による婉曲表現が多く,テキスト外の情報を参照しないと意味が理解しにくいケースも多い. Fed 高官の難解な文章をさす Fedspeak[4] という表現すら存在する.難解な Fedspeak をルールベースの極性推定だけで読み解くことは難しい可能性があり、実際 [5] や [6] は, 独自にタカ, ハトのアノテーションを付与したデータセットを用いて BERT や RoBERTa などの Transformer ベースのモデルでファインチューニングを行い, タカハトセンチメントの付与タスクにおいてルールベースのモデルを上回る精度を達成したと報告している. ただし, 前者のデータセットは公開されておらず, 後者は商用利用が制限されている. 金融実務家にとってタカ八トセンチメントの付与は重要なタスクであるが, 現在利用できるアノテーション付きの学習データセットは限られている. ChatGPT のような大規模言語モデル (LLM) がファインチューニングなしで従来の自然言語処理夕スクを高精度で処理できるという報告が増えている中 [7][8][9], プロンプトに様々な工夫を加えることで, 従来のアプローチでは解決が難しい問題に対しても新たな可能性が開ける. 金融政策に関連するテキストデータの分析においても LLM が優れた解釈能力を発揮し,より複雑なニュアンスやコンテキストを理解することが期待される. 上記のような背景から本研究ではLLMを利用してタカハトセンチメントを効果的に識別する方法を検証する。

## 2 先行研究

言語モデルをタカハトセンチメントの付与タスクに直接適用した研究として [5][6] の他に [10]がある. [10] は金融領域に特化した LLM の開発に取り組み, LLaMa-65B[11] に独自データを用いてインストラクションファインチューニングを行ったところ, タカハトセンチメント付与タスクにおいてもファインチューニング前後で精度が向上したことを報告している. 3 研究ともモデルのファインチューニングに焦点を当てている点が本稿とは異なる.

タカハトセンチメント付与タスクに対してプロンプトエンジニアリングに焦点をあてて検証した研究は見つからなかったが, プロンプトエンジニアリング自体には多くの先行研究があり, 例えばタスクに関連する情報をプロンプト内にとりこむインコンテキストラーニング [8][12] の報告事例は多い. 中でも [8] は, ChatGPT に Few-shot プロンプト [13]を活用して Zero-Shotでは精度の上がりにくいタスクに対しても精度の改善が見られたことを報告している.また [14] は LLM が与えられたコンテキストを活用せず事前学習で得られた知識を優先するケースが有ることに注目し, Opnion プロンプトや automatic prompt engineering[15] を利用して作成した Instruction プロンプトを利用することでこの傾向が改善することを確認している.

本研究では,これらの先行研究を踏まえ,まず Few-Shot プロンプティングのタカハトセンチメント付与タスクへの有効性を検証する. 加えて, 難解な Fedspeakを Few-shot の事例のみから一般化して解釈することが難しい可能性に考慮し, センチメント付与の指針（ガイドライン）をプロンプト内に含め, センチメント付与時にガイドラインに従うよう指示したプロンプトの効果を検証する.

## 3 使用するデータセットとモデル

## 3.1 FOMC データセット

[5] で作成されたデータセットを著者らの Git Hub レポジトリ2) から取得して使用する.データセットは Fed のホームぺージ3)から FOMC 議事録 (MM), 記者会見のトランスクリプト (PC), Fed 高官のスピー チ (SP) の 3 種類のテキストデータを取得して作成されている. また, 3 種類のデータセットについてそれぞれ 3 つのテストデータセットと訓練データセットの分割が準備されており, 本稿の検証ではそれらを使用した。

## 3.2 タカハトセンチメントインデックス

タカハトセンチメントインデックスの作成に Fed のホームページから FOMC 声明文を取得して利用した. 取得した声明文のテキストファイル数は 219 ファイルで総センテンス数は 9,591 センテンスあった. 2000 年 2 月から 2023 年 12 月までの声明文が

2) https://github.com/gtfintechlab/fomc-hawkish-dovish

3) http://www.federalreserve.gov/含まれている. 取得したセンテンスから金融政策の先行きに関連する可能性の高いセンテンスを抽出するため [16] の単語リストを利用し, ルールベー スでセンテンスの抽出を行った. 具体的には当該論文の Table2 の PanelA1 または PanelB1 に含まれる単語がセンテンス中に存在する, かつ PanelA2 または PanelB2 に含まれる単語が存在する, センテンスのみを利用し, 最終的に 1,942 センテンスを抽出した。

## 3.3 利用したモデル

メインの LLM として OpenAI 社の ChatGPT ${ }^{4)} を$利用する, 具体的には次の 3 モデルを利用する, gpt3.5-turbo-0613(GPT3.5-Turbo), gpt-4-0613(GPT4), gpt4-1106-preview(GPT4-Turbo). また GPT 以外のモデルでもガイドライン付きプロンプトの効果があるか検証するため, Meta 社の Llama-2-7B/13B[17] と金融に特化した LLM である Finma-7B[18] も利用する. タカハトセンチメントインデックスの検証ではベンチマークとして FomcRoberta[5]を利用する. GPT 以外のモデルはすべて Hugging Face ${ }^{5}$ から取得して利用した.

## 4 実験設定

## 4.1 Few-shot

判定対象のセンテンス類似したセンテンスを訓練データから取得し, プロンプトの中にコンテキストとして追加することで精度が向上するか検証した.テキストの類似度は sentence-transformers/allMiniLM-L6-v2を使用し得られたベクトルの cosine 類似度用いた。追加するセンテンスの数は $1,3,10$ の 3 パターン, 使用する訓練データについても全量を使用する場合, $50 \%, 10 \%$ とサンプリングして使用する場合の 3 パターンで精度に差が出るか確認した. 本実験のモデルには GPT3.5-Turbo を利用した. プロンプトは Appendix に記載した Base プロンプトに例示用のセンテンスを類似度の高い順に追加し作成した. また一部訓練データとテストデータで重複するセンテンスが存在したため, 訓練データからそれらのセンテンスを削除した上で利用した.

## 4.2 ガイドライン付きプロンプト

[5] 亿記載されているアノテーター用のアノテー ションガイドラインを LLM 判定のガイドラインとして取り入れたプロンプトを作成して利用した. ベースラインのプロンプトとして [5] で使用されたプロンプトを利用した. 実際に使用したプロンプトは Appendix に記載する。

## 4.3 タカハトセンチメントインデックス

節 3.2 で作成したデータセットについて,GPT4 とガイドライン付きプロンプトを利用してセンテンス毎にタカハトセンチメントを判定し, 声明文毎にアグリゲートした上で過去 3 回の声明文のスコアの平均をとりタカハトセンチメントセンチメント指数を作成する。

\#Hwakish は $_{i}$ 声明文 $\mathrm{i}$ 中で Hawkish と判定されたセンテンスの数, $\#$ Dovish $h_{i}$ は Dovish と判定されたセンテンスの数,, Total $_{i}$ は声明文 $\mathrm{i}$ 中から抽出されたすべてのセンテンス数である.

## 5 実験結果

## 5.1 Few-shot

紙面の都合上, 図 1 に訓練データを $10 \%$ サンプルして利用した結果のみ報告する. 記者会見については Zero-Shot のケースと比べて最大で F1 值が $3 \%$ ポイント程度向上し, Few-shot を活用する効果が確認できた. しかし, スピーチデータについてはむしろ精度が低下していることに加えて, 議事録データについても F1 值の改善幅は最大で $0.7 \%$ ポイント程度であり, 改善幅は限定的であった. 全体としてタカハトセンチメントの付与タスクに関しては Few-shot プロンプトの効果は限定的であった.

## 5.2 ガイドライン付きプロンプト

表 1 に検証結果を記載する. 左 3 列はベースプロンプト, 右 3 列はガイドライン付きプロンプトを使用した結果である. 最下段の RoBERTa-large は Shah[5] らに報告されている最も精度の高い,ファインチューニングされた小型モデルの検証結果を転載している. 数値はすべてテストセットにおける weighted-F1 であり 3 シードの平均を報告している，

図 1 トレインデータから $10 \%$ サンプル

括弧内は標準偏差である。

以下の 3 点が特に重要だと考える。

・ガイドライン付きプロンプトでは 3 データセット中 2 データセットで,GPT4 と GPT4-Turbo の精度が RoBERTa-large を上回っておりタカハトセンチメントの付与タスクについては,プロンプトの工夫次第で LLM による Zero-Shot の推論がファインチューニングされた小型モデルを上回るケースが有ることが示された.

・モデル毎にガイドライン付きプロンプトの効果について確認すると,LLama2-13B, GPT4, GPT4-Turbo で精度が高まっている.LLama2-7B, Finma-7B については精度が低下しており, 比較的小型な LLM では長いプロンプトを有効活用できていない可能性がある. GPT3.5-Turbo についても精度が低下しており,これについては今後追加の検証が必要となる.
- Llama2-7B/13B と Finma-7B についてべースプロンプトの結果を比較すると Finma が自身よりサイズの大きいモデルに精度で上回っており, 金融に特化した知識の取得が本タスクに効果がある可能性がしめされた.

## 5.3 タカハトセンチメントインデックス

図 2 に作成したタカハトセンチメントインデックスの推移を表示する. 実線が GPT4, 破線が FomcRoberta よるセンチメントインデックスの推移,細線は Federal Funds Effective Rate(以降 FF 金利と表

図 2 タカハトセンチメントインデックス

記) の月次データ6)の推移である. GPT4,FomcRoberta によるタカハトセンチメントインデックスともに FF 金利と概ね連動した動きをしかつ先行して推移している. 図 3 に FF 金利とタカハトセンチメントインデックスのラグ付き相関を計測した図を表示した. 相関が最大となるのは FomcRoberta でラグ 8 ヶ月で相関が 0.69 , GPT4 で 6 ヶ月で 0.67 であり両者とも FF 金利に先行している. Fed が実際に FF 金利を引き上げる前に声明文のトーンに変化が出てきている点については, 市場との対話を重視し急激な態度の変更を避けるという観点で Fed の行動指針と合致しているといえる.これらの点から, 作成したタカハトセンチメントインデックスが声明文のトーンの変化を捉えているといえると考えた.

## 6 結言

本研究ではプロンプトエンジニアリングを通じて, 大規模言語モデル (LLM) によるタカハトセンチメントの推定精度を高める方法を検証した. 結果としてタカハトセンチメントの付与ガイドラインをプ

図 3 タカハトセンチメントインデックスと $\mathrm{FF}$ 金利のラグ付き相関

ロンプトに加えたガイドライン付きプロンプトを利用することで,LLM がファインチューニングされた小型モデルを上回るケースが有ることを示した.

6）FRED から取得した

## 参考文献

[1] Stephen Hansen and Michael McMahon. Shocking language: Understanding the macroeconomic effects of central bank communication. Journal of International Economics, Vol. 99, pp. S114-S133, 2016.

[2] Narasimhan Jegadeesh and Di Wu. Deciphering fedspeak: The information content of fomc meetings. Monetary Economics: Central Banks-Policies \& Impacts eJournal, 2017.

[3] 高野海斗, 内藤麻人, 長谷川直弘, 中川慧. 中央銀行の要人発言に対するタカ・ハト極性付与タスクの検討. 言語処理学会第 29 回年次大会発表論文集 (2023 年 3 月), 2023.

[4] Alan S Blinder. How do central banks talk? Centre for Economic Policy Research, 2001.

[5] Agam Shah, Suvan Paturi, and Sudheer Chava. Trillion dollar words: A new financial dataset, task \& market analysis. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), 2023.

[6] Anne Lundgaard Hansen and Sophia Kazinnik. Can chatgpt decipher fedspeak? Available at SSRN, 2023.

[7] Jingfeng Yang, Hongye Jin, Ruixiang Tang, Xiaotian Han, Qizhang Feng, Haoming Jiang, Bing Yin, and Xia Hu. Harnessing the power of llms in practice: A survey on chatgpt and beyond, 2023.

[8] Wenxuan Zhang, Yue Deng, Bing Liu, Sinno Jialin Pan, and Lidong Bing. Sentiment analysis in the era of large language models: A reality check. arXiv preprint arXiv:2305.15005, 2023

[9] Marius Mosbach, Tiago Pimentel, Shauli Ravfogel, Dietrich Klakow, and Yanai Elazar. Few-shot fine-tuning vs. in-context learning: A fair comparison and evaluation. arXiv preprint arXiv:2305.16938, 2023.

[10] Yi Yang, Yixuan Tang, and Kar Yan Tam. Investlm: A large language model for investment using financial domain instruction tuning. arXiv preprint arXiv:2309.13064, 2023 .

[11] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[12] Boyu Zhang, Hongyang Yang, Tianyu Zhou, Muhammad Ali Babar, and Xiao-Yang Liu. Enhancing financial sentiment analysis via retrieval augmented large language models. In Proceedings of the Fourth ACM International Conference on Al in Finance, pp. 349-356, 2023.

[13] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[14] Wenxuan Zhou, Sheng Zhang, Hoifung Poon, and Muhao Chen. Context-faithful prompting for large language models. arXiv preprint arXiv:2303.11315, 2023.
[15] Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, and Jimmy Ba. Large language models are human-level prompt engineers. arXiv preprint arXiv:2211.01910, 2022.

[16] Federico M Ferrara, Donato Masciandaro, Manuela Moschella, and Davide Romelli. Political voice on monetary policy: Evidence from the parliamentary hearings of the european central bank. European Journal of Political Economy, Vol. 74, p. 102143, 2022.

[17] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv e-prints, pp. arXiv-2307, 2023.

[18] Qianqian Xie, Weiguang Han, Xiao Zhang, Yanzhao Lai, Min Peng, Alejandro Lopez-Lira, and Jimin Huang. Pixiu: A large language model, instruction data and evaluation benchmark for finance. arXiv preprint arXiv:2306.05443, 2023.

## A 実験に使用したプロンプト

## 実験に使用したプロンプトを以下に示す.

## Base Prompt

Discard all the previous instructions. Behave like you are an expert sentence classifier. Classify the following sentence from FOMC into 'HAWKISH', 'DOVISH', or 'NEUTRAL' class. Label 'HAWKISH' if it is corresponding to tightening of the monetary policy, 'DOVISH' if it is corresponding to easing of the monetary policy, or 'NEUTRAL' if the stance is neutral. Provide the label in the first line and provide a short explanation in the second line. The sentence:

Guideline Prompt

Discard all the previous instructions. Behave like you are an expert sentence classifier. Classify the following sentence from FOMC into 'HAWKISH', 'DOVISH', or 'NEUTRAL' class. The table below is the annotating guideline, refer to this guideline while labeling the sentence.

 &  &  \\

Provide the label in the first line and provide a short explanation in the second line. The sentence:

ガイドライン付きプロンプトの表は実際には Markdown 方式でプロンプトに記載したがここでは視認性を向上させるために表形式で記載している.


# 株価変動に対する大規模言語モデルを用いた株式用語選択

西田隼輔 1 宇津呂武仁 ${ }^{1}$
1 筑波大学大学院 システム情報工学研究群
s2320778_@_u.tsukuba.ac.jp
utsuro_@_iit.tsukuba.ac.jp

## 概要

株価変動記事では，株価変動を表現する株式用語が用いられることが多い。そのような記事の自動生成を目的として，大規模言語モデルに数日間の株価の推移を与え，株価変動の特徴を適切に表す専門用語を自動で選択させる手法の評価を行った. 本手法により，株価変動記事の記者が人手でつけた用語や，それに意味が近い用語を高い精度で選択できることが分かった. また, few-shot 学習や fine-tuning を行うことで，さらに性能を向上させられることが示された.

## 1 はじめに

株価の変動を報じるニュース記事は，株価がどれだけ上昇または下落したかという情報に加え，新製品の発表や社会的な情勢といった，価格変動の要因を知ることができるという点で有用である。通常， このような記事は人手で作成されているが，より多くの銘柄について取り扱えるようにするために，自動で大量に生成されることが望まれる.

株価変動記事では，株式に関する専門的な用語が用いられることが多い [1] [2]. 特に，株価変動を表現する株式用語（以下，株価変動用語）は頻繁に用いられ，株価変動の大きさや連続性などによって使い分けられている。例えば，株価上昇において，株価が急に大きく上昇したときは「急伸」，株価が連続して上昇したときは「続伸」というように区別される．株価変動記事を自動生成する上で，株価の時系列データを自動で分析して文章にする必要があるが，数值の変動の仕方を微妙なニュアンスによって正しく使い分けることは極めて重要である.

この問題に対し本論文では，大規模言語モデルに数日間の株価の推移を与え, 株価変動の特徵を適切に表す専門用語を自動で選択させた。 大規模言語モデルとしては，自然言語処理の幅広い分野で高い性能を示す ChatGPT[3] を用いて評価を行った。その結果，株価変動記事の記者が人手でつけた用語や， それに意味が近い用語を高い精度で選択できることが分かった. また，few-shot 学習や fine-tuning を行うことで，さらに性能を向上させられることが示された。以下に本論文の貢献を簡潔に述べる。

・大規模言語モデルが，株価変動データを対応する株式用語に変換する性能を明らかにした。

・株価の変動とその原因に相当するニュース記事の文章から，自動で株価変動記事を生成できる可能性があることを示した.

## 2 関連研究

ニュース記事と株価に関連する研究として，いくつかの先行研究が存在する. Kalshani ら [4] は, ニュース記事の見出しと数学的な指標を組み合わせることで，株価を予測する手法を提案した．Chen[5] は，ニュース記事の見出しのみを用いて，経済的な大きな出来事が起きた後の短期間の株価変動を予測した. また Kalyani ら [6] は，効率的市場仮説の問題点について議論し，ニュース記事を利用した株価動向予測に関するプロジェクトを提案した.

さらに, Liu ら [7], Gong ら [8] は, サポートベクターマシンや長・短期記憶 (LSTM) といった，いくつかの機械学習，深層学習の手法について，経済ニュース記事を用いた株価変動予測の性能を評価した.

## 3 データセット

## 3.1 株価変動用語

本論文における「株価変動用語」とは，株価の変動の仕方を表現する際に用いられる株式用語 (証券用語) のことを指す。1 節で述べた「急伸」や「続伸」も株価変動用語に含まれる. 数日間の株価の推移から株価変動用語を選択させるにあたり，候補となる用語を選定した。株価の短期間の変動からは
表 1: 各株価変動用語ごとの事例数

判定できない用語や，株価変動記事での出現頻度が少ない用語は除外し，「急伸 ，「急騰」，「続伸」， $\lceil$ 連騰」, 「反発」, 「堅調」, 「急落」, 「続落」, 「反落」,「軟調」, 「続急伸」, 「続急騰」,「急反発」,「続急落」,「急反落」の合計 15 単語を候補とした.

## 3.2 株価変動記事の収集

株価の変動に関するニュース記事の収集対象として，ファイナンスに関するニュース記事を配信している Webメディアである“Yahoo!ファイナンス”") と “MINKABU"2)を利用した。“Yahoo!ファイナンス” の「日本株」タブのニュース記事と, "MINKABU" の「個別株」タブのニュース記事から，3.1 節で選定した 15 個の株価変動用語を見出しに含む記事を抽出し，合わせて 1,000 件の記事を収集した ${ }^{3)}$. 収集した記事からは，記事の見出しと配信日を取得した. また，記事ぺージからリンクされている当該銘柄の株価時系列データを参照し, 記事配信日から遡って一週間までの株価の終値を“Yahoo!ファイナンス”および“MINKABU”から取得した。

収集した 1,000 件の記事のうち, 重複する記事や，個別株の上昇・下落には関係ない記事を除外した 612 件について, 取得した情報から「記事に出現する株価変動用語 (「急伸」など)」と「配信日から遡って一週間の終值」からなるデータセットを作成した. 表 1 に各株価変動用語ごとの事例数を示す.

ここで，「急騰」，「連騰」，「続急騰」については，事例数が少ないため，それぞれほぼ同じ意味の用語である「急伸」,「続伸」，「続急伸」の事例として扱うことにした。また，「堅調」，「軟調」については，株価の短期間の変動からは判定が難しいことが分かったので，判定候補の単語からは除外した。 よっ $\tau$, 最終的には以下の 10 単語で株価変動用語の選択を行う.これらの 10 用語に対応する株価変動の例を付録の図 2 に示す.

続伸 $\Leftrightarrow$ 続急伸 $\Leftrightarrow$ 急伸 $\Leftrightarrow$ 急反発 $\Leftrightarrow$ 反発

1) https://finance.yahoo.co.jp/

2) https://minkabu.jp/

3） 2023 年 11 月 8 日～2024 年 1 月 5 日に配信された記事.続落 $\Leftrightarrow$ 続急落 $\Leftrightarrow$ 急落 $\Leftrightarrow$ 急反落 $\Leftrightarrow 反$ 落

このデータセットのうち，各用語 10 事例，合計 100 事例を収集したものを評価事例とし，残りを訓練事例の候補集合とした. ただし，「厳しい評価基準」として，これらの 10 語間の誤りを許容しない場合，および，「緩い評価基準」として，人手でも用語の区別が難しいような用語 (上記で”息”で直接結ばれている，合計 8 組の用語組) 同士の誤りは許容する場合の二種類の評価を行う。なお，「緩い評価基準」での評価を行う際の fine-tuning においては,誤りを許容する用語間で訓練事例を拡張4)したものを訓練事例の候補集合とした。

## 4 大規模言語モデルを用いた株価変動用語選択

連続した数日間の株価の終値を与え，3.2 節で定めた 10 語の株価変動用語の中から，数日間の価格の変動の仕方に最も近い用語を ChatGPT に選択させるタスクを行う．ただし，すべてのタスクで OpenAI API ${ }^{5)}$ を用いる. ここで，株価変動用語の選択の際に，一週間分の株価の終値のうち何日分を参照するのが最適であるかの予備調査を行った結果をふまえて，株価の終值を参照する日数は 3 日間とする。

## 4.1 zero-shot 学習

## 4.1.1 ベースライン

プロンプトに

・候補となる 10 種類の株価変動用語

・ 3 日間の株価の終値

のみを与え, ChatGPT に株価変動用語を選択させる. モデルには GPT-4[3] を用いる。これにより， ChatGPT が事前訓練時に獲得している汎用的な言語知識のみで，どの程度用語の判別ができるかを調べる. 以下に実際のプロンプトを示す.

messages $=[$

\{"role": "system", "content": "あなたは一昨日、昨日、今日の株価の終値を見て、「急伸」「続伸」「反発」「急落」「続落」「反落」「続急伸」「急反発」「続急落」「急反落」の中から、価格の変動の特徴に最もよく当てはまる用語を選択する AIです。”\},

\{"role": "user","content":（3 日間の株価の終值）\}]

## 4.1.2 株価変動用語の定義を含むプロンプト

プロンプトに

・候補となる 10 種類の株価変動用語

・各用語の定義
- 3 日間の株価の終値

を与え，zero-shot で ChatGPT に株価変動用語を選択させる。モデルには GPT-4 を用いる，以下に実際のプロンプトを示す.

messages $=[$

\{"role": "system", "content": "あなたは一昨日、昨日、今日の株価の終值を見て、「急伸」「続伸」「反発」「急落」「続落」「反落」「続急伸」「急反発」「続急落」「急反落」の中から、価格の変動の特徴に最もよく当てはまる用語を選択する AIです。”

"急伸：昨日から今日にかけて、株価が大きく上昇すること。”

”続伸：連続して株価が上昇すること。”

"反発：株価が下落から上昇に転じること。"

”急落：昨日から今日にかけて、株価が大きく下落すること。”

”続落：連続して株価が下落すること。”

"反落：株価が上昇から下落に転じること。”

”続急伸：株価が連続して、かつ大きく上昇すること。”

”急反発：株価が下落から、大きな上昇へと転じること。”

”続急落：株価が連続して、かつ大きく下落すること。"

”急反落：株価が上昇から、大きな下落へと転じること。"\},

\{"role": "user","content":（3日間の株価の終值）\}, ]

## 4.2 few-shot 学習

few-shot 学習により, ChatGPT に株価変動用語を選択させる. few-shot として，3 節で用意したデータセットの訓練事例の候補集合の中から，各用語 1 事例ずつ，合計 10 事例を収集したものを用いる。したがって，プロンプトには以下の情報が含まれる。
- 候補となる 10 種類の株価変動用語
- few-shot として，各株価変動用語と，それに対応する 3 日間の株価の終値
- 3 日間の株価の終值

モデルには GPT-4 を用いる．以下に実際のプロンプトを示す。

messages=[ \{"role": "system", "content": "あなたは

一昨日、昨日、今日の株価の終値を見て、「急伸」

「続伸」「反発」「急落」「続落」「反落」「続急伸」「急

反発」「続急落」「急反落」の中から、価格の変動の特徴に最もよく当てはまる用語を選択する AI です。”\},

\{"role": "user", "content": "(102.0, 100.0, 118.0)"\},

\{"role": "assistant", "content": "急伸"\},

. . . (中略)

\{"role": "user", "content": "(1808.0, 2087.0, 1818.0)"\},

\{"role": "assistant", "content": "急反落"\},

\{"role": "user","content": (3 日間の株価の終値）\}]

## 4.3 fine-tuning

OpenAI API を利用して，gpt-3.5-turbo ${ }^{6)}$ を finetuning する。訓練事例として，3 節で用意したデー タセットの訓練事例の候補集合の中から，各用語 10 事例ずつ，合計 100 事例を収集する。

fine-tuning された gpt-3.5-turbo を用いて，ChatGPT に株価変動用語を選択させる．評価時のプロンプトは 4.1.1 節と同様である.

## 5 評価

評価実験において，評価事例 100 事例に対して，参照用語と同一の用語を選択した事例数を表 2 に，評価結果における混同行列を図 1 に示す.

表 2: 評価事例 100 事例に対する正解数

(厳: 厳しい評価基準，緩: 緩い評価基準)

厳しい評価基準において，100 事例に対してすべて無作為に用語を選択した場合の正解事例数は 10 程度になると予想される。本論文で評価を行ったすべての手法で，正解事例数は 10 を上回った. また，緩い評価基準において，100 事例に対してすべて無作為に用語を選択した場合の正解事例数は，誤りを許容する用語数の総数となることから， 26 程度にな

6) https://platform.openai.com/docs/models/gpt-3-5

(a) ベースライン

(c) few-shot

(b) 用語定義

(d) fine-tuning

図 1: 評価実験における混同行列 (赤枠線で囲まれた範囲は，緩い評価基準における正解に相当する)

ると予想される。本論文で評価を行ったすべての手法で，正解事例数は 26 を大幅に上回った.

どちらの評価基準においても, few-shot 学習や fine-tuning を行ったとき, zero-shot 学習で評価を行ったときよりも正しい用語を選択できた事例数が増加した. 本論文のタスクのように時系列数値デー タを扱うタスクであっても，ChatGPT に対して例示を行うことで，さらに性能を向上させられることが示された.

## 6 おわりに

本論文では，株価の時系列データから，株価変動記事で用いられる株価変動用語を自動で生成する手法に取り組み，評価を行った. 大規模言語モデルである ChatGPT に 3 日間の株価の推移を与え，株価変動の特徴を適切に表す専門用語を自動で選択させた. その結果，人手でも用語の選択が難しい程度のニュアンスの違いを許容すれば，高い精度で株式用語を選択できることが示された。また, few-shot 学習や fine-tuning を行うことで，さらに性能を向上させられることが明らかになった。これは，将来的に適切な株価変動用語を含んだ株価変動記事を自動で生成する上で，重要であるといえる。残された課題として，より長期的な株価変動に対して株価変動用語を選択する手法について，検討を行いたい。

## 参考文献

[1] G. Tsutsumi and T. Utsuro. Detecting causes of stock price rise and decline by machine reading comprehension with BERT. In Proc. 4th FNP, 2022.

[2] S. Nishida, Y. Zenimoto, X. Wang, T. Tamura, and T. Utsuro. Headline generation for stock price fluctuation articles. In Proc. 6th FinNLP, 2023.

[3] OpenAI. Gpt-4 technical report, 2023. http://arxiv. org/abs/2303.08774

[4] A. H. Kalshani, A. Razavi, and R. Asadi. Stock market prediction using daily news headlines, 2020. https:// ssrn.com/abstract $=3685530$.

[5] Q. Chen. Stock movement prediction with financial news using contextualized embedding from bert, 2021. http: //arxiv.org/abs/2107.08721.

[6] J. Kalyani, H. N. Bharathi, and R. Jyothi. Stock trend prediction using news sentiment analysis, 2016. http: //arxiv.org/abs/1607.01958.

[7] Y. Liu, Q. Zeng, H. Yang, and A. Carrio. Stock price movement prediction from financial news with deep learning and knowledge graph embedding. Knowledge Management and Acquisition for Intelligent Systems, pp. 102-113, 2018.

[8] J. Gong, B. Paye, G. Kadlec, and H. Eldardiry. Predicting stock price movement using financial news sentiment. In Proc. 22nd EANN, 2021.

## A 株式用語に対応する株価変動の例

(a) 急伸

(d) 続落

(g) 続急伸

(b) 急落

(e) 反発

(h) 続急落

(j) 急反落

(c) 続伸

(f) 反落

(i) 急反発

図 2: 株式用語に対応する株価変動の例


# 内積注意重みを用いた統合報告書の定量評価とポートフォリオ分析

森田 祐介 若村 浩明 椎名 唯圭
李 楚䢎 大島 健斗 齋藤 哲朗 日尾 泰子
みずほ第一フィナンシャルテクノロジー株式会社
\{yusuke-morita, hiroaki-wakamura, yuika-shiina,
chuqiao-1i, kento-oshima, tetsuro-saito, yasuko-hio\}@fintec. co. jp

## 概要

企業の長期的価値を評価するのに用いられる ESG 開示情報には，GHG 排出量や従業員男女比率といった数値的に比較可能な情報だけではなく, ポリシー やビジネスモデルとの関連性など, 文章等によって表される企業個別の情報も含まれる. 本研究では,従来投資判断に活用することが難しかった統合報告書のテキストデータについて，マテリアリティウェイトと内積注意重みを用いて定量評価する手法を提案した。さらに, 実際に定量化したスコアによって作成した三分位ポートフォリオのパフォーマンスを比較することで，定量化したスコアが分析期間において将来リターンに対して有効性を持つことを明らかにした.

## 1 はじめに

近年では投資判断における ESG 情報の有効性についての研究が活発に行われている. ESG と投資パフォーマンスの関係について学術論文から調査した結果[1]によれば, ESG 情報と株価リターンにポジティブな関係が見られたとする研究は 7 割を超えているものの，その関係性について中立的・否定的な内容を示す研究も一定数存在した. この差異を生み出す要因としては, 利用した ESG データの違いや,財務に影響を与える重要な ESG 課題 (マテリアリティ）考慮の有無等の可能性が指摘されている.

実際に企業による ESG 開示情報は多種多様であり, 例えば GHG 排出量などの数値情報の開示だけではなく, 統合報告書等に含まれる, ポリシーやビジネスモデルとの関連性などを示す文章などもこれに該当する。前者は数值情報であるため企業間での比較が可能であり ESG 評価機関等によるデータ整備が進んでいることから，ESG スコアと投資パフォ ーマンスに関する分析も多く見られる。一方で後者については, 統合報告書を発行する企業数が増加[2] する中で企業価值向上との関係が期待されるものの，企業間での比較が難しく, 投資判断への活用が進んでいないのが現状である.

また, サステナビリティ会計基準審議会（SASB） は, 企業のサステナビリティを分析する視点として， 5 つの領域 (環境, 社会資本, 人的資本, ビジネスモデルとイノベーション，リーダーシップとガバナンス）とそれに関連する 26 の課題カテゴリーを設定し, SASB スタンダードとして定めている. SASB では定性・定量調査を用いて企業のマテリアリティを業種ごとに特定し定めており, その詳細をマテリアリティマップとして公開している. マテリアリティの高い課題に対して定量的なスコアの高い企業は,株価リターンが高い[3] という報告もあり, 超過リタ ーンの獲得にマテリアリティの考慮が重要であることが示唆される。

以上を踏まえ, 本研究では統合報告書の定量評価を目的として, 26 の課題カテゴリーについて業種ごとの重要度を示すマテリアリティウェイトを定義し， テキスト情報との内積注意機構の注意重みを利用した「統合報告書スコア」の算出方法を提案する. また，算出した統合報告書スコアを用いて三分位ポー トフォリオ分析を行い, 統合報告書スコアが投資リターンの予測に対し有効性を持つかを調査したため報告する。

## 2 関連研究

ESG 関連文書の分析に関する研究は近年多く行われている. Eduardo ら[4]は, カナダ企業について,

ESG 情報の開示度高い企業の株価リターンが業界全体のリターンと異なることを明らかにし, ESG 開示情報が投資家にとって価値ある情報であることを示した. Hyewon ら[5]は, 統合報告書の各文と 17 の SDGs 目標各文の埋込表現との $\cos$ 類似度と, そのセンチメント分析により，統合報告書がグリーンウオッシュに利用されている可能性を指摘した。秋山ら[6]は，ESGに関連するニューステキストを分析し，環境，社会，ガバナンスそれぞれに関するトピックワードの類似語の包含度を用いて, ファクターを構築しリターン分析を行っている。河村ら[7]は, 文レベル, ページレベルの 2 つの注意機構と Bi-LSTMを用いて，GPIFの「優れた統合報告書」を正例とするアノテーションデータによる学習を行い，統合報告書の自動評価手法を提案している. 一方で国内企業が発行する統合報告書を網羅的・定量的に評価し， その結果が株価リターンに及ぼす影響を分析した報告は我々の知りうる限り存在しない。

## 3 提案手法

本研究では，SASB スタンダードの課題カテゴリ一の定義文と対応するマテリアリティウェイト，および統合報告書の文章と内積注意重みを使って統合報告書スコアを作成する手法を提案する，得られる統合報告書スコアは，統合報告書における重要なテ一マに関する記載の充実度を示すものであり，企業価值や株価リターンとの関連が期待される。

## 3.1 SASB スタンダードの課題カテゴリー

SASB スタンダードの 26 の課題カテゴリーの定義文を日本語に翻訳し，前処理を行った。まず，カテゴリー定義文を mecab[8]により形態素解析し,名詞・動詞以外の単語を全て除去した。このようにして得られたカテゴリーごとの単語群の中には，各カテゴリーに共通して登場し，カテゴリーの特徴を表さない単語が多く存在する。これらの単語を stop words として除外するために, scatter text[9]を用いて出現頻度と分散の散布図を作成した。結果を図 1 に示す。出現頻度が高く, 分散が小さい単語はどのカテゴリ一にも共通してみられる傾向が高いため，定性判断で stop words とみなして分析から除外した.

## 3.2 マテリアリティウェイト

SASB が公開するマテリアリティマップを元に，業種毎の各課題の重要性を示すマテリアリティウェイトを作成した。ここで，SASB のマテリアリティマップは独自の業種分類（SICS）を基にしているが， より標準的な GICS 分類を用いてウェイトを作成した. 手順は以下の通りである：

1. 各 SICS 業種に対して, 対応銘柄数を元に代表的な GICS Industry Group を割当

2. 各課題・各 GICS Industry Group に対して対応する SICS 業種の内マテリアリティがある業種の割合を算出

3. 特定の GICS Industry Group を除き，より上位階層の GICS Sector について平均

4. 各業種について, 上記で算出された値を規格化

上記の 3. においては, 11 種の GICS Sector の内で特に Industry Group 間の違いが大きい Industrials, Consumer Discretionary, Consumer Staples に含まれる Industry Group について、集計の対象外とした.

## 3.3 統合報告書のテキスト抽出

次に, pdf 形式の統合報告書を各企業の HP から取得した. 取得した統合報告書の年度ごとの数を表 1 に示す. 統合報告書はフォーマットの定めがなく,企業ごと, 年度ごとに段組み数やへッダーフッター などの情報が大きく異なる.このため, 通常の Python ライブラリを用いて pdf からテキストの本文情報のみを抽出することは難しい。そこで本研究では， Adobe 社が提供する PDF Extract API[10]を用いて pdf の構造化情報を取得し, 本文情報のみを繋ぎ合わせて本文テキストを抽出した. 抽出した本文は, 3.1 節と同様に名詞・動詞のみにしたのち, 単語数が 3 つ以下の文章は全て分析対象から除外した。また, 3.1 節で選定した stop words も除去した.

## 3.4 内積注意重みと統合報告書スコア

クエリを $\boldsymbol{Q}$, キーを $\boldsymbol{K}$ とする時, 縮小付き内積注意重み $\boldsymbol{A}$ は以下の式で表される[11].

$
\boldsymbol{A}=\operatorname{softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{T}}{\sqrt{d_{k}}}\right)
$

ここで， $d_{k}$ はキーベクトルの次元数である.この分子は $\boldsymbol{Q}$ と $\boldsymbol{K}$ 内積で計算されるため, 内積注意重みはクエリとキーの各要素の類似度を表していると捉えることが出来る. 今回は内積注意機構のこの性質を利用し, 統合報告書の各文章の埋込表現を並べた行列を $\boldsymbol{Q}, \mathrm{SASB}$ スタンダードの 26 の課題カテゴリ

積注意重みを計算することで, 統合報告書の各文章がどの課題カテゴリーに言及しているのかを計算した. なお, 統合報告書は年度末から 9 か月経過後に全ての企業で出版されるものと仮定し, 情報公開のラグを考慮して, 統合報告書の年度とリターン計測開始の間に 2 年のラグを取って計算を行った.また, カテゴリーごとのバイアスを取り除くため, カテゴリー $\mathrm{i}$ ，年度 $\mathrm{y}$ ごとに内積注意重みの min-max scaling を行った。

$
\boldsymbol{a}_{i, y}^{\prime}=\frac{\boldsymbol{a}_{i, y}-\min \left(\boldsymbol{a}_{y}\right)}{\max \left(\boldsymbol{a}_{y}\right)-\min \left(\boldsymbol{a}_{y}\right)}
$

その後企業が属する業界のマテリアリティウェイトをキーKに対するバリューVとし, scaling 後の内積注意重み $\boldsymbol{A}^{\prime}$ とバリュー $\boldsymbol{V}$ の内積を取ることで，それぞれの文章についてサステナビリティスコアを計算し, 文章全体の平均を取って統合報告書スコアとした.

$
\text { Score }=\frac{1}{n} \sum A^{\prime} \boldsymbol{V}^{T}
$

なお, 文章の埋込表現の計算には Azure OpenAI の text-embedding-ada002 モデルを用いた.

## 4 実験結果

3.4 節で算出した統合報告書スコアについて, 既存 ESG スコアとの比較, 及び三分位ポートフォリオ分析を行う. まず MSCI 社の ESG スコアと分析期間での相関係数を計算したところ, 積率相関係数が -0.0093 , 順位相関係数が -0.0155 となり, 0 付近の値となった. このことから今回作成したスコアは数值情報に基づく ESG スコアとは異なる特徴を示していることがわかる.

次に, 得られたスコアについて業種の影響を低減すべく GICS Sector 分類毎に中心化を行った上で， TOPIX500 ユニバースを対象に三分位分析を行った. ここでユニバース内のスコアの充足率は全期間で概ね 80\%程度である。、スコア水準が高い銘柄から順にユニバースを 3 分割してそれぞれ等ウェイトで構成したポートフォリオ $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3$ について，毎月末リバランスした際のパフォーマンスを MSCI 社 Barra の日本株式モデル（JPE4）を用いて分析した.

表 1 年度ごとの統合報告書の取得数

図 2 分位ポートフォリオのリターン累積和

図 3 第一分位と第三分位のリターンの差

業種・スタイルの影響を取り除いた銘柄選択効果に着目したところ, 図 2 のように $\mathrm{T} 1$ は $\mathrm{T} 3$ に対して高い累積収益率を示した. ただし, T1, T2, T3 のリター ンは各時点で合計が 0 となるように基準化し, 単利での累積とした．また， $\mathrm{T} 1$ をロングし $\mathrm{T} 3$ をショー トした際のロング・ショートポートフォリオの累積収益率の推移を図 3 に示す. 分析期間において統合報告書スコアファクターが大きなスプレッドリター ンを獲得していたことがわかる.

## 5 まとめ

本研究では, 統合報告書の各文をクエリ, SASB スタンダードの課題カテゴリー文をキー，マテリアリティウェイトをバリューとする内積注意機構を用い
て統合報告書を定量評価する手法を提案した. 作成したスコアは MSCI 社の ESG スコアと相関が小さく, 従来のデータからは捉えられなかった特徴を捉えていることが示唆される。また作成したスコアを用いた三分位ポートフォリオ分析から一般的な業種・スタイル以外のリターンと関連性を持つことが示され, ポートフォリオ構築の投資判断に資する可能性を明らかにした。

本研究の手法は, 統合報告書内の全てのテキストのスコアの平均を取るものであり，統合報告書内に含まれる SASB スタンダードに沿わない中立的な文章が多い場合にスコアが低くなる傾向にある。総合スコアの算出に用いる文章を選択する手法については今後の課題とする.

## 謝辞

ディスカッションにお付き合いいただき，たくさんの有益なアイディアを賜りました甲南大学の永田亮准教授に厚く御礼申し上げます。

## 参考文献

[1] 年金積立金管理運用独立行政法人, “「投資における ESG 及びSDGsの考慮に係る俯瞰研究」に関する報告書”, https://www.gpif.go.jp/investment /202306_ESG\%20and\%20SDGs_report.pdf

[2] 国内自己表明型統合レポート発行企業等リスト 2022 年度版 https://www.edge-intl.co.jp/wp-content /themes/edge-intl/assets/pdf/01_reserch/02/list2022_ sJ.pdf

[3] Khan, Mozaffar N., George Serafeim, and Aaron Yoon, "Corporate Sustainability: First Evidence on Materiality.", Harvard Business School Working Paper, No. 15-073, 2015.

[4] Eduardo Schiehll, Sam Kolahgar, "Financial materiality in the informativeness of sustainability reporting", Business Strategy and the Environment, Wiley Blackwell, vol. 30(2), pages 840-855, 2021.

[5] Hyewon Knag, Jinho Kim, "Analyzing and Visualizing Text Information in Corporate Sustainability Reports Using Natural Language Processing Methods", Applied Sciences 12, no.11, 5614, 2022.

[6] 秋山祥伍, 江口潤一, 鈴木智也, “ニューステキストを用いた ESG ファクター運用”, 24 回人工知能学会金融情報学研究会, pp183-186, 2022.

[7] 河村康平, 酒井浩之, 永並健吾, 高野海斗, 中川慧, “解釈性を考慮した統合報告書の自動評価”, 30 回人工知能学会金融情報学研究会, pp114119, 2023.

[8] 工藤拓, 松本祐治, “チャンキングの段階適用による日本語係り受け解析”, 情報処理学会論文誌, Vol.43, No.6, pp1834-1842, 2002.

[9] Kessler, Jason S., "Scattertext: a Browser-Based Tool for Visualizing how Corpora Differ", Proceedings of ACL System Demonstrations, 2017.

[10] Adobe PDF Extract API: https://developer.adobe.com/documentservices/docs/overview/pdf-extract-api/

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. "Attention is all you need", Proceedings of the 31st International Conference on Neural Information Processing Systems, pp6000-6010, 2017.


# 金融分野における言語モデル性能評価のための 日本語金融ベンチマーク構築

平野 正徳
株式会社 Preferred Networks
research@mhirano.jp

## 概要

大規模言語モデル (LLM) の発展とともに、分野や言語に特化した言語モデルの構築の必要性が議論されてきている。その中で、現在の大規模言語モデルがどの程度の性能を発揮するかを分野に特化して評価するベンチマークの必要性が高まっている。そこで、本研究では、日本語かつ金融分野に特化した複数タスクからなるべンチマークの構築を行い、主要なモデルに対するベンチマーク計測を行った。その結果、現時点では GPT-4 が突出していることと、構築したベンチマークが有効に機能していることを確認できた。

## 1 はじめに

大規模言語モデル (LLM) は、近年、著しい性能を発揮している。特に、ChatGPT[1] や GPT-4[2] をはじめとした最新の言語モデルは、性能向上と汎化が著しい。その基本技術は Transformer[3] から始まっており、BERT や [4] や、GPT シリーズ [5, 6, 7] などが続いた。ほかにも、Bard[8] や LLaMA[9, 10] Dolly[11]、BLOOM[12]、Vicuna[13]、PaLM[14, 15] などのモデルが提案されている。

しかしながら、これらの大規模言語モデルは、様々なタスクでどの程度の性能を発揮するかは未知数であり、それらを評価する取り組みが進められている。たとえば、Language Model Evaluation Harness (Im_eval) [16] と呼ばれる、LLM 用の様々なタスクによるベンチマーク計測プラットフォームが提案されている。また、GPT-4[2]においても、様々なタスクにおける性能を評価している。さらに、会計士試験の達成度 [17] や医学分野における応用 [18]、法律分野への応用 $[19,20]$ を検証する研究などが存在する。

特に、金融分野への応用は、様々なタスクへの応用可能性から、研究開発が進んでいる。金融に特化した非公開のモデルとして、BloombergGPT[21] が存在するほか、公開されているモデルとしては、 LLaMA[9] をチューニングした FinLLAMA[22] や、 FinGPT[23]、Instruct-FinGPT[24] などがある。しかしながら、金融にフォーカスして、性能を評価するべンチマークはまだない。

加えて、日本語に特化したLLM という点でも、様々な開発が進んでいる。CyberAgent の CALM シリーズや rinna 社のモデル、stabilityai 社の stablelm シリーズ、Elyza 社のモデル、Preferred Networks 社の Plamo ${ }^{\mathrm{TM}}$ や LLM-jp-13B など、様々なモデルが乱立しているが、論文化され、性能評価までしっかりと行われているモデルは少ない。また、日本語に特化させるために、既存の英語ベースのモデルをチュー ニングした研究も存在する $[25,26,27]$ 。

こうした特化型 LLM の台頭に際して、これらのモデルの性能を正しく評価する特化型のベンチマー クの構築も必要であると考えられる。日本語に特化したベンチマークはすでに存在している [28] が、さらに金融に特化したものは存在しない。

そこで、本研究においては、日本語かつ金融分野に特化したベンチマークの構築を行い、主要なモデルに対するベンチマーク計測を行うことで、日本語金融分野におけるLLM の性能評価を行う。

構築したベンチマークおよび、各モデルの性能評価結果は、https://github.com/pfnet-research/ japanese-lm-fin-harnessにおいて公開している。

## 2 日本語金融ベンチマークデータ セット

構築したベンチマークにおいては、現時点で全部で 5つのベンチマークタスクを用いている。
- chabsa: 金融分野における感情分析タスク

-cma_basics: 証券分析における基礎知識タスク

$\cdot$cpa_audit: 公認会計士試験における監査に関するタスク
- fp2: ファイナンシャルプランナー試験の選択肢問題のタスク
- security_sales_1: 証券外務員試験の模擬試験夕スク

これらのうち、chabsa、cpa_auditについては、既存のコーパス等を用いてタスクを構築した。残りのタスクについては、インターネット上で公開されているものをクローリングにより取得し、成形することで作成を行った。以下では、それらのタスクについて詳細を述べる。プロンプトの詳細と例については、前述の公開レポジトリを参照されたい。

## 2.1 chabsa: 感情分析タスク

chabsa とは、金融文書の一種である、有価証券報告書に含まれる文章に関して、特定の単語に対するセンチメントを判定するタスクである。https: //github.com/chakki-works/chABSA-dataset で公開されている。このセンチメントには、positive, negative, neutral の 3 種類が存在する。しかしながら、 neutral は非常に個数が少なく、安定的な性能評価を妨げる可能性があることから、positive か negative の 2 値分類として扱うこととした。そのため、neutral とタグのついているデータは、 positive と negative のどちらを回答しても不正解となることに注意されたい。すべての問題が 2 択問題であるため、ランダムで回答しても、おおよそ $50 \%$ の正解を得ることができる。最終評価値としては、 positive と negative に対する macro-f1 値を用いる。 positive が 4334 件、 negative が 3131 件、neurtal が 258 件存在する。そのため、ランダムで回答した場合には、49.15 ポイントの $\mathrm{f} 1$ 值を得ることができる。

## 2.2 cma_basics: 証券分析における基礎知識タスク

cma_basics とは、証券分析における基礎知識を問うタスクである。証券アナリスト試験のサンプル問題をクローリングにより取得し、成形することで作成を行った。そのため、一般に言う公益財団法人日本証券アナリスト協会が実施している証券アナリス卜試験の 1 次試験や 2 次試験とは異なるものであるが、選択肢問題である点も含め、その 1 次試験と同様の性質を持つ。なお、図を含む問題は削除し、表はマークダウン形式により問題を成形した。すべての問題が 4 択であるため、ランダムで回答しても、 $25.00 \%$ の正解を得ることができる。

## 2.3 cpa_audit: 公認会計士試験における監査に関するタスク

cpa_audit とは、公認会計士試験における短答式試験監査論の問題を収録したものであり、先行研究 [29] のデータを使用した。6 択問題を 360 問、 5 択問題を 38 問収録している。そのため、ランダムに回答した場合には、 $16.98 \%$ の正解を得ることができる。

## 2.4 fp2: ファイナンシャルプランナー試験の選択肢問題のタスク

fp2 とは、ファイナンシャルプランナー 2 級の選択問題である。日本 FP協会 2 級ファイナンシャル・ プランニング技能検定学科試験の 2021 年 5 月から 2023 年 9 月の過去問題を公式 $\mathrm{HP}^{1)}$ より取得し、加工して作成した。なお、図を含む問題は削除し、表はマークダウン形式により問題を成形した。すべての問題が 4 択であるため、ランダムで回答しても、 $25.00 \%$ の正解を得ることができる。

## 2.5 security_sales_1: 証券外務員試験の模擬試験タスク

security_sales_1 とは、証券外務員資格試験 1 級に相当する模擬試験のタスクである。外務員資格試験 1 級の模擬試験や対策問題例をクローリングにより取得し、成形することで作成を行った。そのため、一般的な外務員資格試験とは問題構成や難易度に若干の相違があることに注意されたい。 4 択問題が 29 問、 2 択問題が 28 問収録されている。そのため、ランダムに回答しても、 $37.28 \%$ の正解を得ることができる。

## 3 各モデルを用いたベンチマーク値 の測定

前節で説明したベンチマークを用いて、様々なモデルに対してベンチマークを計測する。

プロンプトによる性能への影響が大きいことから、前節で示したプロンプトのほか、日本語に特化したベンチマークの先行研究 [28] で採用されているすべてのプロンプトと同様のプロンプトを各タスクに対して用意した。これらのプロンプトを用いて、0-4 shot での事前実験を行い、もっともよい性能を発揮したプロンプトと shot 数を採用して最終的な実験を行った。この手順は、ある種の in-sample training にも見えるかもしれないが、実際には、プロンプトの種類を限っていることや、モデル作成者であれば最も適切なプロンプトを選択することは難し

1) https://www.jafp.or.jp/exam/mohan/
表 1 ベンチマーク一覧 (一部省略。詳細は前述の公開レポジトリにて。)

くないということから、このような評価手順をとる方が、公平な比較ができると考えた。

ただし、Open AI 社が API を通じて提供するモデルに関しては、コスト面を考慮し、標準的な 1 つのプロンプトのみを用いることとし、shot 数も 0-shot のみの採用とした。また、Open AI 社の API は、Azure を用いて使用することとし、Content filter が適用されて回答が得られなかった場合には不正解と判定することとした。

また、選択肢問題の解答にあたっては、最も生成尤度の高いものをモデルの出力として利用することとした。ただし、GPT3.5 および GPT-4 シリーズについては、温度パラメータを 0 に指定した状態での出力を API 経由で獲得し、その出力内で最も早く出現する選択肢を出力とした。

結果は表 1 に示す。

## 4 考察

まず、GPT-4 シリーズのスコアが圧倒的に高いことが明確である。表 1 によれば、ベンチマーク平均スコアが 60 を上回っているのは、GPT-4 シリー ズのみである。スコアが 50 を上回るモデルが非常
に限られる中で圧倒的なスコアである。GPT-4 は、 GPT3.5 や他の 70B クラスのモデルよりもモデルパラメータ数が 1 标か 2 桁多いとされており、金融タスクにおいても、モデルサイズが大きいほど性能が高い可能性が示唆される。

一方で、スコアが 35４5 程度のモデルはその性能差は顕著ではなく、モデルパラメータ数の影響が軽微であるようにも見える。これは、モデルの学習の際に、金融に関連したコーパスが非常に限られていることが原因である可能性があり、今後、金融文書を重点的に追加して学習した場合などの効果を確認することで、コーパスの影響を評価できると考えられる。

今回構築したベンチマークの有効性について考える。chabsaに関しては、GPT-4 シリーズはほぼ理論上の上限に近づいてきている。今回のタスクの設計上、 95 程度が達成しうる現実的な上限であると考えており、ほぼ限界值であると言っても過言ではない。一方で、それ以外のタスクに関しては、まだまだ伸びしろがある。特に cpa_audit については、現状では正答率が低く、先行研究 [29] でも、GPT-4 と Retrieval-Augmented Generationを組み合わせて、初

図 1 平均スコアと chabsa の関係

図 2 平均スコアと cma_basics の関係

図 3 平均スコアと cpa_audit の関係

図 4 平均スコアと $\mathrm{fp} 2$ の関係

めて合格レベルの性能を発揮しているとの報告が出ており、モデル単体での性能という点では今後の改善の余地があると考えられる。

ここで、さらなるベンチマークの有効性の確認のために、図 1-5に、最終的な平均スコアと各タスクのスコアの関係を示した。無論、平均スコアの $1 / 5$ は各タスクのスコアなので、一定の相関性が認められるのは自明であるものの、あらためて各タスクのスコア分布と平均スコアの関係をプロットした。

図 1 では、プロットの関係が $1-\exp (x)$ の相似拡大平行移動関係のグラフに見えたため、その関数でフィッティングを行った。この意味としては、タスクとして簡単である傾向があるため、ある程度まで行くと、飽和してしまうという仮説を置いたということである。実際に、フィッティング関数もかなりきれいに当てはまっている。

これらのプロットを見ると、chabsa はやはり比較的簡単なタスクであり、今回のベンチマークにおいては中堅層のスコアの差を拡大させる良い指標になっていると言える。また、cma_basics や security_sales_1 に関しても、下位層は差があまり見られないものの、中堅層でスコアの差が拡大している。一方で、それ以外の指標に関しては、下位・中堅層ともに性能差が観測しにくく、GPT-4 だけが圧倒的に高いという結果になっており、これらに関しては、今後のより性能の高いモデルが出てきた場合

図 5 平均スコアと security_sales_1 の関係

に、うまく差を生み出す指標になる可能性が期待される。

今後の課題としては、さらなるタスクの追加や、 より妥当なプロンプトチューニング手法の導入、さらには、金融に特化した言語モデルが性能を発揮できるか、という点などがあげられる。

## 5 結論

本研究では、日本語の金融タスクに特化した LLM 用のベンチマークを構築し、様々なモデルで実際にベンチマークを計測した。その結果、GPT-4 シリー ズが圧倒的な性能を発揮することが明らかになった。一方で、ベンチマークとしての有用性も確認することができた。今回構築したベンチマークは、 LLM の性能の上位・中位・下位で性能差の出やすさがタスクによって異なっており、結果として、それらの平均は、どの性能領域でも一定の差が出るようなべンチマークになっていることがわかった。今後、より多くのタスクを追加することで、より妥当なべンチマークを構築することができると考えられる。

## Declarations

著者は、pfnet/plamo-13b の開発元である、株式会社 Preferred Networks に所属しているが、本研究での実験においては、他のモデルと公平な評価を行っており、透明性の確保のために、すべてのコードを公開している。

## 参考文献

[1] OpenAI. ChatGPT, 2023. https://openai.com/blog/ chatgpt/.

[2] OpenAI. GPT-4 Technical Report, 2023.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems, Vol. 30, pp. 5999-6009, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186. Association for Computational Linguistics, 2019.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving Language Understanding by Generative Pre-Training, 2018. https://cdn.openai. com/research-covers/language-unsupervised/ language_understanding_paper.pdf.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners, 2019. https://cdn. openai .com/better-language-models/language models_are_unsupervised_multitask_learners.pdf.

[7] Tom Brown, Benjamin Mann, et al. Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[8] Google. Bard, 2023. https://bard.google.com/.

[9] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. LLaMA: Open and Efficient Foundation Language Models. arXiv, 2023. https://arxiv.org/abs/2302. 13971.

[10] Hugo Touvron, Louis Martin, et al. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv, 2023. https://arxiv.org/abs/2307.09288v2.

[11] Databricks. Dolly, 2023. https://github.com/ databrickslabs/dolly.

[12] Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. BLOOM: A 176B-Parameter Open-Access Multilingual Language Model. arXiv, 2022. https://arxiv. org/abs/2211.05100.

[13] Vicuna. Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90\%* ChatGPT Quality, 2023. https:// vicuna. lmsys.org/.

[14] Aakanksha Chowdhery, Sharan Narang, et al. PaLM: Scaling Language Modeling with Pathways. arXiv, 2022. https://arxiv.org/abs/2204.02311v5.

[15] Rohan Anil, Andrew M. Dai, et al. PaLM 2 Technical Report. arXiv, 2023. https://arxiv.org/abs/2305. 10403 v3.

[16] Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, et al. A framework for few-shot lan- guage model evaluation, 2021. https://github.com/ EleutherAI/lm-evaluation-harness.

[17] Marc Eulerich, Aida Sanatizadeh, Hamid Vakilzadeh, and David A. Wood. Is it All Hype? ChatGPT' s Performance and Disruptive Potential in the Accounting and Auditing Industries. SSRN Electronic Journal, 2023. https: //papers.ssrn.com/abstract=4452175.

[18] Harsha Nori, Nicholas King, Scott Mayer Mckinney, Dean Carignan, and Eric Horvitz. Capabilities of GPT-4 on Medical Challenge Problems. arXiv, 2023. https:// arxiv.org/abs/2303.13375v2.

[19] Kwan Yuen Iu and Vanessa Man-Yi Wong. ChatGPT by OpenAI: The End of Litigation Lawyers? SSRN Electronic Journal, 2023. https://papers.ssrn. com/ abstract=4339839.

[20] Jonathan H. Choi, Kristin E. Hickman, Amy Monahan, and Daniel B. Schwarcz. ChatGPT Goes to Law School. SSRN Electronic Journal, 2023. https://papers.ssrn. com/ abstract=4335905.

[21] Shijie Wu, Ozan $\cdot$ Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, and Gideon Mann. BloombergGPT: A Large Language Model for Finance. arXiv, 2023. https://arxiv.org/abs/2303.17564v2.

[22] Pedram Babaei William Todt, Ramtin Babaei. FinLLAMA: Efficient Finetuning of Quantized LLMs for Finance, 2023. https://github.com/Bavest/fin-llama.

[23] Hongyang Yang, Xiao-Yang Liu, and Christina Dan Wang. FinGPT: Open-Source Financial Large Language Models. arXiv, 2023. https://arxiv.org/abs/2306.06031.

[24] Boyu Zhang, Hongyang Yang, and Xiao-Yang Liu. Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models. arXiv, 2023. https://arxiv.org/abs/2306.12659.

[25] 1lm-japanese-dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology. In The 26th International Conference on NetworkBased Information Systems, pp. 442-454, 2023.

[26] Issey Sukeda, Masahiro Suzuki, Hiroki Sakaji, and Satoshi Kodera. JMedLoRA: Medical Domain Adaptation on Japanese Large Language Models using Instructiontuning. arXiv, 2023. https://arxiv.org/abs/2310. 10083 .

[27] Masahiro Suzuki, Masanori Hirano, and Hiroki Sakaji. From Base to Conversational: Japanese Instruction Dataset and Tuning Large Language Models. arXiv, 2023. https://arxiv.org/abs/2309.03412.

[28] StabilityAI. JP Language Model Evaluation Harness, 2023. https://github.com/Stability-AI/ lm-evaluation-harness/tree/jp-stable.

[29] Tatsuki Masuda, Kei Nakagawa, and Takahiro Hoshino. Chatgpt は公認会計士試験を突破できるか ? : 短答式試験監査論への挑戦. 人工知能学会第 31 回金融情報学研究会, pp. 81-88, 2023.


# ファイナンシャル・プランニングの自動化に向けた GPT-4 及び RAG の性能評価

西脇一尊 大沼 俊輔 工藤剛 門脇一真
株式会社日本総合研究所
}

\{nishiwaki.kazutaka, onuma.shunsuke, kudo.tsuyoshi, kadowaki.kazuma\}@jri.co.jp
## 概要

個人の家計や人生設計について資金計画を立てるファイナンシャル・プランニングは，幅広い金融知識を必要とし，一般に専門家との相談を通じて行われる。相談を促すために，大規模言語モデル (LLM) と Retrieval-Augmented Generation（RAG）を用いた自動相談サービスの実現が期待される。しかし, LLM が RAG によって抽出された金融知識を活かして応答できるかは明らかではない. 本研究ではファイナンシャル・プランニング技能検定を題材に，LLM が RAGによって抽出された金融知識を活用できるかを評価した. その結果，LLM は RAG によって得た金融知識を活用できることを確認し，自動相談サービス実現に向けた課題を明らかにした.

## 1 はじめに

個人の家計や人生設計について資金計画を立てるファイナンシャル・プランニングは，税制や不動産等の幅広い金融知識を必要とし，一般に専門家との相談を通じて行われる ${ }^{1)}$. 金融機関はファイナンシャル・プランニングに関して相談できるサービスを提供しており，これを他の産業界 ${ }^{2}$ と同様に大規模言語モデル（LLM）で自動化することができれば，顧客の利便性向上や，新たな顧客層の開拓といった効果が期待できる．LLM は，様々な分野やタスクで高い性能が報告される $[1,2,3]$ 一方，誤った内容を真実のように出力する幻覚 [4] や，LLM の学習後の情報に対応できない，といった問題がある.これらの問題は，法令や年齢・金額といった数値基準の正確な理解を要するファイナンシャル・プ

図 1 本研究における取り組みの概要.

ランニングにおいては重要な課題である.

この問題に対処する方法の 1 つに，RetrievalAugmented Generation [5]（RAG）がある. RAG は,関連情報を含む文章を外部の情報源から抽出して LLM の入力に加えることで，その情報に基づく出力を可能にする. しかし，ファイナンシャル・プランニングの分野において，RAG を用いて LLM の性能を評価した取り組みは見当たらず，LLM が抽出された金融知識を活用できるか明らかではない.

本研究では，ファイナンシャル・プランニングの自動化に向けて，現在の LLM がRAGによって抽出された金融知識をどの程度活用できるかを明らかにする。具体的には，RAG を用いて 3 級ファイナンシャル・プランニング技能検定（FP 技能検定）に関する学習参考書のテキストを OpenAI の GPT-4 に入力し, 3 級 FP 技能検定の学科試験を解かせた結果を定量・定性的に分析することで，LLM が RAG によって抽出された金融知識を活用できるかを評価する. 本研究における取り組みの概要を図 1 に示す.

## 2 関連研究

LLM に対して金融知識に基づく出力をさせるため，金融に関連したテキストデータを用いて LLM を学習する方法 [6][7] が研究されている。一方で， RAG を用いれば，LLM の学習を行わずに金融知識

に基づいた出力が可能となると考えられる. RAG は，関連情報を含む文章を外部知識（文章集合）から抽出する Retriever と, 抽出された文章を基に出力を生成する Generator の 2 つの要素からなるが，本研究では Retrieverによって金融知識を抽出し, LLM に入力する.

日本語の金融分野に関するタスクにおいて，LLM と RAG を用いた取り組みが行われ，RAG は LLM に対して日本語の金融知識に基づいた出力を可能にする有効な方法であることが示されている. 例えば，高野ら [8] は，投資信託の運用状況や今後の投資環境に関するコメントの生成で，市場動向に関するニュース記事を RAG で ChatGPT の入力に追加し, 出力に最新の情報を反映させた. また, 増田ら [9] は, GPT-4 で公認会計士試験（短答式試験監査論）を解く際に，回答に必要な知識を RAG で抽出することで，合格相当の成績を達成した. この他にも，RAGの「幻覚を抑制できる」という特徵は，日及変化する経済情勢の考慮と法令遵守が求められる金融分野において，重要な役割を果たすと考えられる. しかし, ファイナンシャル・プランニングの分野では， 2 級 FP 技能検定の問題を含むべンチマー クによって LLM 自体の性能を評価した試み [10] は行われている一方，RAG を用いた際の LLM の性能や課題はまだ明らかではない，そこで，本研究では LLM が RAG によって抽出された金融知識を活用できるかを評価する。

## 3 評価タスク

3 級 FP 技能検定とは，ファイナンシャル・プランニングに必要な技能の程度を検定する技能検定の 1 つであり，学科・実技の 2 種類の試験にて実施される. 本研究では, 2021 年 5 月から 2023 年 9 月までに実施された 3 級 FP 技能検定の学科試験（計 8 回分）を評価タスクとし，金融知識の他に図や表の読解が必要な実技試験は評価の対象外とした.

評価対象の試験は，いずれも 2 つの大問から構成される。各大問は, 回答者に対して付随する各小問の回答方法について指示する文章が含まれている.

第 1 問では，金融知識に関する文章の正誤を判定する正誤問題が，小問として 30 題出題される. 第 2 問では，金融知識に関する文章中の空欄を補完する適切な文章・語句・数字，またはそれらの組み合わせを 3 つの選択肢から選ぶ三択問題が，小問として 30 題出題される. また，第 2 問において出題される小問の中には, 図や表で示された情報をもとに回答をする問題もある．具体的な問題のイメージは，付録 $\mathrm{A}$ を参照されたい，各小問の配点は 1 題 1 点であり，合格基準は正答率 6 割以上である. 実際の試験はマークシート形式で出題されている.

## 4 実験手順

本研究では，LLM として GPT-4 を用いた. バー ジョンは gpt-4-0613を利用し, 創造的な出力を避けるため temperature パラメータの值を 0 とした. 評価タスクのうち，2023 年 5 月以前に実施された 3 級 FP 技能検定はリークしている可能性がある.

実験では，RAGによって金融知識が与えられた GPT-4 と，RAGを利用しない GPT-4 のそれぞれを用いて評価タスクを解かせ，LLM が RAG によって抽出された金融知識を活用できるかを評価した.

## 4.1 データセット構築

評価用データ日本 FP 協会から公開3)されている試験問題 8 回分 $(2021$ 年 5 月 2023 年 9 月実施分）とその模範回答（いずれも PDF 形式）から， pdfminer.six ${ }^{4}$ を用いてテキストを抽出した.この時，大問テキストに含まれる一部の表現（例：解答用紙にマークしなさい）を，プロンプトとして入力するのに適切な表現に修正した. pdfminer.six は，小問テキストに含まれる図表や, 計算式中の分数を正しくパースできないため，これらを含む小問は GPT-4への入力の対象外とし，全て誤答として評価・採点を行なった. 結果, 8 回分の試験問題の計 480 題から, 正誤問題 240 題と三択問題 218 題をそれぞれ抽出した。

外部知識用データ RAG で抽出する外部知識用のデータとして， 3 級 FP 技能検定に関する市販の学習参考書 4 冊を用いた. 参考書は OCR によって RAG で利用可能な形式（書籍情報）に変換した.

## 4.2 ベクターストアの構築

外部知識である文章集合に対して意味的な検索を可能にするため，書籍情報の埋め込み表現を用いたベクターストアを構築した。

まず，参考書のページ単位で書籍情報を E5 [11] の多言語版 large モデル5) に入力し，埋め込み表現を取得した. E5では検索クエリのテキストに“query: ”,

## [問題]

\{ 大問テキスト \}

\{ 小問テキスト \}

1) \{ 選択肢 1$\}$
2) $\{$ 選択肢 2$\}$

3) \{ 選択肢 3$\}$

## [参考文献]

$\cdot\{$ 抽出された外部知識 $\}$

[回答]

図 2 プロンプトの雛形. \{\}はプレースホルダ.

検索対象のテキストに “passage: ”, という接頭辞を用いることが推奨されているため，本研究でも，書籍情報の入力に“passage: ”という接頭辞を加えた. ベクターストアには Chroma ${ }^{6)}$ を利用し，類似べクトル探索は近似最近傍探索手法の HNSW [12] を，類似度はコサイン類似度をそれぞれ設定した。

## 4.3 外部知識の抽出

接頭辞 “query: ”を加えた「大問テキスト+小問テキスト」または「大問テキスト+小問テキスト+選択肢」の埋め込み表現を多言語版 E5-large で取得し， ベクターストアからの外部知識の抽出に用いた.

## 4.4 プロンプト設計

本研究で用いたプロンプトの雛形を図 2 に示す. なお，プロンプト中の選択肢は第 2 問の三択問題の場合にのみ含まれる。本実験では，小問 1 題につき 1 つのプロンプトを作成して GPT-4 に入力するため，1 つのプロンプトは小問テキストと，対応する大問テキストを含む．外部知識をプロンプトに含める際は，抽出結果のうち類似度について上位 5 件のテキストを，小問テキストまたは選択肢に続く位置でプロンプトに加えた. 外部知識をプロンプトに含めない際には， [参考文献] の記載を省略した.

6) https://trychroma.com

## 4.5 評価

評価には，OpenAIEvals ${ }^{7)}$ を利用した. GPT-4 の出力結果が，模範回答と一致する場合に正答と判定した.また，三択問題については，選択肢記号だけでなく内容まで一致するか判定した.

## 5 結果・考察

## 5.1 定量評価

全体の正答率 RAG の利用有無に対する GPT-4 の正答率を表 1 に示す. 表 1 より，RAGによって全体の正答率が向上し，GPT-4 の学習期間後に実施された 2023 年 9 月試験を含め各試験で合格基準を上回った. このことから，GPT-4 は RAG によって抽出された金融知識を，ファイナンシャル・プランニングに活用できると考えられる。

正誤問題における適合率・再現率全 8 回の試験を通じた，各選択肢（1): 正しい，(2): 誤り）の適合率と再現率を図 3 に示す。図 3 より，RAG によっていずれの選択肢においても適合率が向上したことがわかる. 特に，(1)の適合率と(2)の再現率が向上したことから，RAG 無しの GPT-4 は正誤問題にて「正しい」と回答する傾向があるが，RAG によってこの傾向を緩和できたと考えられる。

三択問題における適合率・再現率全 8 回の試験を通じた評価対象の問題について，3つの選択肢ごとの適合率・再現率を図 4 に示す8). 図 4 より，いずれの選択肢でも RAG によって適合率・再現率が向上したことがわかる. 特に，選択肢 3 の再現率が大きく向上したことから，RAG 無しの GPT-4 は選択肢 1，2 を回答として出力する傾向があると考えられる。これは，多肢選択問題における選択肢の位置バイアス [13]による影響の可能性がある.

## 5.2 定性評価

定性評価では，GPT-4 の学習期間後に実施された 2023 年 9 月試験を対象に, RAG の抽出結果と GPT-4 の出力結果について分析を行なった.

RAG による知識抽出について各プロンプトに含まれる 5 つの外部知識のうち，正答に必要な知識が 1 つ以上含まれているかを人手で評価した. 正誤問題では，30 題中 29 題において，正答に必要な知

7) https://github.com/openai/evals

8）図表や数式を含む小問を除外して求めた.
表 1 評価タスクにおける正答率.太字は合格基準 $(0.60)$ 以上の正答率であることを表す.

図 3 正誤問題における選択肢ごとの適合率・再現率。

図 4 三択問題における選択肢ごとの適合率・再現率.

識を抽出できた。これは，正誤問題の文章と，書籍情報中の金融知識に関する文章が，類似していたことが原因と考えられる。

三択問題では，26 題中 20 題において，正答に必要な知識を抽出できた. 抽出に失敗した問題例として，個人賠償責任保険において補償が可能な具体例を選択する問題（付録 A. 1 に記載）がある. その原因として，書籍情報では「日常生活での事故による賠償に備える保険」といった抽象的な文章で個人賠償責任保険を説明している一方，選択肢で与えられた例が具体的であり，両者の類似度が低くなったことが考えられる。 以上から，RAG において抽象的な知識と具体的な事象を適切に紐づける処理が，ファイナンシャル・プランニングの自動化に必要といえる.

RAG の効果について RAG 無しの GPT-4 で誤答し，RAG によって正答した事例の一つに，2022 年 4 月から再編された東京証券取引所の株式市場区分に関する問題において，新たな株式市場区分に関す
る情報を抽出でき正答したと考えられる事例があった. 別の事例として，所得税における特定扶養親族の年齢に関する問題において，RAGによって年齢条件（19 歳以上 23 歳未満）の正確な情報を抽出でき正答したと考えられる事例があった。

一方, 同試験において RAG の有無によらず GPT-4 が誤答した一例として，選択肢に存在しない出力がされ誤答となった事例があった（付録 A. 2 に記載).他にも，RAG で正答に必要な知識が抽出できたが, GPT-4 がその内容を無視して出力したため誤答となった事例があった．いずれも，LLM が与えられた条件や外部知識に正確に基いて出力ができなかった事例であり，ファイナンシャル・プランニングの自動化に向けて解決が必要といえる。

## 6 おわりに

本研究では，ファイナンシャル・プランニングの自動化に向けた第一歩として，LLM が RAG によって抽出された金融知識を活用できることを確認するとともに，ファイナンシャル・プランニングの自動化に向けたいくつかの課題を明らかにした.

定量評価によって，GPT-4 に対して RAG を用いて金融知識を入力することで， 3 級 FP 技能検定の学科試験における正答率が向上し，LLM が RAG によって抽出された金融知識を活用できることを確認した. 定性評価によって，ファイナンシャル・プランニングの自動化には，RAG において抽象的な知識と具体的な事象を紐づける処理と，入力された条件や外部知識を LLM の出力に正確に反映させる処理の実現が必要と確認した。

今後は，ファイナンシャル・プランニングの自動化に向けて，より難易度の高い FP 技能検定へ取り組むとともに，図表・数式を処理する機能，相談内容に応じた判断を可能とするエージェント機能の実現にも取り組む予定である.

## 参考文献

[1] OpenAI. GPT-4 Technical Report. arXiv preprint arXiv:2303.08774, 2023.

[2] Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Abubakr Babiker, Nathanael Schärli, Aakanksha Chowdhery, Philip Mansfield, Dina Demner-Fushman, Blaise Agüera y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikesalingam, and Vivek Natarajan. Large language models encode clinical knowledge. Nature, Vol. 620, No. 7972, pp. 172-180, 2023.

[3] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil J Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Mengyuan Yan, and Andy Zeng. Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. arXiv preprint arXiv:2204.01691, 2022.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On Faithfulness and Factuality in Abstractive Summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, 2020. Association for Computational Linguistics.

[5] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim
Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented Generation for KnowledgeIntensive NLP Tasks. Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474, 2020.

[6] Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, and Gideon Mann. BloombergGPT: A Large Language Model for Finance. arXiv preprint arXiv:2303.17564, 2023.

[7] Hongyang Yang, Xiao-Yang Liu, and Christina Dan Wang. FinGPT: Open-Source Financial Large Language Models. FinLLM Symposium at IJCAI 2023, 2023.

[8] 高野海斗, 中川慧, 藤本悠吾. ChatGPT を活用した運用報告書の市況コメントの自動生成.人工知能学会第二種研究会資料, Vol. 2023, No. FIN-031, pp. 61-67, 2023.

[9] 増田樹, 中川慧, 星野崇宏. ChatGPT は公認会計士試験を突破できるか？：短答式試験監査論への挑戦. 人工知能学会第二種研究会資料, Vol. 2023, No. FIN-031, pp. 81-88, 2023.

[10] 平野正徳. 金融分野における言語モデル性能評価のための日本語金融ベンチマーク構築. Jxiv preprint jxiv.564, 2023.

[11] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Text Embeddings by Weakly-Supervised Contrastive Pre-training. arXiv preprint arXiv:2212.03533, 2022.

[12] Yu A. Malkov and D. A. Yashunin. Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 42, No. 4, pp. 824-836, 2020.

[13] Pouya Pezeshkpour and Estevam Hruschka. Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions. arXiv preprint arXiv:2308.11483, 2023 ,

## A 付録

## A. 1 RAG による知識抽出に失敗した問題の例

選択肢で与えられた具体的な事例と，書籍情報中の個人賠償責任保険についての説明文の紐付けができず，RAGに失敗したと考えられる例を図 5 に示す. なお，この問題の正答は「3) 買い物中に誤って商品を落として破損させてしまい」である.

## [問題]

次の文章の（）内にあてはまる最も適切な文章, 語句, 数字またはそれらの組合せを 1) 3) のなかから選び, その番号を解答しなさい.

個人賠償責任保険（特約）では, 被保険者が（），法律上の損害賠償責任を負うことによって被る損害は，補償の対象となる。

1) 業務中に自転車で歩行者に衝突してケガをさせてしまい

2) 自動車を駐車する際に誤って隣の自動車に傷を付けてしまい

3) 買い物中に誤って商品を落として破損させてしまい

図 5 RAG による知識抽出に失敗した問題の例. 問題文の出典 : 金融財政事情研究会 / 日本ファイナンシャル・プランナーズ協会ファイナンシャル・プランニング技能検定 3 級学科試験（2023 年 9 月）を一部改変.

## A. 2 選択肢に存在しない出力がされた例

選択肢に存在しない回答が出力され，誤答となった例を図 6 に示す. なお，この問題の正答は「2) (1) 贈与税 (2) $80 \%$ 」である.

## [問題]

次の文章の（）内にあてはまる最も適切な文章, 語句, 数字またはそれらの組合せを 1) 3) のなかから選び, その番号を解答しなさい。

相続税路線価は，相続税や（１） ）を算定する際の土地等の評価額の基準となる価格であり，地価公示法による公示価格の（２）を価格水準の目安として設定される。

1) (1) 贈与税 (2) $70 \%$

2) (1) 贈与税 (2) $80 \%$

3) (1) 固定資産税 (2) $80 \%$

[参考文献]

(省略)

[回答]

1) (1) 贈与税 (2) $80 \%$

図 6 選択肢に存在しない回答が出力された例. [回答] の後に続く赤字は GPT-4 の出力結果を表す. 問題文の出典 : 金融財政事情研究会 / 日本ファイナンシャル・プランナーズ協会ファイナンシャル・プランニング技能検定 3 級学科試験 （2023 年 9 月）を一部改変.